Небольшая предыстория. Я придумал и опубликовал задание на дизайн А/Б теста для подписчиков своего канала No Data No Growth. Так вышло, что в качестве продукта я взял Ozon Fresh → t.me/nodatanogrowth/451
Через пару дней, я опубликовал свой вариант разбора этого задания → t.me/nodatanogrowth/452
И я подумал, что было бы классно пообщаться с кем-то из Ozon Fresh и обсудить, насколько наши с подписчиками решения совпадают с практикой.
И вот мы с Артёмом, лидом аналитики Ozon Fresh, собрались и детальнее поразгоняли различные аспекты этого А/Б кейса и сравнили ожидания с реальностью.
Спойлер: ожидания оказались очень близки к реальности. А в некоторых аспектах - даже её превзошли.)
Уверен, что вы найдете для себя интересные мысли про дизайн А/Б-экспериментов в этом видео.
Временные метки к эфиру:
0:00 Предыстория
1:28 Артём о своём опыте в продуктовой аналитике и Ozon Fresh
2:48 Почему выбрал оффер именно в Ozon Fresh?
4:18 Как оцениваешь уровень А/Б в Ozon и во Fresh?
8:19 Используйте ли вы АБшницу?
9:05 Используете ли чеклисты, шаблоны дизайна и проведения А/Б?
10:23 Формулировка кейса
11:30 Что считаете активированным во Fresh пользователем?
16:20 Какие бизнес-аспекты уточнил бы к кейсу?
22:05 Будет ли сетевой эффект? Как часто во Fresh с ним сталкиваетесь?
26:03 Как убеждаетесь, что не будет конфликтов с параллельными А/Б?
29:14 Какие метрики эксперимента бы выбрал?
32:00 Перерыв на технические проблемы
34:42 Продолжение
42:40 На кого бы сегментировал эксперимент?
45:56 Какой механизм раскатки используете?
49:10 Как у вас принято подводить итоги и презентовать результаты?
56:32 Почему в Ozon Fresh классно с точки зрения А/Б?
58:18 На что в А/Б обращаете внимание на собеседованиях?
Если вы хотите работать в Ozon или у Артёма в Ozon Fresh в частности, то ваши резюме уже ждет HR → t.me/cobra666s
А вот мощная статья про А/Б, которую Артём упоминал в видео (не забудьте включить VPN) → / practitioners-guide-to...
Хочешь на практике научиться дизайнить и проводить эксперименты, чтобы успешно пройти собеседование или вывести А/Б на качественно новый уровень в текущей компании?
Тогда приглашаю на мой практикоориентированный курс по А/Б тестированию. В него я собрал весь свой накопленный опыт выстраивания культуры и инфраструктуры А/Б в компаниях, проведения сотен экспериментов, их ускорения, автоматизации и многое другое.
Все детали курса вы можете найти по ссылке ниже 👇👇👇
🔗 pavelbukhtik.notion.site/33f5...
А как вам эфир? Какую тему хотели бы рассмотреть в следующий раз?
6 авг 2024
