Очень крутой контент. Спасибо ребята. Было бы ещё интересно послушать как происходит взаимодействие с разработчиками во время A/B тестирования. Понимаю, что канал больше с аналитическим уклоном, но ведь в организации и проведении исследовательской работы участвует много людей и это накладывает дополнительные сложности.
А Если серьезно, то очень круто! Огромное спасибо! Гость шикарен, про Анатолия вообще даже говорить не буду, все супер) Мне как новичку, было достаточно понятно, кроме понятия Bootstrap и еще одной аббревиатуры, которая "глобальный чет там") но как бы никто мне мешает загуглить) подписался и буду смотреть другие видосы.
Как-то много о процессе и очень мало о сути. Видимо поэтому Никита уже не работает в VK :) 1. Не сказано о необходимости измерять прокси метрики - как изменения, внедренные по итогам A/B тестов могут негативно повлиять на метрики других фич. 2. Не сказано о необходимости рассчитывать размер сэмпла и продолжительность теста. 3. Не сказано о необходимости оценки вероятности того, что полученные статистические данные валидны (P-Value, A/A тест и т.п.)
Не совсем понятно, как бутстрэп поменять на глобальном CR. Если мы сравниваем всего две группы пользователей, то будет два соотношения клики к просмотрам в одной и клики к просмотрам в другой. Что там бутстрэпить?
Что мешает проводить тесты независимых гипотез только на двух группах, когда пользователей мало? В перекрытии все равно будет часть таких пользователей. Ну или группы можно случайным образом набирать из одних и тех же людей.
Что значит для t-теста не нужна нормальность данных, а нужна нормальность среднего ? У нас в предпосылках должно выполняться именно нормальность распределения данных. Нормальность среднего - это если мы генерируем много выборок новых и смотрим на то, как оно распределено. Можно пояснить этот момент, пожалуйста
@@mikhailgerasimov2199 АБ тесты подборка от Никиты Маршалкина 1. Бомбическая книжка: experimentguide.com 2. Кладезь информации про А/Б в индустрии: exp-platform.com 3. Practitioner’s Guide to Statistical Tests: medium.com/@vktech/practition... 4. Пуассоновский бутстрап и бакетизация: research.google/pubs/pub43157/ 5. Эксперименты в соцсетях: arxiv.org/abs/1404.7530 6. Заметки с саммита по экспериментам на KDD’19: research.fb.com/publications/... 7. Туториал по построению оптимизации в b2c продуктах: onlineuserengagement.github.io/
Подскажите пжл: у меня контроль и тест(менеджер - продажи, по 57 менеджеров в каждой выборке), распределенные ненормальное. Правильно ли я понимаю, что у меня 2 пути проверки стат. значимости: 1) Смотреть абсолютные значения продаж и тогда использовать Манна-Уитни 2) Смотреть среднее значение продаж по каждой из групп и тогда можно использовать Т-критерий? Вопрос возникает по второму пути: Т-критерий требует подсчета среднего квадратичного отклонения. Однако, распределение ненормальное. Значит и считать среднее квадратичное отклонение будет не уместно?
Даже если распр ненорм, то применить т-тест можно, просто могут возникнуть нежелательные спецэффекты, но считать при этом нужно все по той же оригинальной формуле без изменений. В вашем случае можно сделать: 1) Понять насколько сильно распределение отклоняется от нормального, если отклонение несильное, то можно спокойно применять т-тест 2) Трансформировать распределение, то есть привести к нормальному и затем применить т-тест + как вариант еще можно использовать бутстрап
@@TheJosebaxter спасибо за ответ! У меня что-то ближе к Пуссоновскому распределению, если на глаз смотреть. Проверял критерий нормальности для выборки - распределение ненормально:( Бутстреп хочу попробовать как раз в ближайшее время.
@@karpovcourses , "подумал ТО, что", "увидел ТО, что", "узнал ТО, что" вместо "подумал, что"; "увидел, что"; "узнал, что".. Непонятно, когда это началось и почему.. невозможно от этого абстрагироваться, смотришь же и вникаешь в смысл, а вот это все время сбивает))) Понятно. что что это мой бзик, но вот так))
