Ваагн Минасян | Ускорение A/Б тестов линейными методами: сравнительный анализ

Ваагн Минасян, Lead Data Scientist at X5 Group Ускорение A/Б тестов линейными методами: сравнительный анализ. Задача ускорения А/Б тестов ( . повышения чувствительности ) является одной из самых актуальных в индустрии. К наиболее удобным методами ускорения А/Б тестов, статистические свойства которых можно вывести аналитически, относятся линейная регрессия и методы на остатках, например, CUPED. Однако, некоторые реализации этих методов и, в частности, реализации CUPED’a, незаметно приводят к очень нежелательным последствиям - оценки получаются смещёнными, т.е. результаты A/Б теста искажаются и перестают отражать реальность на ограниченном количестве данных. В других же методах недоиспользуются возможности повышения чувствительности. Дабы предостеречь аналитика от неверных шагов, в данном видео мы разбираем эти случаи и проведём сравнительный анализ линейных методов повышения чувствительности, подкрепляя выводы симуляциями. Материалы к докладу: Автор исследования подходов в А/Б тестировании: QNA сессию вы можете посмотреть в комментариях к посту: ML in Marketing hub: Канал Ml in Marketing: Соцсети Open Data Science: Регистрация на мероприятия соощества: Хабы сообщества: