Big Ledovsky | блог DS лида

Обратные тесты или почему в Авито свернут блок похожих объявлений

Обратите внимание на статью Жени Чумаченко про обратные тесты. Обратные тесты - это когда вы отключаете какой-то функционал и смотрите что происходит.

Женя в статье раскрыл топ инсайт 🔥, который мне в свое время очень зашел. Возможно вы видели, что в Авито свернут блок похожих объявлений на карточке товара. Странно, да? Это не просто так сделано 🧠 Там на самом деле долгая история, за которой отправлю в первоисточник. Если кратко, то решение свернуть блок было принято после обратных тестов.

Вообще, обратные тесты - это очень сильный инструмент. Особенно для ML моделей. Вот есть у вас какая-то модель которую вы регулярно обновляете по результатам зеленых АВ

- Сохранятся ли модельные аплифты во времени?
- Сохранятся ли модельные аплифты при раскатках значимых изменений системы в целом?

Неизвестно) Поэтому периодически мы делаем обратные тесты на совсем старой версии модели. Так мы проверяем, какой эффект реально остался после условных 6 месяцев бурных выкаток. И иногда результаты нас не радуют 😅

Проводите ли вы обратные тесты? Есть ли у вас истории, как ухудшающий по дизайну тест оказался улучшающим? 😄

#tech

Please open Telegram to view this post

VIEW IN TELEGRAM

Telegram

Avito Data Tech

Всем привет. Меня зовут Женя Чумаченко. Я отвечаю за аналитику в поиске и рекомендациях, расширяю рекомендации на другие пути CJM пользователей. Помогаю улучшить опыт покупателей, сделать их успешней и счастливей.

В этой статье я расскажу вам историю, как…

www.group-telegram.com/us/big_ledovsky.com/273

1.6K viewsedited  Dec 20, 2024 at 06:23

Обратные тесты или почему в Авито свернут блок похожих объявлений

Обратите внимание на статью Жени Чумаченко про обратные тесты. Обратные тесты - это когда вы отключаете какой-то функционал и смотрите что происходит.

Женя в статье раскрыл топ инсайт 🔥, который мне в свое время очень зашел. Возможно вы видели, что в Авито свернут блок похожих объявлений на карточке товара. Странно, да? Это не просто так сделано 🧠 Там на самом деле долгая история, за которой отправлю в первоисточник. Если кратко, то решение свернуть блок было принято после обратных тестов.

Вообще, обратные тесты - это очень сильный инструмент. Особенно для ML моделей. Вот есть у вас какая-то модель которую вы регулярно обновляете по результатам зеленых АВ

- Сохранятся ли модельные аплифты во времени?
- Сохранятся ли модельные аплифты при раскатках значимых изменений системы в целом?

Неизвестно) Поэтому периодически мы делаем обратные тесты на совсем старой версии модели. Так мы проверяем, какой эффект реально остался после условных 6 месяцев бурных выкаток. И иногда результаты нас не радуют 😅

Проводите ли вы обратные тесты? Есть ли у вас истории, как ухудшающий по дизайну тест оказался улучшающим? 😄

#tech