Telegram Group & Telegram Channel
Внезапно прошел уже месяц с AHA25. Можно, наконец, как честному слоупоку, поговорить про впечатления.

Программа оставила смешанные впечатления. Пропал блок по поведенческой экономике, появился блок по здоровью, чекапам и прочему. Очень много про AI / LLM, притом не с точки зрения продуктовой аналитики, а в продуктовых или маркетинговых задачах.

Из чисто аналитических инсайтов — и в кулуарах, и в докладах регулярно звучали реплики про “мы собираем 100500 метрик”. Конечно, какие-то метрики для ui, какие-то — по сегментам, но все равно. Сколько слышу, каждый раз поражает. Но одновременно задумался — может, и нам стоит больше метрик придумать/использовать?

Больше всего понравились два доклада. Тоже про метрики. Здесь можно посмотреть аннотации докладов.

Первый — “От cuped к mutlti-cuped: больше метрик — больше решений, или как мы превратили обилие метрик из штрафа в бонус»” (Григорий Засько, Лаборатория Прикладной Статистики, Т-Банк). Одна из идей доклада — использовать в тестах многомерные критерии, чтобы принимать решение не по изменению одной метрики, а по совокупности метрик. И “набор метрик как экосистемное изменение”. Вполне можно прикрутить к некоторым экспериментам в играх, мне кажется, так как у нас эксперименты нередко предполагают системное изменение поведения пользователя.

Второй интересный доклад — “Проксируй это: как использовать прокси-метрики умнее?” (Артем @gofat Ерохин, X5). Для меня это доклад про темы “подумать попозже” (особенно в части про causal inference), так как в моей работе прокси достаточно примитивные (воронка боев как прокси к ретеншену) и без какого-то глубокого осмысления и манипуляций. Зато вроде бы придумал, почему один из наших эксперментов оказался неудачен — кажется, мы напоролись на то, что называют законом Гудхарда — “Когда мера становится целью, она перестает быть хорошей мерой”. Мы пытались манипулировать прокси-метрикой, чтобы изменить целевую метрику и у нас (закономерно по Гудхарду) ничего не получилось. Скорее всего причины, почему именно не получилось у нас, лежат гораздо глуже. Но в первом приближении все равно неплохая интерпретация.

В общем, ходить на конференции полезно, в который раз убеждаюсь. Если даже не сами доклады, то некоторые решения в них или реплики в кулуарах наталкивают на новые идеи.



group-telegram.com/diceanalytics/172
Create:
Last Update:

Внезапно прошел уже месяц с AHA25. Можно, наконец, как честному слоупоку, поговорить про впечатления.

Программа оставила смешанные впечатления. Пропал блок по поведенческой экономике, появился блок по здоровью, чекапам и прочему. Очень много про AI / LLM, притом не с точки зрения продуктовой аналитики, а в продуктовых или маркетинговых задачах.

Из чисто аналитических инсайтов — и в кулуарах, и в докладах регулярно звучали реплики про “мы собираем 100500 метрик”. Конечно, какие-то метрики для ui, какие-то — по сегментам, но все равно. Сколько слышу, каждый раз поражает. Но одновременно задумался — может, и нам стоит больше метрик придумать/использовать?

Больше всего понравились два доклада. Тоже про метрики. Здесь можно посмотреть аннотации докладов.

Первый — “От cuped к mutlti-cuped: больше метрик — больше решений, или как мы превратили обилие метрик из штрафа в бонус»” (Григорий Засько, Лаборатория Прикладной Статистики, Т-Банк). Одна из идей доклада — использовать в тестах многомерные критерии, чтобы принимать решение не по изменению одной метрики, а по совокупности метрик. И “набор метрик как экосистемное изменение”. Вполне можно прикрутить к некоторым экспериментам в играх, мне кажется, так как у нас эксперименты нередко предполагают системное изменение поведения пользователя.

Второй интересный доклад — “Проксируй это: как использовать прокси-метрики умнее?” (Артем @gofat Ерохин, X5). Для меня это доклад про темы “подумать попозже” (особенно в части про causal inference), так как в моей работе прокси достаточно примитивные (воронка боев как прокси к ретеншену) и без какого-то глубокого осмысления и манипуляций. Зато вроде бы придумал, почему один из наших эксперментов оказался неудачен — кажется, мы напоролись на то, что называют законом Гудхарда — “Когда мера становится целью, она перестает быть хорошей мерой”. Мы пытались манипулировать прокси-метрикой, чтобы изменить целевую метрику и у нас (закономерно по Гудхарду) ничего не получилось. Скорее всего причины, почему именно не получилось у нас, лежат гораздо глуже. Но в первом приближении все равно неплохая интерпретация.

В общем, ходить на конференции полезно, в который раз убеждаюсь. Если даже не сами доклады, то некоторые решения в них или реплики в кулуарах наталкивают на новые идеи.

BY аналитика на кубах


Warning: Undefined variable $i in /var/www/group-telegram/post.php on line 260

Share with your friend now:
group-telegram.com/diceanalytics/172

View MORE
Open in Telegram


Telegram | DID YOU KNOW?

Date: |

Stocks closed in the red Friday as investors weighed upbeat remarks from Russian President Vladimir Putin about diplomatic discussions with Ukraine against a weaker-than-expected print on U.S. consumer sentiment. After fleeing Russia, the brothers founded Telegram as a way to communicate outside the Kremlin's orbit. They now run it from Dubai, and Pavel Durov says it has more than 500 million monthly active users. Also in the latest update is the ability for users to create a unique @username from the Settings page, providing others with an easy way to contact them via Search or their t.me/username link without sharing their phone number. As a result, the pandemic saw many newcomers to Telegram, including prominent anti-vaccine activists who used the app's hands-off approach to share false information on shots, a study from the Institute for Strategic Dialogue shows. On Telegram’s website, it says that Pavel Durov “supports Telegram financially and ideologically while Nikolai (Duvov)’s input is technological.” Currently, the Telegram team is based in Dubai, having moved around from Berlin, London and Singapore after departing Russia. Meanwhile, the company which owns Telegram is registered in the British Virgin Islands.
from ye


Telegram аналитика на кубах
FROM American