Допустим, с сайта/ приложения идут не миллионы пользователей и показов, а всего пара тысяч MAU, но АБтестировать фичи все равно надо. Разберем несколько лайфхаков
- Долгие тесты - плохая идея. Пока будем ждать стат. значимости, пройдет полгода, РК и трафик уже успеют поменяться
- Делаем больший упор на инсайты от рекламодателой. Вместо слепого следования CPM/ CPV, participation rate, media cost, опрашиваем рекламодателей. Они очень чутко реагируют на смену KPI, и по увеличенным/ уменьшенным бюджетам, сегментам пользователей можно косвенно определить, работает фича или нет
- Bayesian > Frequentist. Байесовская статистика быстрее дает результаты на малых выборках
- Не ленимся сегментировать пользователей. Иногда важнее сузить скоуп фичи и тестить внутри конкретных групп (например, только платящие, или только определенное гео, или только мобилки), чем пытаться разогнать общий трафик
В конечном итоге при низком трафике больше исследуем вторичные сигналы и делаем упор на сбор обратной связи извне платформы
Пример для случая InApp трафика разобран у RevenueCat
Допустим, с сайта/ приложения идут не миллионы пользователей и показов, а всего пара тысяч MAU, но АБтестировать фичи все равно надо. Разберем несколько лайфхаков
- Долгие тесты - плохая идея. Пока будем ждать стат. значимости, пройдет полгода, РК и трафик уже успеют поменяться
- Делаем больший упор на инсайты от рекламодателой. Вместо слепого следования CPM/ CPV, participation rate, media cost, опрашиваем рекламодателей. Они очень чутко реагируют на смену KPI, и по увеличенным/ уменьшенным бюджетам, сегментам пользователей можно косвенно определить, работает фича или нет
- Bayesian > Frequentist. Байесовская статистика быстрее дает результаты на малых выборках
- Не ленимся сегментировать пользователей. Иногда важнее сузить скоуп фичи и тестить внутри конкретных групп (например, только платящие, или только определенное гео, или только мобилки), чем пытаться разогнать общий трафик
В конечном итоге при низком трафике больше исследуем вторичные сигналы и делаем упор на сбор обратной связи извне платформы
Пример для случая InApp трафика разобран у RevenueCat
On Telegram’s website, it says that Pavel Durov “supports Telegram financially and ideologically while Nikolai (Duvov)’s input is technological.” Currently, the Telegram team is based in Dubai, having moved around from Berlin, London and Singapore after departing Russia. Meanwhile, the company which owns Telegram is registered in the British Virgin Islands. Groups are also not fully encrypted, end-to-end. This includes private groups. Private groups cannot be seen by other Telegram users, but Telegram itself can see the groups and all of the communications that you have in them. All of the same risks and warnings about channels can be applied to groups. Ukrainian forces successfully attacked Russian vehicles in the capital city of Kyiv thanks to a public tip made through the encrypted messaging app Telegram, Ukraine's top law-enforcement agency said on Tuesday. Additionally, investors are often instructed to deposit monies into personal bank accounts of individuals who claim to represent a legitimate entity, and/or into an unrelated corporate account. To lend credence and to lure unsuspecting victims, perpetrators usually claim that their entity and/or the investment schemes are approved by financial authorities. Messages are not fully encrypted by default. That means the company could, in theory, access the content of the messages, or be forced to hand over the data at the request of a government.
from in
