Итоги года 🎉🌲🌲🌲

TGstat приготовили красивую открытку с итогами года, приятно увидеть в одном месте значимые метрики) На канале уже больше 3000 человек, что очень радует и мотивирует продолжать развивать канал и готовить новые материалы.

От себя добавлю еще проекты, которые хотелось бы отметить как значимые в 2024 году.

📱 Выпустила ряд видео, посвященных статистике и R, с плейлистом можно ознакомиться по ссылке.

🌱 Провели совместно с каналом чтопосеешь.org курс по статистике для селекционеров.

🖥 Совместно с Бластим подготовили курс по tidyverse на stepik, а также провели два потока курса по R и статистике. Рассматриваю в дальнейшем продолжение формата курса на stepik, с увеличением количества материалов и сложности заданий, и рассчитываю продолжать сотрудничество как учебный ассистент на курсе по R.

😎 Написала как биологу вкатиться в аналитику данных.

📊 А также подготовила большой разбор про сравнение теста Велча с тестом Стьюдента.

Планы по развитию канала: продолжать разбирать простые и сложные концепты в статистике, применительно к науке и аналитике данных, и постараюсь вернуться к лекциям на ютуб или степик.

Поздравляю всех с наступающим новым годом, желаю достижения всех целей в профессиональном и личном плане! 🎉
Чтобы p-value было меньше 0.05, эксперименты удавались, и данные всегда были качественными и полными 💪

Увидимся в следующем году!

Что такое продуктовая аналитика?

Хочу похвастаться — чуть больше двух месяцев работаю продуктовым аналитиком в Литрес 📚, в команде монетизации, поэтому решила написать впечатления о работе и вообще о том, что такое и зачем нужна продуктовая аналитика.

Впечатления о работе продуктовым аналитиком в Литрес

…если нужно описать одной картинкой ⬆️

А если серьезно, у меня классический стек продуктового аналитика: дизайн и проведение A/B тестов (в основном через вариокуб, иногда вручную подвожу итоги), генерация продуктовых гипотез, написание ETL-процессов (airflow, python) и создание дашбордов (Superset).

Немного о том, чем занимаются продуктовые аналитики в моем понимании.
Я бы описала многообразие работы продуктовым аналитиком так: аналитик помогает бизнесу принять взвешенные решения, основываясь на данных. Это может включать:

- Анализ поведения пользователей на основе логов приложения для выявления наиболее популярных функций и проблемных мест.
- Дизайн и проведение A/B тестов для улучшения пользовательского опыта и увеличения монетизации приложения.
A/B тесты позволяют статистически сравнить эффект какого-либо воздействия в продукте, это очень похоже на обычные эксперименты сравнения с контролем, которые используются в науке (методика A/B тестирований и пришла из научных исследований). Простое объяснение про A/B можно посмотреть в посте Юры, также я выкладывала пример дизайна A/B теста в соревновании от Samokat.tech.
В целом методика тестирований это обширная тема, на много курсов и телеграм-каналов, но в двух словах так.
- Создание дашбордов для наглядного представления информации и отслеживания ключевых метрик продукта.
- И самое интересное - генерация гипотез, что можно улучшить в продукте, далее разработчики могут реализовать это изменение, а аналитики проверяют результат с помощью A/B тестов.

Не все из перечисленного является уникальной способностью продуктового аналитика, например дашборды делают BI-аналитики, и в принципе любые аналитики, гипотезы могут придумывать продакт-менеджеры, анализируют поведение пользователей маркетологи и UX-исследователи. Несмотря на это, продуктовые аналитики играют ключевую роль в интеграции и интерпретации данных для принятия решений бизнеса.
Именно это для меня кажется самым интересным в работе продуктовым аналитиком 😎

#product #analytics

Институт биоинформатики запускает серию открытых лекций «Разрушители статистических мифов»
12, 19 и 26 марта в 19:00 МСК, онлайн

Преподаватели трека по биостатистике Института биоинформатики подготовили для вас серию лекций, которые разрушат самые популярные статистические мифы.
Почему нельзя пользоваться простыми алгоритмами для выбора статистического теста? Что же такое p-value, и чем оно не является? Нужно ли проводить проверку на нормальность, или это ничего не изменит? Эти, а также другие вопросы, вызывающие бурные споры как у новичков, так и у мастодонтов, мы обсудим на лектории!

🦖 12 марта, 19:00 МСК | Евгений Бакин
Миф №1: Статистика – наука точная, и в ней нет места мифам

🦖 19 марта, 19:00 МСК | Ольга Мироненко
Миф №2: Доверительные интервалы и р-значения – это то, чем они кажутся

🦖 26 марта, 19:00 МСК | Матвей Славенко
Миф №3: Ненормальное распределение требует ненормальных решений

Регистрация открыта до 26 марта 17:00 МСК: bioinf.me/stat_myths (если вы не получили письмо после регистрации – проверьте, пожалуйста, спам)

Это первая часть из серии лекций, посвященной статистическим мифам, и во второй части я тоже буду рассказывать про один из мифов, но детали анонсируем позже, так что stay tuned 🔔

До встречи!

P.S.: Слушатели лектория больше никогда не будут ошибаться в вопросах статистики! Или будут. Всё как с динозаврами – 50/50!

NEWHR выпустили результаты исследования рынка аналитиков за 2024 год

Я репостила анонс исследования NEWHR, спасибо всем, кто прошел опрос, удалось набрать довольно солидную выборку, 1293 человека 🔥

Смотреть полные результаты

Основные инсайты из исследования:

👉 Главные выводы

👉 Какие задачи решают аналитики

👉 ЗАРПЛАТЫ: как менялись за год и сколько получают аналитики, существует ли гендерное неравенство в зарплатах (спойлер: существует) + NEWHR дополнили исследование своей экспертизой: что повышает или снижает стоимость аналитиков

👉 Откуда пришли в профессию и куда идут дальше

👉 ТОП и Анти-ТОП компаний для аналитиков

👉 Каких экспертов котируют и за кем следят

Для меня наиболее интересным оказались результаты по зарплате аналитиков, их гендерному распределению, а также топ и анти-топ компаний для аналитиков (забавно, например, что яндекс ❤️ попал и туда и туда).

Еще хочу отметить исследование как пример очень хорошей визуализации данных (хотя по мелочи есть к чему придраться, например в самом первом графике цвет избыточен, на мой взгляд).

В основном в выборке представлены дата- и продуктовые аналитики, и дата-аналитиков было почти столько же, сколько всего респондентов в аналогичном исследовании 2023 года.

Спасибо NEWHR за проведение таких исследований, и всем, кто прошел опрос, это очень полезно, чтобы понимать рынок труда и свое место в нем.

История A/B тестирования: первые тесты в бигтехе

Продолжаем разбирать историю A/B тестов — начало в этом посте.

Сегодня рассмотрим первопроходцев A/B в современном понимании. Точно сказать, какой именно тест был самым первым, нельзя, но ранние примеры приходятся на начало 2000-х:

📱 Amazon:
Amazon позиционирует себя как data-driven компания, где тестируют самые минимальные изменения интерфейса. Уже в 2004 году Рон Кохави представил доклад об их тестах.
Грег Линден предложил показывать персональные рекомендации на этапе чекаута ("Похожие товары" перед оплатой). Старший вице-президент по маркетингу был категорически против, опасаясь, что это отвлечет пользователей от покупки и снизит продажи.
Однако Линден все равно запустил A/B тест, в котором вариант с рекомендациями победил с таким отрывом, что отказ от этой идеи стоил бы Amazon миллионы долларов.

🔍Google:
Первый A/B тест провели в начале 2000х годов. UX-исследования показывали, что пользователи хотят видеть больше результатов поиска на странице: 20 лучше чем 10, 25 ещё лучше, 30 — идеально. Google провел A/B тест: в экспериментальной группе пользователям показывали 30 результатов поиска на одной странице.
Трафик в экспериментальной группе упал на 25% менее чем за шесть недель. Сотрудники задумались, почему это произошло. Одним из вариантов был парадокс выбора, когда пользователи из-за слишком большого количества вариантов не могут решить, что им выбрать.
Однако разгадка оказалась проста: скорость. Страницы с 30 результатами грузились дольше в среднем на 0.5 секунды, и этого оказалось достаточно, чтобы серьезно ухудшить пользовательский опыт, что повлекло за собой падение трафика и выручки. В результате Google остановился на 10 результатах поиска в выдаче, и это число используется до сих пор.

📱 Bing:
Сотрудник Bing предложил удлинить заголовки рекламы, добавив к ним первую строчку описания: группа A — короткий заголовок (Купить iPhone), группа B — длинный (Купить iPhone 5 с гарантией и доставкой). Идея казалась незначительной и полгода пылилась в бэклоге (очереди задач разработки), пока разработчик не решил её протестировать. Через несколько часов после старта теста сработал "revenue-too-high alert" — новый формат оказался "слишком хорош", подняв выручку на невероятные 12%. Это принесло Bing более $100M годового дохода в США, не ухудшив UX-метрики. Тест многократно повторяли, подтверждая результат (HBR, 2017).

📱 Netflix:
Тестировали обложки фильмов: группа A — стандартные постеры, группа B — персонализированные. Например, для фильма "Умница Уилл Хантинг" любителям романтики показывали кадры с Мэттом Дэймоном и Минни Драйвер, а фанатам комедий — с Робином Уильямсом, известным комиком. A/B тест показал, что персонализированные обложки значительно увеличили вовлечённость и персонализация стала стандартом Netflix (Netflix Tech Blog, 2017).

А вы замечали, что попали в A/B тест? Я недавно заметила, что я не попала в тестовую группу, когда у коллег изменился интерфейс гугл мита, а у меня нет. Однако примерно через неделю это изменение интерфейса доехало и до меня.

#AB_tests #analytics