GRPO

На этих выходных захотел верхнеуровнево разобраться в GRPO (Group Relative Policy Optimization) 🏥. Это полезно и по работе, и понимать, что вообще люди в комьюнити обсуждают так бурно. Если где-то ошибся или что-то можно объяснить точнее — поправляйте, буду рад обсудить 😍.

Вообще метод появился-то еще год назад, в работе DeepSeek — DeepSeekMath. Тогда еще @lovedeathtransformers назвал его странный рро. Ну и забили (вроде как). Переодически появлялся в статьях, а потом... Ну вы сами знаете, обвал рынков, шутки про дипсик и т.д. После этого все начали суетиться и заводить GRPO у себя в проектах. Вот, например, в TRL реализовали.

Метод и правда прост 🤓:
1. Генерируем N ответов на один промпт;
2. Оцениваем каждый из них — получаем награду;
3. Cчитаем среднее и стандартное отклонение по наградам из п.2;
4. Применяем операцию стандартизации (из каждой оценки вычитаем среднее и стандартное отклонение из п.3) — получаем относительные награды;
5. Обновляем модель, увеличивая вероятность хороших ответов и контролируя отклонение через KL-штраф (между исходной моделью и обучаемой).

Что здесь отличного от PPO (Proximal Policy Optimization):
— Это пункт 1, в котором мы оцениваем не одну цепочку генерации, а сразу N — и это самое главное, как мне кажется, новелти этого подхода. Одновременная оценка нескольких гипотез делает процесс обучения стабильнее, так как модель получает больше информации за одну итерацию и лучше учитывает вариативность ответов;
— Мы избавляемся от дополнительной модели-скорера: GRPO нормализует награды относительно других ответов, а не через отдельную value-модель, как в PPO, что делает процесс обучения более прозрачным и менее шумным, а также возможным для gpu-poor сетапов;

Исходя из того, что я почитал у разных коллег из индустрии, GRPO заведётся у вас точно, если:
1. Модель в каком-то приближении умеет решать задачу (например, здесь ребята пытаются сделать лучше grounding у qwen2.5-vl, а модель изначально неплохо в него умела; в R1 модельке кормили и код, и математику и чего только не кормили до GRPO);
2. Сама задача относительно простая и решается недолгими рассуждениями: для длинных рассуждений нужно считать оценку для промежуточных стадий.

Но при этом гипотезы, почему GRPO работает лучше PPO примерно следующие:
1. Нормировка ревордов достаточно простая и прозрачная; в PPO же что только не делали уже с нормировкой (особенно в мультихост обучении);
2. Да хрен его знает 👨‍🦳.

Еще говорят, что если у вас достаточно много источников ревордов, то GRPO может быть менее информативным. Вот тут буквально пару абзацев текста.

А если хотите погрузиться чуточку поглубже, можно почитать неплохой гайд здесь. Мне помог погрузиться!

ML Party — СПб

Недавно выступал в Белграде (вот тут подробнее), пора продолжить в Петербурге!

18 марта буду рассказывать про нашу VLMку 🤓. В отличие от прошлого раза, где был некий обзор области в OCR домене и чего там делается, в этот раз расскажу чего мы делаем нашей большой дружной командой VLM. Будут по большей части кейсы из нашей практики, что взлетело, чего не получилось. Постараюсь поделиться самой мякоткой. Должно быть как минимум мега интересно!

Если сможете прийти лично — буду рад пообщаться! Если будете онлайн — тоже здорово, приходите посмотреть, а потом обязательно заходите с вопросами! Ссылочка на регистрацию!

P.S. Про нашу команду можно почитать здесь. Если вдруг вам захотелось присоединиться к нашему путешествию (на работку) — приходите ко мне в личку 😍

А вот и лого для grok3 😀 Получается и правда самая умная модель

Снова папочка

Тут ребята позвали меня поучаствовать в новой папочке. В основном, кто-то недавно начал вести каналы, а кто уже заядлый блоггер! Ну ребята классные, поэтому почему бы и нет.

Итак, что полезного можете там забрать:
— Саша пишет про всё вокруг — примерно как я. Но одно из самых интересных — это серия постов про прохождения собесов 🤯
— Коля больше про ML-lifestyle, а также смешные мемасы 🔼
— Дима старается чуть глубже копнуть в ML топики, как здесь, есть нотки бэкдора — кому-то нравится 😀

Если интересно — забирайте себе папку!

Ребятушки, ну вы чивооооо 😊

Ещё китов не хватает, поднажмите

YandexGPT 5 Lite в опенсорсе

Тут ребята из соседней команды выкатили релиз: крупную модельку и маленькую. Маленькая модель претрейн версии уже в open-source!

Маленькая модель по куче бенчей превосходит тот же самый qwen-2.5, и обучена полностью с нуля. Большая модель берёт инициализацию весов от Qwen-2.5-32B-base.

Попробовать можно в Yandex Cloud и в Алиса Про.

В статье куча технических нюансов, и лучше вам самим прочитать, чем я буду вам пересказывать!

Статья: https://habr.com/ru/companies/yandex/articles/885218/

P.S. Я тоже в релизе левой пяткой поучаствовал 😍

Профилировщики

Есть такой момент: код работает 1 час вместо 1 минуты. Это вообще нормально? 🏥

У меня был скрипт, который работал ну жутко долго. Из "замечательных" его свойств было:
— Обилие библиотек, которые делали одно и то же;
— Тонна строк кода, которые сложно уместить в контекст.

Примечательно и другое: всего 10000 семплов прогонялось в скрипте, а занимало целый час. Моё алгоритмическое чутьё подозревает степенную сложность у алгоритмов в коде 🤓. Но как всю эту лютейшую дичь искать глазами в такой простыне? Вообще не представляю. Значит, нужон профилировщик.

Я достаточно давно не использовал подобный инструментарий для Python кода, а потому вообще всё забыл. Погуглил, наткнулся на Austin — и правда кайфанул.

Во-первых, как мне показалось, он практически не влияет на код. Видимо, профилировка методом сбора статистик из стека вызовов сделана классно.

Во-вторых, установил и запустил — из коробки работает норм. Не нужно настраивать, читать 100500 толмутов документации, чтобы сделать запуск.

В-третьих, реалтайм построение flamegraph. Запускаешь, смотришь, останавливаешься в любой момент — и сразу видно, где всё тормозит.

Также в тулзе есть профилировщик памяти, но я юзал для этих целей memray (тож рекомендую).

В результате, я минут за 5 нашёл проблемные места и получил свою заветную одну минуту времени работы! Скорее всего вы даже лучше меня знаете, что лучше всего использовать для отладки проблем с производительностью приложений на Python. Но я считаю, что этот фреймворк — абсолютное величие для тех, кто хочет что-то быстренько ускорить на коленке.

И вот какой у меня возник вопрос: сколько бы эту задачу делал ИИ-агент и вообще смог ли бы он её сделать?