Начинаю уже запутываться в контенте; столько всего происходит, что даже взятый мной темп по одному посту в день начинает трещать по швам. Тем не менее пока попробую оставаться в этом ритме, и сегодня выберу доклад, публикации которого жду не только я, но и его автор, Александр Панов:
Семинар Markov Lab — 2025.10.08 — AI Scientist
(Слайды на странице семинара)
Александр дал обзор того, как сейчас работают AI-системы, помогающие в научных исследованиях, рассказал о том, что об этом думает его лаборатория в AIRI и в каком направлении она работает. Главная мысль, которую он проводил (насколько я понял), была в том, что успешный AI scientist должен быть в каком-то смысле embodied, то есть должен получить другие модальности непосредственного опыта, не только токены текста и картинок/видео.
Как мне кажется, весьма интересной была и дискуссия после доклада. Мои читатели знают, что AI scientist'ы разного рода — это моя любимая тема, и в этом отношении я настроен очень... хм, хотел сказать "оптимистично", но не уверен, что это правильное слово.) В общем, верю я в AI scientist'ов, и даже в то, что для существенной трансформации всего научного поиска новых мегапрорывов до "AI-Эйнштейнов" совершенно не требуется; на днях выложу ещё один свой недавний доклад об этом, кстати.
Так что поспорили мы знатно; надеюсь, разошлись всё-таки друзьями. :)
Семинар Markov Lab — 2025.10.08 — AI Scientist
(Слайды на странице семинара)
Александр дал обзор того, как сейчас работают AI-системы, помогающие в научных исследованиях, рассказал о том, что об этом думает его лаборатория в AIRI и в каком направлении она работает. Главная мысль, которую он проводил (насколько я понял), была в том, что успешный AI scientist должен быть в каком-то смысле embodied, то есть должен получить другие модальности непосредственного опыта, не только токены текста и картинок/видео.
Как мне кажется, весьма интересной была и дискуссия после доклада. Мои читатели знают, что AI scientist'ы разного рода — это моя любимая тема, и в этом отношении я настроен очень... хм, хотел сказать "оптимистично", но не уверен, что это правильное слово.) В общем, верю я в AI scientist'ов, и даже в то, что для существенной трансформации всего научного поиска новых мегапрорывов до "AI-Эйнштейнов" совершенно не требуется; на днях выложу ещё один свой недавний доклад об этом, кстати.
Так что поспорили мы знатно; надеюсь, разошлись всё-таки друзьями. :)
🔥18❤10😁2
На семинаре лаборатории Маркова начинаем большую математически богатую тему. Мы с самого начала собирались её обсудить, но, конечно, доклады приглашённых извне исследователей всегда имеют приоритет.
Тема очень важная и интересная — SSM и архитектуры типа Mamba; это те самые архитектуры, которые могут потенциально заместить или хотя бы существенно дополнить полную доминацию трансформеров. У нас будет несколько докладов на тему, в среду первый, в котором, надеюсь, всё будет объясняться подробно от самого начала; а саму архитектуру Mamba и последующие за ней новости будем подробно обсуждать в следующий раз.
Состояния важнее внимания? От классических SSM к S4/S5 и Mamba
Алексей Власов, Андрей Лаэтин
Лаборатория Маркова, МКН СПбГУ
Ссылка на трансляцию (среда 15 октября, 14:00)
Трансформеры стали стандартом для работы с последовательностями, но современное моделирование живо «не трансформером единым». Их ключевое ограничение — квадратичное время работы от длины входа. Мы разберём State Space Models (SSM) — в том числе нашумевшую Mamba — как альтернативу: эти модели масштабируются линейно, естественно описывают динамику во времени и лучше работают с дальними зависимостями.
Мы начнём с классических SSM (с помощью которых людей отправляли на Луну), и их практических версий в ML. В качестве мотивации посмотрим на HiPPO: как можно «сжать прошлое и восстановить его обратно». Дальше обсудим связь с оптимальным управлением и сигналами, и покажем, как линейная масштабируемость достигается структурой SSM, а стабильность обучения обеспечивается не только корректной инициализацией, но и выбором метода дискретизации.
Разберём три удобных взгляда на такие модели — как непрерывные динамические системы, как свёрточные операторы (через структурированные матрицы) и как рекуррентное обновление состояния. Покажем эволюцию от S4 (SISO) к S5 (в том числе MIMO), и чем эти апдейты важны на практике.
Завершим кратким обзором Mamba: что в ней означает «селективность» и как устроено обновление скрытого состояния. Заодно обсудим, почему эта модель вызвала такой фурор; но подробное изложение архитектур Mamba и Mamba 2 будет в следующем докладе.
Тема очень важная и интересная — SSM и архитектуры типа Mamba; это те самые архитектуры, которые могут потенциально заместить или хотя бы существенно дополнить полную доминацию трансформеров. У нас будет несколько докладов на тему, в среду первый, в котором, надеюсь, всё будет объясняться подробно от самого начала; а саму архитектуру Mamba и последующие за ней новости будем подробно обсуждать в следующий раз.
Состояния важнее внимания? От классических SSM к S4/S5 и Mamba
Алексей Власов, Андрей Лаэтин
Лаборатория Маркова, МКН СПбГУ
Ссылка на трансляцию (среда 15 октября, 14:00)
Трансформеры стали стандартом для работы с последовательностями, но современное моделирование живо «не трансформером единым». Их ключевое ограничение — квадратичное время работы от длины входа. Мы разберём State Space Models (SSM) — в том числе нашумевшую Mamba — как альтернативу: эти модели масштабируются линейно, естественно описывают динамику во времени и лучше работают с дальними зависимостями.
Мы начнём с классических SSM (с помощью которых людей отправляли на Луну), и их практических версий в ML. В качестве мотивации посмотрим на HiPPO: как можно «сжать прошлое и восстановить его обратно». Дальше обсудим связь с оптимальным управлением и сигналами, и покажем, как линейная масштабируемость достигается структурой SSM, а стабильность обучения обеспечивается не только корректной инициализацией, но и выбором метода дискретизации.
Разберём три удобных взгляда на такие модели — как непрерывные динамические системы, как свёрточные операторы (через структурированные матрицы) и как рекуррентное обновление состояния. Покажем эволюцию от S4 (SISO) к S5 (в том числе MIMO), и чем эти апдейты важны на практике.
Завершим кратким обзором Mamba: что в ней означает «селективность» и как устроено обновление скрытого состояния. Заодно обсудим, почему эта модель вызвала такой фурор; но подробное изложение архитектур Mamba и Mamba 2 будет в следующем докладе.
❤28👍6
Сегодня расскажу вам про совершенно новую образовательную инициативу, которая началась у меня в этом году. Меня пригласили в Южный федеральный университет (sic!) читать лекции первокурсникам (!!) о том, как устроен искусственный интеллект, на аудиторию в 300-500 человек (!!!). Название курса абстрактное — "Технологии и фронтиры науки о данных" — и суть должна быть в том, чтобы рассказать о современном AI в популярной форме, доступной вчерашним школьникам.
Для меня это совершенно новый вызов: да, я нередко читаю популярные лекции (вот недавно две было, про AI в целом и про рассуждающие модели; бывали доклады и для школьников), так что в целом я не сомневаюсь, что могу говорить об AI популярным языком два или даже четыре часа подряд. Но двадцать?.. С другой стороны, я всё время говорю, что многие идеи современного машинного обучения можно объяснить на пальцах, вот меня в каком-то смысле на слове и поймали. Посмотрим, что у меня получится.
Самое приятное во всём этом, конечно, в том, что мне разрешили выкладывать материалы курса и видео этих лекций. Встречайте — вот страничка курса:
Технологии и фронтиры науки о данных — ЮФУ, осень 2025
В прошлый четверг прошла первая лекция:
Что такое AI? Введение и терминология
(слайды как всегда на странице курса)
Хотел в качестве введения порассуждать о том, что такое вообще интеллект и искусственный интеллект в частности, описать основные типы задач и методов в AI. Пришло действительно несколько сот человек (забыл зафиксировать точное число), и, конечно, возникла живая интересная дискуссия.) Для порядка в письменной форме: коллеги писали в чате, а я старался иногда на их вопросы отвечать, не слишком нарушая течение лекции. В итоге наобсуждались на три часа без четверти, и при этом я даже свой скромный план до конца не выполнил; про типы постановок задач (supervised/unsupervised/reinforcement) расскажу уже в следующий раз.
Интересное дело получается, и вопросы от аудитории часто были хорошие. Спасибо коллегам (в основном Михаилу Игоревичу Карякину) за приглашение, будем продолжать.
Эти лекции точно можно смотреть всем желающим, ничего математически сложного там не будет. А нужно ли их смотреть — решать вам, это уж как пойдёт. Надеюсь, что пойдёт хорошо.
Для меня это совершенно новый вызов: да, я нередко читаю популярные лекции (вот недавно две было, про AI в целом и про рассуждающие модели; бывали доклады и для школьников), так что в целом я не сомневаюсь, что могу говорить об AI популярным языком два или даже четыре часа подряд. Но двадцать?.. С другой стороны, я всё время говорю, что многие идеи современного машинного обучения можно объяснить на пальцах, вот меня в каком-то смысле на слове и поймали. Посмотрим, что у меня получится.
Самое приятное во всём этом, конечно, в том, что мне разрешили выкладывать материалы курса и видео этих лекций. Встречайте — вот страничка курса:
Технологии и фронтиры науки о данных — ЮФУ, осень 2025
В прошлый четверг прошла первая лекция:
Что такое AI? Введение и терминология
(слайды как всегда на странице курса)
Хотел в качестве введения порассуждать о том, что такое вообще интеллект и искусственный интеллект в частности, описать основные типы задач и методов в AI. Пришло действительно несколько сот человек (забыл зафиксировать точное число), и, конечно, возникла живая интересная дискуссия.) Для порядка в письменной форме: коллеги писали в чате, а я старался иногда на их вопросы отвечать, не слишком нарушая течение лекции. В итоге наобсуждались на три часа без четверти, и при этом я даже свой скромный план до конца не выполнил; про типы постановок задач (supervised/unsupervised/reinforcement) расскажу уже в следующий раз.
Интересное дело получается, и вопросы от аудитории часто были хорошие. Спасибо коллегам (в основном Михаилу Игоревичу Карякину) за приглашение, будем продолжать.
Эти лекции точно можно смотреть всем желающим, ничего математически сложного там не будет. А нужно ли их смотреть — решать вам, это уж как пойдёт. Надеюсь, что пойдёт хорошо.
❤39🔥21👍5👏1💯1👨💻1
Две недели назад выступал на конференции Polynomial Computer Algebra (PCA 2025), и вот дошла наконец очередь написать об этом здесь.) Спасибо за приглашение Николаю Николаевичу Васильеву; он регулярно приглашает меня в ЛЭТИ рассказать о том, чего новенького в мире искусственного интеллекта (вот последний "State of AI" доклад из конца весны), а осенью вместо семинара пригласил вот на конференцию.
AI и математика: последние результаты и прогнозы на будущее
(слайды как всегда на страничке моих выступлений)
В основном это был мой стандартный доклад про математику, но с добавлением последних новостей, о части которых уже шла речь и здесь в канале; сошлюсь на пост с анонсом этого доклада, да и недавний доклад Александра Панова в лаборатории Маркова без подобных новостей не обошёлся.
Надо будет когда-нибудь пост написать об этом, в котором собрать все текущие примеры того, как LLM успешно помогают доказывать теоремы; где только найти время... С другой стороны, пока напишу, глядишь, и ещё пачка новостей накопится, они теперь буквально каждые несколько дней появляются.
AI и математика: последние результаты и прогнозы на будущее
(слайды как всегда на страничке моих выступлений)
В основном это был мой стандартный доклад про математику, но с добавлением последних новостей, о части которых уже шла речь и здесь в канале; сошлюсь на пост с анонсом этого доклада, да и недавний доклад Александра Панова в лаборатории Маркова без подобных новостей не обошёлся.
Надо будет когда-нибудь пост написать об этом, в котором собрать все текущие примеры того, как LLM успешно помогают доказывать теоремы; где только найти время... С другой стороны, пока напишу, глядишь, и ещё пачка новостей накопится, они теперь буквально каждые несколько дней появляются.
👍11🔥4❤3
В курсе "Основы байесовского вывода" сегодня говорили о двух важных общих сюжетах, пронизывающих всё машинное обучение.
СПбГУ — 2025.10.16 — Ближайшие соседи, проклятие размерности, разложение bias-variance-noise
(слайды, доска и ноутбук, как всегда, на странице курса)
Здесь логика изложения у меня такая: я начинаю с метода ближайших соседей и показываю, что на плоскости, там, где я могу нарисовать точки и разделяющие поверхности, он работает блестяще, может провести какую угодно разделяющую поверхность и вообще выглядит идеально. Возникает резонный вопрос: а вообще зачем нам всё машинное обучение тогда? Может, ближайших соседей достаточно, только решить проблемы с вычислительной сложностью (а их в целом можно решить), да и всё? Ответ на этот вопрос — проклятие размерности; почему и ближайшие соседи, и многие другие методы начинают ломаться, когда размерность пространства признаков растёт.
А второй сюжет начинается с основ статистической теории принятия решений: какая идеальная, наилучшая возможная функция предсказания? Какая у неё будет ожидаемая ошибка (спойлер: ненулевая, разумеется, в данных ведь есть шум)? А ту часть ошибки, которую мы контролируем, можно дальше разделить на две части: дисперсию, которая показывает, насколько модель сильно отклоняется от своего собственного ожидания в зависимости от конкретного датасета, и смещение, которое показывает, насколько это её ожидание далеко от идеальной функции предсказания. В результате получается легко интерпретируемый результат, который показывает один из главных компромиссов (tradeoffs) при выборе гиперпараметров моделей (например, коэффициента регуляризации): между смещением и дисперсией.
СПбГУ — 2025.10.16 — Ближайшие соседи, проклятие размерности, разложение bias-variance-noise
(слайды, доска и ноутбук, как всегда, на странице курса)
Здесь логика изложения у меня такая: я начинаю с метода ближайших соседей и показываю, что на плоскости, там, где я могу нарисовать точки и разделяющие поверхности, он работает блестяще, может провести какую угодно разделяющую поверхность и вообще выглядит идеально. Возникает резонный вопрос: а вообще зачем нам всё машинное обучение тогда? Может, ближайших соседей достаточно, только решить проблемы с вычислительной сложностью (а их в целом можно решить), да и всё? Ответ на этот вопрос — проклятие размерности; почему и ближайшие соседи, и многие другие методы начинают ломаться, когда размерность пространства признаков растёт.
А второй сюжет начинается с основ статистической теории принятия решений: какая идеальная, наилучшая возможная функция предсказания? Какая у неё будет ожидаемая ошибка (спойлер: ненулевая, разумеется, в данных ведь есть шум)? А ту часть ошибки, которую мы контролируем, можно дальше разделить на две части: дисперсию, которая показывает, насколько модель сильно отклоняется от своего собственного ожидания в зависимости от конкретного датасета, и смещение, которое показывает, насколько это её ожидание далеко от идеальной функции предсказания. В результате получается легко интерпретируемый результат, который показывает один из главных компромиссов (tradeoffs) при выборе гиперпараметров моделей (например, коэффициента регуляризации): между смещением и дисперсией.
👍18❤4
Пятничная традиция продолжается, но сегодня обзор маленький, для двух очень маленьких игр. Зато выполняю обещание, данное в обзоре Amerzone: возвращаюсь к теме уток-детективов! Полный пост как всегда по ссылке:
Duck Detective
Сегодня у нас обзор мини-серии из двух маленьких игр про утку-детектива по имени Eugene McQuacklin, выдержанные в стиле hardboiled нуар-детектива с невероятным переизбытком утиных шуток. Делает серию компания Happy Broccoli Games (целых шесть человек!), и первая игра серии вышла в 2024 году, получив в Германии даже какие-то премии (студия базируется в Берлине).
Обозревать геймплей по отдельности в этих играх не имеет смысла, потому что он абсолютно идентичный. Нужно разговаривать со всеми доступными персонажами обо всём, в надежде узнать что-то новое и продвинуть сюжет. Время от времени в игре появляются “зоны интереса” (простите за коннотацию), в которых тебе показывают некоторую сцену или объект, и её надо просто осмотреть тщательно и найти там всё, что можно найти. Да, и ещё у вас есть инвентарь, но с ним редко происходит что-то интересное, обычно напрямую очевидно, что куда нужно принести и применить.
А потом, когда всё осмотришь, нужно сделать из увиденного и найденного выводы, чтобы завершить очередную “deducktion” и продвинуться к следующему шагу расследования. Выводы происходят или в виде сопоставления заданных атрибутов, которые выбираются из вариантов (например, узнать, кого из персонажей как зовут), или, что куда любопытнее, в виде заполнения законченных предложений.
Это самая интересная механика в игре, единственная, которая действительно иногда требует (небольшого!) мозгового усилия, и именно она (вместе с уткошутками, разумеется!) делает игры серии не совсем стандартными простенькими квестами. Можно сказать, что Duck Detective — это упрощённая, “детская” версия игр из серии Golden Idol. Кстати, к ним мы тоже наверняка ещё вернёмся.
Ну а сюжет и история... да ладно, что вы, юмористических детективов не видели? Юмор, кстати, мне понравился, уткошутки вполне на месте, рекомендую с ними ознакомиться, тем более что игра занимает максимум часа два.
Duck Detective: The Secret Salami
Утиный нуар: детектив вскоре после развода топит, точнее, погребает свои проблемы в хлебушке, к которому питает пагубную страсть. Ему приходится делать это на фоне расследования, в котором будут и роковая жирафиха, и предательства лучших друзей, и неожиданные повороты сюжета. Сможете ли вы раскрыть тайну пропавшего ланча и выяснить, кто скрывается под псевдонимом Salami Bandit?
Duck Detective: The Ghost of Glamping
Вторая игра серии продолжает начатое первой, и мне очень в ней нравится то, что она не пытается вливать те же щи более густо. Это всё ещё игра на два часа, и так и должно быть: если бы авторы начали раздувать длительность или усложнять загадки, то стиль и подача игры успевали бы наскучить. А так я с удовольствием сыграл во вторую часть, и с удовольствием сыграю и в третью, если она выйдет ещё через годик.
Duck Detective
Сегодня у нас обзор мини-серии из двух маленьких игр про утку-детектива по имени Eugene McQuacklin, выдержанные в стиле hardboiled нуар-детектива с невероятным переизбытком утиных шуток. Делает серию компания Happy Broccoli Games (целых шесть человек!), и первая игра серии вышла в 2024 году, получив в Германии даже какие-то премии (студия базируется в Берлине).
Обозревать геймплей по отдельности в этих играх не имеет смысла, потому что он абсолютно идентичный. Нужно разговаривать со всеми доступными персонажами обо всём, в надежде узнать что-то новое и продвинуть сюжет. Время от времени в игре появляются “зоны интереса” (простите за коннотацию), в которых тебе показывают некоторую сцену или объект, и её надо просто осмотреть тщательно и найти там всё, что можно найти. Да, и ещё у вас есть инвентарь, но с ним редко происходит что-то интересное, обычно напрямую очевидно, что куда нужно принести и применить.
А потом, когда всё осмотришь, нужно сделать из увиденного и найденного выводы, чтобы завершить очередную “deducktion” и продвинуться к следующему шагу расследования. Выводы происходят или в виде сопоставления заданных атрибутов, которые выбираются из вариантов (например, узнать, кого из персонажей как зовут), или, что куда любопытнее, в виде заполнения законченных предложений.
Это самая интересная механика в игре, единственная, которая действительно иногда требует (небольшого!) мозгового усилия, и именно она (вместе с уткошутками, разумеется!) делает игры серии не совсем стандартными простенькими квестами. Можно сказать, что Duck Detective — это упрощённая, “детская” версия игр из серии Golden Idol. Кстати, к ним мы тоже наверняка ещё вернёмся.
Ну а сюжет и история... да ладно, что вы, юмористических детективов не видели? Юмор, кстати, мне понравился, уткошутки вполне на месте, рекомендую с ними ознакомиться, тем более что игра занимает максимум часа два.
Duck Detective: The Secret Salami
Утиный нуар: детектив вскоре после развода топит, точнее, погребает свои проблемы в хлебушке, к которому питает пагубную страсть. Ему приходится делать это на фоне расследования, в котором будут и роковая жирафиха, и предательства лучших друзей, и неожиданные повороты сюжета. Сможете ли вы раскрыть тайну пропавшего ланча и выяснить, кто скрывается под псевдонимом Salami Bandit?
Duck Detective: The Ghost of Glamping
Вторая игра серии продолжает начатое первой, и мне очень в ней нравится то, что она не пытается вливать те же щи более густо. Это всё ещё игра на два часа, и так и должно быть: если бы авторы начали раздувать длительность или усложнять загадки, то стиль и подача игры успевали бы наскучить. А так я с удовольствием сыграл во вторую часть, и с удовольствием сыграю и в третью, если она выйдет ещё через годик.
❤12🔥4👍1
В курсе "Глубокое обучение" в четверг была лекция не слишком математически содержательная, скорее обзорная:
СПбГУ — 2025.10.16 — Трансформеры в компьютерном зрении
(слайды и доска, как всегда, на странице курса)
Сначала дал обзор того, как трансформеры приложили к картиночкам и задачам компьютерного зрения. Главное здесь ViT и Swin Transformer, а обзор архитектур для распознавания объектов и сегментации скорее как необязательная вишенка на торте. Хотя всякие там DETR и DINO — это интересные идеи, там есть мощная мысль о том, что можно использовать виртуальные object queries для объектов в декодере трансформера, а картинку пропускать через кодировщик и брать из неё K и V.
Зато в конце успели обсудить CLIP (и брата его младшего BLIP), который обучает общее латентное пространство для текстов и картинок. Это тоже важная архитектура, с которой мы в курсе ещё наверняка встретимся.
СПбГУ — 2025.10.16 — Трансформеры в компьютерном зрении
(слайды и доска, как всегда, на странице курса)
Сначала дал обзор того, как трансформеры приложили к картиночкам и задачам компьютерного зрения. Главное здесь ViT и Swin Transformer, а обзор архитектур для распознавания объектов и сегментации скорее как необязательная вишенка на торте. Хотя всякие там DETR и DINO — это интересные идеи, там есть мощная мысль о том, что можно использовать виртуальные object queries для объектов в декодере трансформера, а картинку пропускать через кодировщик и брать из неё K и V.
Зато в конце успели обсудить CLIP (и брата его младшего BLIP), который обучает общее латентное пространство для текстов и картинок. Это тоже важная архитектура, с которой мы в курсе ещё наверняка встретимся.
🔥7❤1
Выложил видео прошедшего в среду семинара:
Алексей Власов, Андрей Лаэтин
Состояния важнее внимания? От классических SSM к S4/S5 и Mamba
(Слайды на странице семинара)
По-моему, отличное начало. Алексей и Андрей разобрали смысл state-space models, рассказали в достаточных деталях о красивых более современных математических результатах вроде HiPPO и довели разговор до S6. Нас точно ждёт ещё один рассказ об этом очень интересном (и, надеюсь, важном) семействе архитектур, а может (ещё больше надеюсь!), и два.
Это был первый семинар с использованием доски. На монтаже я вырезал технические паузы при переходе от доски к слайдам и обратно, а также сделал видео доски покрупнее, но всё равно видно плохо, да и ракурс весьма так себе. Камеру специально для доски с собой носить, что ли...
Алексей Власов, Андрей Лаэтин
Состояния важнее внимания? От классических SSM к S4/S5 и Mamba
(Слайды на странице семинара)
По-моему, отличное начало. Алексей и Андрей разобрали смысл state-space models, рассказали в достаточных деталях о красивых более современных математических результатах вроде HiPPO и довели разговор до S6. Нас точно ждёт ещё один рассказ об этом очень интересном (и, надеюсь, важном) семействе архитектур, а может (ещё больше надеюсь!), и два.
Это был первый семинар с использованием доски. На монтаже я вырезал технические паузы при переходе от доски к слайдам и обратно, а также сделал видео доски покрупнее, но всё равно видно плохо, да и ракурс весьма так себе. Камеру специально для доски с собой носить, что ли...
❤17🔥6