В курсе "Основы байесовского вывода" в четверг в общем-то закончили обычную программу первого семестра:
СПбГУ — 2025.12.03 — Экспоненциальное семейство и GLM
(слайды, доска и код на странице курса)
Экспоненциальное семейство — очень правильная степень общности для машинного обучения. Для распределений из экспоненциального семейства можно и правдоподобие максимизировать универсальным образом (совсем тривиально в параметризации средним), и достаточные статистики имеют прямой смысл для ML, и сопряжённые априорные получаются автоматически, и даже предсказательное распределение (насколько это возможно).
А обобщённые линейные модели — это правильная степень общности для линейной и логистической регрессии. Действительно, странно выглядит, что мы много обсуждаем, как подставить линейную функцию в softmax, и никогда не пытаемся сменить "функцию активации" и подставить её куда-то ещё.
Этот семестр очень долгий получается, 16 лекций. Так что дальше, наверное, не буду возвращать пропущенные второстепенные примеры вроде эффекта горячей руки, а начну материал второго семестра. Этак и ещё раньше глубокое обучение начнём весной.)
#spsu #lectures #bayes2025
СПбГУ — 2025.12.03 — Экспоненциальное семейство и GLM
(слайды, доска и код на странице курса)
Экспоненциальное семейство — очень правильная степень общности для машинного обучения. Для распределений из экспоненциального семейства можно и правдоподобие максимизировать универсальным образом (совсем тривиально в параметризации средним), и достаточные статистики имеют прямой смысл для ML, и сопряжённые априорные получаются автоматически, и даже предсказательное распределение (насколько это возможно).
А обобщённые линейные модели — это правильная степень общности для линейной и логистической регрессии. Действительно, странно выглядит, что мы много обсуждаем, как подставить линейную функцию в softmax, и никогда не пытаемся сменить "функцию активации" и подставить её куда-то ещё.
Этот семестр очень долгий получается, 16 лекций. Так что дальше, наверное, не буду возвращать пропущенные второстепенные примеры вроде эффекта горячей руки, а начну материал второго семестра. Этак и ещё раньше глубокое обучение начнём весной.)
#spsu #lectures #bayes2025
🔥6❤2👍1
А следующий доклад на семинаре лаборатории Маркова возвращает нас к долгой серии о Mamba (которую можно посмотреть по ссылке в предыдущих выпусках). Правда, на этот раз доклад будет удалённый и на английском, но думаю, что это не помешает успеху:
The Expressive Capacity of State Space Models: A Formal Language Perspective
Яна Вейцман
(Гёттингенский университет / Саарский университет)
Ссылка на трансляцию (среда 10 декабря, 14:00)
State Space Models (SSM) за последние годы стремительно набрали популярность, демонстрируя качество языкового моделирования, сопоставимое с трансформерами. Однако их фундаментальные теоретические свойства до сих пор остаются малоизученными. В докладе Яны Вейцман будут представлены результаты исследования 2024 года, в котором впервые проводится систематический теоретический анализ выразительной мощности SSM по сравнению с трансформерами и классическими RNN в рамках парадигмы формальных языков.
Мы обсудим пересекающиеся, но различающиеся сильные стороны SSM и трансформеров. В частности, речь пойдёт о способности SSM эффективно решать задачи слежения за состоянием в star-free языках — области, где трансформеры испытывают существенные трудности. Кроме того, будет показано, что SSM способны оптимально моделировать ограниченные иерархические структуры без явной симуляции стека. При этом в общепринятом дизайне современных SSM скрыто конструктивное ограничение, которое существенно снижает их выразительность.
В докладе также будет обсуждаться, какие практические выводы следуют из этих теоретических результатов для будущего архитектур SSM, развития языковых моделей и систем вроде Mamba, а также какие новые направления исследований они открывают.
#spsu #seminar #markovlab
The Expressive Capacity of State Space Models: A Formal Language Perspective
Яна Вейцман
(Гёттингенский университет / Саарский университет)
Ссылка на трансляцию (среда 10 декабря, 14:00)
State Space Models (SSM) за последние годы стремительно набрали популярность, демонстрируя качество языкового моделирования, сопоставимое с трансформерами. Однако их фундаментальные теоретические свойства до сих пор остаются малоизученными. В докладе Яны Вейцман будут представлены результаты исследования 2024 года, в котором впервые проводится систематический теоретический анализ выразительной мощности SSM по сравнению с трансформерами и классическими RNN в рамках парадигмы формальных языков.
Мы обсудим пересекающиеся, но различающиеся сильные стороны SSM и трансформеров. В частности, речь пойдёт о способности SSM эффективно решать задачи слежения за состоянием в star-free языках — области, где трансформеры испытывают существенные трудности. Кроме того, будет показано, что SSM способны оптимально моделировать ограниченные иерархические структуры без явной симуляции стека. При этом в общепринятом дизайне современных SSM скрыто конструктивное ограничение, которое существенно снижает их выразительность.
В докладе также будет обсуждаться, какие практические выводы следуют из этих теоретических результатов для будущего архитектур SSM, развития языковых моделей и систем вроде Mamba, а также какие новые направления исследований они открывают.
#spsu #seminar #markovlab
❤18🔥6
В курсе "Глубокое обучение" дошли до LLM! Но не сразу:
СПбГУ — 2025.12.04 — Flow matching и идея LLM
(слайды и доска на странице курса)
Начал с идеи непрерывных потоков и flow matching; это очень важная штука для всего, что сейчас происходит с картинками и видео, многие последние порождающие модели её используют. А может, и для текстов когда-нибудь станет важной, diffusion LLMs уже бывают. Сам я в непрерывной математике, мягко скажем, не специалист, так что просто наметил основные идеи, а в деталях МКНовские студенты наверняка разберутся лучше меня.
А потом начал последний раздел курса, про большие языковые модели. В эту лекцию успел рассказать основную идею языкового моделирования (впрочем, идея self-supervision и так уже много раз появлялась), поговорить о законах масштабирования и о том, почему мне кажется, что прогресс пока не собирается останавливаться - да, то самое ашенбреннеровское деление на physical scaling, algorithmic progress и unhobbling.
Дальше поговорим про дообучение (в частности RLHF), проблему с квадратичной сложностью, а там уже посмотрим, сколько времени останется; хочется, конечно, и за AI safety словечко замолвить.
#spsu #lectures #dl2025
СПбГУ — 2025.12.04 — Flow matching и идея LLM
(слайды и доска на странице курса)
Начал с идеи непрерывных потоков и flow matching; это очень важная штука для всего, что сейчас происходит с картинками и видео, многие последние порождающие модели её используют. А может, и для текстов когда-нибудь станет важной, diffusion LLMs уже бывают. Сам я в непрерывной математике, мягко скажем, не специалист, так что просто наметил основные идеи, а в деталях МКНовские студенты наверняка разберутся лучше меня.
А потом начал последний раздел курса, про большие языковые модели. В эту лекцию успел рассказать основную идею языкового моделирования (впрочем, идея self-supervision и так уже много раз появлялась), поговорить о законах масштабирования и о том, почему мне кажется, что прогресс пока не собирается останавливаться - да, то самое ашенбреннеровское деление на physical scaling, algorithmic progress и unhobbling.
Дальше поговорим про дообучение (в частности RLHF), проблему с квадратичной сложностью, а там уже посмотрим, сколько времени останется; хочется, конечно, и за AI safety словечко замолвить.
#spsu #lectures #dl2025
🔥11❤2
🔥36❤6😁3
А в курсе "Технологии и фронтиры науки о данных" в ЮФУ поговорили о самом главном классификаторе и продолжили важным общим сюжетом:
ЮФУ — 2025.12.04 — Логистическая регрессия и проклятие размерности
(слайды, доска и код на странице курса)
Логистическая регрессия — по сути самый главный классификатор сейчас, потому что именно из неё происходят последние слои практически всех нейросетей, именно здесь появляются пресловутый softmax и логистический сигмоид. Так что пройти мимо было невозможно, хотя в байесовский вывод мы, конечно, не углублялись.
Затем обсудили метод ближайших соседей. Я показал, что он работает прекрасно, а потом мы начали обсуждать, в чём же тут подвох и почему на методе ближайших соседей не заканчивается машинное обучение. Подвох, разумеется, в проклятии размерности.
#sfu #lectures #dsfrontiers
ЮФУ — 2025.12.04 — Логистическая регрессия и проклятие размерности
(слайды, доска и код на странице курса)
Логистическая регрессия — по сути самый главный классификатор сейчас, потому что именно из неё происходят последние слои практически всех нейросетей, именно здесь появляются пресловутый softmax и логистический сигмоид. Так что пройти мимо было невозможно, хотя в байесовский вывод мы, конечно, не углублялись.
Затем обсудили метод ближайших соседей. Я показал, что он работает прекрасно, а потом мы начали обсуждать, в чём же тут подвох и почему на методе ближайших соседей не заканчивается машинное обучение. Подвох, разумеется, в проклятии размерности.
#sfu #lectures #dsfrontiers
❤10👍2🤡1
А вот, кстати, анонс — в пятницу буду выступать на семинаре в СПИИРАН, и оказывается, что он будет транслироваться (и, надеюсь, записываться тоже).
AI-модели в научных исследованиях: где мы сейчас и куда мы идём?
12 декабря 2025, 11:00 — ссылка на MTS Link
Физически это будет в зале Учёного Совета СПб ФИЦ РАН, 14 линия В.О., д.39, ком. 401, это городской семинар “Информатика и автоматизация”, место проведения лежит в открытом доступе, так что думаю, что можно и лично прийти.
Неформально говоря, думаю, что это будет всё-таки в основном мой стандартный доклад про LLM в математике, но что-нибудь новенькое туда тоже постараюсь добавить.
Ещё менее формально говоря, новый Gemini всё ещё рисует как боженька (и тут он, и здесь).
#talks #ai
AI-модели в научных исследованиях: где мы сейчас и куда мы идём?
12 декабря 2025, 11:00 — ссылка на MTS Link
Физически это будет в зале Учёного Совета СПб ФИЦ РАН, 14 линия В.О., д.39, ком. 401, это городской семинар “Информатика и автоматизация”, место проведения лежит в открытом доступе, так что думаю, что можно и лично прийти.
Неформально говоря, думаю, что это будет всё-таки в основном мой стандартный доклад про LLM в математике, но что-нибудь новенькое туда тоже постараюсь добавить.
Ещё менее формально говоря, новый Gemini всё ещё рисует как боженька (и тут он, и здесь).
#talks #ai
❤12🔥2
Оказывается, ещё не выложил сюда видео предыдущего семинара лаборатории Маркова. Исправляюсь:
Семинар Markov Lab — 2025.12.03 — Оценка неопределённости в NLP
(Слайды на странице семинара)
Артём Важенцев рассказывал о результатах из своей диссертации, но на самом деле это был большой обзор того, как правильно понять, насколько модель уверена в своём ответе. Современные фронтирные LLM всё лучше и лучше калибруют свою уверенность, но это долгий путь и большая область исследований, и уже даже про LLM поменьше это совершенно не так. Но если удастся корректно выражать уверенность в виде числа, то, например, с галлюцинациями станет гораздо легче справиться.
В общем, отличный был доклад, и ещё раз большое спасибо Артёму, что приехал ради этого очно из Москвы!
#spsu #seminar #markovlab
Семинар Markov Lab — 2025.12.03 — Оценка неопределённости в NLP
(Слайды на странице семинара)
Артём Важенцев рассказывал о результатах из своей диссертации, но на самом деле это был большой обзор того, как правильно понять, насколько модель уверена в своём ответе. Современные фронтирные LLM всё лучше и лучше калибруют свою уверенность, но это долгий путь и большая область исследований, и уже даже про LLM поменьше это совершенно не так. Но если удастся корректно выражать уверенность в виде числа, то, например, с галлюцинациями станет гораздо легче справиться.
В общем, отличный был доклад, и ещё раз большое спасибо Артёму, что приехал ради этого очно из Москвы!
#spsu #seminar #markovlab
❤11👍3🤩1
Всё пошло немного не по плану, но, кажется, сейчас начинаем. Подключайтесь, если есть желание:
https://my.mts-link.ru/j/29930273/9458600199/session/9062079480
Сессия вопросов была огненная, ждите, всё выложу. :)
(речь про вот этот доклад, я думал, что удалю технический пост, но тут очень крутой вопрос задали в комментах, так что не буду удалять)
https://my.mts-link.ru/j/29930273/9458600199/session/9062079480
Сессия вопросов была огненная, ждите, всё выложу. :)
(речь про вот этот доклад, я думал, что удалю технический пост, но тут очень крутой вопрос задали в комментах, так что не буду удалять)
Mts-link.ru
Семинар "Информатика и автоматизация"
❤2
Продолжаю собирать рекомендации на интересные короткие игры. У меня, конечно, уже накопился список и на 12, и на 22 games of Christmas, но всё равно прошу ещё рекомендаций. Тем более что сегодня как раз отличный пример: пост про три игры, каждая из которых вполне подошла бы в этот список.
Как всегда, здесь только затравка, полный текст и иллюстрации по ссылке:
Small Weird Games Made By Me
Нет, я не стал инди-разработчиком игр, хотя иногда очень хочется. Это название бандла, содержащего три игры от разработчика bilge — и название это как нельзя лучше отражает суть происходящего: игры маленькие, странные и очень личные.
Кто такой bilge
За псевдонимом bilge скрывается Билге Каан, независимый разработчик из Стамбула [...]
Indecision: видеоигровое хокку
Первая игра в бандле, Indecision. (да, с точкой в конце), вышла в феврале 2018 года. Сам автор называет её “a haiku platformer” — и это определение действительно проникает в суть. Игра очень короткая (около получаса; если захотеть увидеть весь контент, наверное, придётся потратить час-полтора) и расплывчатая, она построена на недосказанности и атмосфере.
Визуально Indecision. напоминает Fez по стилю пиксельной графики, но по духу это совершенно другая вещь. Игра представляет собой набор сценок, слабо связанных друг с другом. Каждый уровень начинается с чёрного экрана и одного слова в нижнем левом углу экрана, и связь между словом и происходящим редко бывает очевидной. [...]
Stikir: игра о создании игры
Вторая игра в бандле, stikir (да, с маленькой буквы), вышла в октябре 2019 года и представляет собой ещё более радикальный эксперимент. Официальное описание гласит, что это “игра о создании этой игры” — и это святая правда.
Игра начинается с того, что вы управляете космическим кораблём и стреляете по словам “Я хочу выпустить игру за шесть месяцев”, которые продолжают появляться на экране. Отсюда начинается путешествие внутрь головы разработчика, пытающегося понять, какую игру он вообще хочет сделать. Получается хаотичное, но продуманное месиво жанров: платформер превращается в гонки сверху вниз, затем в shoot ’em up против большого красного шара, потом в JRPG, где нужно принести воду для кофе... [...]
PAGER: Кафка в небоскрёбе
Теперь переходим к главному содержанию бандла — PAGER, самой свежей и самой амбициозной работе Билге. Игра вышла в августе 2025 года и представляет собой уже не маленький набор коротких сценок, а… большой набор коротких сценок, аж на 60 этажей офисного здания.
PAGER — это “однобитный кафкианский 3D-хоррор”, действие которого разворачивается в офисном здании 90-х годов. Стиль игры снова необычный и ещё более интересный, чем в играх выше. Монохромная картинка в чёрно-белых тонах с минималистичной 3D-графикой создаёт атмосферу, в которой смешиваются ностальгия, дискомфорт и сюрреализм. [...]
Основная механика крутится вокруг пейджера, который присылает вам указания. Вы — wetware, сотрудник, выполняющий непонятную работу в корпоративной иерархии. [...] Идея крутая, и звучит как основа для большой и разнообразной пазл-игры. [...] Но, хотя начало действительно захватывает, в целом многие уровни оказываются слишком прямолинейными. [...] И всё-таки это любопытный опыт. [...]
Заключение
Каждая из трёх игр в бандле — по сути, набор слабо связанных друг с другом сценок. [...] Качество у них довольно неровное — это факт. [...] [Но есть] та самая загадочная “душа”, которую в этих проектах почувствовал и я, и, думаю, профессиональные критики.
=====
И обращение к читателям. У меня была традиция на новогодние праздники садиться и проходить какую-нибудь большую AAA-игру. В этом году хочется попробовать сделать наоборот: в рамках чего-нибудь вроде "12 games of Christmas" каждый день проходить что-нибудь новенькое.
Посоветуйте, пожалуйста, на это дело каких-нибудь интересных и необычных коротких игр. Поставлю условный верхний лимит в 3-4 часа, больше за день осиливать не хочется; разумеется, это на одно прохождение, 100% ачивок выбивать я не собираюсь. Спасибо!
#tgif #games
Как всегда, здесь только затравка, полный текст и иллюстрации по ссылке:
Small Weird Games Made By Me
Нет, я не стал инди-разработчиком игр, хотя иногда очень хочется. Это название бандла, содержащего три игры от разработчика bilge — и название это как нельзя лучше отражает суть происходящего: игры маленькие, странные и очень личные.
Кто такой bilge
За псевдонимом bilge скрывается Билге Каан, независимый разработчик из Стамбула [...]
Indecision: видеоигровое хокку
Первая игра в бандле, Indecision. (да, с точкой в конце), вышла в феврале 2018 года. Сам автор называет её “a haiku platformer” — и это определение действительно проникает в суть. Игра очень короткая (около получаса; если захотеть увидеть весь контент, наверное, придётся потратить час-полтора) и расплывчатая, она построена на недосказанности и атмосфере.
Визуально Indecision. напоминает Fez по стилю пиксельной графики, но по духу это совершенно другая вещь. Игра представляет собой набор сценок, слабо связанных друг с другом. Каждый уровень начинается с чёрного экрана и одного слова в нижнем левом углу экрана, и связь между словом и происходящим редко бывает очевидной. [...]
Stikir: игра о создании игры
Вторая игра в бандле, stikir (да, с маленькой буквы), вышла в октябре 2019 года и представляет собой ещё более радикальный эксперимент. Официальное описание гласит, что это “игра о создании этой игры” — и это святая правда.
Игра начинается с того, что вы управляете космическим кораблём и стреляете по словам “Я хочу выпустить игру за шесть месяцев”, которые продолжают появляться на экране. Отсюда начинается путешествие внутрь головы разработчика, пытающегося понять, какую игру он вообще хочет сделать. Получается хаотичное, но продуманное месиво жанров: платформер превращается в гонки сверху вниз, затем в shoot ’em up против большого красного шара, потом в JRPG, где нужно принести воду для кофе... [...]
PAGER: Кафка в небоскрёбе
Теперь переходим к главному содержанию бандла — PAGER, самой свежей и самой амбициозной работе Билге. Игра вышла в августе 2025 года и представляет собой уже не маленький набор коротких сценок, а… большой набор коротких сценок, аж на 60 этажей офисного здания.
PAGER — это “однобитный кафкианский 3D-хоррор”, действие которого разворачивается в офисном здании 90-х годов. Стиль игры снова необычный и ещё более интересный, чем в играх выше. Монохромная картинка в чёрно-белых тонах с минималистичной 3D-графикой создаёт атмосферу, в которой смешиваются ностальгия, дискомфорт и сюрреализм. [...]
Основная механика крутится вокруг пейджера, который присылает вам указания. Вы — wetware, сотрудник, выполняющий непонятную работу в корпоративной иерархии. [...] Идея крутая, и звучит как основа для большой и разнообразной пазл-игры. [...] Но, хотя начало действительно захватывает, в целом многие уровни оказываются слишком прямолинейными. [...] И всё-таки это любопытный опыт. [...]
Заключение
Каждая из трёх игр в бандле — по сути, набор слабо связанных друг с другом сценок. [...] Качество у них довольно неровное — это факт. [...] [Но есть] та самая загадочная “душа”, которую в этих проектах почувствовал и я, и, думаю, профессиональные критики.
=====
И обращение к читателям. У меня была традиция на новогодние праздники садиться и проходить какую-нибудь большую AAA-игру. В этом году хочется попробовать сделать наоборот: в рамках чего-нибудь вроде "12 games of Christmas" каждый день проходить что-нибудь новенькое.
Посоветуйте, пожалуйста, на это дело каких-нибудь интересных и необычных коротких игр. Поставлю условный верхний лимит в 3-4 часа, больше за день осиливать не хочется; разумеется, это на одно прохождение, 100% ачивок выбивать я не собираюсь. Спасибо!
#tgif #games
❤1👍1