Ну и раз такое дело и Gemma 3n, бахнул разбор статьи про MatFormer. Английская версия тут.

И видеоразбор до кучи.

Свежая новость про SSM'ки.

Tencent выложил в опенсорс гибридную Hunyuan-A13B, MoE 13B/80B.

Бенчмарки заявлены на уровне o1 конца того года и первого R1.

https://x.com/TencentHunyuan/status/1938525874904801490?t=vC6nn9mH3zku4_CnNteiwg&s=19

GitHub: github.com/Tencent-Hunyuan
Hugging Face: https://huggingface.co/tencent/Hunyuan-A13B-Instruct
Tech report: https://github.com/Tencent-Hunyuan/Hunyuan-A13B/blob/main/report/Hunyuan_A13B_Technical_Report.pdf

Впрочем, я не уверен насчёт SSM. В статье упоминается, что основано на архитектуре DeepSeekMoE. Про SSM написал Tri Dao: https://x.com/tri_dao/status/1938643149091692662?t=00YWpRkwl7afwhGHg1L1AQ&s=19

А сегодня гибридный пост про редкую здесь тему — RL для термояда!

Драфт от автомата, постредактирование от авторов статьи! :)

Reconstruction-free magnetic control of DIII-D plasma with deep reinforcement learning
Authors: G F Subbotin, D I Sorokin, M R Nurgaliev, A A Granovskiy, I P Kharitonov, E V Adishchev, E N Khairutdinov, R Clark, Η Shen, W Choi, J Barr, D M Orlov
Paper: https://arxiv.org/abs/2506.13267

### TL;DR

Что сделано?
Авторы разработали и экспериментально проверили контроллер, управляющий формой плазмы в токамаке DIII-D — крупнейшей в северной америке установке для исследований в области управляемого термоядерного синтеза. Этот контроллер использует нейронную сеть, обученную с помощью алгоритма обучения с подкреплением Soft Actor-Critic (SAC). При обучении контроллера использовалась асимметричная архитектура Actor-Critic, в которой нейронная сеть Actor получает данные близкие к тому, что увидит контроллер во время разряда, а в нейронную сеть Critic идёт привилегированная информация: точные значения диагностик а также ряд характеристик плазмы, недоступных в режиме реального времени. Нейронная сеть Actor учится напрямую отображать сырые данные с магнитных датчиков в команды для актуаторов, полностью обходя традиционный, вычислительно затратный этап реконструкции равновесия плазмы. Отличительная черта данного исследования от похожей работы выполненной исследователями из DeepMind на токамаке TCV в том, что разработан пайплайн обучения не зависящий от конкретного токамака. Пайплайн основан на симуляторе NSFsim, который моделирует магнитную и кинетическую эволюцию плазмы,. При обучении использовались рандомизации в наблюдениях агента и динамике плазмы для достижения устойчивого управления в разных состояниях и переноса из виртуальной среды на реальную установку (sim-to-real transfer).

Почему это важно?
Этот метод, не требующий реконструкции положения плазмы, позволяет значительно ускорить управление (в экспериментах использовалась частота 4 кГц) и повысить надёжность управления плазмой, что критически важно для работы со сложной нелинейной динамикой в существующих и будущих термоядерных установках. Разработанный контроллер в экспериментах на токамаке DIII-D показал удержание целевой формы плазмы с точностью до 1.5 см. В отличии от традиционных подходов RL контроллер не требует ручной настройки результатам «пробных» разрядов что является большим преимуществом разработанного подхода. Эта работа прокладывает путь к более эффективным, масштабируемым и автономным системам управления, приближая эпоху коммерческой термоядерной энергетики.


### Подробности

⚛️ Новые методы управления плазмой

На протяжении десятилетий управление нагретой до экстремальных температур плазмой внутри токамака было искусством тонкой балансировки, которое в основном опиралось на двухэтапный процесс: сначала с помощью данных магнитных датчиков реконструировалась форма и положение плазмы, а затем на основе отклонения реконструированных значений от целевых рассчитывались управляющие воздействия на магнитные катушки. Процесс реконструкции параметров плазмы является вычислительно узким местом которое ограничивает скорость и адаптивность управления плазмой. Данная статья демонстрируя подход основанный на машинном обучении, может существенно изменить принципы эксплуатации термоядерных реакторов.

Работа представляет первое успешное применение глубокого обучения с подкреплением для прямого магнитного контроля на токамаке DIII-D, одной из ведущих мировых исследовательских установок. Ключевая инновация — это контроллер, работающий без реконструкции ("reconstruction-free"), который обучается сквозному (end-to-end) управлению, используя сырые данные с датчиков напрямую для вычисления команд для актуаторов. Это смещает парадигму управления плазмой с модели «наблюдать, реконструировать, затем действовать» на «наблюдать, затем действовать».

🤖 Более умный подход к сложной задаче

Авторы формулируют задачу управления плазмой как частично наблюдаемый марковский процесс принятия решений (POMDP). Проблема «частично наблюдаемая», потому что контроллер имеет доступ только к показаниям магнитных датчиков и текущим значениям токов в катушках, в то время как поведение плазмы также зависит от внутренних кинетических параметров (таких как температура и давление), которые невозможно измерить в реальном времени.

В основе системы лежит Soft Actor-Critic (SAC), алгоритм, хорошо подходящий для задач управления с непрерывными действиям. Однако архитектура здесь не стандартная. Авторы используют асимметричную архитектуру Actor-Critic. Во время обучения нейронная сеть "Actor" (именно она будет работать на реальном токамаке) учится действовать, используя только зашумлённые данные с датчиков, доступные в реальном времени. Параллельно нейронная сеть "Critic", имеет доступ к «привилегированной информации» из симулятора, такой как точная граница плазмы и её производные по времени. Эта стратегия обеспечивает чистый, стабильный обучающий сигнал для оценки функции ценности состояний и действий (Q-функции), что стабилизирует обучение и улучшает качество получающегося контроллера.

Ключевым фактором успеха проекта является среда обучения. Авторы используют симулятор NSFsim - высокоточный симулятор, сочетающий в себе решение стандартных уравнений равновесия Града-Шафранова с 1D транспортным солвером. Это позволяет учитывать при симуляции не только магнитную форму плазмы, но и эволюцию ее кинетических параметров. Авторы подчёркивают, что для разработки надежного контроллера необходима комплексная стимуляция учитывающая различные аспекты физики плазмы.

Чтобы преодолеть разрыв между симуляцией и реальностью (sim-to-real gap), процесс обучения включает в себя обширную рандомизацию начальных состояний плазмы и шумов датчиков. Это заставляет агента выучивать стратегию управления, которая устойчива к неопределённостям и вариациям в наблюдаемых данных, присущих реальному эксперименту.

🔬 От симуляции к эксперименту

Финальная проверка любого контроллера — это работа на реальной физической установке.. RL-контроллеры, внедренные в Систему управления плазмой токамака DIII-D (Plasma Control System — PCS) смогли успешно управлять формой плазмы, достигнув средней погрешности в пределах 1,5 см по отклонению формы плазмы и 1 см по отклонению положения магнитного центра. Это достаточно высокая точность. Она достигается благодаря точному моделированию работы токамака в симуляторе NSFSim и процессу обучения RL-контроллера с привилегированной информацией.

Контроллер заработал как надо с первой экспериментальной попытки это достижение, которое существенно ускоряет темп проведения экспериментов по управлению плазмой. Эксперименты показывают, что агент поддерживает форму плазмы стабильной во время событий, вносящих большие возмущения, таких как изменения мощности инжекции нейтрального пучка (NBI), инжекция пеллет и переходы между H- и L-модами, и всё это без какой-либо ручной настройки. Такой уровень адаптивности, полностью выученный в симуляции, развивает предыдущие успехи предыдущих работ и демонстрирует успех на более крупном и сложном токамаке.

🚀 Влияние и будущие работы

Значение этого исследования выходит за рамки установки DIII-D. Продемонстрировав качество управления без этапа реконструкции состояния плазмы, эта работа предоставляет основу для разработки быстрых, масштабируемых и автономных систем управления, необходимых для будущих термоядерных электростанций.

Однако авторы упоминают и о существующих ограничениях. Качество работы RL-контроллера ограничено разрывом между симуляцией и реальностью, который проявился в заметной ошибке вертикального позиционирования X-точки плазмы. Эта ошибка возникает потому, что положение X-точки чрезвычайно чувствительно к тонкому балансу магнитных сил на краю плазмы — области, где тонкие, трудно вычисляемые физические эффекты могут иметь непропорционально большое значение, что делает эту задачу управления положением X-точки существенным вызовом. Это подчёркивает постоянную потребность в более быстрых и точных кодах для симуляции динамики плазмы.

В будущем , авторы собираются интегрировать более сложные физические модели и исследовать гибридные подходы, которые сочетают сильные стороны RL с методами вроде Model Predictive Control (MPC). Это направление исследований имеет решающее значение для создания комплексной системы управления для коммерческого термоядерного реактора.

✍️ Заключение

Эта статья — важное достижение в применении искусственного интеллекта к сложным физическим системам реального мира. Это демонстрация того, что глубокое обучение с подкреплением может не только сравниться с традиционными методами управления, но и потенциально превзойти их в одной из самых сложных инженерных областей. Авторы не просто создали новый контроллер; они подтвердили состоятельность новой и очень многообещающей парадигмы для ускорения прогресса в термоядерной энергетике.