🧠 Новая работа от ANSE Project: модель уже знает, какой шум лучший

Исследователи Кванён Ким и Санхён Ким предложили улучшение для видео-диффузионных моделей — метод ANSE (Active Noise Selection for Generation).

🔍 В чём идея?

В диффузионных моделях начальный шум влияет на результат. Один и тот же prompt с разными шумами может дать совершенно разные видео — по качеству, стилю и соответствию запросу.

ANSE предлагает не выбирать шум случайно, а использовать внутренние сигналы модели (внимание/attention), чтобы активно выбрать лучший шум перед генерацией.

🧪 Как это работает?

- Используется BANSA (Bayesian Active Noise Selection via Attention) — метрика на основе энтропии внимания
- Она измеряет, насколько модель "уверена" в своём внимании при разных инициализациях шума
- Для ускорения применяется аппроксимация через бернуллиевы маски и выборку подслоёв

📈 Результаты:

На моделях CogVideoX-2B и 5B метод ANSE:
• улучшает качество и согласованность видео
• требует всего на ~10% больше времени на inference
• показывает более стабильные и осмысленные результаты

📎 Подробнее: https://arxiv.org/abs/2505.17561
🌐 Проект: https://anse-project.github.io/anse-project/