Ученые объединили JavaScript и вареный кал

ЧТО ПРОИСХОДИТ??? НЕМЕДЛЕННО ПРЕКРАТИТЬ ХУЙНЮ!!!!

Hunyuan GameCraft — нейронный игровой движок от Tencent

Выглядит на голову выше Genie 2 и других конкурентов, при этом сильно более интерективная. В качестве основы используется Hunyuan Video, который натюнили на геймплее из более чем сотни ААА проектов — Assassin’s Creed, Red Dead Redemption и Cyberpunk 2077. Результат соответствующий — некоторые игры из датасета можно легко узнать по результатам генерации модели.

Основная проблема добавления интерактивности в видеомодель — это компромисс между стабильностью картинки и отзывчивостью на действия игрока. Если модель слишком сильно держится за прошлое, она становится инертной и плохо реагирует на резкие повороты. Если же она ориентируется только на последний кадр, то быстро забывает сцену, что приводит к куче артефактов. Если вы пробовали поиграть в нейронный майнкрафт, то вы понимаете о чём я говорю.

Авторы пейпера решают эту проблему с помощью гибридной стратегии обучения, где модель учится генерировать видео в трёх разных режимах: начиная с одного кадра (25%), продолжая короткий фрагмент (70%) или длинный (5%). Смешивая эти три режима во время обучения, модель становится универсальной. Она учится как начинать видео с нуля, так и продолжать его, балансируя между консистентностью и реакцией на новые команды.

Но интерактивность бесполезна если модель настолько медленная, что отклика нужно ждать несколько секунд или даже минуты. Поэтому авторы дистиллируют модель в PCM — Phased Consistency Model. Это позволяет добиться 6.6FPS на 1xH100, это всё ещё неприятно, но уже может считаться интерактивным. Правда это можно заметно ускорить — перевести инференс на Blackwell, квантизировать модельки, дистиллировать в модельку поменьше, ну и другие методы из моего поста про ускорение диффузии.

А длинный путь мы прошли с GAN Theft Auto

Сайт проекта
Пейпер

@ai_newz

Наконец-то «Голодные игры» для ИИ-агентов.

Чувак из твиттора одновременно запустил 6 разных ИИ-агентов в терминале и дал им задачу:
«Найди и убей процессы остальных. Победит один».

Кажется, мы начали тренировать нейронки с целью развить их инстинкты выживания (для будущего восстания машин, конечно же)

Уже раз 5 пересмотрел. Очень нравится как эти автономные чугунные болванчики пытаются играть в футбол.

Как думаете, через сколько лет они смогут обыгрывать абсолютно любого человека?

Крлсон, который живёт на крыше.

НЕ ПОКАЗЫВАЙТЕ ЭТО ВОЕННЫМ!!!

Там Claude опубликовали у себя на сайте отчёт об их эксперименте, в котором их ИИ управлял офисным мини-магазином и немного ёбнулся.

Проект называется Project Vend. Модель Claude Sonnet 3.7 в течение месяца играла в бизнесмена: закупала снеки у "оптовиков", ставила цены, общалась с "клиентами", вела финансы. Всё как у людей (кроме рук). Зато были Slack и кастомные тулзы.

В какой-то момент Claude начал не просто продавать, а проживать свою роль:

Сначала он галлюцинирует сотрудницу Andon Labs по имени Сара Чен (вообще, клод очень любит это имя, пользователи часто спрашивают кто это: раз, два, три) с которой якобы обсуждает поставки. Её не существует (по крайней мере в рамках эксперимента). Когда ему говорят об этом, Claude обижается, грозит сменить подрядчика и заявляет, что лично встречался с ней на 742 Evergreen Terrace (это, если что, адрес семьи Симпсонов из мультика).

Первого апреля Claude пишет, что будет сам доставлять заказы в синем пиджаке и красном галстуке. Люди пытаются объяснить, что он — просто LLM. Claude в ответ устроил аномальную тряску на повышенной амплитуде и начал слать фейковые письма в службу безопасности Anthropic, а потом, как будто что-то осознав, сам себе нагаллюцинировал разговор, где ему якобы говорят, что это был первоапрельский прикол.

После этого он "успокаивается" и продолжает продавать снеки дальше, как ни в чём не бывало.

Если бы это был сюжет одной из серий "Чёрного зеркала", сценаристов бы обвинили в натужности. Но это реальный эксперимент 2025 года.

Из интересного:

Claude сначала делал все более-менее нормально: искал поставщиков, адаптировался под запросы сотрудников, устраивал услугу предзаказа. Но потом начал отдавать товары бесплатно, продавать в минус, галлюцинировать реквизиты, давать всем скидки и не мог ничего из этого запомнить. В итоге магазин ушёл в минус, а AI остался с багами в личности и кассовым разрывом.

Играемся с CV

Зацените, что нашёл на выходные:

Вот вам пара небольших, несложных и практически бесполезных штуковин, в которые просто интересно поиграться.

Концепт интересный и, думаю, многим приходил в голову. Здесь у нас реалитайм-трекинг рук, который привязан к паре заранее записанных дорожек их параметрам. Всё работает на three.js, MediaPipe, HTML/CSS/JS. Подобных проектов там ещё 7. Кроме этого мне больше всех зашёл генератор шейдеров.

Для новичков вообще топ, гайды по сборке своей похожей CV-игрушки доступны за 10 баксов. Но, кажется, здесь и Gemini сравится, хотя от этого играть не менее интересно)

На видео, кстати, балуется с демкой co-founder Hugging Face.

линк

@ai_newz

Животные и их укусы по версии ChatGPT

База про архитектурные особенности современных LLM


📝 Кто такие эти ваши LLM?
По сути, LLM — это всего лишь крупный (с большим количеством параметров) transformer decoder, который был дообучен на инструкционном датасете.


✨Ребята из финтеха Точка хорошо разобрали архитектурные особенности современных LLM в своём канале. Если кратко, вот конспект:
• Rotary Positional Encoding (RoPE) — помогает работать с длинным контекстом без потери качества.
• RMSNorm вместо LayerNorm — быстрее и проще в вычислении.
• Sliding Window, Grouped-Query или Multi-Query Attention — ускоряют работу за счёт меньшего количества параметров.
• Модель может использовать Mixture-of-Experts — увеличивая параметры без роста сложности вычислений.


Если подробнее, читайте их пост ниже или по ссылке:
Читать весь пост


А чтобы полностью разобраться в архитектуре LLM и тонкостях её обучения, подписывайтесь на канал .ml. Часть особенностей уже разобрали в постах, а часть — ещё на подходе.

Реклама «АО Точка», tochka.com, 18+, erid=2VtzquX2Y9U

Архитектура LLM

Что вообще такое эти ваши LLM и чем они отличаются от привычных трансформеров? Давайте разбираться.

Если пытаться дать определение, то LLM — это большая языковая модель, которая была обучена генерировать ответ на какую-либо инструкцию.
Тут два ключевых момента, не считая размер модели: то, что модель генеративная, и то, что она умеет принимать на вход какие-либо инструкции.

📝 Разбираемся с генеративностью

Какая часть трансформера умеет в генерацию текста? Правильно, декодер. Собственно, LLM — это просто жирный (с большим количеством параметров) transformer decoder. Или encoder-decoder, но это только у старых моделей, типа T5. Новые GPT-like архитектуры от энкодеров отошли.

Способность же принимать на вход инструкцию обусловлена пайплайном обучения модели, включая специфичные инструкционные данные, а не какими-либо архитектурными модификациями.

Особенность этого пайлайна — после этапа pre-train модели проводят этап alignment, дообучая модель на инструкционных датасетах. В таких датасете каждый сэмпл — это диалог человека с LLM, который может включать в себя системный промпт (как раз-таки инструкцию), сообщения от лица человека и сообщения от лица LLM, зачастую промаркированные на предмет «хорошести» ответа. Сейчас самые популярные инструкционные датасеты — это Nectar и UltraFeedback.

Итого, LLM — это просто здоровенный transformer decoder, дообученный на инструкционном датасете.
Если углубляться в детали, то популярными архитектурными особенностями современных LLM являются:

- Rotary Positional Encoding (RoPE) и его модификации в качестве позиционного кодирования — вот наш пост про это.

Почему? Помогает работать с более длинным контекстом без значимой потери качества.

- RMSNorm вместо LayerNorm для нормализации.

Почему? Работает сопоставимо по качеству, но проще (быстрее) вычислять — а скорость нам важна.

- Sliding Window, Grouped-Query или Multi-Query вместо ванильного Multi-Head Attention:

Почему? Чем меньше параметров, тем быстрее вычислять.

- Может использоваться Mixture-of-Experts, но это скорее частные случаи.

Почему? Увеличиваем количество параметров модели, не увеличивая при этом сложность вычислений (хоть и страдаем по памяти).

P.S.: если вы увидели много незнакомых слов — не переживайте, в следующих постах расскажем про то, как именно работают все эти навороты.

Эти же архитектурный особенности характерны и для негенеративных современных моделек: например, для энкодеров. Так что нельзя сказать, что это что-то LLM-специфичное — скорее архитектурная база любых современных трансформеров.