ИИ запилил себе тело чтобы охотиться на человеков

Deemos показали Люси, робота, созданного ИИ

1. сгенерили картинку
2. 3D-модель сгенерили в Rodin
3. Обучение на основе RL в симуляторе
4. 3D-печать
5. Люси в реальном мире

Проект вдохновлен Text2Robot

#яниначтоненамекаю #text2robot #robot

Очередная демка генератора миров. Попробовал. Возможности передвижения очень ограниченные, вверх-вниз нельзя, по горизонтали очень быстро упираешься в стену. Ну такое

#world #image2world

RTFM: A Real-Time Frame Model

Про генерацию миров от WorldLab я уже писал и не раз.

Но тут они выкатили новое интерактивное демо, которое нельзя не попробовать.

Главные фишки: бесконечный контекст(память) и нефотореалистичные "скины".

Для начала, идете сюда и пробуете:
https://rtfm.worldlabs.ai/
Там пока нельзя вгрузить свое изображение, но можно попробовать картинки из библиотеки.
На входе ОДНО изображение и промпт - на выходе - целый мир.

Потом читаете тут:
https://www.worldlabs.ai/blog/rtfm

По мере развития этой технологии становится ясно одно: генеративные модели мира будут требовать очень больших вычислительных ресурсов, гораздо больше, чем современные LLM. Если мы наивно применим современные видеоархитектуры к этой задаче, то для генерации интерактивного 4K-видеопотока со скоростью 60 кадров в секунду потребуется производить более 100 тысяч токенов в секунду (примерно столько же, сколько составляет длина романа «Франкенштейн» или первой книги о Гарри Поттере); чтобы эти генерации сохранялись в течение часового (или дольше) взаимодействия, необходимо обрабатывать контексты, превышающие 100 миллионов токенов. Это невозможно и экономически нецелесообразно с учетом современной вычислительной инфраструктуры.

Но WorldLab сделал так, что RTFM может крутиться на ОДНОЙ H100, обеспечивая интерактивный опыт.
С бесконечным контекстом они придумали интересный трюк: они не запоминают все сгенерированные кадры (экономя память), а лишь углы камеры и метадату плюс "некоторое" количество кадров вокруг текущего ракурса (кеш генераций), при достаточно большой смене ракурса перегенерируют заново.

Модель обрабатывает широкий спектр типов сцен, визуальных стилей и эффектов, включая отражения, полированные поверхности, тени и блики.

На видео в начале каждого плана можно заметить небольшие артефакты, но на общем фоне и с учетом красоты работы это мелочи.

@cgevent

UrbanVerse: Scaling Urban Simulation by Watching City-Tour Videos

3D миры здорового человека робота

UrbanVerse преобразует реальные городские сцены из видеопрогулок по городам в интерактивные симуляционные среды с учётом физики. Это позволяет масштабировать обучение роботов в городских пространствах и улучшать их адаптацию к реальным условиям

Из некалиброваных видео извлекает семантические макеты.
На основе одного видео и макета генерирует несколько разнообразных цифровых сцен.

Ну и у них есть свой датасет UrbanVerse-100K для создания симуляций, основанных на реальных макетах

Код ждем

#videotoscene #videoto3d #video2world #world