xAI: Илон обновил свой генератор картинок и видео Grok Imagine с v.01 до v 0.9.

Создаёт видео длительностью 6 сек на основе текста или изображений за 15 секунд. Улучшилось качество визуала, но нет разрешения 1080p. Впрочем Sora 2 по умолчанию тоже 360p выдаёт. Генерит со звуком и липсинком, но качество аудио и фреймрейт гуляют судя по примерам.

В отличие от Sora 2 тут нет такой цензуры и видео выдаются без водяного знака.

Grok Imagine работает через мобильное приложение Grok (нужно обновить до последней версии).

Приложение (Android)
Приложение (iOS)
Твит

Замена персонажа в существующем видео с сохранением липсинка и освещения.

Локально на 5090 в Comfy с помощью Wan Animate. На первое видео разрешением 1024х576 в 4 шага ушёл 1 час, на второе 35 мин.

А Sora так может?

Твит

Simulon: приложение для вписывания и анимации 3D моделей в видео с реалистичным освещением и трекингом камеры вышло в публичный доступ. Ранее, когда оно ещё было в привате, я делал обзор.

Обновился интерфейс и теперь есть два подхода к созданию сцен:
* Take-based — каждая видеозапись создаёт свою 3D сцену. Удобно для работы над индивидуальными фрагментами.
* Scene-based — можно делать глобальные правки в конкретной сцене и подгружать дубли как камеры. Подойдёт при работе в мультикам режиме.

Между подходами можно переключаться.

Что ещё нового:
* Глобальный контроль анимации — можно поставить на паузу и сделать её сброс в любой момент. Если начать запись во время паузы, анимация начнётся с 1 кадра, позволяя получить предсказуемый результат.
* Улучшен удалённый авторинг в Блендоре
* Поддержка Alembic (.abc) файлов. Конвертер Simulon позволяет воспроизводить анимации в реальном времени на iPhone.
* Рабочие группы для совместной работы над проектами.

Приложение всё также доступно пока только на iPhone.

Сайт
Приложение
Твит

Вышла обновлённая лора Next Scene для генерации следующего кадра со стабильным удержанием контекста сцены (персонажей, локации, освещения, итд). Работает на основе Qwen Image Edit 2509.

Что нового:
* Лора натренирована на датасете более высокого качества
* Лучше следует промту
* Убрали артефакты с черными линиями
* Более плавные переходы и общая кинематографичность

Даёте описание начального кадра в одном поле, следующего кадра в другом, и нажимаете сгенерить. Можно задать сразу много промтов для новых кадров, каждый начиная с новой стройки и со слов Next Scene: . Под списком промтов для генерации есть счётчик. Хотите генерить с конкретной сцены и дальше — ставите её номер и вперёд. Чтобы начать с начала ставим 0.

На дефолтных настройках по предоставленному Comfy воркфлоу для генерации базовых кадров используется Flux Krea Dev fp8, а также Qwen IE 2509 fp8 с лайтнинг лорой в 4 шага для ускорения. На 4090 + 128 ГБ RAM на базовый кадр уходит 12 сек при 30 шагах, а на производный кадр уже 10 сек. На проходе Flux Krea видюха занята на ~22 ГБ VRAM, а на проходе Qwen все 24 ГБ. Потребление RAM добивает до 80 ГБ.

Как инструмент для получения ключевых кадров очень даже хорошо. Тем более, что тут нет зашакаливания производных фреймов как у Flux Kontext.

Хаггинг
Comfy воркфлоу