CogVideoX ver1.5 Image2Video. Детали.

Для начала: ну нет пока поддержки версии 1.5 в Комфи.
Просто почитайте об этом вот тут:
https://github.com/kijai/ComfyUI-CogVideoXWrapper/issues/214

Есть отдельный бранч, но там, как я понимаю, тоже все не ровно.
https://github.com/kijai/ComfyUI-CogVideoXWrapper/tree/1.5_test

Я честно все ставил отсюда и запускал из командной строки.
https://github.com/THUDM/CogVideo/tree/main/sat

По памяти - ест 34-37 в процессе генерации, и 60-70 в конце, когда подключается vae.

Думаю, что скоро появится поддержка с Комфи с тайлингом памяти и все будет ходить на 24 гигах VRAM.

Но пока это очень медленно: 15 минут на 22 кадра на A100.

Пока это лучшее из всех image2video в опен-сорсе, которое я видел.

Я тестировал картинки в 1360x768 - это родное разрешение для его text2image, но пишут, что работает и 768x768, 936x640. Большее просто не пролезет по памяти.

Держите рандомных примеров. В основном я использовал промпты из флюкса, где генерил картинки. Машу попросил описать chatGPT. Добавка в промпт "High quality video" прям работает.

Когда давал нейродеда в 848х480 качество сразу падало. На вертикальных не проверял.

Пойду остужать гпу.

@cgevent