Stable Video DiffusionДрузья из Stability.

🔥Stable Video Diffusion Друзья из наконец-то зарелизили image-to-video модель! Работает на базе весов SD v2.1. Есть две версии - SDV (), генерит 14 фреймов 576x1024 - SDV-XT (), которая зафайнтюнена с SDV, чтобы генерить 25 кадров. Фрейм рейт можно менять во время инференас от 3 fps до 30 fps, то есть можно получить видео длиной от 1 до 8 сек. Достигается это за счет дополнительного кондишенинга на фрейм-рейт, также как в SDXL был добавлен кондишенинг на разрешение выходной картинки. По представленным бенчмаркам, SDV обходит Gen-2 и Pika. Количество фреймов, генерируемых за раз, конечно, меньше чем у EMU-Video (), но зато полный опен-соурс, и веса тоже уже доступны ()! Статья () с деталями.