Снова за нейрорендеринг. Вот принес вам два видео из Люма и Креа. Смотрите, давайте немного разберемся
Снова за нейрорендеринг.
Вот принес вам два видео из Люма и Креа.
Смотрите, давайте немного разберемся.
Креа делает видео на основе кода AnimateDiff, то есть генерит последовательность картинок, которые ничего не знают друг про друга. Там нет временной согласованности между кадрами, но есть много ухваток как сгладить этот момент.
Плюсы - изумительное качество картинки. Минусы - то самое кипение и артефакты, родовой признак всех потомков Warp Diffusion.
Люма делает сразу видео. Очень грубо говоря, она рендерит его из своей world model. И как все рендеры, обеспечивает временную согласованность кадров.
Плюсы - нет кипения и мельтешения, минусы - качество самой картинки (пока) типа отстой. Пока.
Если еще грубее и проще. Креа Видео натренирована на картинках, Люма натренирована на видосах (хотя в Креа много сделано для хорошего сглаживания между кадрами).
Ну и тут можно порассуждать, что у генераторов видео, натренированных на видосах в мозгах возникает некая 3Д-сцена (хотя это не 3Д, а некое “ИИ-понимание как устроен наш трехмерный мир“), которую генератор рендерит по нашему запросу, мы просто “подлетаем“ к некоторому участку внутреннего мира модели с помощью промпта и говорим, полетай рядом и пошевели объекты - все как в классическом 3Д. И оно рендерит.
Ну и дальше я опять начну ныть, что в классическом 3Д у нас есть все инструменты для управления анимацией.
А теперь представьте, что их нет, и мы может анимировать объекты только таская их за вертексы, то есть перемоделивая их в ключевых кадрах. Нет ни рига, ни деформеров, только вертексы объектов, за которые можно таскать и то приблизительно, с помощью команд типа “немного вправо“.
И пока видеогенераторы, это такое 3Д без рига и контроля. Да уже есть ключевые кадры и референсные изображения на вход. И стрелки “немного вправо“ в виде Motion Brush. Но на этом пока все.
Зато они рендерят Согласованные кадры. Пусть в качестве Coarse, но скоро подвезут нейроантиалиасинг и ControlNet. Вопрос интерфейсных решений.
1 view
54
12
1 month ago 00:02:52 1
「AMV」-Я подарю тебе мечту, и ты увидишь наяву..「Аниме Клип」
1 month ago 00:42:30 1
Рабочая схема ЧИСТОГО МИЛЛИОНА на WB / Пошаговый алгоритм вывода новинок в ТОП на Wildberries?
1 month ago 01:10:30 1
Родина Медиа vs Underground Bizne$ | 1/2 ФИНАЛА | 3 сезон | MEDIA BASKET
1 month ago 00:02:06 1
Виктор Цой - В Наших Глазах (Club Mix)
1 month ago 01:28:24 1
Для нее мечта стала реальностью. Сыграть роль. Часть 2 | МЕЛОДРАМЫ 2024 | ФИЛЬМ О ЛЮБВИ
1 month ago 02:16:00 1
ЕЛЕ ВЫБРАЛСЯ.В ТАЙГУ ОДИН ЗА ОКУНЬКАМИ.
1 month ago 04:29:17 1
Замкнутый круг трагедий. Последняя надежда на счастье. Часть 3 | ГОСТРОСЮЖЕТНАЯ МЕЛОДРАМА | ФИЛЬМ
1 month ago 00:16:37 1
Новости Сегодня - ЧП, Катаклизмы, События Дня: Москва Ураган США Торнадо Европа Потоп
1 month ago 00:32:41 1
Условие исполнения желаний: быть честным с самим собой
1 month ago 00:08:27 1
Сынок ты вернулся... жалко... СНОВА БЕЛАЯ ЛАДА СОРВАЛАСЬ
1 month ago 00:03:39 1
Леонид Агутин – Хоп Хей Лала-Лей [Официальное видео]
1 month ago 00:04:45 1
Боже🙏 Мурашки по коже, это обязательно нужно услышать🙏🙏♥🙏♥
1 month ago 00:53:32 1
ЗА КУЛИСАМИ NBC GRAND PRIX 10 | ДАНИЛОВ ЧЕМПИОН | КОНКУРЕНЦИЯ ФЕДЕРАЦИЙ | ДОПИНГ КОНТРОЛЬ
1 month ago 03:18:39 1
НОВЫЙ ФИЛЬМ ТОЛЬКО ВЫШЕЛ НА ЭКРАНЫ! НА РЕАЛЬНЫХ СОБЫТИЯХ! “Танкисты Своих не Бросают“ ВСЕ СЕРИИ
1 month ago 00:26:04 1
Сасный Content Warning
1 month ago 00:16:05 1
Сколько было потопов ? Ломоносов знал ответ !
1 month ago 00:32:51 19
КОТ КОСТЯН о Путине, будущем президенте США, патриотах, смерти Навального и лидере оппозиции
1 month ago 00:04:32 1
GOOD NIGHT ROMANCE🎵 СПОКОЙНОЙ НОЧИ, ГОСПОДА... РОМАНС
1 month ago 00:00:57 1
Добавь Лавровый лист при стирке #совет Решит ПРОБЛЕМУ СО СТИРКОЙ
1 month ago 00:08:33 1
БЕСПРЕДЕЛ В РОСТОВЕ-НА-ДОНУ #россия #русские #мигранты #русскаяобщина #важное #дружина
1 month ago 01:13:44 1
ИСПОВЕДЬ БЫВШЕГО ЗАКЛЮЧЕННОГО, ШТУРМОВИКА ЧВК “ВАГНЕР“ / #wagner
1 month ago 00:02:29 1
🆘🆘🆘НУЖНА ПОМОЩЬ В ОПЛАТЕ СРОЧНОЙ ОПЕРАЦИИ НА ПОЗВОНОЧНИК ПАРКЕРУ
1 month ago 01:10:22 1
Кашпировский: г. Сеанс здоровья 6. 1989 год. Москва.
1 month ago 04:52:22 1
Wuthering Waves :на русском #1-Начало : первый запуск