Вышла новая китайская модель для генерации видео по тексту 可灵 (или просто Kling)! Выпустила её Kuaishou Technology — китайская
Вышла новая китайская модель для генерации видео по тексту 可灵 (или просто Kling)!
Выпустила её Kuaishou Technology — китайская компания, которая разрабатывает одноимённую платформу для коротких видео (и довольно популярна в Китае).
Как заявляют авторы:
модель представляет собой Diffusion Transformer (DiT), работающий в латентном пространстве закодированных видео (при этом при обучении DiT берутся видео разного разрешения и соотношения сторон);
в качестве автоэнкодера видео используется специально обученный 3D VAE;
модель может генерировать Full HD видео (разрешение 1920 х 1080) длинной до 2 минут с частотой 30 кадров в секунду (время, за которое модель генерирует такое видео, авторы не уточняют); при этом Sora за один проход умеет генерировать только минутное видео.
Как водится в последнее время, авторы Kling утверждают, что модель способна отлично имитировать физические характеристики реального мира и создавать видеоролики, соответствующие законам физики (что сейчас так или иначе является целью каждой команды, которая создает собственные text-to-video модели). Хотя всё ещё видны артефакты генерации (даже на представленных черри-пиках).
Концептуально в этом подходе к генерации видео нет ничего нового по сравнению с последними сравнимыми по качеству моделями такими как Sora (OpenAI), Vidu (Tsinghua University and ShengShu Technology), Veo (DeepMind). Очень большую роль играют и значимо влияют на финальное качество:
данные, на которых обучалась модель, их количество и, самое главное, качество (в случае Kling эта информация неизвестна - как и в случае большинства других моделей генерации видео);
количество compute, затраченного на обучение (то есть фактически спецификация и размер кластера и время обучения); в частности, авторы Kling специально подчёркивают большую отдачу (с точки зрения финального качества модели) от масшабирования архитектуры и процесса оптимизации её обучения.
Модель Kling закрытая, есть только статья с примерами в блоге и ссылка на бета-тестирование (правда чтобы в нём поучаствовать, нужен китайский номер )
7 views
81
18
4 months ago 00:39:07 1
Куда отправить ребенка на летние каникулы?
4 months ago 00:27:44 1
Удары по Крыму ракетами ATACMS. Реакция Тайваня на учения Китая. Антимигрантский закон в США
4 months ago 00:17:52 1
Что скрывал проект “Сетка-МО“ о НЛО?
4 months ago 00:04:05 1
Диета при тромбофлебите - ТОП 5 продуктов
4 months ago 00:34:46 1
ОБНАРУЖИЛИ ДЕВОЧКУ МАУГЛИ. Её нужно срочно спасать...
4 months ago 01:13:45 1
Как не воспитать жертву? Синдром хорошей девочки. Психолог Лариса Суркова. По следам суда Бишимбаева
4 months ago 00:29:57 28
ВЫШИТАЯ КАРТА МИЯКИНСКОГО РАЙОНА
4 months ago 00:14:13 1
Катаклизмы за день . Новости, ЧП, события дня
4 months ago 00:13:56 1
Евгений Пригожин рассказывает о лжи мо рф.
4 months ago 00:29:49 1
Сёстры Груздевы - про свободу, публичный скандал и открытую поддержку Александра Лукашенко.
4 months ago 00:01:00 1
Первая красавица — внебрачная дочь Николая I #Shorts #история
4 months ago 01:29:01 1
Секреты жестких переговоров от Асель Машановой.
4 months ago 00:14:58 1
Витязево. Море, пляж, цены, жильё, прогулка, развлечения. (Папа Может)
4 months ago 01:11:10 6
[Картавый Футбол] КФ! Челси, Бавария, Барселона - зачем они поменяли тренеров? ДЖОН ВЕРНУЛСЯ!!!!
4 months ago 00:14:19 1
КАК Я НАПИСАЛ КЛИЕНТЫ ВК, YOUTUBE И TELEGRAM НА ДРЕВНИЙ СМАРТФОН/САМ СЕБЕ ЭКОСИСТЕМА
4 months ago 00:14:58 3
Новости игр! GTA 6, Borderlands 4, Total War: Star Wars, Manor Lords, Ghost of Tsushima, Deadlock
4 months ago 00:42:28 1
Сексизм в хитах Instasamka, Kizaru, Anna Asti и других лидеров чартов
4 months ago 00:08:00 1
Картошка фри, как в мишленовском ресторане с тремя звездами! Сталик Ханкишиев
4 months ago 00:23:45 1
Лучшие Новые Фильмы 2024 - 2023 Которые Уже Вышли В Хорошем Качестве. Что посмотреть? Новинки Кино
4 months ago 00:15:23 1
Фёдоров вскрыл ЦАРЬГРАД
4 months ago 00:07:53 1
ЗАКУСОЧНЫЕ ПОМИДОРЫ ОЧЕНЬ ВКУСНЫЕ
4 months ago 00:24:46 1
Новые Фильмы 2024 - 2023 Которые Уже Вышли В Хорошем Качестве. Новинки Кино Апрель 2024
4 months ago 00:13:03 1
НОВЫЕ ФИЛЬМЫ 2024 КОТОРЫЕ УЖЕ ВЫШЛИ В ХОРОШЕМ КАЧЕСТВЕ. ТОП 20! ТРЕЙЛЕРЫ. ЛУЧШИЕ НОВИНКИ КИНО. ОБЗОР
4 months ago 00:16:51 1
Есть Путин или нет, не играет значения для Русского народа России! Интеллектуалы России, ДЕЙСТВУЕМ!