Анонс - Act-One от RunwayML. Лицевая анимация при помощи AI.

Компания RunwayML представила новую модель искусственного интеллекта под названием Act-One, которая призвана значительно упростить процесс анимации лица. Эта инновационная технология может иметь далеко идущие последствия для киноиндустрии, выходящие за рамки традиционного захвата движения. Традиционные методы лицевой анимации часто требуют сложных рабочих процессов и специализированного оборудования. Act-One же стремится упростить эту задачу, перенося игру актёра непосредственно на анимированный персонаж с помощью только видео- и голосовых записей. По словам RunwayML, модель способна фиксировать и передавать даже мельчайшие детали игры, и для этого требуется лишь смартфон. RunwayML подчёркивает гибкость Act-One. Модель можно применять к различным эталонным изображениям, и она разработана таким образом, чтобы сохранять реалистичную мимику, даже если пропорции целевого персонажа отличаются от пропорций исходного видео. В демонстрационном видео RunwayML показывает, как Act-One переносит изображение с одного входного видео на разные дизайны и стили персонажей. Компания утверждает, что модель обеспечивает кинематографичные и реалистичные результаты, хорошо работает с разными углами обзора и фокусными расстояниями. Хотя очевидным вариантом использования является передача мимики и голоса человека анимированным персонажам для игр и анимационных фильмов, RunwayML также предлагает другой сценарий: применение актёрской игры к фотореалистичным аватарам. Компания показывает, как один актёр может играть двух виртуальных персонажей в одной сцене, и обещает, что «теперь вы можете создавать повествовательный контент, используя только камеру потребительского уровня и одного актёра, который будет читать и играть разных персонажей по сценарию». RunwayML сообщает, что доступ к Act-One постепенно предоставляется пользователям и вскоре будет доступен всем.