Вот держите гибридный пайплайн от генерации 3D-модели персонажа

Вот держите гибридный пайплайн от генерации 3D-модели персонажа, до рига, анимации и нейрорендера. Без всякого ретопа, текстурирования и шейдинга. Берется Luma AI для того чтобы сгенерить десяток вариантов 3Д-персонажа по текстовому промпту. Получается довольно обмылочный персонаж в духе PS1 с кривой топологией и кашей вместо головы и рук. Дальше он тащится в Mixamo и там на него тупо кидается авториг. А потом и анимация в духе Hadouken! Дальше превью анимации с этим болваном кормится в КонтролНет, чтобы достать оттуда позу и объем с глубиной - для дальнейшего нейрорендеринга с помощью AnimateDiff. Ну то есть идея такая - генерим низкокачественного болвана персонажа с помощью ИИ, кладем болт на топологию и качественный риг, просто одеваем его в скелет и наваливаем нужную нам анимацию (пусть с заломами и косяками на сгибах). На этапе нейрорендеринга все эти косяки сгладятся в процессе переноса стиля из промпта или картинки. Одна засада - надо знать Mixamo, анимацию и вот это ваше дурацкое 3Д. Впрочем нажать кнопку Autorig и потом выбрать из библиотеки анимацию (или сгенерить промптом, или забрать по эклеру из видео с помощью open pose) может любой, даже не знакомый с 3Д. Осталось эти кнопки вструмить внутрь ComfyUI или A1111 и спрятать подальше эти ацкие настройки ControlNet - вот и будет вам AIMixamo. P.S. Качество ИИ-генерации 3Д настолько плохое, что чувак отдельно потом генерит голову и руки для персонажа и пришивает их к полигональному мешу и начинает все сначала (иначе КонтролНет не хавает уродца). И вот тут уже надо знать 3Д, сорян. Но проблески будущих однокнопочных пайплайнов отчетливо проступают из шума диффузии. . Была такая поговорка у продакшенов - “на посте все поправят“. Теперь на посте сидят такие: “зачем моделить правильно, на нейрорендеринге все поправится“. Короче, расслабляем булки, ИИ все поправит. За вас. Автор обещает полный тутор тут:
Back to Top