Nvidia объявила, что её решение Audio2Face теперь доступно по открытой демократичной лицензии MIT. Этот инструмент на основе генеративного искусственного интеллекта предназначается для анимации лиц у игровых персонажей и синхронизации движений их губ со звуковым потоком.
Обзор ноутбука HONOR MagicBook Pro 16 HUNTER 2025. Для игр? Для работы? Для игр и работы!
Обзор видеокарты Acer Nitro Intel Arc B580 OC
Шестиядерники за 10 тысяч рублей — сравнение и тесты
Обзор планшета HUAWEI MatePad 11,5» (2025): апгрейд без бликов
В чем уникальность зум-камеры HUAWEI Pura 80 Ultra?
Обзор смартфона HUAWEI Pura 80 Pro: разумный флагман с мощнейшей камерой
Ноутбуки HONOR MagicBook: технологии, дизайн и производительность для любых задач
Компьютер месяца — сентябрь 2025 года
Nvidia Audio2Face анализирует звук речи, учитывая фонемы, интонацию, эмоциональный тон, и генерирует потоки данных, которые впоследствии можно применять к трёхмерным персонажам, делая их поведение более выразительным и реалистичным. Модель в формате плагинов подключается к Autodesk Maya и Unreal Engine 5; Nvidia также подготовила SDK, фреймворк для обучения и примеры наборов данных.
Создатели игр могут самостоятельно дорабатывать существующие модели или адаптировать их для своих проектов, расширяя первоначальные возможности Audio2Face. Для синхронизации губ могут применяться регрессионные и диффузионные модели ИИ, доступны также нейросети Audio2Emotion, предназначенные для распознавания эмоционального состояния персонажа по его голосу.
Технология Nvidia Audio2Face уже используется в производстве игр. Farm 51 подключала её к созданию Chernobylite 2: Exclusion Zone, чтобы ускорить процесс анимации и сделать артикуляцию персонажей более естественной. С ней работают также студии Codemasters, GSC Game World, NetEase, Perfect World, Convai, Inworld AI, Reallusion, Streamlabs и UneeQ. Система позволяет обходиться без традиционных методов захвата движений, за что её ценят студии, которые стремятся ускорить разработку.
Nvidia позиционирует Audio2Face как средство из набора ИИ-инструментов RTX Kit для разработчиков — в него также входят SDK для нейронного сжатия текстур и глобального освещения. Выпуская решение как продукт с открытым исходным кодом, компания даёт разработчикам возможность адаптировать его к более широкому спектру приложений.
Добавить комментарий