KREM DIGITAL
Разработка
LYRA
Агентство
SOLAR
Заказчик
Кейс
ИИ аватар
Задача
С 6 по 8 ноября в рамках ежегодного форума по кибербезопасности «SOC-Forum» совместно с ивент-агентством LYRA мы разработали уникальную концепцию ИИ-аватара для участников мероприятия.
Идея заключалась в том, чтобы создать интерактивный опыт: камера на нашем стенде записывала видео ростового движения посетителя и, с помощью искусственного интеллекта, преобразовывала полученное изображение в футуристичный кибер-аватар.
Идея заключалась в том, чтобы создать интерактивный опыт: камера на нашем стенде записывала видео ростового движения посетителя и, с помощью искусственного интеллекта, преобразовывала полученное изображение в футуристичный кибер-аватар.
Решение
Искусственный интеллект нашего аватара состоит из двух ключевых компонентов:
• Интерактивная панель (фронтенд)
• Серверная часть (бэкенд)
Для интерактивной панели мы разработали функциональный и привлекательный интерфейс с нуля. Пользователям достаточно ввести адрес электронной почты (на него будет отправлено видео с аватаром), выбрать команду (синяя, красная или нейтральная) и указать пол. После обратного отсчета начинается запись, которая ограничена 5 секундами, чтобы избежать перегрузки серверной части.
Вся фронтенд-часть была реализована на игровом движке Unity.
Чтобы ускорить генерацию, мы подключили несколько рендер-модулей для параллельной обработки видео. Первоначальная версия ИИ-аватара была далека от идеала, но после нескольких итераций и тщательной настройки нам удалось значительно улучшить результат.
Мы использовали собственную разработку Diffusion Booth и адаптировали ее с помощью FaceID, чтобы лицо пользователя оставалось максимально похожим на оригинал.
• Интерактивная панель (фронтенд)
• Серверная часть (бэкенд)
Для интерактивной панели мы разработали функциональный и привлекательный интерфейс с нуля. Пользователям достаточно ввести адрес электронной почты (на него будет отправлено видео с аватаром), выбрать команду (синяя, красная или нейтральная) и указать пол. После обратного отсчета начинается запись, которая ограничена 5 секундами, чтобы избежать перегрузки серверной части.
Вся фронтенд-часть была реализована на игровом движке Unity.
Чтобы ускорить генерацию, мы подключили несколько рендер-модулей для параллельной обработки видео. Первоначальная версия ИИ-аватара была далека от идеала, но после нескольких итераций и тщательной настройки нам удалось значительно улучшить результат.
Мы использовали собственную разработку Diffusion Booth и адаптировали ее с помощью FaceID, чтобы лицо пользователя оставалось максимально похожим на оригинал.
ИНСТРУМЕНТЫ
• Портрет ИИ-аватара: Diffusion Booth
• Генерация видео: AnimateDiff (Animate LCM)
• Оптимизация результата: ControlNet.
Мы конвертировали каждый кадр входящего видео в карту глубины и карту поз с помощью алгоритмов ZoeDepth и DWPose.
• Генерация видео: AnimateDiff (Animate LCM)
• Оптимизация результата: ControlNet.
Мы конвертировали каждый кадр входящего видео в карту глубины и карту поз с помощью алгоритмов ZoeDepth и DWPose.
Результат
ИИ Аватар
Наша установка ИИ-аватара вызвала неподдельный ажиотаж у посетителей форума. За три дня мероприятия было создано более 180 уникальных аватаров! Мы получили гибкий и настраиваемый продукт, который можно использовать как в небольших маркетинговых акциях, так и в масштабных событиях федерального уровня.
Этот опыт не только вдохновил организаторов, но и открыл новые горизонты для применения технологий ИИ
в ивент-индустрии.
Этот опыт не только вдохновил организаторов, но и открыл новые горизонты для применения технологий ИИ
в ивент-индустрии.
