Нейросеть научили реалистично переносить мимику и движения головы

Американские исследователи создали нейросеть для реалистичного переноса мимики людей между видеозаписями.

1. Исследователи из Института информатики Общества Макса Планка совместно с коллегами из Франции, Великобритании и США создали алгоритм, позволяющий реалистично переносить поведение человека из одного видео в другое.

2. В отличие от предыдущих подобных разработок, созданная ими нейросеть изменяет множество параметров головы человека: ее наклон, форму рта, направление взгляда и другие. Работа будет представлена на конференции SIGGRAPH 2018.

3. В качестве исходных данных программа принимает два видеоролика, на которых крупным планом заснят человек. Следом из видео извлекаются основные параметры лиц — выражение лица, описываемое множеством признаков, положение головы и направление взгляда.

4. После этого модели лица из целевого ролика присваиваются параметры движений модели из исходного ролика-образца, хотя само лицо берется из ролика с человеком, которому присваиваются новые эмоции.

5. Наконец алгоритм создает фотореалистичные рендеры целевого лица с новыми параметрами и эти рендеры передаются порождающей нейросети, которая превращает рендеры в реалистичный ролик.