Российские разработчики научили нейросеть «оживлять» портреты

Отечественные исследователи из московского Центра искусственного интеллекта Samsung разработали алгоритм, позволяющий создавать «живые портреты» на основе небольшого количества кадров. В большинстве случаев система успешно формирует поддельные видео, основываясь всего на одном исходном снимке.

Исследователи говорят о том, что созданный ими алгоритм способен создать достаточно убедительное видео на основе всего одного изображения. Если же используется несколько кадров, то конечный результат становится более качественным. Учитывая то, что алгоритму достаточно всего одного портрета, исследователи смогли «оживить» картины и портреты людей, которые жили задолго до появления кинокамер.

В качестве примера такой работы предлагается небольшое видео с Ф. М. Достоевским, который реалистично двигается и шевелит губами, как будто рассказывает что-то. Еще одним экспериментальным материалом стал портрет Моны Лизы, который подвергся обработке нейросетью, после чего девушка с портрета начала шевелить губами, улыбаться и переводить взгляд. Достаточно реалистичный ролик получился на основе фотоснимка Сальвадора Дали.

Применяемая нейронная сеть в процессе обучения обрабатывала большое количество изображений, на которых были запечатлены лица людей. За счёт этого нейросеть научилась определять характерные черты, в том числе глаза, форму носа и рта и др. Система снимает маску лица с исходного кадра и переносит его на другие изображения, за счет чего в конечном итоге получается реалистичная анимация.

В настоящее время получаемые анимированные ролики могут содержать артефакты и некоторую искусственность движений. В дальнейшем разработчики намерены совершенствовать алгоритм, чтобы устранить эти недочёты.

Источник: