Нейросеть научилась превращать одиночную фотографию в трехмерную модель

14.06.2010 Hi-tech

Команда ученых из Университета южной Калифорнии создала программу, которая разрешает создавать реалистичные трехмерные изображения лица по одной фотографии. Статья исследователей дешева на сайте ArXiv.

В большинстве случаев при создании «виртуальных масок» дизайнеры применяют качественные фотографии, сделанные в нескольких ракурсах при совершенном освещении. Это нужно чтобы передать все особенности лица человека, включая его асимметрию, мелкие детали и изгибы, к примеру родинки. Американские ученые внесли предложение способ, что разрешает применять для этих целей всего один неумелый снимок, сделанный в повседневной обстановке.

Для этого они задействовали нейросеть.

Дональд Трамп в юности. Shunsuke Saito et al / ArXiv.org

Сперва исследователи создали модель, которая может «считывать» форму лица по фото и создавать для него карту альбедо (albedo map), определяющую диффузный цвет (он виден при освещении предмета белым светом). Затем они применяли предварительно подготовленную сверточную нейросеть VGG-19, которая разбирала заготовки лиц и подбирала к ним реалистичные текстуры.Нейросеть научилась превращать одиночную фотографию в трехмерную модель Как информируют авторы статьи, при исполнении данной задачи она опиралась на существующую базу данных лиц, в которой собраны женщин и фотографии мужчин разной национальности и разного возраста.

Разработчики протестировали работу совокупности, забрав фотографии нескольких знаменитостей и создав для них трехмерных аватаров. Виртуальные двойники показались у Дональда Трампа, Джека Ма, Мохаммеда Али, Иэна Кертиса, а кроме этого вторых известных людей.

Аватар Иэна Кертиса. Shunsuke Saito et al / ArXiv.org

Аватар Мохаммеда Али. Shunsuke Saito et al / ArXiv.org

Джек Ма, Хилари Клинтон и Иэн Кертис. Shunsuke Saito et al / ArXiv.org

Помимо этого, исследователи попросили 150 добровольцев оценить реалистичность 11 трехмерных моделей. Испытуемым показывали фотографию «поделенного» пополам лица человека: левая добрая половина всегда была настоящей (ее брали из ранее использованной базы данных для подбора текстур), а правая могла быть как настоящей, так и сгенерированной нейросетью. Участникам нужно было выяснить, есть ли правая добрая половина лица маской, созданной компьютером.

Тесты продемонстрировали, что цифровая модель была весьма похожа на лица живых людей. Примечательно то, что для получения такого результата хватило одной фотографии. Разработка возможно использована в будущем для VR-аватаров либо для усовершенствования онлайн-игр.

Сравнительно не так давно лаборатория Disney Research представила способ создания виртуальной «вставной челюсти», что также подразумевает применение всего одной фотографии. Исследователи сохраняют надежду, что это окажет помощь сделать нарисованных персонажей более реалистичными. Daydream Labs, в собственную очередь, выпустила прототип аватара для виртуальной реальности, у которого имеется глаза.

Создатель: Кристина Уласович

Случайные записи:

Нейросеть Deep Dream как обработать фото


Похожие статьи, которые вам понравятся: