Команда вчених з Університету південної Каліфорнії розробила програму, яка дозволяє створювати реалістичні тривимірні зображення обличчя по одній фотографії. Стаття дослідників доступна на сайті ArXiv.
Зазвичай при створенні «віртуальних масок» дизайнери використовують якісні фотографії, зроблені в декількох ракурсах при ідеальному освітленні. Це необхідно для того, щоб передати всі особливості особи людини, включаючи її асиметрію, вигини і дрібні деталі, наприклад родимки. Американські вчені запропонували метод, який дозволяє використовувати для цих цілей всього один непрофесійний знімок, зроблений в повсякденній обстановці. Для цього вони задіяли нейромережу.
Спочатку дослідники розробили модель, яка вміє «зчитувати» форму обличчя за фото і створювати для нього карту альбедо (albedo map), що визначає дифузний колір (він видно при освітленні предмета білим світлом). Після цього вони використовували попередньо підготовлену згорточну нейромережу VGG-19, яка аналізувала заготовки осіб і підбирала до них реалістичні текстури. Як повідомляють автори статті, при виконанні цього завдання вона спиралася на наявну базу даних осіб, в якій зібрані фотографії чоловіків і жінок різного віку і різної національності.
Розробники протестували роботу системи, взявши фотографії кількох знаменитостей і створивши для них тривимірних аватарів. Віртуальні двійники з'явилися у Дональда Трампа, Джека Ма, Мохаммеда Алі, Іена Кертіса, а також інших відомих людей.
Крім того, дослідники попросили 150 добровольців оцінити реалістичність 11 тривимірних моделей. Випробовуваним показували фотографію «поділеного» навпіл обличчя людини: ліва половина завжди була справжньою (її брали з раніше використаної бази даних для підбору текстур), а права могла бути як реальною, так і згенерованою нейромережею. Учасникам треба було визначити, чи є права половина обличчя маскою, створеною комп'ютером.
Тести показали, що цифрова модель була дуже схожа на обличчя живих людей. Примітно те, що для отримання такого результату вистачило однієї фотографії. Технологія може бути використана в майбутньому для створення VR-аватарів або для удосконалення онлайн-ігор.
Нещодавно лабораторія Disney Research представила метод створення віртуальної «вставної щелепи», який теж передбачає використання всього однієї фотографії. Дослідники сподіваються, що це допоможе зробити намальованих персонажів більш реалістичними. Daydream Labs, у свою чергу, випустила прототип аватара для віртуальної реальності, у якого є очі.