Американські розробники створили нейромережу, здатну по одній фотографії передбачати етапи старіння людини починаючи з раннього дитинства або, навпаки, показати, як могло виглядати її обличчя в минулому. На відміну від інших подібних алгоритмів, в тому числі і від FaceApp, нейромережа змінює не тільки текстуру, але і форму особи та окремих її частин, що дозволяє домогтися набагато більш якісного ефекту, розповідають автори статті, яка буде представлена на конференції ECCV 2020.
З плином життя обличчя поступово змінюється, проте ми все одно можемо впізнати людину на її дитячій фотографії або уявити, як дитина виглядатиме в дорослому віці, оскільки ключові характеристики, що описують розташування і форму частин особи, слабо схильні до змін. Розробники вже частково враховують цю особливість в алгоритмах, причому деякі з них вже доступні у вигляді додатків для смартфона. Але поки у цих алгоритмів є кілька невирішених проблем. По-перше, майже всі з них працюють тільки з двома віками - наприклад, перетворюють молодих людей на старих. По-друге, їхня робота, як правило, заснована на зміні текстури обличчя на зображенні, але під час реального старіння у людей також змінюється і форма обличчя та окремих його частин.
Група дослідників з компанії Adobe, а також Вашингтонського і Стенфордського університетів під керівництвом Іри Кемельмахер-Шліцерман (Ira Kemelmacher-Shlizerman) створила новий алгоритм, який проводить перетворення з проміжними віками, а також одночасно змінює текстуру і форму обличчя.
Щоб у процесі роботи алгоритм зберігав ключові риси обличчя конкретної людини, розробники побудували його за моделлю кодувальника-декодувальника, що часто застосовується для перетворень різної модальності, наприклад, картини на музику. Алгоритм авторів на вході отримує фотографію - об'єкт з певною роздільною здатністю. Потім він стискає фотографію і перетворює її на об'єкт меншої розмірності, але зберігає інформацію про основні риси обличчя, щоб можна було відновити вихідне зображення з мінімальними спотвореннями. Потім стиснута вистава подається на декодерівник. Але крім цього декодувальник також отримує ще один вектор, який відповідає за оптимальне перетворення між фотографіями двох конкретних вікових груп.
Автори створили дві окремі моделі для чоловіків і жінок. Для навчання вони використовували датасет осіб з Flickr FFHQ і за допомогою краудсорсингу розмітили всі 70 тисяч фотографій на 10 вікових інтервалів. Кожну фотографію оцінювало по три різні людини. Після цього розробники залишили шість інтервалів, в яких була досить точна оцінка віку (не сильно різнилися оцінки різних добровольців): від 0 до 2 років, від 3 до 6, від 7 до 9, від 15 до 19, від 30 до 39 і від 50 до 69. Навчання проводилося за схемою генеративно-змагальної нейромережі.
Розробники провели кількісне порівняння з кількома іншими нейромережами для цього завдання і з'ясувалося, що новий алгоритм справляється краще за всіх. Результати можна побачити на демонстраційному відео або сторінці авторів.
У 2018 році дослідники запропонували використовувати область навколо очей як ефективний показник біологічного віку людини. Вони випустили програму, яка використовуючи створений ними алгоритм і дані може передбачити вік людини по фотографії з точністю до двох років.