Розробники з Південної Кореї та Іспанії створили алгоритм, що дозволяє створювати зі знімків, зроблених на камеру смартфона, об'ємну модель об'єкта, що враховує властивості його поверхні. Завдяки цьому при подальшому відтворенні модель виглядає набагато більш реалістично, ніж при використанні алгоритмів, що не враховують відображення, розповідають автори статті, яка буде представлена на конференції SIGGRAPH Asia 2018.
Для створення об'ємних моделей різних об'єктів існує досить багато інструментів, частина з яких дозволяє створити досить точну модель, що зберігає безліч деталей. Але такі інструменти дороги і як правило являють собою статичний апарат, який не можна взяти з собою. У той же час існують програми для смартфонів, здатні склеювати безліч фотографій об'єкта з різних ракурсів в єдину модель, але майже завжди в результаті їх роботи на моделі утворюються артефакти склейки. Крім того, вони не дозволяють захопити дрібні деталі і відображають властивості поверхні, в результаті чого модель лише приблизно нагадує реальний об'єкт.
Кім Мін Хек (Kim Min Hyeok) з Корейського інституту передових технологій (KAIST) і його колеги розробили алгоритм, здатний використовувати звичайні камери, в тому числі і в смартфонах, і збирати з їх допомогою достатньо даних для реалістичного відтворення відображаючих властивостей 3D-моделі.
Створений розробниками алгоритм приймає безліч знімків з увімкненим спалахом, причому для кожного ракурсу створюється пара знімків з різною експозицією для розширення динамічного діапазону знімків. Після цього алгоритм створює на основі хмари точок, отриманої з зображень, примітивну 3D-модель об'єкта. Потім він приступає до розрахунку функцій розподілу відображень по поверхні об'єкта і одночасно з цим оновлює геометричну складову моделі з урахуванням нових даних. Цей етап повторюється кілька разів для поліпшення якості моделі.
Розробники перевірили роботу алгоритму за допомогою дзеркального фотоапарата і смартфона. Для кожного об'єкта інженери створювали від 100 до 400 знімків. Під час експериментів алгоритм склеював знімки в єдину модель не на смартфоні, а на потужному комп'ютері. Крім того, вони створювали моделі тих же самих об'єктів за допомогою комерційного 3D-сканера, а також використовували аналогічний алгоритм для порівняння.
Порівняння показало, що новий метод дозволяє створювати співставні за якістю моделі, однак вони містять не тільки інформацію про геометрію об'єкта, але і про відображення властивостей матеріалу його поверхні. Крім того, поверхня моделі більше відповідає реальному об'єкту і містить менше артефактів.
Нещодавно група розробників з дослідницького підрозділу Facebook представила алгоритм для смартфонів з двома камерами, що дозволяє швидко створювати об'ємні панорами. Пізніше Facebook впровадила функцію створення 3D-знімків, але вона використовує лише один вихідний знімок і не дозволяє створювати повноцінні панорами навколишньої місцевості.