Американські дослідники розробили алгоритм, що створює з двох знятих з близьких ракурсів кадрів нові знімки з інших ракурсів. Його можна використовувати для створення стереопар за допомогою смартфонів з двома камерами, розповідають розробники в статті, яка буде представлена на конференції SIGGRAPH 2018.
В останні два роки багато смартфонів стали оснащуватися модулями з двома камерами. Деякі виробники використовують їх для збільшення чіткості за рахунок суміщення знімків, інші встановлюють камери з різними об'єктивами. Крім того їх можна було б використовувати для створення стереопар, але в більшості смартфонів з подвійними камерами об'єктиви розташовуються на відстані приблизно сантиметра один від одного - в кілька разів меншій, ніж відстань між зіницями людини.
Дослідники під керівництвом Ноя Снейвлі (Noah Snavely) з Google розробили метод, що дозволяє створювати на основі двох знімків з розташованих поруч камер безліч знімків з інших ракурсів, у тому числі для створення стереопар. На відміну від попередніх подібних розробок, що дозволяють створювати фотографії з ракурсів, що знаходяться між двох вихідних кадрів, дослідники вирішили набагато більш складну задачу і навчилися створювати знімки з ракурсів, що не входять в цей діапазон.
Дослідники використовували згорточну нейромережу, яка на основі отриманої пари кадрів створює багатоплоскісткове уявлення кадру, що складається з декількох десятків шарів, що знаходяться на рівній відстані один від одного. Кожен з цих шарів - це кадр, що несе інформацію про колір та прозорість областей на ньому. Маючи об'ємне уявлення сцени в кадрі нейромережа може синтезувати фотографії з нових ракурсів, що не збігаються з вихідними.
Розробники натренували нейромережу на більш ніж півтори тисячі роликів з YouTube з рухається біля статичних об'єктів камерою. В результаті дослідники навчилися створювати стереопару з у вісім разів більшою відстанню між кадрами, ніж у вихідній парі знімків. Нейромережа навчилася коректно обробляти відображення від глянцевих поверхонь, а також справлятися з кадрами, знятими як на вулиці, так і в приміщеннях або недалеко від предметів. Тим не менш, отримувані за її допомогою знімки часто мають візуальні артефакти. Наприклад, алгоритм не завжди коректно визначає глибину знаходження дрібних об'єктів на складному тлі через що але нових кадрах ці об'єкти виглядають нереалістично.
Нещодавно індійські розробники створили алгоритм, який вміє перетворювати розмите зображення на короткий відеоролик. Він аналізує артефакти руху на знімку і відтворює з нього картину того, що відбувається в момент знімка.