У фотографії глибина різкості означає, на якій частині тривимірного простору камера може сфокусуватися одночасно. Мала глибина різкості, наприклад, збереже різкість об'єкта, але розмиє більшу частину переднього плану і фону. Дослідники з Національного інституту стандартів і технологій надихнулися стародавніми трилобітами і створили нову камеру з найвищою глибиною різкості за всю історію.
Спадщина стародавніх
Близько півмільярда років тому в океанах кишелі трилобіти, далекі родичі сьогоднішніх мечехвостів. Їхні зорові системи були досить складними і складалися від десятків до тисяч крихітних незалежних одиниць, кожна зі своєю власною рогівкою, кришталиком і фоторецепторними клітинами.
Зокрема, один трилобіт, Dalmanitina socialis, привернув увагу дослідників NIST через свою унікальну складну структуру ока. Дослідження скам'янілостей показує, що зорова система цього малюка мала двошарові лінзи, і що верхні шари цих лінз мали випуклість посередині, яка створювала другу точку фокусування. Це означало, що Dalmanitina socialis могла фокусуватися як на видобутку прямо перед собою, так і на хижаках, які могли наближатися здалеку.
Пристрій ока трилобіту
Дослідницька група вирішила подивитися, чи можна застосувати цю ідею до камери світлового поля. У той час як звичайні камери в основному приймають світло і записують інформацію про колір і яскравість за почесною сіткою, камери світлового поля набагато складніше і кодують не тільки колір і яскравість, але і напрямок кожного променя світла, що потрапляє на датчик.
Коли ви захоплюєте все світлове поле, ви отримуєте достатньо інформації, щоб реконструювати сцену з точки зору кольору, глибини, прозорості, дзеркальності, заломлення та окклюзії, і ви можете налаштувати такі параметри, як фокус, глибина різкості, нахил тощо. зміщення перспективи після того, як фотографія вже зроблена.
Проблема досі, за словами команди NIST, полягала в збільшенні глибини різкості без втрати просторового дозволу, втрати інформації про колір або закриття діафрагми настільки, що стала проблемою швидкість затвора. І саме тут ці біфокальні трилобайтні лінзи надихнули на прорив.
Як це влаштовано
Ліворуч: зображення, отримане за допомогою оптичного мікроскопа і секції 3x3 зі «звичайних» металінз. Праворуч: зображення, отримані за допомогою скануючої електронної мікроскопії, що показують вигляд зверху вниз і під кутом на наностовпички діоксиду титану.
Команда розробила масив металінз, плоску скляну поверхню, всіяну безліччю крихітних прямокутних стовпчиків з нанорозмірного діоксиду титану. Кожна з цих колон мала точну форму і орієнтацію, щоб маніпулювати світлом певним чином.
Поляризація зіграла тут ключову роль - наностолбики вигинають світло по-різному, якщо воно поляризоване по лівому колу (LCP) або по колу праворуч (RCP). Різний ступінь вигину призводить до різних фокусних точок, тому у дослідників вже було дві фокусні точки для роботи. Проблема полягала в тому, що один датчик міг захопити сфокусоване зображення тільки з однієї з цих фокусних точок.
Тому дослідники розмістили наностовпалі металінзи так, щоб частина світла, що потрапляє в кожну з них, проходила через довгий бік прямокутника, а частина - по більш короткому шляху. Знову ж таки, це викривляло світло на дві різні величини і створювало дві різні фокусні точки: одна фокусувалася поблизу, як макрооб'єктив, а інша фокусувалася на відстані, як телеоб'єктив.
Команда спроектувала і побудувала масив металінз 39 x 39 з ближньою точкою фокусування, встановленою на відстані всього 3 см, і дальньою точкою, встановленою на відстані 1,7 км. Вчені також розробили алгоритм реконструкції з використанням багатомасштабних згорточних нейронних мереж для виправлення всіх численних аберацій, що вносяться цими 1521 крихітними металінзами подвійного призначення, особливо з урахуванням того, наскільки складно дотримуватися жорстких виробничих допусків у наномасштабі.
Результати роботи
Літери NJU праворуч вгорі відстоять від камери на 3 сантиметри, а висотка на задньому тлі - майже на два кілометри
Цей алгоритм реконструкції виявився перлиною. Після простого процесу калібрування та навчання він зміг точно визначити, як і де конкретний масив металінз відхиляється від досконалості - з точки зору хроматичної аберації, розмитості та інших оптичних дефектів, і може внести виправлення, які потім можна легко застосувати до будь-якого зробленого зображення.
Більш того, незважаючи на те, що дві його фокусні точки знаходяться на відстані майже в два кілометри, алгоритм може чітко реконструювати будь-який об'єкт, розташований між ними, створюючи остаточне зображення, яке може мати найбільшу глибину різкості з коли-небудь продемонстрованих. Об'єкти в трьох сантиметрах від об'єктива будуть такими ж надприродно чіткими і різкими, як і ті, що знаходяться далеко на горизонті.