Американські дослідники розробили метод отримання яскравих фотографій з мінімальною кількістю шумів при зйомці практично в повній темряві. Для отримання таких зображень використовується нейромережа, яка обробляє фотографії, зняті на звичайну камеру з короткою витримкою в умовах дуже низької освітленості. Присвячена роботі стаття опублікована на arXiv, інформація про дослідження доступна на сайті проекту.
Щоб підвищити яскравість фотографій, знятих у темряві, зазвичай або збільшують час витримки, або підвищують світлочутливість камери. Однак перший спосіб призводить до отримання розмитих або змащених зображень (а також, наприклад, не дає можливості знімати відео), а другий - різко збільшує кількість шумів. Оскільки при зменшенні освітленості все помітніше стають дефекти на зображенні, то для позбавлення від них, як правило, пропонують використовувати комп'ютерну обробку вже отриманого зображення. Тим не менш, всі подібні алгоритми працюють із зображеннями, отриманими хоч і в поганих умовах, але все ж не при екстремально низькій освітленості. Методів для отримання якісних фотографій у повній темряві поки запропоновано не було.
Американські розробники з Intel та Іллінойського університету в Урбані-Шампейні під керівництвом Владлена Колтуна (Vladlen Koltun) запропонували для отримання яскравих і бездефектних зображень при зйомці в умовах слабкого освітлення використовувати метод глибокого машинного навчання. Для нейромережі потрібні зображення, отримані на звичайну камеру зі стандартним набором параметрів. Наприклад, у типовому експерименті автори роботи використовували фотографії, отримані при дуже низькій освітленості (менше 0,1 люкса - це в кілька разів темніше, ніж вночі при повному місячні) з витримкою 1/30 секунди, діафрагмою f/5.6 і світлочутливістю ISO 8000. При такій освітленості отримати зображення, на якому хоч якось видно деталі, нехай і крізь сильний шум і з сильним спотворенням кольору, можна лише за допомогою світлочутливості близько ISO 400000 - недоступної практично ні на яких фотоапаратах.
Щоб з практично абсолютно чорної фотографії отримати потрібне зображення, розробники застосували метод машинного навчання з використанням повністю згорточної мережі (fully convolutional network, FCN), яка отримує зображення не з оброблених даних, а використовує сигнал безпосередньо з фоточутливої матриці. Для навчання нейромережі автори використовували понад 5 тисяч фотографій, отриманих всередині темних приміщень (з освітленістю близько 0,1 люксу), і вночі на вулиці (з освітленістю від 0,3 до 5 люкс - при штучному освітленні або місячному світлі). Для отримання фотографій використовувалися дві камери, закріплені на штативі. У повному наборі зображень з кожною з темних фотографій, отриманих з короткою витримкою, в парі йшла яскрава фотографія того ж місця, отримана з дуже довгою витримкою - від 10 до 30 секунд. На таких парах нейромережа навчалася проводити необхідні процедури демозаїки, колірної корекції, зменшення кількості шумів і поліпшення якості зображення. Щоб уникнути посилення шуму і накопичення помилок навчання проводилося в наскрізному режимі (end-to-end learning).
Навчену на п'яти тисячах фотографій мережу автори перевірили, порівнявши зображення, отримані різними камерами при низькій освітленості за допомогою звичайних методів (підвищення світлочутливості матриці або традиційних методів комп'ютерної обробки фотографій). Виявилося, що за допомогою запропонованого методу вдається отримувати яскраві зображення навіть при дуже низькій освітленості з досить короткою витримкою, при цьому за кольорами і галасливістю зображення отримані фотографії значно перевершують ті, які були отримані за допомогою стандартних підходів. Час обробки одного зображення за допомогою такого методу склав від 0,38 до 0,66 секунди залежно від роздільної здатності зображення і типу використовуваної камери. При цьому ступінь збільшення яскравості зображення відносно початкової фотографії потрібно контролювати вручну.
За словами авторів роботи, поки у запропонованого методу є ряд обмежень, зокрема, він не пристосований для зйомки рухомих об'єктів. У майбутньому розробники планують оптимізувати архітектуру нейромережі для обробки зображень, що дозволить збільшити його швидкість, автоматично налаштовувати яскравість зображень і знімати рухомі об'єкти, так що в кінцевому підсумку такий же підхід можна буде використовувати і при зйомці відео.
Методи машинного навчання нерідко використовують для підвищення якості фотографій. Наприклад, розробники Google створили нейромережу, яка створює зі знімків Google Street View такі фотографії пейзажів, які справжні фотографи приймають за роботи професіоналів. Інша група програмістів запустила сервіс, який також за допомогою нейромереж підвищує роздільну здатність і відтворює деталі зображення, яке можна просто завантажити на сайт. А фахівці з компанії NVIDIA розробили алгоритм, який генерує реалістичні зображення, наприклад деталізовані портрети неіснуючих людей.