Дослідники з Прінстонського університету та Adobe створили алгоритм, здатний визначати об'єкт зйомки і в напівавтоматичному режимі прибирати візуальні перешкоди і зайві предмети з кадру. Доповідь було представлено на конференції. Повний текст статті опубліковано на сайті університету.
Для навчання системи автори роботи використовували два набори зображень. Перший набір складався з тисячі фотографій, на яких люди, що працюють в рамках програми Amazon Mechanical Turk, вручну відзначали небажані елементи, що відволікають погляд від об'єкта зйомки. Другий набір з п'яти тисяч зображень дослідники отримали з фоторедактора для iPhone Fixel, частина користувачів якого при установці погоджується на використання своїх фотографій з дослідницькою метою. У випадку з першим набором зайві об'єкти були краще описані, в той час як знімки з другого масиву зображень були ретельніше оброблені, оскільки користувачі редагували фотографії для себе.
Теґ video не підтримується вашим переглядачем.
Після обробки даних дослідники змогли виділити 23 типи відволікаючих об'єктів, найчастішими з яких виявилися інші люди в кадрі, машини, дроти і світлову пляму спалаху. Крім того, система покращення зображення в першу чергу звертає увагу на об'єкти по краях кадру та невеликі об'єкти контрастного кольору відносно навколишнього фону. На тестовому сайті автори продемонстрували роботу алгоритму: користувач самостійно вибирає кількість непотрібних об'єктів у кадрі, після чого система затирає їх, використовуючи як джерело пікселі, що знаходяться поруч, аналогічно інструменту Clone Stamp у фоторедакторах.
Як вважають дослідники, затирання сторонніх об'єктів з кадру допомагає краще акцентувати увагу глядача на основному об'єкті зйомки. При цьому, на думку авторів статті, велика частина фотографів-любителів не володіє необхідними навичками для того, щоб прибирати подібні об'єкти з кадру за допомогою фоторедакторів, тому подібний метод поліпшення фотографій одним кліком буде користуватися попитом. Однак, відзначають дослідники, система ще не придатна для публічного використання оскільки час від часу помиляється, видаляючи частину головного об'єкта зйомки.
Раніше роботу свого алгоритму з очищення фотографій продемонстрували дослідники з лабораторій Google і MIT, проте їх алгоритм призначений, в першу чергу, для очищення знімка від перешкод на передньому плані і вимагає декількох фотографій одного об'єкта з невеликим зміщенням.