Фахівці дослідницького проекту Google Brain, який займається розробками в області штучного інтелекту і методів глибокого навчання, навчили нейромережу «додумувати» зображення, генеруючи його на основі декількох пікселів. Препринт доступний на arXiv.org.
У художніх фільмах нерідко використовується прийом «наблизити і поліпшити», в результаті якого в розпорядженні героїв виявляється зображення високої роздільної здатності, відновлене з декількох пікселів. На практиці таке неможливо, проте дослідники з Google показали, що на основі пікселізованого зображення низької роздільної здатності можна не відновити, а побудувати заново картинку, яка може бути дуже схожою на реальне зображення.
Для поліпшення зображення автори використовували дві згорточні нейромережі, навчені на однакових наборах даних. Для тренування використовувалися зображення з бібліотек CelebA (двісті тисяч фотографій облич знаменитостей) і LSUN Bedrooms (два мільйони фотографій спалень), картинки були зменшені до двох розмірів: 32 ст.132 пікселів (висока роздільна здатність) і 8 ст.18 пікселів (низька роздільна здатність).
При «відновленні» зображення з картинки низької роздільної здатності головна нейромережа (prior network) відповідає за генерацію деталей картинки високої роздільної здатності, а друга нейромережа - нейромережа умов (condition network) - відповідає за мапування, порівнюючи зображення низької роздільної здатності з уже відомими картинками високої роздільної здатності. Фактично, завдяки нейромережі умов головна нейромережа «розуміє» що кілька коричневих пікселів вихідного зображення потрібно перетворити на волосся на картинці високої роздільної здатності.
У результаті програма з 64 кольорових пікселів генерує реалістичне зображення роздільною здатністю 32 ст.132, яке відрізняється від вихідної фотографії високої роздільної здатності. При цьому деякі зображення вийшли більш правдоподібними, ніж оригінальні фотографії - для перевірки реалістичності зображення були залучені добровольці, які після короткого навчання повинні були вказати, яка з картинок в парі є справжньою фотографією.
За результатами опитування, випробовувані прийняли за справжні фотографії згенеровані зображення знаменитостей у 10 відсотках випадків, для фотографій спалень цей показник склав 28 відсотків. При цьому традиційні методи збільшення дозволу, такі як додавання пікселів за кольором сусідніх і бікубічна інтерполяція, взагалі не змогли «обдурити» випробовуваних.
Раніше британська компанія Magic Pony Technology демонструвала цікаві результати «додумування» вихідного зображення за допомогою методів машинного навчання, проте ніяких технічних подробиць про функціонування програми не повідомлялося.