Фахівці з компанії NVIDIA розробили нейросетевий алгоритм для генерації реалістичних зображень. Зокрема, програма на основі генеративно-змагальної нейромережі створює портрети. Одна з основних особливостей алгоритму полягає в тому, що обидві нейромережі нарощували кількість шарів і роздільну здатність зображення поступово, що дозволило досягти високої якості деталей на кінцевих зображеннях. Розробка буде представлена на конференції ICLR 2018, а присвячена їй стаття опублікована на сайті NVIDIA.
Нерідко в нейросетевих проектах, що створюють або обробляють зображення, використовують генеративно-змагальні нейромережі. Вони складаються з двох нейромереж: одна з них займається безпосередньо створенням або зміною зображення, а друга оцінює результат, порівнюючи його з еталонами. За рахунок такої «гонки якості» мережі постійно покращують створення та оцінку зображень, в результаті чого якість кінцевих зображень зростає.
Раніше такий тип нейромереж використовували і для маніпуляцій з фотографіями осіб, наприклад, для створення портретів з начерків осіб, або перетворення жіночих осіб на чоловічі і навпаки, але якість таких зображень була невисокою. Фахівці з дослідницького підрозділу NVIDIA навчилися створювати таким методом якісні зображення з великою кількістю деталей і роздільною здатністю, змінивши підхід до навчання такого типу нейромереж. Вони вирішили поступово нарощувати роздільну здатність зображень, створених нейромережею. Використана ними схема передбачає, що роздільна здатність зображення одночасно збільшується у генератора і дискримінатора (частина, що відповідає за оцінку зображення генератора), і таким чином вони дзеркальни другу.
В якості тренувальних даних дослідники взяли кілька великих відкритих наборів розмічених даних: датасет CELEBA, що містить безліч фотографій знаменитостей, набір даних LSUN з фотографіями кімнат, і CIFAR10, що містить різні типи зображень. Дослідники змогли за допомогою великого обсягу даних і поступового зростання зображення отримати нейромережу, яка вміє створювати зображення людей з великою кількістю деталей і роздільною здатністю 1024 на 1024 пікселі.
Також дослідники опублікували годинне відео, що ілюструє роботу алгоритму:
Раніше генеративно-змагальні нейромережі навчили й інших цікавих маніпуляцій із зображення, наприклад, створювати з однієї фотографії в коротке відео, що показує як будуть розвиватися події в найближчі миті, або перетворювати картини відомих художників на фотографії і навпаки.