Компанія NVIDIA представила GauGAN - програму, яка вміє перетворювати начерки на фотореалістичні зображення. В основі її роботи - генеративно-змагальні нейромережі, які навчалися на мільйоні зображень пейзажів. Технологію представили на щорічній конференції компанії GTC 2019, яка пройшла в Каліфорнії.
Створення нових об'єктів (найчастіше - зображень) за допомогою генеративно-змагальних нейромереж - технологія вже не нова. Такі алгоритми можуть створювати оригінальні твори мистецтва, а зовсім недавно розробники навчили такі нейромережі створювати портрети неіснуючих людей і тварин. Що стосується створення об'єктів на основі начерків, то часом у таких алгоритмів виходять не самі правдоподібні результати: наприклад, нейромережа, яка перетворює начерки людей на фотореалістичні портрети, найчастіше видає щось злегка лякає, оскільки її робота багато в чому залежить від навичок малювання начерків того, хто їй користується.
Малювання пейзажів генеративно-змагальними мережами - завдання в цьому сенсі набагато простіше, але і тут, по суті, результат може сильно відрізнятися залежно від того, наскільки вдалим вийшов сам начерк. GauGAN (за задумом розробників, назва алгоритму співзвучна з ім'ям Поля Гогена - художника-постімпресіоніста) може створити фотореалістичне зображення навіть на основі абсолютно базового начерку з ліній і кружечків. В інтерфейсі програми доступні декілька «кольорів», кожен з яких відповідає об'єкту, який можна намалювати: так, у додатку є «кольори» для хмар, пагорбів, кольорів, полів та інших атрибутів пейзажу.
Технологію, яка лежить в основі зафарбовування ділянок спеціальними текстурами, вчені назвали просторово-адаптованою нормалізацією (spatially-adaptive normalization, скорочено SPADE): препринт статті, в якому вона описана, зараз доступний на arXiv.org. Така технологія якраз і працює на основі генеративно-змагальних нейромереж: навчена на великій кількості зображень, така система створює фотореалістичні текстури не всьому зображенню цілком, а деяким його частинам (якраз колірним начеркам). Це, на думку розробників, дозволяє ефективно полегшити і поліпшити процес «малювання».
Поки що додаток являє собою демоверсію: з текстур у ньому доступні тільки ті, які дозволяють створювати на основі начерків пейзажі. У статті, однак, вчені представляють також і результати роботи нейромережі в процесі створення об'єктів, тварин і людей.
Незабаром демоверсія розробки також повинна з'явитися як частина проекту компанії NVIDIA AI Playground: за допомогою нього будь-хто зможе випробувати цю та інші технології зі створення та обробки зображень у дії.