Канадські дослідники створили нейромережу, яка допоможе зробити тривимірні зображення місцевості в комп'ютерній графіці більш реальними. Навчивши алгоритм, що працює за принципом породжуючих змагальних мереж, на знімках супутників поверхні Землі, зроблених NASA, вчені змогли відтворити висоту і текстуру реальних місцевостей. Стаття опублікована на сайті.
З розвитком технологій комп'ютерні ігри стають все краще, багато в чому завдяки натуральності використовуваної графіки. Ландшафти, наприклад, можуть максимально реально відображати справжні земні пейзажі, однак для цього найчастіше доводиться або створювати макети вручну, що витратно, або використовувати різні алгоритми, більшість з яких здатна відтворювати обмежену кількість «простих» місцевостей.
Автори нової роботи запропонували спосіб автоматичного створення ландшафтних структур на основі реальних зображень різних видів місцевості за допомогою нейромережі. Структура цієї нейромережі ґрунтується на роботі породжувальних змагальних мереж (generative adversarial network, коротко GAN), які складаються з двох частин: генератора об'єктів і дискримінатора, який порівнює створений об'єкт з навчальною вибіркою і повертає інформацію про те, наскільки він їй відповідає.
Для навчання нейромережі дослідники використовували зроблені NASA супутникові знімки роздільною здатністю 21600 10800 пікселів, що відображають поле висот і текстурну карту поверхні Землі. Вчені розбили знімки на квадратні сегменти розміром 512 ст.1512 і використовували їх в якості навчальної вибірки, за допомогою якої нейромережа навчилася відтворювати поле висот різних місцевостей, на які потім автоматично наносила відповідну текстуру.
Незважаючи на те, що робота нейромережі далека від ідеалу (дослідники відзначають, що вона не завжди накладає правильну текстуру), автори роботи сподіваються, що така технологія незабаром почне широко застосовуватися не тільки в комп'ютерних іграх, але і в інших напрямках, що використовують тривимірну графіку.
Про те, як дослідники використовують породжувальні змагальні мережі для маніпуляцій із зображеннями, ви можете прочитати в нашій замітці.