Розробники з NVIDIA створили гру, в якій за розрахунок структури ігрового світу відповідає ігровий движок, а рендеринг графіки виробляє нейромережа, навчена на безлічі відеозаписів реального світу. Розробка була представлена на конференції NIPS 2018, а її опис опубліковано на сайті компанії.
В останні кілька років безліч дослідницьких груп досягли великого успіху в області нейромережевого перенесення стилю і деталей між зображеннями. Наприклад, нейромережі вже вміють перетворювати намальовані портрети на реалістичні фотографії людей. Але на цьому дослідники не зупинилися і приступили до більш складного завдання - перенесення між відеороликами. Це завдання більш складне не просто тому, що нейромережі потрібно обробляти більший обсяг даних. Головна відмінність полягає в тому, що алгоритм повинен працювати не тільки з одним кадром, а відразу з кількома сусідніми, інакше підсумковий ролик буде «смиканим».
Влітку 2018 року група розробників з NVIDIA представила алгоритм vid2vid, здатний виконувати перенесення між відеороликами різних стилів, і при цьому створювати плавні переходи між кадрами підсумкового ролика. Алгоритм являє собою генеративно-змагальну нейромережу, що складається з генератора, що створює зображення, і дискримінатора, який прагне відрізнити створені генератором «підробки» від об'єктів з навчального датасета. Розробники створили кілька нейросетевих моделей і одну з них вони навчили перетворювати семантично сегментовані відеозаписи (на яких кожен кадр розбитий на області, що відповідають об'єктам певних класів) поїздок на автомобілі в реалістичні ролики. Більш детально про архітектуру та навчання алгоритму можна прочитати в окремій замітці.
У своїй новій розробці дослідники об'єднали алгоритм vid2vid з ігровим движком і створили на їх базі комп'ютерну гру. Як рушій вони вибрали Unreal Engine 4, що застосовується в багатьох популярних іграх. Під час роботи движок створює тривимірну модель віртуального світу, а користувач керує пересуванням автомобіля в цьому світі. При цьому оскільки всі об'єкти у віртуальному світі належать до суворо визначеного класу, розробники реалізували виведення семантично сегментованої послідовності кадрів. Після синтезу ця послідовність передається на нейромережу, яка перетворює її на досить реалістичний відеоролик, який вже відображається на екрані перед користувачем.
Наприкінці 2017 року дослідники з NVIDIA створили іншу генеративно-змагальну нейромережу для перенесення між відеороликами. Вони навчили її на даних різних типів і навчили виконувати різні завдання. Наприклад, алгоритм зміг перетворити запис зимової поїздки на автомобілю в поїздку по літніх дорогах, а також зумів змінити породу собак.