Американські дослідники представили прототип системи, здатної створювати динамічну тривимірну модель із запису реального футбольного матчу і відображати цю модель в окулярах доповненої реальності. Правда, система поки відображає тільки гравців і не показує м'яч. Алгоритм був натренований на записах з гри FIFA, а його робота перевірена на роликах з YouTube, розповідають автори в статті, яка буде представлена на конференції CVPR 2018.
Для розвитку технології доповненої реальності пропонують безліч застосувань. Наприклад, з її допомогою можна створювати повністю віртуальні об'єкти, розміщені в реальному світі, а можна відображати модель реальної людини і проводити з нею реалістичну відеоконференцію. Крім того, подібним чином пропонується транслювати події, в тому числі і спортивні заходи. Одна з головних проблем, що стоять перед цією технологією, полягає в складності створення об'ємної моделі безлічі об'єктів, що рухаються, але деякі розробки в цій області вже є. Наприклад, у Intel є система, що дозволяє в реальному часі створювати модель всіх об'єктів на спортивному заході, але вона використовує кілька десятків дорогих камер з роздільною здатністю 5K, які необхідно попередньо розставити по стадіону.
Дослідники під керівництвом Стіва Зайца (Steve Seitz) з Вашингтонського університету і Google розробили свою систему, що перетворює записи реальних футбольних матчів на модель, яку можна відображати на столі або іншій поверхні через окуляри доповненої реальності. В основі системи лежить алгоритм, здатний створювати карту глибини з одного кадру. Дослідники самостійно зібрали датасет для навчання алгоритму за допомогою футбольного симулятора FIFA. Вони перехоплювали звернення движку гри до відеокарти і за рахунок цього отримували кадри гри з даними про колір і глибину, а потім поділяли їх на зображення окремих гравців. В результаті автори отримали 12 тисяч пар типу зображення-глибина для тренування алгоритму.
Розробники вибрали згорточну нейромережу як алгоритм для створення динамічної об'ємної моделі з почесного відеозапису футбольного матчу. Для кожного кадру алгоритм спочатку обчислює напрямок камери, що знімає матч, потім виділяє гравців, створює просту модель їх скелета і визначає напрямок їх руху. Після цього нейромережа створює для кожного гравця карту глибини, яку потім можна використовувати для рендерингу. Розробники продемонстрували це на прикладі програми для шолома доповненої реальності Microsoft Hololens, який відображає модель футбольного поля з гравцями на столі або іншої рівної поверхні.
Один з головних недоліків алгоритму полягає в тому, що поки він працює тільки з зображеннями гравців, але не відстежує м'яч. Крім того, поки він досить вимогливий до ресурсів - на обробку одного кадру з роздільною здатністю 4K у дослідників йшло 15 секунд.
Незважаючи на те, що зазвичай доповнена реальність застосовується для розваг, як у випадку з новою роботою або AR-версією Super Mario Bros., у неї є і набагато більш серйозне застосування. Наприклад, існує кілька розробок, що дозволяють лікарям бачити 3D-модель органів своїх пацієнтів при плануванні операції або прямо під час неї.