Розробники навчилися маніпулювати предметами на відеозаписі

Американські розробники навчилися маніпулювати об'єктами на відеозаписі. У повідомленні прес-служби Массачусетського Технолгічного Інституту (MIT) наголошується, що метод не вимагає додаткового обладнання і для імітації руху предметів використовує звичайні дані відеопотоку. Алгоритм для «правдоподібної маніпуляції об'єктами на відео» був описаний Фредом Дюраном (Fredo Durand) і його колегами в статті, опублікованій журналом ще в листопаді 2015 р. У ній автори вказують, що більшість підходів до цього завдання засновані на створенні 3D-моделей предметів - завданні складній і вимогливій до ресурсів. У той же час, для цілком правдоподібної імітації руху можна обійтися набагато більш простими засобами, використовуючи дані самого відеопотоку. Багато предметів у природничих умовах злегка - часто непомітно оку - вібрують під дією різних зовнішніх факторів, будь то вітер, протяг або тряска машин, що проїжджають поруч. Сліди цих коливань зберігаються на відеозаписах, і раніше Дюран з колегами навчилися їх розпізнавати і «посилювати». Вони дозволяють виділити об'єкт на тлі і оцінити частоту та амплітуду коливань різних його частин, а потім використовувати ці дані для емуляції рухів без попереднього 3D-сканування і побудови 3D-моделі.


Демонструючи можливості алгоритму «Інтерактивного динамічного відео» (Interactive Dynamic Video, IDV), автори показали, що для його роботи достатньо декількох секунд відеозапису невеликого і простого об'єкта (такого, як фігурка людини), або хвилин - для предметів складніше (наприклад, куща). «На відміну від популярної гри Pokemon Go, де віртуальні герої просто поміщаються в реальне оточення, IDV йде на крок далі, безпосередньо дозволяючи віртуальним об'єктам (включаючи покемонів) взаємодіяти з середовищем специфічним і реалістичним чином, наприклад, коливання листя сусіднього куща», - пише прес-служба MIT.


COM_SPPAGEBUILDER_NO_ITEMS_FOUND