Іспанські дослідники навчили алгоритм комп'ютерного зору сприймати трюки ілюзіоніста з монеткою так само, як це робить людина. Для цього вони попросили професійного ілюзіоніста показати кілька фокусів глядачеві і алгоритму розпізнавання на основі DeepLabCut, який використовуються для трекінгу лабораторних тварин. Два з семи показаних трюків змогли успішно обдурити і людину, і комп'ютер, а результати роботи зможуть в майбутньому допомогти у вивченні сприйняття подібних фокусів глядачами, пишуть вчені в препринті на arXiv.org.
У магічних трюках, які показують ілюзіоністи, немає магії, весь успіх їх виконання зводиться до спритності рук. З іншого боку, справа також і в людському сприйнятті: дії ілюзіоніста покликані ввести глядача в оману, зігравши на його уважності і концентрації. Тому для тих, хто стежить за руками фокусника вкрай уважно, ніякої магії немає, а обман в деяких трюках можна легко виявити, якщо, наприклад, записати його виконання на відео і повільно програти.
Зрозуміло, зі сприйняттям таких трюків алгоритмами комп'ютерного зору ситуація трохи інша: по суті, комп'ютер звільнений від можливості бути ошуканим, і у випадку з ним те, наскільки добре він зможе розпізнати обман, залежить від якості його роботи. Перевірити, чи можна навчити подібний алгоритм дивитися на трюки ілюзіоністів як людина, вирішили дослідники під керівництвом Алекса Гомеза-Марина (Alex Gomez-Marin) з Інституту нейронаук в Аліканте (Іспанія).
Для цього вчені найняли професійного ілюзіоніста і попросили його показати сім простих візуальних трюків з монетками - без будь-яких вербальних доповнень, які можуть відвернути глядача і вплинути на успіх ілюзії. Трюки відрізнялися рухами руки ілюзіоніста, необхідними для зникнення монетки: так, в одній важливим було перетягування монетки по столу, а в іншому, наприклад, - її захоплення.
Всі трюки показали людям, а також алгоритму на основі DeepLabCut, який торік представили німецькі вчені: він використовується для автоматичного відстеження рухів лабораторних тварин і може навіть аналізувати рухи окремих частин їх тіла (наприклад, лап мишей). Завдання алгоритму полягало в тому, щоб в кінці кожного трюку визначити місце розташування монетки - точно те ж завдання стояло і перед учасниками дослідження.
Вчені порівняли результати людини і алгоритму і з'ясували, що обдурити їх обох вдалося тільки в двох випадках. Три трюки, які обманювали глядачів, алгоритм не обдурили - положення монетки він визначив. Також один трюк обдурив алгоритм, але не глядачів, а один - навпаки. Наприклад, четвертий трюк, в якому ілюзіоніст викладає монетки в ряд (його можна подивитися на відео), виявився простим для алгоритму, але зміг обдурити глядача, тому що увага останнього під час рухів була спрямована на руку, в якій ілюзіоніст спочатку тримав монетки, тому те, що фокусник кладе монетку іншою рукою, залишилося непоміченим. Так як у алгоритму, натренованого на відстеження монетки, немає проблем з тим, щоб стежити за двома руками відразу, обмануть він не був. З іншого боку, в шостому трюку - точно такому ж, як перший, але спеціально зробленому з помилкою - алгоритм, на відміну від глядача, не зумів розпізнати обман, так як підкинута монетка, мабуть, виявилася руба по відношенню до камери, що і викликало труднощі в розпізнаванні у комп'ютера, а не у людини.
Автори уточнюють, що їх не цікавила здатність алгоритму швидко розгадувати трюки ілюзіоніста. Швидше вони хотіли подивитися на те, чи можна змусити його дивитися на них так само, як дивиться звичайна людина, причому не та, яка прагне розгадати обман, а та, яка насправді сприймає трюк як якусь магію. Те, що в деяких випадках DeepLabCut насправді не змогла розпізнати обман точно так само, як і людина, значить, на думку вчених, що подібні алгоритми можна використовувати для аналізу людського сприйняття - якраз в ситуаціях, подібних трюкам ілюзіоністів.
Сучасні технології використовуються в ілюзіонізмі і поза дослідженнями. Наприклад, кілька років тому компанія Magic Lab використовувала для одного з трюків 24 квадрокоптери: прочитати про це ви можете тут.