Американський програміст створив програму, що дозволяє спілкуватися з голосовим помічником Alexa за допомогою жестової мови. Вона розпізнає жести за допомогою камери ноутбука і перетворює їх на голосові команди для помічника, а потім розпізнає відповіді помічника і виводить їх на екран в текстовому вигляді. На розробку звернув увагу блог prosthetic knowledge.
Багато технологічних компаній розглядають голосове управління в якості одного з основних способів взаємодії людини з розумним будинком та іншими пристроями. Голосові помічники встановлені в практично всіх сучасних смартфонах, але багато з них дозволяють давати команди і за допомогою клавіатури. Однак в останні кілька років стали досить популярними розумні колонки, в яких голосове введення - єдиний спосіб спілкування з пристроєм. Це досить зручно і дозволяє, наприклад, включати музику в кімнаті, не підходячи до мультимедійного центру, але використовувати такий інтерфейс можуть тільки люди без порушень слуху і мови.
Розробник зі США Абхішек Сінгх (Abhishek Singh) створив програмне забезпечення, яке виступає як посередник між глухою людиною і голосовим помічником Alexa. Програма запускається на ноутбуці і використовує вбудовану камеру для розпізнавання жестів американської жестової мови. За розпізнавання відповідає алгоритм глибокого навчання, реалізований за допомогою фреймворку TensorFlow.js, що дозволяє навчати і запускати нейромережеві моделі в браузері.
Користувач дає команди жорстовою мовою, а ноутбук у реальному часі розпізнає слова і вимовляє їх за допомогою системи синтезу мовлення, а також відображає на екрані. У цей же час колонка чує і розпізнає слова комп'ютера і через невеликий час відповідає голосом, який також розпізнається і виводиться на екран. Інтерфейс програми розділений на дві частини і оформлений як діалог користувача і голосового асистента:
Поки розробник не розкриває технічні подробиці реалізації алгоритму, але планує викласти вихідний код програми на GitHub.
Торік Сінгх представив незвичайний проект, що дозволяє зіграти в Super Mario Bros. у доповненій реальності. Він розробив на Unity AR-версію першого рівня гри і адаптував її для окулярів доповненої реальності Microsoft Hololens. Оскільки користувач не може застрибнути на віртуальний блок, геймплей гри зазнав змін, але багато можливостей повторюють оригінал. Наприклад, можна вдаряти по блоках, збирати монетки і тиснути гумб.