Американські інженери розробили нову версію алгоритму Dex-Net, що дозволяє роботам з маніпуляторами хапати предмети з високою точністю. З новим алгоритмом робот може вибирати відповідну руку, використовувати захоплення різних типів і підбирати оптимальний інструмент під конкретний об'єкт. Експерименти показали, що при розборі кошика з 25 незнайомими предметами точність захоплення становить 95 відсотків, розповідають автори статті, опублікованої в.
Захоплення предметів - це один з найбільш розвиваних напрямків сучасної робототехніки. Багато в чому це пов'язано з тим, що це завдання дуже часто зустрічається в промисловості або логістиці. Наприклад, через склади великих онлайн-магазинів постійно проходить безліч товарів самої різної форми, розміру і маси. Один з найбільших у світі онлайн-магазинів Amazon до 2018 року проводив змагання серед розробників роботів, чиї напрацювання можуть стати в нагоді компанії для сортування замовлень без участі людей.
Група інженерів з Каліфорнійського університету в Берклі під керівництвом Кена Голдберга (Ken Goldberg) займається цією проблемою вже кілька років і в 2017 році вони представили першу версію нейромережевого алгоритму і датасета Dex-Net. В якості архітектури Dex-Net використовує згорточну нейромережу, а в якості джерела даних - камеру глибини. Автори досить швидко створювали нові версії алгоритму, і в 2018 році вони представили Dex-Net 4.0, проте повноцінна стаття з його описом опублікована тільки зараз.
Головна відмінність від попередніх версій алгоритму - можливість використовувати одночасно захоплення різних типів. У своїй роботі автори зосередилися на захопленнях двох типів - вакуумній присосці і класичному захопленні двома стискуваними паралельними поверхнями. В якості апаратної платформи розробники вибрали промислового і дослідницького робота ABB YuMi.
Цього разу інженери вирішили використовувати для двох рук з різними захопленнями дві окремі нейромережі. Кожна з них отримує дані з камери глибини, розпізнає об'єкти перед собою і розраховує для кожного об'єкта таку точку захоплення, яка з найбільшою ймовірністю призведе до якісного утримання. Під таким захопленням автори розуміють ситуацію, за якої робот може не тільки підняти предмет, а й не роняти його за наявності невеликих зовнішніх впливів. Перед початком роботи робот вибирає захоплення, для якого була розрахована найбільша ймовірність, а потім бере предмет і перекладає його в інший кошик.
Розробники навчили робота на його віртуальному аналозі, створивши датасет, що складається з п'яти мільйонів захоплень 1664 різних предметів. Крім того, частина навчених моделей також отримували дані про реальні захоплення, отримані під час попередніх експериментів. Після навчання інженери провели випробування алгоритму на реальному роботі і незнайомих йому об'єктах. При захопленні складних повсякденних об'єктів, таких як інструменти та упаковки складної форми, надійність захоплення склала 95 відсотків, а швидкість - 312 захоплень на годину.
У 2017 році компанія RáHand Robotics представила нове захоплення для робоманіпуляторів, яке одночасно оснащене як трьома пальцями, так і присоскою, завдяки чому надійність захоплення підвищується порівняно з використанням інструменту одного типу. А в 2018 році австралійські розробники, які перемогли в конкурсі Amazon Picking Challenge 2017, створили алгоритм для роботів, що дозволяє їм захоплювати нерухомі об'єкти з високою точністю. Тести показали, що робот успішно справляється із захопленням побутових предметів у 88 відсотках випадків