Інженери з дослідницького підрозділу компанії Toyota розробили м'які контактні майданчики, які можна використовувати зі звичайними паралельними робозахопленнями. Вони складаються з надувних камер з точками на внутрішній поверхні. При контакті з предметами поверхня викривляється, і робот з високою точністю визначає напрямок зміщення, а також дізнається предмети знайомих типів. Стаття про розробку опублікована на arXiv.org.
Класичний пристрій для взаємодії роботів з предметами - це паралельне захоплення. Він складається з двох паралельних пластин, які робот підносить до цікавого його предмета і зрушує. Зазвичай пластини роблять зі сталі, а силу стиснення відстежують безпосередньо датчиками тиску або за рівнем струму на моторах. Але для роботи з крихкими предметами або з людьми такі роботи непридатні, тому що можуть їх зашкодити.
Інженери з Дослідницького інституту Toyota під керівництвом Расса Тедрейка (Russ Tedrake) створили нове паралельне захоплення, здатне працювати з крихкими предметами і розпізнавати їх за допомогою зобов'язання. Захоплення складається з двох однакових пальців, розташованих друга навпроти друга. Головна частина пальців - це еластична латексна мембрана. Вона прикріплена до статевого корпусу, який трубкою приєднаний до датчика тиску.
Незважаючи на те, що захоплення може вимірювати зміну тиску при дотику до предметів, ці дані використовуються тільки для того, щоб визначити за різницею тисків, а також швидкості руху пальців, що відбулося стабільне захоплення двома пальцями. За розрахунок напрямок зсуву предмета вздовж мембрани і розпізнавання типу предмета відповідає камера. Вона розташована всередині пальця, в нижній його частині. Інженери використовували камеру глибини, що видає два потоки однакової роздільної здатності: карту глибини та інфрачервоний кадр.
Під час контакту камера допомагає розрахувати його характеристики з деформації мембрани. Але сама по собі мембрана гомогенна і однотонна, тому у вихідному вигляді вона не годиться для цього завдання. Розробники вирішили цю проблему за допомогою нанесених на внутрішню поверхню мембрани чорних точок, причому розташовані вони не у вигляді чіткої сітки, а в псевдопромінювальних положеннях, що дозволяє більш стабільно відстежувати зміщення точок.
При зміщенні предмета щодо мембрани зміщуються і положення точок на кадрі, тому за даними з камери можна легко і точно визначити напрямок зміщення, застосовуючи стандартні методи розрахунку оптичного потоку. Визначення зміщення дозволяє захопленню зрозуміти, що предмет з чимось зіткнувся. Автори продемонстрували це, показавши, як робот побудував вежу з чотирьох келихів, що стоять один на одному.
Також інженери використовували візуальну систему в пальцях для розпізнавання предметів. Вони використовували метод автоматичного навчання, при якому робот послідовно піднімав предмет і роняв його, після чого той падав випадковим чином. Завдяки цьому за кілька сотень хапань робот отримував дані про те, як виглядає предмет з різних сторін.
При контакті використовується нейромережа ResNet-18, яка отримує на вхід інфрачервоні кадри і карти глибини з обох пальців, а у відповідь видає клас об'єкта. Крім того, алгоритм дозволяє розпізнати положення предмета в руці. Автори показали потенційне застосування робота в побуті, навчивши його сортувати предмети в раковині: гуртки робот клав на стіл, а пляшки складав для здачі на переробку.
Торік інженери з MIT створили робота, який сортує сміття, визначаючи тип предмета на дотик, використовуючи для цього пальці з датчиками розтягнення і тиску.