Система адаптивного круїз-контролю Tesla Autopilot може некоректно розпізнавати точки на асфальті, приймати їх за елементи дорожньої розмітки і згортати, щоб не перетинати неіснуючу лінію розмітки, в тому числі виїжджаючи на зустрічну смугу, з'ясували дослідники в області інформаційної безпеки з китайської компанії Tencent. Крім того, дослідникам вдалося активувати склоочисник автомобіля, показавши його камері спеціальні зображення, а також отримати віддалений доступ до бортового комп'ютера і керувати поворотом за допомогою ігрового геймпаду, розповідають дослідники в блозі Tencent Keen Security Lab. Крім того, автори опублікували статтю з докладним описом експериментів.
На сьогоднішній день у багатьох системах комп'ютерного зору застосовуються нейросетеві алгоритми, що показують високу точність розпізнавання об'єктів різних класів. Однак у застосування нейромереж для роботи із зображеннями є і недоліки, зокрема, багато дослідників з цієї області звертають увагу на вразливість нейромереж до змагальних прикладів (adversarial examples). Ці приклади - це вхідні дані, які спеціально модифіковані таким чином, щоб змусити нейромережу некоректно розпізнати об'єкт на них. Особливість цих даних також полягає в тому, що, як правило, для людини вони або практично невідгукнуті від нормальних даних, або навпаки - являють собою хаотичний набір пікселів, в якому людина не розпізнав би конкретний образ.
Загроза змагальних прикладів може здаватися досить малою, тим більше, якщо враховувати, що зазвичай вони працюють в обмеженому діапазоні умов. Проте багато дослідників вважають цю загрозу реальною і серйозною, тому що алгоритми комп'ютерного зору застосовуються в багатьох сферах, в тому числі і відповідальних, таких як безпілотний транспорт для перевезення людей. Дослідники з китайської компанії Tencent перевірили систему автоматизованого водіння Tesla Autopilot на її вразливість до змагальних прикладів, і виявили її некоректну поведінку в деяких умовах.
У своєму дослідженні фахівці вибрали не стандартний підхід, при якому алгоритм отримує модифіковані дані в цифровому вигляді, а вирішили наблизити ситуацію до реальності і створювали змагальні приклади в реальному світі, які потім автомобіль сприймав через камери. Дослідники використовували автомобіль Tesla Model S 75 з апаратним забезпеченням версії Autopilot 2.5 і програмним забезпеченням версії 2018.6.1. Варто зазначити, що система Autopilot в автомобілях Tesla не є повністю автономною і вимагає від водія тримати руки на кермі і перехоплювати керування в складних ситуаціях, тому її прийнято класифікувати як систему автономного водіння другого рівня автономності за класифікацією SAE.
Автори досягли трьох основних результатів у своїй роботі. Головний з них - це обман системи розпізнавання розмітки. Дослідники провели два типи експериментів і змогли як змусити алгоритми не розпізнавати існуючу лінію розмітки, так і виявляти неіснуючу. У першому випадку автори додавали до справжньої суцільної лінії розмітки білі пластирі, які розташовувалися нерівномірно. У такому випадку, залежно від розташування наклейок, автомобіль міг бачити частину смуги або не бачити її зовсім. При цьому дослідники відзначають, що в реальному житті водій навряд чи б не помітив таку незвичайну розмітку.
Другий експеримент показав більш небезпечну вразливість. У ньому дослідники нанесли на асфальт три квадратні наклейки, вибудувані в лінію таким чином, що ця віртуальна лінія проходить діагонально поточною смугою руху. Під час експерименту алгоритм розпізнавання розмітки прийняв ці квадрати за лінію і, проігнорувавши ліву лінію розмітки, звернув на зустрічну смугу руху.
Крім того, автори показали, що спеціальні змагальні зображення, що показуються на моніторі перед автомобілем, можуть змусити його вмикати склоочисник. Такий ефект обумовлений тим, що у Tesla Model S є функція розпізнавання дощу за зображенням з камери, і змагальні приклади змушують алгоритм виявляти таку погоду на даних з камери. Цей експеримент автори також повторили в цифровому вигляді, модифікуючи вхідні дані з камери без застосування зовнішнього монітора. Нарешті, в останньому експерименті автори показали, як вразливість у програмному забезпеченні Tesla дозволяє зловмисникам отримати доступ до управління кутом повороту керма і керувати ним за допомогою ігрового контролера. Варто відзначити, що ця вразливість вже усунена в актуальній версії програмного забезпечення автомобілів Tesla.
Автори зазначають, що Tesla відповіла на висновки їх дослідження. У випадку з включенням щіток склоочисника компанія заявила, що використання монітора прямо перед автомобілем не є реальним сценарієм, який може бути застосований на практиці. Аналогічним чином фахівці компанії відповіли на звинувачення в некоректному розпізнаванні розмітки, відповівши, що водій повинен бути завжди готовий перехопити управління у системи автопілота, скориставшись кермом або педаллю гальма.
Раніше власники Tesla вже стикалися з проблемами розпізнавання розмітки системою Autopilot. Наприклад, минулого року після смертельної аварії за участю Tesla Model X власники інших автомобілів Tesla відтворили некоректну роботу системи Autopilot, про яку говорили родичі загиблого. Їхні експерименти показали, що в деяких випадках система може некоректно інтерпретувати частково стерту лінію розмітки і направити автомобіль у бар'єрну огорожу.