Ізраїльські та японські дослідники розробили новий метод обману систем розпізнавання осіб, встановлених у громадських місцях, використовуючи маскування, непомітне для звичайних людей, у тому числі, наприклад, охорони. Нейросетева модель визначає області особи, які найсильніше впливають на результат розпізнавання, і в цифровому вигляді підбирає макіяж для цих областей, що допомагає обдурити систему, а потім цей же макіяж повторюють на справжньому обличчі. Випробування на 20 добровольцях показали, що метод знижує точність розпізнавання обличчя з 47,5 до 1,2 відсотка. Стаття доступна на arXiv.org.
По всьому світу в громадських місцях встановлені сотні мільйонів камер відеоспостереження, багато з яких підключені до систем розпізнавання облич. Дослідники шукають як способи підвищення їх точності, так і способи обману, які в свою чергу теж можна використовувати для вдосконалення алгоритмів розпізнавання. Є кілька підходів до обману систем розпізнавання облич у реальному світі (не в цифровому вигляді). Найочевидніший: використовувати той чи інший вид камуфляжу, що не дає алгоритмам розпізнати розташування ключових точок обличчя. Минулого року редактори N + 1 перевірили кілька видів камуфляжу на практиці і спробували обдурити систему розпізнавання облич FindFace. Є і більш специфічні методи, наприклад, засновані на змагальних атаках, що використовують одну з фундаментальних вразливостей нейросетевих алгоритмів. Вони дозволяють обманювати алгоритми розпізнавання облич за допомогою яскравих окулярів або зовсім не давати системі побачити людину в кадрі, тому що вона тримає в руках «кислотну» картинку.
Але обидва ці підходи обманюють лише комп'ютерні системи, при цьому привертаючи увагу людей. Дослідники під керівництвом Юваля Еловіци (Yuval Elovici) з Університету імені Бен-Гуріона розробили метод, який дозволяє обманювати алгоритми розпізнавання облич, не виділяючи їх з натовпу для людей. Їх алгоритм працює в кілька етапів і використовує дві моделі розпізнавання облич: власну одного типу (автори називають її сурогатною) і цільову (яку потрібно обдурити) іншого типу, з розрахунком на те, що підготовка на одній моделі дозволить обдурити й іншу. Спочатку він приймає деяку кількість фотографій атакуючої людини і випадкових людей тієї ж статі. Потім він за допомогою пропускання зображень через модель та інших маніпуляцій обчислює теплову карту, що показує, які області обличчя відіграють ключову роль при розпізнаванні.
Потім на основі теплової карти створюється зображення з нанесеним макіяжем і подається на розпізнавання на сурогатну модель. Ці кроки повторюються до моменту, коли модель не зможе коректно розпізнати обличчя. Після цього підбір макіяжу визнається успішним і його відтворюють в реальності, наносячи на обличчя.
Випробування проходили на 20 добровольцях і двох камерах, що знімають обличчя людей під різним кутом. Тести показали, що без макіяжу цільова модель коректно розпізнавала обличчя на 47,57 відсотка кадрів. З нанесеним макіяжем відсоток розпізнавання знизився до 1,22, при цьому для стороннього спостерігача цей макіяж практично непомітний. Також автори протестували випадковий макіяж, але він знизив точність лише до 33,73 відсотка, вказуючи на ефективність нового методу.
Дослідники також шукають методи захисту від систем розпізнавання облич у цифровому середовищі. Наприклад, вони пропонують замінювати справжні особи на фотографіях або відеороликах на дипфейки, щоб зберігати приватність.