Американські дослідили алгоритм, що дозволяє визначати за згенерованим нейромережею зображення деякі параметри нейромережі, яка його створила. Аналізуючи особливості зображення, він визначає архітектуру нейромережі та функцію втрат, використану під час навчання, що дозволяє розрізняти зображення, створені різними людьми або організаціями, розповідають автори в блозі Facebook AI та статті на arXiv.org.
В останні роки нейросетеві алгоритми для створення зображень досягли такої якості, що, наприклад, можуть створювати фотографії людей, які практично неможливо відрізнити від справжніх. Разом з алгоритмами синтезу мовлення та текстів вони являють собою відмінний інструмент для створення ботів зловмисниками. Розвиток алгоритмів у цій галузі йде за принципом щита і меча: одні дослідники вдосконалюють алгоритми генерації фейкових зображень, а інші вчать алгоритми розпізнавати фейки за дрібними деталями, наприклад, відображеннями в очах. Але поки алгоритми розпізнавання штучних фотографій можуть лише визначати сам факт підробки.
Дослідники з Університету штату Мічиган і Facebook під керівництвом Сяоміна Лю (Xiaoming Liu) створили алгоритм, що розпізнає тип нейромережі, якій створили фейкове зображення, що може допомогти пов'язувати різні фейки в мережі між собою і відстежувати діяльність зловмисників.
Алгоритм складається з двох основних частин: модуля, що обчислює унікальні «відбитки» нейросетевої моделі за фотографією, і модуля, який за цими відбитками пророкує архітектуру і використану функцію втрат.
Модуль-обчислювач «відбитків» приймає на вхід зображення, а на виході створює зображення з такою ж роздільною здатністю, але на ньому вже не відображений вихідний контент, а закодований «відбиток». Для цього він проводить дискретне перетворення Фур'є і потім проводить з його результатом кілька інших операцій, що дозволяє збільшити різність «відбитка», наприклад, відфільтровує низькочастотну складову результату перетворення. У результаті модуль створює на основі згенерованого нейромережею зображення патерн, унікальний для цієї нейромережі.
«Відбиток» передається на модуль визначення нейромережі. Він навчений визначати 15 основних параметрів нейромережі, таких як кількість шарів і блоків, а також вісім типів функцій втрат. Він складається з трьох класифікаторів для дискретних параметрів і одного для безперервних.
Дослідники відібрали 100 популярних нейромереж для створення штучних зображень трьох типів: осіб, звичайних об'єктів (будинки, автомобілі, пейзажі тощо) та рукописних цифр. Нейромережі також розрізнялися за типами: 81 генеративно-змагальна (GAN), 13 варіаційних автокодувальників (VAE) і шість моделей для змагальних атак (AA). Їх навчали на популярних відкритих датасетах, таких як ImceNet і MNIST. Для кожної моделі дослідники відібрали по тисячі зображень.
Автори зазначають, що оскільки це перша подібна робота, у них не було класичного для робіт з машинного навчання базового результату, з яким порівнюють роботу нового алгоритму. Замість цього вони порівнювали результати роботи алгоритму - 23-мірний вектор (15 параметрів і 8 функцій втрат) - з випадковими 23-мірними векторами. У результаті новий алгоритм показав помітно велику точність:
Знання архітектури нейромережі може допомогти використовувати її в інших цілях. У 2018 році дослідники з Google Brain показали, як можна модифікувати вхідне зображення таким чином, щоб нейромережа, що розпізнає тварин, розпізнавала цифри без необхідності в будь-якому перенавчанні.