Нейромережа DALLE-2, як виявилося, створює сама для себе підказки, що допомагають перетворювати текст на зображення.
Спочатку ці слова здалися вченим тарабарщиною, проте потім виявилося, що нейромережа їх розуміє
Нейромережа DALLE-2, анонсована не так давно, вражає своїми здібностями. Так, вона здатна перетворити будь-який текст на відповідне зображення. Наприклад, ви описуєте з потрібними подробицями сцену, яку хочете отримати, а нейромережа сама створює малюнок. Виходить це у неї дуже професійно.
Нова мова нейромережі
Дослідники, які використовують штучний інтелект з машинним навчанням (ШІ), часто не знають точно, як їх алгоритми вирішують проблеми, з якими вони стикаються. Точно так само і з DALLE-2: вчені досі не розуміли, які процеси відбуваються всередині цієї «чорної скриньки». Розкривши їх тепер, дослідники прийшли до дивного висновку: для побудови зображень штучний інтелект створив власну мову.
Автори зауважили, що система DALLE-2, яка створює зображення на основі введеного тексту, за певних обставин повертатиме безглузді слова. Наприклад, зображення зі словом «літак» часто повертають якусь тарабарщину. Спочатку здавалося, що це порожній, але потім вчені дійшли висновку, що послідовність букв у повернених словах не випадкова.
Щоб перевірити це, вчені просто «згодували» нейромережі згенеровані їй раніше слова. Виявилося, що ці набори букв і правда мають значення для програми, причому вони означають те ж, що і раніше було введено в систему. Це може означати, що нейромережа навіщось перетворює людські слова на свої, щоб потім на їх основі простіше згенерувати зображення.