Дослідники з OpenAI створили алгоритм, який вміє створювати правдоподібні тексти і відповідати на питання без специфікації необхідного завдання в процесі навчання. Єдине вміння GPT-2, навченого на восьми мільйонах текстових веб-сторінок, - передбачати подальше слово. Опис роботи алгоритму доступний на офіційному сайті проекту.
В останні роки машинне навчання все частіше і ефективніше застосовують у вирішенні завдань автоматичної обробки мови. Залежно від завдання архітектура навчаної моделі і датасети повинні бути різними, що може сильно обмежити їх можливості і ускладнити процес розробки.
Команда з OpenAI під керівництвом Алека Редфорда (Alec Radford) вирішила створити алгоритм, який би вмів вирішувати безліч різних завдань з обробки тексту без специфікації цих завдань при навчанні. Для цього дослідники зібрали датасет WebText, який містить 40 гігабайт тексту, взятого з восьми мільйонів сторінок в інтернеті. На відміну від більшості подібних датасетів, для яких беруться тексти з сайту Вікіпедії або ж виключно новинні нотатки, у WebText потрапили різні матеріали.
Автори стверджують, що єдина здатність їх алгоритму, - генерувати нові слова на підставі прочитаного. Порівняно просте вирішення завдання автоматичної обробки мови дозволило вченим створити алгоритм, який може не тільки дописувати уривки, представлені людьми, але також і писати есе на задані теми і новини на підставі заголовків.
У створеного алгоритму є і свої обмеження. Наприклад, найбільш вдалий приклад його роботи - есе на тему того, чому переробка сміття - це погано, вийшло переконливим тільки з 25 спроби, і при цьому все одно містило дрібні помилки на зразок необов'язкового повтору слів. Також серед недоліків алгоритму розробники відзначили семантичні труднощі і швидкі та часом недоречні зміни тем. При цьому тексти, які широко представлені в навчальній вибірці (наприклад, новинні нотатки) даються алгоритму краще: правдоподібні зразки він видає вже з другої спроби.
Також розробники випробували алгоритм на інших завданнях: відповіді на випадкові запитання, перекладі тексту та запитаннях на розуміння прочитаного. Незважаючи на це, що ефективність алгоритму для цих завдань значно нижче алгоритмів, налаштованих на певні завдання, GPT-2, наприклад, вдалося домогтися максимальної середньої точності при відповіді на питання в 63,5 відсотка. При цьому жодне з питань і відповідь на нього не були використані в навчальній вибірці. При цьому йому також вдалося перекласти кілька окремих слів і відповісти на більшість запитань щодо прочитаних текстів. Розробники вважають, що ефективність GPT-2 у виконанні цих завдань можна підвищити з розширенням датасета і збільшенням обчислювальної потужності комп'ютерів, який використовується для навчання.
Розробники не виклали програмний код навченої моделі цілком, побоюючись «недобросовісних використань»: замість цього вони надали спрощену модель для інших дослідників, а також описали виконану роботу в препринті.
Крім нового алгоритму, який виробляє правдоподібні текстові уривки, у OpenAI також є бот, який вміє грати в Dota 2: у 2017 році він виступив проти найсильніших гравців і переміг.