Нейромережа навчили малювати мультики за текстовим сценарієм

Американські вчені створили систему нейромереж, яка компілює короткі ролики з героями мультсеріалу «Флінстоуни» за текстовим описом.


Розробники з Інституту штучного інтелекту Аллена та Іллінойського університету створили систему CRAFT (Composition, Retrieval and Fusion Network), завдання якої - генерувати анімовану картинку за текстовим описом. За основу взяли мультсеріал «Флінстоуни». Тексти, доступні розумінню нейромережі, шаблонні: в них повинна бути описана обстановка (наприклад, кухня або вітальня) і перераховані персонажі та їхні дії (сидить, стоїть, йде, читає книгу, каже).

Нейромережі, що входять в систему CRAFT, навчали на 25 тисячах вручну оброблених роликів з мультсеріалу «Флінстоуни». Обробка полягала в розмітці кадрів (у кожному ролику їх було 75); вчені виділяли на них персонажів, фон і їхні дії. Система підбирає фрагменти з цієї бібліотеки, що підходять під текстовий опис, і компілює з них нові ролики. Іноді CRAFT помиляється - плутає дії або розгортає героїв не в той бік обличчям.

Препринт статті з описом системи CRAFT доступний в сховищі arXiv.org.

COM_SPPAGEBUILDER_NO_ITEMS_FOUND