Розробники з підрозділу Google Magenta представили набір нейромережевих алгоритмів GrooVAE, призначений для створення реалістичних музичних партій на барабанах. Наприклад, один з алгоритмів приймає ритмічну мелодію, виконану на будь-якому інструменті, і створює на додаток до неї відповідну за звучанням партію на барабанах. Алгоритми доступні у вигляді плагінів для популярного музичного редактора Ableton Live, розповідають розробники в блозі Magenta. Стаття з описом проекту буде представлена на конференції ICML 2019.
Партію ударних інструментів у музичному творі з постійним ритмом можна розкласти на два компоненти: партитуру і грув. У випадку з грою на барабанах партитура описує те, які саме елементи ударної установки використовуються в ту чи іншу частку ритму. Грув же описує манеру виконання, в тому числі силу ударів і зміщення або подовження кожного конкретного удару щодо частки. Як правило, барабанщики можуть на підставі одного з цих двох компонентів підібрати другий.
Дослідники з групи Magenta у складі Google Brain створили нейромережеві алгоритми, здатні виконувати це завдання. Новий проект групи заснований на більш ранній розробці - рекуррентному варіаційному автокодувальнику. Він отримує музичну послідовність і перетворює її на високорівневе уявлення, а потім проводить перетворення цієї високорівневої вистави на реалістичну музику. Цей метод отримав досить велике поширення через те, що вхідний шар такої нейромережі має більшу розмірність, ніж проміжний шар, що змушує алгоритм знаходити загальні риси і кореляції в датасеті для навчання і завдяки цьому здатний стискати дані, зберігаючи їх суть.
Розробники зібрали для навчання алгоритм датасет, що складається з 13,5 годин гри барабанщиків на електронній ударній установці. Датасет складається з MIDI-нот, а також тимчасових інтервалів ударів і їх сил. Під час навчання алгоритм отримував тільки одну з двох частин даних (партитуру або грув) і завдяки цьому навчився передбачати загальне звучання справжньої музики з датасета.
Дослідники застосували цей принцип у кількох нейромережевих моделях для різних завдань. Дві основних моделі, Groove і Drumify, розробники реалізували у вигляді плагінів для популярного музичного редактора Ableton Live або у вигляді окремих додатків. Groove приймає на вхід партитуру і видає для неї грув. Цю модель дослідники також продемонстрували у вигляді браузерного додатку. Модель Drumify працює іншим чином. Вона приймає будь-який ритм і перетворює його на реалістичний запис гри на барабанах. Як приклад автори показали, як алгоритм створює барабанні партії на основі записів гри на бас-гітарі або музичному синтезаторі.
Раніше розробники з Magenta створювали інші нейромережеві алгоритми і музичні інструменти, доступні широкому колу людей. Наприклад, наприкінці 2018 року вони створили контролер, що дозволяє грати на фортепіано, використовуючи всього 8 кнопок замість 88. А незадовго до цього вони представили музичний синтезатор на основі алгоритму NSynth, що дозволяє створювати нові звуки, використовуючи характеристики звуків існуючих інструментів.