Дослідники з Індії та Нідерландів показали, що пісню, яку слухає людина, можна визначити за активністю її мозку. Вони провели експеримент, під час якого попередньо навчений алгоритм отримував невеликі фрагменти електроенцефалограми людини, що слухає музику, і з точністю 85 відсотків визначав конкретну пісню, що звучить в навушниках. Стаття була представлена на конференції CODS COMAD 2021, а її препринт доступний на arXiv.org.
Пісня являє собою послідовність даних, яку в свою чергу можна описати як набір послідовностей: ударів барабанів і тарілок, акордів гітари і так далі. Таким чином, навіть якщо в даних будуть спотворення, наприклад, гучні шуми на тлі, пісню все одно можна розпізнати за характерними послідовностями. Завдяки цьому ми, а з недавнього часу і комп'ютери, можемо дізнатися пісню навіть у зміненому вигляді - напіт або навіть насвистаному.
При отриманні органами почуттів стимулу в мозку виникає відповідна активність, причому специфічна для різних його відділів. Вчені під керівництвом Дерека Ломаса (Derek Lomas) з Делфтського технічного університету вирішили перевірити, чи можна використовувати послідовність активності мозку для відновлення послідовності вхідних стимулів, в даному випадку - музичних композицій. Вони використовували для збору даних електоенцефалографічний шолом з 128 електродами.
Спочатку дослідники розбивали дані з ЕЕГ на фрагменти або «вікна» тривалістю в секунду і отримували матриці типу «електрод - активність за проміжок часу». Потім вони перетворили вихідні сигнали з тимчасової на частотну область за допомогою функції spectopo з пакета EEGLAB. Вона розраховує амплітуду кожного частотного компонента даних односекундного вікна. В результаті автори отримали спектр сигналу ЕЕГ з розмірністю 126 на 128, який зручно використовувати для подальшого аналізу. Після попередньої обробки дані подаються спочатку на тришарову згорточну нейромережу для виділення ознак, а потім на двошарову щільну нейромережу для класифікації пісень.
Для збору датасета вчені запросили 20 добровольців. Кожен з них по черзі з перервами слухав 12 пісень із заплющеними очима в кімнаті зі слабким освітленням (щоб мінімізувати вплив інших органів почуттів). Нейромережа навчили на цих даних і перевірили результати. Точність розпізнавання виявилася рівною 84,96 відсотка. При цьому алгоритм працював тільки з даними для конкретної людини. При розпізнаванні пісень за даними різних людей точність впала до 7,73 відсотка.
Активність мозку також нерідко використовують для розпізнавання мови - власної або прослуховуваної.