Можливість контролю над думками в тому чи іншому вигляді широко використовувалася авторами численних фантастичних романів. Але віднедавна візуалізація мислених образів перестала ставитися до сфери фантастики.
На початку 2000-х років за допомогою фМРТ були зроблені перші спроби «зворотної ретинотопії» (ретинотопія - це впорядкована проекція сітківки на зоровій зоні кори головного мозку). Спочатку спроби були досить боязкими: випробовуваним показували зображення і одночасно знімали дані про активність різних областей мозку за допомогою фМРТ. Набравши необхідну статистику, дослідники пробували вирішити зворотне завдання - по карті активності мозку вгадати, на що дивиться людина.
На простих картинках, де основну роль грала просторова орієнтація, розташування предметів або їх категорія, все цілком працювало, але до «технічної телепатії» було ще дуже далеко. Але ось у 2008 році вчені з Інституту нейронаук Каліфорнійського університету в Берклі під керівництвом професора психології Джека Гелланта спробували виконати такий фокус з фотографіями. Вони розділили область мозку на невеликі елементи - воксели (елементи об'ємного зображення) - і відстежували їх активність у той час, коли випробовуваним (в їх ролі виступили два автори роботи) показували 1750 різних фотографій.
Вдала комбінація
Оскільки фМРТ забезпечує гарну просторову роздільну здатність і не дуже гарну тимчасову, а ЕЕГ - навпаки, для вивчення патерів активності мозку логічно використовувати поєднання цих методів. Японські вчені в роботі з «підглядання сну» вчинили саме так: за допомогою ЕЕГ відстежувалися фази, коли випробовувані бачили сни, а за допомогою фМРТ записувалася активність різних областей мозку.
На основі цих даних вчені побудували комп'ютерну модель, яку «навчили», показавши 1000 інших фотографій і отримавши на виході 1000 різних паттерів активації вокселів. Виявилося, що показуючи ці ж 1000 фотографій випробовуваним і порівнюючи паттерни з їх мозку з передбаченими комп'ютером, можна з досить високою точністю (до 82%) визначити, на яку саме фотографію дивиться людина.
Рушійні зображення
У 2011 році колектив дослідників під керівництвом того ж професора Гелланта з Каліфорнійського університету в Берклі домігся значно цікавіших результатів. Показуючи випробовуваним «тренувальні» уривки з кінофільмів загальною тривалістю 7200 секунд, вчені вивчали активність безлічі вокселів мозку за допомогою фМРТ. Але тут вони зіткнулися з серйозною проблемою: фМРТ реагує на поглинання кисню тканинами мозку - гемодинаміку, яка є значно повільнішим процесом, ніж зміна нервових сигналів. Для дослідження реакції на нерухомі зображення це не відіграє особливої ролі - фотографію можна показувати кілька секунд, а ось з динамічними відеороликами виникають серйозні проблеми. Тому вчені створили двоступеневу модель, яка пов'язує повільну гемодинаміку і швидкі нейронні процеси зорового сприйняття.
Побудувавши початкову комп'ютерну модель «відгуку» мозку на різні відео, дослідники навчили її за допомогою 18 млн односекундних відеороликів, випадково обраних на. Потім піддослідним показували «тестові» фільми (відмінні від «тренувальних»), вивчаючи активність мозку за допомогою фМРТ, і комп'ютер вибирав з цих 18 млн сотню роликів, які викликали найбільш близький патерн активності, після чого усереднював зображення на цих роликах і видавав «середній результат». Кореляція (збіг) між зображенням, яке бачить людина, і тим, яке згенеровано комп'ютером, склала близько 30%. Але для першого «читання думок» це дуже непоганий результат.
Сон в руку
Але досягнення японських дослідників з Лабораторії нейронаук Інституту телекомунікаційних досліджень в Кіото, Інституту науки і технології в Нарі і Національного інституту інформації та комунікаційних технологій в Кіото видається набагато більш значним. У травні 2013 року вони опублікували в журналі Science роботу «Нейронне декодування зорових зображень під час сну». Так, вчені навчилися бачити сни. Точніше, не бачити, а підглядати!
Існує кілька способів «подивитися», що відбувається в мозку живої людини. Електроенцефалографія (ЕЕГ) використовує вимірювання слабких електричних потенціалів на поверхні шкіри голови, а магнітоенцефалографія (МЕГ) реєструє дуже слабкі магнітні поля. Ці методи дозволяють відстежувати сумарну електричну активність мозку з високою тимчасовою роздільною здатністю (одиниці мілісекунд). Позитронно-емісійна томографія (ПЕТ) дозволяє побачити активність окремих областей працюючого мозку, відстежуючи заздалегідь введені речовини, що містять радіоактивні ізотопи. Метод функціональної магніторезонансної томографії (фМРТ) заснований на тому, що оксигемоглобін у складі крові, що несе кисень до тканин, за своїми магнітними властивостями відрізняється від дезоксигемоглобіну, що вже віддав кисень. За допомогою фМРТ можна побачити активні області мозку, що поглинають кисень. Просторова роздільна здатність цього методу становить міліметри, а тимчасова - близько часток секунд.
Записуючи за допомогою фМРТ сигнали активності мозку, трьох випробовуваних будили (близько 200 разів) на стадіях неглибокого сну і просили описати зміст останнього сновидіння. Зі звітів виділяли ключові категорії, які за допомогою лексичної бази даних WordNet об'єднували в групи семантично близьких термінів (синсети), організовані в ієрархічні структури. Дані фМРТ (за дев'ять секунд перед пробудженням) відсортували за синсетами. Для тренування моделі розпізнавання пильним випробовуваним показували зображення з бази ImceNet, що відповідають синсетам, і вивчали карту активності мозку в зоровій корі. Після цього комп'ютер виявився здатним за активністю різних областей мозку передбачати з імовірністю 60 − 70%, що саме бачить людина уві сні. Це, до речі, свідчить про те, що людина бачить сни за допомогою тих же областей зорової кори, які використовуються для звичайного зору в пильному стані. Ось тільки чому ми взагалі бачимо сни, вчені поки сказати не можуть.