Projekt „EEG2Text” rozwijany przez członków Koła Naukowego Neuron działającego na Wydziale Informatyki i Telekomunikacji Politechniki Wrocławskiej wraz z Tymonem Dropem – tegorocznym maturzystą – zakwalifikował się do krajowego finału programu Red Bull Basement 2026. System mógłby w przyszłości umożliwiać komunikację osobom, które utraciły możliwość mówienia lub wykonywania ruchów.

Technologia opiera się na elektroencefalografii (EEG), czyli nieinwazyjnej metodzie rejestrowania aktywności elektrycznej mózgu za pomocą elektrod umieszczonych na głowie. Zebrane sygnały są następnie analizowane przez algorytmy AI, które próbują rozpoznawać określone wzorce aktywności mózgu i przekładać je na tekst lub cyfrowe komendy.

Sygnał odpowiadający konkretnej myśli jest w aktywności mózgu niezwykle subtelny — przypomina „elektryczny szept” ukryty w ogromnym szumie innych procesów zachodzących w mózgu.

– Zadaniem AI jest odfiltrowanie tego informacyjnego chaosu i odnalezienie wzorców, których człowiek nie byłby w stanie zauważyć na wykresie EEG – tłumaczy Kamil Wróbel z KN Neuron.

Rozwiązania należą do obszaru tzw. interfejsów mózg–komputer (BCI, Brain-Computer Interface). Są to systemy umożliwiające komunikację między mózgiem a komputerem bez udziału mięśni czy ruchu ciała.

Choć badania nad tzw. imagined speech, czyli wyobrażoną mową, prowadzone są od lat, nadal pozostają jednym z najtrudniejszych problemów współczesnych badań nad EEG. – Temat nie jest bardzo popularny w obrębie BCI ze względu na ogromne wyzwanie odkodowania sygnału z myśli i relatywnie słabe wyniki – wytłumaczył w rozmowie z Nauka w Polsce Kamil Wróbel.

Jak zaznaczył, istnieją dziś dwa główne kierunki rozwoju takich technologii. Pierwszy zakłada bezpośrednie tłumaczenie myśli na tekst lub komendy. – Możemy próbować rozpoznawać pojedyncze fonemy, całe słowa albo znaczenie całych zdań. Każde z tych podejść ma inne zalety i ograniczenia – powiedział Wróbel.

Drugi kierunek, uznawany obecnie za bardziej realistyczny, polega na pośredniej komunikacji. Użytkownik sterowałby np. wirtualną klawiaturą za pomocą wyobrażonych ruchów dłoni lub innych intencji ruchowych, a system wspierany przez modele językowe AI podpowiadałby kolejne słowa podobnie jak autouzupełnianie tekstu w smartfonach.

Sygnały EEG związane z wyobrażaniem sobie ruchu — np. lewej lub prawej dłoni — są znacznie silniejsze i łatwiejsze do wykrycia niż sygnały odpowiadające abstrakcyjnym myślom czy słowom.

– Tutaj kluczowy byłby odpowiedni projekt interfejsu i wykorzystanie dużych modeli językowych, które pomagałyby użytkownikowi szybciej budować zdania – podkreślił badacz.

Zdaniem studentów największym problemem pozostaje jednak sama natura sygnału EEG. – Największym wyzwaniem jest bardzo niski stosunek sygnału do szumu. Mózg nieustannie generuje aktywność elektryczną związaną z emocjami, bodźcami zewnętrznymi czy procesami fizjologicznymi. W tym „chaosie” sygnał odpowiadający konkretnej myśli jest niezwykle subtelny – wyjaśnił Wróbel. Dodatkowym problemem jest to, że ludzie mogą w różny sposób „myśleć” o tym samym pojęciu.

– Jedna osoba będzie wyobrażała sobie obiekt, druga wypowie słowo w myślach, a trzecia wyobrazi sobie ruch języka potrzebny do jego artykulacji. Te niejednoznaczności sprawiają, że interpretacja sygnałów EEG staje się bardzo trudna – podkreślił badacz.

Naukowcy wyróżniają obecnie kilka głównych podejść analizowanych w badaniach nad EEG: mowę wewnętrzną (inner speech), wyobrażoną artykulację (imagined speech) oraz obrazy wizualne (visual imagery).

– Wizualizacja dobrze sprawdza się przy konkretnych obiektach, ale gorzej radzi sobie z pojęciami abstrakcyjnymi czy emocjami. Gdybym miał wskazać najbardziej obiecujący kierunek, postawiłbym na mowę wyobrażoną, choć nadal wymaga to dalszych badań – powiedział Wróbel.

Badacze zwracają uwagę, że współczesne systemy AI nie „czytają myśli” w dosłownym znaczeniu. Algorytmy próbują raczej rozpoznawać powtarzalne wzorce aktywności mózgu powiązane z określonymi intencjami użytkownika.

– Zakładamy, że istnieją pewne wspólne wzorce aktywności związane np. ze słowem „krzesło” czy „piłka”. Problem polega na tym, że są one bardzo słabe i różnią się między ludźmi – podkreślił badacz.

Jednym z największych wyzwań pozostaje tzw. generalizacja między użytkownikami. Model działający dobrze u jednej osoby często nie działa równie skutecznie u innej. – Za każdym razem czepek EEG zakładany jest minimalnie inaczej, co utrudnia znalezienie uniwersalnych wzorców nawet u tej samej osoby – wyjaśnił Wróbel.

Badacze porównują sygnały EEG do linii papilarnych — każdy człowiek ma własny, unikalny sposób „kodowania” myśli. Oznacza to, że system wymagałby wcześniejszej kalibracji dla każdego użytkownika. Każdy nowy użytkownik musiałby przejść proces uczenia systemu, podczas którego algorytm dostosowywałby się do specyfiki jego fal mózgowych.

Problemem pozostaje również brak dużych i ujednoliconych zbiorów danych EEG.– Większość publicznych baz danych różni się protokołem badania albo zawiera zbyt mało przykładów. Powstanie dużego, standaryzowanego zbioru danych mogłoby znacząco przyspieszyć rozwój badań – ocenił Wróbel.

Zespół testował już modele AI na publicznie dostępnych danych EEG i uzyskał obiecujące wyniki przy prostych zestawach znaków i obiektów. Studenci podkreślają jednak, że część publikowanych rezultatów może być zawyżona z powodu błędów metodologicznych, m.in. problemu tzw. wycieku danych (data leakage). – Wiele prac prezentuje bardzo optymistyczne wyniki, które nie zawsze przekładają się na rzeczywiste zastosowania – zaznaczył Wróbel.

Jak dodał, właśnie z powodu ograniczeń danych projekt „EEG2Text” został obecnie wstrzymany w części dotyczącej bezpośredniego odczytywania myśli. W kole rozwijane są natomiast bardziej realistyczne projekty pośredniej komunikacji, takie jak „BrainBoard”.

Studenci podkreślają jednocześnie, że wizja pełnego „czytania myśli” znana z filmów science fiction pozostaje bardzo odległa, szczególnie w przypadku metod nieinwazyjnych takich jak EEG.

– Jeśli mówimy o nieinwazyjnych metodach, do praktycznych zastosowań klinicznych wciąż jest bardzo daleko – ocenił Wróbel.

Mimo ograniczeń badacze podkreślają, że nawet częściowo skuteczne systemy komunikacji mogłyby w przyszłości znacząco poprawić jakość życia osób całkowicie pozbawionych możliwości mówienia lub ruchu.

Technologie rozwijane wokół interfejsów mózg–komputer mogą znaleźć zastosowanie także w sterowaniu protezami, rozpoznawaniu emocji czy systemach biometrycznych.

Nauka w Polsce

wl/ agt/