Dodano: 13 maja 2021r.

Nowy interfejs mózg-komputer zamienia myśli na tekst

Naukowcy opracowali interfejs mózg-komputer, który jest w stanie odczytać sygnały z mózgu ludzi myślących o pisaniu ręcznym i przetworzyć je na tekst wyświetlany na ekranie komputera. Zespół badaczy ma nadzieję, że ta technologia może zostać wykorzystana, aby ułatwić komunikację osobom sparaliżowanym.

Nowy interfejs mózg-komputer zamienia myśli na tekst

 

Zespół naukowców połączył oprogramowanie sztucznej inteligencji z wszczepionym do mózgu sparaliżowanego mężczyzny interfejsem mózg-komputer. Oprogramowanie było w stanie dekodować informacje z urządzenia i przekształcać myśli o odręcznym pisaniu na tekst pojawiający się na ekranie komputera. Opisując swoją pracę w piśmie „Nature”, autorzy badania przyznali, że ich urządzenie dokładnie konwertuje słowa z prędkością 90 znaków na minutę.

Pisanie za pomocą myśli

Kiedy uraz lub choroba pozbawia człowieka zdolności do poruszania się, aktywność neuronalna mózgu związana z chodzeniem, chwytaniem filiżanki kawy lub wypowiadaniem zdania pozostaje. Naukowcy mogą ją wykorzystać, aby pomóc osobom z paraliżem lub amputacją odzyskać przynajmniej część utraconych zdolności.

Wszystko zależy od rodzaju niepełnosprawności. Osoby, które straciły umiejętność posługiwania się rękami, mogą nadal korzystać z komputera z funkcją rozpoznawania mowy. Dla tych, którzy mają trudności z mówieniem, naukowcy opracowali inne sposoby porozumiewania się, jak chociażby systemy śledzące wzrok, które przekładają ruchy oczu na ruch kursora po ekranie komputera. W ten sposób osoby z poważnym upośledzeniem mowy mogą na klawiaturze wyświetlanej na ekranie wyrażać swoje myśli litera po literze. Jednak tworzenie tekstu lub syntetyzowanej mowy za pomocą takich urządzeń jest żmudne, podatne na błędy i boleśnie powolne.

W najnowszym badaniu uczonym udało się po raz pierwszy odszyfrować aktywność mózgu związaną z ręcznym pisaniem. Zespół skorzystał z algorytmów sztucznej inteligencji do zidentyfikowania sygnałów mózgowych pojawiających się, gdy uczestniczący w badaniu sparaliżowany mężczyzna z wczepionym wcześniej interfejsem mózg-komputer myślał o odręcznym pisaniu pojedynczych liter. Następnie system wyświetlał tekst na ekranie komputera w czasie rzeczywistym.

Implant wszczepiony w mózg

Taka technologia z pewnością pomogłaby dotkniętym paraliżem osobom na szybkie pisanie bez użycia rąk. W testach 65-letni uczestnik, który został sparaliżowany od szyi w dół po urazie rdzenia kręgowego w 2007 roku, był wstanie „pisać” 90 znaków na minutę. To dwukrotnie więcej niż w przypadku innych systemów wspomagania komunikacji.

Mężczyźnie w 2017 roku wszczepiono do części mózgu zwanej korą ruchową, która koordynuje ruch, dwa czujniki o wymiarach 4x4 mm wyposażone w 100 cieniutkich elektrod. Kora ruchowa kontroluje chociażby ruchy dłoni czy ramienia umożliwiające na przykład przesunięcie kursora na ekranie czy odręczne pisanie.

Wykorzystując sygnały odebrane przez czujniki z poszczególnych neuronów, gdy mężczyzna wyobrażał sobie ręczne pisanie, algorytm uczenia maszynowego poznawał wzory aktywności mózgowej odpowiadające pisaniu każdej litery. Jak się okazało, wyobrażanie sobie każdej litery wywołuje bardzo charakterystyczny wzorzec aktywności, co sprawia, że ​​algorytm stosunkowo łatwo je odróżnia.

18 słów na minutę

Sparaliżowany koncentrował się na próbie pisania pojedynczych liter alfabetu na wyimaginowanej kartce za pomocą wyimaginowanego pióra, pomimo niemożności poruszenia ręką. Powtarzał każdą literę 10 razy, pozwalając oprogramowaniu na „naukę” rozpoznawania sygnałów neuronowych związanych z jego wysiłkiem, aby napisać konkretną literę. Następnie, w wielogodzinnych sesjach mężczyzna otrzymywał polecenia, by pisać całe zdania. Z biegiem czasu algorytmy poprawiły swoją zdolność do rozróżniania wzorców neuronalnych, które charakteryzują różne znaki. W ten sposób system dostosował się do sparaliżowanego 65-latka i pozwolił mu na lepszą komunikacje ze światem.

- Takie podejście pozwoliło osobie z paraliżem na konstruowanie zdań z szybkością prawie porównywalną do pełnosprawnych dorosłych w tym samym wieku, piszących na smartfonie – powiedział dr Jaimie Henderson, współautor publikacji. - Naszym celem jest przywrócenie zdolności komunikowania się sparaliżowanym za pomocą tekstu - dodał.

Uczestnik badania tworzył tekst w tempie około 18 słów na minutę. Dla porównania, pełnosprawni ludzie w tym samym wieku potrafią wypisać około 23 słów na minutę na smartfonie. 65-latek poproszony o udzielenie odpowiedzi na pytania, które wymagały przerw do namysłu, wygenerował 73,8 znaków (średnio blisko 15 słów) na minutę.

- Dowiedzieliśmy się, że mózg zachowuje „pamięć” aktywności mózgowej związanej z ruchami przez całą dekadę po tym, jak organizm utracił zdolność wykonywania tych ruchów – powiedział dr Frank Willett, główny autor badań. - Dowiedzieliśmy się też, że skomplikowane zamierzone ruchy, obejmujące zmieniające się prędkości i zakrzywione trajektorie, takie jak pismo odręczne, mogą być łatwiej i szybciej zinterpretowane przez algorytmy sztucznej inteligencji, których używamy, niż prostsze zamierzone ruchy, takie jak przesuwanie kursora po prostej ścieżce ze stałą prędkością. Litery alfabetu różnią się od siebie, więc algorytmy mają łatwiej – dodał.

 

Źródło: Howard Hughes Medical Institute, fot. F. Willett et al./Nature 2021/Erika Woodrum