Dodano: 15 lipiec 2021r.

Sygnały z mózgu zamienione na słowa. Neuroproteza pomoże sparaliżowanym w komunikacji

Naukowcy z Uniwersytetu Kalifornijskiego w San Francisco opracowali neuroprotezę mowy, która umożliwiła sparaliżowanemu mężczyźnie komunikowanie się całymi zdaniami, przekładając sygnały z jego mózgu bezpośrednio na słowa, które pojawiają się jako tekst na ekranie.

Sygnały z mózgu zamienione na słowa. Neuroproteza pomoże sparaliżowanym w komunikacji

 

Uczeni pod kierunkiem neurochirurga Edwarda Changa z Uniwersytetu Kalifornijskiego w San Francisco (UCSF) od lat starają się opracować technologię, która pozwoliłaby osobom dotkniętym paraliżem i nie będącym w stanie mówić na swobodne komunikowanie się. W ubiegłym roku ukazały się badania zespołu dotyczące sztucznej inteligencji, która może w czasie rzeczywistym przekształcić aktywność mózgu na tekst, przy współczynniku błędów wynoszącym zaledwie 3 proc. (więcej na ten temat w tekście: Sztuczna inteligencja tłumaczy sygnały z mózgu na tekst). Najnowsze osiągnięcie zespołu Changa to system, który odczytuje sygnały elektryczne z obszarów mózgu, gdzie wytwarzana jest mowa i dekoduje je na słowa pojawiające się na ekranie monitora.

Podejście to było testowane u pełnosprawnych ochotników do rekonstrukcji wyimaginowanych zdań. Teraz badacze zastosowali swój system u sparaliżowanego mężczyzny, który stracił zdolność mówienia. Wyniki badań ukazały się na łamach pisma „New England Journal of Medicine” (DOI:10.1126/science.abl4521).

Tłumaczenie sygnałów z mózgu na mowę

Każdego roku tysiące ludzi traci zdolność mówienia z powodu udaru, wypadku lub choroby. Uczestnik niedawno opublikowanych badań ponad 15 lat temu doznał udaru, który pozostawił go z anartrią – niezdolnością do kontrolowania mięśni zaangażowanych w mowę. Ponieważ jego kończyny również zostały sparaliżowane, niespełna 40-letni mężczyzna komunikuje się, wybierając litery na ekranie za pomocą niewielkich ruchów głowy i wskaźnika przymocowanego do czapki, wytwarzając około pięciu słów na minutę. Pacjent zgodził się wziąć udział w projekcie BRAVO (Brain-Computer Interface Restoration Arm and Voice) i w badaniach był określany jako BRAVO1.

Aby umożliwić mu szybszą i bardziej naturalną komunikację, Chang przetestował podejście, które wykorzystuje algorytmy sztucznej inteligencji do interpretowania wzorców aktywności mózgu w obszarach zaangażowanym w produkcję mowy. Poprzez elektrody umieszczone na mózgu pacjenta, algorytmy uczyły się rozpoznawać wzorce aktywności mózgu związane z mową i z określonymi słowami.

Aby poprawić domysły algorytmu, naukowcy dodali komponent przetwarzania, który wykorzystuje typowe sekwencje słów do przewidywania prawdopodobnego następnego słowa w zdaniu. Dzięki takiemu podejściu system błędnie odczytał tylko około 25 proc. słów w zdaniu.

- Według naszej wiedzy jest to pierwsza udana demonstracja bezpośredniego dekodowania pełnych słów z aktywności mózgu osoby, która jest sparaliżowana i nie może mówić – powiedziała Chang.

Neuroproteza mowy

System opracowany przez zespół Changa oraz inne, podobne systemy, są postrzegane jako swoiste protezy mowy. Wcześniejsze prace skupiały się raczej na dekodowaniu sygnałów mózgowych pojawiających się, gdy pacjent sterował wirtualną klawiaturą wpisując litera po literze słowo, które chciał wypowiedzieć. Podejście zastosowane przez zespół Changa zasadniczo różni się od wcześniej stosowanych. Badacze skupili się na aktywności mózgu kontrolującej aparat mowy podczas wypowiadania słów. Według uczonych, to podejście jest bardziej naturalne i obiecuje szybkie postępy.

- Przy pomocy mowy zwykle przekazujemy informacje z bardzo dużą szybkością mieszczącą się w granicach 150 - 200 słów na minutę – przyznał Chang i dodał, że metody oparte na dekodowaniu sygnałów z mózgu podczas kontrolowania kursora myszy czy używania wirtualnej klawiatury przez sparaliżowanych są znacznie wolniejsze i bardziej pracochłonne. - Przejście prosto do słów ma ogromne zalety, ponieważ jest bliższe temu, jak zwykle mówimy – zaznaczył.

Postępu zespołu Changa w ciągu ostatniej dekady umożliwili pacjenci z Centrum Padaczki UCSF, którym wszczepiono elektrody na powierzchni mózgu, aby szukać przyczyny ich napadów. Pacjenci zgłaszali się na ochotnika do przeanalizowania ich sygnałów mózgowych pod kątem aktywności związanej z aparatem mowy. Żaden z nich nie stracił możliwości mówienia.

Niewiadome

Wcześniej Chang i współpracownicy mapowali wzorce aktywności mózgu związane z ruchami aparatu mowy podczas wytwarzania każdej spółgłoski i samogłoski. Aby przełożyć te odkrycia na rozpoznawanie pełnych słów, dr David Moses z zespołu Changa i jeden z głównych autorów publikacji, opracował nowe metody dekodowania w czasie rzeczywistym wzorców, by poprawić dokładność systemu. Coś jak autokorekta w programach tekstowych.

Jednak wcześniejsze sukcesy w dekodowaniu mowy u uczestników, którzy byli w stanie normalnie się komunikować, nie gwarantowały, że opracowana technologia zadziała u osoby, której aparat mowy jest sparaliżowany. - Nasze modele musiały nauczyć się mapowania między złożonymi wzorcami aktywności mózgu a zamierzoną mową – powiedział Moses.

Ponieważ bywa, że mózg z czasem reorganizuje się, nie było jasne, czy od lat nieużywane obszary produkcji mowy będą dawać możliwe do zinterpretowania sygnały po ponad 10 latach anartrii. - Najlepszym sposobem ustalenia, czy nasze podejście zadziała, było sprawdzenie tego w testach ze sparaliżowaną osobą — powiedział Moses.

Pierwsze 50 słów

Pacjent BRAVO1 wraz z naukowcami najpierw stworzyli słownik złożony z 50 wyrazów, które zespół Changa mógł rozpoznać na podstawie aktywności mózgu za pomocą zaawansowanych algorytmów komputerowych. Słownictwo – zawierające takie słowa jak „woda”, „rodzina” czy „dobry” – wystarczyło do stworzenia setek zdań wyrażających pojęcia mające zastosowanie w codziennym życiu BRAVO1.

Badacze wielokrotnie prezentowali na ekranie jedno z 50 słów i prosili mężczyznę, aby spróbował wypowiedzieć je na zawołanie. Następnie mężczyzna próbował wypowiadać zdania zbudowane z tego samego zestawu słów - np. „Przynieś moje okulary, proszę”. Kiedy BRAVO1 próbował mówić, algorytmy rozróżniały subtelne wzorce aktywności mózgu, aby wykrywać próby komunikacji i identyfikować słowa, które próbował wypowiedzieć.

Po 48 sesjach i 22 godzinach mapowania aktywności mózgu mężczyzna mógł tworzyć zdania z szybkością do 18 słów na minutę. System dekodował aktywność mózgu ze średnią dokładnością 75 proc.

- Byliśmy podekscytowani, widząc dokładne dekodowanie różnych zdań. Wykazaliśmy, że rzeczywiście można w ten sposób ułatwić komunikację sparaliżowanym – powiedział Moses.

18 słów na minutę to prędkość porównywalna z tą osiągniętą za pomocą zaprezentowanego w kwietniu tego roku na łamach „Nature” interfejsu mózg-komputer. Opisany w publikacji system dekodował poszczególne litery z aktywności mózgowej, gdy sparaliżowana osoba wyobrażała sobie, że każde słowo pisze ręcznie (więcej na ten temat w tekście: Nowy interfejs mózg-komputer zamienia myśli na tekst). Te szybkości wciąż są dalekie od przekazywania myśli za pomocą mowy, ale znacznie przekraczają to, co sparaliżowana osoba może osiągnąć za pomocą wirtualnej klawiatury czy sterowania kursorem przy pomocy oczu czy ruchów głową.

Opracowany przez zespół Changa system nie jest jeszcze gotowy do użytku w życiu codziennym. Przyszłe badania obejmą rozszerzenie repertuaru słów i uczynienie systemu bezprzewodowym, aby użytkownik nie był przywiązany do komputera.

 

Źródło i fot.: UCSF