Z napredkom elektronike in nevroznanosti je raziskovalcem uspelo doseči izjemne stvari z napravami za vsaditev možganov, na primer, da se slepim povrne videz vida. Poleg obnovitve fizičnih čutov znanstveniki iščejo tudi inovativne načine za lažjo komunikacijo za tiste, ki so izgubili sposobnost govora. Nov „dekoder“, ki na primer prejema podatke iz elektrod, ki so implantirane znotraj lobanje, lahko pomaga paraliziranim pacientom, da govorijo samo z mislijo.
Raziskovalci iz kalifornijske univerze v San Franciscu (UCSF) so razvili dvostopenjsko metodo za pretvorbo možganskih signalov v računalniško sintetiziran govor. Njihovi rezultati, objavljeni ta teden v znanstveni reviji Nature, omogočajo pot do bolj tekoče komunikacije za ljudi, ki so izgubili sposobnost govora.
Že leta znanstveniki poskušajo uporabiti nevronske vnose, da bi dali svoj glas ljudem, katerih nevrološka škoda jim preprečuje govoriti - kot preživeli možganske kapi ali bolniki z ALS. Do sedaj so številni od teh vmesnikov možganov in računalnikov imeli pristop črko po črko, pri kateri pacienti premikajo oči ali obrazne mišice, da bi črpali svoje misli. (Stephen Hawking je svoj sintetizator govora slavno usmerjal z majhnimi gibi v obraz.)
Toda te vrste vmesnikov so počasni - večina največ ustvarja 10 besed na minuto, del človekove povprečne govorne hitrosti 150 besed na minuto. Za hitrejšo in bolj tekočo komunikacijo so raziskovalci UCSF uporabili algoritme za globoko učenje, s katerimi so nevronske signale spremenili v govorjene stavke.
"Možgani so pri teh bolnikih nedotaknjeni, vendar so nevroni - poti, ki vodijo do vaših rok, ust ali nog - razpadli. Ti ljudje imajo visoko kognitivno delovanje in sposobnosti, vendar ne morejo opravljati vsakodnevnih nalog, kot so gibanje ali govorjenje, «pravi Gopala Anumanchipalli, sovoditeljica nove študije in pridružena raziskovalka, specializirana za nevrološko kirurgijo na UCSF. "V bistvu obidemo pot, ki je razčlenjena."
Raziskovalci so začeli s podatki možganske aktivnosti z visoko ločljivostjo, zbranimi od petih prostovoljcev v več letih. Ti udeleženci - vsi, ki so imeli normalno govorno funkcijo - so že opravili postopek spremljanja zdravljenja epilepsije, ki je vključeval vsaditev elektrod neposredno v njihove možgane. Chang-ova ekipa je uporabila te elektrode za sledenje aktivnosti na govornih področjih možganov, ko so pacienti prebrali stotine stavkov.
Od tam je ekipa UCSF izdelala dvostopenjski postopek za poustvarjanje govorjenih stavkov. Najprej so ustvarili dekoder za razlago posnetih vzorcev možganske aktivnosti kot navodila za premikanje delov virtualnega glasilnega trakta (vključno z ustnicami, jezikom, čeljustjo in grlom). Nato so razvili sintetizator, ki je za izdelavo jezika uporabil navidezna gibanja.
Druge raziskave so poskušale dekodirati besede in zvoke neposredno iz nevronskih signalov, preskoči srednji korak gibanja dekodiranja. Vendar pa študija, ki so jo raziskovalci UCSF objavili lani, kaže, da se govorni center vaših možganov osredotoča na to, kako premakniti glasovni trakt za izdajanje zvokov, namesto na to, kakšni bodo zvoki.
"Vzorci možganske aktivnosti v govornih centrih so posebej usmerjeni v usklajevanje gibov govornega trakta in so le posredno povezani z samimi govornimi zvoki, " Edward Chang, profesor nevrološke kirurgije na UCSF in soavtor novega prispevka, je dejal na novinarski konferenci ta teden. "Izrecno poskušamo dekodirati premike, da bi ustvarili zvoke, v nasprotju z neposredno dekodiranjem zvokov."
Primer vrste možganskih vsadkov intrakranialnih elektrod tipa, ki se uporabljajo za beleženje možganske aktivnosti. (UCSF) S to metodo so raziskovalci uspešno preoblikovali besede in stavke možganske aktivnosti, ki so približno ustrezali zvočnim posnetkom govora udeležencev. Ko so na spletni platformi za množično množično sodelovanje prosili prostovoljce, naj poskusijo prepoznati besede in prepisovati stavke z besedno banko, so mnogi od njih razumeli simulirani govor, čeprav njihova natančnost še zdaleč ni bila popolna. Od 101 sintetiziranih stavkov je približno 80 odstotkov vsaj en poslušalec prepisal vsaj en poslušalec s pomočjo 25 besednih bank (ta stopnja se je zmanjšala na približno 60 odstotkov, ko se je velikost besede banka podvojila).
Težko je reči, kako se ti rezultati primerjajo z drugimi sintetiziranimi govornimi preskusi, pravi v e-poštnem sporočilu Marc Slutzky, nevrolog severozahodnega severa, ki ni bil vključen v novo študijo. Slutzky je pred kratkim delal na podobni študiji, ki je sintetizirane besede proizvajala neposredno iz signalov možganske skorje, brez dekodiranja gibanja glasilk, in verjame, da je bila kakovost govora podobna - čeprav razlike v metrikah uspešnosti težko primerjajo neposredno.
Pomemben vidik študije UCSF pa je, da lahko dekoder pospeši nekaj rezultatov med udeleženci, pravi Slutzky. Velik izziv za tovrstno raziskovanje je, da treniranje algoritmov za dekoder običajno od udeležencev govori, vendar je tehnologija namenjena pacientom, ki ne morejo več govoriti. Če bi lahko posplošili nekaj treninga algoritma, bi lahko omogočili nadaljnje delo s paraliziranimi pacienti.
Za reševanje tega izziva so raziskovalci napravo preizkusili tudi z udeležencem, ki je stavke tiho izmišljeval, namesto da bi jih izgovarjal na glas. Čeprav dobljeni stavki niso bili tako natančni, avtorji trdijo, da ima sinteza možno tudi brez vokaliziranega govora vznemirljive posledice.
"Bilo je res izjemno, če smo ugotovili, da lahko še vedno ustvarjamo zvočni signal iz dejanja, ki sploh ni ustvarilo zvoka, " je na novinarski konferenci povedal Josh Chartier, sovoditelj pri študiju in bioinženiringu na UCSF. .
Slika avtorja študije dr. Gopala Anumanchipalli, ki vsebuje primer vrste intrakranialnih elektrod, ki so bile uporabljene za beleženje možganske aktivnosti v trenutni študiji. (UCSF) Drugi cilj prihodnjih raziskav je nadaljevanje demonstracij dekoderja v realnem času, pravi Anumanchipalli. Trenutna študija je bila mišljena kot dokaz koncepta - dekoder je bil razvit ločeno od postopka zbiranja podatkov, ekipa pa ni preizkusila hitrosti prevajanja možganske aktivnosti v sintetizirani govor, čeprav bi bil to končni cilj klinični pripomoček.
Da je sinteza v realnem času nekaj, kar potrebuje, da bi takšna naprava lahko koristila v prihodnosti, pravi Jaimie Henderson, nevrokirurg iz Stanforda, ki ni bil vključen v študijo. Kljub temu pravi, da je dvostopenjska metoda avtorjev vznemirljiv nov pristop in uporaba tehnologije globokega učenja lahko prinese nov vpogled v to, kako govor resnično deluje.
"Zame je zelo navdušujoča ideja, da bi začeli raziskati osnovo, kako nastane govor pri ljudeh, " pravi Henderson. "[Ta študija] začne temeljno raziskovati eno najbolj človeških zmožnosti."
