Aju-arvuti liides (BCI): Difference between revisions

From ICO wiki
Jump to navigationJump to search
No edit summary
 
(4 intermediate revisions by the same user not shown)
Line 32: Line 32:
Mitte-invasiivse mõõtmise korral mõõdetakse signaale kolju pinnalt. Sellise meetodi suureks eeliseks on see, et katsealust ei opereerita. Puuduseks on signaalide deformatsioon ja kõrvalekalle, mida tekitavad luu ja kolju koed. Sellised häired teevad arvutil singaalide interpreteerimise raskemaks.
Mitte-invasiivse mõõtmise korral mõõdetakse signaale kolju pinnalt. Sellise meetodi suureks eeliseks on see, et katsealust ei opereerita. Puuduseks on signaalide deformatsioon ja kõrvalekalle, mida tekitavad luu ja kolju koed. Sellised häired teevad arvutil singaalide interpreteerimise raskemaks.


[[File:http://www.schalklab.org/sites/default/files/misc/layersofthebrain.png]]
[[File:layersofthebrain.png|600px|thumb|right|http://www.schalklab.org/sites/default/files/misc/layersofthebrain.png]]
[4]
[4]
Signaali kogumise süsteemi eesmärk on signaalid kokku koguda ja edastada loetaval kujul arvutisüsteemile. Andmed tulevad tavaliselt voona, mis võimaldab neid kettale maha salvestada ja reaalajas töödelda. Signaali kogumise süsteem koosneb riistvarast, mis reaalselt mõõdab signaale ning võimenditest, mis signaale võimendavad.  
Signaali kogumise süsteemi eesmärk on signaalid kokku koguda ja edastada loetaval kujul arvutisüsteemile. Andmed tulevad tavaliselt voona, mis võimaldab neid kettale maha salvestada ja reaalajas töödelda. Signaali kogumise süsteem koosneb riistvarast, mis reaalselt mõõdab signaale ning võimenditest, mis signaale võimendavad.  
https://depositonce.tu-berlin.de/bitstream/11303/4734/2/venthur_bastian.pdf
[8]
Signaalide töötlemine on BCI süsteemis faas, kus toored andmed muudetakse mustriteks, mis peegeldavad kasutaja soove. See faas hõlmab tavaliselt eeltöötlemist, featuuride leidmist, tuvastamist ja klassifitseerimist. Selles faasis signaale filtreeritakse ja  puhastatakse, et saada võimalikult kõrge signaali ja müra suhe.  
Signaalide töötlemine on BCI süsteemis faas, kus toored andmed muudetakse mustriteks, mis peegeldavad kasutaja soove. See faas hõlmab tavaliselt eeltöötlemist, featuuride leidmist, tuvastamist ja klassifitseerimist. Selles faasis signaale filtreeritakse ja  puhastatakse, et saada võimalikult kõrge signaali ja müra suhe.  
Featuuride leidmise faasis transformeeritakse kõrge dimensionaalsusega andmed madalama dimensionaalsusega vektoriteks, millest on võimalik välja lugeda vastavaid ajutegevuse mustreid. See faas sõltub suuresti ülesandest, mida soovitakse saavutada.
Featuuride leidmise faasis transformeeritakse kõrge dimensionaalsusega andmed madalama dimensionaalsusega vektoriteks, millest on võimalik välja lugeda vastavaid ajutegevuse mustreid. See faas sõltub suuresti ülesandest, mida soovitakse saavutada.


== EEG (elektroensefalograafia) ==
== EEG (elektroensefalograafia) ==
Line 48: Line 47:
temporal ja occipital alasid.[5]
temporal ja occipital alasid.[5]


 
[[File:10-20.png|400px|thumb|right|]]




Line 58: Line 57:
Kuna ajus on väga palju neuroneid ning elektroodid on nendest suhteliselt kaugel, siis signaalid mida mõõdetakse on tuhandete neuronite kogusumma. Seetõttu on raske eristada, millisest asukohast täpselt signaal pärineb. Lisaks mõjutab signaale häired, mis ei tule otse ajust. Näiteks elektriliinide müra (50-60Hz), bioloogilised tegevuse, nagu silmade pilgutamine ja jäsemete liigutamine, südamerütm või mälumine. Küll aga on signaalidel kõrge ajaline eraldusvõime.  
Kuna ajus on väga palju neuroneid ning elektroodid on nendest suhteliselt kaugel, siis signaalid mida mõõdetakse on tuhandete neuronite kogusumma. Seetõttu on raske eristada, millisest asukohast täpselt signaal pärineb. Lisaks mõjutab signaale häired, mis ei tule otse ajust. Näiteks elektriliinide müra (50-60Hz), bioloogilised tegevuse, nagu silmade pilgutamine ja jäsemete liigutamine, südamerütm või mälumine. Küll aga on signaalidel kõrge ajaline eraldusvõime.  
[5]
[5]


== Magnetoenkefalograafia (MEG) ==
== Magnetoenkefalograafia (MEG) ==
Line 96: Line 94:
* [6] https://depositonce.tu-berlin.de/bitstream/11303/4734/2/venthur_bastian.pdf
* [6] https://depositonce.tu-berlin.de/bitstream/11303/4734/2/venthur_bastian.pdf
* [7] https://futurism.com/the-byte/rat-cyborgs-mind-control
* [7] https://futurism.com/the-byte/rat-cyborgs-mind-control
* [8] https://depositonce.tu-berlin.de/bitstream/11303/4734/2/venthur_bastian.pdf

Latest revision as of 23:22, 17 May 2019

Sissejuhatus

Inimene-arvuti ühendusliides (Human Computer Interface HCI) on meetod, kus kasutatakse klaviatuuri ja hiirt. See on kõige enam levinum viis arvuti ja inimese kommunikatsioonis. Paraku on inimesi, kes ei suuda tekitada piisavaid lihasliikumisi, et hiirt ja klaviatuuri kasutada. Kuna kasvanud on arusaam, et puudega inimesed vajavad selliseid lahendusi, on alustatud uuringuid aju-arvuti ühendusliidese (BCI) väljatöötamiseks. BCI on otsene sidekanal kuidagimoodi täiustatud või juhtmega ühenduses oleva aju ja mingi välise seadme vahel. Erinevalt populaarsest arvamusest ei suuda BCI otseselt mõtteid lugeda, vaid tuvastab teatud moodi mõtlemise puhul väiksemagi muutuse aju poolt kiirgavas energia hulgas või selle muutuses. Lisaks suudab BCI ära tunda väga spetsiifilisi aju sagedusmustreid, tuginedes ajupildi kujutamistehnoloogiale (näiteks MRI, mille käigus otsib BCI reaalajas aju aktiivsuse kindlaid mustreid). [3] BCI-d defineeritakse kui arvutitehnoloogiat, mis võimaldab suhelda neuraalsete struktuuridega, suutes lahti mõtestada ja tõlkida mõtetest saadud teavet toiminguteks. [1]


BCI võimaldab raske motoorikahäiretega patsiendil parandada või taastada võime liigutada või käsklusi anda. Selliseks häireks või puudeks võib olla näiteks ajutüve insult, ajuhalvatus või seljaaju vigastus. Liigutuseks või käskluseks võib olla ratastooli juhtimine või liigutamine, kasutades motoorika kujutlemist. Tulevikus võimaldab selline tehnoloogia mööda minna kahjustunud seljaaju lõikudest, võimaldates halvatud jäsemete liigutamist kasutades ainult liigutuse mõtteid. BCI rakendus pole mitte ainult vigastatud inimeste aitamine, vaid ka uued suunad nagu mängimine või tegevused kus on vaja mitte ainult musklite abi. [2]



Ajalugu

1970ndatel aastatel alustati aju-arvuti ühendusliideste uuringuid California Ülikoolis, mille põhiliseks eesmärgiks oli neuroproteeside rakenduste arendamine, mis aitaks taastada kahjustunud silmanägemist, kuulmist või liikumist ning esimesed inimestele suunatud neuroproteesidest abivahendid tulid turule juba 90ndate keskpaigas. Hans Berger töötas välja ajukoore elektrilise aktiivsuse hindamise uuringu ehk elektroentsefalograafia (EEG), mida võiks nimetada BCI eelkäijaks. EEG võimaldab tuvastada erinevaid ajus pesitsevaid haiguseid ja on aktiivses kasutuses olnud juba aastakümneid. 1998. aastal sisestas teadlane Philip Kennedy esimese aju-arvuti anduri inimkehasse. Tegemist oli küll piiratud funktsionaalsusega ning selle ainukene eelis edasises arengus oli traadita elektroodi leiutamine. Edasiste arengutena moodustasid Browni Ülikooli meeskond ja teadlane John Donoghue ettevõtte nimega Cyberkinetics, mis tuli turule esimese nö müüdava BCI tootega NeuroPort. NeuroPort-i närviseire süsteem aitab tuvastada epilepsia all kannatavate patsientide haigussööstude teket, tuvastades hoogudele eelnevaid vähemärgatavaid krampe. 2004. aasta juunis implanteeriti Matthew Nagle-ile esimene BCI Cyberkinetics-i implantaat nimega BrainGate. 2004. aasta oli tulemuslik ka Jonathan Wolpawile ja Wadsworthi keskuse uurijatele. Nimelt avaldati aruanne, kuidas BCI abil on võimalik arvutit juhtida. Uurimistöö katsetes osalenud patsiendid pidid kandma spetsiaalset mütsi, mis sisaldas aju motoorse osa EEG signaale kinnipüüdvaid elektroode ning selle abil suudeti kontrollida osa ajust, mis omakorda kontrollib liikumist. Alates sellest on BCI-d on märkimisväärselt edasi uuritud ning eeldatakse, et aastaks 2050 võib sellest saade imetoode, mis aitab meil mõttejõu abil esemeid liigutada ja igapäevaseid toiminguid läbi viia. Hiljuti investeeris ka Elon Musk ettevõttesse Neuralink, mille missioon on arendada tehisintellekti võtmes inimsuhtlust parendav BCI. Lisaks esitles ka Regina Dugan Facebooki BCI plaane, mis lubavad efektiivsemat digitaalset suhtlust. [3]


Ajuaktiivsuse mõõtmine

BCI sisendinfo tuleb põhiliselt ajust. Olemas on mitmeid erinevaid meetodeid, kuidas signaale kogutakse. Kasutusel on elektroensefalograafia (elektrivälja signaalid), magnetoenkefalograafia (magnetvälja signaalid), funktsionaalne magnetresonantstomograafia (aju vere hapnikutaseme signaalid) ja lähi infrapuna spektroskoopia. Ajuaktiivsuse mõõtmise metoodikaid võib jagada kolme põhilisse kategooriasse: invasiivsed, osaliselt invasiivsed ja mitte-invasiivsed. Invasiivse mõõtmise puhul paigaldatakse elektroodide massiivid ajukoore koesse. Selle käigus mõõdetakse lähedalolevate neuronite rakuväliseid elektripotensiaali. Sellisel mõõtmisel on kõrge ruumiline eraldusvõime, kuid vajab kümneid või sadu väikeste elektroodide ajju paigaldamist. Osaliselt-invasiivse (elektrokortikograafia (ECoG)) mõõtmise korral pole operatsioon vajalik, kuid elektroodid paigaldatakse subduraalselt ajukoore pinnale. Mitte-invasiivse mõõtmise korral mõõdetakse signaale kolju pinnalt. Sellise meetodi suureks eeliseks on see, et katsealust ei opereerita. Puuduseks on signaalide deformatsioon ja kõrvalekalle, mida tekitavad luu ja kolju koed. Sellised häired teevad arvutil singaalide interpreteerimise raskemaks.

http://www.schalklab.org/sites/default/files/misc/layersofthebrain.png

[4] Signaali kogumise süsteemi eesmärk on signaalid kokku koguda ja edastada loetaval kujul arvutisüsteemile. Andmed tulevad tavaliselt voona, mis võimaldab neid kettale maha salvestada ja reaalajas töödelda. Signaali kogumise süsteem koosneb riistvarast, mis reaalselt mõõdab signaale ning võimenditest, mis signaale võimendavad. [8] Signaalide töötlemine on BCI süsteemis faas, kus toored andmed muudetakse mustriteks, mis peegeldavad kasutaja soove. See faas hõlmab tavaliselt eeltöötlemist, featuuride leidmist, tuvastamist ja klassifitseerimist. Selles faasis signaale filtreeritakse ja puhastatakse, et saada võimalikult kõrge signaali ja müra suhe. Featuuride leidmise faasis transformeeritakse kõrge dimensionaalsusega andmed madalama dimensionaalsusega vektoriteks, millest on võimalik välja lugeda vastavaid ajutegevuse mustreid. See faas sõltub suuresti ülesandest, mida soovitakse saavutada.

EEG (elektroensefalograafia)

Kui miljonid neuronid meie ajudes kommunikeerivad, siis nad teevad seda elektripotentsiaalide genereerimise ja levimisega. Elektrilised muutused indutseerivad dendriitvoolu, mis omakorda tekitab elektrivälja, mida saab elektroodidega mõõta. Elektroensefalograafia käigus mõõdetakse elektroodide abil skalbilt elektripotentsiaalide võnkumisi, mis kirjeldab neuronite sünkroniseeritud aktiivsust. Märgade elektroodide puhul kasutatakse elektrit juhtivat geeli, et saavutada parem laengute läbivus skalbilt elektroodidele. Kuivasid elektroode on mugavam kasutada kui märgu, kuid viimased on siiski levinumad. Märgade elektroodide paigaldamine võtab ligikaudu 30 minutit, kuid on soodsamad ja sobivamad kliiniliseks otstarbeks. Erinevate inimeste ajutegevuse salvestuse võrdluseks paigaldatakse elektroodid kindlatesse asukohtadesse, kasutades rahvusvahelist 10-20 süsteemi. Asukohad on markeeritud vastavalt Fp, F, C, P, T ja O sümbolitega, mis tähistavad vastavalt fronto polar, frontal, central, parietal, temporal ja occipital alasid.[5]


Elektroodide abil salvestatud mustreid nimetatakse ajulaineteks. Ajulained on unikaalsed nagu on meie näpujäljeid, kuid need muutuvad vastavalt meie vanusele, sensoorsete stiimulitele, aju haigustele ja keemilisele seisule. Elektroensefalograafia käigus tuvastatud ajulained lahterdatakse vastavalt sagedusele: Delta lained(<4 Hz): suure amplituudiga lained, mida kohtab sügava une režiimis. Theeta lained(4-7 Hz): levinud lastel ja vahel täiskasvanutel kui on kontsentreeritud seisus. Alfa lained (8-13 Hz): suhteliselt regulaarsed, rütmilised, madala amplituudiga lained mida kohtab lõdvestunud olekus. Beeta lained (14-30 Hz): vähem levinumad kui alfa lained ja tekivad siis kui ollakse mentaalselt ergas või kui fokusseeritakse probleemile või visuaalsele stimuleerimisele. Kuna ajus on väga palju neuroneid ning elektroodid on nendest suhteliselt kaugel, siis signaalid mida mõõdetakse on tuhandete neuronite kogusumma. Seetõttu on raske eristada, millisest asukohast täpselt signaal pärineb. Lisaks mõjutab signaale häired, mis ei tule otse ajust. Näiteks elektriliinide müra (50-60Hz), bioloogilised tegevuse, nagu silmade pilgutamine ja jäsemete liigutamine, südamerütm või mälumine. Küll aga on signaalidel kõrge ajaline eraldusvõime. [5]

Magnetoenkefalograafia (MEG)

MEG toimib sama printsiibil nagu EEG, kuid elektriliste väljade mõõtmise abil mõõdetakse hoopis magnetilisi välju. MEG kasutab sensormähiseid, et tuvastada signaale ja need ei puudutaks patsiendi pead. MEG meetodil on suurem täpsus, kuid sellel on tehniline puudus. Määramiseks on vaja varjestust maa magnetväljadest. Selleks kasutatakse varjestatud ruumi, mis on ebamugav igapäevaseks liikuvaks kasutuseks.

fMRI (funktsionaalne magnetresonantstomograafia)

Erinevalt eelnevatest mõõtmismetoodikatest, mõõdab fMRI aju vere hapnikusisaldust. fMRI kasutab verehapniku tasemest sõltuvat kontrasti (Blood-oxygen-level dependent (BOLD) contrast). BOLD kasutab hemoglobiini kontrastainena, kus hapnikurikas Hg ja hapnikuvaene Hg on erinevate magnetiliste omadustega. See meetod ei mõõda otseselt neuronite aktiivsus, vaid kaudselt. Seetõttu on signaali füsioloogiline viide 3 kuni 6 sekundit, enne kui muutust on võimalik märgata. fMRI ei sobi reaalajalisteks lahendusteks.

Seadmete kontroll

Viise, kuidas seadmeid kontrollida, on palju. Sõltuvalt seadme iseloomust, mõõdetakse erinevaid muutuseid. Näiteks ratastooli kontrollimiseks tuvastatakse mustreid, mida klassifitseeritakse “vasak” ning ratastool keerab vasakule. Tüüpiliselt defineeritakse kaks üksteisest eristuvat klassi ja siis üritatakse seda signaalidest tuvastada. Näiteks kasutaja valib rea ja seejärel veeru, et märkida ära täht tabelis. Seadmete kontrollimiseks on kasutusel kaks tüüpilist meetodit: tähelepanupõhine BCI ja motoorse kujutlemise BCI. Tähelepanupõhise lahenduse puhul fokuseerib kasutaja oma tähelepanu mingile konkreetsele stiimulile, mille järel BCI süsteem tuvastab mustri. Tähelepanupõhise lahenduse kõige populaarsem liik on visuaalne tähelepanupõhine BCI. Selle korral koondab kasutaja vaatamisega oma tähelepanu näiteks ühele tähele. Regulaarsete intervallide tagant vilgutatakse tähte ja see tekitab ajus signaali. Teiste tähtede vilkumine tekitab teistsuguse singaalimustri, kui see, millele oli tähelepanu suunatud. Sellisel viisil on võimalik näiteks teksti sisestada. Tekstisisestuse kiirus on umbes üks lause tunnis. Visuaalne tähelepanupõhine BCI on väga hästi toimiv üle paljude inimeste ja omab väga head klassifitseerimise ja tuvastamise täpsust. Küll aga nõuab see meetod, et kasutaja suudaks vaadata õigele tähele. Motoorika kujutlemispõhine BCI toimib selliselt, et kasutaja kujutleb ette mingi jäseme liigutamist. Näiteks kujutleb ette, kas parema või vasaku käe liigutamist ning süsteem tuvastab ajusignaalidest vastva mustri. Iga jäseme liigutus seotakse mingi käsklusega süsteemis. Kuigi motoorse kujutlemise paradigma tundub väga naturaalne võrreldes tähelepanu paradigmaga, on sellel puudusi: kõik jäseme liigutuste kombinatsioonid ei pruugi sobida omavahel. Näiteks vasaku ja parema käe liigutuste kujutlemise tuvastamine on lihtne, siis parema jala ja parema käe liigutamise kujutlemise tuvastamine on märksa keerulisem. Motoorika kujutlemise BCI vajab invasiivset signaalide mõõtmist, ehk elektroodid tuleb viia ajusse. [6]


Hiina teadlased on loonud küborg-rotid

Teadus on imeline ning BCIst järgmine samm on BBI ehk brain-brain interface, kus on omavahel ühendatud kaks aju-masina liidestust. BBI toetub kahele punktile – võime lugeda andmeid (või lahti kodeerida) kasulikku informatsiooni ajutegevustest ja võime ajutegevuse andmeid tagasi kirjutada. Kuna sellised lahendused on siiani peamiselt invasiivsed, siis tehakse põhiliselt katseid loomade peal. Hiina teadlased jõudsid aga oma teadustöödega nii kaugele, et suudeti luua läbi labürindi inimjuhitav küborg-rott. Lahenduses on ühendatud inimaju EEG kaudu arvutiga, mis omakorda tõlgendab inimese käest saadud andmeid ning stimuleerib implementeeritud elektroodidega roti aju, pannes ta vastavalt liikuma. Teadlased paigaldasid rottide seljale nö väikesed seljakotilaadsed stimulaatorid, mis olid ühenduses nende ajudega ning treenisid närilisi, kuidas peaks elektroodidest saadavale infole reageerima. Kuna inimene oli ühenduses EEG kaudu, tekkis käskluste edastamisel kerge viivitus ning inimene pidi järgnevad liigutused pikemalt ette planeerima. Paremale ja vasakule liigutamine oli arvuti jaoks lihtne töötlus, ent see, et rott ka edasi liiguks, pidid inimesed silmi pilgutama. Keskmiselt liikus küborg-rott läbi labürindi kolm minutit, mis on tunduvalt kauem, kui ilma BBI ühenduseta loom. Sellised avastused võivad tulevikus väga kasulikud olla olukordades, kus on vaja raskesti ligipääsetavatesse kohtadesse jõuda, näiteks erinevate päästeoperatsioonide puhul. Kinnitades väikese kaamera ja mikrofoni roti seljale, saaks edukalt näiteks kokkuvarisenud maja rusude vahelt ellujääjaid otsida. Siiski on lahendus hetkel veel lapsekingades ja tekitab ka eetilise küsimuse, kas inimese poolt on õige ja lubatud üldse sekkuda sellisel kujul teiste liikide elutegevusse? [7]