Isesõitvad autod ei tuvasta(nud) musta nahavärviga inimesi: Difference between revisions

From ICO wiki
Jump to navigationJump to search
← Older edit
Erkask (talk | contribs)
13 edits
mNo edit summary
Erkask (talk | contribs)
13 edits
No edit summary
 
(13 intermediate revisions by 2 users not shown)
Line 2: Line 2:
== Sissejuhatus ==
== Sissejuhatus ==


Meie pidevalt arenevas tehnikaajastus on järjest teemakohasemaks saanud erinevad autonoomsed süsteemid, eriti autod. Kahjuks aga on autonoomsete autode juures vaja veel ära teha väga palju arendustööd, kuna hetkel on nende vabalt teedele lubamiseks liigselt takistusi. Üks oluline probleem on seotud inimeste tuvastamisega, eriti just tumedama nahavärviga inimeste tuvastamine, mistõttu ei ole isesõitvad autod piisavalt ohutud. Autodel tohib lubada autonoomselt liigelda alles siis, kui autonoomsuse süsteemi vigade tõttu ei teki inimhukkunuid. Hukkunute arvu päris nulli viia ilmselt siiski ei saa, kuna alati on võimalik süsteemis mingisuguse lühise või muu taolise probleemi tekkimine, kuid oluline on hukkunute arv viia nii nulli lähedale kui vähegi võimalik.
Meie pidevalt arenevas tehnikaajastus on järjest teemakohasemaks saanud erinevad autonoomsed süsteemid, eriti autod. Kahjuks on aga autonoomsete autode juures vaja ära teha veel väga palju arendustööd, kuna hetkel on nende vabalt teedele lubamiseks liigselt takistusi. Üks oluline probleem on seotud inimeste tuvastamisega, eriti just tumedama nahavärviga inimeste puhul, mistõttu ei ole isesõitvad autod piisavalt ohutud. Autodel tohib lubada autonoomselt liigelda alles siis, kui autonoomsuse süsteemi vigade tõttu ei teki inimhukkunuid. Hukkunute arvu päris nulli viia ilmselt siiski ei saa, kuna alati on võimalik süsteemis mingisuguse lühise või muu taolise probleemi tekkimine, kuid oluline on hukkunute arv viia nii nulli lähedale kui vähegi võimalik.


== Isesõitvate autode lühiajalugu ==
== Isesõitvate autode lühiajalugu ==
Line 10: Line 10:
[[File:Wonder.png|200px|thumb|lright|American Wonder, 1925]]
[[File:Wonder.png|200px|thumb|lright|American Wonder, 1925]]
<h4>1925</h4>
<h4>1925</h4>
Eksperimente hakati tegema juba 1920ndatel aastatel. 1925. aastal demonstreeris raadioseadmete firma, Houndina Radio Control, New Yorki tänavatel nn. Ameerika Ime (''American Wonder''). See auto suutis läbida korraliku liiklusummiku. Autole oli peale pandud antenn ning autot juhiti inimese poolt, kes oli teises autos selle "isesõitva" auto taga, kasutades raadio impulsse, mida antenn siis kinni püüdis. Seejärel juhatas antenn signaale edasi kuni väikeste elektrimootoriteni, mis siis suunasid autot vajalikus suunas. <ref name="wiki">https://en.wikipedia.org/wiki/History_of_self-driving_cars</ref>. Selline automatiseeritud autode juhtimise idee proovimine kehtis vähemalt 30 aastat.
Eksperimente hakati tegema juba 1920ndatel aastatel. 1925. aastal demonstreeris raadioseadmete firma, Houndina Radio Control, New Yorki tänavatel nn. Ameerika Ime (''American Wonder''). See auto suutis läbida korraliku liiklusummiku. Autole oli peale pandud antenn ning seda juhiti inimese poolt, kes oli teises sõidukis "isesõitva" auto taga, kasutades raadio impulsse, mida antenn kinni püüdis. Seejärel juhatas saadeti signaale edasi väikeste elektrimootoriteni, mis suunasid autot vajalikus suunas. Selline automatiseeritud autode juhtimise idee proovimine kehtis vähemalt 30 aastat.<ref name="wiki">https://en.wikipedia.org/wiki/History_of_self-driving_cars</ref>


<h4>1950 - 1960</h4>
<h4>1950 - 1960</h4>
Järgmine suur samm juhtus 1953. aastal, kui suudeti auto põhimõtteliselt joone järgi sõitma panna. See traat mida auto jälitas, oli labori põrandasse peidetud. Seda süsteemi taheti proovida ka päris liikluses, esialgu ainult maanteedel. 1957. aastal seda ka tehti, kui suudeti maanteele täissuuruses süsteem paigaldata 120 meetrilisele lõigule. Süsteem paigaldati asfaldi alla. Seda demonstreeriti põhjalikumalt aastal 1960, kui uudistajaid lubati nende autodega "sõitma". Eeldati, et suudetakse süsteem turule viia 1975. aastaks. 1960ndal aastal plaaniti rajada eksperimentaalne elektrooniliselt kontrollitav maantee. 4 USA osariiki ka panustasid juba sellele. Kahjuks aga jäi see ainult plaaniks <ref name="wiki" />.
Järgmine suur samm juhtus 1953. aastal, kui suudeti auto joone järgi sõitma panna. Auto seadistati jälitama labori põrandasse peidetud traati. Seda süsteemi taheti proovida ka päris liikluses, esialgu siiski ainult maanteedel. 1957. aastal seda ka tehti, kui suudeti maanteele 120-meetrilisele lõigule täissuuruses süsteem paigaldada. Süsteem paigaldati asfaldi alla. Seda demonstreeriti põhjalikumalt aastal 1960, kui uudistajaid lubati nende autodega "sõitma". Eeldati, et suudetakse joont järgiv auto turule viia 1975. aastaks. 1960ndal aastal plaaniti rajada eksperimentaalne elektrooniliselt kontrollitav maantee. Neli USA osariiki ka panustasid sellele. Kahjuks jäi see aga ainult plaaniks.<ref name="wiki" />


<h4>1980</h4>
<h4>1980</h4>
1980. aastal viis EUREKA läbi 750 miljonit eurot maksva projekti, mis keskendus puhtalt autonoomsetele sõidukitele. Samal sajandil suutis ''Autonomous Land driven Vehicle project'' (Autonoomse maismaasõiduki projekt) või siis lühidalt, ALV, demonstreerida teed jälgivat autot, mis kasutas arvutinägemist (''computer vision''-it) ja autonoomset robotjuhtimist. Sellega suudeti sõita kiirustel kuni 31 km/h. 1987. aastal suudeti see sama masin ka maastikul iseseisvalt sõitma panna, kasutades erinevaid sensoreid <ref>https://apps.dtic.mil/dtic/tr/fulltext/u2/a167472.pdf</ref>. 1995. võeti see üks samm kõrgemale, kui projekt nimega Navlab läbis umbes 5000 kilomeetrit, milles pea 98% oli täiesti autonoomselt juhitud. Sellele anti nimeks "''No Hands Across America''". Nende auto oli aga ainult pooleldi autonoomne. Rooli juhtimine oli masina poolt, aga pidur ja gaas olid inimeste poolt juhitavad, puhtalt ohutuse pärast. <ref>https://www.cs.cmu.edu/~tjochem/nhaa/nhaa_home_page.html</ref>.
1980. aastal viis EUREKA läbi 750 miljonit eurot maksnud projekti, mis keskendus puhtalt autonoomsetele sõidukitele. Samal sajandil suutis ''Autonomous Land driven Vehicle project'' (Autonoomse maismaasõiduki projekt), lühidalt ALV, demonstreerida teed jälgivat autot, mis kasutas arvutinägemist (''computer vision''-it) ja autonoomset robotjuhtimist. Sellega suudeti sõita kiirustel kuni 31 km/h. 1987. aastal suudeti sama masin ka maastikul iseseisvalt sõitma panna, kasutades erinevaid sensoreid <ref>https://apps.dtic.mil/dtic/tr/fulltext/u2/a167472.pdf</ref>. 1995. aastal mindi ühe astme võrra kõrgemale, kui projekt nimega Navlab läbis umbes 5000 kilomeetrit, millest pea 98% oli täiesti autonoomselt juhitud. Sellele anti nimeks "''No Hands Across America''". Kuid nende auto oli ainult pooleldi autonoomne. Rooli juhtimine oli masina poolt, pidur ja gaas olid aga puhtalt ohutuse pärast inimeste poolt juhitavad.<ref>https://www.cs.cmu.edu/~tjochem/nhaa/nhaa_home_page.html</ref>


<h4>2010 - 2014</h4>
<h4>2010 - 2014</h4>
Alates 2010. aastast hakkasid autonoomsed masinad kujunema juba selliseks, nagu nad on tänapäeval. Paljud suured autotootjad hakkasid testima sõitjateta autosid. Näiteks saatis Audi enda TTS mudeli ''Pike's Peaki'' tippu (kuulus mägi kus toimub palju mäkke ronimise võistluseid) saavutades võistluskiiruse lähedaseid kiiruseid <ref>https://web.archive.org/web/20120710202052/http://www.audiusa.com/us/brand/en/tools/news/pool/2010/07/new_look__reaffirmed.html</ref>. Muidugi ei tasu ka mainimata jätta tänapäeval väga populaarset Teslat, täpsemalt siis autonoomse süsteemiga varustatud Model S-i. Sellega tulid nad välja aastal 2014.
Alates 2010. aastast hakkasid autonoomsed masinad kujunema juba selliseks, nagu nad on tänapäeval. Paljud suured autotootjad hakkasid testima sõitjateta autosid. Näiteks saatis Audi enda TTS mudeli ''Pike's Peaki'' tippu (kuulus mägi kus toimub palju mäkke ronimise võistluseid) saavutades võistluskiiruse lähedaseid kiiruseid<ref>https://web.archive.org/web/20120710202052/http://www.audiusa.com/us/brand/en/tools/news/pool/2010/07/new_look__reaffirmed.html</ref>. Muidugi ei tasu ka mainimata jätta tänapäeval väga populaarset Teslat, just autonoomse süsteemiga varustatud Model S-i millega tuldi välja aastal 2014.


== Autonoomsuse viis taset ==
== Autonoomsuse viis taset ==


Isejuhtimise defineerimiseks on mii Ameerika Ühendriikide Transpordiamet (National Highway Traffic Safety Administration ehk NHTSA) kui ka rahvusvaheline autoinseneride ühing Society of Automotive Engineers International ehk SAE International on defineerinud isejuhtiva sõiduki viis eri taset <ref>https://www.accelerista.com/uudis/innovatsioon/isejuhtiva-soiduki-tasemed/</ref>.
Isejuhtimise defineerimiseks on nii Ameerika Ühendriikide Transpordiamet (National Highway Traffic Safety Administration ehk NHTSA) kui ka rahvusvaheline autoinseneride ühing Society of Automotive Engineers International ehk SAE International defineerinud isejuhtiva sõiduki viis eri taset. Järgnevad tasemed on NHTSA defineeritud tasemed. Kanada päritolu isejuhtivate sõidukite disainer ja liikumise eestvedaja Brad Templeton on aga NHTSA klassifikatsiooni kõvasti kritiseerinud. Ta soovitab üle maailma võtta kasutusele SAE süsteemi. Tema sõnul on NHTSA tasemete määratlus ebatäpne, 2 ja 3 ebaturvalised ning 5. tase puhas ulme. Enamus riike kasutab kas NHTSA või SAE süsteemi, kuid näiteks Saksamaa töötas välja oma klassifikaatorid, mis on õnneks sisuliselt identsed SAE tasemetega. Eesti Valitsus võttis samuti kasutusele SAE süsteemi<ref>https://www.accelerista.com/uudis/innovatsioon/isejuhtiva-soiduki-tasemed/</ref>.
<h4>Tase 0: autonoomsust pole</h4>
<h4>Tase 0: autonoomsust pole</h4>
Autonoomsus puudub, ehk juht peab tegema kõik ise, kuid võib natukene teavitustega aidata, andes näiteks teada, kui inimene või auto on liiga lähedal.
Autonoomsus puudub ehk juht peab tegema kõik ise, kuid sõiduk võib teavitustega aidata, andes näiteks teada, kui inimene või teine auto on liiga lähedal.
<h4>Tase 1: juhiabi</h4>
<h4>Tase 1: juhiabi</h4>
Selles tasemes on teatud funktsioonid, mis juhti aitavad, aga juht peab koguaeg ka ise tegevuses. Juhti abistavad tehnoloogiad on näiteks stabiilsuskontroll, rajahoidja, parkimisabi automaatse roolikeeramisega ning muud tehnoloogiad. Sellised on enamus meie tänavatel liiklevad autod.
Selles tasemes on teatud funktsioonid, mis juhti aitavad, aga juht peab koguaeg ka ise tegevuses. Juhti abistavad tehnoloogiad on näiteks stabiilsuskontroll, rajahoidja, parkimisabi automaatse roolikeeramisega ning muud tehnoloogiad. Sellised on enamus meie tänavatel liiklevad autod.
<h4>Tase 2: osaline autonoomsus</h4>
<h4>Tase 2: osaline autonoomsus</h4>
Teine tase on juba selline, kus automaatne süsteem suudab kontrollida ka pidurit, gaasi ja roolikeeramist, aga juhil on siiski vastutus hoida silma peal ja vajadusel sekkuda, mille peale siis automaatsüsteem deaktiveerub. Siin kasutatavad tehnoloogiad on näiteks adaptiivne kiirusehoidja ja automaatne sõiduraja hoidja.
Teise taseme automaatne süsteem suudab kontrollida ka pidurit, gaasi ja roolikeeramist, aga juhil on siiski vastutus hoida silma peal ja vajadusel sekkuda, mille puhul automaatsüsteem deaktiveerub. Siin kasutatavad tehnoloogiad on näiteks adaptiivne kiirusehoidja ning automaatne sõiduraja hoidja.
<h4>Tase 3: tingimuslik autonoomsus</h4>
<h4>Tase 3: tingimuslik autonoomsus</h4>
Kolmas tase ehk piiratud isejuhtivus: juht võib täielikult loobuda kõikidest ohutus-kriitilistest funktsioonidest teatud oludes. Sõiduk on võimeline tuvastama, mil juhil on taas tarvis kontroll tagasi võtta ja jätab juhile “arvestatava reageerimisaja” kontrolli tagasi võtmiseks. Näide oleks ummikuassistent, mis siis kulgeb ummikuga vaikselt edasi, aga kui ummikust on välja jõutud, on juhtimine taas juhi käes.
Kolmas tase ehk piiratud isejuhtivus: juht võib täielikult loobuda kõikidest ohutus-kriitilistest funktsioonidest teatud oludes. Sõiduk on võimeline tuvastama, et millal on juhil taas tarvis kontroll auto üle endale võtta ning jätab juhile selle jaoks ka “arvestatava reageerimisaja”. Näiteks ummikuassistent, mis kulgeb ummikuga vaikselt edasi, kuid kui ummikust on välja jõutud, on juhtimine taas juhi käes.
<h4>Tase 4: kõrge autonoomsus</h4>
<h4>Tase 4: kõrge autonoomsus</h4>
Neljandal tasemel on suurem osa kontrollist masina käes. Masin on suuteline ise kiirendama, pidurdama ja pöörama. Need on võimelised ka teeolusid kontrollima ja reageerima takistustele, mis määrab siis millal auto peaks pöörama ja/või rida vahetama. Siinkohal on võimalus täielikult loobuda autos viibivatest inimestest.
Neljandal tasemel on suurem osa kontrollist masina käes. Masin on suuteline ise kiirendama, pidurdama ja pöörama. Need on võimelised ka teeolusid kontrollima ja reageerima takistustele, mis määrab, millal auto peaks pöörama ja/või rida vahetama. Selle tasemel puhul on võimalik täielikult loobuda autos viibivatest inimestest.
<h4>Tase 5: täielik autonoomsus</h4>
<h4>Tase 5: täielik autonoomsus</h4>
Siinkohal on masinal täielik kontroll, inimesel põhimõtteliselt polegi rooli antud, vaid autot juhib tehisintellekt. Juht võib samal ajal teha hoopiski midagi muud, ilma et autole tähelepanu pööraks. Auto suudab reageerida päriselu olukordadele nagu näiteks liiklusummikud, teetööd. Hetkel selliseid masinaid põhimõtteliselt ei eksisteerigi.
Viienda taseme puhul on masinal täielik kontroll, inimese jaoks ei pruugi autos rooli isegi olla, autot juhib tehisintellekt. Juht võib samal ajal tegeleda millegi muuga, ilma et autole tähelepanu pööraks. Auto suudab reageerida päriselu olukordadele nagu näiteks liiklusummikud või teetööd. Hetkel selliseid masinaid (vähemalt avalikus kasutuses) ei eksisteeri.


== Kuidas isesõitvad autod näevad ==
== Kuidas isesõitvad autod näevad ==


Objektide nägemine ja nende tuvastamine on keeruline protsess. Inimesel on nägemiseks ainult silmad, mis saadavad saadud info ajju ning seal töödeldakse see meile arusaadavaks. Isesõitvatel autodel jääb aga ühest paarist silmadest puudu. Töökindla nägemissüsteemi loomisel on võtmeks palju erinevaid sensoreid ja nende info kattuvus. Nii saab ühe "silma" abil kontrollida, mida teine "silm" nägi.<ref name="nvidia"> https://blogs.nvidia.com/blog/2019/04/15/how-does-a-self-driving-car-see/ </ref>
Objektide nägemine ja nende tuvastamine on keeruline protsess. Inimesel on nägemiseks ainult silmad, mis saadavad saadud info ajju ning seal töödeldakse see meile arusaadavaks. Isesõitvatel autodel jääb aga ühest silmapaarist väheks. Töökindla nägemissüsteemi loomisel on võtmeks palju erinevaid sensoreid ning nende info kattuvus. Nii saab ühe "silma" abil kontrollida, mida teine "silm" nägi.<ref name="nvidia"> https://blogs.nvidia.com/blog/2019/04/15/how-does-a-self-driving-car-see/ </ref>
<h4>GPS</h4>
<h4>GPS</h4>
Oma positsiooni kaardil näeb isesõitev auto GPS-süsteemiga. See annab veidi ebatäpse asukoha autost teel, mille saab erinevate teiste nägemissensorite abil täpsustada. Selle järgi teab auto kuhu ja mis suunas ta sõidab ning tihtipeale annab ainult asukoha abil välja lugeda liikluseeskirju, näiteks mis on antud piirkonnas tippsõidukiirus. Ideaalis oleks võimalik kokkupõrkeid teiste liiklejatega vältida GPS positsioonide põhjal, kuna aga see süsteem pole nii täpne ja kõik liiklejad ei kasuta kogu aeg GPS-i, tuleb see info autol üle kontrollida.
Oma positsiooni kaardil näeb isesõitev auto GPS-süsteemi abil. GPS annab küll veidi ebatäpse asukoha autost teel, kuid seda saab erinevate teiste nägemissensorite abil täpsustada. GPS-i ja sensorite abil saadud pildi järgi teab auto, mis suunas ta sõidab ning tihtipeale annab ainult asukoha abil välja lugeda liikluseeskirju, näiteks mis on antud piirkonnas maksimaalne lubatud sõidukiirus. Ideaalis oleks võimalik kokkupõrkeid teiste liiklejatega vältida GPS positsioonide põhjal, kuna see süsteem pole aga nii täpne ja kõik liiklejad ei kasuta kogu aeg GPS-i, tuleb see info autol üle kontrollida.
<h4>Radar</h4>
<h4>Radar</h4>
Objektide positsiooni ja kaugust autost aitab mõõta radar. Raadiolokaator saadab välja ruumis levivaid raadiolaineid, mis põrkavad objektidelt tagasi sensorisse. Selleks kulunud aeg mõõdetakse ning selle kaudu arvutatakse objekti kaugus. See süsteem aitab ümberringi tuvastada, kas, kui suured ja kui kaugel takistused asuvad. Radari boonuseks on näha takistusi ka täiesti pimedas, küll aga ei oska auto radarist saadud infoga tuvastada takistuse olemust ehk kas tegemist on jalakäija, posti või tuletõrjehüdrandiga. <ref name="radar"> https://et.wikipedia.org/wiki/Radar </ref>
Objektide positsiooni ja kaugust autost aitab mõõta radar. Raadiolokaator saadab välja ruumis levivaid raadiolaineid, mis põrkavad objektidelt tagasi sensorisse. Selleks kulunud aeg mõõdetakse ning selle kaudu arvutatakse objekti kaugus. See süsteem aitab ümberringi tuvastada, kas ja kui suured ning kui kaugel takistused asuvad. Radari boonuseks on näha takistusi ka täiesti pimedas, küll aga ei oska auto radarist saadud infoga tuvastada takistuse olemust ehk kas tegemist on jalakäija, posti või tuletõrjehüdrandiga.<ref name="radar"> https://et.wikipedia.org/wiki/Radar </ref>
<h4>LIDAR-kaamera</h4>
<h4>LIDAR-kaamera</h4>
Täpsema pildi saamiseks kasutatakse LIDAR-kaameraid. Laserskanneerimisseadme tööpõhimõte on tagasipeegeldunud laserimplulsilt kolmemõõtmeliste kordinaatide arvutamine. Lidar saadab välja infrapunalaserimplusse, mis põrkavad objektidelt tagasi ja selleks kulunud aeg arvutatakse ümber objekti asukohaks ruumis<ref name="lidar"> https://et.wikipedia.org/wiki/Lidar </ref>. Tänu valguse levimise kiirusele on lidariga võimalik saada pilt väga suurest alast. Kuna laserimpulsse saadetakse korraga välja palju, on objektist võimalik saada üsnagi detailne kujutis, mille abil on võimalik tuvastada, mis objektiga on tegu. Sarnaselt radarile on lidari boonuseks näha objekte pimedas ning tänu oma lasertäpsusele ka näha objekte detailselt, puudu jääb ainult viis tuvastada objekti värvus.<ref name="nvidia"> https://blogs.nvidia.com/blog/2019/04/15/how-does-a-self-driving-car-see/ </ref>
Täpsema pildi saamiseks kasutatakse LIDAR-kaameraid. Laserskanneerimisseadme tööpõhimõte on tagasipeegeldunud laserimplulsilt kolmemõõtmeliste kordinaatide arvutamine. Lidar saadab välja infrapunalaserimplusse, mis põrkavad objektidelt tagasi ja selleks kulunud aeg arvutatakse ümber objekti asukohaks ruumis<ref name="lidar"> https://et.wikipedia.org/wiki/Lidar </ref>. Tänu valguse levimise kiirusele on lidariga võimalik saada pilt väga suurest alast. Kuna laserimpulsse saadetakse korraga välja palju, on objektist võimalik saada üsnagi detailne kujutis, mille abil on võimalik tuvastada, mis objektiga on tegu. Sarnaselt radarile on lidari boonuseks näha objekte pimedas ning tänu oma lasertäpsusele ka näha objekte detailselt, puudu jääb ainult viis tuvastada objekti värvus.<ref name="nvidia"> https://blogs.nvidia.com/blog/2019/04/15/how-does-a-self-driving-car-see/ </ref>
<h4>Kaamera</h4>
<h4>Kaamera</h4>
Kõige enam masinõpet nõudev nägemissüsteem on tavaline kaamera. Kaamerad on põhiline süsteem, mille abil tuvastatakse, mis objektiga lõpuks tegemist on. Reaalse pildiga on võimalik näha objekti kuju ja värvus. Kaamera jääb küll tavaliselt hätta takistuste kauguse määramisega, kus tulevad appi teised süsteemid, ning üldiselt on raskusi halva nähtavusega ajal, näiteks pimedas, udus, vihma ajal. Parima informatsiooni jaoks salvestatakse pilt 360° ringluses, kus rõhk on pandud ette näitavatele kaameratele. Kasutatakse ka erinevaid kaameraid heleduse-tumeduse mõõtmiseks ja värvi leidmiseks.<ref name="tesla"> https://www.tesla.com/models </ref>
Kõige enam masinõpet nõudev nägemissüsteem on tavaline kaamera. Kaamerad on põhiline süsteem, mille abil tuvastatakse, mis objektiga lõpuks tegemist on. Reaalse pildiga on võimalik näha objekti kuju ja värvus. Kaamera jääb küll tavaliselt hätta takistuste kauguse määramisega, millega tulevad appi teised süsteemid, ning üldiselt on raskusi ka halva nähtavusega ajal, näiteks pimedas, udus või vihma ajal. Parima informatsiooni jaoks salvestatakse pilt 360° ringluses, kus rõhk on pandud ette näitavatele kaameratele. Kasutatakse ka erinevaid kaameraid heleduse-tumeduse mõõtmiseks ja värvi leidmiseks.<ref name="tesla"> https://www.tesla.com/models </ref>
<h4>Soojuskaamera</h4>
2021. aastast hakatakse 4. taseme autonoomsetele autodele lisama FLIR'i soojuskaameraid. Autotehnika ettevõte Veoneer, kes pakub praegu issõitvatele autodele nii radareid kui ka LIDAR-kaameraid, hakkab neile lisama ka veel FLIR'i soojuskaameraid ja -sensoreid. FLIR on tuntud termograafiatarkvara tootja, mille tooteid kasutatakse laialdaselt ka muudes tehnoloogia valdkondades. Soojuskaamerad aitavad autol paremini tuvastada erinevaid objekte, sealhulgas ka jalakäijaid. Soojuskaameraid kasutatakse ka juba praegu tavalistes autodes, kuid need on peamiselt kasutusel metsloomade tuvastamiseks pimedal ning halva nähtavusega ajal<ref name="FLIR">https://www.flir.eu/oem/adas/</ref><ref name="soojuskaamerate lisamine">https://www.designnews.com/electronics-test/flirs-thermal-sensors-are-coming-self-driving-cars-2021</ref>.
<h4>Programmeering ja masinõpe</h4>
<h4>Programmeering ja masinõpe</h4>
Eelnevalt toodud süsteemidest saadud info lükatakse kokku ja töödeltakse auto ajus. Kattuv informatsioon tuleb ainult kasuks, näiteks lidarist saadud pildi järgi saadud objekt kinnitatakse kaamera pildist saadud infoga. Süstemid ei oska ise kahjuks midagi nendega teha ja siin tulebki sisse masinõpe. Pole vahet kui palju erinevaid "silmi" autol on kui ta ei tea, mida nende andmetega peale hakata. Kõige suuremad probleemid takistuse tuvastamisel tekivad just siin. Masinale maailma õpetamine on aeganõudev ja väga mahukas ülesanne. Andmete ära tundmisel annab tunda iga süsteemi väke viga, näiteks pilt tuli udune, kaks erinevat objekti sulandusid info kogumisel üheks jne.
Eelnevalt toodud süsteemidest saadud info lükatakse kokku ja töödeldakse auto ajus. Kattuv informatsioon tuleb ainult kasuks, näiteks lidarist saadud pildi järgi saadud objekt kinnitatakse kaamera pildist saadud infoga. Süstemid ei oska ise kahjuks midagi nendega teha ja siin tulebki sisse masinõpe. Pole vahet, kui palju erinevaid "silmi" autol on, kui ta ei tea, mida nendest silmadest saadud andmetega peale hakata. Kõige suuremad probleemid takistuse tuvastamisel tekivad just siin. Masinale maailma õpetamine on aeganõudev ning väga mahukas ülesanne. Andmete äratundmisel annab tunda süsteemi iga väike viga, näiteks udune pilt, kaks erinevat objekti sulandusid info kogumisel üheks jne. Tumeda nahaga inimeste mitte nägemine tulenebki peamiselt masinõppe ja kaamera vigadest.


== Õnnetused isesõitvate autodega ==
== Õnnetused isesõitvate autodega ==


<h4>Esimesed hukkunud</h4>
<h4>Esimesed hukkunud</h4>
Teadaolevalt esimene hukkunuga liiklusõnnetus, kus osales autonoomne auto, toimus Willistonis (Floridas) 7. mail 2016. aastal. Tesla Model S juht oli lülitanud maanteel sõites auto autopiloodi peale. Tesla isesõitev auto sõitis otsa valget värvi traktorihaagisele, mille tagajärjel suri auto juht. Põhjus, miks Tesla Model S ei suutnud kokkupõrget vältida, oli sensorite ebatäiuslikkus. Nimelt ei suutnud auto eristada heleda taeva taustal maanteed ületavat heledat värvi haagist ning sõitis täiskiirusel haagise "alla". Kusjuures varasemalt oli hukkunu postitanud internetti video, kus tema Tesla suutis edukalt vältida kokkupõrget. <ref name="esimene hukkunu"> https://www.theguardian.com/technology/2016/jun/30/tesla-autopilot-death-self-driving-car-elon-musk </ref>
Teadaolevalt esimene hukkunuga liiklusõnnetus, kus osales autonoomne auto, toimus Willistonis (Floridas) 7. mail 2016. aastal. Tesla Model S juht oli lülitanud maanteel sõites auto autopiloodi peale. Tesla isesõitev auto sõitis otsa valget värvi traktorihaagisele, mille tagajärjel suri auto juht. Põhjus, miks Tesla Model S ei suutnud kokkupõrget vältida, oli sensorite ebatäiuslikkus. Nimelt ei suutnud auto eristada heleda taeva taustal maanteed ületavat heledat värvi haagist ning sõitis täiskiirusel haagise "alla". Kusjuures varasemalt oli hukkunu postitanud internetti video, kus tema Tesla suutis edukalt vältida kokkupõrget.<ref name="esimene hukkunu"> https://www.theguardian.com/technology/2016/jun/30/tesla-autopilot-death-self-driving-car-elon-musk </ref>


Teadaolevalt esimene jalakäijast hukkunuga liiklusõnnetus, millega oli seotud isesõitev auto, toimus 19. märtsil aastal 2018 Tempes (Arizonase osariigis). Autoks oli 2017. aasta Volvo XC90 SUV, ning see oli seotud Uberi (sõidujagamisplatvorm) isesõitvate autode programmiga. Volvo juhiistmel istus küll operaator, kes pidi kontrollima auto iseseisvust, kuid ta ei suutnud õnnetust ära hoida. Õnnetuse tagajärjel peatas Uber ajutiselt autonoomsete autode projekti sündmuse üksikasjade väljaselgitamise ajaks. <ref name="esimene hukkunud jalakäija"> https://www.nbcnews.com/tech/innovation/self-driving-uber-car-involved-fatal-accident-arizona-n857941 </ref>
Teadaolevalt esimene jalakäijast hukkunuga liiklusõnnetus, millega oli seotud isesõitev auto, toimus 19. märtsil aastal 2018 Tempes (Arizonase osariigis). Autoks oli 2017. aasta Volvo XC90 SUV, ning see oli seotud Uberi (sõidujagamisplatvorm) isesõitvate autode programmiga. Volvo juhiistmel istus küll operaator, kes pidi kontrollima auto iseseisvust, kuid ta ei suutnud õnnetust ära hoida. 18. eelneva kuu jooksul olid Uberi isesõitvad autod olnud 37 erinevas liiklusõnnetuses, ning surmaga lõppenud õnnetuse tagajärjel peatas Uber ajutiselt autonoomsete autode projekti sündmuse üksikasjade väljaselgitamise ajaks. Projekt avati uuesti pärast 2 aastat seisakut.<ref name="esimene hukkunud jalakäija"> https://www.nbcnews.com/tech/innovation/self-driving-uber-car-involved-fatal-accident-arizona-n857941 </ref>


Kuigi eelnevalt välja toodud kurbade tagajärgedega õnnetused toimusid vigade või puuduste pärast autode süsteemis, ei saa siiski süüdistada ainult autosid ning autode tootjaid. Tegemist oli küll isesõitvate autodega, aga siiski ei saanud tol ajal ja ei saa ka veel praegu eeldada, et sellise autoga sõites ei pea ise tähelepanelik olema. Kui nende autode juhid oleksid pööranud tähelepanu teel toimuvale, oleksid võinud nad eluga pääseda. Liiga palju tehakse isesõitvate autodega seda viga, et pannakse auto autopiloodile ning ise keskendutakse oma äriasjadele või millelegi muule, selle asemel, et teed jälgida. Autopilooti on hea kasutada näiteks juhul, kui on vaja näiteks sõidu ajal kindlasti teha telefonikõne, kuid näiteks (tarkvarafirma) programmeerija ei tohiks kindlasti mitte võtta välja oma sülearvutit ning hakata autoroolis olles programmeerima.
Kuigi eelnevalt välja toodud kurbade tagajärgedega õnnetused toimusid vigade või puuduste pärast autode süsteemis, ei saa siiski süüdistada ainult autosid ning autode tootjaid. Tegemist oli küll isesõitvate autodega, aga siiski ei saanud tol ajal ja ei saa ka veel praegu eeldada, et sellise autoga sõites ei pea ise tähelepanelik olema. Kui nende autode juhid oleksid pööranud tähelepanu teel toimuvale, oleksid võinud nad eluga pääseda. Liiga palju tehakse isesõitvate autodega seda viga, et pannakse auto autopiloodile ning ise keskendutakse oma äriasjadele või millelegi muule, selle asemel, et teed jälgida. Autopilooti on hea kasutada näiteks juhul, kui on vaja näiteks sõidu ajal kindlasti teha telefonikõne, kuid näiteks (tarkvarafirma) programmeerija ei tohiks kindlasti mitte võtta välja oma sülearvutit ning hakata autoroolis olles programmeerima.
Line 64: Line 66:


<h5>Tesla</h5>
<h5>Tesla</h5>
2020. aasta III kvartalis toimus Tesla autonoomsete autodega autopiloodiga sõites õnnetus ca iga 7,34 miljoni sõidetud kilomeetri kohta, samal ajal USA üldise statistika järgi toimusid liiklusõnnetused iga ca 766 tuhande läbisõidetud kilomeetri kohta. 2020. aasta II kvartalis olid vastavad numbrid 7,25 miljonit ja 766 tuhat ning sama aasta I kvartalis 7,49 miljonit ja 766 tuhat. Tesla  sõidukid, millega sõites ei kasutatud autopilooti ega ka teisi turvalisusfunktsioone, sattusid õnnetustesse hoopis tihedamini, kõigis kolmes kvartalis jäid nende sõidukite läbisõidud ühe õnnetuse kohta vahemikku 2,27-2,86 miljonit kilomeetrit. <ref name="tesla õnnetuste statistika"> https://www.tesla.com/VehicleSafetyReport </ref>
2020. aasta III kvartalis toimus Tesla autonoomsete autodega autopiloodiga sõites õnnetus ca iga 7,34 miljoni sõidetud kilomeetri kohta, samal ajal USA üldise statistika järgi toimusid liiklusõnnetused iga ca 766 tuhande läbisõidetud kilomeetri kohta. 2020. aasta II kvartalis olid vastavad numbrid 7,25 miljonit ja 766 tuhat ning sama aasta I kvartalis 7,49 miljonit ja 766 tuhat. Tesla  sõidukid, millega sõites ei kasutatud autopilooti ega ka teisi turvalisusfunktsioone, sattusid õnnetustesse hoopis tihedamini, kõigis kolmes kvartalis jäid nende sõidukite läbisõidud ühe õnnetuse kohta vahemikku 2,27-2,86 miljonit kilomeetrit.<ref name="tesla õnnetuste statistika"> https://www.tesla.com/VehicleSafetyReport </ref>


Vahe Tesla autopiloodiga auto ning muude (autopiloodita) autode vahel on numbrites päris suur. Läbisõit ühe õnnetuse kohta erineb pea 10 korda, tundub, nagu oleks Tesla see üks ja õige auto, millega sõita, et oleks turvaline. Samas aga on oluline meeles pidada, et Tesla luksusautode firma ning hind on sellele vastav (kuigi on ka mõned odavamad autod), see tähendab, et selle auto kasutajad on üldiselt jõukamad inimesed ning suure tõenäosusega ka intelligentsemad, kui keskmine auto kasutaja (eriti just kui on varandus ise teenitud, mitte pärandusena saadud). Intelligentsem autojuht suudab tõenäoliselt rohkem end talitseda autot juhtides ning ei proovi iga hinna eest autost maksimumi kätte saada, mis vähendabki juba oluliselt ohtu liiklusõnnetuse juhtumiseks.
Vahe Tesla autopiloodiga auto ning muude (autopiloodita) autode vahel on numbrites päris suur. Läbisõit ühe õnnetuse kohta erineb pea 10 korda, tundub, nagu oleks Tesla see üks ja õige auto, millega sõita, et oleks turvaline. Samas aga on oluline meeles pidada, et Tesla luksusautode firma ning hind on sellele vastav (kuigi on ka mõned odavamad autod), see tähendab, et selle auto kasutajad on üldiselt jõukamad inimesed ning suure tõenäosusega ka intelligentsemad, kui keskmine auto kasutaja (eriti just kui on varandus ise teenitud, mitte pärandusena saadud). Intelligentsem autojuht suudab tõenäoliselt rohkem end talitseda autot juhtides ning ei proovi iga hinna eest autost maksimumi kätte saada, mis vähendabki juba oluliselt ohtu liiklusõnnetuse juhtumiseks.
Line 70: Line 72:
<h5>Waymo ehk Google isesõitva auto firma</h5>
<h5>Waymo ehk Google isesõitva auto firma</h5>
Waymo puhul on keeruline leida sama detailselt andmeid kui Tesla puhul, kuid see on ka arusaadav, kuna Waymo tegutseb vaid ühes Phoenixi piirkonnas Arizona osariigis. Waymo pakub isesõitvat taksoteenust ning teenus anti avalikku kasutusse alles hiljuti - 2020. aasta oktoobris.
Waymo puhul on keeruline leida sama detailselt andmeid kui Tesla puhul, kuid see on ka arusaadav, kuna Waymo tegutseb vaid ühes Phoenixi piirkonnas Arizona osariigis. Waymo pakub isesõitvat taksoteenust ning teenus anti avalikku kasutusse alles hiljuti - 2020. aasta oktoobris.
Antud firma autonoomsed autod olid 2020. aasta oktoobri lõpuks läbinud 20 kuuga 9,76 miljonit kilomeetrit, millest pisut üle 100 tuhande kilomeetri läbiti ilma rooli taga oleva operaatorita. Selle aja jooksul sattusid Waymo isesõitvad autod õnnetustesse jalakäijate, ratturite, autojuhtide või muude objektidega 18 korral ning lisaks oli 29 situatsiooni, kus oli vaja anda juhtimine õnnetuse vältimiseks üle auto juhiistmel olnud inimesele. Ühe õnnetuse kohta teeb see läbisõiduks ca 540 tuhat kilomeetrit, mis on halvem number kui Tesla statistika juures välja toodud läbisõit ühe liiklusõnnetuse kohta üldises statistikas USA kohta. Sellest võiks järeldada, et Waymo autosid on ohtlikum kasutada, kui ise autot juhtida. Keeruline on omavahel võrrelda Tesla ja Waymo statistikat, arvestades, et ühe ettevõtte autod sõidavad teise firma autodest (kümnetes) kordades rohkem kilomeetreid läbi ning üks projekt on teisest kestnud ka ajaliselt palju kauem.<ref name="Waymo statistika"> https://venturebeat.com/2020/10/30/waymos-driverless-cars-were-involved-in-18-accidents-over-20-month/ </ref>
Antud firma autonoomsed autod olid 2020. aasta oktoobri lõpuks läbinud 20 kuuga 9,76 miljonit kilomeetrit, millest pisut üle 100 tuhande kilomeetri läbiti ilma rooli taga oleva operaatorita. Selle aja jooksul sattusid Waymo isesõitvad autod õnnetustesse jalakäijate, ratturite, autojuhtide või muude objektidega 18 korral ning lisaks oli 29 situatsiooni, kus oli vaja anda juhtimine õnnetuse vältimiseks üle auto juhiistmel olnud inimesele. Ühe õnnetuse kohta teeb see läbisõiduks ca 540 tuhat kilomeetrit, mis on halvem number kui Tesla statistika juures välja toodud läbisõit ühe liiklusõnnetuse kohta üldises statistikas USA kohta.<ref name="Waymo statistika"> https://venturebeat.com/2020/10/30/waymos-driverless-cars-were-involved-in-18-accidents-over-20-month/ </ref>


== Tehnoloogial on keeruline tuvastada musta nahavärvi ==
Sellest võiks järeldada, et Waymo autosid on ohtlikum kasutada, kui ise autot juhtida. Keeruline on omavahel võrrelda Tesla ja Waymo statistikat, arvestades, et ühe ettevõtte autod sõidavad teise firma autodest (kümnetes) kordades rohkem kilomeetreid läbi ning üks projekt on teisest kestnud ka ajaliselt palju kauem.


Autonoomsusega on palju riske ja probleeme, aga inimeste, täpsemalt siis tumedamate, mitte tuvastamine on üks suurimaid. Tähendab seda, et autonoomsed sõidukid ei pruugi lahendada mustanahaliste kogukondade niigi suurt jalakäijate hukkunute arvu. Näo- ja keha tuvastus süsteemid ei tuvasta ega reageeri tumedamale naha värvile nii tihti, kui heledamale naha värvile. Seda tõestas uurin Georgia Techi poolt. Uurijad proovisid kaheksat erinevat pildituvastussüsteemi ja leiti, et need olid pidevalt kuskil viis protsenti vähem täpsemad, kui testiti naha tüüpe numbritega neli, viis ja kuus Fitzpatricku skaalal (skaala mida tihti kasutatakse masinõppes erinevate nahavärvide kontekstis)<ref name="gtech"> https://arxiv.org/pdf/1902.11097.pdf </ref>. [[File:The-Fitzpatrick-Scale.png|800px|thumb|center|Fitzpatricku skaala]]
== Tehnoloogial on keeruline tuvastada tumedat nahavärvi ==
Asi ei ole kindlasti rassismis, vaid pigem kasutatavas tehnoloogias. Uurijad arvavad, et asi võib selles olla, et masinõppe treenimisel ei kasutata piisavalt tumedanahalisi inimesi ning üleüldiselt pööratakse nendele vähem tähelepanu. Ehk siis autonoomne auto päästab ennem heleda nahaga inimese kui tumedanahalise inimese, sest nende jalakäijate tuvastussüsteem on treenitud nägema rohkem heleda nahaga inimesi - algoritmid õpivad seda, mida neile "söödetakse". Kui näiteks ei ole piisavalt infot mustanahalise naise kohta, siis on masinal neid raske tuvastada kui need töösse pannakse <ref name="vox">https://www.vox.com/future-perfect/2019/3/5/18251924/self-driving-car-racial-bias-study-autonomous-vehicle-dark-skin</ref>.  
 
Autonoomsusega on palju riske ja probleeme, aga inimeste, täpsemalt tumedama nahavärviga, mitte tuvastamine on üks suurimaid. See tähendab, et autonoomsed sõidukid ei pruugi vähendada mustanahaliste kogukondade niigi suurt jalakäijate hukkunute arvu. Näo- ja kehatuvastussüsteemid ei tuvasta ega reageeri tumedamale naha värvile nii tihti, kui heledamale nahale. Seda tõestas uuring Georgia Techi poolt. Uurijad proovisid kaheksat erinevat pildituvastussüsteemi ning leiti, et tuvastamine oli pidevalt kuskil viis protsenti ebatäpsem, kui testiti naha tüüpe numbritega neli, viis ja kuus Fitzpatricku skaalal (skaala mida tihti kasutatakse masinõppes erinevate nahavärvide kontekstis)<ref name="gtech"> https://arxiv.org/pdf/1902.11097.pdf </ref>. [[File:The-Fitzpatrick-Scale.png|800px|thumb|center|Fitzpatricku skaala]]
Asi ei ole kindlasti rassismis, vaid pigem kasutatavas tehnoloogias. Uurijad arvavad, et asi võib olla selles, et masinõppe treenimisel ei kasutata piisavalt tumedanahalisi inimesi ning ka üleüldiselt pööratakse nendele vähem tähelepanu. Ehk siis autonoomne auto päästab pigem heleda nahavärviga kui tumedanahalise inimese, sest nende jalakäijate tuvastussüsteem on treenitud nägema rohkem heleda nahaga inimesi - algoritmid õpivad seda, mida neile "söödetakse". Kui näiteks ei ole piisavalt infot mustanahalise naise kohta, siis on masinal neid raske tuvastada kui need töösse pannakse<ref name="vox">https://www.vox.com/future-perfect/2019/3/5/18251924/self-driving-car-racial-bias-study-autonomous-vehicle-dark-skin</ref>.  


<h4>Võimalikud lahendused</h4>
<h4>Võimalikud lahendused</h4>
Lahenduseks on pakutud, et tiimid, kes arendavad neid algoritme, võiksid olla rassiliselt mitmekesisemad. Siis oleks ehk lihtsam treenida masinaid, ilma, et mingi rass oleks jälle katmata. See võibolla muudaks ka mentaliteeti, et tumedanahalised on vähem tähtsamad. Veel on variant, et sunniks firmasid testima ja demonstreerima enda algoritme, et need vastaksid teatud standarditele ennem kui need kasutusele võetakse. Demonstreerimine annaks esiteks võimaluse firmadel ennast tõestada, aga ka vigu tuvastada <ref name="vox" />. Autonoomsed sõidukid võivad saada iga päevaga targemaks, aga nad pole veel piisavalt targad et olla laialdaselt kasutusel.
Lahenduseks on pakutud, et autonoomsete autode algoritmide arendusega tegelevad tiimid võiksid olla rassiliselt mitmekesisemad. Siis oleks ehk lihtsam treenida ka masinaid nii, et mõni inimrass ei jääks katmata. See võiks muuta ka mentaliteeti, et tumedanahalised on vähemtähtsad. On ka veel variant sundida firmasid viima oma isesõitvate autode algoritme vastavusse kindlate standarditega, enne kui need lubatakse avalikku kasutusse. Oluline oleks ka firmade poolt oma leiutiste demonstreerimine enne müügitöö alustamist. Demonstreerimine annaks esiteks võimaluse firmadel ennast tõestada, aga ka süsteemi jäänud vigu tuvastada<ref name="vox" />. Autonoomsed sõidukid võivad saada iga päevaga targemaks, kuid nad pole veel piisavalt targad, et olla laialdaselt kasutusel.
 
2021. aastast hakkab termograafiatarkvara tootja FLIR tegema koostööd autoelektroonikaga tegeleva ettevõtte Veoneer'iga. Veoneer hakkab 4. taseme isesõitvatele autodele lisama lisaks radaritele ja LiDar-kaameratele ka FLIR'i soojuskaameraid <ref name="soojuskaamerate lisamine">https://www.designnews.com/electronics-test/flirs-thermal-sensors-are-coming-self-driving-cars-2021</ref>. Soojuskaamerate lisamine isesõitvatele võib potentsiaalselt ära hoida rohkem õnnetusi isesõitvate autode ja jalakäijate vahel. Soojuskaamera jaoks ei ole jalakäija nahavärvus oluline.


== Kokkuvõte ==
== Kokkuvõte ==
Isesõitvad autod on meie tulevik, kuid enne, kui ollakse 100% kindlad, et autonoomsed autod suudavad iseseisvalt vältida teiste
liiklejate surmasid, ei saa täielikult isesõitvaid autosid tänavatele lasta. Paljud eksperdid usuvad, et seda ei juhtugi kunagi, kuid samas paljud ettevõtted on jällegi kindlad, et see päev kunagi saabub.
Autonoomsete autodega tuleb veel palju arendustööd teha ning mõelda välja paremaid lahendusi, et nendega ja nende ümber liiklemine oleks igas olukorras turvalisem. Üks autonoomse auto probleemidest on näiteks inimese tuvastamine. Auto suudab inimesi ning muid objekte tuvastada tänu radarile, LIDAR-kaamerale, tavalistele kaameratele ning muudele süsteemidele. Inimese tuvastamine pole siiski veel täiuslikkuseni jõudnud. Nimelt tuvastab autonoomne auto 5% võrra väiksem arv kordi tumeda nahavärviga inimest kui heledanahalisi. Selle probleemi lahendusteks on pakutud algoritmide kohandamist ning tuvastamissüsteemide mitmekesisemaks muutmist. Paigaldama hakatakse ka uusi süsteeme, et veelgi edendada auto turvalisust. Näiteks hakatakse ka kasutama soojuskaameraid.
Statistika küll näitab, et autonoomsed autod põhjustavad kordades vähem liiklusõnnetusi kui tavalised autod, kuid siiski ei ole need veel täiuslikud. Isesõitvad autod on põhjustanud mitmeid surmasid ning need õnnetusjuhtumid on sundinud ettevõtteid tegema veel enam parandusi turvalisuse poole.


== Kasutatud materjalid ==
== Kasutatud materjalid ==


{{reflist}}
{{reflist}}

Latest revision as of 23:07, 13 December 2020

Sissejuhatus

Meie pidevalt arenevas tehnikaajastus on järjest teemakohasemaks saanud erinevad autonoomsed süsteemid, eriti autod. Kahjuks on aga autonoomsete autode juures vaja ära teha veel väga palju arendustööd, kuna hetkel on nende vabalt teedele lubamiseks liigselt takistusi. Üks oluline probleem on seotud inimeste tuvastamisega, eriti just tumedama nahavärviga inimeste puhul, mistõttu ei ole isesõitvad autod piisavalt ohutud. Autodel tohib lubada autonoomselt liigelda alles siis, kui autonoomsuse süsteemi vigade tõttu ei teki inimhukkunuid. Hukkunute arvu päris nulli viia ilmselt siiski ei saa, kuna alati on võimalik süsteemis mingisuguse lühise või muu taolise probleemi tekkimine, kuid oluline on hukkunute arv viia nii nulli lähedale kui vähegi võimalik.

Isesõitvate autode lühiajalugu

Kui teha juttu isesõitvatest autodest, siis oleks mõistlik alustada täiesti algusest.

American Wonder, 1925

1925

Eksperimente hakati tegema juba 1920ndatel aastatel. 1925. aastal demonstreeris raadioseadmete firma, Houndina Radio Control, New Yorki tänavatel nn. Ameerika Ime (American Wonder). See auto suutis läbida korraliku liiklusummiku. Autole oli peale pandud antenn ning seda juhiti inimese poolt, kes oli teises sõidukis "isesõitva" auto taga, kasutades raadio impulsse, mida antenn kinni püüdis. Seejärel juhatas saadeti signaale edasi väikeste elektrimootoriteni, mis suunasid autot vajalikus suunas. Selline automatiseeritud autode juhtimise idee proovimine kehtis vähemalt 30 aastat.[1]

1950 - 1960

Järgmine suur samm juhtus 1953. aastal, kui suudeti auto joone järgi sõitma panna. Auto seadistati jälitama labori põrandasse peidetud traati. Seda süsteemi taheti proovida ka päris liikluses, esialgu siiski ainult maanteedel. 1957. aastal seda ka tehti, kui suudeti maanteele 120-meetrilisele lõigule täissuuruses süsteem paigaldada. Süsteem paigaldati asfaldi alla. Seda demonstreeriti põhjalikumalt aastal 1960, kui uudistajaid lubati nende autodega "sõitma". Eeldati, et suudetakse joont järgiv auto turule viia 1975. aastaks. 1960ndal aastal plaaniti rajada eksperimentaalne elektrooniliselt kontrollitav maantee. Neli USA osariiki ka panustasid sellele. Kahjuks jäi see aga ainult plaaniks.[1]

1980

1980. aastal viis EUREKA läbi 750 miljonit eurot maksnud projekti, mis keskendus puhtalt autonoomsetele sõidukitele. Samal sajandil suutis Autonomous Land driven Vehicle project (Autonoomse maismaasõiduki projekt), lühidalt ALV, demonstreerida teed jälgivat autot, mis kasutas arvutinägemist (computer vision-it) ja autonoomset robotjuhtimist. Sellega suudeti sõita kiirustel kuni 31 km/h. 1987. aastal suudeti sama masin ka maastikul iseseisvalt sõitma panna, kasutades erinevaid sensoreid [2]. 1995. aastal mindi ühe astme võrra kõrgemale, kui projekt nimega Navlab läbis umbes 5000 kilomeetrit, millest pea 98% oli täiesti autonoomselt juhitud. Sellele anti nimeks "No Hands Across America". Kuid nende auto oli ainult pooleldi autonoomne. Rooli juhtimine oli masina poolt, pidur ja gaas olid aga puhtalt ohutuse pärast inimeste poolt juhitavad.[3]

2010 - 2014

Alates 2010. aastast hakkasid autonoomsed masinad kujunema juba selliseks, nagu nad on tänapäeval. Paljud suured autotootjad hakkasid testima sõitjateta autosid. Näiteks saatis Audi enda TTS mudeli Pike's Peaki tippu (kuulus mägi kus toimub palju mäkke ronimise võistluseid) saavutades võistluskiiruse lähedaseid kiiruseid[4]. Muidugi ei tasu ka mainimata jätta tänapäeval väga populaarset Teslat, just autonoomse süsteemiga varustatud Model S-i millega tuldi välja aastal 2014.

Autonoomsuse viis taset

Isejuhtimise defineerimiseks on nii Ameerika Ühendriikide Transpordiamet (National Highway Traffic Safety Administration ehk NHTSA) kui ka rahvusvaheline autoinseneride ühing Society of Automotive Engineers International ehk SAE International defineerinud isejuhtiva sõiduki viis eri taset. Järgnevad tasemed on NHTSA defineeritud tasemed. Kanada päritolu isejuhtivate sõidukite disainer ja liikumise eestvedaja Brad Templeton on aga NHTSA klassifikatsiooni kõvasti kritiseerinud. Ta soovitab üle maailma võtta kasutusele SAE süsteemi. Tema sõnul on NHTSA tasemete määratlus ebatäpne, 2 ja 3 ebaturvalised ning 5. tase puhas ulme. Enamus riike kasutab kas NHTSA või SAE süsteemi, kuid näiteks Saksamaa töötas välja oma klassifikaatorid, mis on õnneks sisuliselt identsed SAE tasemetega. Eesti Valitsus võttis samuti kasutusele SAE süsteemi[5].

Tase 0: autonoomsust pole

Autonoomsus puudub ehk juht peab tegema kõik ise, kuid sõiduk võib teavitustega aidata, andes näiteks teada, kui inimene või teine auto on liiga lähedal.

Tase 1: juhiabi

Selles tasemes on teatud funktsioonid, mis juhti aitavad, aga juht peab koguaeg ka ise tegevuses. Juhti abistavad tehnoloogiad on näiteks stabiilsuskontroll, rajahoidja, parkimisabi automaatse roolikeeramisega ning muud tehnoloogiad. Sellised on enamus meie tänavatel liiklevad autod.

Tase 2: osaline autonoomsus

Teise taseme automaatne süsteem suudab kontrollida ka pidurit, gaasi ja roolikeeramist, aga juhil on siiski vastutus hoida silma peal ja vajadusel sekkuda, mille puhul automaatsüsteem deaktiveerub. Siin kasutatavad tehnoloogiad on näiteks adaptiivne kiirusehoidja ning automaatne sõiduraja hoidja.

Tase 3: tingimuslik autonoomsus

Kolmas tase ehk piiratud isejuhtivus: juht võib täielikult loobuda kõikidest ohutus-kriitilistest funktsioonidest teatud oludes. Sõiduk on võimeline tuvastama, et millal on juhil taas tarvis kontroll auto üle endale võtta ning jätab juhile selle jaoks ka “arvestatava reageerimisaja”. Näiteks ummikuassistent, mis kulgeb ummikuga vaikselt edasi, kuid kui ummikust on välja jõutud, on juhtimine taas juhi käes.

Tase 4: kõrge autonoomsus

Neljandal tasemel on suurem osa kontrollist masina käes. Masin on suuteline ise kiirendama, pidurdama ja pöörama. Need on võimelised ka teeolusid kontrollima ja reageerima takistustele, mis määrab, millal auto peaks pöörama ja/või rida vahetama. Selle tasemel puhul on võimalik täielikult loobuda autos viibivatest inimestest.

Tase 5: täielik autonoomsus

Viienda taseme puhul on masinal täielik kontroll, inimese jaoks ei pruugi autos rooli isegi olla, autot juhib tehisintellekt. Juht võib samal ajal tegeleda millegi muuga, ilma et autole tähelepanu pööraks. Auto suudab reageerida päriselu olukordadele nagu näiteks liiklusummikud või teetööd. Hetkel selliseid masinaid (vähemalt avalikus kasutuses) ei eksisteeri.

Kuidas isesõitvad autod näevad

Objektide nägemine ja nende tuvastamine on keeruline protsess. Inimesel on nägemiseks ainult silmad, mis saadavad saadud info ajju ning seal töödeldakse see meile arusaadavaks. Isesõitvatel autodel jääb aga ühest silmapaarist väheks. Töökindla nägemissüsteemi loomisel on võtmeks palju erinevaid sensoreid ning nende info kattuvus. Nii saab ühe "silma" abil kontrollida, mida teine "silm" nägi.[6]

GPS

Oma positsiooni kaardil näeb isesõitev auto GPS-süsteemi abil. GPS annab küll veidi ebatäpse asukoha autost teel, kuid seda saab erinevate teiste nägemissensorite abil täpsustada. GPS-i ja sensorite abil saadud pildi järgi teab auto, mis suunas ta sõidab ning tihtipeale annab ainult asukoha abil välja lugeda liikluseeskirju, näiteks mis on antud piirkonnas maksimaalne lubatud sõidukiirus. Ideaalis oleks võimalik kokkupõrkeid teiste liiklejatega vältida GPS positsioonide põhjal, kuna see süsteem pole aga nii täpne ja kõik liiklejad ei kasuta kogu aeg GPS-i, tuleb see info autol üle kontrollida.

Radar

Objektide positsiooni ja kaugust autost aitab mõõta radar. Raadiolokaator saadab välja ruumis levivaid raadiolaineid, mis põrkavad objektidelt tagasi sensorisse. Selleks kulunud aeg mõõdetakse ning selle kaudu arvutatakse objekti kaugus. See süsteem aitab ümberringi tuvastada, kas ja kui suured ning kui kaugel takistused asuvad. Radari boonuseks on näha takistusi ka täiesti pimedas, küll aga ei oska auto radarist saadud infoga tuvastada takistuse olemust ehk kas tegemist on jalakäija, posti või tuletõrjehüdrandiga.[7]

LIDAR-kaamera

Täpsema pildi saamiseks kasutatakse LIDAR-kaameraid. Laserskanneerimisseadme tööpõhimõte on tagasipeegeldunud laserimplulsilt kolmemõõtmeliste kordinaatide arvutamine. Lidar saadab välja infrapunalaserimplusse, mis põrkavad objektidelt tagasi ja selleks kulunud aeg arvutatakse ümber objekti asukohaks ruumis[8]. Tänu valguse levimise kiirusele on lidariga võimalik saada pilt väga suurest alast. Kuna laserimpulsse saadetakse korraga välja palju, on objektist võimalik saada üsnagi detailne kujutis, mille abil on võimalik tuvastada, mis objektiga on tegu. Sarnaselt radarile on lidari boonuseks näha objekte pimedas ning tänu oma lasertäpsusele ka näha objekte detailselt, puudu jääb ainult viis tuvastada objekti värvus.[6]

Kaamera

Kõige enam masinõpet nõudev nägemissüsteem on tavaline kaamera. Kaamerad on põhiline süsteem, mille abil tuvastatakse, mis objektiga lõpuks tegemist on. Reaalse pildiga on võimalik näha objekti kuju ja värvus. Kaamera jääb küll tavaliselt hätta takistuste kauguse määramisega, millega tulevad appi teised süsteemid, ning üldiselt on raskusi ka halva nähtavusega ajal, näiteks pimedas, udus või vihma ajal. Parima informatsiooni jaoks salvestatakse pilt 360° ringluses, kus rõhk on pandud ette näitavatele kaameratele. Kasutatakse ka erinevaid kaameraid heleduse-tumeduse mõõtmiseks ja värvi leidmiseks.[9]

Soojuskaamera

2021. aastast hakatakse 4. taseme autonoomsetele autodele lisama FLIR'i soojuskaameraid. Autotehnika ettevõte Veoneer, kes pakub praegu issõitvatele autodele nii radareid kui ka LIDAR-kaameraid, hakkab neile lisama ka veel FLIR'i soojuskaameraid ja -sensoreid. FLIR on tuntud termograafiatarkvara tootja, mille tooteid kasutatakse laialdaselt ka muudes tehnoloogia valdkondades. Soojuskaamerad aitavad autol paremini tuvastada erinevaid objekte, sealhulgas ka jalakäijaid. Soojuskaameraid kasutatakse ka juba praegu tavalistes autodes, kuid need on peamiselt kasutusel metsloomade tuvastamiseks pimedal ning halva nähtavusega ajal[10][11].

Programmeering ja masinõpe

Eelnevalt toodud süsteemidest saadud info lükatakse kokku ja töödeldakse auto ajus. Kattuv informatsioon tuleb ainult kasuks, näiteks lidarist saadud pildi järgi saadud objekt kinnitatakse kaamera pildist saadud infoga. Süstemid ei oska ise kahjuks midagi nendega teha ja siin tulebki sisse masinõpe. Pole vahet, kui palju erinevaid "silmi" autol on, kui ta ei tea, mida nendest silmadest saadud andmetega peale hakata. Kõige suuremad probleemid takistuse tuvastamisel tekivad just siin. Masinale maailma õpetamine on aeganõudev ning väga mahukas ülesanne. Andmete äratundmisel annab tunda süsteemi iga väike viga, näiteks udune pilt, kaks erinevat objekti sulandusid info kogumisel üheks jne. Tumeda nahaga inimeste mitte nägemine tulenebki peamiselt masinõppe ja kaamera vigadest.

Õnnetused isesõitvate autodega

Esimesed hukkunud

Teadaolevalt esimene hukkunuga liiklusõnnetus, kus osales autonoomne auto, toimus Willistonis (Floridas) 7. mail 2016. aastal. Tesla Model S juht oli lülitanud maanteel sõites auto autopiloodi peale. Tesla isesõitev auto sõitis otsa valget värvi traktorihaagisele, mille tagajärjel suri auto juht. Põhjus, miks Tesla Model S ei suutnud kokkupõrget vältida, oli sensorite ebatäiuslikkus. Nimelt ei suutnud auto eristada heleda taeva taustal maanteed ületavat heledat värvi haagist ning sõitis täiskiirusel haagise "alla". Kusjuures varasemalt oli hukkunu postitanud internetti video, kus tema Tesla suutis edukalt vältida kokkupõrget.[12]

Teadaolevalt esimene jalakäijast hukkunuga liiklusõnnetus, millega oli seotud isesõitev auto, toimus 19. märtsil aastal 2018 Tempes (Arizonase osariigis). Autoks oli 2017. aasta Volvo XC90 SUV, ning see oli seotud Uberi (sõidujagamisplatvorm) isesõitvate autode programmiga. Volvo juhiistmel istus küll operaator, kes pidi kontrollima auto iseseisvust, kuid ta ei suutnud õnnetust ära hoida. 18. eelneva kuu jooksul olid Uberi isesõitvad autod olnud 37 erinevas liiklusõnnetuses, ning surmaga lõppenud õnnetuse tagajärjel peatas Uber ajutiselt autonoomsete autode projekti sündmuse üksikasjade väljaselgitamise ajaks. Projekt avati uuesti pärast 2 aastat seisakut.[13]

Kuigi eelnevalt välja toodud kurbade tagajärgedega õnnetused toimusid vigade või puuduste pärast autode süsteemis, ei saa siiski süüdistada ainult autosid ning autode tootjaid. Tegemist oli küll isesõitvate autodega, aga siiski ei saanud tol ajal ja ei saa ka veel praegu eeldada, et sellise autoga sõites ei pea ise tähelepanelik olema. Kui nende autode juhid oleksid pööranud tähelepanu teel toimuvale, oleksid võinud nad eluga pääseda. Liiga palju tehakse isesõitvate autodega seda viga, et pannakse auto autopiloodile ning ise keskendutakse oma äriasjadele või millelegi muule, selle asemel, et teed jälgida. Autopilooti on hea kasutada näiteks juhul, kui on vaja näiteks sõidu ajal kindlasti teha telefonikõne, kuid näiteks (tarkvarafirma) programmeerija ei tohiks kindlasti mitte võtta välja oma sülearvutit ning hakata autoroolis olles programmeerima.

Statistika

Huvitav oleks uurida ka statistikat mõne firma isesõitvate autodega toimuvate õnnetuste kohta ning võrrelda seda üldise statistikaga.

Tesla

2020. aasta III kvartalis toimus Tesla autonoomsete autodega autopiloodiga sõites õnnetus ca iga 7,34 miljoni sõidetud kilomeetri kohta, samal ajal USA üldise statistika järgi toimusid liiklusõnnetused iga ca 766 tuhande läbisõidetud kilomeetri kohta. 2020. aasta II kvartalis olid vastavad numbrid 7,25 miljonit ja 766 tuhat ning sama aasta I kvartalis 7,49 miljonit ja 766 tuhat. Tesla sõidukid, millega sõites ei kasutatud autopilooti ega ka teisi turvalisusfunktsioone, sattusid õnnetustesse hoopis tihedamini, kõigis kolmes kvartalis jäid nende sõidukite läbisõidud ühe õnnetuse kohta vahemikku 2,27-2,86 miljonit kilomeetrit.[14]

Vahe Tesla autopiloodiga auto ning muude (autopiloodita) autode vahel on numbrites päris suur. Läbisõit ühe õnnetuse kohta erineb pea 10 korda, tundub, nagu oleks Tesla see üks ja õige auto, millega sõita, et oleks turvaline. Samas aga on oluline meeles pidada, et Tesla luksusautode firma ning hind on sellele vastav (kuigi on ka mõned odavamad autod), see tähendab, et selle auto kasutajad on üldiselt jõukamad inimesed ning suure tõenäosusega ka intelligentsemad, kui keskmine auto kasutaja (eriti just kui on varandus ise teenitud, mitte pärandusena saadud). Intelligentsem autojuht suudab tõenäoliselt rohkem end talitseda autot juhtides ning ei proovi iga hinna eest autost maksimumi kätte saada, mis vähendabki juba oluliselt ohtu liiklusõnnetuse juhtumiseks.

Waymo ehk Google isesõitva auto firma

Waymo puhul on keeruline leida sama detailselt andmeid kui Tesla puhul, kuid see on ka arusaadav, kuna Waymo tegutseb vaid ühes Phoenixi piirkonnas Arizona osariigis. Waymo pakub isesõitvat taksoteenust ning teenus anti avalikku kasutusse alles hiljuti - 2020. aasta oktoobris. Antud firma autonoomsed autod olid 2020. aasta oktoobri lõpuks läbinud 20 kuuga 9,76 miljonit kilomeetrit, millest pisut üle 100 tuhande kilomeetri läbiti ilma rooli taga oleva operaatorita. Selle aja jooksul sattusid Waymo isesõitvad autod õnnetustesse jalakäijate, ratturite, autojuhtide või muude objektidega 18 korral ning lisaks oli 29 situatsiooni, kus oli vaja anda juhtimine õnnetuse vältimiseks üle auto juhiistmel olnud inimesele. Ühe õnnetuse kohta teeb see läbisõiduks ca 540 tuhat kilomeetrit, mis on halvem number kui Tesla statistika juures välja toodud läbisõit ühe liiklusõnnetuse kohta üldises statistikas USA kohta.[15]

Sellest võiks järeldada, et Waymo autosid on ohtlikum kasutada, kui ise autot juhtida. Keeruline on omavahel võrrelda Tesla ja Waymo statistikat, arvestades, et ühe ettevõtte autod sõidavad teise firma autodest (kümnetes) kordades rohkem kilomeetreid läbi ning üks projekt on teisest kestnud ka ajaliselt palju kauem.

Tehnoloogial on keeruline tuvastada tumedat nahavärvi

Autonoomsusega on palju riske ja probleeme, aga inimeste, täpsemalt tumedama nahavärviga, mitte tuvastamine on üks suurimaid. See tähendab, et autonoomsed sõidukid ei pruugi vähendada mustanahaliste kogukondade niigi suurt jalakäijate hukkunute arvu. Näo- ja kehatuvastussüsteemid ei tuvasta ega reageeri tumedamale naha värvile nii tihti, kui heledamale nahale. Seda tõestas uuring Georgia Techi poolt. Uurijad proovisid kaheksat erinevat pildituvastussüsteemi ning leiti, et tuvastamine oli pidevalt kuskil viis protsenti ebatäpsem, kui testiti naha tüüpe numbritega neli, viis ja kuus Fitzpatricku skaalal (skaala mida tihti kasutatakse masinõppes erinevate nahavärvide kontekstis)[16].

Fitzpatricku skaala

Asi ei ole kindlasti rassismis, vaid pigem kasutatavas tehnoloogias. Uurijad arvavad, et asi võib olla selles, et masinõppe treenimisel ei kasutata piisavalt tumedanahalisi inimesi ning ka üleüldiselt pööratakse nendele vähem tähelepanu. Ehk siis autonoomne auto päästab pigem heleda nahavärviga kui tumedanahalise inimese, sest nende jalakäijate tuvastussüsteem on treenitud nägema rohkem heleda nahaga inimesi - algoritmid õpivad seda, mida neile "söödetakse". Kui näiteks ei ole piisavalt infot mustanahalise naise kohta, siis on masinal neid raske tuvastada kui need töösse pannakse[17].

Võimalikud lahendused

Lahenduseks on pakutud, et autonoomsete autode algoritmide arendusega tegelevad tiimid võiksid olla rassiliselt mitmekesisemad. Siis oleks ehk lihtsam treenida ka masinaid nii, et mõni inimrass ei jääks katmata. See võiks muuta ka mentaliteeti, et tumedanahalised on vähemtähtsad. On ka veel variant sundida firmasid viima oma isesõitvate autode algoritme vastavusse kindlate standarditega, enne kui need lubatakse avalikku kasutusse. Oluline oleks ka firmade poolt oma leiutiste demonstreerimine enne müügitöö alustamist. Demonstreerimine annaks esiteks võimaluse firmadel ennast tõestada, aga ka süsteemi jäänud vigu tuvastada[17]. Autonoomsed sõidukid võivad saada iga päevaga targemaks, kuid nad pole veel piisavalt targad, et olla laialdaselt kasutusel.

2021. aastast hakkab termograafiatarkvara tootja FLIR tegema koostööd autoelektroonikaga tegeleva ettevõtte Veoneer'iga. Veoneer hakkab 4. taseme isesõitvatele autodele lisama lisaks radaritele ja LiDar-kaameratele ka FLIR'i soojuskaameraid [11]. Soojuskaamerate lisamine isesõitvatele võib potentsiaalselt ära hoida rohkem õnnetusi isesõitvate autode ja jalakäijate vahel. Soojuskaamera jaoks ei ole jalakäija nahavärvus oluline.

Kokkuvõte

Isesõitvad autod on meie tulevik, kuid enne, kui ollakse 100% kindlad, et autonoomsed autod suudavad iseseisvalt vältida teiste liiklejate surmasid, ei saa täielikult isesõitvaid autosid tänavatele lasta. Paljud eksperdid usuvad, et seda ei juhtugi kunagi, kuid samas paljud ettevõtted on jällegi kindlad, et see päev kunagi saabub.

Autonoomsete autodega tuleb veel palju arendustööd teha ning mõelda välja paremaid lahendusi, et nendega ja nende ümber liiklemine oleks igas olukorras turvalisem. Üks autonoomse auto probleemidest on näiteks inimese tuvastamine. Auto suudab inimesi ning muid objekte tuvastada tänu radarile, LIDAR-kaamerale, tavalistele kaameratele ning muudele süsteemidele. Inimese tuvastamine pole siiski veel täiuslikkuseni jõudnud. Nimelt tuvastab autonoomne auto 5% võrra väiksem arv kordi tumeda nahavärviga inimest kui heledanahalisi. Selle probleemi lahendusteks on pakutud algoritmide kohandamist ning tuvastamissüsteemide mitmekesisemaks muutmist. Paigaldama hakatakse ka uusi süsteeme, et veelgi edendada auto turvalisust. Näiteks hakatakse ka kasutama soojuskaameraid.

Statistika küll näitab, et autonoomsed autod põhjustavad kordades vähem liiklusõnnetusi kui tavalised autod, kuid siiski ei ole need veel täiuslikud. Isesõitvad autod on põhjustanud mitmeid surmasid ning need õnnetusjuhtumid on sundinud ettevõtteid tegema veel enam parandusi turvalisuse poole.

Kasutatud materjalid

  1. ↑ 1.0 1.1 https://en.wikipedia.org/wiki/History_of_self-driving_cars
  2. ↑ https://apps.dtic.mil/dtic/tr/fulltext/u2/a167472.pdf
  3. ↑ https://www.cs.cmu.edu/~tjochem/nhaa/nhaa_home_page.html
  4. ↑ https://web.archive.org/web/20120710202052/http://www.audiusa.com/us/brand/en/tools/news/pool/2010/07/new_look__reaffirmed.html
  5. ↑ https://www.accelerista.com/uudis/innovatsioon/isejuhtiva-soiduki-tasemed/
  6. ↑ 6.0 6.1 https://blogs.nvidia.com/blog/2019/04/15/how-does-a-self-driving-car-see/
  7. ↑ https://et.wikipedia.org/wiki/Radar
  8. ↑ https://et.wikipedia.org/wiki/Lidar
  9. ↑ https://www.tesla.com/models
  10. ↑ https://www.flir.eu/oem/adas/
  11. ↑ 11.0 11.1 https://www.designnews.com/electronics-test/flirs-thermal-sensors-are-coming-self-driving-cars-2021
  12. ↑ https://www.theguardian.com/technology/2016/jun/30/tesla-autopilot-death-self-driving-car-elon-musk
  13. ↑ https://www.nbcnews.com/tech/innovation/self-driving-uber-car-involved-fatal-accident-arizona-n857941
  14. ↑ https://www.tesla.com/VehicleSafetyReport
  15. ↑ https://venturebeat.com/2020/10/30/waymos-driverless-cars-were-involved-in-18-accidents-over-20-month/
  16. ↑ https://arxiv.org/pdf/1902.11097.pdf
  17. ↑ 17.0 17.1 https://www.vox.com/future-perfect/2019/3/5/18251924/self-driving-car-racial-bias-study-autonomous-vehicle-dark-skin
Retrieved from "https://wiki.itcollege.ee/index.php?title=Isesõitvad_autod_ei_tuvasta(nud)_musta_nahavärviga_inimesi&oldid=135943"