2019 Esimene samm liitreaalsusesse
Liitreaalsuse kujunemislugu - Joosep Eendra
• Esimene liitrealsuse suunas mõtlev inimene oli „Võlur Oz“ ("The Wonderful Wizard of Oz") raamatu autor L. Frank Baum, kes aastal 1901 kirjutas mõttest päriselu vaatele lisada elektroonilise kihiga vaade. „The Master Key“ raamatus kirjutab Baum „Character Marker“ prillidest, mis inimese iseloomu ausalt näitavad. Prille kandes ilmuvad inimese laubale täht „G“ kui inimene on hea ja „E“ kui inimene on paha, „W“ kui inimene on tark, „F“ kui inimene on loll. 1901. aastal võis selliseid prillidest unistada vaid ilukirjanduses.
• 1950-ndatel algatas Morton Heilig mõtte „Kogemusteatrist“ (Experience Theatre). Kogemusteatri idee oli vaataja kõiki meeli hõlmata. 1963. aastal ehitas filmioperaator Heilig valmis kogemusteatri prototüübi, mille nimeks sai Sensorama. Sensoramast oli võimalik näha viit erinevat lühifilmi ning kogemusteatris olles tulid mängu lisaks kuulmisele ja nägemisele juurde lõhna tundmine ja puudutamine. Masinast pidi saama tulevikukino prototüüp, kuid kahjuks töö peatati, kuna projekt ei saadud rahalist toetust. „Kogemusteater“ on siiani töökorras ning Morton Heiligut peetakse üheks esimeseks liitrealsuse ja virtuaalrealsuse arendajaks.
• 1968. aastal leiutab „Arvutigraafika isaks“ tituleeritud Ivan Sutherland koos oma tudengi Bob Sproulliga esimese peas kantava ekraani ja nimetab selle virtuaalmaailma aknaks.
Video Head-Mounted Displayst : https://www.youtube.com/watch?v=D0T2vycGi6E
• 1975. aastal lõi Myron Krueger „Videoplace“. Videoplace koosnes kahest või enamast ruumist, mis võisid olla üksteisest olla ükskõik kui kaugel. Ruumides sees on 8’ x 10’ projektoriga vaated ning kui inimene siseneb ruumi, siis ta näeb lisaks enda pildile teiste ruumide olevaid pilte.
• 1980. aastal Steve Mann loob esimese kaasas kantava arvuti, mida tuli seljas kanda ning see oli ühendatud kiivri külge kinnitatud kaameraga. Steve nimetas masina EyeTap-iks ning alates esimesest versioonist on iga järgnev versioon kergem, kompaktsem ja nüüdseks on masin ühendatud ka interneti ning online andmebaasidega.
• 1992. aastal arendas Ameerika leiutaja Louis B. Rosenberg USA Air Force Research laboris välja esimese liitrealsuse süsteemi nimega Virtual Fixtures ja avaldas esimese uurimustöö, kus kirjutatakse liitrealsuse abistavast mõjust inimeste tegevustele.
• 1993. aastal kasutati liitrealsust esimest korda kosmose rusu tuvastamisel kasutades Rockwell WorldView-i vaate lisamist kosmose otseülekande video vaatele.
• 1994. aastal lavastab Julie Martin esimese liitrealsuse teatrielamuse nimega „Dancing in Cyberspace“. Lavastuses on tantsijad ja akrobaadid, kes tegevuse käigus kasutavad virtuaalobjekte, mille sisse nad justkui vajunud oleks. Lavastusel kasutati Silicon Graphics arvutieid ja Polhemus Sensing süsteemi.
• 1995. aastal tutvustas Massachusetts ülikoolist S. Ravela kaamera vaatel põhinevat süsteemi, kasutades liitrealsust, et hoida erinevatel objektidel järge.
• 1998. aastal tutvustasid Põhja Carolina ülikoolis Ramesh Raskar, Welch ja Henry Fuchs ruumilist liitrealsust (Spatial Augmented Reality).
• 1999. aastal toimus esimene edukas LandForm tarkvara lennutest helikopteriga, kus liitrealsuse lisatud vaade andis infot maandumisradade, ruleerimisteede ja autoteede ning nende nimetuste kohta.
• 1999. aastal US Naval Research Laboratory alustas uurimustööd Battlefield Augmented Reality System (BARS) kaasaskantava prototüübiga, mida sõdurid kasutaksid linnakeskkonna treeningutel.
• 1999. aastal kasutas Nasa X-38 õhusõiduk LandForm liitrealsuse tarkvara Dryden lennu uurimiskeskuses.
• 2000. aastal tutvustati esimest mobiilset liitrealsusel põhinevat mängu ARQuake. Mängu arendajaks oli Bruce H. Thomas. ARQuake mäng genereeriti päris maailma vaate peale ning toimis mängija enda liikumise mitte kontrolleri juhtimisel. Mängus osalejad kandsid seljakotti, milles oli Güroskoop ja GPS, mis määrasid mängija asukoha ning peas kantava ekraani vahendusel ilmusid vaatesse koletised. Mäng on siiani arendamisel, kuid pole veel tarbijateni jõudnud.
• 2004. aastal Trimble Navigation ja HIT lab (Human Interface Technology Laboratory) demostreerivad kiivrisse paigaldatud liitrealsuse süsteemi.
• 2008. aastal avaldati G1 Android telefoniga Wikitude AR Travel Guide, mis jagas koostöös liitrealsusega infot asukoha kohta. Samal aastal jõudis liitrealsus massidesse, kuna nutitelefonidesse hakkasid tekkima mitmed liitrealsuse rakendused.
• 2009. aastal lisati ARToolkit Adobe Flash-I, mis tõi liitrealsuse veebibrauseritesse.
• 2012. aastal lanseeriti interaktiivne liitrealsuse mängimis platform Lyteshot, mille mängimiseks kasutatakse VR prille.
• 2015. Microsoft avaldas Windows Holographic-i ja HoloLens liitrealsuse prillid. Prillid liidavad HD hologramme pärismaailma vaatele.
Liitreaalsuse ABC - Ken Rebane
Liitreaalsus on virtuaalse ning reaalse maailma kokku liidetud visuaalne mäng, mida saab näha läbi ekraanide või projektsioonide. Reaalsest maailmast tehtud pilt kaetakse arvuti abil virtuaalse kihiga ning kuvatakse inimesele täiustatud kujul. Kuna arvuti iseenesest ei ole väga tark ega tundlik, vajab ta erinevaid mõõteseadeldisi oma asukoha ja oleku kindlaks tegemiseks. Seega liitreaalsus on võimalik tänu erinevate mõõte- ja positsioneerimissüsteemide, kaamerate ning arvutite koostööle. Liitreaalsuse saavutamiseks on mitmed erinevad meetodid ning neil kõigil on oma tehniline lahendus.
Liitreaalsuse tüübid ning eripärad
| Markeritel põhinev | Markeriteta | Projektsioonil põhinev | |
|---|---|---|---|
 |
 |
 |
 |
|
Markeritel põhinevad liitreaalsuse applikatsioonid on üles ehitatud markeritel ning ilma nendeta lahendus ei tööta. Reaalsesse maailma pannakse selgelt eristatav pilt või kujund ehk marker. Vaadates läbi seadme antud markerit, peab aplikatsioon esmalt markeri tuvastama ning seejärel teostatakse mingisugune animatsioon või ülekate. Kui marker animatsiooni käigus peaks kaamera vaateväljast välja jääma, siis animatsioon katkeb. Marker võib olla igasugune asi, millel on piisavalt unikaalseid visuaalseid punkte. Mida rohkem nurki või ääri markeri kontuuris, seda lihtsam on seda ära tunda. |
Sundkatmisel põhinev
Võetakse 3D objekt ning ning kuvatakse ekraanile. Mudelit saab liigutada ja positsioneerida, suurendada või vähendada. Olenevalt lahendusest võib sellise põhimõttega aplikatsioon ka tajuda pindu ning vorme. Näiteks liites virtuaalset lampi reaalse toaga, mõistab lahendus, et kusagil ruumis on laud ning tõstab lambi korrektselt laua peale. Sundkatmise põhimõte on selles, et kasutaja ise määrab ära ülekatte asukoha ning oleku. |
Asukohal põhinev
Antud lahenduses mängivad suurt rolli GPS ning digitaalne kompass. Siin ei ole markereid, kasutaja ei saa ka ise midagi kuvada. Kasutades geograafilisel asukohal põhinevat liitreaalsuse aplikatsiooni on kasutaja vaatleja rollis. Sõltuvalt seadme geograafilisest asukohast ning vaadeldavast ilmakaarest ilmuvad erinevad ülekatted. Ülekatted on fikseeritud geograafilistele positsioonidele. |
Projektioonil põhinevad rakendused projietseerivad tehisvalgust reaalsele objektile ning saavad kaamerast tagasisidet valguse muutumise kohta. Interaktiivne osa tekib võrreldes projektsiooni valguse muutust erinevatel ajahetkedel. Tänu sellele mõistetakse, et kasutaja on mingit nuppu või osa projektsioonist puudutanud. |
Vajalikud tehnoloogilised lahendused ning komponendid
| Kiirendusandur | Güroskoopiline sensor | Digitaalne kompass | Globaalne positsioneerimise süsteem |
|---|---|---|---|
 |
 |
 |
 |
|
Kiirendusmõõdik muundab piesoefekti abil nii dünaamilisi (kiirendus) kui ka staatilisi (gravitatsioon) jõude digitaalseks sisendiks arvutile. |
Güroskoopiline sensor ehk inertsiaalandur muundab pöörlemise ümber erinevate telgede digitaalseks sisendiks arvutile. See koosneb kolmest erisuunalisest kiirendusmõõdikust. |
Digitaalne kompass ehk magnetomeeter määrab seadme orientatsiooni maa suhtes. Tööpõhimõte on lihtne, vool lastakse läbi voolujuhi ning mõõdetakse Maa magnetvälja poolt põhjustatud pingemuutusi selles voolujuhis. See pingemuutus tõlgendatakse arvuti keelde ning arvuti keel omakorda inimesele arusaadavaks suunaks – põhi, lõuna, ida, lääs. |
Globaalne positsioneerimise süsteem määrab minimaalselt kolme satelliidi abil GPS vastuvõtja positsiooni. |
Protsess
Pildi registreerimine
Pildi registreerimine on reaalsete objektide kauguse, nurga ja sügavuse hindamine läbi kaamera pildi.
- Geomeetriline registreerimine (Geometric registration)
Reaalse objekti pilt saadetakse kaamerast liitreaalsuse seadmesse. Seade määrab ära huvipunktid pildil ning kasutades güroskoopilist sensorit, kompassi, kiirendussensorit või GPS-i üritab aru saada objekti olekust reaalses maailmas. Kõik mõõtmised tehakse huvipunkti suhtes. - Visuaalne odomeetria (Visual odometry)
Läbi selle tehnika saab seade taasluua koordinaatsüsteemi ning täpselt mõista, kus kohas reaalne objekt seadme suhtes asub. - Punktide registreerimine (Point set registration)
Peale eelnevat kahte punkti on meil olemas reaalse objekti tegelikud koordinaadid. Siin osas määratakse ära kindlad, tähtsad punktid. Näiteks pildi raami puhul nurgad, küljed, raami paksus jne... - Geomeetriline transformeerimine (Geometric transformation)
Virtuaalne mudel või kujutis transformeeritakse reaalse objektiga samadesse mõõtmetesse.
Samaaegne lokaliseerimine ja kaardistamine
Reaalajas liitreaalsuse juures on pildi registreerimine ning sellele virtuaalse kuvandi kandmine järjepidev. Selle järjepidevuse teeb võimalikuks tehnika nimega samaaegne lokaliseerimine ja kaardistamine ehk SLAM (simultaneous localization and mapping). See on protsess, kus seade jälgib ning korrigeerib oma väljundit vastavalt keskkonna muutustele. SLAM annab seadmele võimekuse aru saada enda ümbruses toimuvast läbi visuaalse sisendi. Seade vaatleb enda ümbrust kolmemõõtmelises koordinaatteljestikus, kus punkte korrigeeritakse mitmeid kordi sekundis. Kuna esimene pilt töödeldakse ära enne järgmise saabumist ning seda tehakse järjepidevalt, siis koos erinevate tajurite infoga suudab seade hakata hindama keskkonnas liikumist. Hinnangute tegemine ja pildi registreerimine toimuvad samaaegselt. Tänu ennustamisvõimekusele saab seade adekvaatselt katta reaalseid objekte virtuaalsetega.
Privaatsus, andmekaitse ja küberkuritegevus liitreaalsuse võtmes - Sebastian Sõeruer
Liitreaalsuse arendusvõimalused täna - Voote Rom
Rakendusvaldkondade näited - Keldi Leol
Liitreaalust on võimalik kasutada erinevates valdkondades, näiteks haridus, meditsiin, sõjatööstus, logistika, ehitus, turism, turundus, meelelahutus jne.
Haridus
Liitreaalsusel on haridusvaldkonnas suur potentsiaal, võimaldades õpitavat visualiseerida ja seetõttu saavutada paremaid tulemusi objektide ja protsesside või olukordade tundmaõppimisel. Liitreaalsuses kasutatakse enamasti kolmemõõtmelisi objekte, mis omakorda soodustab ruumilise mõtlemise arengut. Lahendused, mida kasutatakse õppetöös, võib jagada kolme kategooriasse. Ühed, mis keskenduvad õppijatele erinevate rollide andmisele. Teised keskenduvad ülesannete andmisele ja kolmandad annavad võimaluse erinevates keskkondades õppida. Hetkel on õppetöös levinud liitreaalsuse rakendusteks lahendused, mis kuvavad õppematerjalides olevatele kujutistele lisainfot. Näiteks kui õpilane suunab nutiseadme kaamera mõne foto peale õpikus tekib digitaalne kujutis, 3D-mudel sellestsamast objektist või sellega seotud kontseptsioonist (Laanpere, 2019). Liitreaalsuse võimalusi saab kasutada juba väikeste lastega näiteks QuiverVisoni rakendusega, kus laste enda värvitud pildid on võimalik kuvada 3D kujutistena või AR Flashcards, kus on loomapiltidega kaardid tähestiku õppimiseks. Koolilastele on võimalik muuta iga aine põnevamaks tänu liitreaalsusele, näiteks matemaatikas kasutades kujundite kujutamiseks Geometry101 rakenduse või keemias elementide kuvamiseks Chemistry101 rakendust.
Meditsiin
Meditsiinis on virtuaalreaalsusel kindlasti oma koht, alates meditsiini õppimisest ja lõpetades haigete ravimisega. The Medical Futurist andmetel plaanisid Case Western Reserve University ja Clevelandi kliinik koos Microsoftiga välja anda HoloLens’i rakenduse HoloAnatomy, et visualiseerida inimese keha. Rakendus pakub hämmastavat ülevaadete inimorganismist. Koos Microsoft’I HoloLens peakomplektiga rakenduse kasutaja ette manatakse dünaamiline holograafiline mudel, kus on võimalik näha kõike, alates suurtest lihastest lõpetades väikeste veresoontega. Selline liitreaalsuse kasutusvõimalus on revolutsiooniline meditsiini hariduses, selle asemel, et vaadata raamatust pilte on tudengitel võimalus näha inimese keha 3D’na. Peale õppimisvõimaluste parendamise on võimalus muuta ka meditsiiniõdede ja arstide töö efektiivsemaks. Näiteks rakendus AccuVein, mis näitab arstidele täpselt patsiendi veenide asukoha nende kehal. Aparaat projekteerib punase valguse patsiendi käe peale ja veenide asukoht jääb märkimata, mis aitab arstil määrata täpse veeni asukoha. AccuVein’i turundusjuhi väidete kohaselt veeni süstimisel 40% juhtudest ei tabata esimesel korral veeni. Nad väidavad,et AccuVein’i on kasutatud rohkem kui 10 miljonil patsiendil ja esimesel korral veeni süstimise tõenäosus on 3.5 korda suurem. Ilmselt enamik valiks vähem süstlatorkeid kui võimalik, eriti kasulik on selline võimalus laste ja vanemate inimeste puhul, kellel on veenid raskemini leitavad. Samas paljud võimalused liitreaalsuse kasutamiseks meditsiinis on veel alles arendamisel. Medsights Tech töötab tarkvara kallal, mis loob liitreaalsuse abil kasvajate täpse kolmemõõtmelised rekonstruktsioonid. Selline tehnoloogia annaks kirurgidele reaalajas röntgeni vaatamise võimaluse, ilma kiirguseta.
Sõjatööstus
Militaarsektor on alati olnud esirinnas uute tehnoloogiliste edusammude kasutamisel koolituse ja võitluse parandamise eesmärgil. 2018. aasta lõpus tuli välja uudis, et Microsoft on võitnud 480 miljon dollarit maksva lepingu USA valitusega, et tuua virtuaalreaalsuse peakomplektid igapäevase varustuse juurde, mis ilmselt tähendab rohkem kui 100 000 peakomplekti. Liitreaalsuse kasutamise eeliseks väidetakse olevat see, et on võimalik pidada x arv lahinguid ilma verevalamiseta enne esimest tõelist lahingut (Matney, 2018).
Ehitus
Ehitusel võimaldab liitreaalsus visualiseerida kavandatud objekti (nt hoone) ettenähtud asukohas ja tegelikus suuruses. Objekti täpne paigutus ja mõõtkava lihtsustavad kasutajatel visualiseerida lahenduse mõistmist ja hindamist. Seeläbi on kavandatud mudel osapooltele üheselt mõistetav ja lihtsustub osapoolt (projekteerimismeeskonna liikmed, tellija ja ehitaja) vaheline suhtlus (Kiisa, 2016). Hea näide on A++ rakendus, mis on mõeldud virtuaalsete mudelite visualiseerimisele. Rakendus lisab 3D mudeli reaalse maailma konteksti, et aidata ruumiplaneerimisel ja kujunduse visualiseerimisel. Seda saab kasutada ka vastuolude kontrollimiseks kõndides virtuaalselt läbi mudeli. Rakenduses on mudeleid võimalik vaadata markeril, ilma markerita sobivasse kohta paigutades ning 360° vaatena (hoone sise- või väliskeskkonna interaktiivne vaade reaalajas)(Kiisa, 2016).
Turundus
Liitreaalsus annab uue võimaluse enda turundamiseks andes tarbijale võimaluse näha enne toodet. IKEA on osanud suurpäraselt võimalust ära kasutada ja tulnud välja rakendusega, mis võimaldab alla laadida uuemat IKEA kataloogi versiooni ja teisi IKEA väljaandeid. Skaneerides paberkandjal olevas kataloogis teatud lehekülgi, on võimalik vaadata pilte, videoid, ruumide 360° vaateid jm. Kasutades liitreaalsust võimaldab rakendus paigutada mööblit tegelikku keskkonda. Kui mööbel on paigas, saab asuda tehnika kallale, mobiiliäpp B&O AR Experience abil saab sobitada Beovisioni nutitelereid kui ka kõlareid oma koju. Valid välja toote, mida soovid tuppa sobitada, skännid oma ruumi iPadi või iPhone’i kaameraga sisse ja siis hakkad oma väljavalitud toodet toas ringi tõstma.
Navigatsioonisüsteem WayRay on liitreaalsuslahendus, mis ühendab sõiduki informatsiooni- ja meelelahutussüsteemiga. Süsteem peaks edastama selged juhised, mis aitab juhil jõuda sihtpunkti kiiresti ja ohutult. WayRay AR-tehnoloogia töötab sarnaselt esiklaasikuvarile ehk head-up displeile, kuid kuvab virtuaalinfot kogu esiklaasi ulatuses. Tänu sellele suudab süsteem esitada rohkem ja paremini nähtavat teavet nii juhile kui ka kaassõitjaile. Hetkel kavatsevad nii Hynday kui ka Porsche võtta WayRay liitreaalsuslahendused kasutusse.
Mängud
Virtuaalreaalsuse mängudes on kõige suurema populaarsuse saavutanud “Pokemon Go”, milles mängija ülesandeks on Pokemonide püüdmine ja omavaheliseks võitlusteks treenimine. Mängija asukoht määratakse GPSi abil ning Pokemone näeb mängija oma telefonikaamera ja liitreaalsuse abil ümbritsevas keskkonnas, eesmärgiks on kõik Pokemonid kinni püüda. Teine populaarne mäng on “Ingress”, kus mänguga liitudes peab mängija valima kahe fraktsiooni vahel, Enlightened ('valgustatud', rohelised) või Resistance ('vastupanu', sinised). Mängijaskond “võitleb” reaalses maailmas asuvate virtuaalsete portaalide üle, mis on nähtavad ainult mängu tarkvaras. Portaalide endale võitmiseks peab agent pärismaailmas portaali asukohta liikuma. Huvitav on see, et mõlemad populaarsuse saavutanud virtuaalreaalsust kasutavad mängud nõuavad ka palju liikumist.
Viited
Laanpere M., Pedaste M., Jürivete T., Reinart L. "Hariduse Tehnoloogiakompass", 2019, https://kompass.hitsa.ee/wp-content/uploads/Hariduse-tehnoloogiakompass.pdf
Matney, Lucas. 2018, November. Microsoft wins $480M military contract to outfit soldiers with HoloLens AR tech. https://techcrunch.com/2018/11/28/microsoft-wins-480m-military-contract-to-outfit-soldiers-with-hololens-ar-tech/
The Medical Futurist.The Top 9 Augmented Reality Companies in Healthcare. May, 2017. https://medicalfuturist.com/top-9-augmented-reality-companies-healthcare
