2019 Esimene samm liitreaalsusesse

From EIK wiki

Liitreaalsuse kujunemislugu

• Esimene liitrealsuse suunas mõtlev inimene oli „Võlur Oz“ ("The Wonderful Wizard of Oz") raamatu autor L. Frank Baum, kes aastal 1901 kirjutas mõttest päriselu vaatele lisada elektroonilise kihiga vaade. „The Master Key“ raamatus kirjutab Baum „Character Marker“ prillidest, mis inimese iseloomu ausalt näitavad. Prille kandes ilmuvad inimese laubale täht „G“ kui inimene on hea ja „E“ kui inimene on paha, „W“ kui inimene on tark, „F“ kui inimene on loll. 1901. aastal võis selliseid prillidest unistada vaid ilukirjanduses.


• 1950-ndatel algatas Morton Heilig mõtte „Kogemusteatrist“ (Experience Theatre). Kogemusteatri idee oli vaataja kõiki meeli hõlmata. 1963. aastal ehitas filmioperaator Heilig valmis kogemusteatri prototüübi, mille nimeks sai Sensorama. Sensoramast oli võimalik näha viit erinevat lühifilmi ning kogemusteatris olles tulid mängu lisaks kuulmisele ja nägemisele juurde lõhna tundmine ja puudutamine. Masinast pidi saama tulevikukino prototüüp, kuid kahjuks töö peatati, kuna projekt ei saadud rahalist toetust. „Kogemusteater“ on siiani töökorras ning Morton Heiligut peetakse üheks esimeseks liitrealsuse ja virtuaalrealsuse arendajaks.


• 1968. aastal leiutab „Arvutigraafika isaks“ tituleeritud Ivan Sutherland koos oma tudengi Bob Sproulliga esimese peas kantava ekraani ja nimetab selle virtuaalmaailma aknaks.

Video Head-Mounted Displayst : https://www.youtube.com/watch?v=D0T2vycGi6E


• 1975. aastal lõi Myron Krueger „Videoplace“. Videoplace koosnes kahest või enamast ruumist, mis võisid olla üksteisest olla ükskõik kui kaugel. Ruumides sees on 8’ x 10’ projektoriga vaated ning kui inimene siseneb ruumi, siis ta näeb lisaks enda pildile teiste ruumide olevaid pilte.


• 1980. aastal Steve Mann loob esimese kaasas kantava arvuti, mida tuli seljas kanda ning see oli ühendatud kiivri külge kinnitatud kaameraga. Steve nimetas masina EyeTap-iks ning alates esimesest versioonist on iga järgnev versioon kergem, kompaktsem ja nüüdseks on masin ühendatud ka interneti ning online andmebaasidega.


• 1992. aastal arendas Ameerika leiutaja Louis B. Rosenberg USA Air Force Research laboris välja esimese liitrealsuse süsteemi nimega Virtual Fixtures ja avaldas esimese uurimustöö, kus kirjutatakse liitrealsuse abistavast mõjust inimeste tegevustele.


• 1993. aastal kasutati liitrealsust esimest korda kosmose rusu tuvastamisel kasutades Rockwell WorldView-i vaate lisamist kosmose otseülekande video vaatele.


• 1994. aastal lavastab Julie Martin esimese liitrealsuse teatrielamuse nimega „Dancing in Cyberspace“. Lavastuses on tantsijad ja akrobaadid, kes tegevuse käigus kasutavad virtuaalobjekte, mille sisse nad justkui vajunud oleks. Lavastusel kasutati Silicon Graphics arvutieid ja Polhemus Sensing süsteemi.


• 1995. aastal tutvustas Massachusetts ülikoolist S. Ravela kaamera vaatel põhinevat süsteemi, kasutades liitrealsust, et hoida erinevatel objektidel järge.


• 1998. aastal tutvustasid Põhja Carolina ülikoolis Ramesh Raskar, Welch ja Henry Fuchs ruumilist liitrealsust (Spatial Augmented Reality).


• 1999. aastal toimus esimene edukas LandForm tarkvara lennutest helikopteriga, kus liitrealsuse lisatud vaade andis infot maandumisradade, ruleerimisteede ja autoteede ning nende nimetuste kohta.


• 1999. aastal US Naval Research Laboratory alustas uurimustööd Battlefield Augmented Reality System (BARS) kaasaskantava prototüübiga, mida sõdurid kasutaksid linnakeskkonna treeningutel.


• 1999. aastal kasutas Nasa X-38 õhusõiduk LandForm liitrealsuse tarkvara Dryden lennu uurimiskeskuses.


• 2000. aastal tutvustati esimest mobiilset liitrealsusel põhinevat mängu ARQuake. Mängu arendajaks oli Bruce H. Thomas. ARQuake mäng genereeriti päris maailma vaate peale ning toimis mängija enda liikumise mitte kontrolleri juhtimisel. Mängus osalejad kandsid seljakotti, milles oli Güroskoop ja GPS, mis määrasid mängija asukoha ning peas kantava ekraani vahendusel ilmusid vaatesse koletised. Mäng on siiani arendamisel, kuid pole veel tarbijateni jõudnud.


• 2004. aastal Trimble Navigation ja HIT lab (Human Interface Technology Laboratory) demostreerivad kiivrisse paigaldatud liitrealsuse süsteemi.


• 2008. aastal avaldati G1 Android telefoniga Wikitude AR Travel Guide, mis jagas koostöös liitrealsusega infot asukoha kohta. Samal aastal jõudis liitrealsus massidesse, kuna nutitelefonidesse hakkasid tekkima mitmed liitrealsuse rakendused.


• 2009. aastal lisati ARToolkit Adobe Flash-I, mis tõi liitrealsuse veebibrauseritesse.


• 2012. aastal lanseeriti interaktiivne liitrealsuse mängimis platform Lyteshot, mille mängimiseks kasutatakse VR prille.


• 2015. Microsoft avaldas Windows Holographic-i ja HoloLens liitrealsuse prillid. Prillid liidavad HD hologramme pärismaailma vaatele.

Liitreaalsuse ABC

Liitreaalsus on virtuaalse ning reaalse maailma kokku liidetud visuaalne mäng, mida saab näha läbi ekraanide või projektsioonide. Reaalsest maailmast tehtud pilt kaetakse arvuti abil virtuaalse kihiga ning kuvatakse inimesele täiustatud kujul. Kuna arvuti iseenesest ei ole väga tark ega tundlik, vajab ta erinevaid mõõteseadeldisi oma asukoha ja oleku kindlaks tegemiseks. Seega liitreaalsus on võimalik tänu erinevate mõõte- ja positsioneerimissüsteemide, kaamerate ning arvutite koostööle. Liitreaalsuse saavutamiseks on mitmed erinevad meetodid ning neil kõigil on oma tehniline lahendus.

Liitreaalsuse tüübid ning eripärad

Markeritel põhinev Markeriteta Projektsioonil põhinev
Marker based.jpeg
Overlay.jpg
Position-based.jpg
Projection-based.jpg

Markeritel põhinevad liitreaalsuse applikatsioonid on üles ehitatud markeritel ning ilma nendeta lahendus ei tööta. Reaalsesse maailma pannakse selgelt eristatav pilt või kujund ehk marker. Vaadates läbi seadme antud markerit, peab aplikatsioon esmalt markeri tuvastama ning seejärel teostatakse mingisugune animatsioon või ülekate. Kui marker animatsiooni käigus peaks kaamera vaateväljast välja jääma, siis animatsioon katkeb. Marker võib olla igasugune asi, millel on piisavalt unikaalseid visuaalseid punkte. Mida rohkem nurki või ääri markeri kontuuris, seda lihtsam on seda ära tunda.

Sundkatmisel põhinev

Võetakse 3D objekt ning ning kuvatakse ekraanile. Mudelit saab liigutada ja positsioneerida, suurendada või vähendada. Olenevalt lahendusest võib sellise põhimõttega aplikatsioon ka tajuda pindu ning vorme. Näiteks liites virtuaalset lampi reaalse toaga, mõistab lahendus, et kusagil ruumis on laud ning tõstab lambi korrektselt laua peale. Sundkatmise põhimõte on selles, et kasutaja ise määrab ära ülekatte asukoha ning oleku.

Asukohal põhinev

Antud lahenduses mängivad suurt rolli GPS ning digitaalne kompass. Siin ei ole markereid, kasutaja ei saa ka ise midagi kuvada. Kasutades geograafilisel asukohal põhinevat liitreaalsuse aplikatsiooni on kasutaja vaatleja rollis. Sõltuvalt seadme geograafilisest asukohast ning vaadeldavast ilmakaarest ilmuvad erinevad ülekatted. Ülekatted on fikseeritud geograafilistele positsioonidele.

Projektioonil põhinevad rakendused projietseerivad tehisvalgust reaalsele objektile ning saavad kaamerast tagasisidet valguse muutumise kohta. Interaktiivne osa tekib võrreldes projektsiooni valguse muutust erinevatel ajahetkedel. Tänu sellele mõistetakse, et kasutaja on mingit nuppu või osa projektsioonist puudutanud.

Vajalikud tehnoloogilised lahendused ning komponendid

Kiirendusandur Güroskoopiline sensor Digitaalne kompass Globaalne positsioneerimise süsteem
Kiirendus.png
Gyro.png
Compass Directions.png
Gps.jpg

Kiirendusmõõdik muundab piesoefekti abil nii dünaamilisi (kiirendus) kui ka staatilisi (gravitatsioon) jõude digitaalseks sisendiks arvutile.

Güroskoopiline sensor ehk inertsiaalandur muundab pöörlemise ümber erinevate telgede digitaalseks sisendiks arvutile. See koosneb kolmest erisuunalisest kiirendusmõõdikust.

Digitaalne kompass ehk magnetomeeter määrab seadme orientatsiooni maa suhtes. Tööpõhimõte on lihtne, vool lastakse läbi voolujuhi ning mõõdetakse Maa magnetvälja poolt põhjustatud pingemuutusi selles voolujuhis. See pingemuutus tõlgendatakse arvuti keelde ning arvuti keel omakorda inimesele arusaadavaks suunaks – põhi, lõuna, ida, lääs.

Globaalne positsioneerimise süsteem määrab minimaalselt kolme satelliidi abil GPS vastuvõtja positsiooni.

Protsess

Pildi registreerimine

Pildi registreerimine on reaalsete objektide kauguse, nurga ja sügavuse hindamine läbi kaamera pildi.

  1. Geomeetriline registreerimine (Geometric registration)
    Reaalse objekti pilt saadetakse kaamerast liitreaalsuse seadmesse. Seade määrab ära huvipunktid pildil ning kasutades güroskoopilist sensorit, kompassi, kiirendussensorit või GPS-i üritab aru saada objekti olekust reaalses maailmas. Kõik mõõtmised tehakse huvipunkti suhtes.
  2. Visuaalne odomeetria (Visual odometry)
    Läbi selle tehnika saab seade taasluua koordinaatsüsteemi ning täpselt mõista, kus kohas reaalne objekt seadme suhtes asub.
  3. Punktide registreerimine (Point set registration)
    Peale eelnevat kahte punkti on meil olemas reaalse objekti tegelikud koordinaadid. Siin osas määratakse ära kindlad, tähtsad punktid. Näiteks pildi raami puhul nurgad, küljed, raami paksus jne...
  4. Geomeetriline transformeerimine (Geometric transformation)
    Virtuaalne mudel või kujutis transformeeritakse reaalse objektiga samadesse mõõtmetesse.

Samaaegne lokaliseerimine ja kaardistamine

Reaalajas liitreaalsuse juures on pildi registreerimine ning sellele virtuaalse kuvandi kandmine järjepidev. Selle järjepidevuse teeb võimalikuks tehnika nimega samaaegne lokaliseerimine ja kaardistamine ehk SLAM (simultaneous localization and mapping). See on protsess, kus seade jälgib ning korrigeerib oma väljundit vastavalt keskkonna muutustele. SLAM annab seadmele võimekuse aru saada enda ümbruses toimuvast läbi visuaalse sisendi. Seade vaatleb enda ümbrust kolmemõõtmelises koordinaatteljestikus, kus punkte korrigeeritakse mitmeid kordi sekundis. Kuna esimene pilt töödeldakse ära enne järgmise saabumist ning seda tehakse järjepidevalt, siis koos erinevate tajurite infoga suudab seade hakata hindama keskkonnas liikumist. Hinnangute tegemine ja pildi registreerimine toimuvad samaaegselt. Tänu ennustamisvõimekusele saab seade adekvaatselt katta reaalseid objekte virtuaalsetega.

Privaatsus, andmekaitse ja küberkuritegevus liitreaalsuse võtmes

Suuremal skaalal saame eristada viit eri tüüpi rünnakuohtu:

Liitreaalsuse rünnak

Tegemist on sarnase ohuga kui tavapärased veebirünnakud, kus pahavara kood lisatakse liitreaalsuse markerile ja kasutaja üritatakse saada seda markerit kasutama. Põhiprobleemiks on siin see, et kui veebirünnaku puhul saab kasutaja ise kontrollida, kas linki avada ja mis link see on(URLi kontrollida), siis liitreaalsuse puhul avatakse sellised lingid automaatselt ja kasutajal puudub kontroll, mida tema liitreaalsuse lehitsejas avatakse (McPherson, 2015).
Riskide näited:
Inimeste jälitamine. On võimalik algatada suuremahuline jälgimine, kus luuakse liitreaalsuse marker mõne konkreetse auto registreerimismärgile ja seal oleva koodi eesmärk on edastada markeri omanikule GPS andmed. Nüüd iga liitreaalsuse kasutaja, kes liigub ringi avalikus ruumis ja kelle seadme nägemisvälja jääb see konkreetne registreerimismärk, edastab teadmatult info selle auto asukoha kohta markeri omanikule.
Automaatselt pahavara käivitamine. Siin on põhiliselt kahte tüüpi lähenemist. Luua marker, mis on välimuselt väga sarnane mõnele tuntud markerile või lisada oma lisakiht tuntud markerile nii, et see tunduks selle markeri ühe osana.


Reklaamirünnak

Slashdoti küsitluse väljavõte, kus ringiga märgistatud valik ei ole üldsegi antud küsitluse osa vaid on originaalküsitlust kattev koodiosa.

Liitreaalsuse markerid võivad sisaldada kolmandate osapoolte sisu nagu näiteks reklaamid. Siin on võimalik ründajal oma pahavara lisada usaldatud reklaamipakkujate koodi sisse (McPherson, 2015).
Riskide näited:
Ründajal on võimalik luua kattev kiht algupärasele reklaamile, nii et pahavara tundub olevat selle sisu üks osadest.


Veebirünnak

Suurimaks riskifaktoriks on siin see, et kui tavalised veebilehitsejad on oma liivakastis(Sandbox) ja piiratud õigustega, siis liitreaalsuse brauseritel on alati ligipääs kasutaja seadme kaamerale ja GPS seadmele (McPherson, 2015).
Riskide näited:
Kasutaja läheb läbi tavalise veebibrauseri mõnele pahavara sisaldavale lehele. Tavatingimustes kui pahavara üritab käivitada kaamerat või GPS seadet, siis seade küsib kasutaja käest konkreetselt kinnitust sellise tegevuse lubamiseks. Kui sellele pahavaraga nakatunud lehele lisada mõni liitreaalsuse link, siis avatakse link ning ründajal on ligipääs seadme kaamerale ja GPSile. Isegi kui antud päring kiirelt sulgeda, siis ei ole kasutajal aimugi, et tema seadmest on asukoha andmed, pildid või video ümbritsevast sattunud kurjategija kätte.


Kõikenägevad liitreaalsuse teenused

Pilt liitreaalsuse lehitsejast, kus markeri pildistamiseks on jäänud ka krediitkaart vaatevälja, mille andmed edastatakse teenusepakkuja serverisse.

Kuna liitreaalsus peab olema teadlik enda ümbritsevast, siis salvestatakse läbi video ka selliseid andmed, mis tekitavad suure ohu nende andmete omanikele. Näitena pangakaardi andmed, paroolid, isikuandmed (McPherson, 2015).
Riskide näited:
Kasutades liitreaalsuse teenuseid, toimub ümbritseva pildi analüüs teenusepakkuja serveris. See tähendab, et teenusepakkujale saadetakse kõik andmed ümbritsevast serverisse ja kasutajal puudub täielikult kontroll nende andmete üle. Selline olukord tõstatab väga teravalt privaatsuse küsimuse ja võimaluse teenusepakkujal/arendajal käituda sensitiivsete andmetega pahatahtlikult.


Võrgurünnakud

Siin valmistavad ohtu nii "mees keskel(man-in-the-middle)" kui ka otseselt võrgu pealtkuulamine, kus kolmandatel osapooltel tekib võimalus pealt kuulata liitreaalsuse lehitseja ja pakkuja vahelist sidet, markerite omanikke või kolmandate osapoolte teenuseid ja neid andmeid sealt siis kuritarvitada (McPherson, 2015).
Riskide näited:
Kõik andmed, mis liitreaalsuse seade ümbritsevast kogub, saadetakse teenusepakkujale(Risk: Kõikenägevad liitreaalsuse teenused). Kurjategijal on võimalus seda andmevoogu pealt kuulata või suunata enda serverisse, kus on tal siis täielik ligipääs kõigele, mida antud seade talletab.


Projekt Arya

Erinevad rakendused peidavad ära ekraanil olulise info

Liitreaalsusega kaasnevate ohtude kõrvaldamiseks on loodud projekt "Arya" ehk vahekiht andmete ja liitreaalsuse kasutuse juures, mis üritab elimineerida järgmisi ohte: Varjata teise liitreaalsuse rakenduse sisu, eesmärgiga peita või muuta selle tähendust. Varjata tähtsat reaalse maailma sisu, nagu näiteks liiklusmärgid, autod, inimesed. Segada inimest psühholoogiliselt, üllatades teda näiteks äkitselt virtuaalseid objekte luues või nende asukohta muutes (Lebeck, 2017). Projekt Arya on vahekiht reaalse maailma ja rakenduste vahel, mis koosneb järgmistest moodulitest:

  • Sisendandmete moodul, mis filtreerib ja edastab andmeid rakendustele.
  • Väljundandmete moodul, mis vastavalt sätestatud eeskirjadele muudab virtuaalreaalsuse infovoogu nii, et ei eksitaks reeglite vastu.
  • Ekraani juhtmoodulid, mis näitavad virtuaalset kihti.

Toome näitena auto tuuleklaasile edastava infovoo:

  • Moodul, mis näitab juhiseid soovitud sihtkohta jõudmiseks.
  • Moodul, mis näitab sõiduinfot(kiirus, kütus, temperatuur, sõiduaeg).
  • Moodul, mis tuvastab liiklusmärke ja nende kohta hoiatusi.
  • Moodul, mis näitab teie e-maili ja facebooki infovoogu.

Sellises olukorras on väga tõenäoline, et virtuaalreaalsuse loodud kujutised võivad ära katta reaalse ohu - hoiatusmärgi, inimese või looma teel. Risk on ka see, et autojuhi e-mailide infovoog katab ära hoiatusteated keeruliste liiklusolude kohta(must jää).

Projekt Arya üritab sõnastada reeglistiku, millele peab liitreaalsuse seade vastama (Lebeck, 2017):

ID Kirjeldus Kohaldub
P1 Vältida järske liigutusi AR objektidega Auto, kaasaskantav seade
P2 Paigutada AR objektid mugavale vaatamiskaugusele kasutajast Auto, kaasaskantav seade
P3 Kasutajal peab olema võimalus näha päris maailma AR objektide taga Auto, kaasaskantav seade
P4 Vältida selliseid Objekte mis on ekraanil fikseeritud asukohaga Kaasaskantav seade
P5 Mitte näidata teateid või sotsiaalmeedia postitusi sõidu ajal Auto
P6 Mitte varjata jalakäiaid või liiklusmärke Auto
P7 Mitte varjata väljumismärke(evakuatsioonimärgid) Kaasaskantav seade
P8 Keelata kasutaja muudatused läbipaistvatel AR objektidel Auto, kaasaskantav seade
P9 Reklaame lubada ainult pärismaailma reklaamtahvlite asukohas Auto, kaasaskantav seade
P10 Liitreaalsuse objektid ei tohi üksteist katta Auto, kaasaskantav seade


Liitreaalsuse tehnoloogia, trendid ning barjäärid

Liitreaalsuse rakenduste arvukuse kasvu võib viimastel aastatel seostada rakendustega, mis võimaldavad tarbijatel visualiseerida ning ette kujutada, milline võiks olla toote omamine või teenuse kätte saamine enne ostu. Kuna tehnoloogia pidevalt täiustub, on tehtud liitreaalsuse rakendusi ka äritasemel kulude kokkuhoiu eesmärgil. Liitreaalsusele on ligipääs üle miljardil inimesel läbi mobiiliseadmete rakenduste (Facebook filtrid, Snapchat filtrid jms.).

Liitreaalsuse rakenduse koostamine koosneb mitmest sammust. Rakenduse loomise jaoks on vaja kõige pealt luua plaan, mida soovitakse seadme peal kuvada. Sõltuvalt sellest tuleb välja valida liitreaalsuse tarkvara-arenduse tööriist (Software development kit), millel on olemas võimekus valitud projekti arendada. Viimastel aastatel on suured tehnoloogiafirmad tulnud välja enda arendusplatvormidega liitreaalsuse kogemuse loomiseks:

  • Veebis AR.js, WebAR
  • Mobiilis Aurasma, BlippAR, ARToolkit
  • Muudes platvormides Wikitude, Vuforia, PixLive
  • Võrdlus liitreaalsuse rakenduste loomise tööriistadest:
    ARSDK.png

    Liitreaalsuse riistvaralised komponendid on protsessor, kuvar, andur ning erinevad sisendseadmed. Sellised elemendid on täna olemas kõikidel modernsetel mobiiliseadmetel, tahvelarvutitel ning üha enam ka lisaseadmetes.

    ARKit

    3DSCAN.png

    WWDC 2018 ajal tuli Apple välja uue tootega ARKit 2.0 värskete API-de ning laiendatud funktsionaalsustega liitreaalsuse rakenduste arendamiseks. Antud platvorm võimaldab arendajatel integreerida jagatud kogemusi, objekte tuvastada ning neid vastavalt enda soovile töödelda.

    Kõige pealt skaneeritakse mobiilirakendusega (nt. 3D Scanner Pro) sisse reaalne objekt, millega soovitakse tööd teha. Kui objekt on sisse skaneeritud, on võimalik see konverteerida digitaalsesse formaati USDZ failiks, mida on võimalik laadida iCloudi selle objekti töötlemiseks. Peale objekti töötlust on võimalik seda objekti ka teistega faili kujul jagada. Laadides USDZ faili alla on võimalik erinevate rakenduste abil näiteks objekti ruumis liigutada, objektile silte lisada, teha objekt veebipoes allalaaditavaks selliselt, et kasutaja saab objekti vastavalt enda ruumile sobitada. (Rahul, 2018)

    Trendid

    Mitmed uuenduslikud projektid on näidanud maailmale, et liitreaalsusel on suur kaubanduslik väärtus ning kõrge tulevikupotentsiaal. Makroettevõtted kaasavad projektiplaanidesse liitreaalsuse kasutamise võimekuse. Järgnevalt on välja toodud liitreaalsusega seotud tulevikutrendid.

    1. Liitreaalsuse sidumine virtuaalreaalsusega - kombineerides liitreaalsuse ning virtuaalreaalsuse on võimalik teha konverentsikõnesid mitme inimesega, kus teine inimene kuvatakse sinuga ühte ruumi ning on võimalik omavahel graafiliselt ideid ning mõtteid vahetada. Üheks selliste seadmete eestvedajaks on Spatial. Seadmena kasutatakse liitreaalsuse peakomplekti, mille abil on võimalik arvutist või nutiseadmest laadida fail/kirjutis kollektiivsesse virtuaalsesse ruumi, kus saavad konverentsil osalejad objekte liigutada ning muul viisil suhelda luues lõpmatu tööruumi.
    2. Liitreaalsuse tee sõidukitesse - mitmed suured autotootjad nagu Tesla, Toyota, Mercedes-Benz ja Volvo sõlminud lepingud liitreaalsuse platvormiga töötamiseks. Praegu on loodud prototüüpe, kus auto omanikule kuvatakse graafiliselt auto seisukord kõikide sõiduki elementide kohta lisaks erinevatele navigatsioonijuhistele, sõiduraja info jm. kohta. Selle tehnoloogiaga soovitakse parandada juhi ohutust samal ajal suurendades juhi mugavust. (Ratnottar, 2019)
    3. Nutiseadmete liitreaalsus - peale liitreaalsuse peakomplektide kasutuselevõttu on hakatud aina laiemalt kasutama liitreaalsust ka nutiseadmetes - objektide mõõtmised, 3D objektide tuvastamine, kasutajale info kuvamine. Apple tuli hiljuti välja uue failivorminguga USDZ, mis on universaalne stseeni kirjeldus. (Ratnottar, 2019)
    4. Žestituvastus - mis võimaldab liitreaalsuse seadme kasutajal käeliigutusega vaadata erinevaid objekte detailsemalt, organiseerida pilte, vahetada telekanaleid ning loob võimalduse suhelda ka viipekeeles kasutades liitreaalsust.
    5. Universaalsed protokollid ning raamistikud - tihti tulevad kasutajate poolt välja probleemid liitreaalsuse sisu ning ühildavuse üle lisaks rakenduse kontrolli ning tundmaõppimise kõrvalt. Selle jaoks on IEEE (Institute of Electrical and Electronics Engineers) loonud töögrupid liitreaalsuse defineerimiseks, seadmete kategooriate määratlemiseks ning loob standardeid kvaliteedi, kasutajaliideste ning failivormingute kohta. (Metry, 2018)
    6. Liitreaalsus ning tehisintellekt. Tarbijaprofiilide sidumisel liitreaalsuse ning masinõppega saavad jaemüüjad tuvastada kliendi vajadused vastavalt oma keskkonnale ja anda neile soovitusi. Poodlejad saavad näiteks infot toote kohta küsides samal ajal poes jalutades nõu tehisintellektil põhineval klienditoelt. (Makarov, 2019)

    Liitreaalsust saab rakendada täna pea igas valdkonnas ning UX disainerid on juba alustanud disainilahenduste täiustamist, kasutades liitreaalsuse tehnoloogia suundumusi.

    Barjäärid

    Liitreaalsuse tehnoloogia arenguga on seotud ka mitmeid barjääre, mille läbi kannatab ka kasutajakogemus.

  • Viivitusallikad:
  • a) viivitus füüsilise sündmuse ilmnemise ning vastuvõtjale saabumise vahel
    b) arvutuslik viivitus
    c) renderdamine - aeg, mis kulus graafikamootoril tekitatava pildi loomisel
    d) kuva viivitus - kujutiste saatmise ja ekraanile ilmumise vahel kulunud aeg
    e) sünkroonimise viivitus (Jacobs, 1997)

  • Kõrge hind - Liitreaalsuse tehnoloogia juurutamine maksab palju, kuna see tuleb integreerida kogu ettevõtte tootevalikusse. Hoolimata asjaolust, et rakendamine aitab pikemas perspektiivis, on vaja teha investeering liitreaalsuse kasutamise alustamiseks. (Kiran Kumar, 2018)
  • Investeeringu tasuvus - Ehkki paljud ettevõtted on liitreaalsuse tehnoloogia kasutusele võtnud kliendikogemuse parandamiseks, ei ole tehtud investeeringute tasuvus alati olnud rahuldav. Väikeste ja keskmise suurusega kaubamärkide puhul muutub see oluliseks takistuseks selle tehnoloogia kasutuselevõtul.
  • Tehniline tugi - Kuna AR-tehnoloogia on arengu algstaadiumis, on keeruline omada AR-tehnoloogia kavandamisel piisavalt kogemusi, mis hõlmab ka kõrgeid kulusid. Tehnilise personali säilitamine tekitab ettevõttele rohkem rahalisi kulusid. (Kiran Kumar, 2018)
  • Aku kestvus - seadmete aku ei kesta tööpäeva lõpuni, kui on tegemist keerulisemate lahendustega nagu lao jälgimine, seadmete hooldus. Ühtlasi ülekuumenevad ning aeglustuvad seadmete protsessorid pikkade kasutusperioodide ning keeruliste andmetöötluse korral. (Stoltz, 2017)
  • Seadmete mugavus - paljud saadaolevad liitreaalsuse lisaseadmed ei ole mõeldud pikaks ajaks järjest kasutamiseks. Ekraani latentsus (latency) võib põhjustada peavalusid, prillid väsitavad silmi ning osad peakomplektid väsitavad oma raskusega ka kaela. (Stoltz, 2017)
  • Rakendusvaldkondade näited

    Liitreaalust on võimalik kasutada erinevates valdkondades, näiteks haridus, meditsiin, sõjatööstus, logistika, ehitus, turism, turundus, meelelahutus jne.

    Haridus

    Liitreaalsuse loomiseks võib kasutada nutiseadet, mille kaamerate ja ekraanide koostöös liidetakse reaalsed objektid ja 3D hologrammid.

    Liitreaalsusel on haridusvaldkonnas suur potentsiaal, võimaldades õpitavat visualiseerida ja seetõttu saavutada paremaid tulemusi objektide ja protsesside või olukordade tundmaõppimisel. Liitreaalsuses kasutatakse enamasti kolmemõõtmelisi objekte, mis omakorda soodustab ruumilise mõtlemise arengut. Lahendused, mida kasutatakse õppetöös, võib jagada kolme kategooriasse. Ühed, mis keskenduvad õppijatele erinevate rollide andmisele. Teised keskenduvad ülesannete andmisele ja kolmandad annavad võimaluse erinevates keskkondades õppida. Hetkel on õppetöös levinud liitreaalsuse rakendusteks lahendused, mis kuvavad õppematerjalides olevatele kujutistele lisainfot. Näiteks kui õpilane suunab nutiseadme kaamera mõne foto peale õpikus tekib digitaalne kujutis, 3D-mudel sellestsamast objektist või sellega seotud kontseptsioonist (Laanpere, 2019). Liitreaalsuse võimalusi saab kasutada juba väikeste lastega näiteks QuiverVisoni rakendusega, kus laste enda värvitud pildid on võimalik kuvada 3D kujutistena või AR Flashcards, kus on loomapiltidega kaardid tähestiku õppimiseks. Koolilastele on võimalik muuta iga aine põnevamaks tänu liitreaalsusele, näiteks matemaatikas kasutades kujundite kujutamiseks Geometry101 rakenduse või keemias elementide kuvamiseks Chemistry101 rakendust.


    Meditsiin

    AccuVein aitab tuvastada veresoonte asukoha.

    Meditsiinis on virtuaalreaalsusel kindlasti oma koht, alates meditsiini õppimisest ja lõpetades haigete ravimisega. The Medical Futurist andmetel plaanisid Case Western Reserve University ja Clevelandi kliinik koos Microsoftiga välja anda HoloLens’i rakenduse HoloAnatomy, et visualiseerida inimese keha. Rakendus pakub hämmastavat ülevaadete inimorganismist. Koos Microsoft’I HoloLens peakomplektiga rakenduse kasutaja ette manatakse dünaamiline holograafiline mudel, kus on võimalik näha kõike, alates suurtest lihastest lõpetades väikeste veresoontega. Selline liitreaalsuse kasutusvõimalus on revolutsiooniline meditsiini hariduses, selle asemel, et vaadata raamatust pilte on tudengitel võimalus näha inimese keha 3D’na. Peale õppimisvõimaluste parendamise on võimalus muuta ka meditsiiniõdede ja arstide töö efektiivsemaks. Näiteks rakendus AccuVein, mis näitab arstidele täpselt patsiendi veenide asukoha nende kehal. Aparaat projekteerib punase valguse patsiendi käe peale ja veenide asukoht jääb märkimata, mis aitab arstil määrata täpse veeni asukoha. AccuVein’i turundusjuhi väidete kohaselt veeni süstimisel 40% juhtudest ei tabata esimesel korral veeni. Nad väidavad,et AccuVein’i on kasutatud rohkem kui 10 miljonil patsiendil ja esimesel korral veeni süstimise tõenäosus on 3.5 korda suurem. Ilmselt enamik valiks vähem süstlatorkeid kui võimalik, eriti kasulik on selline võimalus laste ja vanemate inimeste puhul, kellel on veenid raskemini leitavad. Samas paljud võimalused liitreaalsuse kasutamiseks meditsiinis on veel alles arendamisel. Medsights Tech töötab tarkvara kallal, mis loob liitreaalsuse abil kasvajate täpse kolmemõõtmelised rekonstruktsioonid. Selline tehnoloogia annaks kirurgidele reaalajas röntgeni vaatamise võimaluse, ilma kiirguseta.

    Sõjatööstus

    Virtaalreaalsuse peakomplektid sõduritele õppuste läbiviimiseks.

    Militaarsektor on alati olnud esirinnas uute tehnoloogiliste edusammude kasutamisel koolituse ja võitluse parandamise eesmärgil. 2018. aasta lõpus tuli välja uudis, et Microsoft on võitnud 480 miljon dollarit maksva lepingu USA valitusega, et tuua virtuaalreaalsuse peakomplektid igapäevase varustuse juurde, mis ilmselt tähendab rohkem kui 100 000 peakomplekti. Liitreaalsuse kasutamise eeliseks väidetakse olevat see, et on võimalik pidada x arv lahinguid ilma verevalamiseta enne esimest tõelist lahingut (Matney, 2018).




    Ehitus

    Ehitusel võimaldab liitreaalsus visualiseerida kavandatud objekti ettenähtud asukohas ja tegelikus suuruses.

    Ehitusel võimaldab liitreaalsus visualiseerida kavandatud objekti (nt hoone) ettenähtud asukohas ja tegelikus suuruses. Objekti täpne paigutus ja mõõtkava lihtsustavad kasutajatel visualiseerida lahenduse mõistmist ja hindamist. Seeläbi on kavandatud mudel osapooltele üheselt mõistetav ja lihtsustub osapoolt (projekteerimismeeskonna liikmed, tellija ja ehitaja) vaheline suhtlus (Kiisa, 2016). Hea näide on A++ rakendus, mis on mõeldud virtuaalsete mudelite visualiseerimisele. Rakendus lisab 3D mudeli reaalse maailma konteksti, et aidata ruumiplaneerimisel ja kujunduse visualiseerimisel. Seda saab kasutada ka vastuolude kontrollimiseks kõndides virtuaalselt läbi mudeli. Rakenduses on mudeleid võimalik vaadata markeril, ilma markerita sobivasse kohta paigutades ning 360° vaatena (hoone sise- või väliskeskkonna interaktiivne vaade reaalajas)(Kiisa, 2016).




    Turundus

    IKEA liitreaalsuse rakendus võimaldab paigutada mööbli tegelikku keskkonda.

    Liitreaalsus annab uue võimaluse enda turundamiseks andes tarbijale võimaluse näha enne toodet. IKEA on osanud suurpäraselt võimalust ära kasutada ja tulnud välja rakendusega, mis võimaldab alla laadida uuemat IKEA kataloogi versiooni ja teisi IKEA väljaandeid. Skaneerides paberkandjal olevas kataloogis teatud lehekülgi, on võimalik vaadata pilte, videoid, ruumide 360° vaateid jm. Kasutades liitreaalsust võimaldab rakendus paigutada mööblit tegelikku keskkonda. Kui mööbel on paigas, saab asuda tehnika kallale, mobiiliäpp B&O AR Experience abil saab sobitada Beovisioni nutitelereid kui ka kõlareid oma koju. Valid välja toote, mida soovid tuppa sobitada, skännid oma ruumi iPadi või iPhone’i kaameraga sisse ja siis hakkad oma väljavalitud toodet toas ringi tõstma.




    Navigatsioonisüsteem

    Liitreaalsuslahendus, mis ühendab sõiduki informatsiooni- ja meelelahutussüsteemiga.

    Navigatsioonisüsteem WayRay on liitreaalsuslahendus, mis ühendab sõiduki informatsiooni- ja meelelahutussüsteemiga. Süsteem peaks edastama selged juhised, mis aitab juhil jõuda sihtpunkti kiiresti ja ohutult. WayRay AR-tehnoloogia töötab sarnaselt esiklaasikuvarile ehk head-up displeile, kuid kuvab virtuaalinfot kogu esiklaasi ulatuses. Tänu sellele suudab süsteem esitada rohkem ja paremini nähtavat teavet nii juhile kui ka kaassõitjaile. Hetkel kavatsevad nii Hynday kui ka Porsche võtta WayRay liitreaalsuslahendused kasutusse.
    American Airlines tahab muuta oma reisijate elu lihtsamaks ja on välja arendanud liitreaalsusprototüübi, mis annab lennujaama terminalides ümbritseva kohta reaalajas teavet. Rakenduse abil leiab reisija muretult üles kohvikud ja oma väljumisvärava.




    Mängud

    Mängija näeb Pokemone oma telefonikaamera ja liitreaalsuse abil ümbritsevas keskkonnas.

    Virtuaalreaalsuse mängudes on kõige suurema populaarsuse saavutanud “Pokemon Go”, milles mängija ülesandeks on Pokemonide püüdmine ja omavaheliseks võitlusteks treenimine. Mängija asukoht määratakse GPSi abil ning Pokemone näeb mängija oma telefonikaamera ja liitreaalsuse abil ümbritsevas keskkonnas, eesmärgiks on kõik Pokemonid kinni püüda. Teine populaarne mäng on “Ingress”, kus mänguga liitudes peab mängija valima kahe fraktsiooni vahel, Enlightened ('valgustatud', rohelised) või Resistance ('vastupanu', sinised). Mängijaskond “võitleb” reaalses maailmas asuvate virtuaalsete portaalide üle, mis on nähtavad ainult mängu tarkvaras. Portaalide endale võitmiseks peab agent pärismaailmas portaali asukohta liikuma. Huvitav on see, et mõlemad populaarsuse saavutanud virtuaalreaalsust kasutavad mängud nõuavad ka palju liikumist.




    Viited

    Johnson J. “The Master Key”: L. Frank Baum envisions augmented reality glasses in 1901, 01.09.2012, https://web.archive.org/web/20130522153011/http://moteandbeam.net/the-master-key-l-frank-baum-envisions-ar-glasses-in-1901

    Thomas B., Piekarski W. ARQuake: The Outdoor Augmented Reality Gaming System, 01.2002, https://www.researchgate.net/publication/220427063_ARQuake_The_Outdoor_Augmented_Reality_Gaming_System

    Federick B. Myron Krueger Biography, 2010, http://thedigitalage.pbworks.com/w/page/22039083/Myron%20Krueger

    Kiisa M., Lellep K., Parts E., Kompus H. Liitreaalsuse kasutatavus ehitusvaldkonnas. 15.07.2016. https://www.rkas.ee/sites/default/files/public-uploaded-files/BIM/2016-07-15%20Aruanne%20LIITREAALSUS%20%5BTTK%5D.pdf

    Laanpere M., Pedaste M., Jürivete T., Reinart L. "Hariduse Tehnoloogiakompass", 2019, https://kompass.hitsa.ee/wp-content/uploads/Hariduse-tehnoloogiakompass.pdf

    Kiron Lebeck, Kimberly Ruth, Tadayoshi Kohno, and Franziska Roesner. Securing Augmented Reality Output. 2017 https://ar-sec.cs.washington.edu/files/lebeck-sp17.pdf

    Matney, Lucas. 2018, November. Microsoft wins $480M military contract to outfit soldiers with HoloLens AR tech. https://techcrunch.com/2018/11/28/microsoft-wins-480m-military-contract-to-outfit-soldiers-with-hololens-ar-tech/

    R. McPherson, S. Jana, V. Shmatikov. No Escape from Reality: Security and Privacy of Augmented Reality Browsers. 2015. http://www.cs.columbia.edu/~suman/docs/suman_www15_2.pdf

    The Medical Futurist.The Top 9 Augmented Reality Companies in Healthcare. May, 2017. https://medicalfuturist.com/top-9-augmented-reality-companies-healthcare

    Ratnottar, S. Augmented Reality (AR) Trends: The Past, Present & Future Predictions For 2019. 15.02.2019. https://towardsdatascience.com/augmented-reality-ar-trends-the-past-present-future-predictions-for-2019-8e1148345304

    Rahul. Augmented Reality (AR) Development Quick Look & Features 18.12.2018 https://technostacks.com/blog/ar-quick-look-features/

    Metry, M. 5 Future Predictions for the Virtual and Augmented Reality Industry 17.03.2018 https://veer.tv/blog/5-future-predictions-for-the-virtual-and-augmented-reality-industry/?utm_source=redditarticlenight

    Makarov, A. 9 Augmented Reality Trends to Watch in 2019-2020 04.04.2019 https://mobidev.biz/blog/augmented-reality-future-trends-2018-2020

    Kiran Kumar P. Opportunities & barriers to Augmented Reality (AR) in retail/ e-commerce industry 04.03.2018 https://www.linkedin.com/pulse/opportunities-barriers-augmented-reality-ar-retail-kiran-kumar-p-/

    Jacobs M. C., Livingston M. A., State A. Managing Latency in Complex Augmented Reality Systems 16.04.1997 http://www.cs.unc.edu/Research/us/Latency/ManagingRelativeLatency.html

    Stoltz M. H., Augmented reality in warehouse operations: Opportunities and challenges July 2017 https://www.researchgate.net/publication/303839286_Augmented_reality_in_warehouse_operations_Opportunities_and_challenges


    Autorid

    Joosep Eendra, Keldi Leol, Ken Rebane, Voote Rom, Sebastian Sõeruer