Andmeteadus meie ümber

Autorid: Janek Järvpõld, Lemme Velleõu, Ahti Blumkvist, Mehis Kasonen, Ants Vain

Sissejuhatus

Maailmas toodetakse järjest enam andmeid ning oluliseks on muutunud nende andmete süstemaatiline katalogiseerimine ja analüüsimine ehk teisisõnu andmeteadus. Käesolevas kursusetöös püüame kokkuvõtvalt kirjeldada ja tuua näiteid 5 peamisest andmeteaduse valdkonnast ning kirjeldada, kuidas ja kus neid valdkondi meie igapäevases elus rakendatakse. Meie valikusse jäid sellised andmeteaduse teemad nagu kõnetuvastus, suunitletud reklaam, otsingumootorid, pildituvastus ja andmeteadus krediitkaardi pettuste tuvastamisel.

Andmeteadus kõnetuvastuses

Mis on kõnetuvastus?

Kõnetuvastus on tehnoloogia, mille abil muudetakse kõne tekstiks. Kõnetuvastus võimaldab näiteks dokumentide dikteerimist, kõne- ja videosalvestuste transkribeerimist ning kõne abil arvutite ja seadmetega suhtlemist. Eestikeelne kõnetuvastus on jõudnud reaalsete rakendusteni, mida kasutavad näiteks Põhja-Eesti Regionaalhaigla radioloogid, samuti mitmed Eesti meediamonitooringufirmad raadio- ja telesaadete automaatseks transkribeerimiseks . Eristatakse kahte tüüpi tehnoloogiat. Ühte nimetatakse kõnetuvastuseks ja teist hääletuvastuseks. Kõnetuvastus on kõnekeele sõnade tuvastamiseks ja hääletuvastus on biomeetriline tehnoloogia isiku hääle tuvastamiseks.

Kuidas kõnetuvastus töötab?

Kõnetuvastussüsteemid kasutavad kõne tuvastamiseks algoritme. Programm muudab mikrofoni salvestatud heli kirjakeeleks, millest arvutid ja inimesed aru saavad. Tuleb järgida mõningaid samme:

• Analüüsida heli;
• Jagada heli osadeks;
• Muuta heli arvutis loetavasse vormingusse;
• Kasutada algoritmi, et sobitada kõige sobivama tekstiesitlusega.

Tarkvaraalgoritmid, mis töötlevad ja korraldavad heli tekstiks, on koolitatud erinevate kõnemustrite, kõnestiilide, keelte, dialektide, aktsentide ja fraaside järgi. Tarkvara eraldab ka kõneheli taustamürast, mis sageli signaaliga kaasneb .

Kõnetuvastuse omadused ja rakendusvaldkonnad

Head kõnetuvastusprogrammid võimaldavad kasutajatel kohandada vastavalt oma vajadustele. Tarkvara peab pöörama tähelepanu erilistele sõnadele ning andma neile kaalud. Sõnad mida kasutatakse sageli või mis on vestluse teema jaoks ainulaadsed. Tarkvara peab kõnest suutma eemaldada ümbritseva müra. Ilma selleta pole kõnetuvastust võimalik teha. Lisaks peab programm suutma märgistada kõnes osalejad. Samuti on oluline ebatsensuursete sõnade filtreerimine. Kõnetuvastust võib leida paljudes tänapäevastes seadmetes ja rakendustes. Allpool on mõned näited.

• Nutiseadmed - Nutiseadmetele on lisatud häälkäsklused otsimiseks ja -valimiseks.
• Samuti kaasaegsetel teleritel on mõned häälkäskluse funktsioonid.
• Haridus – Keeleõppes kasutatakse kõnetuvastus tarkvara. Tarkvara analüüsib kasutaja kõnet ning annab soovituse selle parandamiseks.
• Kasutajatugi – Automaatsed häälassistendid kuulava klientide päringuid ja pakuvad lahendusi.
• Kõnede transkriptsioon - kõikjal kus seda peetakse vajalikuks (kohtud, koolid, haiglad, valitsusasutused jne.).
• Käed-vabad suhtlus – autojuhid kasutavad hääljuhtimist navigeerimissüsteemile käskluste andmisel.

Kõnetuvastusalgoritmid

Markovi peitmudel – kasutatakse iseseisvates süsteemides, kus olek on osaliselt jälgitav või kui kogu otsuse tegemiseks vajalik informatsioon ei ole mikrofonile koheselt kättesaadav. Selle näiteks on akustiline modelleerimine, kus programm peab staatilise tõenäosuse abil sobitama keeleüksused helisignaalidega .

Kunstlikud närvivõrgud - Närvivõrk on sõlmede võrk, mis on ehitatud sisendkihi, paljudest erinevatest kihtidest koosneva peidetud kihi ja väljundkihi abil. Kõigil ühendustel on erinev kaal ja järgmisesse sõlme saadetakse ainult teatud läveni jõudnud teave. Kui sõlm peab valima kahe sisendi vahel, valib ta selle sõlme sisendi, millega tal on kõige tugevam ühendus .

N-grams - See lihtne lähenemine keelemudelitele loob jadale tõenäosusjaotuse. Näitena võiks tuua algoritmi, mis vaatleb paar viimast öeldud sõna, hindab ligikaudselt kõne näidise ajalugu ja kasutab seda järgmise väljaöeldud sõna või fraasi tõenäosuse määramiseks .

Kõnetuvastuse plussid ja miinused

Kõnetuvastuse kasutamise plussideks võib nimetada:

• Masina ja inimese vaheline suhtlus saab toimuda vestluskõnena;
• Tarkvara on suhteliselt lihtne installeerida seadmetesse;
• Programmi kasutamine on tehtud lihtsaks;
• Pidev täiustamine;

Tehisintellekti sisaldavad kõnetuvastussüsteemid muudavad aja jooksul tõhusamaks ja hõlpsamini kasutatavaks. Kui süsteemid analüüsivat kõnet, siis tarkvara protsessi tulemusena genereeritakse kõne kohta rohkem andmeid. Sellega täiustavad süsteemid oma töötlusprotsesse. Kõnetuvastusega on tegeletud mitu aastakümmet, kuid veel on ületamata mõningased probleemid. Nendeks on peamiselt:

• Jõudlus – Süsteemid ei pruugi olla võimelised sõnu täpselt jäädvustama häälduse erinevuste või taustamüra eemaldamise puudumise tõttu;
• Ümbritseva müra eemaldamine võib olla keeruline. Mõnikord on inimese häält võimatu tuvastada. Inimestel on aktsent mille tõttu on kõne tuvastamine raskendatud;
• Kiirus – Kõne töötlemine võib aega võtta, kui kõne ei ole selge;
• Riistavara – Kõne tuvastamine sõltub kasutatavast salvestusseadmest.

Kõnetuvastus Eestis ja eesti keeles

Eestis on kõnetuvastusega tegelenud Tallinna Tehnikaülikool, mis on välja töötanud vabavaralise kõnetuvastuspaketi Kaldi. Projekti eestvedajaks on vanemteadur Tanel Alumäe. TTÜ kõnetuvastussüsteemi näol on tegemist eesti keele pikkade kõnesalvestuste tuvastussüsteemiga, mis põhineb vabavaralisel kõnetuvastuspaketil Kaldi. TTÜ kõnetuvastussüsteemi võimekuse saab iga huviline panna proovile veebikeskkonnas [1]. Kõnetuvastussüsteemi kasutavad Eestis näiteks radioloogid, teadlased ja ajakirjanikud. Riigikogu võttis 14.09.2020 aastal kasutusele stenografeerimise süsteemi Hans, mille arendas Eesti IT-ettevõte Finestmedia. Süsteem kasutab TTÜ-s loodud kõnetuvastustehnoloogiat. Süsteemi arendatakse pidevalt . 2019. aasta keeleteokonkursil võidutsesid keeletehnoloogia teod, peaauhind läks jagamisele Tallinna Tehnikaülikooli kõnetuvastuse ja Tartu Ülikooli masintõlke vahel . Allolev tabel näitab eestikeelse kõnetuvastuse kvaliteedi progressi projekti algusest alates. Toodud on sõnavigade osakaal protsentides mitme erinevat tüüpi testvalimi puhul, kasutades nn offline režiimis kõnetuvastust (väiksem number on parem) .

Tabel 1. Eestikeelse kõnetuvastuse kvaliteedi areng läbi aastate.

Kõne tüüp	2014	2015	2016	2017
Raadio vestlussaated	16.9	15.7	12.4	9.9
Konverentsikõned	23.5	22.5	17.9	13.9
Aktuaalne Kaamera	19.6	17.1	15.5	9.6
Spontaanne kõne	39.9	31.6	22.4	17.6

Suunitletud reklaam

Suunitletud reklaami olemus

Reklaamid on tänapäeval paratamatu osa veebist ning enamus neist on suuremal või vähemal määral meile suunitletud. Reklaamide suunitlemine ehk sihtimine võtab arvesse erinevaid aspekte kasutaja kohta ning pakub talle tooteid ning teenuseid, mis võiks talle enim huvi pakkuda. Selle protsessi eesmärgiks on viia kokku õige pakkuja ning nõudja turul. Ajalooliselt on reklaamide sihtimine kindlale publikule eksisteerinud pikalt enne uue meedia saabumist. Enne interneti levikut kasutati selleks vaid teisi kanaleid nagu trükimeediat (ajalehed ja ajakirjad), postreid ja reklaamtahvleid, audiot (raadio), televisiooni ning füüsilisi otsepostitusi (kirjade ja postkaartide saatmine). Neid kanaleid nimetatakse ka traditsiooniliseks meediaks. Reklaamid traditsioonilises meedias on ettevõtete jaoks kulukad. Näiteks 4 nädala reklaamtahvli (ingl. k. billboard) rent New Yorki Time Square’il 2018. aastal maksis 2,5 miljonit dollarit . Sellel tahvlil on vaieldamatult lai haare arvestades kui palju turiste igapäevaselt sellest asukohast läbi käivad. Kuid lähemal analüüsil on tegu väga ebatäpse sihtimisega kui püstitada küsimused nagu: “Kui palju sealt läbi käivaid inimesi vaatab just selle reklaami hetkel tahvlile?” “Kas inimesed, kes sealt läbi käivad on huvitatud tootest, mida reklaamitakse?” jne.

Suunitletud reklaam internetis

Alates interneti laiahaardelisest levikust hakati aina rohkem uurima kuivõrd tulus ning efektiivne on reklaam traditsioonilises meedias versus uues meedias. Bergemann ja Bonatti on näiteks välja töötanud matemaatilise mudeli, kuidas hinnata reklaamide sihtimise võimekust erinevates reklaamikanalites ning kuivõrd kuluefektiivne on selle tulemus . Empiiriliselt on tõestatud, et uue meedia võimekus reklaame sihtida on oluliselt parem kui traditsioonilises meedias ning sellest tulenevalt on interneti levik mõjutanud traditsioonilise meedia hindu. Seda on kindlasti ka mõjutanud traditsioonilise meedia haarde vähenemine. Samas on ka välja tulnud, et reklaamimine erinevate kanalite kaudu kinnistab toote teadlikkust ning atraktiivsust tarbija jaoks ning reklaami nägemine mitmel korral pigem soodustab selle konverteerumist ostuks. Reklaamide suunitlemine on internetis oluliselt lihtsam kui traditsioonilise meedia puhul tänu sellele, et internetis ringi liikumise alusel on võimalik tarbija kohta koguda rohkem ning täpsemat informatsiooni, mille järgi teda kategooriatesse jaotada ning kuvada talle pakkumisi, millele ta on kõige vastuvõtlikum.

Reklaami sihitamine

Sihtgruppide koostamine suunitletud reklaamide pakkumiseks võtab arvesse mitmesuguseid parameetreid :

• Demograafiline sihtimine - vanim ja enimkasutatud kontseptsioon. Tarbijaid defineeritakse vanuse, soo, sissetuleku, ameti ja perekonna suuruse järgi
• Sisuline sihtimine - on rohkem seotud toote kui tarbijaga. Kasutajale näidatakse reklaame, mis omavad otsest seost tarbitava sisuga. Näiteks kosmeetika reklaamid ilublogi juures.
• Käitumuslik sihtimine - reklaamide kuvamine vastavalt tarbija interneti kasutuse ajaloole. Näiteks kasutajale pakutakse youtube’i vaadates veebikaubamaja tooteid, mida ta on eelnevalt külastanud.
• Geograafiline sihtimine - reklaamide kuvamine vastavalt tarbija asukohale. 
• Päevaosa sihtimine - reklaamide kuvamine kindlal perioodil päevas. See on leidnud kasutust peamiselt raadio ning televisiooni puhul, kuid ka näiteks mobiili reklaamides. Näiteks saadavad mõned kojuveo rakendused push sõnumeid mobiilidele lõuna ning õhtusöögi aegadel.
• Huvide põhine sihtimine - Interneti kontekstis on see sarnane käitumusliku sihtimisega. Tarbija huvi indeksit arvutatakse vastavalt kui tihti ta kindla teemaga seotud lehti külastab, kaua seal viibib ning kas leht lisatakse järjehoidjatesse.
• Ostude põhine sihtimine - tarbija ostukäitumise järgi veebis uute reklaamide kuvamine. Hiljuti välja töötatud reklaamide suunitluse meetod, mis on aktuaalne just internetis ning arvestab lisaks tarbija ostudele ka psühholoogilisi aspekte nagu brändilojaalsus, kas tarbija kaldub impulssostudele jne.

Igal eelmainitud reklaamide sihtimise meetodil on oma aeg ja koht turunduses ning nad erinevad eelkõige oma efektiivsuse ning hinna poolest (st. kuivõrd lihtne on andmeid koguda).

Sihitud reklaamid Facebooki näitel

Kaks vaieldamatut giganti sihitud sisu/reklaamide pakkumises tarbijale on Google ja Facebook. Nende edu põhjus on lihtne - nende teenuste kasutamisel annab tarbija enda kohta vabatahtlikult informatsiooni ning selle info alusel on loodud algoritmid, mis loovad aina täpsemaid kasutaja profiile. Arvestades, et näiteks Facebookil on 2022. aastaks üle miljardi aktiivse kasutaja, siis analüüsitav andmehulk on arvestatav ning kasvab eksponentsiaalselt kasutajate arvu tõusuga. Facebook oli 2021. aasta seisuga suurima andmevaramu omanik, mis sisaldab üle 300 petabaiti suurandmeid. Selleks, et suhelda sellise andmehulgaga töötas Facebook välja eraldi SQL mootori nimega Presto, mille abil tehakse varamusse üle 30 000 päringu päevas. Samuti kasutatakse seda ka masinõppeks ehk selle abil õpib Facebooki sihtimise algoritm aina täpsemalt üksikkasutaja profiili koostama ning teda kategooriatesse jagama. Facebooki tarbijate sihtimise algoritmi kasutab nii Facebook ise kui ka Instagram - need kuuluvad mõlemad nüüd ühise brändi Meta alla. Samuti on kasutusel ühine reklaamide haldusplatvorm, mis võimaldab sama reklaammaterjali avaldada mõlemal platvormil. See on üks intelligentsemaid lahendusi sisu ja reklaamide serveerimiseks ning teinud aastatega olulisi edusamme. Samuti on selle andmeanalüüsi peale ehitatud efektiivne turundusmudel, mis võimaldab ettevõtjatel saavutada väiksemate kuludega suurendada oluliselt jälgede (impressions) konverteerimist ostudeks. Oluline ei ole ainult sattuda võimalikult suure publiku silme alla vaid sihtgrupini, kes suurema tõenäosusega sooritab ka reklaami alusel ostu. Lisaks ettevõtete soovidele reklaamide sihtimisel võtab Facebooki algoritm reklaamide näitamisel arvesse ka lisafaktoreid nagu reklaampostituse kvaliteet ning kasutaja eelnevat suhtlust sarnaste reklaamidega. Kõnealuste algoritmit kood on alati ärisaladus - selle töötamise üldpõhimõtted on kirjeldatud platvormi enda reklaammaterjalides ning kasutajapoolsete testide tulemusena. See, kuidas käib reaalne elu kapoti all ei ole ettevõtteväliselt teada kellelegi.

Sihitud reklaamide ohud ja nende reguleerimine

Sihitud reklaamidega kaasnevad veebis aga ka tõsised ohud, kui ettevõtted kasutavad neid ebaausatel viisidel, et leida haavatavaid sihtgruppe ning levitada eksitavat või valeinformatsiooni, mis aktiivselt kahjustab tarbijat. Näiteks võivad MLM (püramiidskeem) ettevõtted sihtida finantsraskustes inimesi (töötud, üksikemad jne) või dieedi preparaatide tootjad toitumishäiretega inimesi. Samuti on moraalne hall ala poliitilised reklaamid ning LGBT kogukonna sihtimine kristliku propagandaga. Seoses veebiturunduse eksponentaalse kasvuga viimastel aastakümnetel on vaikselt hakanud järgi jõudma sellele ka seadusandlus ning tarbijate teadlikkus. Reklaamidel sotsiaalmeedia platvormidel levitatav tasuline sisu peab olema vastavalt märgistatud ning eristatav orgaanilisest sisust. Näiteks on Facebooki sponsoreeritud sisu detailvaates võimalik isegi näha, et millistel põhjustel algoritm seda sisu tarbijale näitab ning teha valik kas samalaadset sisu soovitakse näha ka edaspidi. Välja on töötatud mitmed veebilehitseja lisad nagu Ad-Blocker, mille abil on võimalik blokeerida enamus reklaamist internetis. Ning lõppude lõpuks on keskmine internetikasutaja teadlikum ning küünilisem talle pakutava sisu suhtes ükskõik millist kanalit kaudu. Kokkuvõtlikult võib öelda, et suurandmete analüüs ning selle alusel reklaamide sihtimine on suur ning tulus äri ning selle arengusse on agressiivselt panustanud suured tehnoloogia gigandid nagu Google ning erinevad sotsiaalmeedia platvormid. Sellest tulenevalt on reklaamsisu veebis oluliselt personaalsem ning aktuaalsem igale tarbijale. Aga nagu iga süsteemi puhul on leitud ka võimalused kuidas seda ekspluateerida omakasu eesmärgil.

Andmeteadus ja otsingumootorid

Otsingumootorite olemus

Interneti otsingumootorite ja andmeteaduse olemuse sarnasus sõltub meetoditest, mida mõlemad kasutavad ning valdkondadest, kuhu meetodid kuuluvad. Ühisosaks on matemaatika, statistika ning selle alaliigid. Mõlemad on rohkemal või vähemal määral seotud informaatikaga, veebitehnoloogiatega ning võrgutehnoloogiatega, kuid andmeteadus keskendub olemasolevatest andmetest uute teadmiste tuletamisse. Peamine ühisosa peitub andmete süstematiseerimises. Siin kirjeldatud algoritmid ja meetodid on ainult väike osa reaalselt otsingumootorites kasutusel olevatest lahendustest. Google otsingumootor kasutab hinnanguliselt üle 200 algoritmi, nt Panda, Penguin, Hummingbird, Mobile, RankBrain, Medic, Bert. Projektinimede taga peituvad matemaatilised ja statistilised meetodeid ning algoritmide kogumid on kommertsiaal-lahendustes lähedalt kaitstud ärisaladus. Küll aga on tänu patenteerimisele ning teadustööle teada mitmed meetodid ja algoritmid, mida teostustasandil reaalselt kasutatakse. Allpool tuleb juttu mõnedest interneti otsingumootorite töö kategooriatest ning põhiprintsiipidest nagu andmete omandamine, indekseerimine ja hindestus ning mõningatest algoritmidest ning matemaatilistest teoreemidest, mida info töötluseks kasutatakse.

Indekseerimine otsingumootorites

Indekseerimine on olemuselt vana nähtus (ca 5000 aastat). Interneti otsingumootorite töö aluseks on indeksite kasutamine. Internetis oleva lehe sisu indekseeritakse, piltlikult tähendab see suurt sõnaraamatut. Sisestades otsingumootorisse võtmesõna, otsitakse sõnaraamatu võtmesõnale vastavad väärtused (internetileheküljed), mis on eelneva indekseerimise tulemusel moodustunud.

caption

Pilt 1. Ülemine pilt kajastab kujuteldavat veebi 3 veebilehega ( 1, 2 ja 3). Alumine pilt illustreerib, kuidas otsingusõnad veebilehtede kaupa indekseeritakse.

Üksikute sõnade puhul (nt ‘cat dog’) tehakse kaks nimekirja (1, 3) ja (2, 3) ning moodustatakse nimekirjade ühisosa (3). Fraaside otsimiseks kasutatakse otsingumootorite puhul jutumärke, tähistamaks et võtmesõnad peavad esinema koos. Seetõttu omistatakse igale sõnale lehe indekseerimisel väärtus. Pilt 1 näitab, et otsingu tulemusel moodustub kaks andmekogumit (1-2, 3-2) ja (1-3, 3-7). Sobiva vastuse leidmiseks kasutab otsingumootor eelnevat meetodit, leides kogumi elementide esimese positsioon (lehe indeksite) ühisosa ning seejärel, teades et “cat dog” asetsevad kõrvuti, kaks teineteisega kõrvuti olevat numbrit. Sobivaks tulemuseks on lehekülg 1. Miljonite võimalike tulemuste kuvamine otsustatakse relevantsuse järgi. Üheks lehe olulisuse otsustamise meetodiks on NEAR päring, mida otsingumootor kasutaja eest varjatult teeb. NEAR meetodi põhimõte seisneb selles, et tüüpiliselt on leheküljed, millel esinevad otsingufraasi sõnad teineteisele lähemal, otsijale kasulikumad. Sarnaselt lähestikustele päringutele kasutavad otsingumootorid metasõnasid, indekseerides lisaks sõnadele ka näiteks HTML-i <> tag-ide positsioonid ning võrreldes võti-väärtuspaare on võimalik hinnata, kas otsitav sõna või fraas sisaldub nt lehe pealkirjas. Lisaks tag-idele on võimalik seda kasutada hüperlinkide sisu, piltide metaandmete või muu sisu järjendisse lisamiseks. Võtmesõna esinemine nt pealkirjas võib omakorda tõsta lehekülje relevantsust indeksis.

Hindestamine otsingumootorites

Relevantsuse otsustamise juures oli suurimaks edasiviivaks jõuks L. Page’i ja S. Brin’i PageRank (PR) algoritm . Enne Google võidukäiku töötas prioritiseerimine hüperlinkide kokku lugemise teel: leheküljed, millele kõige rohkem hüperlinkidega viidati, olid otsingu tulemuste seas eespool. PageRank lisas statistikal põhineva summutusfaktori d ning hakkas arvesse võtma seda, milline oli edasi viitava lehe kaal (weight). Teisisõnu olid lehed, millele nt Yahoo! pealeht viitas, kõrgema PR väärtusega. Juhul kui hüperlingid moodustavad aga suletud süsteemi, siis on võimalik, et algoritm jääb veebilehti indekseerides tsüklisse, mille tulemusel suureneb tsüklis osalevate lehtede väärtus lõpmatuseni. Selle olukorra vältimiseks võttis PR kasutusele summutusväärtuse d, mis PR-i alguspäevil oli vaikimisi 15%. Vaikeväärtust kasutatakse koos random surfer algoritmiga, mis tähendab, ühelt lehelt navigeerib suvalisele teisele lehele hüperlingi kaudu nn surfaja ja igal hüppel ühelt lehelt teisele, on tõenäosus 0.85, et navigeerimine lõpetatakse ning alustatakse uuesti suvaliselt valitud lehelt. See peaks simuleerima keskmist interneti kasutajat. Nii arvutatakse lehtede PR väärtused ning ühtlasi kasutatakse autoritaarsuse kui ka hüperlinkide hulga ideed.

Otsingumootorid andmeteaduses

I.Y. Song ja Y. Zhu poolt välja pakutud andmeteaduse elutsüklimudeli (pilt 2) põhjal järgivad otsingumootorid andmete käitlemisel sarnaseid tööpõhimõtteid. Andmete ettevalmistamise faasis toimub andmete hankimine ja hindamine, puhastamine, teisendamine ning andmete kvaliteedi kontrollimine.

caption

Pilt 2. Andmeteaduse elutsükkel.

Eelpool toodu eest vastutavad veebirobotid e ämblikud (web crawler), kes hüperlinkide kaudu veebilehtede vahel liiguvad ning lehtede sisu automaatselt indekseerivad, järgides robots.txt reegleid. Ämblikud kasutavad GET ja POST päringuid, korduvkülastuste puhul võrreldakse HEAD päringu viimase muutuse (Last-Modified) väärtust, seega ei ole alati vaja kogu veebilehe sisu uuesti küsida. Üheks indekseerimise meetrikaks on lehe vanus, mida arvutatakse integraalfunktsioonina. Lisaks kasutavad veebiotsingumootorid pidevalt uuenduvate meediumite nagu uudised, blogid, videod indekseerimiseks RSS “lugejate” abi. Internetist leitavate HTML, XML, PDF, MS Word ja PowerPoint dokumentide konverteerimise eest tekstikujule vastutavad erinevad utiliidid. Song & Zhu mudeli neljas osa - mudeli planeerimine - on kõige lähemalt seotud erinevate matemaatiliste meetoditega. Mudeli planeerimine Song & Zhu järgi hõlmab meetodite, tehnikate ja töövoo kindlaks tegemist. Peamiste muutujate valimist ja nendevaheliste korrelatsioonide määramist. Veebi otsingumootorite puhul on mudeli planeerimine ning andmete ettevalmistamine lähedalt seotud. Enamus otsingumootoreid arvutavad välja relevantsuse tõenäosuse, kuid andmete saamiseks on ka teisi mudeleid. Vanimad on Boole’i ja vektorruumi mudel, mis on tänapäevaks asendatud tõenäosuslike mudelitega. Boole’i mudel jaotab veebilehed kindlatesse kategooriatesse, nt kasulik, kasutu, ebakindel ning kasutab operaatoreid nagu AND, OR, NOT. Tänapäeval on Boole’i mudeli puhul täpsete vastete saamiseks kasutusel erinevad meetodid (proximity operator, wildcard characters, regulaaravaldised) [20]. Koostöös elutsükli eelmise tasandi elemendi, andme klassifikaatoriga, toimub andmehulga edasine töötlus. Klassifikaatorid, mida veebilehtede otsingumootori kasutatakse, jagunevad kaheks: klassifikatsiooni algoritmideks ja rühmitamise algoritmideks. Esimesel juhul on tegu järelevalvega õppel põhinevate tehnikatega, millega klassifitseeritakse dokumendid ette-määratud siltide põhjal. Nendeks siltideks on tüüpiliselt aktuaalsed kategooriad “sport”, “poliitika”, “äri” jne. Teisteks enam-levinud klassifikatsiooni näideteks on dokumentide eraldamine spam-ist ja dokumentide mitte-sisulise osa identifitseerimine, nt reklaam. Teisel juhul on tegu järelvalveta õppel põhinevate meetoditega. Rühmad (klastrid) ei ole ette määratud, seega on ka klassifikatsiooniga võrreldes rühmitamise eesmärgid hägusemad. Pärast rühmitamist toimub andmete hindamine (evaluation). Rühmad jagunevad monoteetilisteks ja polüteetilisteks. Levinud rühmitamise algoritmid on hierarhiline, k-keskmiste ja k-lähima naabri rühmitamine. Talletatud andmetest temaatilise informatsiooni saamiseks (retrieval) on kasutusel mitmeid erinevaid mudeleid. Üheks oluliseks mudeliks on spämmi identifitseerimine ning andmete puhastamine. Selleks on kasutusel tingimuslik tõenäosus P(A|B) ja Bayesi teoreem otsustamaks kategooriate üle, samuti mitmemuutuja-Bernoull’i valem ja binoom-muutuja, normaaljaotuse tihedusfunktsioon ning SVM-id (support vector machines) [20]. Konteksti loomiseks tõenäosusel põhinevate mudelite puhul on kasutusel Markovi mudel, mis on integreeritud ka PageRank-is, kuid otsingumootorites kasutatakse laiemalt ka HMM-i (Hidden Markov Model). ,

Interneti otsingumootorid tegelevad, sarnaselt andmeteaduselegi, suurandmetest väärtuslike mustrite tuvastamise ning kaevandamisega, esitades kasutajale viite andmete asukohale, kuid ka ise erinevate allikate andmeid graafidena kokku võttes. Otsingumootorite töös ei ole Song ja Zhu poolt välja pakutud andmemudeli elutsükli etappide piirid rangelt määratletud. Nii võib kasutada andmete ettevalmistamist, mudeli planeerimist ja ehitamist läbisegi, korrates kolmandat ja neljandat astet tsükliliselt Samuti ei ole välistatud paralleliseerimine.

Andmeteadus ja pildituvastus

Pildituvastuse areng ja olemus

Pildituvastus ehk arvuti oskus piltidelt ja videotelt objekte tuvastada tekkis külltki ruttu peale esimeste arvutite kasutuselevõttu. Pildituvastuse eesmärk on jäljendada inimeste võimet objete tajuda ja neid tuvastada. Objektid võivad asuda üksiku pildi peal või pildiseeriate peal, erinevatest vaatepunktidest tehtud piltide peal või tegu võib olla ka näiteks mitmemõõtmeliste andmetega, mida toodavad meditsiinilised seadmed (skannerid). 1960. aastate lõpus hakati ülikoolides tegelema pildituvastuse (ing. k. computer vision) arendamisega seoses tehisintellekti (ing. k. artificial intelligence) uurimisega. Tehisintellekti eesmärgiks oli (on) ehitada robotid, mis suudaksid käituda inimesesarnaselt ning selle üheks osaks on objektide tuvastamine ja analüüsimine. 1966. aasta MIT suveprojekti raames arvati, et selle saavutamiseks piisab lihtsalt sellest, kui roboti külge panna kaamera ja käskida robotil kirjeldada, mida ta näeb . Aastakümneid hiljem võime öelda, et selleks on vaja palju enamat. Erinevalt tavalisest pilditöötlusest soovib pildituvastus saavutada objekti kolmemõõtmelist kuju ning 1970. aastatel töötatigi välja mitmed tänapäevalgi kasutust leidvad algoritmid ja meetodid (nt piirjoonte tuvastus, joonobjektide sildistamine või objekti liikumise ennustamine) . 1980. aastatel võeti pildituvastusel kasutusel mitmed matemaatlised analüüsimeetodid ja kvantitatiivsed näitajad. 1990. aastad tõid arenguid objektide 3D rekonstrueerimise vallas – võeti kasutusele juba teistes uurimisvaldkondades (nt fotogramm-meetrias) teada-tuntud meetodi (nt kaamera kalibreerimisega seotud meetodid). 1990.aasta lõpus tomusid kiired arengud arvutigraafika ja pildituvastuse vallas – pildipõhine renderdamine, panoraampiltide kokku “õmblemine” jms . Pildituvastusel võib olla palju laiem kasutusvaldkond, kui arvata oskamegi. Näiteks võib pildituvastust kasutada taaraautomaatides ribakoodide skaneerimisel aga ka väga keerulistes tehisintellekti projektides, kus püütakse jäljendada päriselulist inimkäitumist. Järgnevalt vaatamegi levinumaid piltituvastuse rakendusvaldkondi.