Võrgurobotid ja nende kasutusalad

Mis on bot?

Interneti robot (web robot) või lihtsamalt öeldes bot, on tarkvaraline rakendus, mis täidab automaatseid, korduvaid ning eelnevalt määratletud ülesandeid internetis. Praegused veebirobotid teostavad suhteliselt lihtsaid ülesandeid, mis oleksid inimeste jaoks tüütud ja aeganõudvad. Kõige rohkem on levinud indekseerimisrobotid ehk ämblikud (spiders) või internetis roomajad (crawlers).

Veebirobot on otsingumootorite alustala, mille eesmärk on teostada interneti süvaotsingut ja andmekaevamist, et sinu otsingule vasteid anda. Osa neist robotitest töötavad automaatselt ja osad käivitakse ainult konkreetse sisendi saamisel. Automatiseeritud skriptid leiavad, analüüsivad ja esitavad saadud informatsiooni interneti veebiserveritest mitmeid kordi kiiremini kui inimene seda jõuaks teha. Otsingumootori jaoks info kogumiseks monitooritakse URL-e (veebilehe aadresse), uudisteportaale, kodulehti, foorumeid, blogisid ning indekseeritakse nende sisu, pealkirju, teateid, pildinimetusi, tekstiosa – lauseid, lausepaare, märksõnu lausetes jne. Enamik veebiroboteid on ohutud ja nende eesmärk on muuta Interneti info väärtuslikuks ning kasulikuks. Samas on levinud ka nn pahad robotid, mida kasutatakse pahatahtlikel eesmärkidel.