Meeskond:Scraper: Difference between revisions
From ICO wiki
Jump to navigationJump to search
Created page with "==Liikmed== *Ove Kangur *Heidi Koppel ===Blogi=== *'''10.10.2017''' - Panime meeskonna kokku *'''10.10.2017''' - Rääkisime ideest *'''21.10.2017''' - Panime idee paika =..." |
|||
| Line 11: | Line 11: | ||
===IDEE=== | ===IDEE=== | ||
Teeme web scraper'i, mis laeb alla lehekülgede html failid, loeb nendest välja informatsiooni ning salvestab saadud info andmebaasi ning peab järge selle üle mis lehedel on käidud ning mis lehtedele, mis ajal tuleb veel(uuesti) minna. | |||
Kasutajaliidese, kust saab valida milliseid lehekülgi tõmmata ningteha päringuid. | |||
Kui aega üle peaks jääma siis võiks esimese asjana teha selle automaatseks nii, et ta kontrollib kas interneti ühendus on olemas ja näiteks iga päev kell 12:00 ning hakkab ise tööle (või esimesel võimaluses kui arvuti on sisse lülitatud ja internetiühendus olemas). | |||
Kui siis ka veel igav on siis rakendada mõnda (masinõppe) algoritmi või lihtsamat statistikat, mis leiaks infost midagi huvitavat ja teeks näiteks iga päev mingi kokkuvõtte/raporti ning saadab selle mailile. | |||
Revision as of 19:46, 22 October 2017
Liikmed
- Ove Kangur
- Heidi Koppel
Blogi
- 10.10.2017 - Panime meeskonna kokku
- 10.10.2017 - Rääkisime ideest
- 21.10.2017 - Panime idee paika
IDEE
Teeme web scraper'i, mis laeb alla lehekülgede html failid, loeb nendest välja informatsiooni ning salvestab saadud info andmebaasi ning peab järge selle üle mis lehedel on käidud ning mis lehtedele, mis ajal tuleb veel(uuesti) minna.
Kasutajaliidese, kust saab valida milliseid lehekülgi tõmmata ningteha päringuid.
Kui aega üle peaks jääma siis võiks esimese asjana teha selle automaatseks nii, et ta kontrollib kas interneti ühendus on olemas ja näiteks iga päev kell 12:00 ning hakkab ise tööle (või esimesel võimaluses kui arvuti on sisse lülitatud ja internetiühendus olemas).
Kui siis ka veel igav on siis rakendada mõnda (masinõppe) algoritmi või lihtsamat statistikat, mis leiaks infost midagi huvitavat ja teeks näiteks iga päev mingi kokkuvõtte/raporti ning saadab selle mailile.
