Wget: Difference between revisions

From ICO wiki
Jump to navigationJump to search
 
(63 intermediate revisions by the same user not shown)
Line 1: Line 1:
Viimati muudetud 03.05.2011
[[File:Wget.png|200px|thumb|upright|<p align="center" text-family="Halvetica" text-size="18px">GNU/Wget ekraanitõmmis</p>
[[File:Wget.png|200px|thumb|upright|<p align="center" text-family="Halvetica" text-size="18px">GNU/Wget ekraanitõmmis</p>
'''Arendajad:''' <p align="right">Giuseppe Scrivano, Hrvoje Nikšić</p>
'''Arendajad:''' <p align="right">Giuseppe Scrivano, Hrvoje Nikšić</p>
Line 18: Line 19:
Tänaseks on wget porditud mitmetesse erinevatesse keskkondadesse - ''Mac OS X'' 'i, ''Microsoft Windows'' 'i, ''OpenVMS'' 'i, ''MorphOS'' 'i ja ''AmigaOS'' 'i.
Tänaseks on wget porditud mitmetesse erinevatesse keskkondadesse - ''Mac OS X'' 'i, ''Microsoft Windows'' 'i, ''OpenVMS'' 'i, ''MorphOS'' 'i ja ''AmigaOS'' 'i.


= Wget võimaldab =
= Wget võimalused =


* Kasutajal seadistada, millised HTML ja XHTML linke GNU/Wget ära tunneks ja jälitaks;
* Kasutajal seadistada, millised HTML ja XHTML linke GNU/Wget ära tunneks ja jälitaks;
Line 28: Line 29:
* Failide tarimist läbi proxy serverite, mis omakorda vähendab võrgukoormust ja ühtlasi kiirendab failide kohalejõudmist.
* Failide tarimist läbi proxy serverite, mis omakorda vähendab võrgukoormust ja ühtlasi kiirendab failide kohalejõudmist.


=Kasutamine=
=Wget kasutamine [algajad > näited]=
 
----
----


Wget laeb alla kõik aadressitel oleva informatsiooni mis talle on käsureal ette antud.
Wget laeb alla kõik aadressitel oleva informatsiooni mis talle on käsureal ette antud.


Soovi korral saab kasutaja muuta ka mõningaid vaikimisi parameetreid. Seda saab teha kahel erineval viisil:  
Wget käsu formaat:
 
'''wget [VÕTMED]... [URL]...'''
 
----
----
* URL-i allalaadimiseks internetist kasutatakse käsku '''wget [URL]'''
'''näide:''' wget http://www.itcollege.ee
'''tulemus:'''
root@ubuntu:~# wget http://www.itcollege.ee
--2011-05-02 11:52:13-- http://www.itcollege.ee/
Resolving www.itcollege.ee... 193.40.194.205
Connecting to www.itcollege.ee|193.40.194.205|:80... connected.
HTTP request sent, awaiting response... 200 OK
Lengt: unspecified [text/html]
Saving to: 'index.html'
  [ <=> ] 25,587 --.-K/s  in 0.02s
2011-05-02 11:52:13 (1.09 Mb/s) - 'index.html' saved [25587]
 
* Rekursiivselt failide allalaadimiseks saab kasutada käsku:
näide: wget -r [ADDRESS_TO_DIRECTORY]
 
* Kui osutub vajalikuks suure andmefaili allalaadimine ja samal ajal on tegemist aeglase võrguühendusega, siis suure tõenäosusega eelpool mainitud käsk ebaõnnestub ühenduse katkemisel ja seda rohkem kui ühel korral. Vaikimisi üritab Wget allalaadimist teostada 20-l korral. Siinkohal võib määrata korduskatsete arvuks suurema arvu, mille tulemusel saab kindel olla, et fail laetakse alla kogumahus.
* Kui märkida korduste arvuks '''inf''', siis jätkuvad allalaadimise katsed lõputul arvul.
 
'''näide:''' wget --tries=70 http://ftp.heanet.ie/pub/ubuntu-cdimage/releases/10.10/release/ubuntu-10.10-dvd-amd64.iso
'''näide2:''' wget --tries=inf http://ftp.heanet.ie/pub/ubuntu-cdimage/releases/10.10/release/ubuntu-10.10-dvd-amd64.iso
 
* Siinkohal on kõige mõistlikum jätta Wget tagaplaanil tööle ning samal ajal on mõistlik kogu tegevus kirjutada logifaili (log). '''--tries=number''' asemel võib kasutada võtit '''-t'''
'''näide''': wget -t 70 -o log http://ftp.heanet.ie/pub/ubuntu-cdimage/releases/10.10/release/ubuntu-10.10-dvd-amd64.iso &
 
* Kui siinkohal oli Wget hankimas ühte väga suurt faili, mille hankimine katkestati, siis saab jätkamiseks kasutada võtit '''-c''':
'''näide''': wget -c [ADDRESS_TO_FILE]
 
* Kui kasutaja oli allalaadimas tervet kausta, kus on tuhandeid faile ja failide allalaadimine ebaõnnestus põhjusel, et segati Wget'i tööd, siis saab kasutada käsklust, mille tulemusel ei hangi Wget faile, mis eelmisel katsel juba salvestati:
'''näide:''' wget -nc -r [ADDRESS_TO_DIRECTORY]
 
* Siinkohal võib kasutaja leida, et allalaadimisel kasutatakse kogu vaba ressurssi. See omakorda võib aeglustada teiste samas võrgus olevate inimeste tööd (võrguühendust). Sellisel juhul on väga otstarvekas märkida maksimaalne allalaadimiskiirus, mida rakendatakse faili(de) laadimisel.
'''näide:''' wget --limit-rate=200k http://ftp.heanet.ie/pub/ubuntu-cdimage/releases/10.10/release/ubuntu-10.10-dvd-amd64.iso
'''tulemus:''' allalaadimise kiirus on limiteeritud maksimaalselt kuni 200k/s
 
* FTP-st failide kasutamine on samuti lihtne. Anonüümse FTP serveri puhul ei osutu vajalikuks kasutajatunnuse ja parooli määramine.
'''näide:''' wget ftp://ftp.linux.ee/index.html
'''tulemus:'''
root@ubuntu:~# wget ftp://ftp.linux.ee/index.html
--2011-05-02 12:56:46-- ftp://linux.ee/index.html
  => 'index.html'
Resolving linux.ee... 195.222.16.155
Connecting to linux.ee|195.222.16.155|:21... connected
Logging in as anonymous ... Logged in!
==> SYST ... done. ==> PWD ... done
==> TYPE I ... done. ==> CWD not needed.
==> SIZE index.html ... 3002
==> PASV ... done. ==> RETR index.html ... done.
Length: 3002 (2.9K) (unauthoriative)
100%[===========================>] 3,002 --.-K/s  in 0s
2011-05-02 12:56:47 (151 MB/s) 'index.html' saved [3002]
 
* Kui käsuna märkida kausta aadress, siis Wget salvestab kaustade nimekirja ja konvertib selle HTML formaati:
 
'''näide''': wget ftp://ftp.linux.ee/
vaata faili: less index.html
 
* Kui tegemist pole anonüümse FTP serveriga, siis osutub vajalikuks kohe käsureal kasutajatunnuse ja parooli määramine. Käsklus siinkohal näeb välja järgmine:
wget -r -nd --user=USERNAME --password=PASSWORD [ADDRESS_TO_DIRECTORY/DIRECTORY]


* Lisades sobiva käsu faili .wgetrc (jäädav muutus);
* FTP-st terve kataloogi allalaadimisega tuleb Wget samuti toime:


* Täpsustades parameetrit kohe käsureal;
'''näide:''' wget -r ftp://username:password@domain.com
'''näide2:''' wget -m ftp://username:password@domain.com


'''wget [VÕTMED]... [URL]...'''
* Kui arvutis on mõni fail ning soovid leida selles sisalduvaid URL-e, siis Wget võimaldab seda teha järgmiselt:
'''näide:''' wget -i URLe_sisaldava_faili_nimi.txt
 
* Kui kasutajal tekib soov ühest kaustast alla laadida kindla faililaiendiga faile, siis saab Wget ka sellega hakkama.
'''näide:''' wget -r -l1 --no-parent -A.PNG [ADDRESS_TO_DIRECTORY/DIRECTORY]
 
* Kui kasutaja leiab, et allalaetav veebileht sisaldab paljusid mittevajalikke faile kindla laiendiga, siis saab nende allalaadimise keelata. Kogu muu sisu laetakse alla.
näide: wget --reject=PNG [WEBSITE-TO-BE-DOWNLOADED]
 
* Kui kasutajal tekib soov kaustast, kus on näiteks 500 faili, alla laadida neist kümmekond, siis võib eelnevalt luua tekstifaili, mis sisaldab täpseid aadresse failideni. Seejärel tuleb anda Wget'ile käsklus, et hangitaks failis nimetatud failid.
 
näide:
cat > hangi-soovitud-failid.txt
URL1
URL2
URL3
...
CTRL + C
wget -i hangi-soovitud-failid.txt


==Käsud programmiga tutvumiseks==
=Kokkuvõte=
'''-V''' ehk '''--version''' - kuvab paigaldatud Wget versiooni.
Wget on väga hea käsureaprogramm failide hankimiseks internetist. Wget-i kasutamine algtasemel ei nõua arvutikasutajalt väga suuri teadmisi.  
wget --version
Eelpool toodud artiklis on nimetatud peamised käsud, mis sobivad algkasutajatele Wget'ga tutvumiseks.
'''-h''' ehk '''--help''' - kuvab informatsiooni kõigi kasutatavate wget käskluste kohta.
wget --help
'''-b''' ehk '''--background''' - alustab käivitamise järgselt tööd tagaplaanil. Kui väljundi faili pole määratletud '''-o''' abil, siis väljund suunatakse '''wget-log''' 'i.
wget --backround


==Logi ja sisendfailide käsud==
Kui tekib soov täieliku ülevaate saamiseks Wget poolt võimaldavatest funktsioonidest, siis võib käsureale tippida 'man wget' ja/või külastada GNU Wget kodulehte.
'''-o logfile''' ehk '''--output-file=logfile''' - salvestab kõik teated logifaili. Vaikimisi salvestatakse need standardvigade logifaili.
wget -o logfile
'''-a logfile''' ehk '''--append-output=logfile''' - olemuselt sama käsk eelmisega ('''-o'''), aga siinkohal ei kirjutata logifaili üle, vaid tehakse alati uus logifail.
wget -a logfile
'''-q''' ehk '''--quiet''' - keelab ekraanile tulemuse väljastamise
wget -q
'''-F''' ehk '''--force-html''' - kui sisendit loetakse failist, siis sunnib seda kohtlema kui HTML faili.
wget -F
'''-i file''' ehk '''--input-file=file''' - loeb URL aadressid failist, kusjuures URL-aadressid ei pea olema käsureal.
wget -i
==Allalaadimise käsud==
'''-t number''' ja '''--tries=number''' - määrab, mitu korda üritatakse faili allalaadimist teostada. Kui märkida arvuks 0, siis üritatakse faili laadida lõpmatu arv kordi.
wget -t


=Kasutatud kirjandus=
=Kasutatud kirjandus=
[http://linux.about.com/od/commands/l/blcmdl1_wget.htm Linux.About.Com]
man wget
 
=Kasulikke linke=
http://www.gnu.org/software/wget/
 
http://www.gnu.org/software/wget/manual/wget.html


[http://www.gnu.org/software/wget/manual/wget.html GNU.org]
= Autor =
Tavo Toomemägi | A41


Tavo Toomemägi A41
[[Category: Operatsioonisüsteemide administreerimine ja sidumine]]

Latest revision as of 00:48, 3 May 2011

Viimati muudetud 03.05.2011

GNU/Wget ekraanitõmmis

Arendajad:

Giuseppe Scrivano, Hrvoje Nikšić

Esmane väljalase:

Jaanuar 1996

Operatsioonisüsteem:

GNU/Linux

Stabiilne versioon:

1.12 / 22 September 2009

Tüüp:

FTP client / HTTP client

Koduleht:

gnu.org

Sissejuhatus

GNU/Wget (või lihtsalt Wget) on programm, mis suudab veebi- ja ftp-serveritest faile hankida. Nimi (Wget) on tuletatud lühendist (World Wide Web) ja selle põhifunktsioonist GET (ingl.k. hankima).

Wget abil on võimalik hankida faile üle HTTP, HTTPS ja FTP protokolli, mis on kõige laiemalt levinud TCP/IP protokollid.

Wget sai alguse 1996. aastal, mil leidis aset veebi populaarsuse hüppeline kasv, põhjustades selle laialdase kasutuse Unix-i kasutajate seas.

Tänaseks on wget porditud mitmetesse erinevatesse keskkondadesse - Mac OS X 'i, Microsoft Windows 'i, OpenVMS 'i, MorphOS 'i ja AmigaOS 'i.

Wget võimalused

  • Kasutajal seadistada, millised HTML ja XHTML linke GNU/Wget ära tunneks ja jälitaks;
  • Teostada sünkroniseerimist failide FTP ja HTTP serverite vahel ning ühtlasi luua peegeldusi;
  • Laadida faile alla üle aeglase ja/või ebakindla võrguühenduse. Ühenduse katkemise puhul ja selle taastumisel jätkab allalaadimist sealt, kus see pooleli jäi;
  • Teostada failide allalaadimist tagaplaanil. Seda ka siis, kui kasutaja pole end sisseloginud;
  • Failide laadimisel kasutusele võtta meta-märke;
  • Rekursiivselt eemalasuva veebilehe kopeerimist arvuti kõvakettale, kus soovi korral Wget muudab HTML dokumendis leiduvad lingid sedasi, et need osutaksid kohalikele failidele. Võimaldades sedasi veebilehte vaadata ka võrguühenduse puudumisel;
  • Failide tarimist läbi proxy serverite, mis omakorda vähendab võrgukoormust ja ühtlasi kiirendab failide kohalejõudmist.

Wget kasutamine [algajad > näited]

Wget laeb alla kõik aadressitel oleva informatsiooni mis talle on käsureal ette antud.

Wget käsu formaat:

wget [VÕTMED]... [URL]...

  • URL-i allalaadimiseks internetist kasutatakse käsku wget [URL]
näide: wget http://www.itcollege.ee

tulemus: 

root@ubuntu:~# wget http://www.itcollege.ee
--2011-05-02 11:52:13-- http://www.itcollege.ee/
Resolving www.itcollege.ee... 193.40.194.205
Connecting to www.itcollege.ee|193.40.194.205|:80... connected.
HTTP request sent, awaiting response... 200 OK
Lengt: unspecified [text/html]
Saving to: 'index.html'

  [ <=>					] 25,587	--.-K/s   in 0.02s
2011-05-02 11:52:13 (1.09 Mb/s) - 'index.html' saved [25587]
  • Rekursiivselt failide allalaadimiseks saab kasutada käsku:
näide: wget -r [ADDRESS_TO_DIRECTORY]
  • Kui osutub vajalikuks suure andmefaili allalaadimine ja samal ajal on tegemist aeglase võrguühendusega, siis suure tõenäosusega eelpool mainitud käsk ebaõnnestub ühenduse katkemisel ja seda rohkem kui ühel korral. Vaikimisi üritab Wget allalaadimist teostada 20-l korral. Siinkohal võib määrata korduskatsete arvuks suurema arvu, mille tulemusel saab kindel olla, et fail laetakse alla kogumahus.
  • Kui märkida korduste arvuks inf, siis jätkuvad allalaadimise katsed lõputul arvul.
näide: wget --tries=70 http://ftp.heanet.ie/pub/ubuntu-cdimage/releases/10.10/release/ubuntu-10.10-dvd-amd64.iso
näide2: wget --tries=inf http://ftp.heanet.ie/pub/ubuntu-cdimage/releases/10.10/release/ubuntu-10.10-dvd-amd64.iso
  • Siinkohal on kõige mõistlikum jätta Wget tagaplaanil tööle ning samal ajal on mõistlik kogu tegevus kirjutada logifaili (log). --tries=number asemel võib kasutada võtit -t
näide: wget -t 70 -o log http://ftp.heanet.ie/pub/ubuntu-cdimage/releases/10.10/release/ubuntu-10.10-dvd-amd64.iso &
  • Kui siinkohal oli Wget hankimas ühte väga suurt faili, mille hankimine katkestati, siis saab jätkamiseks kasutada võtit -c:
näide: wget -c [ADDRESS_TO_FILE]
  • Kui kasutaja oli allalaadimas tervet kausta, kus on tuhandeid faile ja failide allalaadimine ebaõnnestus põhjusel, et segati Wget'i tööd, siis saab kasutada käsklust, mille tulemusel ei hangi Wget faile, mis eelmisel katsel juba salvestati:
näide: wget -nc -r [ADDRESS_TO_DIRECTORY]
  • Siinkohal võib kasutaja leida, et allalaadimisel kasutatakse kogu vaba ressurssi. See omakorda võib aeglustada teiste samas võrgus olevate inimeste tööd (võrguühendust). Sellisel juhul on väga otstarvekas märkida maksimaalne allalaadimiskiirus, mida rakendatakse faili(de) laadimisel.
näide: wget --limit-rate=200k http://ftp.heanet.ie/pub/ubuntu-cdimage/releases/10.10/release/ubuntu-10.10-dvd-amd64.iso
tulemus: allalaadimise kiirus on limiteeritud maksimaalselt kuni 200k/s
  • FTP-st failide kasutamine on samuti lihtne. Anonüümse FTP serveri puhul ei osutu vajalikuks kasutajatunnuse ja parooli määramine.
näide: wget ftp://ftp.linux.ee/index.html

tulemus:

root@ubuntu:~# wget ftp://ftp.linux.ee/index.html
--2011-05-02 12:56:46-- ftp://linux.ee/index.html
 		=> 'index.html'
Resolving linux.ee... 195.222.16.155
Connecting to linux.ee|195.222.16.155|:21... connected
Logging in as anonymous ... Logged in!
==> SYST ... done.	==> PWD ... done
==> TYPE I ... done.	==> CWD not needed.
==> SIZE index.html ... 3002
==> PASV ... done.	==> RETR index.html ... done.
Length: 3002 (2.9K) (unauthoriative)

100%[===========================>] 3,002	--.-K/s   in 0s

2011-05-02 12:56:47 (151 MB/s) 'index.html' saved [3002]
  • Kui käsuna märkida kausta aadress, siis Wget salvestab kaustade nimekirja ja konvertib selle HTML formaati:
näide: wget ftp://ftp.linux.ee/
vaata faili: less index.html
  • Kui tegemist pole anonüümse FTP serveriga, siis osutub vajalikuks kohe käsureal kasutajatunnuse ja parooli määramine. Käsklus siinkohal näeb välja järgmine:
wget -r -nd --user=USERNAME --password=PASSWORD [ADDRESS_TO_DIRECTORY/DIRECTORY]
  • FTP-st terve kataloogi allalaadimisega tuleb Wget samuti toime:
näide: wget -r ftp://username:password@domain.com 
näide2: wget -m ftp://username:password@domain.com
  • Kui arvutis on mõni fail ning soovid leida selles sisalduvaid URL-e, siis Wget võimaldab seda teha järgmiselt:
näide: wget -i URLe_sisaldava_faili_nimi.txt
  • Kui kasutajal tekib soov ühest kaustast alla laadida kindla faililaiendiga faile, siis saab Wget ka sellega hakkama.
näide: wget -r -l1 --no-parent -A.PNG [ADDRESS_TO_DIRECTORY/DIRECTORY]
  • Kui kasutaja leiab, et allalaetav veebileht sisaldab paljusid mittevajalikke faile kindla laiendiga, siis saab nende allalaadimise keelata. Kogu muu sisu laetakse alla.
näide: wget --reject=PNG [WEBSITE-TO-BE-DOWNLOADED]
  • Kui kasutajal tekib soov kaustast, kus on näiteks 500 faili, alla laadida neist kümmekond, siis võib eelnevalt luua tekstifaili, mis sisaldab täpseid aadresse failideni. Seejärel tuleb anda Wget'ile käsklus, et hangitaks failis nimetatud failid.
näide: 

cat > hangi-soovitud-failid.txt
URL1
URL2
URL3
...

CTRL + C

wget -i hangi-soovitud-failid.txt

Kokkuvõte

Wget on väga hea käsureaprogramm failide hankimiseks internetist. Wget-i kasutamine algtasemel ei nõua arvutikasutajalt väga suuri teadmisi. Eelpool toodud artiklis on nimetatud peamised käsud, mis sobivad algkasutajatele Wget'ga tutvumiseks.

Kui tekib soov täieliku ülevaate saamiseks Wget poolt võimaldavatest funktsioonidest, siis võib käsureale tippida 'man wget' ja/või külastada GNU Wget kodulehte.

Kasutatud kirjandus

man wget

Kasulikke linke

http://www.gnu.org/software/wget/

http://www.gnu.org/software/wget/manual/wget.html

Autor

Tavo Toomemägi | A41

Retrieved from "https://wiki.itcollege.ee/index.php?title=Wget&oldid=29979"