Wget -esimerkkejä

Tässä ohjeessa on lyhyesti käsitelty Wget -ohjelman käyttöä. Ohjelmassa on todella paljon erilaisia valitsimia, mutta tämä ohje käy lävitse vain muutamia.

Laajan ohjeen Wgetin käyttöön löydät tästä: GNU Wget 1.11.2 Manual.

Alkuvalmisteluja

Wgetin Windowsille löydät tästä: Wget for Windows. Valitse asennettava .exe -versio (Complete package, except sources) ja asenna se.

Kun olet asentanut Wgetin, kannattaa Windowsin ympäristömuuttujiin käydä lisäämässä PATH -muuttujaan polku Wgetin sisältävään kansioon. Näin sinun ei tarvitse antaa polkua Wget- komentoon:

Windows+R (tai Käynnistä -> Suorita...) -> sysdm.cpl -> Lisäasetukset -välilehti -> Ympäristömuuttujat -painike -> alemman Järjestelmämuuttujat -listan Path -kohdassa Muokkaa -painike -> lisää edellisten perään polku GnuWin32\bin -kansioon (yleensä esim. C:\Program Files\GnuWin32\bin).

Wgetin käyttö

Wgetiä käytetään kirjoittamalla komentoja komentoliittymään (komentorivi). Tämä voi tietysti tuntua nykyisistä Windows-käyttäjistä hankalalta, mutta on varsin nopeaa ja helppoa. Komentoliittymän saat auki painamalla näppäimet Windows+R (tai Käynnistä -> Suorita...) ja kirjoittamalla komennoksi cmd ja painamalla Enter.

Itse Wget -komennot siis kirjoitetaan komentorivi-ikkunaan ja painetaan lopuksi Enter.

Tässä ohjeessa esitellään seuraavat asiat:

Wgetin syntaksi	miten komennot annetaan
-r	rekursiivinen haku
-l	haettavien tasojen syvyys
-k	linkkien konvertointi
-q	wget kokonaan hiljaiseksi
-nv	vain perustiedot
useampi osoite	lataa useampi osoite kerralla
-i	osoitelista
-c	latauksen jatkaminen
-nc	kertaalleen haettua ei haeta uudelleen
--user, --password	tunnuksia vaativasta palvelimesta lataaminen
-A	vain tiettyjen tiedostotyyppien hyväksyminen
-R	tiettyjen tiedostotyyppien estäminen
.wgetrc	Laita aina käytetyt valitsimet Wgetin käynnistystiedostoon

Wgetin syntaksi on seuraava:

	wget [url] [valitsin]

Komennon voi esittää myös valitsin url järjestyksessä.
Eri valitsimia voi yhdistää, eli wget -r -c -q voisi antaa myös muodossa wget -rcq.
Komentojen valitsimissa pienillä ja isoilla kirjaimilla on eroa, eli -r on eri valitsin kuin -R.

Jos haemme vain yhtä tiedostoa, riittää komennoksi yksinkertaisesti:

	wget http://neko.1g.fi/ohje/test/index.html

Tämä hakee vain tiedoston index.html annetusta osoitteesta.

Jos haluaisimme hakea myös osoitteen mahdollisesti sisältämät linkit, lisäämme komentoon valitsimen -r (recursive) eli:

	wget http://neko.1g.fi/ohje/test/index.html -r

Tämä hakee myös ne linkit jotka index.html sisältää. Oletuksena on 5 tasoa.

Emme halua kuitenkaan ladata niin montaa tasoa, joten valitsemme että linkkejä seurataan vain 2 tasoa, joten annamme valitsimen -l (level) ja sille arvon 2 eli:

	wget http://neko.1g.fi/ohje/test/index.html -r -l 2

Tämä hakee tiedostot seuraavasti
                     0 index.html
                      1     linkit jotka index.html sisälsi
                      2         linkit jotka edellinen sisälsi

Siltä varalta että osa linkeistä ei ole suhteellisia (eli sivu.html sijaan ovat http://kokoosoite/sivu.html) haluamme konvertoida linkit offline käyttöön sopiviksi, joten annamme -k valitsimen

	wget http://neko.1g.fi/ohje/test/index.html -r -l 2 -k

Tämä muuttaa linkit suhteellisiksi.

Seuraavaksi haluamme poistaa turhaa ulosantia, eli haluamme wget tekee hiljaisesti työnsä, joten lisäämme -q (quiet) valitsimen eli:

	wget http://neko.1g.fi/ohje/test/index.html -r -l 2 -k -q

Emme saa nyt edes virheilmoituksia.

Jos haluamme saada edes perustietoa ja mahdolliset virheilmoitukset, käytetään -q sijaan -nv (no-verbose) valitsinta:

	wget http://neko.1g.fi/ohje/test/index.html -r -l 2 -k -nv

Tämä antaa mm. virheilmoitukset ja hieman tietoa latauksen etenemisestä.

Wgetille voi antaa useamman osoitteen kerralla haettavaksi

	wget -nv http://neko.1g.fi/ohje/test/test1.zip http://neko.1g.fi/ohje/test/test2.zip

Jos taas tiedostoja on oikein paljon, kannattaa ne listata erikseen tekstitiedostoon ja kertoa sitten -i valitsimen kanssa polku listaa, eli

	wget -nv -i osoitteet.txt

Tämä hakee kaikki osoitteet jotka osoitteet.txt listasta löytyy.

Wget soveltuu mainiosti myös suurten tiedostojen hakemiseen, sillä se osaa jatkaa keskeytynyttä latausta jos annamme -c valitsimen, eli

	wget -c http://neko.1g.fi/neko_sparkling_and_distorted_vbr.mp3

Tämä jatkaa kesken jääneen (jos oli kesken jäänyt) tiedoston lataamista.

Jos tiedosto on jo noudettu, Wget normaalisti hakee tiedoston uudestaan ja lisää järjestysnumeron perään (tai jos käytetään -r valitsinta, kirjoittaa edellisen päälle).
Jos halutaan estää, ettei jo kertaalleen haettua tiedostoa haeta uudelleen, annetaan -nc valitsin.

	wget -nc http://neko.1g.fi/ohje/test/test1.zip

Koska tämä oli jo haettu, sitä ei haettu uudelleen.

Entäs jos tiedostot ovat käyttäjätunnuksen ja salasanan takana? Silloin tunnukset voi kertoa --user ja --password valitsimien kanssa, eli:

	wget --http-user=tunnus --http-password=salasana http://neko.1g.fi/ohje/test/test1.zip

Tämä antaa käyttäjätunnukseksi tunnus ja salasanaksi salasana hakiessa annettua osoitetta.

Entä kun haetaan -r valitsimen kanssa mutta haluttaisiin rajoittaa haettavat tiedostot vain tiettyihin tiedostotyyppeihin?
Asia onnistuu käyttämällä -A valitsinta, jonka perään kerrotaan tiedostotyypin tarkenne, eli esim. näin:

	wget http://neko.1g.fi/ohje/test/ -r -A gif

Tämä hakisi vain gif -tarkenteiset tiedostot. Jos tiedostotyyppejä on useita, ne erotetaan toisistaan pilkulla.

Jos taas haluataan estää tiettyjen tiedostotyyppien lataus, käytetään -R valitsinta:

	wget http://neko.1g.fi/ohje/test/ -r -R exe

Tämä estäisi exe-päätteisten tiedostojen lataamisen.

Jos on jotain tiettyjä valitsimia joita käytät joka kerralla, voit laittaa ne myös oletusasetuksiksi Wgetin käynnistystiedostoon .wgetrc. Se on tavallinen tekstitiedosto joka tulee sijoittaa samaan kansioon wgetin kanssa nimellä ".wgetrc" (ilman lainausmerkkejä). Käytettävissä olevat komennot näet tästä listasta.

Ohje jatkuu kunhan lisää tulee mieleen...

23.5.2008

(Yama)Neko