Wget gebruiken, de tool voor het downloaden van de ultieme commandoregel

Nieuwer is niet altijd beter, en de wget opdracht is bewijs. De app is voor het eerst uitgebracht in 1996 en is nog steeds een van de beste downloadmanagers ter wereld. Of je nu een enkel bestand wilt downloaden, een hele map wilt, of zelfs een hele website wilt spiegelen, wget laat je het doen met slechts een paar toetsaanslagen.

Natuurlijk is er een reden dat niet iedereen wget gebruikt: het is een opdrachtregelapplicatie en als zodanig kost het wat tijd voor beginners om te leren. Dit zijn de basisprincipes, zodat u aan de slag kunt.

Hoe wget te installeren

Voordat u wget kunt gebruiken, moet u het installeren. Hoe dit te doen hangt af van uw computer:

• De meeste (zo niet alle) Linux-distributies worden standaard geleverd met wget. Dus Linux-gebruikers hoeven niets te doen!
• macOS-systemen worden niet geleverd met wget, maar u kunt opdrachtregelhulpprogramma's installeren met Homebrew. Zodra je Homebrew hebt opgezet, kun je gewoon opstarten brouw installatie wget in de Terminal.
• Windows-gebruikers hebben geen gemakkelijke toegang tot wget in de traditionele opdrachtprompt, hoewel Cygwin wget- en andere GNU-hulpprogramma's biedt, en de Ubuntu's Bash-shell van Windows 10 ook met.

Als u wget eenmaal hebt geïnstalleerd, kunt u het meteen gebruiken vanaf de opdrachtregel. Laten we wat bestanden downloaden!

Download een enkel bestand

Laten we beginnen met iets eenvoudigs. Kopieer de URL voor een bestand dat u wilt downloaden in uw browser.

Ga nu terug naar de Terminal en typ wget gevolgd door de geplakte URL. Het bestand wordt gedownload en u ziet de voortgang in realtime zoals deze is.

Merk op dat het bestand zal worden gedownload naar de huidige map van je Terminal, dus je zult het willen CD naar een andere map als u deze elders wilt opslaan. Als u niet zeker weet wat dat betekent, raadpleegt u onze handleiding voor het beheer van bestanden vanaf de opdrachtregel. Het artikel noemt Linux, maar de concepten zijn hetzelfde op macOS-systemen en Windows-systemen met Bash.

Doorgaan met een onvolledige download

Als je om welke reden dan ook een download stopte voordat deze kon worden voltooid, maak je geen zorgen: wget kan ophalen waar hij gebleven was. Gebruik gewoon deze opdracht:

wget -c bestand

De sleutel is hier -c, wat een "optie" is in het spraakcommando. Deze specifieke optie vertelt wget dat u een bestaande download wilt voortzetten.

Mirror een hele website

Als u een hele website wilt downloaden, kan wget het werk doen.

wget -m http://example.com

Standaard zal dit alles op de site example.com downloaden, maar je zult waarschijnlijk nog een paar opties willen gebruiken voor een bruikbare spiegel.

• --convert-koppelingen verandert links op elke gedownloade pagina, zodat ze naar elkaar verwijzen, niet naar het web.
• --page-requisites downloadt dingen zoals stylesheets, dus pagina's zien er correct offline uit.
• --no-ouder stopt wget met het downloaden van bovenliggende sites. Dus als u http://example.com/subexample wilt downloaden, komt u niet op de bovenliggende pagina terecht.

Combineer deze opties naar uw smaak en u krijgt een kopie van elke website die u op uw computer kunt bekijken.

Merk op dat het spiegelen van een hele website op het moderne internet een enorme hoeveelheid ruimte inneemt, dus beperk dit tot kleine sites, tenzij je bijna onbeperkte opslagruimte hebt.

Download een hele map

Als u op een FTP-server surft en een volledige map zoekt die u wilt downloaden, voert u gewoon het volgende uit:

wget -r ftp://example.com/map

De r in dit geval vertelt u wget dat u een recursieve download wilt. U kunt ook opnemen --noparent als u wilt vermijden om mappen en bestanden boven het huidige niveau te downloaden.

Download een lijst met bestanden tegelijk

Als u geen volledige map met de gewenste downloads kunt vinden, kan wget u nog steeds helpen. Plaats alle download-URL's in een enkel TXT-bestand.

wijs dan naar dat document met de -ik keuze. Zoals dit:

wget -i download.txt

Doe dit en uw computer zal alle in het tekstdocument vermelde bestanden downloaden, wat handig is als u een aantal downloads 's nachts laat draaien.

Nog een paar trucjes

We kunnen doorgaan: wget biedt veel opties. Maar deze tutorial is slechts bedoeld om u een startpunt te geven. Voor meer informatie over wat wget kan doen, typt u man wget in de terminal en lees wat er komt. Je zult veel leren.

Dat gezegd hebbende, hier zijn een paar andere opties die ik netjes vind:

• Als u wilt dat uw download op de achtergrond wordt uitgevoerd, neemt u de optie gewoon op -b.
• Als je wilt dat Wget blijft proberen te downloaden, zelfs als er een 404-fout is, gebruik dan de optie -t 10. Dat zal 10 keer proberen te downloaden; je kunt het nummer gebruiken dat je wilt.
• Als u uw bandbreedte wilt beheren, is de optie --limit-rate = 200k zal uw downloadsnelheid afremmen op 200KB / s. Verander het nummer om de koers te wijzigen.

Er valt nog veel meer te leren hier. Je kunt zoeken naar het downloaden van PHP-bron of een geautomatiseerde downloader instellen als je meer geavanceerd wilt worden.