Bouw een downloadschema met weinig programmeervaardigheden

We houden er allemaal van om dingen van internet te downloaden en er zijn enorm veel geweldige downloadmanager-tools die we kunnen gebruiken om onze downloads te plannen. Het is misschien eenvoudiger om een downloadmanager te gebruiken, maar het is niet schadelijk om de tools te verkennen die al bij onze Ubuntu horen en er volledig gebruik van te maken.

In dit artikel laten we u een ingebouwde software zien in Ubuntu die we kunnen gebruiken om dingen van internet te downloaden via wget. Bovendien laten we u zien hoe u de download plant met Cron.

Downloaden met Wget

Wget is een gratis softwarepakket voor het ophalen van bestanden met HTTP, HTTPS en FTP, de meest gebruikte internetprotocollen. Het is een niet-interactief opdrachtregelprogramma, dus het kan gemakkelijk worden aangeroepen vanuit scripts, cron-taken, terminals zonder X-Windows-ondersteuning, enz..

Open uw terminal en laten we onderzoeken hoe we wget kunnen gebruiken om dingen van het net te downloaden. De basissyntaxis van downloaden met wget is de volgende:

wget [optie] ... [URL] ...

Met deze opdracht wordt de wget-handleiding gedownload naar uw lokale schijf

wget http://www.gnu.org/software/wget/manual/wget.pdf

Linux Cron

Ubuntu wordt geleverd met een cron-daemon die wordt gebruikt voor het plannen van taken die op een bepaald moment moeten worden uitgevoerd. Met Crontab kunt u acties en tijdstippen opgeven waarop ze moeten worden uitgevoerd. Dit is hoe u een taak normaal zou plannen met behulp van de opdrachtregel.

Open een terminalvenster en voer crontab -e in.

Elk van de secties in een crontab wordt gescheiden door een spatie, waarbij het laatste gedeelte een of meer spaties bevat. Een cron-invoer bestaat uit minuten (0-59), uur (0-23, 0 = middernacht), dag (1-31), maand (1-12), weekdag (0-6, 0 = zondag), opdracht. De derde invoer in het bovenstaande crontab downloadt wget.pdf om 2 uur 's morgens. De eerste invoer (0) en de tweede invoer (2) betekent 2:00. Het derde tot en met het vijfde item (*) betekent elk tijdstip van de dag, maand of week. De laatste invoer is de wget-opdracht om wget.pdf van de opgegeven URL te downloaden.

Dat is de basis op wget en hoe Cron werkt. Laten we een buit maken voor een realistisch voorbeeld van hoe je een download plant.

Downloaden plannen

We zullen Firefox 3.6 om 2 uur 's ochtends gaan downloaden. Omdat onze ISP maar een beperkte hoeveelheid gegevens geeft, moeten we de download om 8 uur stoppen. Dit is hoe de installatie eruit ziet.

Negeer de eerste 2 vermeldingen in bovenstaande crontab. Het derde en vierde commando zijn de enige 2 commando's die je nodig hebt. Het derde commando stelt een taak in die Firefox om 2 AM zal downloaden:

[code]
0 2 * * * wget -c http://download.mozilla.org/?product=firefox-3.6.6&os=win&lang=en-GB
[/code]

De -c opties geven aan dat wget de bestaande download moet hervatten als deze nog niet is voltooid.

Het vierde commando stopt om 08.00 uur. 'Killall' is een unix-opdracht die processen op naam doodt.

[code]
0 8 * * * killall wget
[/code]

De killall wget vertelt Ubuntu om te stoppen met het downloaden van het bestand om 8 uur 's ochtends.

Andere nuttige wget-commando's

1. Specificeren van de map om een bestand te downloaden

[code]
wget -output-document = / home / zainul / Downloads / wget manual.pdf http://www.gnu.org/software/wget/manual/wget.pdf
[/code]

het optie -output-document laat je de map en de naam van het bestand dat je download specificeren

2. Een website downloaden

wget is ook in staat om een website te downloaden.

[code]
wget -m http://www.google.com/profiles/zainul.franciscus
[/code]

Met de opdracht hierboven wordt mijn volledige webpagina met google-profielen gedownload. De optie '-m' vertelt wget om een 'spiegelbeeld' van de opgegeven URL te downloaden.

Een andere belangrijke optie is om Wget te vertellen hoeveel links het moet volgen wanneer het een website downloadt.

[code]
wget -r -l1 http://www.google.com/profiles/zainul.franciscus
[/code]

De bovenstaande wget-opdracht gebruikt twee opties. De eerste optie '-r' vertelt wget om de gespecificeerde website recursief te downloaden. De tweede optie '-l1' vertelt wget om alleen het eerste niveau van links van die gespecificeerde website te krijgen. We kunnen maximaal drie niveaus '-l2' en '-l3' instellen.

3. Robotinvoer negeren

Webmaster onderhoudt een tekstbestand met de naam Robot.txt. 'Robot.txt' onderhoudt een lijst met URL's die een webcrawler zoals wget niet mag crawlen. We kunnen WLT vertellen om de 'Robot.txt' met '-erobots = uit' optie te negeren. Het volgende commando vertelt wget om de eerste pagina van mijn google profiel te downloaden en de 'Robot.txt' te negeren.

[code]
wget -erobots = off http://www.google.com/profiles/zainul.franciscus
[/code]

Een andere nuttige optie is -U. Deze optie maskeert wget als een browser. Houd er rekening mee dat het maskeren van een toepassing als een andere toepassing mogelijk de voorwaarden en service van een webserviceprovider schendt.

[code]
wget -erobots = off -U Mozilla http://www.google.com/profiles/zainul.franciscus
[/code]

Conclusie

Wget is een heel oud en toch hackbaar GNU-softwarepakket dat we kunnen gebruiken om bestanden te downloaden. Wget is een interactieve opdrachtregelhulpprogramma, wat betekent dat we het op de achtergrond op onze computer kunnen laten werken zonder een toepassing te hoeven starten. Bekijk de wget man-pagina

[code]
$ man wget
[/code]

om andere opties te begrijpen die we met wget kunnen gebruiken.

Links

Wget-handleiding
Hoe twee gedownloade bestanden te combineren wanneer wget mislukt halverwege
Linux QuickTip: downloaden en niet-targeten in één stap