Android

Comanda Wget în linux cu exemple

Linux Notes: Downloading a full website using Wget

Linux Notes: Downloading a full website using Wget

Cuprins:

Anonim

GNU Wget este un utilitar pentru linia de comandă pentru descărcarea fișierelor de pe web. Cu Wget, puteți descărca fișiere folosind protocoale HTTP, HTTPS și FTP. Wget oferă o serie de opțiuni care vă permit să descărcați mai multe fișiere, să reluați descărcările, să limitați lățimea de bandă, descărcări recursive, să descărcați în fundal, să reflectați un site web și multe altele.

În acest tutorial, vă vom arăta cum să utilizați comanda Wget prin exemple practice și explicații detaliate ale celor mai comune opțiuni Wget.

Instalarea Wget

Pachetul wget este preinstalat în majoritatea distribuțiilor Linux de astăzi.

Pentru a verifica dacă pachetul Wget este instalat pe sistemul dvs., deschideți consola, tastați wget și apăsați Enter. Dacă aveți wget instalat, sistemul va imprima wget: missing URL , în caz contrar, acesta va imprima wget command not found .

Dacă wget nu este instalat, îl puteți instala cu ușurință folosind managerul de pachete al distro.

Instalarea Wget pe Ubuntu și Debian

sudo apt install wget

Instalarea Wget pe CentOS și Fedora

sudo yum install wget

Sintaxa comenzii Wget

Înainte de a intra în modul de utilizare a comenzii wget , să începem prin revizuirea sintaxei de bază.

Expresiile de utilitate wget iau următoarea formă:

wget

  • options - url -ul opțiunilor Wget - URL-ul fișierului sau directorului pe care doriți să îl descărcați sau să îl sincronizați.

Cum să descărcați un fișier cu Wget

În cel mai simplu formular atunci când este utilizat fără nicio opțiune, wget va descărca resursa specificată în directorul curent.

În exemplul următor descărcăm arhiva gudronului de kernel Linux:

wget

După cum puteți vedea din imaginea de mai sus, Wget începe prin rezolvarea adresei IP a domeniului, apoi se conectează la serverul de la distanță și începe transferul.

În timpul descărcării, Wget arată bara de progres alături de numele fișierului, dimensiunea fișierului, viteza de descărcare și timpul estimat pentru finalizarea descărcării. După finalizarea descărcării, puteți găsi fișierul descărcat în directorul dvs. de lucru curent.

Pentru a opri ieșirea Wget, utilizați opțiunea -q .

Dacă fișierul există deja, Wget va adăuga .N (număr) la sfârșitul numelui fișierului.

Folosind comanda Wget pentru a salva fișierul descărcat sub un nume diferit

Pentru a salva fișierul descărcat sub un alt nume, treceți opțiunea -O urmată de numele ales:

wget -O latest-hugo.zip

Comanda de mai sus va salva cel mai recent fișier zip hugo de la GitHub ca cel mai latest-hugo.zip în loc de numele său original.

Folosind comanda Wget pentru a descărca un fișier într-un director specific

În mod implicit, Wget va salva fișierul descărcat în directorul de lucru curent. Pentru a salva fișierul într-o anumită locație, utilizați opțiunea -P :

wget -P /mnt/iso

Cu comanda de mai sus, îi spunem lui Wget să salveze fișierul ISO CentOS 7 în directorul /mnt/iso .

Cum să limitezi viteza de descărcare cu Wget

Pentru a limita viteza de descărcare, utilizați opțiunea --limit-rate . În mod implicit, viteza este măsurată în octeți / secundă. Se adaugă k pentru kilobytes, m pentru megabytes și g pentru gigabytes.

Următoarea comandă va descărca binarul Go și va limita viteza de descărcare la 1mb:

wget --limit-rate=1m

Această opțiune este utilă atunci când nu doriți ca wget să consume toată lățimea de bandă disponibilă.

Cum să reiați o descărcare cu Wget

Puteți relua o descărcare folosind opțiunea -c . Acest lucru este util dacă conexiunea dvs. scade în timpul descărcării unui fișier mare, iar în loc de a începe descărcarea de la zero, o puteți continua pe cea anterioară.

În următorul exemplu, reluăm descărcarea fișierului ISO Ubuntu 18.04:

wget -c

Dacă serverul de la distanță nu acceptă reluarea descărcărilor, Wget va începe descărcarea de la început și va suprascrie fișierul existent.

Cum se descarcă în fundal cu Wget

Pentru a descărca în fundal, utilizați opțiunea -b . În exemplul următor, descărcăm fișierul ISO OpenSuse în fundal:

wget -b

În mod implicit, ieșirea este redirecționată la fișierul wget-log din directorul curent. Pentru a urmări starea descărcării, utilizați comanda tail :

tail -f wget-log

Cum se schimbă Wget User-Agent de Wget

Uneori, când descărcați un fișier, serverul de la distanță poate fi setat să blocheze Wget User-Agent. În situații de acest fel pentru a imita un browser diferit, treceți opțiunea -U .

wget --user-agent="Mozilla/5.0 (X11; Linux x86_64; rv:60.0) Gecko/20100101 Firefox/60.0"

Comanda de mai sus va emula Firefox 60 solicitând pagina de la wget-forbidden.com

Cum să descărcați mai multe fișiere cu Wget

În exemplul următor descărcăm fișierele ISO Linux Linux, Debian și Fedora cu adrese URL specificate în fișierul linux-distros.txt :

wget -i linux-distros.txt linux-distros.txt

http://mirrors.edge.kernel.org/archlinux/iso/2018.06.01/archlinux-2018.06.01-x86_64.iso https://cdimage.debian.org/debian-cd/current/amd64/iso-cd/debian-9.4.0-amd64-netinst.iso

Folosind comanda Wget pentru a descărca prin FTP

Pentru a descărca un fișier de pe un server FTP protejat cu parolă, specificați numele de utilizator și parola, așa cum se arată mai jos:

wget --ftp-user=FTP_USERNAME --ftp-password=FTP_PASSWORD ftp://ftp.example.com/filename.tar.gz

Utilizarea comenzii Wget pentru a crea o oglindă a unui site web

Pentru a crea o oglindă a unui site web cu Wget, utilizați opțiunea -m . Aceasta va crea o copie locală completă a site-ului web urmărind și descărcând toate linkurile interne, precum și resursele site-ului (JavaScript, CSS, Imagini).

wget -m

wget -m -k -p

Opțiunea -k va determina Wget să convertească legăturile din documentele descărcate pentru a le face potrivite pentru vizualizarea locală. Opțiunea -p va spune wget-ului să descarce toate fișierele necesare pentru afișarea paginii HTML.

Cum să sari verificarea certificatului cu Wget

wget --no-check-certificate

Cum să descărcați la ieșire standard cu Wget

În exemplul următor, Wget va descărca în mod liniștit (flag- -q ) și va scoate cea mai recentă versiune WordPress la stdout (flag- -O - ) și o va tar utilitatea tar care va extrage arhiva în directorul /var/www .

wget -q -O - "http://wordpress.org/latest.tar.gz" | tar -xzf - -C /var/www

Concluzie

Cu Wget, puteți descărca mai multe fișiere, relua descărcări parțiale, site-uri web oglindă și combina opțiunile Wget în funcție de nevoile dvs.

Pentru a afla mai multe despre Wget, vizitați pagina Manualul GNU wget.

terminalul wget