Linux Notes: Downloading a full website using Wget
Cuprins:
- Instalarea Wget
- Instalarea Wget pe Ubuntu și Debian
- Instalarea Wget pe CentOS și Fedora
- Sintaxa comenzii Wget
- Cum să descărcați un fișier cu Wget
- Folosind comanda Wget pentru a salva fișierul descărcat sub un nume diferit
- Folosind comanda Wget pentru a descărca un fișier într-un director specific
- Cum să limitezi viteza de descărcare cu Wget
- Cum să reiați o descărcare cu Wget
- Cum se descarcă în fundal cu Wget
- Cum se schimbă Wget User-Agent de Wget
- Cum să descărcați mai multe fișiere cu Wget
- Folosind comanda Wget pentru a descărca prin FTP
- Utilizarea comenzii Wget pentru a crea o oglindă a unui site web
- Cum să sari verificarea certificatului cu Wget
- Cum să descărcați la ieșire standard cu Wget
- Concluzie
GNU Wget este un utilitar pentru linia de comandă pentru descărcarea fișierelor de pe web. Cu Wget, puteți descărca fișiere folosind protocoale HTTP, HTTPS și FTP. Wget oferă o serie de opțiuni care vă permit să descărcați mai multe fișiere, să reluați descărcările, să limitați lățimea de bandă, descărcări recursive, să descărcați în fundal, să reflectați un site web și multe altele.
În acest tutorial, vă vom arăta cum să utilizați comanda Wget prin exemple practice și explicații detaliate ale celor mai comune opțiuni Wget.
Instalarea Wget
Pachetul wget este preinstalat în majoritatea distribuțiilor Linux de astăzi.
Pentru a verifica dacă pachetul Wget este instalat pe sistemul dvs., deschideți consola, tastați
wget
și apăsați Enter. Dacă aveți wget instalat, sistemul va imprima
wget: missing URL
, în caz contrar, acesta va imprima
wget command not found
.
Dacă wget nu este instalat, îl puteți instala cu ușurință folosind managerul de pachete al distro.
Instalarea Wget pe Ubuntu și Debian
Instalarea Wget pe CentOS și Fedora
Sintaxa comenzii Wget
Înainte de a intra în modul de utilizare a comenzii
wget
, să începem prin revizuirea sintaxei de bază.
Expresiile de utilitate
wget
iau următoarea formă:
wget
-
options
-url
-ul opțiunilor Wget - URL-ul fișierului sau directorului pe care doriți să îl descărcați sau să îl sincronizați.
Cum să descărcați un fișier cu Wget
În cel mai simplu formular atunci când este utilizat fără nicio opțiune, wget va descărca resursa specificată în directorul curent.
În exemplul următor descărcăm arhiva gudronului de kernel Linux:
wget
După cum puteți vedea din imaginea de mai sus, Wget începe prin rezolvarea adresei IP a domeniului, apoi se conectează la serverul de la distanță și începe transferul.
În timpul descărcării, Wget arată bara de progres alături de numele fișierului, dimensiunea fișierului, viteza de descărcare și timpul estimat pentru finalizarea descărcării. După finalizarea descărcării, puteți găsi fișierul descărcat în directorul dvs. de lucru curent.
Pentru a opri ieșirea Wget, utilizați opțiunea
-q
.
Dacă fișierul există deja, Wget va adăuga
.N
(număr) la sfârșitul numelui fișierului.
Folosind comanda Wget pentru a salva fișierul descărcat sub un nume diferit
Pentru a salva fișierul descărcat sub un alt nume, treceți opțiunea
-O
urmată de numele ales:
wget -O latest-hugo.zip
Comanda de mai sus va salva cel mai recent fișier zip hugo de la GitHub ca cel mai
latest-hugo.zip
în loc de numele său original.
Folosind comanda Wget pentru a descărca un fișier într-un director specific
În mod implicit, Wget va salva fișierul descărcat în directorul de lucru curent. Pentru a salva fișierul într-o anumită locație, utilizați opțiunea
-P
:
wget -P /mnt/iso
Cu comanda de mai sus, îi spunem lui Wget să salveze fișierul ISO CentOS 7 în directorul
/mnt/iso
.
Cum să limitezi viteza de descărcare cu Wget
Pentru a limita viteza de descărcare, utilizați opțiunea
--limit-rate
. În mod implicit, viteza este măsurată în octeți / secundă. Se adaugă
k
pentru kilobytes,
m
pentru megabytes și
g
pentru gigabytes.
Următoarea comandă va descărca binarul Go și va limita viteza de descărcare la 1mb:
wget --limit-rate=1m
Această opțiune este utilă atunci când nu doriți ca wget să consume toată lățimea de bandă disponibilă.
Cum să reiați o descărcare cu Wget
Puteți relua o descărcare folosind opțiunea
-c
. Acest lucru este util dacă conexiunea dvs. scade în timpul descărcării unui fișier mare, iar în loc de a începe descărcarea de la zero, o puteți continua pe cea anterioară.
În următorul exemplu, reluăm descărcarea fișierului ISO Ubuntu 18.04:
wget -c
Dacă serverul de la distanță nu acceptă reluarea descărcărilor, Wget va începe descărcarea de la început și va suprascrie fișierul existent.
Cum se descarcă în fundal cu Wget
Pentru a descărca în fundal, utilizați opțiunea
-b
. În exemplul următor, descărcăm fișierul ISO OpenSuse în fundal:
wget -b
În mod implicit, ieșirea este redirecționată la fișierul
wget-log
din directorul curent. Pentru a urmări starea descărcării, utilizați comanda
tail
:
Cum se schimbă Wget User-Agent de Wget
Uneori, când descărcați un fișier, serverul de la distanță poate fi setat să blocheze Wget User-Agent. În situații de acest fel pentru a imita un browser diferit, treceți opțiunea
-U
.
wget --user-agent="Mozilla/5.0 (X11; Linux x86_64; rv:60.0) Gecko/20100101 Firefox/60.0"
Comanda de mai sus va emula Firefox 60 solicitând pagina de la
wget-forbidden.com
Cum să descărcați mai multe fișiere cu Wget
În exemplul următor descărcăm fișierele ISO Linux Linux, Debian și Fedora cu adrese URL specificate în fișierul
linux-distros.txt
:
wget -i linux-distros.txt
linux-distros.txt
http://mirrors.edge.kernel.org/archlinux/iso/2018.06.01/archlinux-2018.06.01-x86_64.iso https://cdimage.debian.org/debian-cd/current/amd64/iso-cd/debian-9.4.0-amd64-netinst.iso
Folosind comanda Wget pentru a descărca prin FTP
Pentru a descărca un fișier de pe un server FTP protejat cu parolă, specificați numele de utilizator și parola, așa cum se arată mai jos:
wget --ftp-user=FTP_USERNAME --ftp-password=FTP_PASSWORD ftp://ftp.example.com/filename.tar.gz
Utilizarea comenzii Wget pentru a crea o oglindă a unui site web
Pentru a crea o oglindă a unui site web cu Wget, utilizați opțiunea
-m
. Aceasta va crea o copie locală completă a site-ului web urmărind și descărcând toate linkurile interne, precum și resursele site-ului (JavaScript, CSS, Imagini).
wget -m
wget -m -k -p
Opțiunea
-k
va determina Wget să convertească legăturile din documentele descărcate pentru a le face potrivite pentru vizualizarea locală. Opțiunea
-p
va spune wget-ului să descarce toate fișierele necesare pentru afișarea paginii HTML.
Cum să sari verificarea certificatului cu Wget
Cum să descărcați la ieșire standard cu Wget
În exemplul următor, Wget va descărca în mod liniștit (flag-
-q
) și va scoate cea mai recentă versiune WordPress la stdout (flag-
-O -
) și o va
tar
utilitatea
tar
care va extrage arhiva în directorul
/var/www
.
wget -q -O - "http://wordpress.org/latest.tar.gz" | tar -xzf - -C /var/www
Concluzie
Cu Wget, puteți descărca mai multe fișiere, relua descărcări parțiale, site-uri web oglindă și combina opțiunile Wget în funcție de nevoile dvs.
Pentru a afla mai multe despre Wget, vizitați pagina Manualul GNU wget.
terminalul wgetComanda ecou în linux cu exemple
Comanda ecou este una dintre cele mai de bază și frecvent utilizate comenzi în Linux. Argumentele transmise ecoului sunt tipărite la ieșirea standard.
Curbați comanda în linux cu exemple
Curl este un utilitar pentru linia de comandă pentru transferul datelor de pe sau către un server proiectat să funcționeze fără interacțiunea utilizatorului. În acest tutorial, vă vom arăta cum să folosiți instrumentul de ondulare prin exemple practice și explicații detaliate ale celor mai comune opțiuni de ondulare.
Linux taie comanda cu exemple
Cut este un utilitar pentru linia de comandă care vă permite să tăiați părți din linii din fișierele specificate sau datele conectate și să imprimați rezultatul la ieșirea standard. În acest tutorial, vă vom arăta cum să utilizați comanda tăiere Linux prin exemple practice și explicații detaliate ale celor mai comune opțiuni de tăiere.