Porady Admina: wget

Ostatnia aktualizacja: 16 września 2023, 12:51

Dzisiejszy tutorial z cyklu Porady Admina poświęcony jest aplikacji GNU wget.

Wget jest narzędziem sieciowym do pobierania plików z Internetu za pomocą HTTP(S) i FTP, dwóch najczęściej używanych protokołów internetowych. Działa ono bez udziału użytkownika, a więc będzie pracować w tle, nawet po wylogowaniu. Program obsługuje rekurencyjne pobieranie autoryzowanych stron internetowych, jak również stron FTP – można użyć narzędzia wget do kopiowania archiwów i stron internetowych lub do poruszania się w sieci niczym robot www.

GNU Wget ma wiele funkcji ułatwiających pobieranie dużych plików lub tworzenie kopii lustrzanych całych witryn internetowych lub FTP, w tym:
– Może wznowić przerwane pobieranie, używając REST i RANGE
– Może używać symboli wieloznacznych nazw plików i rekurencyjnych katalogów lustrzanych
– Pliki wiadomości oparte na NLS dla wielu różnych języków
– Opcjonalnie konwertuje łącza bezwzględne w pobranych dokumentach na względne, dzięki czemu pobrane dokumenty mogą się między sobą lokalnie łączyć
– Działa na większości systemów operacyjnych typu UNIX, a także Microsoft Windows
– Obsługuje proxy HTTP
– Obsługuje pliki cookie HTTP
– Obsługuje trwałe połączenia HTTP
– Praca bez nadzoru/w tle
– Wykorzystuje lokalne znaczniki czasu plików, aby określić czy dokumenty wymagają ponownego pobrania podczas tworzenia kopii lustrzanej
– GNU Wget jest rozpowszechniany na licencji GNU General Public License.

Pakiet wget dostępny jest w większości dystrybucji Linux, jeśli nie jest domyślnie zainstalowany, można doinstalować go za pośrednictwem menadżera pakietów.

Pobranie pliku

Podczas pobierania wget wyświetla pasek postępu obok nazwy pliku, rozmiaru pliku, szybkości pobierania i szacowanego czasu do zakończenia pobierania. Po zakończeniu pobierania możesz znaleźć pobrany plik w bieżącym katalogu roboczym.

wget https://cdn.kernel.org/pub/linux/kernel/v5.x/linux-5.18.15.tar.xz

Pobranie pliku i zapisanie z inną nazwą

Aby zapisać pobrany plik pod inną nazwą, dodaj opcję -O a następnie nową nazwę

wget -O nowy-linux.tar.xz https://cdn.kernel.org/pub/linux/kernel/v5.x/linux-5.18.15.tar.xz

Pobranie pliku do innego katalogu

Domyślnie wget zapisze pobrany plik w bieżącym katalogu roboczym. Aby zapisać plik w określonej lokalizacji, użyj opcji -P

wget -P /home/pavroo/iso https://sourceforge.net/projects/sparkylinux/files/xfce/sparkylinux-6.3-x86_64-xfce.iso

Limit prędkości pobierania

Aby ograniczyć prędkość pobierania, użyj opcji –limit-rate. Domyślnie prędkość jest mierzona w bajtach na sekundę. Dodaj 'k’ dla kilobajtów, 'm’ dla megabajtów i 'g’ dla gigabajtów.

Następujące polecenie pobierze plik ISO i ograniczy prędkość pobierania do 1 MB

wget --limit-rate=1m https://sourceforge.net/projects/sparkylinux/files/xfce/sparkylinux-6.3-x86_64-xfce.iso

Wznawianie pobierania

Pobieranie można wznowić za pomocą opcji -c. Jest to przydatne, jeśli połączenie zostanie zerwane podczas pobierania dużego pliku i zamiast rozpoczynać pobieranie od zera, możesz kontynuować poprzednie.

wget -c https://sourceforge.net/projects/sparkylinux/files/xfce/sparkylinux-6.3-x86_64-xfce.iso

Pobieranie w tle

Aby pobrać plik w tle, użyj opcji -b

wget -b https://sourceforge.net/projects/sparkylinux/files/xfce/sparkylinux-6.3-x86_64-xfce.iso

Pobieranie wielu plików

Jeśli chcesz pobrać wiele plików naraz, użyj opcji -i, a następnie ścieżki do lokalnego lub zewnętrznego pliku zawierającego listę adresów URL do pobrania. Każdy adres URL musi znajdować się w osobnym wierszu.

wget -i sparky-lista.txt

gdzie plik sparky-lista.txt zawiera:
https://sourceforge.net/projects/sparkylinux/files/lxqt/sparkylinux-6.3-x86_64-lxqt.iso
https://sourceforge.net/projects/sparkylinux/files/xfce/sparkylinux-6.3-x86_64-xfce.iso
https://sourceforge.net/projects/sparkylinux/files/kde/sparkylinux-6.3-x86_64-kde.iso

Pobieranie przez FTP

Aby pobrać plik z chronionego hasłem serwera FTP, określ nazwę użytkownika i hasło, np.:

wget --ftp-user=FTP_UŻYTKOWNIK --ftp-password=FTP_HASŁO ftp://ftp.example.com/plik.tar.xz

Pomijanie sprawdzania certyfikatu

Jeśli chcesz pobrać plik przez HTTPS z hosta, który ma nieprawidłowy certyfikat SSL, użyj opcji –no-check-certificate

wget --no-check-certificate https://jakas-domena.pl/plik.tar.gz

Program wget posiada wiele więcej opcji, niż te, które w skrócie zaprezentowałem.

Dostęp do pomocy uzyskasz poleceniami:
wget -h
man wget