Install wget on linux

How to Install Wget in Linux

In this article, you will learn how to install wget non-interactive network downloader in Linux. Wget is a tool developed by the GNU project used for retrieving or downloading files from web or FTP servers.

The command downloads files that are served with FTP, HTTP or HTTPS protocol. It’s an amalgamation of the words World Wide Web and the word get to form wget. It’s used in Unix/Linux systems to download files and packages on the terminal.

On this page

Install wget on Ubuntu/Debian

To install wget on Ubuntu/Debian distros, log in via SSH as root and run the command.

Install Wget in Debian and Ubuntu

To confirm the installation of the wget tool, run the command.

Confirm Wget Installation on Debian and Ubuntu

Alternatively, you can check its version by running.

Check Wget Version

Install wget on RHEL / CentOS / Fedora

To install wget on RHEL, CentOS and Fedora distros, log in via SSH as root and run the command.

Install Wget in CentOS, RHEL and Fedora

To confirm the installation, run the command.

Confirm Wget Installation on CentOS

Install wget on OpenSUSE

On OpenSUSE, install wget by running.

Install Wget on OpenSUSE

To confirm the installation run.

Confirm Wget Installation on OpenSUSE

Install wget on ArchLinux

On ArchLinux, install wget by running the command.

Install Wget in Arch Linux

To check if wget is installed and print more information about the tool run.

Confirm Wget Installation on Arch Linux

To know more about wget usage and examples, I suggest you read our following articles that explain how you can use wget command-line utility for downloading files from the web.

And with that, we have come to the end of this article. In this tutorial, you learned how to install wget in different Linux distributions.

If You Appreciate What We Do Here On TecMint, You Should Consider:

TecMint is the fastest growing and most trusted community site for any kind of Linux Articles, Guides and Books on the web. Millions of people visit TecMint! to search or browse the thousands of published articles available FREELY to all.

If you like what you are reading, please consider buying us a coffee ( or 2 ) as a token of appreciation.

We are thankful for your never ending support.

Источник

Команда Wget в Linux с примерами

GNU Wget — это утилита командной строки для загрузки файлов из Интернета. С Wget вы можете загружать файлы, используя протоколы HTTP, HTTPS и FTP. Wget предоставляет ряд параметров, позволяющих загружать несколько файлов, возобновлять загрузки, ограничивать пропускную способность, рекурсивные загрузки, загружать в фоновом режиме, зеркалировать веб-сайт и многое другое.

В этой статье показано, как использовать команду wget на практических примерах и подробных объяснениях наиболее распространенных параметров.

Установка Wget

Пакет wget предустановлен на сегодняшний день в большинстве дистрибутивов Linux.

Чтобы проверить, установлен ли пакет Wget в вашей системе, откройте консоль, введите wget и нажмите Enter. Если у вас установлен wget, система напечатает wget: missing URL . В противном случае он напечатает wget command not found .

Если wget не установлен, вы можете легко установить его с помощью диспетчера пакетов вашего дистрибутива.

Установка Wget в Ubuntu и Debian

Установка Wget на CentOS и Fedora

Синтаксис команды Wget

Прежде чем перейти к использованию команды wget , давайте начнем с обзора основного синтаксиса.

Выражения утилиты wget имеют следующую форму:

• options — Параметры Wget
• url — URL-адрес файла или каталога, который вы хотите скачать или синхронизировать.

Как скачать файл с помощью wget

В простейшей форме, при использовании без какой-либо опции, wget загрузит ресурс, указанный в [url], в текущий каталог.

В следующем примере мы загружаем tar-архив ядра Linux:

Как вы можете видеть на изображении выше, wget начинает с разрешения IP-адреса домена, затем подключается к удаленному серверу и начинает передачу.

Во время загрузки wget показывает индикатор выполнения, а также имя файла, размер файла, скорость загрузки и приблизительное время завершения загрузки. После завершения загрузки вы можете найти загруженный файл в своем текущем рабочем каталоге .

Чтобы отключить вывод, используйте параметр -q .

Если файл уже существует, wget добавит .N (число) в конец имени файла.

Сохранение загруженного файла под другим именем

Чтобы сохранить загруженный файл под другим именем, передайте параметр -O за которым следует выбранное имя:

Приведенная выше команда сохранит последний zip-файл hugo с GitHub как latest-hugo.zip вместо его исходного имени.

Загрузка файла в определенный каталог

По умолчанию wget сохраняет загруженный файл в текущем рабочем каталоге. Чтобы сохранить файл в определенном месте, используйте параметр -P :

Приведенная выше команда сообщает wget нужно сохранить iso-файл CentOS 7 в каталог /mnt/iso .

Ограничение скорости загрузки

Чтобы ограничить скорость загрузки, используйте параметр —limit-rate . По умолчанию скорость измеряется в байтах в секунду. Добавьте k для килобайт, m для мегабайт и g для гигабайт.

Следующая команда загрузит двоичный файл Go и ограничит скорость загрузки до 1 МБ:

Эта опция полезна, если вы не хотите, чтобы wget занимал всю доступную полосу пропускания.

Возобновление загрузки

Вы можете возобновить загрузку с помощью параметра -c . Это полезно, если ваше соединение прерывается во время загрузки большого файла, и вместо того, чтобы начинать загрузку с нуля, вы можете продолжить предыдущую.

В следующем примере мы возобновляем загрузку iso-файла Ubuntu 18.04:

Если удаленный сервер не поддерживает возобновление загрузки, wget начнет загрузку с самого начала и перезапишет существующий файл.

Загрузка в фоновом режиме

Для загрузки в фоновом режиме используйте параметр -b . В следующем примере мы загружаем iso-файл OpenSuse в фоновом режиме:

По умолчанию вывод перенаправляется в файл wget-log в текущем каталоге. Чтобы посмотреть статус загрузки, используйте команду tail :

Смена пользовательского агента Wget

Иногда при загрузке файла удаленный сервер может быть настроен на блокировку агента пользователя Wget. В подобных ситуациях для эмуляции другого браузера передайте параметр -U .

Приведенная выше команда wget-forbidden.com Firefox 60, запрашивающий страницу с wget-forbidden.com

Загрузка нескольких файлов

Если вы хотите загрузить несколько файлов одновременно, используйте параметр -i за которым следует путь к локальному или внешнему файлу, содержащему список URL-адресов для загрузки. Каждый URL-адрес должен быть в отдельной строке.

В следующем примере показано, как загрузить iso-файлы Arch Linux, Debian и Fedora, используя URL-адреса, указанные в linux-distros.txt :

Если вы укажете — в качестве имени файла, URL-адреса будут считываться из стандартного ввода.

Скачивание через FTP

Чтобы загрузить файл с FTP-сервера, защищенного паролем, укажите имя пользователя и пароль, как показано ниже:

Создание зеркала веб-сайта

Чтобы создать зеркало веб-сайта с помощью wget , используйте параметр -m . Это создаст полную локальную копию веб-сайта, следуя и загружая все внутренние ссылки, а также ресурсы веб-сайта (JavaScript, CSS, изображения).

Если вы хотите использовать загруженный веб-сайт для локального просмотра, вам нужно будет передать несколько дополнительных аргументов команде выше.

Параметр -k заставит wget преобразовать ссылки в загруженных документах, чтобы сделать их пригодными для локального просмотра. Параметр -p сообщает wget нужно загрузить все необходимые файлы для отображения HTML-страницы.

Пропуск проверки сертификата

Если вы хотите загрузить файл по HTTPS с хоста с недействительным сертификатом SSL, используйте параметр —no-check-certificate :

Загрузка на стандартный вывод

В следующем примере wget незаметно (флаг -q ) загрузит и выведет последнюю версию WordPress на стандартный вывод (флаг -O — ) и направит ее в утилиту tar , которая распакует архив в каталог /var/www .

Выводы

С помощью wget вы можете загружать несколько файлов, возобновлять частичные загрузки, зеркалировать веб-сайты и комбинировать параметры Wget в соответствии с вашими потребностями.

Чтобы узнать больше о Wget, посетите страницу руководства GNU wget .

Источник

Как использовать команду Wget с примерами

Wget — это бесплатная утилита командной строки GNU, используемая для загрузки файлов из Интернета. Она извлекает файлы с использованием протоколов HTTP, HTTPS и FTP.

Если во время загрузки возникает проблема с сетью, это полезное программное обеспечение может возобновить получение файлов, не начиная с нуля.

Другим важным аспектом является возможность рекурсивной загрузки, с помощью которой она может копировать веб-сайты переходя по ссылкам и структуре каталогов и создавая локальные версии веб-страниц.

Команда wget очень гибкая и может использоваться в терминалах, скриптах и cron-задачах. Во время загрузки пользователю не обязательно быть активным или авторизованным. Поскольку wget может работать независимо в фоновом режиме.

Как проверить, установлен ли wget?

Скорее всего, пакет wget уже есть в вашей системе, так как сейчас он предустановлен в большинстве дистрибутивов Linux.

Чтобы проверить, откройте окно терминала и введите:

Если у вас установлен wget, вы увидите сообщение, что команде wget не хватает URL-адреса, как показано на изображении ниже:

Если в выводе отображается команда wget command not found , вам необходимо загрузить и установить инструмент вручную. Ниже вы найдете инструкции по установке для Ubuntu / Debian, CentOS и Windows.

Как установить wget на Ubuntu / Debian?

Чтобы установить wget в системах Ubuntu или Debian, используйте команду:

Как установить wget на CentOS / Fedora?

Чтобы установить wget на CentOS или Fedora, введите следующую команду:

Синтаксис wget

Синтаксис wget имеет следующий шаблон:

Каждая [option] имеет свою длинную и короткую форму, которые удобно заменять. Этот атрибут указывает, что делать со следующим URL-адресом.

[URL] — это адрес файла или каталога, который вы хотите загрузить.

Список основных команд wget

• -V(—version) — выводит версию программы
• -h (—help) — выводит справку
• -b(—background) — работать в фоновом режиме
• -o(—out-file) — указывает лог файл
• -d(—debug) — включает режим отладки
• -v (—verbose) — выводит максимум информации о работе утилиты
• -q (—quiet) — выводит минимум информации о работе
• -i<file> (—input-file) — читает URL из файла
• —force-html — читает файл указанный в предыдущем параметре как html
• -t (—tries) — количество попыток подключения к серверу
• -O <file>(—output-document) — файл в который будут сохранены полученные данные
• -с (—continue) — продолжает ранее прерванную загрузку
• -S (—server-response) — выводит ответ сервера
• —spider — проверяет работоспособность URL
• -T <time> (—timeout) — таймаут подключения к серверу
• —limit-rate — ограничивает скорость загрузки
• -w (—wait) — интервал между запросами
• -Q(—quota) — максимальный размер загрузки
• -4 (—inet4only) — использовать протокол ipv4
• -6 (—inet6only) — использовать протокол ipv6
• -U (—user-agent) — строка USER AGENT отправляемая серверу
• -r (—recursive) — рекурсивная работа утилиты
• -l (—level) — глубина при рекурсивном сканировании
• -k(—convert-links) — конвертирует ссылки в локальные при загрузке страниц
• -P (—directory-prefix) — каталог, в который будут загружаться файлы
• -m(—mirror) — скачивает сайт на локальную машину
• -p(—page-requisites) — во время загрузки сайта скачивает все необходимые ресурсы

Примеры команд wget

Как скачать файл из Интернета

Чтобы загрузить файл из Интернета, используйте пример:

Как скачать файл и сохранить с другим названием

Параметр -O устанавливает имя выходного файла. Если файл называется terraform_0.12.2_linux_amd64.zip , и вы хотите сохранить его непосредственно в terraform.zip , вы должны использовать такую команду:

Как сохранить файл в конкретный каталог

По умолчанию wget загружает файл в каталог, в котором находится пользователь. Чтобы сохранить файл в другом месте, добавьте параметр –P :

Как установить скорость загрузки

Вы можете установить скорость загрузки при скачивании большого файла, чтобы он не использовал всю доступную пропускную способность. Скорость загрузки определяется в килобайтах (k) и мегабайтах (m). Используйте команду:

Как продолжить загрузку после прерывания

Вместо того, чтобы начинать с нуля, wget может возобновить загрузку с того места, где она была остановлена до прерывания. Это полезная функция, если при загрузке файла происходит потеря соединения.

Как скачать несколько файлов

• Сначала создайте и откройте файл с именем MultipleDownloads.txt (или другим именем по вашему выбору) с помощью текстового редактора.:
• В редакторе добавьте URL-адреса, которые вы хотите загрузить, по одному в каждой строке.
• Сохраните и выйдите из файла.
• Выполните следующую команду wget в окне терминала:

Как загрузить зеркало веб-страницы

С помощью wget вы можете загрузить весь веб-сайт из Интернета, используя параметр –m . Он предлагает wget создать зеркало указанной веб-страницы. Основная команда для этого:

Как скачать через FTP

Чтобы загрузить через FTP, введите имя пользователя и пароль FTP-сервера, а затем ftp-адрес:

Как скачать в фоновом режиме

Вы можете использовать функцию загрузки в фоновом режиме при работе с большими файлами:

Как увеличить число попыток повтора

По умолчанию количество повторных попыток установлено на 20.

Вы также можете установить число на бесконечность со значениями 0 или inf, как в следующем примере:

Как пропустить проверку сертификата

По умолчанию wget проверяет, есть ли у сервера действительный сертификат SSL / TLS. Если он не идентифицирует подлинный сертификат, он отказывается от загрузки.

Параметр —no-check-certificate используется, чтобы отменить проверку сертификата. Однако используйте его только в том случае, если вы уверены в надежности веб-сайта или не беспокоитесь о проблемах безопасности, которые он может вызвать.

Как изменить User Agent

При загрузке веб-страницы wget по сути эмулирует браузер. В некоторых случаях в выводе может быть указано, что у вас нет разрешения на доступ к серверу или что соединение запрещено. Это может быть связано с тем, что веб-сайт блокирует клиентские браузеры с определенным «User-Agent».

«User-Agent» — это поле заголовка, которое браузер отправляет на сервер, к которому он хочет получить доступ. Поэтому для загрузки с сервера, который отказывается подключаться, попробуйте его изменить.

Найдите базу данных всех пользовательских агентов в сети, найдите тот, который вам нужен, и выполните команду:

Источник