wget для Windows

Что такое wget?

Это утилита командной строки для получения файлов с использованием HTTP, HTTPS и FTP протоколов.

Как установить wget на компьютер с ОС Windows?

Вариант, которым пользуюсь сам, это скачать архив с уже скомпилированными бинарными файлами GNU Wget 0

После того как скачали архив, в любом месте создаём папку wget, например в C:\Program Files\wget и в эту папку распаковываем всё содержимое скачанного архива.

Чтобы программа свободно вызывалась отовсюду нужно добавить путь в переменную среды Path операционной системы Windows. Для этого заходим в Панель управления > Система

В зависимости какая разрядность у вашей установленной Windows, запускайте 32-битную либо 64-битную версию программы, wget либо wget64 соответственно.

Обратите внимание, что начиная с версии wget 1.20 прекращена поддержка Windows XP.

Примеры команд для wget:

wget -c http://ftp.byfly.by/pub/CentOS/8/isos/x86_64/CentOS-8.3.2011-x86_64-boot.iso

Скачать файл по протоколу https

wget —no-check-certificate https://www.linux.org.ru/images/7626/original.jpg

Скачать файл с докачкой по протоколу ftp

wget -c ftp://ftp.byfly.by/pub/CentOS/8/isos/x86_64/CentOS-8.3.2011-x86_64-boot.iso

Скачать с докачкой файлы по списку ссылок (в текстовом файле)

wget -c -i spisok.txt

Скачать рекурсивно указанный сайт

Описание прочих команд смотрите во встроенной в программу помощи

ИТ База знаний

Курс по Asterisk

Полезно

— Узнать IP — адрес компьютера в интернете

— Онлайн генератор устойчивых паролей

— Онлайн калькулятор подсетей

— Калькулятор инсталляции IP — АТС Asterisk

— Руководство администратора FreePBX на русском языке

— Руководство администратора Cisco UCM/CME на русском языке

— Руководство администратора по Linux/Unix

Навигация

Серверные решения

Телефония

FreePBX и Asterisk

Настройка программных телефонов

Корпоративные сети

Протоколы и стандарты

Популярное и похожее

Курс по сетям

15 примеров команды PING для диагностики сети

Руководство по команде grep в Linux

Рекурсивно найти слово в файлах и папках Linux

Как перезагрузить сеть в Ubuntu?

15 примеров CURL в Linux

Как настроить редирект с HTTP на HTTPS в Nginx

Монтирование и демонтирование файловых систем в Linux

Еженедельный дайджест

Руководство по использованию команды wget с примерами

Wget — это бесплатная утилита командной строки GNU, используемая для загрузки файлов из Интернета. Она получает файлы с использованием протоколов HTTP, HTTPS и FTP.

Wget служит инструментом для поддержания нестабильных и медленных сетевых подключений. Если во время загрузки возникает проблема с сетью, это полезное программное обеспечение может возобновить получение файлов, не начиная с нуля.

Еще один важный аспект — это возможность рекурсивной загрузки, с которой она копирует веб-сайты. Она передает части веб-сайта по ссылкам и структуре каталогов, создавая, таким образом, локальные версии веб-страниц.

Команда wget также очень гибкая и может использоваться в терминалах, скриптах и заданиях cron. Во время загрузки пользователю не нужно быть активным или авторизованным. Поскольку wget не интерактивен, он может работать независимо в фоновом режиме.

Обучайся в Merion Academy

Пройди курс по сетевым технологиям

Начать

Прочтите эту статью, чтобы узнать, как использовать некоторые из наиболее распространенных команд wget.

Как проверить, установлен ли wget?

Скорее всего, пакет wget уже есть в вашей системе, поскольку теперь он предустановлен в большинстве дистрибутивов Linux.

Чтобы проверить, откройте окно терминала и введите:

Если у вас есть программное обеспечение wget, в выходных данных будет указано, что для команды wget отсутствует URL-адрес, как показано ниже:

Команда wget не найдена

Если в выводе отображается wget command not found вам необходимо загрузить и установить инструмент вручную. Ниже вы найдете инструкции по установке для Ubuntu/Debian, CentOS и Windows.

Как установить wget на Ubuntu/Debian?

Чтобы установить wget в выпусках Ubuntu или Debian, используйте команду:

Как установить wget на CentOS/Fedora?

Чтобы установить wget на CentOS или Fedora, введите следующую команду:

Как установить wget в Windows?

Чтобы установить и настроить wget для Windows:

1. Загрузите wget для Windows и установите пакет.
2. Добавьте путь корзины wget к переменным среды (необязательно). Настройка этого параметра устраняет необходимость в полных путях и значительно упрощает запуск wget из командной строки:
   • Откройте меню «Пуск» и выполните поиск по запросу среды.
   • Выберите «Изменение системных переменных среды».
   • Выберите вкладку «Дополнительно» и нажмите кнопку «Переменные среды».
   • Выберите переменную Path в разделе «Системные переменные».
   • Щелкните «Изменить».
   • Нажмите «Создать» и добавьте путь к каталогу bin wget . Если он установлен по пути по умолчанию, добавьте C:\Program Files(x86)\GnuWin32\bin .
3. Откройте командную строку cmd.exe и запускайте команды wget .

Введение в синтаксис wget

Синтаксис wget имеет следующий шаблон:

Каждый [option] имеет свою длинную и короткую форму, которые удобно взаимозаменяемы. Этот атрибут указывает, что делать с последующим URL-адресом. [URL] — это адрес файла или каталога, который вы хотите загрузить.

Примеры команд wget

Загрузить файл из Интернета

Чтобы загрузить файл из Интернета, используйте:

Например, чтобы установить Tomcat 9, сначала вам нужно загрузить пакет с wget с помощью команды:

Скачать файл и сохранить под определенным именем

Чтобы скачать файл и сохранить его под указанным именем, выполните:

Команда wget позволяет вам переименовывать файлы перед их загрузкой на ваш компьютер.

Например, вы можете установить Terraform. Чтобы загрузить пакет и переименовать его в terraform.zip , используйте следующую команду:

Загрузить файл в конкретный каталог

По умолчанию wget загружает файл в каталог, в котором находится пользователь. Чтобы сохранить файл в другом месте, добавьте параметр –P :

Например, при установке Git в Ubuntu вы можете загрузить пакет в каталог /temp с помощью команды:

Установить скорость загрузки

Вы можете установить скорость загрузки при загрузке большого файла, чтобы он не использовал всю доступную пропускную способность. Скорость загрузки определяется в килобайтах k и мегабайтах m . Используйте команду:

Например, если вы устанавливаете драйверы NVIDIA TESLA в Linux и хотите ограничить скорость загрузки до 1 мегабайта, используйте команду:

Продолжить загрузку после прерывания

Вместо того, чтобы начинать с нуля, wget может возобновить загрузку с того места, где она была остановлена ??до прерывания. Это полезная функция, если при загрузке файла происходит потеря соединения.

Например, вы можете установить Mumble Server в Linux и внезапно потерять подключение к Интернету при загрузке установочного файла. Чтобы продолжить загрузку, введите команду:

Скачать несколько файлов

wget позволяет загружать несколько файлов одновременно с помощью команды:

Для этого выполните действия, описанные ниже:

1. Сначала создайте и откройте файл с именем MultipleDownloads.txt (или другим именем по вашему выбору) с помощью текстового редактора. В данном случае мы использовали Nano:

2. В редакторе добавьте URL-адреса пакетов, которые вы хотите загрузить, по одному в каждой строке.

3. Сохраните и выйдите из файла.

4. Выполните следующую команду wget в окне терминала:

Это побуждает wget загружаться с каждого URL-адреса в текстовом файле.

Загрузить веб-страницу (зеркальная веб-страница)

С помощью wget вы можете загрузить весь веб-сайт из Интернета, используя параметр –m . Он предлагает wget создать зеркало указанной веб-страницы. Основная команда для этого:

Скачать через FTP

Для загрузки через FTP введите имя пользователя и пароль FTP-сервера, а затем ftp-адрес:

Скачать в фоновом режиме

Вы можете загрузить в фоновом режиме практическую функцию при работе с большими файлами:

Проверить статус загрузки можно командой:

Чтобы загрузить диспетчер пакетов RPM в фоновом режиме, введите:

Увеличение числа попыток повтора

Вы можете установить, сколько раз wget пытается загрузить файл после того, как его прерывает плохая сеть, с помощью:

По умолчанию количество повторных попыток установлено на 20.

Вы также можете установить число на бесконечность со значениями 0 или inf , как в следующем примере:

Пропустить проверку сертификата

По умолчанию wget проверяет, есть ли у сервера действительный сертификат SSL/TLS. Если он не идентифицирует подлинный сертификат, он отказывается от загрузки.

Параметр —no-check-certificate используется, чтобы центры сертификации не проверяли сертификат сервера. Однако используйте его только в том случае, если вы уверены в надежности веб-сайта или не беспокоитесь о проблемах безопасности, которые он может вызвать.

Если http://supersafewebsite.ru имеет ненадежный сертификат, но не причинит вреда системе, вы можете загрузить его с помощью:

Изменить агент пользователя User-Agent

При загрузке веб-страницы wget по сути эмулирует браузер. В некоторых случаях в выводе может быть указано, что у вас нет разрешения на доступ к серверу или что соединение запрещено. Это может быть связано с тем, что веб-сайт блокирует клиентские браузеры, у которых есть определенный «User-Agent».

«User-Agent» — это поле заголовка, которое браузер отправляет на сервер, к которому он хочет получить доступ. Поэтому для загрузки с сервера, который отказывается подключаться, попробуйте изменить пользовательский агент.

Найдите базу данных всех пользовательских агентов в сети, найдите тот, который вам нужен, и выполните команду:

Например, чтобы эмулировать Chrome (версия 74), вы должны изменить пользовательский агент с помощью команды:

Итоги

В этой статье рассказывается, почему wget является таким мощным инструментом для загрузки файлов через Интернет. Он также служит хорошим справочником для новичков со списком из основных команд и примеров wget.

Wget — консольный загрузчик для скачивания сайтов и его использование в Windows

Одно время в Рунете немалой популярностью пользовались менеджеры загрузок, позиционируемые их разработчиками как более эффективные инструменты скачивания контента из глобальной сети. Волна популярности, однако, вскоре схлынула, когда пользователи убедились, что эти программы ненамного превосходят встроенные средства браузеров. В почете остались лишь специализированные загрузчики.

Вроде тех, которые выпрямляют ссылки с YouTube или используются для пакетного скачивания с сайтов файлов определенного типа.

Программа, о которой сегодня пойдет речь, также является загрузчиком файлов, но при этом она имеет существенные отличия. Во-первых, у нее нет привычного графического интерфейса, вместо него пользователям предлагается работать в командной строке, во-вторых, она пришла к нам из мира Linux, а значит будет интересна тем, кто начинал свое знакомство с компьютерными технологиями с этой системы или просто хорошо в ней разбирается.

Называется программа Wget. Впрочем, назвать ее полноценной программой в общеупотребительном смысле слова можно лишь с натяжкой, это скорее утилита, к тому же консольная, а значит и понравится она далеко не всем. Изначально она использовалась для загрузки архивов и вообще скачивания файлов по сети, но с таким же успехом ее можно использовать для создания локальных копий сайтов с сохранением локальной структуры последних, групп и отдельных веб-страниц, а также их конвертирования в формат, удобный для просмотра сайтов в автономном режиме.

Wget умеет работать с протоколами HTTP , HTTPS и FTP , поддерживает прокси и докачку при обрыве связи, обладая при этом достаточно гибким набором комбинируемых параметров. Несмотря на кажущуюся сложность, пользоваться ею не так уже и трудно. Устанавливается утилита как и всякая другая программа — с помощью мастера, а вот запускать ее придется из командной строки, перейдя в расположение исполняемого файла wget.exe расположенного по адресу C:\Program Files\GnuWin32\Bin . Вот так:

Для удобства вы можете добавить расположение утилиты в переменные среды, это позволит вам запускать утилиту, не переходя в ее каталог. Теперь что касается использования. Wget имеет встроенную справку по ключам на русском языке, вызываемую командой -help .

Синтаксис же утилиты можно представить в виде такой схемы:

wget [web] Как работать с wget windows

wget здесь имя исполняемого файла утилиты, web — ресурс в интернете, с которого производится скачивание, key — дополнительные параметры или ключи, добавляемые по необходимости. А вот и самый простой пример использования. Допустим, мы хотим скачать с сети некое изображение. Зная его URL , выполняем такую команду:

Картинка будет сохранена в каталог с исполняемым файлом утилиты. Также вы можете загрузить файл с сохранением структуры каталогов сайта, добавив ключ -p:

Если у вас есть текстовый документ со списком файлов с указанием их URL , Wget поможет скачать их в пакетном режиме.

Для этого используется такая команда:

В файле data.tхt было две ссылки на изображения, но утилита скачала только одну картинку. Такое может быть, если сайт использует HTTPS -соединение, в этом случае не удается проверить подлинность сертификата. Чтобы обойти это ограничение, добавляем к команде ключ —no-check-certificate.

Наконец, с помощью утилиты вы можете загрузить на жесткий диск весь сайт. Команда в этом случае будет выглядеть следующим образом:

Ключ -r устанавливает рекурсивную загрузку, -k — делает ссылки локальными (просмотр сайта в оффлайн-режиме) , -p — загружает все файлы, l — устанавливает глубину рекурсии, в данном примере до пятого уровня вложенности (0 устанавливает бесконечность) .

Поддерживает Wget также множество других параметров. Протоколирование операций, авторизация с логином и паролем на удаленном сервере, выбор действия при повторном скачивании файлов, изменение директории загрузки — всё это и многое другое умеет Wget, главное запастись терпением и во всём разобраться.