How to download your website using WGET for Windows

1st January 2019

How to download, install and use WGET in Windows

Ever had that terrifying feeling you’ve lost vital assets from your website?

Perhaps you need to move to a new web host and there’s some work to do to download and back up files like images or CSV files. Perhaps it’s a static website and you need to make an archive of all pages in HTML. Perhaps you need to mirror a resource on the Internet in some way but you’re not sure what tools are available to make that happen.

It’s possible, then that you need to learn how to use WGET.

WGET is a free tool to download files and crawl websites via the command line. WGET offers a set of commands that allow you to download files (over even quite bad network conditions) with features that mean you can do useful things like resume broken downloads.

If you’re a Linux user, there are lots of guides out there on how to use WGET, the free network utility to retrieve files from the World Wide Web using HTTP and FTP, but far fewer accurate guides to doing so in Windows 10.

Unless you fancy installing Ubuntu or buying a Mac, here’s a handy guide to installing and using WGET in Windows.

What does WGET Do?

Once installed, the WGET command allows you to download files over the TCP/IP protocols: FTP, HTTP and HTTPS.

If you’re a Linux or Mac user, WGET is either already included in the package you’re running or it’s a trivial case of installing from whatever repository you prefer with a single command.

Unfortunately, it’s not quite that simple in Windows (although it’s still very easy!).

To run WGET you need to download, unzip and install manually.

Install WGET in Windows 10

Download the classic 32 bit version 1.14 here or, go to this Windows binaries collection at Eternally Bored here for the later versions and the faster 64 bit builds.

Here is the downloadable zip file for version 1.2 64 bit.

If you want to be able to run WGET from any directory inside the command terminal, you’ll need to learn about path variables in Windows to work out where to copy your new executable. If you follow these steps, you’ll be able to make WGET a command you can run from any directory in Command Prompt.

Run WGET from anywhere

Firstly, we need to determine where to copy WGET.exe.

After you’d downloaded wget.exe (or unpacked the associated distribution zip files) open a command terminal by typing “cmd” in the search menu:

We’re going to move wget.exe into a Windows directory that will allow WGET to be run from anywhere.

First, we need to find out which directory that should be. Type:

You should see something like this:

Thanks to the “Path” environment variable, we know that we need to copy wget.exe to the c:\Windows\System32 folder location.

Go ahead and copy WGET.exe to the System32 directory and restart your Command Prompt.

Restart command terminal and test WGET

If you want to test WGET is working properly, restart your terminal and type:

If you’ve copied the file to the right place, you’ll see a help file appear with all of the available commands.

So, you should see something like this:

Now it’s time to get started.

Get started with WGET

Seeing that we’ll be working in Command Prompt, let’s create a download directory just for WGET downloads.

To create a directory, we’ll use the command md (“make directory”).

Change to the c:/ prompt and type:

Then, change to your new directory and type “dir” to see the (blank) contents.

Now, you’re ready to do some downloading.

Example commands

Once you’ve got WGET installed and you’ve created a new directory, all you have to do is learn some of the finer points of WGET arguments to make sure you get what you need.

The Gnu.org WGET manual is a particularly useful resource for those inclined to really learn the details.

If you want some quick commands though, read on. I’ve listed a set of instructions to WGET to recursively mirror your site, download all the images, CSS and JavaScript, localise all of the URLs (so the site works on your local machine), and save all the pages as a .html file.

To mirror your site execute this command:

wget -r https://www.yoursite.com

To mirror the site and localise all of the urls:

wget —convert-links -r https://www.yoursite.com

To make a full offline mirror of a site:

wget —mirror —convert-links —adjust-extension —page-requisites —no-parent https://www.yoursite.com

To mirror the site and save the files as .html:

wget —html-extension -r https://www.yoursite.com

To download all jpg images from a site:

wget -A «*.jpg» -r https://www.yoursite.com

For more filetype-specific operations, check out this useful thread on Stack.

Set a different user agent:

Some web servers are set up to deny WGET’s default user agent – for obvious, bandwidth saving reasons. You could try changing your user agent to get round this. For example, by pretending to be Googlebot:

wget —user-agent=»Googlebot/2.1 (+https://www.googlebot.com/bot.html)» -r https://www.yoursite.com

Wget “spider” mode:

Wget can fetch pages without saving them which can be a useful feature in case you’re looking for broken links on a website. Remember to enable recursive mode, which allows wget to scan through the document and look for links to traverse.

wget —spider -r https://www.yoursite.com

You can also save this to a log file by adding this option:

wget —spider -r https://www.yoursite.com -o wget.log

Enjoy using this powerful tool, and I hope you’ve enjoyed my tutorial. Comments welcome!

Wget для Windows. Установка и использование.

В данной статье я хочу поговорить о установке и использовании консольной утилиты GNU Wget в операционной системе Windows.

Возможности Wget не ограничиваются одной лишь загрузкой архивов, утилита умеет создавать локальные копии web-сайтов с полным сохранением структуры каталогов и файлов. Помимо этого возможна конвертация сохраненных html-файлов для просмотра сайта в автономном режиме. Считывая заголовки файлов и сравнивая их с ранее загруженными файлами, Wget может загружать новые версии файлов, благодаря чему можно создавать обновляемые зеркала сайтов.

Wget может работать по протоколам HTTP, HTTPS, FTP, а также поддерживает работу через HTTP-прокси сервера. Утилита разрабатывалась для медленных соединений, точнее в те времена соединения были медленными и нестабильными, поэтому она поддерживает докачку файлов при обрыве соединения. Если сервер с которого загружался файл тоже поддерживает докачку, то Wget продолжит загружать файл именно с того места, где оборвалась загрузка.

Для того чтобы установить Wget, перейдите по ссылке и скачайте установочный exe-файл. Запустите exe-файл и установите Wget как обычную программу, по умолчанию утилита устанавливается C:\Program Files (x86)\GnuWin32.

Для запуска утилиты нужна командная строка Windows, запускаем ее через меню пуск или сочетанием клавиш Win+R, в открывшемся окне ввести «cmd» и нажать Enter. После запуска командной строки сразу пользоваться Wget, как это происходит в ОС Linux, не получится, сначала нужно указать местоположение файла wget.exe.

Файл wget.exe находится в каталоге bin, внутри установочной директории. Для указания файла используется команда path.

Теперь можно запустить Wget, для начала можно просмотреть вывод команды help со списком дополнительных опций.

Список дополнительных опций утилиты Wget под спойлером.

Обычные копирование и вставка (Ctrl+C, Ctrl+V) в командной строке Windows не работают. Чтобы скопировать текст из командной строки Windows, нужно просто выделить нужный фрагмент текста и нажать Enter.

Для вставки текста в командную строку, нужно кликнуть правой кнопкой мыши по окну командной строки, выбрать подменю «Изменить» и дальше выполнить требуемую команду. Копирование и вставка существенно облегчают работу с командной строкой Windows.

Давайте рассмотрим несколько примеров использования утилиты Wget.

Допустим что нам нужно скачать какой нибудь файл, пусть это будет титульное изображение для этой статьи. Для этого нужно просто указать URL (ссылку) нужного файла, например так.

Иногда Wget может ругаться на «самоподписанные сертификаты» при использовании HTTPS-ссылок, хотя с самими сертификатами все в порядке, в таком случае нужно использовать дополнительную опцию «—no-check-certificate».

При обычном вызове командной строки Windows сохранение файла будет происходить в пользовательский каталог C:\Users\Username. Если файл требуется сохранить в какой-либо определенный каталог, то его необходимо указать при помощи дополнительного ключа «-P», пусть это будет каталог test на диске C (C:\test).

Если файл должен быть сохранен в определенном каталоге, то существует более простой способ сохранения файла, без указания дополнительных опций. Зайдите в нужный каталог через проводник Windows, зажмите клавишу Shift и кликните по области каталога правой кнопкой мыши, в открывшемся меню выберите «Открыть окно команд».

Открывшаяся командная строка станет выглядеть следующим образом.

Выполните команду path, для указания местоположения wget.exe.

Теперь все будет сохраняться именно в эту папку.

Давайте представим что у нас есть некий файл со списком ссылок, которые необходимо скачать. Пусть это будет файл test.txt расположенный в пользовательском каталоге C:\Users\Username, со следующим содержанием.

Дополнительный ключ «-i» будет указывать на расположение файла — C:\Users\Username\test.txt и все файлы из списка будут сохранены.

Чтобы скачать сайт целиком достаточно просто указать его адрес c минимально необходимым набором опций, например.

В результате получим готовое зеркало сайта, которое будет автономно работать на компьютере, благодаря конвертации ссылок для локального использования сайта.

Но допустим что нам не нужен весь сайт, а только вот эта статья https://techlist.top/install-wordpress/. В таком случае команда для загрузки станет выглядеть так.

Комбинируя набор доп. опций в командах Wget можно добиться разных результатов. Так что пробуйте все самостоятельно и изучайте возможности утилиты.

Руководство по использованию команды wget с примерами

Wget — это бесплатная утилита командной строки GNU, используемая для загрузки файлов из Интернета. Она получает файлы с использованием протоколов HTTP, HTTPS и FTP.

Wget служит инструментом для поддержания нестабильных и медленных сетевых подключений. Если во время загрузки возникает проблема с сетью, это полезное программное обеспечение может возобновить получение файлов, не начиная с нуля.

Еще один важный аспект — это возможность рекурсивной загрузки, с которой она копирует веб-сайты. Она передает части веб-сайта по ссылкам и структуре каталогов, создавая, таким образом, локальные версии веб-страниц.

Команда wget также очень гибкая и может использоваться в терминалах, скриптах и заданиях cron . Во время загрузки пользователю не нужно быть активным или авторизованным. Поскольку wget не интерактивен, он может работать независимо в фоновом режиме.

Прочтите эту статью, чтобы узнать, как использовать некоторые из наиболее распространенных команд wget.

Как проверить, установлен ли wget?

Скорее всего, пакет wget уже есть в вашей системе, поскольку теперь он предустановлен в большинстве дистрибутивов Linux.

Чтобы проверить, откройте окно терминала и введите:

Если у вас есть программное обеспечение wget, в выходных данных будет указано, что для команды wget отсутствует URL-адрес, как показано ниже:

wget : missing URL
Usage : wget [ OPTION ]. [ URL ].

Try `wget —help` for more options .

Команда wget не найдена

Если в выводе отображается wget command not found вам необходимо загрузить и установить инструмент вручную. Ниже вы найдете инструкции по установке для Ubuntu/Debian, CentOS и Windows.

Как установить wget на Ubuntu/Debian?

Чтобы установить wget в выпусках Ubuntu или Debian, используйте команду:

sudo apt — get install wget

Как установить wget на CentOS/Fedora?

Чтобы установить wget на CentOS или Fedora, введите следующую команду:

sudo yum install wget

Как установить wget в Windows?

Чтобы установить и настроить wget для Windows:

1. Загрузите wget для Windows и установите пакет.
2. Добавьте путь корзины wget к переменным среды (необязательно). Настройка этого параметра устраняет необходимость в полных путях и значительно упрощает запуск wget из командной строки:Откройте меню «Пуск» и выполните поиск по запросу среды .
   Выберите «Изменение системных переменных среды».
   Выберите вкладку «Дополнительно» и нажмите кнопку «Переменные среды».
   Выберите переменную Path в разделе «Системные переменные».
   Щелкните «Изменить».
   Нажмите «Создать» и добавьте путь к каталогу bin wget . Если он установлен по пути по умолчанию, добавьте C:\Program Files(x86)\GnuWin32\bin .
3. Откройте командную строку cmd.exe и запускайте команды wget .

Введение в синтаксис wget

Синтаксис wget имеет следующий шаблон:

wget [ option ][ URL ]

Каждый [option] имеет свою длинную и короткую форму, которые удобно взаимозаменяемы. Этот атрибут указывает, что делать с последующим URL-адресом. [URL] — это адрес файла или каталога, который вы хотите загрузить.

Примеры команд wget

Загрузить файл из Интернета

Чтобы загрузить файл из Интернета, используйте:

Например, чтобы установить Tomcat 9, сначала вам нужно загрузить пакет с wget с помощью команды:

wget http : //apache.cs.utah.edu/tomcat/tomcat-9/v9.0.20/bin/apache-tomcat-9.0.20.tar.gz

Скачать файл и сохранить под определенным именем

Чтобы скачать файл и сохранить его под указанным именем, выполните:

wget – O [имя _ файла] [ URL ]

Команда wget позволяет вам переименовывать файлы перед их загрузкой на ваш компьютер.

Например, вы можете установить Terraform. Чтобы загрузить пакет и переименовать его в terraform.zip , используйте следующую команду:

wget – O terraform . zip https : //releases.hashicorp.com/terraform/0.12.2/terraform_0.12.2_linux_amd64.zip

Загрузить файл в конкретный каталог

По умолчанию wget загружает файл в каталог, в котором находится пользователь. Чтобы сохранить файл в другом месте, добавьте параметр –P :

wget – P [желаемый _ каталог] [ URL ]

Например, при установке Git в Ubuntu вы можете загрузить пакет в каталог /temp с помощью команды:

wget – P / temp https : //github.com/git/git/archive/master.zip

Установить скорость загрузки

Вы можете установить скорость загрузки при загрузке большого файла, чтобы он не использовал всю доступную пропускную способность. Скорость загрузки определяется в килобайтах k и мегабайтах m . Используйте команду:

wget — limit — rate [желаемая _ скорость] [ URL ]

Например, если вы устанавливаете драйверы NVIDIA TESLA в Linux и хотите ограничить скорость загрузки до 1 мегабайта, используйте команду:

wget — limit — rate 1m http : //us.download.nvidia.com/tesla/396.37/nvidia-diag-driver-local-repo-ubuntu1710-396.37_1.0-1_amd64.deb

Продолжить загрузку после прерывания

Вместо того, чтобы начинать с нуля, wget может возобновить загрузку с того места, где она была остановлена ??до прерывания. Это полезная функция, если при загрузке файла происходит потеря соединения.

Например, вы можете установить Mumble Server в Linux и внезапно потерять подключение к Интернету при загрузке установочного файла. Чтобы продолжить загрузку, введите команду:

wget – c https : //github.com/mumble-voip/mumble/releases/download/1.2.19/murmur-static_x86-1.2.19.tar.bz2

Скачать несколько файлов

wget позволяет загружать несколько файлов одновременно с помощью команды:

wget – i [имя _ файла]

Для этого выполните действия, описанные ниже:

1. Сначала создайте и откройте файл с именем MultipleDownloads.txt (или другим именем по вашему выбору) с помощью текстового редактора. В данном случае мы использовали Nano :

nano MultipleDownloads . txt

2. В редакторе добавьте URL-адреса пакетов, которые вы хотите загрузить, по одному в каждой строке.

3. Сохраните и выйдите из файла.

4. Выполните следующую команду wget в окне терминала:

wget – i MultipleDownloads . txt

Это побуждает wget загружаться с каждого URL-адреса в текстовом файле.

Загрузить веб-страницу (зеркальная веб-страница)

С помощью wget вы можете загрузить весь веб-сайт из Интернета, используя параметр –m . Он предлагает wget создать зеркало указанной веб-страницы. Основная команда для этого:

wget – m https : //wiki.merionet.ru

Скачать через FTP

Для загрузки через FTP введите имя пользователя и пароль FTP-сервера, а затем ftp-адрес:

wget — ftp — user =[ ftp_username ] — ftp — password =[ ftp_password ] ftp : //.

wget — ftp — user = admin — ftp — password = SecretPassword ftp : //123.456.7890

Скачать в фоновом режиме

Вы можете загрузить в фоновом режиме практическую функцию при работе с большими файлами:

Проверить статус загрузки можно командой:

tail – f wget – log

Чтобы загрузить диспетчер пакетов RPM в фоновом режиме, введите:

wget – b http : //some_website/sample_file.rpm

Увеличение числа попыток повтора

Вы можете установить, сколько раз wget пытается загрузить файл после того, как его прерывает плохая сеть, с помощью:

wget — tries = [количество _ попыток] [ URL ]

По умолчанию количество повторных попыток установлено на 20.

Вы также можете установить число на бесконечность со значениями 0 или inf , как в следующем примере:

wget — tries = inf http : //download.virtualbox.org/virtualbox/rpm/rhel/virtualbox.repo

Пропустить проверку сертификата

По умолчанию wget проверяет, есть ли у сервера действительный сертификат SSL/TLS . Если он не идентифицирует подлинный сертификат, он отказывается от загрузки.

Параметр —no-check-certificate используется, чтобы центры сертификации не проверяли сертификат сервера. Однако используйте его только в том случае, если вы уверены в надежности веб-сайта или не беспокоитесь о проблемах безопасности, которые он может вызвать.

wget — no — check — certificate [ URL ]

Если http://supersafewebsite.ru имеет ненадежный сертификат, но не причинит вреда системе, вы можете загрузить его с помощью:

wget — no — check — certificate http : //supersafewebsite.ru

Изменить агент пользователя User-Agent

При загрузке веб-страницы wget по сути эмулирует браузер. В некоторых случаях в выводе может быть указано, что у вас нет разрешения на доступ к серверу или что соединение запрещено. Это может быть связано с тем, что веб-сайт блокирует клиентские браузеры, у которых есть определенный «User-Agent».

« User-Agent » — это поле заголовка, которое браузер отправляет на сервер, к которому он хочет получить доступ. Поэтому для загрузки с сервера, который отказывается подключаться, попробуйте изменить пользовательский агент.

Найдите базу данных всех пользовательских агентов в сети, найдите тот, который вам нужен, и выполните команду:

wget — user — agent =” User Agent Here ” “[ URL ]”

wget – U ” User Agent Here ” “[ URL ]”

Например, чтобы эмулировать Chrome (версия 74), вы должны изменить пользовательский агент с помощью команды:

wget — user — agent =” Mozilla / 5.0 ( Windows NT 10.0 ; Win64 ; x64 ) AppleWebKit / 537.36 ( KHTML , like Gecko ) Chrome / 74.0 . 3729.169 Safari / 537.36 ” “ https : //wiki.merionet.ru”

Итоги

В этой статье рассказывается, почему wget является таким мощным инструментом для загрузки файлов через Интернет. Он также служит хорошим справочником для новичков со списком из основных команд и примеров wget.