Утилита командной строки CURL

CURL — утилита командной строки для Linux или Windows, поддерживает работу с протоколами: FTP, FTPS, HTTP, HTTPS, TFTP, SCP, SFTP, Telnet, DICT, LDAP, POP3, IMAP и SMTP. Она отлично подходит для имитации действий пользователя на страницах сайтов и других операций с URL адресами. Поддержка CURL добавлена в множество различных языков программирования и платформ.

Для начала скачаем саму утилиту, для этого переходим на официальный сайт утилиты, в раздел Download. После скачивания архива для своей платформы (у меня это Windows 64 bit), распаковываем архив. Чтобы иметь возможность работать с HTTPS и FTPS, устанавливаем сертификат безопасности url-ca-bundle.crt , который находится в папке curl/bin .

Запускаем командную строку, переходим в директорию curl/bin и пытаемся скачать главную страницу Google:

Опция -X позволяет задать тип HTTP-запроса вместо используемого по умолчанию GET. Дополнительные запросы могут быть POST, PUT и DELETE или связанные с WebDAV — PROPFIND, COPY, MOVE и т.п.

Следовать за редиректами

Сервер Google сообщил нам, что страница google.com перемещена (301 Moved Permanently), и теперь надо запрашивать страницу www.google.com . С помощью опции -L укажем CURL следовать редиректам:

Сохранить вывод в файл

Чтобы сохранить вывод в файл, надо использовать опции -o или -O :

• -o ( o нижнего регистра) — результат будет сохранён в файле, заданном в командной строке;
• -O ( O верхнего регистра) — имя файла будет взято из URL и будет использовано для сохранения полученных данных.

Сохраняем страницу Google в файл google.html :

Сохраняем документ gettext.html в файл gettext.html :

Загрузить файл, только если он изменён

Опция -z позволяет получить файлы, только если они были изменены после определённого времени. Это будет работать и для FTP и для HTTP. Например, файл archive.zip будет получен, если он изменялся после 20 августа 2018 года:

Команда ниже загрузит файл archive.zip , если он изменялся до 20 августа 2018 года:

Прохождение аутентификации HTTP

Опция -u позволяет указать данные пользователя (имя и пароль) для прохождения базовой аутентификаци (Basic HTTP Authentication):

Получение и отправка cookie

Cookie используются сайтами для хранения некой информации на стороне пользователя. Сервер сохраняет cookie на стороне клиента (т.е. в браузере), отправляя заголовки:

А браузер, в свою очередь, отправляет полученные cookie обратно на сервер при каждом запросе. Разумеется, тоже в заголовках:

Передать cookie на сервер, как будто они были ранее получены от сервера:

Чтобы сохранить полученные сookie в файл:

Затем можно отправить сохраненные в файле cookie обратно:

Файл cookie.txt имеет вид:

Получение и отправка заголовков

По умолчанию, заголовки ответа сервера не показываются. Но это можно исправить:

Если содержимое страницы не нужно, а интересны только заголовки (будет отправлен HEAD запрос):

Посмотреть, какие заголовки отправляет CURL при запросе, можно с помощью опции -v , которая выводит более подробную информацию:

• Строка, начинающаяся с > означает заголовок, отправленный серверу
• Строка, начинающаяся с означает заголовок, полученный от сервера
• Строка, начинающаяся с * означает дополнительные данные от CURL

А вот так можно отправить свой заголовок:

Отправка данных методом POST

Команда ниже отправляет POST запрос на сервер аналогично тому, как пользователь, заполнив HTML форму, нажал бы кнопку «Отправить». Данные будут отправлены в формате application/x-www-form-urlencoded .

Параметр —data аналогичен —data-ascii , для отправки двоичных данных необходимо использовать параметр —data-binary . Для URL-кодирования полей формы нужно использовать —data-urlencode .

Если значение опции —data начинается с @ , то после него должно быть имя файла с данными (или дефис — тогда будут использованы данные из стандартного ввода). Пример получения данных из файла для отправки POST-запроса:

Содержимое файла data.txt :

Массив $_POST , который будет содержать данные этого запроса:

Пример URL-кодирования данных из файла перед отправкой POST-запроса:

Содержимое файла username.txt :

Массив $_POST , который будет содержать данные этого запроса:

Загрузка файлов методом POST

Для HTTP запроса типа POST существует два варианта передачи полей из HTML форм, а именно, используя алгоритм application/x-www-form-urlencoded и multipart/form-data . Алгоритм первого типа создавался давным-давно, когда в языке HTML еще не предусматривали возможность передачи файлов через HTML формы.

Со временем возникла необходимость через формы отсылать еще и файлы. Тогда консорциум W3C взялся за доработку формата POST запроса, в результате чего появился документ RFC 1867. Форма, которая позволяет пользователю загрузить файл, используя алгоритм multipart/form-data , выглядит примерно так:

Чтобы отправить на сервер данные такой формы:

Скрипт upload.php , который принимает данные формы:

Работа по протоколу FTP

Скачать файл с FTP-сервера:

Если заданный FTP путь является директорией, то по умолчанию будет выведен список файлов в ней:

Как мне установить и использовать curl в Windows?

У меня возникли проблемы с запуском curl на Windows.

Отсюда я скачал zip-файл curl, но, похоже, он содержит исходный код, а не исполняемый файл.

Нужно ли мне компилировать curl для его запуска? Если да, то как мне это сделать?

Где я могу найти .exe загрузка для curl?

Я искал документацию по установке curl, но там мало что можно найти.

20 ответов

Предполагая, что вы получили его с http://curl.haxx.se/download.html, просто разархивируйте его, где вы хотите. Не нужно устанавливать. Если вы собираетесь использовать SSL, вам необходимо скачать DLL-файлы OpenSSL, доступные на веб-сайте curl.

Возможно, у вас уже есть завиток

Возможно, вам не нужно ничего скачивать:

Если вы используете Windows 10 версии 1803 или выше, ваша ОС поставляется с копией curl, уже настроенной и готовой к использованию.

Если у вас установлен Git для Windows (если вы скачали Git с https://git-scm.com/, ответ — да), у вас есть curl.exe под:

Просто добавьте вышеуказанный путь к PATH ,

Установка curl с помощью менеджера пакетов

Если вы уже используете менеджер пакетов, может быть удобнее установить его:

• Для Шоколадки беги choco install curl
• Для MSYS2, запустите pacman -S curl
• Для Scoop, запустить scoop install curl
• Для Cygwinдобавьте пакет curl в настройке Cygwin.

Установка скручивания вручную

Скачивание локона

Слишком легко случайно загрузить не ту вещь. Если на главной странице curl вы щелкнете по крупному и заметному разделу «Скачать» в заголовке сайта, а затем по большому и заметному curl-7.62.0.tar.gz ссылка в его теле, вы скачаете пакет исходного кода curl, который содержит исходный код curl, но не curl.exe , Остерегайтесь этого.

Вместо этого нажмите на крупные и заметные ссылки для скачивания на этой странице. Это официальные сборки Windows, и они предоставляются проектом curl-to-win.

Если у вас есть более эзотерические потребности (например, вам нужны сборки cygwin, сторонние сборки, libcurl, файлы заголовков, исходные коды и т. Д.), Используйте мастер загрузки curl. После ответа на пять вопросов вам будет представлен список ссылок для скачивания.

Извлечение и настройка скручивания

найти curl.exe в вашем загруженном пакете; это, вероятно, под bin\ ,

Выберите место на жестком диске, которое будет служить постоянным домом для завитков:

• Если вы хотите дать curl свою собственную папку, C:\Program Files\curl\ или же C:\curl\ Сделаю.
• Если у вас много свободных исполняемых файлов, и вы не хотите добавлять много отдельных папок в PATH используйте одну папку, например C:\Program Files\tools\ или же C:\tools\ с целью.

Место curl.exe под папкой. И никогда не перемещайте папку или ее содержимое.

Затем вы захотите сделать curl доступным в любом месте командной строки. Для этого добавьте папку в PATH , как это:

1. Щелкните меню «Пуск» Windows 10. Начните вводить «окружение».
2. Вы увидите результат поиска. Отредактируйте системные переменные среды. Выбери это.
3. Откроется окно «Свойства системы». Нажмите кнопку Переменные среды внизу.
4. Выберите переменную «Путь» в разделе «Системные переменные» (нижнее поле). Нажмите кнопку Изменить.
5. Нажмите кнопку Добавить и вставьте путь к папке, где curl.exe жизни.
6. Нажмите OK, если необходимо. Закройте открытые окна консоли и снова откройте, чтобы они получили новый PATH ,

Теперь наслаждайтесь вводом curl в любой командной строке. Время веселиться!

1. Скачать curl zip
2. Извлеките содержимое (если вы скачали правильную версию, вы должны найти curl.exe)
3. Поместите curl.exe в папку, в которой вы храните свое программное обеспечение (например, D:\software\curl\curl.exe)

Запустить curl из командной строки

а) Щелкните правой кнопкой мыши значок «Мой компьютер»

б) Выберите Свойства

c) Нажмите ссылку «Дополнительные параметры системы».

г) Перейти на вкладку [Дополнительно] — кнопка «Переменные среды»

e) В системной переменной выберите «Путь» и кнопку «Изменить».

е) Добавьте точку с запятой, за которой следует путь, по которому вы поместили свой файл curl.exe (например, D:\software\curl)

Теперь вы можете запустить из командной строки, набрав:

Самым простым руководством по настройке cURL в Windows является работа по созданию cURL в Windows 7. Это только 3 простых шага.

1. Загрузить cURL (бинарный файл Win64 ia64 zip с SSL)
2. Извлечь curl.exe в » C:\Windows\System32 «
3. Готово

Еще проще:

Загрузите установщик MSI для Win64 2000/XP x86_64, предоставленный Эдвардом ЛоПинто.

На момент написания файла curl-7.46.0-win64.exe был самым последним. Протестировано с Windows 10.

Начиная с Windows 10 версии 1803 (и более ранних, с инсайдерской сборкой 17063), вы не устанавливаете curl больше. Windows включает в себя родную curl.exe (а также tar.exe ) в C:\Windows\System32\ , который вы можете получить доступ прямо из вашего обычного CMD ,

Вероятно, стоит отметить, что Powershell v3 и выше содержит командлет Invoke-WebRequest, который имеет некоторые возможности скручивания. Вероятно, стоит упомянуть и командлеты New-WebServiceProxy и Invoke-RestMethod.

Я не уверен, что они подойдут вам или нет, но, хотя я и не Windows, я должен сказать, что нахожу объектный подход, который использует PS, гораздо проще работать с такими утилитами, как curl, wget и т. Д. Они могут стоить взглянуть на

Как вы уже знаете, вы можете найти несколько пакетов двоичных файлов на официальном сайте curl.

Как только вы загрузите пакет, распакуйте его в любое место. Я рекомендую добавить его местоположение к вашему пути, чтобы вы могли вызывать curl из пакетных сценариев или сценариев PowerShell. Чтобы добавить каталог к ​​своему пути, введите «переменные среды» в меню «Пуск» и выберите «редактировать переменные среды пользователя». Выберите Путь и добавьте в конец поля «значение»:;C:\curl\directory (с каталогом, в котором вы сохранили curl.)

Если вы хотите использовать SSL, вам нужен комплект сертификатов. Запустите mk-ca-bundle.pl (perl) или mk-ca-bundle.vbs (VBScript). Некоторые из пакетов двоичных файлов включают один или оба из них. Если ваша загрузка не включает ее, загрузите ее здесь: https://github.com/bagder/curl/tree/master/lib. Я рекомендую mk-ca-bundle.vbs, так как в Windows вы просто дважды щелкаете по нему, чтобы запустить его. Он создаст файл с именем ca-bundle.crt. Переименуйте его в curl-ca-bundle.crt и сохраните его в каталоге с помощью curl.exe.

В качестве альтернативы я недавно разработал установщик MSI, который всего за несколько щелчков настраивает полнофункциональную сборку curl. Он автоматически показывает скручивание на вашем пути, включает в себя готовый пакет сертификатов ssl и делает руководство по скручиванию и документацию доступными из меню «Пуск». Вы можете скачать его по адресу http://www.confusedbycode.com/curl/.

Установите менеджер пакетов Chocolatey для Windows. После установки просто введите choco install curl , Тогда вы можете использовать curl из терминала.

Также обратите внимание, что установка Git для Windows с git-scm.com также устанавливает Curl. Затем вы можете запустить Curl из Git для терминала BASH для Windows (не для терминала Windows CMD по умолчанию).

Вы можете собрать последнюю версию curl, openssl, libssh2 и zlib в 3 простых шага, следуя этому руководству.

Curl построен статически, поэтому вам не нужно распределять необходимое динамическое время выполнения.

Вы также можете загрузить готовую версию (x86 и x64) из SourceForge.

У меня было много проблем с curl для Windows. Я наконец-то использовал Cygwin, который включает в себя curl по умолчанию.

Думал, что напишу именно то, что сделал (Windows 10, 64-битная версия):

Выберите исполняемый файл curl.

Выберите первый рекомендуемый вариант. Для меня это было:

curl версия: 7.53.1 — SSL включен SSH включен. Предоставлено: Виктор Шакац. Этот пакет является исполняемым типом curl. По этой ссылке вы получите предварительно скомпилированный двоичный файл curl (или, в некоторых случаях, используя информацию, предоставленную на странице, по которой вас ведет эта ссылка). Вы можете или не можете установить libcurl как общую библиотеку /DLL. Файл упакован с использованием 7zip. 7zip — это формат архивирования файлов.

У вас должен быть файл curl-7.53.1-win64-mingw.7z в вашей папке загрузок.

Установите 7-Zip, если у вас его нет.

Щелкните правой кнопкой мыши, 7-Zip, Извлечь здесь. Скопируйте и вставьте извлеченный файл куда-нибудь вроде Z:\Tools\

Если вы посмотрите в папку bin, вы увидите curl.exe. Если вы дважды щелкните по нему, окно быстро вспыхнет и исчезнет. Чтобы запустить его, вам нужно использовать командную строку. Перейдите в папку bin и введите curl, а затем свои параметры, чтобы сделать запрос. Вы должны использовать двойные кавычки. Одинарные кавычки не будут работать с curl в Windows.

Теперь вам нужно добавить curl в переменную Path пользователя, чтобы вам не пришлось переходить в нужную папку для запуска программы. Перейдите в раздел «Этот ПК», «Компьютер», «Свойства системы», «Дополнительные параметры системы», войдите в систему как администратор (вы не являетесь администратором, верно? Верно?). Переменные среды, системные переменные, посмотрите список и выберите «Путь», затем «Редактировать», затем Новый, то, например,

Z:\Tools\ завиток-7.53.1-win64-MinGW \ Bin

Вы можете добавить обратную косую черту, если хотите, я не думаю, что это имеет значение. Нажимайте кнопку перемещения вверх до тех пор, пока она не окажется вверху списка, и вы сможете легко увидеть ее с предыдущего экрана. Нажмите OK, OK, OK, затем откройте командную строку, и вы можете запустить curl, набрав curl из любой папки, как любой пользователь. Не забывайте свои двойные кавычки.