User agent mozilla compatible msie windows

Добрый день! Сайт находится на виртуальном хостинге. Началась массовая атака с разных IP адресов и разных стран, но везде «Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)». Как мне это закрыть? Что прописать в htaccess. Банить по IP не вариант, их очень много.

Вам нужна защита от DDOS, неприятная вещь, и стоит бешенных бабок.

Сначала надо попытаться заблокировать. Как правильно прописать, пока ищу.

alan303, вы сами написали IP — не вариант, а User agent могут менять каждые 5 секунд.

Что-то вроде такого в .htaccess

В интернете нашел

RewriteCond % «^Mozilla/4\.0 \(compatible; MSIE 6\.0; Windows NT 5\.1; SV1\)$»

У вас кондишн POST. Смотрите характер атаки.

У меня GET в логах.

И совсем ничего общего?

Увы. Разные страны, разные провайдеры интернета, около 5-8 запросов в секунду с каждого IP адреса. Очень большая нагрузка на хостинг. И это периодами в течении суток.

alan303, решили проблему?

У меня сейчас похожая фигня. Общее: «Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)»

Ip разные. Долбят ничем непримечательный сайт((

user agent string is Mozilla/4.0 (compatible; MSIE 7.0) when compatibility mode is off

some clients reported that our website do not work in IE11. we don’t have access to their computer, so we asked for screenshot and we dig into our logs.

and found those clients’ browsers sent the following agent string: Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.3; WOW64; Trident/7.0; .NET4.0E; .NET4.0C; .NET CLR 3.5.30729; .NET CLR 2.0.50727; .NET CLR 3.0.30729; CPNTDFJS; McAfee; GWX:QUALIFIED)»>,

and from the screenshot, we can see our site layout is broken. so we come to a conclusion that those clients are using compatibility mode in IE11.

however, the clients checked and said they don’t have compatibility mode enable, enterprise mode is not enabled either.

since we don’t have access to clients computer, so would like to get idea from you guys and see if anyone know what else we should check or why this happens?

only some clients are having this issue. and we could not reproduce it on our computer.

currently on our website, we dont have set in page head, because we thought IE11 would be smart enough to use Edge as default.

Clients said compatibility mode or enterprise mode is off. Could it be a cache or something else that is not visible on the surface?

really out of idea, please shed some lights. Thanks!

1 Answer 1

You haven’t provided many details to work with, so what follows is just a guess. However, based on the descriptions you have provided, it seems like your site is being rendered in an older document mode. You can have your client check this by opening the F12 developer tools and going to the emulation tab. The document mode setting in particular should be instructive.

If that doesn’t say «Edge», then that’s likely why your layout is broken. You then need to determine why the page isn’t being displayed in Edge mode. In my experience, this usually occurs when a) the page doesn’t contain a directive and b) is displayed on an Intranet. Why? Because c) By default, IE displays such pages in IE7 standards mode aka Compatibility View.

You mentioned that you don’t set the page head. Per the W3C spec, this tells compliant browsers to display the web page in quirks mode, rather than standards mode.

If this is the problem you’re running into, you should be able to fix it by:

• Adding an HTML5 doctype to the source of your webpage; this makes your intent clear, rather than leave the rendering decision to the individual brower.
• Configuring the webserver to issue a x-ua-compatible header when serving your page (with the content value set to IE=edge .
• Asking your client to uncheck the «Display Intranet pages in compatibility view» setting (see earlier link).

This isn’t the only cause. The client may have added the site to the list of pages to be served in compatibility view, the user may have adjusted their registry settings to display all sites in compatibility view, and so on.

However this should be enough information to help you begin to troubleshoot the problem. In short, you need to determine how the page is being displayed and why. (Note: The dev tools also provide hints about why the page is being displayed as it is.)

Много анонимности не бывает — скрываем User-Agent

Очередной приступ паранойи был вполне обоснован — он наступил после прочтения статьи о методах анонимности в сети, где автор на примере браузера FireFox рассказывал о потенциальных утечках идентификационной информации. И стало интересно — а на сколько озвученные решения применимы, скажем, к браузеру Google Chrome?
Скрыть реальный IP — используем разные VPN сервера, отключить львиную долю отслеживающих скриптов — Adblock Plus и Ghostery, убрать Referer — не вопрос, что то ещё забыли… Ах да — User-Agent — своеобразный «отпечаток», по которому (в связке, скажем, с IP) легко идентифицировать пользователя. И с этим надо было что-то делать. Найденные решения лишь статично изменяли значение User-Agent, чего было явно недостаточно. Тогда и было решено написать плагин для скрытия реального User-Agent’a, а если быть точнее — подменять его на рандомный. Или почти рандомный.

Для нетерпеливых сразу: исходники на GitHub и расширение в Google Webstore.

Немного теории

Вообще, User-Agent (далее по тексту — UA) — штука нужная. Нужная в первую очередь для корректного отображения страниц, ведь нам всем известно — разные версии разных браузеров по разному рендерят странички, и заботливые web-программисты учитывают этот факт, выдавая нужным браузерам нужным скрипты и стили. Разнится поддержка доступных технологий «движками». Отсюда вытекает первое требование к итогу — возможность «имитировать» различные браузеры, и что самое важное — иметь возможность выбора между ними.
UA — это в первую очередь набор. Набор различных идентификаторов, по которым и происходит определение — какой браузер, какая операционная система, какой версии, и какое специфичное ПО (привет, IE) стоит у пользователя.
Почему именно IP и UA надо скрывать в первую очередь? А давайте посмотрим на лог пустого сайта-заглушки, на котором вообще ничего нет:

На сайте ничего нет, а я знаю о посетителе более чем достаточно. Всё потому что «логи знают всё» ©.

Немного практики

Да, это возможно, но для это нужно анализировать. Анализировать, например, какие .net могут стоять на каких ОС, анализировать версии и сочетания, нюансы. Когда они теряются в куче — задача становиться мало тривиальной. Кому интересно как выглядят регулярки — добро пожаловать по этой ссылке. Дня генерации использовал randexp.js (за подсказку спасибо хабрачуваку под ником barkalov).

Вообще расширение успешно выдает себя за следующие браузеры:

• IE с 6 по 10;
• Chrome (Win / Mac / Linux);
• Firefox (Win / Mac / Linux);
• Safari (Win / Mac / Linux);
• Opera (Win / Mac / Linux);
• iPad и iPhone.

Что ещё интересного? Автоматизация. Отмечаешь галочками какие браузеры мы имитируем, ставишь галочку «Обновлять автоматически», указываешь интервал времени, и забываешь. Ничего лишнего. Для любопытных — посмотрите в консоли «фоновую страницу» — там всё не плохо залогировано.

Открытые исходники. Если есть желание допилить под себя, всё что необходимо, это:

1. Открыть ссылку расширения на гитхабе;
2. Нажать «Download Zip» или склонировать;
3. На странице расширений поставить чекбокс «Режим разработчика»;
4. Нажать «Загрузить распакованное расширение. » и указать путь к распакованному архиву или клону;

Буду очень признателен конструктивной критике и предложениям.

История изменений

• 1.5 — Добавлены исключения, теперь модно некоторые URL-ы добавить в «белый список», и для них ничего не будет подменяться

User-Agent

The User-Agent request header is a characteristic string that lets servers and network peers identify the application, operating system, vendor, and/or version of the requesting user agent.

Please read Browser detection using the user agent for why serving different Web pages or services to different browsers is usually a bad idea.

Syntax

Common format for web browsers:

Directives

A product identifier — its name or development codename.

Version number of the product. Zero or more comments containing more details; sub-product information, for example.

Firefox UA string

For more on Firefox- and Gecko-based user agent strings, see the Firefox user agent string reference. The UA string of Firefox is broken down into 4 components:

1. Mozilla/5.0 is the general token that says the browser is Mozilla-compatible. For historical reasons, almost every browser today sends it.
2. platform describes the native platform the browser is running on (Windows, Mac, Linux, Android, etc.), and if it’s a mobile phone. Firefox OS phones say Mobile — the web is the platform. Note that platform can consist of multiple » ; «-separated tokens. See below for further details and examples.
3. rv:geckoversion indicates the release version of Gecko (such as «17.0«). In recent browsers, geckoversion is the same as firefoxversion.
4. Gecko/geckotrail indicates that the browser is based on Gecko. (On Desktop, geckotrail is always the fixed string 20100101 .)
5. Firefox/firefoxversion indicates the browser is Firefox, and provides the version (such as «17.0″).

Examples

Chrome UA string

The Chrome (or Chromium/Blink-based engines) user agent string is similar to Firefox’s. For compatibility, it adds strings like KHTML, like Gecko and Safari .

Examples

Opera UA string

The Opera browser is also based on the Blink engine, which is why it almost looks the same, but adds «OPR/ » .

Examples

Older, Presto-based Opera releases used:

Safari UA string

In this example, the user agent string is mobile Safari’s version. It contains the word «Mobile» .

User-Agent: что такое, какую информацию содержит? Определение и изменение Юзерагента

User Agent – это клиентское приложение, используемое браузерами и прочими веб-приложениями для показа сайту информации о себе в соответствующей строке.

Для чего нужен и из чего состоит User Agent?

Все браузеры, мобильные устройства, поисковые роботы содержат Юзерагент. В строке отображается вся необходимая информация о компьютере или телефоне, версии браузера, операционной системе, роботе.

Так же строки с описанием User-agent можно прописать в файле Robots.txt, они важны для корректной работы поисковых роботов на сайте. Посредством строк, от всех либо от определенных поисковиков можно скрыть данные, содержащиеся на ресурсе: конкретную страницу либо сайт целиком, определенный вид файлов, личные данные пользователей и прочее. Так, с помощью User-agent, вы можете скрыть, например, только картинки, либо открыть для индексации исключительно их.

Запретить сканировать информацию можно посредством инструкции либо всем ботам, либо роботу конкретного поисковика, распознающегося User Agent.

В строке с описанием User Agent содержится следующая информация:

1. Название и версия браузера.
2. Язык.
3. Версия операционной системы.
4. Программное обеспечение, установленное на используемом устройстве.
5. Тип устройства, с которого пользователь зашел на сайт.

Менять Юзерагент можно с целью изменения параметров индексации ресурса, скрытия информации, которую не стоит показывать посторонним лицам, и актуализации старого браузера, чтобы больше не получать уведомления о необходимости установки другого приложения.

Для каждого браузера и операционной системы устройства в строке прописываются разные инструкции.

Как определить User Agent?

Данные о запросах, поступающих на сайт, вы можете найти в виде логах сервера. Функцию сохранения журналов сервера можно включить в Панели управления аккаунтом хостинга.

В дальнейшем журналы сервера можно будет найти в директории сайта domains, а именно в папке логов logs.

Каждая строка содержит информацию об одном конкретном запросе. К примеру:

• 55.22.33.11 – IP адрес устройства, с которого пришел запрос
• imajor.ru – название сайта, на которой поступил запрос
• «Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.71 Safari/537.36» – User-Agent браузера, используемого интернет-пользователем или роботом, зашедшим на сайт

Огромное количество строк User Agent хранятся в базе данных browscap.org. Если данную строку найти в базе, то вы получите множество параметров, таких как название и версия веб-браузера, операционная система и многое другое. База Юзерагент регулярно обновляется и ее можно скачать на сайте browscap.org совершенно бесплатно.

Зачем сайту знать с каким User-Agent к нему пришли?

Как вы уже поняли, строка Юзерагент помогает узнать, откуда был сделан запрос на сайт. Это может сделать компьютер, смартфон, робот поисковой системы или программное обеспечение. Знать данную информацию нужно, чтобы:

• перенаправить запрос со смартфона на мобильную версию сайта;
• применить соответствующие стили для определенного браузера;
• заблокировать доступ к ресурсу различным утилитам;
• собрать статистику о том, сколько запросов с каких устройств приходит;
• создать правила для обработки запросов, приходящих от ботов и так далее.

Чтобы решать вышеперечисленные задачи, современному вебмастеру не обязательно уметь разрабатывать скрипты на PHP, потому что для многих популярных движков, таких как WordPress, уже давно разработаны специальные расширения со всеми подходящими функциями. Вам нужно лишь отыскать соответствующий плагин.

User Agent и поисковые роботы

Поисковый гигант Google создал огромное количество роботов, отвечающих за индексацию контента различного вида, содержащегося на сайтах, а также устройств, с которых пользователи пользуются интернетом.

Главным поисковым ботом Google является Googlebot. Если вам нужно полностью заблокировать сайт от индексации в поисковой системе, в файле Robots агентом пользователя для Googlebot нужно указать условие, скрывающее ресурс от ботов поисковика.

Еще можно скрыть определенную часть контента. Для этого необходимо прописать правило для агента, индексирующего контент. К примеру, желая закрыть от индексации изображения на сайте, условие указывается для Googlebot-Image. Вот пример, как данная операция смотрится в файле Robots:

Вы также можете скрыть от робота весь сайт, кроме определенного типа контента, к примеру, видео. Тогда запретите Googlebot индексировать ресурс целиком, а агентом, которому индексация разрешена, пропишите Googlebot Video.

Нет нужды вносить какие-либо изменения в robots.txt, если вы хотите, чтобы сайт был открыт для сканирования поисковыми ботами полностью.

Как запретить доступ к сайту по User-Agent?

Вам понадобится использовать несколько правил в файле .htaccess. Давайте рассмотрим пример с применением правил, которые закрывают доступ к ресурсу через утилиту java:

После User-Agent, указанного в первой строке, находится юзерагент утилиты Java. Вы видите, что ему прописано имя bad_bot. Вторая строка начинается с команды Deny, блокирующего доступ для запроса, отправленного bad_bot.

Вместо Java можно прописать юзерагент любого бота и браузера, а также присвоить им имя bad_bot.

Чтобы проверить правильность внесенных изменений, нет необходимости заходить на сайт с разных устройств. Для современных браузеров придумано изобилие плагинов с функцией замены User-Agent.

Зачем менять User-Agent?

К замене юзерагента вебмастера прибегают с целью проверки правил для поисковых роботов и утилит.

Любой браузер, формируя страницу ресурса в читабельный для пользователя вид, по-своему обрабатывает данные, взятые с сервера. Так, если в браузере Chrome указать User Agent браузера Opera, то сайт может отобразиться некорректно. В связи с этим, закончив тестирование, никогда не забывайте возвращать изначальные данные User-Agent.

Как изменить user agent в браузерах?

Mozilla Firefox

Способ подходит для версии Mozilla Firefox от 34.0 и новее. Напишите в адресной строке about:config, а затем создайте строку, назвав ее general.useragent.override. Изначально данной строки не существует. В ее значение впишите содержание User Agent.

Chrome

Не подойдет для версий браузера, старее 26.0.1410.64. Откройте Chrome, введя ключ —user-agent=”впишите новую строку User-agent”. К примеру, если на вашем ПК установлен Windows, используйте сочетание клавиш Win+R и укажите в поле «Открыть» chrome –user-agent=”MyBrowser”. Для проверки значения, наберите about: в адресной строке.

Opera

Для тех, у кого версия Opera 12.15 и новее. В адресной строке напишите opera:config#UserPrefs|CustomUser-Agent, а затем в выделенном поле Custom User-Agent наберите новое значение для строки Юзерагент. Не забудьте сохранить изменения внизу страницы.

Safari

Для версий Safari 5.1.7 и новее. Перейдите в меню Разработка. Вызвать панель можно, кликнув Alt. Меню может быть отключено, а чтобы его включить, зайдите в Правка – Настройки – Дополнения, поставив отметку возле Показывать меню разработка в строке меню. Далее в меню перейдите в Разработка – Пользовательский агент. Тут уже есть список из некоторых юзерагентов, но если ни один из предложенных вам не нужен, нажмите Другой и напишите необходимую вам строку.

Internet Explorer

Способ актуален для версий от Internet Explorer 10 и новее. Нажмите клавишу F12 чтобы открыть Средства разработчика, там зайдите в меню Сервис – Изменить строку агента пользователя. Здесь тоже есть готовый список из нескольких строк User Agent, но если вам они не подходят, нажмите Особая и введите необходимую строку, после чего кликните Добавить, а затем выбрать из списка и Установить.

Огромный минус данного способа заключается в том, что после закрытия браузера он перестает работает и, как только браузер запустится по-новому, придется заново заходить в список и выбирать созданный user-agent.

Но есть альтернативный вариант. Исправьте строку Юзерагент в реестре. Так она будет работать и после закрытия веб-браузера. Но у данного метода тоже есть недостаток. Вы не сможете поменять строку на какую только пожелаете. Она содержит различные значения реестра, разделенные символом «;».

Для изменения значения относительно всех пользователей используйте:

Для одного пользователя:

Изначально здесь лишь один ключ По умолчанию или default. Создайте три параметра строк:

Изменения заработают после перезагрузки браузера. Например:

Как изменить User Agent на мобильных устройствах?

В большинстве смартфонов строка user agent изменяется посредством встроенных настроек браузера.

Стандартный браузер для Android

User-Agent меняется в настройках браузера. За это отвечает опция UAString. Хотя изначально данное меню скрыто. Напишите в адресной строке about:debuq и кликните Поиск, чтобы сделать опцию видимой.

Dolphin Browser

Способ работает для Dolphin Browser версии 11.4.2 и выше. Меняется строка в меню Настройки – Специальные – Персонализация – Пользовательский агент. Предлагаются варианты «Android», «iPad», «iPhone», «Пользовательский» и «Рабочий стол». В «Пользовательском» можно набрать свою строку User Agent.

Как изменить User Agent в PHP?

Подходит для версии PHP 5.6 и новее. Есть два способа изменения юзерагента в PHP:

1. В файле php.ini изменить параметр user_agent.
2. Применить stream_context_create в ходе выполнения скрипта.

Пример применения для file_get_contents:

Пример для Soap Client:

Списки и примеры строк User Agent

Desktop браузеры:

• Mozilla Firefox 36 (Win 8.1 x64): Mozilla/5.0 (Windows NT 6.3; WOW64; rv:36.0) Gecko/20100101 Firefox/36.0
• Google Chrome 53 (Win 10 x64): Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.116 Safari/537.36
• Google Chrome 40 (Win 8.1 x64): Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/40.0.2214.115 Safari/537.36
• Opera 40 (Win 10 x64): Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.101 Safari/537.36 OPR/40.0.2308.62
• Opera 12.17 (Win 8 x64): Opera/9.80 (Windows NT 6.2; WOW64) Presto/2.12.388 Version/12.17
• Apple Safari 5.1 (Win 8 x64): Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/534.57.2 (KHTML, like Gecko) Version/5.1.7 Safari/534.57.2
• Internet Explorer 11 (Win 10 x64): Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; .NET4.0C; .NET4.0E; rv:11.0) like Gecko
• Internet Explorer 11 (Win 8.1 x64): Mozilla/5.0 (Windows NT 6.3; WOW64; Trident/7.0; ASU2JS; rv:11.0) like Gecko
• Microsoft Edge (Win 10 x64): Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2486.0 Safari/537.36 Edge/13.10586

Мобильные браузеры:

• iPhone: Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25
• Android 2.3.5 (Philips W632): Mozilla/5.0 (Linux; U; Android 2.3.5; ru-ru; Philips W632 Build/GRJ90) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1

Планшеты:

iPad: Mozilla/5.0 (iPad; CPU OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25

Поисковые системы:

• Яндекс: Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)
• Google: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
• Bing: Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
• Yahoo! Slurp: Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
• Mail.ru: Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
• Sputnik: Mozilla/5.0 (compatible; SputnikBot/2.3; +http://corp.sputnik.ru/webmaster)

Роботы, боты, анализаторы:

• Ahrefs: Mozilla/5.0 (compatible; AhrefsBot/5.0; +http://ahrefs.com/robot/)
• Majestic: Mozilla/5.0 (compatible; MJ12bot/v1.4.5; http://www.majestic12.co.uk/bot.php?+)
• SMTBot: Mozilla/5.0 (compatible; SMTBot/1.0; +http://www.similartech.com/smtbot)
• linkdex: Mozilla/5.0 (compatible; linkdexbot/2.2; +http://www.linkdex.com/bots/)
• Exabot: Mozilla/5.0 (compatible; Exabot/3.0; +http://www.exabot.com/go/robot)
• StatOnline.ru: Mozilla/5.0 (compatible; StatOnlineRuBot/1.0)

Заключение

Благодаря User-Agent вы можете ограничивать ботам доступ к страницам своего ресурса, анализировать, с какого браузера/устройства/IP/Операционной системы был сделан запрос и подгонять свой веб-ресурс под различные браузеры, чтобы он отображался корректно для всех пользователей вне зависимости от того, с каких устройств они переходят.

Оцените эту статью. Чтобы мы могли делать лучший контент! Напишите в комментариях, что вам понравилось и не понравилось!

Рейтинг статьи: 4.5 / 5. Кол-во оценок: 23

Пока нет голосов! Будьте первым, кто оценит эту статью.