Linux мониторинг сетевой нагрузки

Мониторинг сервера — бесплатно или за деньги? Утилиты Linux и специализированные сервисы

Есть много полезных инструментов, которые помогают отслеживать нагрузку на сервер, начиная с утилит Linux и заканчивая специализированными службами.

Простые утилиты Linux показывают текущее потребление памяти для каждого процесса, нагрузку на CPU, свободное место на диске и статистику по трафику.

Кроме того, есть платные и бесплатные сервисы, которые круглосуточно отслеживают состояние вашего сервера, регистрируют сбои в его работе или в сетевой доступности, а также проверяют производительность приложений.

Содержание

Утилиты Linux

Использование ресурсов

Один из самых инструментов для проверки использования ресурсов процессами. Утилита top выдаёт простую таблицу с текущим потреблением ресурсов, где сверху указаны процессы с наибольшей нагрузкой.

Непосредственно перед таблицей приводится некоторая общая статистика, включая среднюю нагрузку на CPU за последнюю минуту, 5 минут и 15 минут. Также показано потребление памяти, файла подкачки и состояние процессов.

Список обновляется в реальном времени: можете вывести его на второй монитор и наблюдать постоянно.

Хотя утилита top поставляется почти с каждым дистрибутивом, в большинстве репозиториев также доступна для скачивания улучшенная версия htop .

Установка htop на Ubuntu:

Здесь мы видим почти такую же выдачу, но с подсветкой разными цветами и более интерактивную:

Верхняя часть здесь яснее и лучше организована.

Вот некоторые ключи для более эффективного использования htop :

• M: сортировка процессов по использованию памяти
• P: сортировка процессов по использованию CPU
• ?: справка
• k: прекратить текущие/помеченные процессы
• F2: настройка (здесь можно выбрать опции для отображения)
• /: поиск процессов

Ряд других опций перечислен в справке и настройках. Изучение программы стоит начать из этих двух разделов.

Сетевой трафик

nethogs

nethogs — самая простая утилита для просмотра, сколько трафика приходится на каждую службу. На Ubuntu утилита устанавливается следующей командой:

Затем её можно запустить без ключей. Выдача простая:

Есть всего несколько опций для изменения выдачи:

• m: переключение между kb/s, kb, b, mb
• r: сортировка по полученному трафику.
• s: сортировка по отправленному трафику
• q: выход

Хотя это простая утилита, но она отлично подходит для быстрого просмотра, какие приложения генерируют трафик.

IPTraf

IPTraf — ещё один способ мониторинга сетевого трафика, с большим количеством опций. Установка на Ubuntu:

Эта утилита предлагает выбрать один из интерактивных интерфейсов:

Например, для обзора всего сетевого трафика выбираем первый пункт меню:

Чтобы IP-адреса резолвились в домены, нужно в конфигурации выбрать пункт ‘Reverse DNS lookups’.

Вместе просмотром трафика по портам есть вариант просмотра трафика по сервисам (опция ‘TCP/UDP service names’). С обеими включёнными опциями выдача будет выглядеть примерно так:

Есть ещё несколько других интерфейсов, которые можете изучить самостоятельно.

netstat

Утилита netstat — очень гибкий и мощный инструмент для сбора сетевой информации.

По умолчанию netstat выдаёт список открытых сокетов:

Если добавить опцию -a , он покажет список всех портов:

Флаги -t или -u фильтруют TCP- или UDP-соединения, соответственно. Флаг -s выводит статистику. Для постоянного обновления выдачи нужно запускать команду с ключом -c .

Место на диске

Стандартная утилита для просмотра информации о смонтированных разделах — это df . Она выводит список подключенных устройств и информацию о занятом месте.

По умолчанию выдача в байтах, что не очень удобно. Параметр -h активирует выдачу в мегабайтах и гигабайтах:

Для просмотра всего места на всех дисках добавляем опцию —total .

Утилита df позволяет быстро получить общий обзор. Для более детальной информации лучше подходит программа du , которая анализирует текущую директорию и любые поддиректории. Выдача по умолчанию выглядит так:

Опять же, более удобная для восприятия выдача включается ключом -h .

Просмотр размеров файлов и директорий включается флагом -a , общий итог — флагами -c (подробности и сумма) и -s (только сумма).

Улучшенные версии

Улучшенные версии df и du называются pydf и ncdu, на Ubuntu они устанавливаются командами apt-get install pydf и apt-get install ncdu . Они организуют красивую выдачу в псевдографике с расцветкой:

Здесь можно перемещаться по файловой системе клавишами со стрелками.

Использование памяти

Самый простой способ просмотра текущего использования оперативной памяти — команда free . Выдача без опций выглядит таким образом:

Запуск с ключом -m генерирует выдачу в мегабайтах.

Средняя строка -/+ buffers/cache показывает значение используемой памяти минус сумма буферов/кэша, а также количество свободной памяти плюс сумма буферов/кэша.

Дело в том, что Linux как большинство современных ОС пытается использовать максимальный объём доступной оперативной памяти под буферы и кэш. Поэтому имеет значение вторая строка, которая показывает реальный объём потенциально доступной оперативной памяти для приложений, если игнорировать буферы и кэш. Этот объём будет освобождён автоматически, если он понадобится для приложений.

vmstat

Команда vmstat выводит различную информацию о системе, включая память, файл подкачки, операции ввода-вывода и нагрузку на CPU.

В первой колонке r указано количество активных процессов, во второй — количество процессов в состоянии непрерываемого ожидания.

Колонки si и so показывают объём памяти, которая считывается из файла подкачки и записывается в него, соответственно.

Далее показано количество блоков, которые получены или отправлены на устройство блочного ввода вывода (bi, bo), количество прерываний в секунду, включая таймер (in), количество переключений контекста в секунду (cs) и статистика по CPU: процент времени, затраченного на обработку кода в пользовательском пространстве (us), на обработку кода ядра (sy), в спящем состоянии (id) и ожидании ввода-вывода (wa), а также времени, «украденного» у виртуальной машины (st), то есть когда виртуальный CPU ожидает действия реального CPU, когда гипервизор обслуживает другой виртуальный процессор.

Флаг -S M активирует выдачу в мегабайтах. Запуск с опцией -s показывает общую статистику.

Сервисы мониторинга

Если вам необходимо круглосуточно отслеживать состояние сервера (память, CPU, свободное место, производительность, время отклика и проч.), то можно воспользоваться бесплатным или платным сервисом мониторинга. Таких сервисов много, вот небольшой список в алфавитном порядке:

Для примера, рассмотрим три относительно популярных сервиса для мониторинга.

SolarWinds Server and Application Monitor

Один из самых продвинутых серверных мониторов на рынке — SolarWinds Server and Application Monitor (SAM). Хотя инструмент устанавливается только на Windows Server 2016+, но может отслеживать любое оборудование, в том числе Linux-серверы.

Монитор отслеживает производительность сервера, сообщает о проблемах, а также предоставляет некоторые возможности по управлению: позволяет перезапускать сервер, снимать процессы и перезапускать службы, то есть это инструмент не только для мониторинга, но и для администрирования.

Программа лучше подходит для крупных корпораций. Заявлена совместимость с серверами Dell PowerEdge, HP ProLiant, IBM eServer xSeries, Dell PowerEdge Blade, HP BladeSystem, Microsoft Windows Server и VMware vSphere. В то же время SAM мониторит и облачные инстансы AWS и Azure.

Он показывает статистику по времени отклика, загрузке CPU, памяти и др. Отслеживается производительность отдельных приложений: встроена поддержка более 1200 разных приложений. Также проверяется состояние оборудования: использование CPU, нагрузка на диски, энергопитание, статус вентиляторов и т. д. Статусы кодируются цветом от зелёного до красного, чтобы было легко оценить здоровье системы с первого взгляда.

Монитор автоматически определяет новое оборудование и программное обеспечение в вашем кластере, сразу добавляя его на панель мониторинга. Это одна из ключевых особенностей SAM, также как максимальная автоматизация — подготовленные шаблоны для автоматизации регулярных задач по мониторингу и обслуживанию, заготовки для отчётов и уведомлений.

Обычно у таких сервисов имеется бесплатный пробный период, а стоимость может зависеть от набора используемой функциональности. Здесь тоже есть пробный период, а стоимость SolarWinds Server and Application Monitor начинается от 1275 евро в минимальной функциональности.

Navicat Monitor

Другой пример — Navicat Monitor, который специализируется на мониторинге баз данных. Он поддерживает MySQL, MariaDB, SQL Server, а также облачные СУБД, такие как Amazon RDS, Amazon Aurora, Oracle Cloud, Google Cloud и Microsoft Azure.

Стандартный вид

Компактный вид

Монитор отслеживает время выполнения конкретных запросов, запуская их с заданным интервалом.

Кроме запросов к БД, периодически отправляются и другие запросы к серверам для мониторинга показателей производительности системы ввода-вывода, сети и проч. Собирается статистика по использованию CPU, загрузке памяти и другие стандартные метрики.

Архитектура Navicat Monitor не предусматривает установку программного обеспечения на объекты мониторинга

Минимальная цена Navicat Monitor — $32,99 за один токен в месяц (один токен соответствует мониторингу одного сервера или четырёх баз Azure). Есть полнофункциональная пробная версия на 14 дней.

Zabbix

Zabbix — это бесплатный опенсорсный инструмент, который отслеживает состояние сети, приложений и самого сервера. Поставляется с готовыми шаблонами для мониторинга популярных серверов и ОС, включая HP, IBM, Lenovo, Dell, Linux-серверы, Ubuntu и Solaris. За годы существования Zabbix сообщество подготовило шаблоны для различных сценариев.

Ключевые модули Zabbix следят за нагрузкой CPU, использованием памяти, уровнем ошибок ввода-вывода, свободным местом на диске, статусе вентиляторов, температурой и характеристиками системы питания. Сетевой модуль проверяет трафик, доступность сети, уровень потерь пакетов, качество TCP-соединений и пропускную способность маршрутизаторов.

Zabbix ведёт список установленного программного обеспечения и версий прошивок, чтобы сигнализировать о несанкционированной установке ПО.

Системный администратор может запрограммировать в Zabbix уведомления по произвольным условиям, а также изменить важность действующих уведомлений. На панели управления можно добавить пользователей — и направлять каждому из них определённые типы уведомлений, а скрипты автоматизации позволяют автоматически заводить задачи и присваивать их сотрудникам.

Благодаря функции удалённого доступа и управления Zabbix можно назвать хорошим инструментом администрирования сервера.

Единственный недостаток этой системы — если вы для мониторинга добавлено около 1000 серверов или более, то из-за большого количества сообщений и процедур шифрования Zabbix начинает медленно реагировать на команды, так что для очень больших компаний этот инструмент не слишком подходит

Системы серверного мониторинга отличаются по функциональности. Не все могут следить за работоспособностью отдельных приложений, производительностью сервера и временем отклика. Но эти недостатки можно исправить с помощью дополнительных инструментов: например, систем аналитики и мониторинга логов.

Надёжный сервер в аренду и правильный выбор тарифного плана позволят меньше отвлекаться на неприятные уведомления мониторинга — всё будет работать без сбоев и с очень высоким uptime!

Источник

Мониторинг сети Linux

В этой статье мы поговорим про некоторые инструменты командной строки Linux, которые можно использовать для мониторинга использования сети. Мониторинг сети Linux осуществляется множеством способов. Эти инструменты контролируют трафик, проходящий через сетевые интерфейсы, и измеряют скорость, с которой в настоящее время передаются данные. Входящий и исходящий трафик отображается отдельно.

В некоторых командах показана пропускная способность, используемая отдельными процессами. Это упрощает обнаружение процесса, который перегружает пропускную способность сети.

Инструменты имеют разные механизмы формирования отчета о трафике. Некоторые из инструментов, таких как nload, читают файл «/ proc / net / dev» для получения статистики трафика, тогда как некоторые инструменты используют библиотеку pcap для захвата всех пакетов, а затем вычисляют общий размер для оценки нагрузки трафика.

Мониторинг сети Linux

Ниже приведен список команд, отсортированных по их функциям.

1. Общая пропускная способность — nload, bmon, slurm, bwm-ng, cbm, спидометр, netload
2. Общая пропускная способность (выход пакетного стиля) — vnstat, ifstat, dstat, collectl
3. Ширина полосы пропускания для каждого сокета — iftop, iptraf, tcptrack, pktstat, netwatch, trafshow
4. Пропускная способность для каждого процесса — nethogs

Nload

Nload — это инструмент командной строки, который позволяет пользователям контролировать входящий и исходящий трафик отдельно. Он также выводит график, указывающий то же самое, масштаб которого можно отрегулировать. Прост в использовании и не поддерживает множество опций.

Поэтому, если вам просто нужно быстро взглянуть на использование общей пропускной способности без подробностей отдельных процессов, то достаточно будет ввести nload в терминал.

Чтобы выйти мониторинга сети, достаточно нажать клавишу Q

Установить nload в Debian или Ubuntu можно из репозиториев по-умолчанию:

Пользователи CentOS или Fedora могут установить nload командой:

Если в CentOS при установке возникли проблемы, то скорее всего вам нужно подключить epel

А затем ввести команду установки nload заново.

iftop

Мониторинг сети Linux является довольно легким в освоении. Для этого существует огромное количество вариантов. Вы можете выбрать самый удобный для вас. Iftop измеряет данные, проходящие через отдельные соединения сокетов, и работает таким образом, который отличается от Nload. Iftop использует библиотеку pcap для захвата пакетов, перемещающихся в и из сетевого адаптера, а затем суммирует размер и количество, чтобы найти общую используемую ширину полосы пропускания.

Несмотря на то, что iftop сообщает пропускную способность, используемую отдельными соединениями, он не может сообщить имя / идентификатор процесса, участвующего в конкретном подключении сокета. Но, основываясь на библиотеке pcap, iftop может фильтровать трафик и использовать пропускную способность для передачи по выбранным узловым соединениям, как это определено фильтром.

Опция n не позволяет iptop отыскивать IP-адреса на имя хоста, что вызывает дополнительный сетевой трафик.

Установить iftop в Debian или Ubuntu можно из репозиториев по-умолчанию.

Пользователи CentOS или Fedora могут установить iftop командой:

Если в CentOS при установке возникли проблемы, то скорее всего вам нужно подключить Epel

А затем ввести команду установки iftop заново.

iptraf

Iptraf — это интерактивный и красочный монитор IP Lan. Он показывает индивидуальные соединения и объем данных, передаваемых между хостами. Вот скриншот

Установка iptraf в Ubuntu или Debian:

Установка iptraf в CentOS или Fedora

Если в CentOS при установке возникли проблемы, то скорее всего вам нужно подключить epel

А затем ввести команду установки iptraf заново.

Nethogs

Nethogs — это небольшой инструмент «net top», который показывает пропускную способность, используемую отдельными процессами, и сортирует список, в котором самые интенсивные процессы находятся сверху. В случае внезапного скачка полосы пропускания быстро открывайте nethogs и найдите ответственный за процесс. Nethogs сообщает PID, пользователя и путь программы.

Установка nethogs в Ubuntu или Debian:

Установка nethogs в CentOS или Fedora

Если в CentOS при установке возникли проблемы, то скорее всего вам нужно подключить epel

А затем ввести команду установки nethogs заново.

Bmon (Bandwidth Monitor) — это инструмент, аналогичный nload, который показывает нагрузку на трафик по всем сетевым интерфейсам в системе. Вывод также состоит из графика и раздела с деталями уровня пакета. Bmon поддерживает множество опций и способен создавать отчеты в формате html.

Монитор сети bmon linux

Установка bmon в Ubuntu или Debian:

Установка bmon в Fedora

Slurm

Slurm является еще одним монитором сетевой нагрузки, который показывает статистику устройства вместе с графиком ascii. Он поддерживает 3 разных стиля графиков, каждый из которых может быть активирован с помощью клавиш c, s и l. Простой в функциях, slurm не отображает никаких дополнительных сведений о сетевой нагрузке.

Установить slurm в Debian или Ubuntu

Установить slurm в Fedora или CentOS

Tcptrack

Tcptrack похож на iftop и использует библиотеку pcap для захвата пакетов и вычисления различной статистики, такой как пропускная способность, используемая в каждом соединении. Он также поддерживает стандартные фильтры pcap, которые можно использовать для контроля определенных соединений.

Установка tcptrack в Ubuntu или Debian:

Установка tcptrack в Fedora

Vnstat

Vnstat немного отличается от большинства других инструментов где Мониторинг сети Linux является основой. На самом деле он запускает фоновый сервис / daemon и постоянно фиксирует размер передачи данных. Кроме того, его можно использовать для создания отчета об истории использования сети.

Запуск vnstat без каких-либо параметров просто покажет общий объем передачи данных, который произошел с момента запуска демона.

Чтобы отслеживать использование полосы пропускания в реальном времени, используйте параметр «-l» (режим «вживую»). Затем она покажет общую пропускную способность, используемую входящими и исходящими данными, но очень точным образом, без каких-либо внутренних сведений о хостах или процессах.

Vnstat больше походит на инструмент для получения исторических отчетов о том, как много трафика используется каждый день или в течение последнего месяца. Это не строго инструмент для мониторинга сети в реальном времени.

Vnstat поддерживает множество опций, подробности о которых можно найти на странице руководства.

Установить vnstat в Debian или Ubuntu

Установить vnstat в Fedora или CentOS

Если в CentOS при установке возникли проблемы, то скорее всего вам нужно подключить epel

А затем ввести команду установки vnstat заново.

bwm-ng

Bwm-ng (Bandwidth Monitor Next Generation) является еще одним очень простым монитором сетевой нагрузки в режиме реального времени, который сообщает сводную информацию о скорости передачи данных и из всех доступных сетевых интерфейсов в системе.

Если размер консоли достаточно велик, bwm-ng также может отображать гистограммы для трафика, используя режим вывода curses2.

Установка bwm-ng в Ubuntu или Debian

Установка bwm-ng в Fedora или CentOS

Если в CentOS при установке возникли проблемы, то скорее всего вам нужно подключить epel

А затем ввести команду установки bwm-ng заново.

Небольшой простой монитор пропускной способности, отображающий объем трафика через сетевые интерфейсы. Нет дополнительных параметров, просто статистика трафика отображается и обновляется в реальном времени.

Установка cbm в Ubuntu или Debian

Установка cbm в Fedora или CentOS

Если в CentOS при установке возникли проблемы, то скорее всего вам нужно подключить epel

А затем ввести команду установки cbm заново.

speedometer

Еще один маленький и простой инструмент, который мы должны были добавить в статью про Мониторинг сети Linux, который просто рисует красиво выглядящие графики входящего и исходящего трафика через данный интерфейс.

Установка speedometer в Ubuntu или Debian

Pktstat

Pktstat отображает все активные соединения в реальном времени и скорость, с которой данные передаются через них. Он также отображает тип соединения, т. Е. Tcp или udp, а также информацию о HTTP-запросах, если они задействованы.

Установка speedometer в Ubuntu или Debian

Netwatch

Netwatch является частью коллекции инструментов netdiag, и она также отображает соединения между локальным хостом и другими удаленными узлами и скорость передачи данных по каждому соединению.

Установка netwatch в Ubuntu или Debian (является частью netdiag)

Trafshow

Как и netwatch и pktstat, trafshow сообщает о текущих активных соединениях, их протоколе и скорости передачи данных в каждом соединении. Он может отфильтровывать соединения, используя фильтры типа pcap.

Кстати, если говорить про Мониторинг сети Linux то здесь можно отметить также и этот способ. Trafshow является таким же удобным как и его аналоги.

Мониторинг только соединений TCP

Установка trafshow в Ubuntu или Debian (является частью netdiag)

Установка trafshow в Fedora или Centos

Если в CentOS при установке возникли проблемы, то скорее всего вам нужно подключить epel

А затем ввести команду установки trafshow заново.

Netload

Команда netload просто отображает небольшой отчет о текущей нагрузке на трафик и общее количество байтов, переданных с момента запуска программы. Нет больше функций. Его часть netdiag.

Установка netload в Ubuntu или Debian (является частью netdiag)

ifstat

Ifstat сообщает о пропускной способности сети в режиме пакетного стиля. Выходной файл находится в формате, который легко регистрируется и анализируется с помощью других программ или утилит.

Установка ifstat в Ubuntu или Debian

Установка ifstat в Fedora

Установка ifstat в CentOS. Необходимо сначала подключить RepoForge. Инструкцию можно увидеть здесь. Затем ввести:

dstat

Dstat — это универсальный инструмент (написанный на python), который может отслеживать различные системные статистики и сообщать о них в режиме пакетного стиля или записывать данные в файл csv или аналогичный файл. В этом примере показано, как использовать dstat для передачи информации о пропускной способности сети

Установка dstat в Ubuntu или Debian

collectl

Collectl сообщает системную статистику в стиле, подобном dstat, и, подобно dstat, собирает статистику о различных различных системных ресурсах, таких как процессор, память, сеть и т. Д. Ниже приведен простой пример того, как использовать его для отчета об использовании сети / пропускной способности .

Установка collectl в Ubuntu или Debian

Установка collectl в Fedora

Выводы

Как и говорили вначале, мы рассказали про несколько удобных команд, для того чтобы быстро проверить пропускную способность сети на вашем Linux-сервере. Однако им нужно, чтобы пользователь заходил на удаленный сервер через ssh. В качестве альтернативы для одной и той же задачи можно использовать веб-инструменты мониторинга.

Ntop и Darkstat — это одни из основных сетевых средств мониторинга сети, доступных для Linux. Помимо этого, инструменты мониторинга уровня предприятия, такие как Nagios, предоставляют множество функций, позволяющих не только контролировать сервер, но и всю инфраструктуру.

Если у вас остались какие-то вопросы по теме «Мониторинг сети Linux» то, пишите нам про них в форму комментариев на сайте. Спасибо за визит!

Если вы нашли ошибку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter.

Источник