Нагрузка на диски в Linux

Для измерения текущей нагрузки на диски (что происходит, кто куда копирует и прочее) в Linux можно использовать iotop (и здесь же lsof) и iostat. А для тестирования возможностей дисковой системы fio. Несмотря на то, что первое, о чем можно подумать в плане попугаев — это IOPS или же Мб/сек за чтение или запись, обратите внимание на время ожидания. Примерно как если бы вы стояли в очереди в кассу: вас обслужили бы за 2 минуты, но очередь может быть минут на 30. И со стороны наблюдателя ваш процесс обслуживания будет «висеть». Именно так могут ощущать себя клиенты сервера, если время ожидания будет намного превышать время выполнения конкретной задачи. Поэтому определение длинной очереди и задержек часто бывает более важным, чем знать, что ваш диск «вау, может писать 400 Мбит/с». Нагрузка на диск может оказаться в 4000 Мбит/с в течение длительных периодов времени и все это время клиенты сервера будут недовольны.

Я здесь пишу свой опыт, со своим видением и трактовкой. Пожалуйста, учитывайте это.

IOTOP

Посмотреть, какие процессы в настоящее время создают нагрузку на диск удобно смотреть командой iotop:

Здесь видно, что в данный момент mc что-то пишет (а в это время в другом окне я в самом деле копировал кучу файлов на usb-диск в Midnight Commander (он же mc).

Понять, что коипрует mc в данный момент можно узнать командой:

IOSTAT

Пример вывода iostat на незагруженной в данный момент старенькой системе из двух SATA HDD в soft raid 1 (зеркало) mdadm:

Команда выглядела так:

-x — расширенная статистика

-t — выводить время для каждой порции замеров

-m — результаты в Мбайт

5 — интервал замеров 5 секунд.

Если нужны не история, а динамика процесса, попробуйте так:

watch iostat -x -t -m 1 2

В этом выводе r/s и w/s это отправленные к устройству запросы на выполнение (IOPS, которые хотелось бы, чтобы устройство выполнило).

await — время, включающее ожидание выполнения запроса (как если бы вы встали в очередь в кассу и ждали бы, пока вас обслужат).

svctm — время, реально затраченное на выполнение запроса (время «на самой кассе»).

Для обычных SATA дисков нагрузка IOPS где-то до 100-130 вполне выполнимая. В момент проведения замеров запрошенная нагрузка была 40 IOPS, поэтому запрос практически в очереди и не стоял, его обслужили почти сразу (на «кассе» никого не было). Поэтому await практически равен svctm.

Другое дело, когда нагрузка на диск вырастает:

%iowait — простой процессора (время в процентах) от или процессоров, в то время пока обрабатывались запросы. Т.е. в среднем процессор отдыхал почти 50% времени.

%user — загруженность процессора пользовательскими приложениями. По этому параметру видно, например, что в данный период процессор был почти не занят. Это важно, т.к. может помочь отсечь подозрения в тормозах из-за процессора.

Замер сделан во время переноса большого количества писем из одной папки IMAP в другую. Особо обратите внимание на await и svctm. Налицо длинная очередь (отношение await к svctm). Дисковая система (или чипсет, или медленный контроллер SATA, или. ) не справляется с запрошенной нагрузкой (w/s).. Для пользователей в этот момент все выглядело просто — сервер тупит или даже завис.

Заранее проверить производительность дисков можно с помощью fio. Также можно примерно оценить на одной машине производительность дисков и понимать, какой уровень «в среднем по больнице» вы можете ожидать. Это, конечно же, не правильно, но оценить все же поможет. Глубже анализировать результаты, а, главное, методики тестов мне пока трудно.

# yum install fio

# apt-get install fio

В общем виде запуск выглядит так:

Файл your.cfg (название произвольное) может быть примерно таким (пример рабочего конфига для теста на чтение):

Буферизацию не используем (buffered=0), чтение не последовательное (rw=randread).

Во время выполнения этого теста (а выполняться тест может доооолго, надоест — Ctrl+C, результаты все равно будут) можно запустить iostat и посмотреть, что происходит:

Обратите внимание на отношение await к svctm: await/svctm = 32,11..11, т.е. можно считать 32. Это и есть iodepth из конфига your.cfg. Теперь проще понять смысл iodepth — мы указываем, насколько хотим в тесте имитировать длинную очередь заданий.

Я не стал ждать два дня, Ctrl+C и вот результат:

Получили 109 iops, что в принципе нормально, диск обычный, SATA.

Источник

6 приложений для анализа жесткого диска в Linux

Командная строка

Если вы истинный линуксоид, самый легкий и быстрый способ – использовать команду «df» в командной строке. Просто напечатать:

в терминале, и он покажет вам загрузку жесткого диска в процентах

Как видно из представленного выше скриншота, способ может служить лишь в качестве быстрого просмотра доступного места на диске и определенно не является самым удобным для проведения анализа жесткого диска.

Baobab

Большинство линукс-дистрибутивов с Gnome(в частности Убунту), используют Baobab в качестве дефолтного приложения для просмотра диска.Это замечательное приложение, способное до последней папки разделить и проанализировать структуру хранения данных на жестком диске. Просто укажите папки необходимые для сканирования, и в результате получите круговую диаграмму, отражающую количество занимаемого места каждым файлом.

KDirStat и GdMap

Если вы использовали WinDirStat в Windows, то согласитесь, что это очень удобное приложение, позволяющее анализировать и оптимизировать ваше дисковое пространство. Однако мало людей знают, что WinDirStat это на самом деле клон KDirStat. KDirStat обладает той же функциональностью что и WinDirStat (или может быть наоборот), за исключением того, что он предназначен для использования в Linux. Несмотря на то, что KDirStat разрабатывался для KDE, он также совместим с любым оконным менеджером X11.

KDirStat отображает ваши папки/файлы в виде прямоугольников. Чем больше размер файла, тем больше прямоугольник. Это позволяет вам быстро просмотреть файловую систему, и легко определить какая папка/файл занимают много места на жестком диске.

Gd Map это эквивалент KDirStat для Gnome, кроме того что он не отображает древовидную структуру папок, и не позволяет очищать жесткий диск.

Filelight

Подобно Baobab, Filelight, создает интерактивную карту концентрических, сегментированных колец, помогающих визуализировать использование диска на вашем компьютере.Вы легко можете приблизить нужные папки, путем клика на соответствующем сегменте колец.

Philesight

Philesight это реализация Filelight в качестве веб-приложения, может быть запущена на удаленном сервере, не имеющим графического интерфейса. Philesight использует командную строку для генерации PNG-файлов в браузере и включает CGI-скрипты для навигации по файловой системе. Одна из ее особенностей, красочная радуга концентрических колец, что делает ее весьма приятной на вид.

xdiskusage

xdiskusage маленькая программка, отображающая файловую систему иерархически, слева направо, прямоугольными фигурами, с размерами, соответствующими размеру файлов. Если вы сканируете домашнюю папку, слева будет находится прямоугольник, отображающий полностью папку home, а справа все файлы, находящиеся внутри нее.
Вы легко можете приближать/удалять, нужные папки, по двойному щелчку на соответствующем прямоугольнике.

Источник

Выполняю установку, настройку, сопровождение серверов. Для уточнения деталей используйте форму обратной связи

Иногда бывают ситуации, когда в top’e вроде бы всё нормально, но сервер всё равно тормозит. Тогда нужно обратить внимание на нагрузки дисковой подсистемы. В статье мы рассмотрим варианты для Unix систем: FreBSD, OpenBSD, Linux, Solaris.

FreeBSD

Во FreeBSD есть штатная утилита gstat, при запуске которой без параметров мы увидим текущую нагрузку на диски.

Как видно из примера, очень большая нагрузка на диск ad4.

Так же можно смотреть и через iostat (пример из другой ОС):

А ещё можно использовать команду systat -iostat:

А что-бы определить процесс, который нагружает диски, выполним такую команду:

#top -m io -o total

OpenBSD

Для OpenBSD есть штатная утилита iostat, которая показывает нагрузку на диски+CPU usage. При обычном запуске она показывает не больше 4 дисков, но если нужно больше, то указываем все нужные диски.

Linux

Для Linux есть аналог утилиты gstat — iostat. В Debian/Ubuntu она находится в пакете sysstat.

Здесь мы поставили автообновление каждую секунду. Хочу обратить внимание на то, что первые пару выводов во внимание не брать, так как в первом выводе отображается информация из кеша, а не реальные показатели. Как видим, диски здесь не нагружены

Для определения процесса, который нагружает диски, есть утилита iotop, правда её нужно ставить отдельно.

Solaris

Для solaris существует 3 метода: zpool iostat, утилита iostat, fsstat. Единственный недостаток, это то, что мы не сможем отображать статистику отдельно по каждой из zfs, а только можем отдельно по каждому диску:

Здесь как и в случае с Linux не учитываем первый вывод. Как видим, диски простаивают (значение столбца %b — busy).

Общую картину можно так же посмотреть через fsstat:

Очень удобно просматривать информацию по конкретной zfs:

Смотрим нагрузку на диски : 5 комментариев

Программа ‘gstat’ на данный момент не установлена. Вы можете установить ее, напечатав:
apt-get install ganglia-monitor

Это не тот gstat, которым смотрят диски — просто названия одинаковые.

FreeBSD
top -m io -o total

ога ))
по моему то чё он предлагает имеет отношение к sql

если zfs на фре то «zpool iostat -vl 1» надо юзать без l
zpool iostat -v 1

Источник

Linux что загружает диск

Статистику по операциям ввода-вывода для дисков можно посмотреть при помощи команд iostat и pidstat. Это поможет понять какие процессы создают набольшую нагрузку на диск в Linux.

Для работы с этими утилитами придется установить дополнительные пакеты. Инструкция по установка:
1) Debian\Ubuntu:

Команда iostat

Просмотр общей статистики ввода-вывода по дискам можно осуществить командой:

Пример вывода команды:

Важными столбцами являются:

• r/s Число операций чтения с диска в секунду
• w/s Число операций записи на диск в секунду
• rkB/s Число прочитанных килобайт за секунду
• wkB/s Число записанных килобайт за секунду

Команда pidstat

Просмотр статистики в разрезе процессов можно посмотреть в интерактивном режиме при помощи команды:

Пример вывода команды:

Важными столбцами являются:

• UID Идентификатор пользователя, от имени которого работает процесс
• PID Идентификатор процесса
• kB_rd/s Скорость в килобайтах в секунду, с которой процесс читает с диска
• kB_wr/s Скорость в килобайтах в секунду, с которой процесс записывает на диск

Источник

Инструменты для мониторинга активности диска в Linux

Главное меню » Linux » Инструменты для мониторинга активности диска в Linux

• Дисковое пространство (использование): этот параметр показывает объем пространства, занятого текущим выбранным диском.
• Дисковое пространство (свободное): этот параметр показывает объем незанятого пространства на текущем выбранном диске.
• Активность чтения с диска: показывает процент времени, затраченного диском на выполнение запросов на чтение.
• Операция записи на диск: показывает процент времени, затраченного диском на выполнение запросов на запись.

Это лишь некоторые из параметров, по которым измеряется активность диска. Есть еще несколько параметров, которые нам не нужно обсуждать на данном этапе.

Чтобы измерить, как работают жесткие диски нашей системы, нам нужны инструменты для количественного анализа дисковой активности.

Инструменты для мониторинга активности диска в Linux

Ниже приведены некоторые инструменты, которые мы собираемся подробно обсудить, об их использовании, шаг за шагом по установке:

IOSTAT

IOSTAT означает «Статистика ввода-вывода». Это один из самых популярных инструментов среди разработчиков и компьютерных фанатов. Они используют его для проверки всех операций ввода-вывода, которые выполняются конкретным диском, подключенным к нашей системе. Этот инструмент также отслеживает среднее время работы диска для обработки входных и выходных операций чтения, подключенных к периферийным устройствам.

Команды, используемые IOSTAT, могут создавать подробный отчет, который в дальнейшем может быть использован для изменения конфигурации системы. Пользователям может быть полезно оптимизировать использование системного диска и его производительность. Этот инструмент обычно дает анализ использования ЦП и устройства отдельно.

Как установить IOSTAT в Linux

Sysstat – это пакет, содержащий инструмент IOSTAT. Итак, мы можем установить этот инструмент напрямую из этого пакета. В Ubuntu мы можем запустить следующую команду, чтобы продолжить установку:

Выполнение команд IOSTAT для анализа производительности диска

Существует множество команд, которые запускают различные функции инструмента IOSTAT. Ниже приведены наиболее часто используемые команды:

• iostat: Используя эту команду, мы можем получить список всех параметров и текущие показания различных параметров, описанных выше.
• iostat -d: эта команда показывает статистику, относящуюся ко всем устройствам ввода/вывода.
• iostat -p: эта команда показывает статистику, относящуюся ко всем устройствам ввода/вывода и показаниям параметров.
• iostat -x: эта команда возвращает подробный анализ операций ввода/вывода, выполняемых всеми устройствами.
• iostat -d: эта команда показывает статистику, относящуюся к определенному устройству.
• iostat -m: эта команда показывает статистику в МБ всех жестких дисков в системе.
• nfsiostat: эта команда позволяет пользователям анализировать использование диска NFS (файловая система сети).

IOTOP

IOTOP – это инструмент для мониторинга активности диска на базе ОС Linux. Он дает анализ в реальном времени и использование диска операционной системой. Он получает доступ ко всей информации, связанной с использованием диска, напрямую из ядра Linux. Это делает систему более надежной с точки зрения точности, поскольку все извлекаемые данные будут в реальном времени.

Он основан на многопоточной модели. Он предоставляет информацию о каждом потоке, участвующем в операциях ввода-вывода, а также об их использовании полосы пропускания.

Как установить IOTOP в Linux

Мы можем использовать пакеты дистрибутива Linux для установки этого инструмента в нашей системе. Следующая команда помогает нам сделать то же самое в операционной системе Linux:

Выполнение команд IOTOP для анализа производительности диска

В инструменте IOTOP присутствует несколько команд для анализа активности диска с другой точки зрения. Ниже приведены несколько наиболее часто используемых команд:

• iotop: эта команда показывает чтение всех дисков вместе со всеми параметрами, описанными выше.
• iotop–only: эта команда позволяет нам проверять только те, которые используют дисковые операции ввода-вывода.

DSTAT

DSTAT – это эффективный, гибкий и надежный инструмент для создания статистики ресурсов ОС Linux, который можно использовать вместо всех предыдущих инструментов. Ниже приведены некоторые из общих функций, предлагаемых инструментом Dstat:

• Он генерирует совокупные результаты после объединения инструментов iostat, vmstat, mpstat и netstat.
• Он генерирует статистику в реальном времени.
• Он хорошо масштабируется.
• Он показывает прерывания, генерируемые каждым устройством.
• Дает точные результаты даже тогда, когда система сильно перегружена процессами.
• Это позволяет пользователям экспортировать сгенерированные результаты в файл формата .csv.

Как установить DSTAT в Linux

Вы можете установить его, выполнив тот же процесс. Он доступен в дистрибутиве Linux. Пакеты. Итак, для продолжения установки из командной строки можно выполнить следующую команду:

Выполнение команд DSTAT для анализа производительности диска

В инструменте DSTAT есть несколько команд для анализа активности диска с другой точки зрения. Ниже приведены несколько наиболее часто используемых команд:

dstat: эта команда показывает чтение всех дисков и все параметры, описанные выше, такие как общее количество отправленных, полученных байтов, время ожидания, время простоя, время чтения/записи, статистика диска и т. д.

dstat –vmstat: эта команда производит вывод, содержащий данные, относящиеся к процессам и статистике памяти.

dstat -c –top-cpu -dn –top-mem: эта команда состоит из различных подкоманд . Вот они:

• -c: дает подробную информацию об использовании ЦП.
• –Top-cpu: показывает имя процесса, использующего наибольший процент использования ЦП.
• -dn: показывает состояние сети и дисков системы.
• –Top-mem: показывает имя процесса, занимающего наибольший процент памяти.

Таким образом, DSTAT предлагает множество других команд, которые могут быть выполнены для извлечения данных, связанных с производительностью диска и сети, и их подробного анализа.

ATOP особенно полезен, когда есть необходимость проанализировать изменения на системном уровне. Он выполняет фантастическую работу по информированию об улучшениях с течением времени. Он может составлять таблицы всех процессов, которые вызвали любые изменения на уровне системы (например, выполнение ввода-вывода диска) в течение определенного периода, в отличие от других – эта функция предоставляется только ATOP.

Это альтернативный инструмент, который можно использовать для анализа дисковых ресурсов. Он также может анализировать серверы на базе Linux, параметры, связанные с сетью, и т. д. Использование этого инструмента дает несколько преимуществ, помимо того, что мы обсуждали выше, и вот некоторые из них:

• Мы можем видеть использование ресурсов процессами, которые были закрыты задолго до этого.
• Он отслеживает все активные потоки в многопоточных приложениях и оставляет остальные, которые являются неактивными.
• Он выделяет те ресурсы, которые используют ресурсы на критическом уровне, что обеспечивает высокий уровень взаимодействия с пользователем.

Как установить ATOP в Linux

Atop можно установить в операционных системах на основе Ubuntu, выполнив следующую команду. Эта команда извлекает пакет из репозитория Linux по умолчанию.

Выполнение команд ATOP для анализа производительности диска

Ниже перечислены некоторые из команд, предлагаемых инструментом поверх, с помощью которых пользователи могут выполнять различные наборы действий для анализа использования диска своей системы и связанной с этим пропускной способности сети:

• atop -m: эта команда показывает потребление памяти всеми активными процессами.
• atop -V: отображает установленную поверх версии.
• atop -a: эта команда показывает текущий статус всех активных процессов.
• atop -s: эта команда отображает всю информацию, связанную с планированием задач.
• atop -d: отображает информацию, относящуюся к потреблению данных во время операций ввода/вывода диска.
• atop -v: отображает такую ​​информацию, как userId, rgid, processId и т. д.
• atop -y: отображает информацию обо всех текущих потоках в активных процессах.
• atop -C: перечисляет все процессы в отсортированном порядке по уровню потребления ЦП.

IOPING

IOPING – это своего рода инструмент, который предлагает разные функции. Этот инструмент специально используется для анализа задержки диска, то есть того, сколько времени требуется конкретному диску, чтобы ответить на конкретный запрос чтения-записи.

Как установить IOPING в Linux

Чтобы установить IOPING в операционных системах Linux, мы можем выполнить следующую команду терминала:

Выполнение команд IOPING для анализа производительности диска

Ниже перечислены некоторые команды инструмента IOPING, с помощью которых пользователи могут проверять проблемы, связанные с задержкой, и легко их устранять.

• ioping -c count: представляет количество отсчетов, после которых инструмент останавливается.
• ioping -i interval: ограничивает время между интервалом запрошенной временной меткой.
• ioping -l speed: ограничивает скорость передачи данных в байтах/сек.
• ioping -t time: некоторые процессы игнорируются из-за очень небольшого времени запроса. Итак, чтобы этого избежать, мы можем установить время запроса.
• ioping -w deadline: инструмент останавливается по истечении интервала времени, установленного с помощью этой команды.
• ioping -D: указывает системе выполнять запросы на чтение/запись.
• ioping -R: проверяет скорость, с которой диск ищет данные.
• ioping -c 20 -s 1M/temp1: Эта команда дает количественный отчет по/temp1, передавая 21 запрос размером 1 МБ каждый.
• ioping -RL/dev/sda: отображает последовательную скорость диска.
• ioping -RLB. | awk ‘’: отображает последовательную скорость диска в байтах/сек.

Заключение

В этой статье мы обсуждали различные инструменты, которые можно использовать для мониторинга активности диска в операционных системах на базе Linux. Каждый инструмент предоставляет свой собственный набор функций, которые помогают пользователю анализировать, как его система ведет себя изнутри.

Путем подробного анализа системные администраторы могут внести желаемые изменения в конфигурацию своей системы, чтобы сделать ее работу быстрее и плавнее. Эти инструменты дают результаты, которые показывают текущее состояние системы, работоспособность диска, использование полосы пропускания сети и многое другое.

С помощью этих инструментов системные администраторы могут оперативно устранять проблемы, связанные с дисками и операционными системами. Это позволит им сэкономить время при устранении неполадок и поддерживать свою систему в надлежащем состоянии при выполнении задач по интенсивному использованию ресурсов.

Если вы нашли ошибку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter.

Источник