Linux — управление дисками ч.2 — mdadm работа с RAID

Linux — управление дисками ч.2 — mdadm работа с RAID

Предыдущая часть:
Linux — управление дисками ч.1 — fdisk и mkfs + клонирование диска dd
http://snakeproject.ru/rubric/article.php?art=linux_fdisk_mkfs_dd_21042020

Утилита mdadm предназначена для работы с программными RAID массивами в Linux

Установка в CentOS или RedHat:
$ sudo yum install mdadm

Установка в Ubuntu или Debian:
$ sudo apt-get install mdadm

Мы удалим диск из предыдущей статьи и добавим нашей машине 3 чистых диска по 5ГБ
/dev/sdb
/dev/sdc
/dev/sdd

Создадим раздел на 2x из дисках (как рассказывал в предыдущей статье):
$ sudo fdisk /dev/sdb

$ Command (m for help): o
Created a new DOS disklabel with disk identifier 0x67bbb58e.

$ Command (m for help): n
Partition type
p primary (0 primary, 0 extended, 4 free)
e extended (container for logical partitions)
Select (default p): p
Partition number (1-4, default 1):
First sector (2048-10485759, default 2048):
Last sector, +sectors or +size (2048-10485759, default 10485759):

Created a new partition 1 of type ‘Linux’ and of size 5 GiB.

$ Command (m for help): w
The partition table has been altered.
Calling ioctl() to re-read partition table.
Syncing disks.

$ sudo fdisk /dev/sdc
Command (m for help): o
Created a new DOS disklabel with disk identifier 0x67bbb58e.

$ Command (m for help): n

p primary (0 primary, 0 extended, 4 free)
e extended (container for logical partitions)
Select (default p): p
Partition number (1-4, default 1):
First sector (2048-10485759, default 2048):
Last sector, +sectors or +size (2048-10485759, default 10485759):

Created a new partition 1 of type ‘Linux’ and of size 5 GiB.

$ Command (m for help): w
The partition table has been altered.
Calling ioctl() to re-read partition table.
Syncing disks.

Создание RAID

RAID-1:
$ sudo mdadm —create /dev/md0 —level=1 —raid-devices=2 /dev/sdb1 /dev/sdc1

или например другой уровень массива

RAID-0:
$ sudo mdadm —create /dev/md0 —level=0 —raid-devices=2 /dev/sdb1 /dev/sdc1

Получить информацию о RAID:
$ sudo fdisk -l /dev/md0
$ cat /proc/mdstat
$ sudo mdadm —detail —scan
$ sudo mdadm —detail /dev/md0

Создайте файловую систему (например ext4):
$ sudo mkfs.ext4 /dev/md0

Вы можете смонтировать ваш raid-раздел автоматически при запуске сервера

Добавьте эту строку в /etc/fstab:
/dev/md0 /mnt ext4 defaults 0 0

Смонтируем на лету:
$ sudo mount /dev/md0 /mnt

Оставим тестовые данные:
$ sudo sh -c «echo ‘test’ > /mnt/test.txt»

Замена диска в RAID

Установите «сломанный» жесткий диск в неисправное состояние:
$ sudo mdadm —manage /dev/md0 —fail /dev/sdc1

Удалить «сломанный» sdc из массива:
$ sudo mdadm /dev/md0 —remove /dev/sdc1

Подготовьте новый жесткий диск для RAID на основе выжившего:
$ sudo dd if=/dev/sdb of=/dev/sdd bs=128K conv=noerror,sync

Укажите ядру перечитать таблицу разделов нового жесткого диска:
$ sudo sfdisk -r /dev/sdd

Добавьте новый жесткий диск в RAID 1:
$ sudo mdadm —manage /dev/md0 -a /dev/sdd1

После смотрим на дебаг (подождите, пока RAID выполнит повторную синхронизацию):
$ watch —interval=1 cat /proc/mdstat

Проверяем работу, удалим живой sdb диск:
$ sudo mdadm —manage /dev/md0 —fail /dev/sdb1
$ sudo mdadm /dev/md0 —remove /dev/sdb1
$ cat /mnt/test.txt
test

Удалить массив RAID можно так:
$ sudo umount /mnt
$ sudo mdadm —stop /dev/md0

Чтобы убедиться, что он не поднимется, нужно удалить суперблоки RAID:
$ sudo mdadm —misc —zero-superblock —force /dev/sd1

Источник

mdadm

Материал из Xgu.ru

На этой странице рассматриваются вопросы создания и обслуживания программного RAID-массива в операционной системе Linux.

Содержание

[править] mdadm

Управление программным RAID-массивом в Linux выполняется с помощью программы mdadm.

У программы mdadm есть несколько режимов работы.

Assemble (сборка) Собрать компоненты ранее созданного массива в массив. Компоненты можно указывать явно, но можно и не указывать — тогда выполняется их поиск по суперблокам. Build (построение) Собрать массив из компонентов, у которых нет суперблоков. Не выполняются никакие проверки, создание и сборка массива в принципе ничем не отличаются. Create (создание) Создать новый массив на основе указанных устройств. Использовать суперблоки размещённые на каждом устройстве. Monitor (наблюдение) Следить за изменением состояния устройств. Для RAID0 этот режим не имеет смысла. Grow (расширение или уменьшение) Расширение или уменьшение массива, включаются или удаляются новые диски. Incremental Assembly (инкрементальная сборка) Добавление диска в массив. Manage (управление) Разнообразные операции по управлению массивом, такие как замена диска и пометка как сбойного. Misc (разное) Действия, которые не относятся ни к одному из перечисленных выше режимов работы. Auto-detect (автоообнаружение) Активация автоматически обнаруживаемых массивов в ядре Linux.

• -A, --assemble — режим сборки
• -B, --build — режим построения
• -C, --create — режим создания
• -F, --follow, --monitor — режим наблюдения
• -G, --grow — режим расширения
• -I, --incremental — режим инкрементальной сборки

[править] Настройка программного RAID-массива

Рассмотрим как выполнить настройку RAID-массива 5 уровня на трёх дисковых разделах. Мы будем использовать разделы:

В том случае если разделы иные, не забудьте использовать соответствующие имена файлов.

[править] Создание разделов

Нужно определить на каких физических разделах будет создаваться RAID-массив. Если разделы уже есть, нужно найти свободные (fdisk -l). Если разделов ещё нет, но есть неразмеченное место, их можно создать с помощью программ fdisk или cfdisk.

Просмотреть какие есть разделы:

Просмотреть, какие разделы куда смонтированы, и сколько свободного места есть на них (размеры в килобайтах):

[править] Размонтирование

Если вы будете использовать созданные ранее разделы, обязательно размонтируйте их. RAID-массив нельзя создавать поверх разделов, на которых находятся смонтированные файловые системы.

[править] Изменение типа разделов

Желательно (но не обязательно) изменить тип разделов, которые будут входить в RAID-массив и установить его равным FD (Linux RAID autodetect). Изменить тип раздела можно с помощью fdisk.

Рассмотрим, как это делать на примере раздела /dev/hde1.

Аналогичным образом нужно изменить тип раздела для всех остальных разделов, входящих в RAID-массив.

[править] Создание RAID-массива

Создание RAID-массива выполняется с помощью программы mdadm (ключ --create). Мы воспользуемся опцией --level, для того чтобы создать RAID-массив 5 уровня. С помощью ключа --raid-devices укажем устройства, поверх которых будет собираться RAID-массив.

Если вы хотите сразу создать массив, где диска не хватает (degraded) просто укажите слово missing вместо имени устройства. Для RAID5 это может быть только один диск; для RAID6 — не более двух; для RAID1 — сколько угодно, но должен быть как минимум один рабочий.

[править] Проверка правильности сборки

Убедиться, что RAID-массив проинициализирован корректно можно просмотрев файл /proc/mdstat. В этом файле отражается текущее состояние RAID-массива.

Обратите внимание на то, как называется новый RAID-массив. В нашем случае он называется /dev/md0. Мы будем обращаться к массиву по этому имени.

[править] Создание файловой системы поверх RAID-массива

Новый RAID-раздел нужно отформатировать, т.е. создать на нём файловую систему. Сделать это можно при помощи программы из семейства mkfs. Если мы будем создавать файловую систему ext3, воспользуемся программой mkfs.ext3. :

Имеет смысл для лучшей производительности файловой системы указывать при создании количество дисков в рейде и количество блоков файловой системы которое может поместиться в один страйп ( chunk ), это особенно важно при создании массивов уровня RAID0,RAID5,RAID6,RAID10. Для RAID1 ( mirror ) это не имеет значения так как запись идёт всегда на один device, a в других типах рейдов дата записывается последовательно на разные диски порциями соответствующими размеру stripe. Например если мы используем RAID5 из 3 дисков, с дефолтным размером страйпа в 64К и используем файловую систему ext3 с размером блока в 4К то можно вызывать команду mkfs.ext вот так:

stripe-width обычно рассчитывается как stride * N ( N это дата диски в массиве — например в RAID5 — два дата диска и один parity ) Для не менее популярной файловой системы XFS надо указывать не количество блоков файловой системы соответствующих размеру stripe в массиве, а непосредственно размер самого страйпа

[править] Создание конфигурационного файла mdadm.conf

Система сама не запоминает какие RAID-массивы ей нужно создать и какие компоненты в них входят. Эта информация находится в файле mdadm.conf.

Строки, которые следует добавить в этот файл, можно получить при помощи команды

Вот пример её использования:

Если файла mdadm.conf ещё нет, можно его создать:

[править] Создание точки монтирования для RAID-массива

Поскольку мы создали новую файловую систему, вероятно, нам понадобится и новая точка монтирования. Назовём её /raid.

[править] Изменение /etc/fstab

Для того чтобы файловая система, созданная на новом RAID-массиве, автоматически монтировалась при загрузке, добавим соответствующую запись в файл /etc/fstab хранящий список автоматически монтируемых при загрузке файловых систем.

Если мы объединяли в RAID-массив разделы, которые использовались раньше, нужно отключить их монтирование: удалить или закомментировать соответствующие строки в файле /etc/fstab. Закомментировать строку можно символом #.

[править] Монтирование файловой системы нового RAID-массива

Для того чтобы получить доступ к файловой системе, расположенной на новом RAID-массиве, её нужно смонтировать. Монтирование выполняется с помощью команды mount.

Если новая файловая система добавлена в файл /etc/fstab, можно смонтировать её командой mount -a (смонтируются все файловые системы, которые должны монтироваться при загрузке, но сейчас не смонтированы).

Можно смонтировать только нужный нам раздел (при условии, что он указан в /etc/fstab).

Если раздел в /etc/fstab не указан, то при монтировании мы должны задавать как минимум два параметра — точку монтирования и монтируемое устройство:

[править] Проверка состояния RAID-массива

Информация о состоянии RAID-массива находится в файле /proc/mdstat.

Если в файле информация постоянно изменяется, например, идёт пересборка массива, то постоянно изменяющийся файл удобно просматривать при помощи программы watch:

Как выполнить проверку целостности программного RAID-массива md0:

Как посмотреть нашлись ли какие-то ошибки в процессе проверки программного RAID-массива по команде check или repair:

[править] Проблема загрузки на многодисковых системах

В некоторых руководствах по mdadm после первоначальной сборки массивов рекомендуется добавлять в файл /etc/mdadm/mdadm.conf вывод команды «mdadm —detail —scan —verbose»:

, в котором жёстко прописаны имена разделов (/dev/sda1, /dev/sda2 в приведённом примере).

Если после этого обновить образ начальной загрузки (в Debian вызвать ‘update-initramfs -u’ или ‘dpkg-reconfigure mdadm’), имена разделов запишутся в файл mdadm.conf образа начальной загрузки, и вы не сможете загрузиться с массива, если конфигурация жёстких дисков изменится (нужные разделы получат другие имена). Для этого не обязательно добавлять или убирать жёсткие диски: в многодисковых системах их имена могут меняться от загрузки к загрузке.

Решение: записывать в /etc/mdadm/mdadm.conf вывод команды «mdadm —detail —scan» (без —verbose).

При этом в файле mdadm.conf будут присутствовать UUID разделов, составляющих каждый RAID-массив. При загрузке системы mdadm находит нужные разделы независимо от их символических имён по UUID.

mdadm.conf, извлечённый из образа начальной загрузки Debian:

Результат исследования раздела командой ‘mdadm —examine'»

Раздел c UUID 147c5847:dabfe069:79d27a05:96ea160b войдёт в состав массива, даже если станет /dev/sdb1 при очередной загрузке системы.

Вообще, существует 2 файла mdadm.conf, влияющих на автоматическую сборку массивов:

• один при загрузке системы, записывется в образ начальной загрузки при его обновлении;
• другой находится в каталоге /etc/mdadm/ и влияет на автосборку массивов внутри работающей системы.

Соответственно, вы можете иметь информацию:

1) в образе начальной загрузки (ОНЗ) и в /etc/mdadm/mdadm.conf;

2) только в ОНЗ (попадает туда при его создании обновлении);

3) только в /etc/mdadm/mdadm.conf;

В том месте, где есть mdadm.conf, сборка происходит по правилам; где нет — непредсказуемо.

Примечание: если вы не обновили ОНЗ после создания RAID-массивов, их конфигурация всё равно в него попадёт — при обновлении образа другой программой / при обновлении системы (но вы не будете об этом знать со всеми вытекающими).

[править] Дальнейшая работа с массивом

[править] Пометка диска как сбойного

Диск в массиве можно условно сделать сбойным, ключ --fail (-f):

[править] Удаление сбойного диска

Сбойный диск можно удалить с помощью ключа --remove (-r):

[править] Добавление нового диска

Добавить новый диск в массив можно с помощью ключей --add (-a) и --re-add:

[править] Сборка существующего массива

Собрать существующий массив можно с помощью mdadm --assemble. Как дополнительный аргумент указывается, нужно ли выполнять сканирование устройств, и если нет, то какие устройства нужно собирать.

[править] Расширение массива

Расширить массив можно с помощью ключа --grow (-G). Сначала добавляется диск, а потом массив расширяется:

Проверяем, что диск (раздел) добавился:

Если раздел действительно добавился, мы можем расширить массив:

Опция —raid-devices указывает новое количество дисков, используемое в массиве. Например, было 3 диска, а теперь расширяем до 4-х — указываем 4.

Рекомендуется задать файл бэкапа на случай прерывания перестроения массива, например добавить:

При необходимости можно регулировать скорость процесса расширения массива, указав нужное значение в файлах

Убедитесь, что массив расширился:

Нужно обновить конфигурационный файл с учётом сделанных изменений:

[править] Возобновление отложенной синхронизации

P.S.: Если вы увидели « active (auto-read-only) » в файле /proc/mdstat , то возможно вы просто ничего не записывали в этот массив. К примеру, после монтирования раздела и любых изменений в примонтированном каталоге, статус автоматически меняется:

[править] Переименование массива

Для начала отмонтируйте и остановите массив:

Затем необходимо пересобрать как md5 каждый из разделов sd[abcdefghijk]1

[править] Удаление массива

Для начала отмонтируйте и остановите массив:

Затем необходимо затереть superblock каждого из составляющих массива:

Если действие выше не помогло, то затираем так:

[править] Создание пустого массива без сихронизации данных

Не каноничный метод, применять на дисках без данных!

Смотрим информацию по массивам и выбираем жертву

Предварительно разбираем массив

Создаём директорию для metadata файлов

Снимаем дамп metadata с одного из raid дисков

Источник