Windows raid 5 ресинхронизация

Всем привет, я знаю, что у многих уже проскакивала тема опыта работы с RAID 5, я лишь хочу рассказать про свой, а именно, как этот вид рейд массива работает с ссд дисками, и о подводных камнях. Знание данной информации, поможет вам избежать больших проблем и сэкономить много нервных клеток, так что потратьте некоторое время на знакомство с данным материалом, удачного прочтения. Все вопросы и пожелания, жду в комментариях, внизу статье.

И так ранее я рассказывал как тестировал RAID контроллер P410i на сервере HP ProLiant DL380 G7, данный контроллер в принципе их на троечку тащит, выжать из него можно на чтение 50 000 Iops, Ну суть не в этом, ранее я на нем создавал RAID 5 из 6 ssd дисков Samsung evo 850, к сожалению данный контроллер не умеет выдавать показатели smart дисков, поэтому, через год, было примерное понимание, что ssd должны уже изнашиваться, при том уровне записи, и мы их начали менять. Я как думал это же ссд 🙂 и перестройка будет быстрой, ага raid 5 из 6 твердотельных дисков перестраивался аж 32 часа, напомню каждый диск по 1 ТБ, это просто ужас конечно. Я всегда был противником данного рейда, но всегда были но в плане дешевизны и максимальном объеме полезного пространства, а вот его недостатки всегда отходили на второй план.

Проблемы raid 5

• Отказоустойчивость всего 1 диск > это очень плохо, особенно если у вас во время перестройки выйдет еще один диск из строя, так как на другие диски в данный момент будет повышенная нагрузка
• Время перестройки > при нынешних объемах это просто трешь, в моем случае raid 5, на ssd дисках перестраивался 32 часа, а что если бы у вас вас были обычные HDD объемом 4 и более ТБ, а как быть с ссд 10 тб, это просто жесть, в таком случае рейд уже начинает отмирать и перерастать в какие то более умные файловые структуры, по типу того же Nutanix
• Вечная нервотрепка для админа 🙂 , но у него то их до фига же.

В моем случае износ диска составил всего 30 процентов за 240 дней, что для продакшена просто офигено, спасибо виртуализации, так как на уровне гипервизора лежит просто один здоровый файл или несколько, у него конечно обновляются метаданные но не так, если бы данный ссд диск был воткнут внутри ос.

Для примера напомню вам как считать жилец диск по smart показателям или нет, тут все просто есть поле Threshold которое показывает минимальное значение ниже которого нельзя опускаться, а в Current Value текущее, которое со временем уменьшается. Поле Wear Leveling Count показывает в процентах, скока еще осталось здоровья.

Windows raid 5 ресинхронизация

В данной статье будет рассказано о сборке и подключении RAID в Windows. Соберем программный RAID 1 на базе windows 10.

Аналогичным способом можно собрать программный рейд и в предыдущих версиях windows, таких как 7,8, 8,1.

О том, что такое RAID какие они бывают, спецификацию и особенности, можете прочитать тут. Там вы найдете всю исчерпывающую информацию на эту тему.

Для сборки и подключения RAID в windows необходимо как минимум два диска.

На основе двух дисков можно собрать два вида массива.

RAID — 0

RAID 0 — это рейд который объединяет два диска в один. В результате мы получаем один диск. Объем этого диска будет равняться сумме двух дисков включенных в рейд и в системе вы его будете видеть как один.

Минус этого массива в том, что если сломается любой из этих дисков, мы потеряем всю информацию.

RAID — 1

RAID 1 — это так называемый зеркальный рейд массив. В этом массиве все данные одного диска в точности копируются на второй. Так обеспечивается сохранность нашей информации.

В случае выхода из строя одного диска всю информацию можно получить без проблем со второго диска. Заменив вышедший из строя диск массив восстанавливается и можно дальше продолжать его использовать.

Так как, совершенно одинаковая информация расположена на двух дисках одновременно, то скорость ее считывания увеличивается. Скорость записи к сожалению остается прежней.

Минус этого массива в том, что используя два диска вы теряете объем второго диска, так как используете для работы только один диск. Второй диск, по сути своей, служит резервным хранилищем — копией первого.

Но для сохранения информации это вполне оправданные расходы.

Собираем RAID в Windows

Перед тем как приступить к сборке программного RAID 1 нам необходимо подключить наши диски к компьютеру.

Желательно использовать два одинаковых диска, не только по производителю но и одним объемом.

В моем случае это будет два диска по 20Гб.

После подключения дисков включаем наш компьютер.

Меню «Пуск» — кликаем правой кнопкой, выбираем пункт Управление дисками

Перед нами откроется консоль управления дисками.

В консоли мы видим наши два новых подключенных диска. В моем случае это Диск 1 и Диск 2, объемом 20Гб каждый.

Кликаем по одному из наших новых дисков правой кнопкой мыши и выбираем пункт «Создать зеркальный том».

Если выберите пункт «Создать чередующийся том» то соберете таким же способом RAID 0. В данной ситуации.

Откроется окно в котором нажимаем «далее»

На следующем этапе нам необходимо выбрать второй диск для сборки RAID 1 и кнопкой добавить переместить его в правую половину.

Нажимаем кнопку «Далее»

Теперь нам предложат выбрать букву для будущего диска, я оставляю все по умолчанию и нажимаю «Далее»

В следующем окне выбираем файловую систему и метку тома, для ускорения процесса ставим галочку быстрое форматирование.

Ну и на завершающем этапе нажимаем «Готово»

Наши диски будут преобразованы в Динамические, о чем нас предупредят и мы должны с этим согласится

Спустя несколько секунд произойдет сборка RAID 1 и диски начнут синхронизироваться. В консоли управления дисками мы увидим как они поменяю цвет на красноватый.

Так же появится диск в проводнике Windows.

На этом сборка RAID 1 закончена и его можно полноценно использовать для хранения наших файлов.

В последствии если необходимо будет заменить один из дисков, выбираем наш массив и правой кнопкой мыши выбираем «разделить зеркальный том».

Диски поменяют цвет на коричневый — что говорит об успешном разделении рейда.

Меняем неисправный диск.

При замене диска нее забываем выключить наш компьютер.

После замены выбираем наш исправный диск и нажимаем добавить зеркало. В качестве зеркала выбираем новый исправный диск и нажимаем добавить зеркало.

Рейд соберется снова, дождитесь его Ресинхронизации и можно будет продолжить им пользоваться.

Если есть, что добавить или сказать оставляйте комментарии.

Записки IT специалиста

Технический блог специалистов ООО»Интерфейс»

• Главная
• Windows Server. Настраиваем программный RAID.

Windows Server. Настраиваем программный RAID.

Перед тем как продолжить, снова вспомним основной принцип построения аппаратных массиво: один элемент массива — один физический диск. Основа программных массивов — логический диск. Понимание этой разницы — залог успеха, то что применимо к аппаратному массиву, может оказаться катастрофическим для программного, особенно если речь идет об отказе одного из элементов массива.

Для создания программного RAID в среде Windows нам понадобится познакомиться с понятием динамического диска, так как программные массивы могут быть созданы только на них. Репутация динамических дисков неоднозначна, многие администраторы шарахаются от них, как черт от ладана. А зря, запомнив несколько простых правил работа с динамическими дисками становится столь же проста как с обычными.

Главное правило: установка или загрузка Windows с динамического тома возможна только в том случае, если этот диск был преобразован из системного или загрузочного тома. Т.е. если у вас стоит несколько экземпляров ОС, то после преобразования диска в динамический вы сможете загрузить лишь тот экземпляр, который находится на загрузочном разделе.

Исходя из этого правила становится очевидно, что для загрузочного и системного томов возможно создание только зеркального массива (RAID1), создание иных видов массива невозможно, так как они подразумевают установку системы на заранее созданный раздел.

А стоит ли овчинка выделки? Несмотря на все ограничения, стоит. Основной недостаток аппаратных массивов — привязка к конкретной модели контроллера. Если у вас сгорела материнская плата или контроллер, вам понадобится точно такой же (или материнская плата с аналогичным контроллером), иначе с данными можно попрощаться. В случае программного RAID достаточно машины с установленным Windows Server.

На практике работа с программными массивами и динамическими дисками производится через оснастку Хранение — Управление дисками в Диспетчере сервера. Для преобразования дисков в динамические достаточно щелкнуть на одном из них правой кнопкой мыши и выбрать Преобразовать в динамический диск, в открывшемся окне можно выбрать для преобразования сразу несколько дисков.

Стоит помнить, что эта операция необратимая и особое внимание следует уделить системному разделу, переразметить загрузочный диск у вас уже не получится (точнее он после этого перестанет быть загрузочным), единственное, что вы сможете — это расширить том за счет неразмеченного пространства.

Следующим шагом станет создание массива, щелкаем правой кнопкой мыши на нужном томе и выбираем желаемый вариант, в случае с системным и загрузочными томами вариант будет один — зеркало, потом вам будет предложено выбрать диск для размещения зеркального тома. По завершению создания массива тут же начнется его ресинхронизация.

Подключив дополнительные диски мы получим гораздо более широкие возможности, вы можете как объединить несколько дисков в отдельный том, так и создать RAID 0, 1 или 5.

В общем ничего сложного, однако множество ограничений способны отпугнуть кого угодно. Но не спешите делать скоропалительных выводов, по здравому размышлению никаких серьезных препятствий нет, так как обычно принято разносить систему и данные по разным дискам, учитывая копеечную стоимость современных дисков, это не влечет существенных затрат. Мы, например, для нашего тестового сервера создали зеркало для системного диска и RAID5 для данных.

Причем все это удовольствие можно реализовать на самой обычной бюджетной материнской плате, учитывая, что производительность программного массива ничем не отличается от дешевых аппаратных, данная технология выглядит очень привлекательно. О методах обеспечения отказоустойчивости и действиях при отказе дисков мы поговорим в нашей следующей статье.

Особенности работы программного RAID в Windows Server

В этой статье я обзорно расскажу о возможностях по организации RAID массивов встроенными средствами Windows Server и подробно о том, какие подводные камни могут встретиться при создании и эксплуатации таких массивов.

Возможности программного RAID в Windows Server

Поддерживаются следующие массивы:

• чередующийся том (striped volume, RAID0)
• зеркальный том (mirrored volume, RAID1)
• том RAID5 (RAID5 volume)
• охватывающий том (spanned volume, один логический том размещается более чем на одном физическом диске)

Динамические диски

Массивы RAID можно создавать только на динамических дисках — особая разметка физических дисков (понятная только Windows), которая обладает следующими особенностями:

• Обычный (базовый) диск можно преобразовать в динамический только целиком.
• Обратное преобразование динамического диска в базовый возможно, но только если с динамического диска удалить все тома.
• Динамический диск представляет собой один большой NTFS раздел, на котором с помощью хитрой служебной информации может размещаться большое количество томов (как простых, так и RAID), имеется возможность изменять размеры простых томов штатными средствами Windows. Однако, насколько оптимально и фрагментировано будут размещаться данные, мне не известно.
• Известные мне программы клонирования, восстановления и изменения размеров дисков не поддерживают динамические диски.
• Динамические диски, содержащие RAID-тома, могут быть перенесены на другой компьютер с Windows Server, так как содержат необходимую информацию для правильной сборки массива.

Невозможно создать тома с разными уровнями RAID

На одной группе физических дисков можно создавать тома RAID только одного типа (уровня). Например, если у нас есть 3 физических диска, и мы создали на них том RAID5, не занимая всего пространства. Мы не сможем в свободном пространстве создавать тома другого уровня RAID (RAID0 и RAID1), а только RAID5 и простые тома.

Одновременная синхронизация томов

Если на одной группе дисков создано несколько томов RAID, то в случае какого-либо сбоя после загрузки компьютера они начинают восстанавливаться одновременно. Это лютый, бешеный EPIC FAIL! Простая ситуация: имеется два физических диска, на них создано два RAID1 тома, один под операционную систему, другой под данные.

Такая схема замечательно работает до первого сбоя (простейшие виды — внезапное отключение питания или синий экран). И тут приходит ужас. Операционная система загружается и в это же время начинает одновременно синхронизировать оба тома RAID1. Таким образом, физические диски получают конкурирующие команды для интенсивных последовательных операций сразу в трех разных физических областях. При этом механика дисков дико изнашивается, кэш бесполезен.

Со стороны такая «отказоустойчивость» выглядит следующим образом: общее быстродействие дисковой подсистемы падает раз в 20, сама ОС загрузится либо после окончания синхронизации одного из томов (минут 15, если он небольшой, гиг на 50), либо минут через 20 и будет бесполезна до конца синхронизации одного из томов.

Вышеописанное поведение я считаю недопустимым архитектурным просчетом со стороны Microsoft и удивлен тем, что эта беда не решена до сих пор со времен появления программного RAID в Windows 2000 Server.

Если вы попали в описанную ситуацию, то не стоит дожидаться загрузки ОС и изнашивания дисков.

1. Отключаете один из физических дисков.
2. Загружаетесь в ОС с нормальной скоростью.
3. Разбиваете зеркало, превратив тома RAID1 в простые.
4. Подключаете обратно второй диск.
5. Создаете только одно зеркало для необходимого вам тома.

RAID5

Опишу сценарий, при котором вы не сможете восстановить деградировавший массив RAID5 до здорового состояния, даже если для этого предоставлены все условия.

1. Имеется массив RAID5 из шести дисков (Диск1-Диск6).
2. Среди них есть один сбойный Диск1 (например, из терабайтного объёма пара мегабайт не читаются), но операционная система об этом еще не знает и как сбойный его не отметила.
3. По каким-либо причинам от массива был отключен исправный Диск2.
4. Следуя логике RAID5, при отказе одного диска работоспособность массива сохраняется, такой массив помечается как деградировавший (degraded), скорость его работы резко падает, требуется синхронизация с новым исправным диском.
5. Исправный Диск2 подключается на место. Система его опознает как сбойный. Чтобы синхронизировать массив, этот сбойный диск нужно удалить из массива RAID5 и определить как пустой.
6. Все готово для синхронизации массива. Запускаем исправление массива (repair) на пустой Диск2.
7. ВНЕЗАПНО синхронизация натыкается на ошибки чтения на действительно неисправном диске Диск1 и останавливается.
8. Весть массив остается деградированным. Диск1 помечен как содержащий ошибки (errors), Диск2 помечен как online, однако из-за прерванной синхронизации не содержит полных корректных данных.
9. В надежде на восстановление подключается совершенно новый исправный Диск7. Запускается восстановление массива на него.
10. В результате исправный Диск2 заменяется на другой исправный Диск7, но синхронизация снова прерывается, найдя ошибку на неисправном диске Диск1.
11. И так далее по циклу.

Ничего сделать, кроме как скопировать еще читающиеся данные и пересобрать весь массив нельзя.

Не желая признавать поражения, я пытался сделать следующие вещи:

• Синхронизировать массив с пропуском ошибок чтения на диске Диск1 (ведь это всего лишь мегабайты их целого терабайта). Но Microsoft не дает такой возможности.
• Посекторно переписать весь сбойный Диск1 на другой здоровый диск с помощью программ для клонирования. Однако, доступные мне программы с динамическими дисками не работали.

Пример грамотной реализации программного RAID

От перечисленных выше недостатков избавлена аппаратно-программная реализация RAID-контроллера, известная как Intel Matrix Storage, и недавно переименованная в Intel Rapid Storage (работает на RAID-версиях чипсетов, таких как ICH9R, ICH10R). Аппаратно-программный RAID от Intel обеспечивает многие преимущества «врослых» RAID-контроллеров:

• возможность определить диски горячей замены
• возможность создавать тома разного уровня RAID на одной группе дисков
• последовательная синхронизация и проверка RAID томов на группе дисков

Основным ее недостатком, в отличии от полностью аппаратных RAID-контроллеров, остается «программность», из которой вытекают:

• отсутствие встроенного кеша и возможности автономной работы в случае аварии
• полностью зависит от операционной системы и драйверов
• выполняемые операции на дисковой подсистеме нагружают основной процессор и память
• отсутствует поддержка продвинутых вычислительно емких уровней RAID, таких как RAID6