Выбор дисков для локальных дисковых пространств Choosing drives for Storage Spaces Direct

Применяется к: Windows Server 2019, Windows Server 2016 Applies to: Windows Server 2019, Windows Server 2016

В этом разделе приведены рекомендации по выбору носителей для локальных дисковых пространств, которые будут соответствовать вашим требованиям к производительности и емкости. This topic provides guidance on how to choose drives for Storage Spaces Direct to meet your performance and capacity requirements.

Типы дисков Drive types

В настоящее время Локальные дисковые пространства работает с четырьмя типами дисков: Storage Spaces Direct currently works with four types of drives:

Тип диска Type of drive	Описание Description
	Постоянная память. Persistent memory. Новый тип высокоскоростного хранилища с низкой задержкой. A new type of low-latency, high-performance storage.
	NVMe (невременная память, Экспресс-выпуск). NVMe (Non-Volatile Memory Express). Твердотельные накопители, расположенные непосредственно на шине PCIe. Solid-state drives that sit directly on the PCIe bus. Распространенные форм-факторы: 2,5 дюйма U.2, плата расширения PCIe (AIC) и M.2. Common form factors are 2.5″ U.2, PCIe Add-In-Card (AIC), and M.2. NVMe предлагает больше операций ввода-вывода в секунду и пропускную способность с низкой задержкой, чем любой поддерживаемый нами тип диска, за исключением постоянного объема памяти. NVMe offers higher IOPS and IO throughput with lower latency than any other type of drive we support today except persistent memory.
	SSD. SSD. Твердотельные накопители, которые подключаются через стандартный интерфейс SATA или SAS. Solid-state drives, which connect via conventional SATA or SAS.
	Расширитель. HDD. Вращение, магнитные жесткие диски, которые обеспечивают большой объем хранилища. Rotational, magnetic hard disk drives, which offer vast storage capacity.

Встроенный кэш Built-in cache

Локальные дисковые пространства обладают встроенным серверным кэшем. Storage Spaces Direct features a built-in server-side cache. Это большой, постоянно работающий в режиме реального времени кэш чтения и записи. It is a large, persistent, real-time read and write cache. При развертывании с несколькими типами дисков он автоматически использует все самые быстрые диски. In deployments with multiple types of drives, it is configured automatically to use all drives of the «fastest» type. Остальные диски используются для хранения. The remaining drives are used for capacity.

Вариант 1 — оптимизация производительности Option 1 – Maximizing performance

Для достижения прогнозируемой и единообразной длительности в миллисекундах при случайных операциях чтения и записи в любые данные или для достижения высокого уровня операций ввода-вывода (мы сделали свыше 6 000 000!) или пропускную способность ввода-вывода (мы сделали больше 1 ТБ в секунду!), следует перейти на страницу «ALL-Flash». To achieve predictable and uniform submillisecond latency across random reads and writes to any data, or to achieve high IOPS (we’ve done over 6 million!) or IO throughput (we’ve done over 1 Tb/s!), you should go «all-flash».

Это можно сделать тремя способами: There are currently three ways to do so:

Все NVMe. All NVMe. Использование только накопителей NVMe обеспечивает непревзойденную производительность и наиболее предсказуемую задержку. Using all NVMe provides unmatched performance, including the most predictable low latency. Если все диски одной модели, кэш отсутствует. If all your drives are the same model, there is no cache. Вы также можете смешивать модели NVMe с высоким и низким уровнем износостойкости и настроить первые для кэширования операций записи вторых (требуется настройка). You can also mix higher-endurance and lower-endurance NVMe models, and configure the former to cache writes for the latter (requires set-up).

NVMe + SSD. NVMe + SSD. При использовании NVMe вместе с SSD накопители NVMe автоматически кэшируют операции записи на SSD. Using NVMe together with SSDs, the NVMe will automatically cache writes to the SSDs. Это позволяет объединить операции записи в кэше и переносить их только при необходимости, чтобы уменьшить износа SSD. This allows writes to coalesce in cache and be de-staged only as needed, to reduce wear on the SSDs. Так можно получить характеристики, аналогичные NVMe, при этом операции чтения обслуживаются непосредственно на быстрых SSD. This provides NVMe-like write characteristics, while reads are served directly from the also-fast SSDs.

Все SSD. All SSD. Как и при использовании только накопителей NVMe, кэш отсутствует, если все диски одной модели. As with All-NVMe, there is no cache if all your drives are the same model. Вы также можете смешивать накопители с высоким и низким уровнем износостойкости и настроить первые для кэширования операций записи вторых (требуется настройка). If you mix higher-endurance and lower-endurance models, you can configure the former to cache writes for the latter (requires set-up).

Преимущество использования только NVMe или SSD без кэша состоит в том, что вы получаете доступную емкость с каждого диска. An advantage to using all-NVMe or all-SSD with no cache is that you get usable storage capacity from every drive. Место не «тратится» на кэширование, что может быть привлекательным при небольших масштабах. There is no capacity «spent» on caching, which may be appealing at smaller scale.

Вариант 2 — баланс между производительностью и емкостью Option 2 – Balancing performance and capacity

Для сред с различными приложениями и рабочими нагрузками, а также с жесткими требованиями к производительности и другими, которые требуют значительного объема хранилища, следует посетить «гибридный» с помощью кэширования NVMe или SSDs для больших жестких дисков. For environments with various applications and workloads, some with stringent performance requirements and others requiring considerable storage capacity, you should go «hybrid» with either NVMe or SSDs caching for larger HDDs.

NVMe + HDD. NVMe + HDD. Диски NVMe ускоряют операции чтения и записи, кэшируя их. The NVMe drives will accelerate reads and writes by caching both. Кэширование операций чтения позволяет жестким дискам сосредоточиться на записи. Caching reads allows the HDDs to focus on writes. Кэширование операций записи помогает справиться с пиками, объединить операции записи и переносить их только при необходимости искусственно сериализованным способом, который оптимизирует IOPS и пропускную способность ввода-вывода жестких дисков. Caching writes absorbs bursts and allows writes to coalesce and be de-staged only as needed, in an artificially serialized manner that maximizes HDD IOPS and IO throughput. Это позволяет получить характеристики записи, аналогичные NVMe, а для часто или недавно прочитанных данных — и характеристики чтения, аналогичные NVMe. This provides NVMe-like write characteristics, and for frequently or recently read data, NVMe-like read characteristics too.

SSD + жесткий диск. SSD + HDD. Аналогично сказанному выше, SSD-диски ускоряют операции чтения и записи, кэшируя их. Similar to the above, the SSDs will accelerate reads and writes by caching both. Это обеспечивает характеристики записи, аналогичные SSD, а для часто или недавно прочитанных данных — характеристики чтения, аналогичные SSD. This provides SSD-like write characteristics, and SSD-like read characteristics for frequently or recently read data.

Существует еще один вариант, а не Exotic: использовать диски всех трех типов. There is one more, rather exotic option: to use drives of all three types.

NVMe + SSD + HDD. NVMe + SSD + HDD. В таком случае диски NVMe кэшируют данные для дисков остальных типов. With drives of all three types, the NVMe drives cache for both the SSDs and HDDs. Вы можете создавать тома на твердотельных накопителях, а тома на жестких дисках — параллельно в одном кластере, что ускоряется через NVMe. The appeal is that you can create volumes on the SSDs, and volumes on the HDDs, side by side in the same cluster, all accelerated by NVMe. Тома на SSD совпадают с конфигурацией в развертывании только с флэш-накопителями, а тома на жестких дисках — с «гибридными» развертываниями, описанными выше. The former are exactly as in an «all-flash» deployment, and the latter are exactly as in the «hybrid» deployments described above. По смыслу это похоже на два пула с независимым управлением емкостью, циклами сбоев и восстановления и т. д. This is conceptually like having two pools, with largely independent capacity management, failure and repair cycles, and so on.

Рекомендуем использовать уровень SSD для размещения самых требовательных к производительности рабочих нагрузок в системе только с флэш-накопителями. We recommend using the SSD tier to place your most performance-sensitive workloads on all-flash.

Вариант 3 — максимальное увеличение емкости Option 3 – Maximizing capacity

Для рабочих нагрузок, требующих большой емкости и записи, таких как архивация, целевые объекты резервного копирования, хранилища данных или «холодное» хранилище, необходимо объединить несколько твердотельных накопителей для кэширования с большим количеством больших жестких дисков для емкости. For workloads that require vast capacity and write infrequently, such as archival, backup targets, data warehouses or «cold» storage, you should combine a few SSDs for caching with many larger HDDs for capacity.

1. SSD + жесткий диск. SSD + HDD. SSD-диски кэшируют операции чтения и записи для обработки пиков, получения высокой производительности записи и оптимизированного переноса на жесткие диски в дальнейшем. The SSDs will cache reads and writes, to absorb bursts and provide SSD-like write performance, with optimized de-staging later to the HDDs.

Конфигурация только с дисковыми настройками не поддерживается. Configuration with HDDs only is not supported. Высокий уровень кэширования ендуранце твердотельных накопителей для малых ендуранце твердотельных накопителей не рекомендуется. High endurance SSDs caching to low endurance SSDs is not advised.

Рекомендации по выбору размера Sizing considerations

Кэш Cache

У каждого сервера должно быть по крайней мере два диска кэша (это минимум, необходимый для обеспечения избыточности). Every server must have at least two cache drives (the minimum required for redundancy). Рекомендуем делать число накопителей-хранилищ кратным числу кэш-накопителей. We recommend making the number of capacity drives a multiple of the number of cache drives. Например, при наличии четырех дисков кэша вы получите более устойчивую производительность с восемью дисками емкости (соотношение 1:2), чем 7 или 9. For example, if you have four cache drives, you will experience more consistent performance with eight capacity drives (1:2 ratio) than with 7 or 9.

Размер кэша должен соответствовать рабочему набору приложений и рабочих нагрузок, например ко всем данным, которые они активно считывают и записывают в любое заданное время. The cache should be sized to accommodate the working set of your applications and workloads, for example all the data they are actively reading and writing at any given time. Других требований к размеру кэша не существует. There is no cache size requirement beyond that. Для развертываний с жестких дисками достаточно места — 10% емкости. Например, если на каждом сервере имеется 4 жестких диска объемом 4 ТБ = 16 ТБ, то 2 x 800 ГБ SSD = 1,6 ТБ кэша на сервер. For deployments with HDDs, a fair starting place is 10% of capacity – for example, if each server has 4 x 4 TB HDD = 16 TB of capacity, then 2 x 800 GB SSD = 1.6 TB of cache per server. Для всех развертываний Flash, особенно с высоким ендуранце] ( https://techcommunity.microsoft.com/t5/storage-at-microsoft/understanding-ssd-endurance-drive-writes-per-day-dwpd-terabytes/ba-p/426024) SSDs, можно начать с более чем на 5% емкости. Например, если на каждом сервере имеется 24 x 1,2 ТБ SSD = 28,8 ТБ емкости, то 2 x 750 ГБ NVMe = 1,5 ТБ кэша на сервер. For all-flash deployments, especially with high endurance](https://techcommunity.microsoft.com/t5/storage-at-microsoft/understanding-ssd-endurance-drive-writes-per-day-dwpd-terabytes/ba-p/426024) SSDs, it may be fair to start closer to 5% of capacity – for example, if each server has 24 x 1.2 TB SSD = 28.8 TB of capacity, then 2 x 750 GB NVMe = 1.5 TB of cache per server. Вы всегда можете добавить или удалить кэш-накопители позже для оптимизации. You can always add or remove cache drives later to adjust.

Общие сведения General

Рекомендуем ограничить общую емкость хранилища на каждый сервер приблизительно 400 ТБ (ТБ). We recommend limiting the total storage capacity per server to approximately 400 terabytes (TB). Чем больше объем хранилища на сервер, тем больше времени необходимо для повторной синхронизации данных после простоя или перезагрузки, например при применении обновлений программного обеспечения. The more storage capacity per server, the longer the time required to resync data after downtime or rebooting, such when applying software updates. Текущий максимальный размер для пула носителей составляет 4 петабайтов (PB) (4 000 ТБ) для Windows Server 2019 или 1 петабайтного уровня для Windows Server 2016. The current maximum size per storage pool is 4 petabytes (PB) (4,000 TB) for Windows Server 2019, or 1 petabyte for Windows Server 2016.

Choosing drives for Storage Spaces Direct

Applies to: Windows Server 2019, Windows Server 2016

This topic provides guidance on how to choose drives for Storage Spaces Direct to meet your performance and capacity requirements.

Drive types

Storage Spaces Direct currently works with four types of drives:

Type of drive	Description
	Persistent memory. A new type of low-latency, high-performance storage.
	NVMe (Non-Volatile Memory Express). Solid-state drives that sit directly on the PCIe bus. Common form factors are 2.5″ U.2, PCIe Add-In-Card (AIC), and M.2. NVMe offers higher IOPS and IO throughput with lower latency than any other type of drive we support today except persistent memory.
	SSD. Solid-state drives, which connect via conventional SATA or SAS.
	HDD. Rotational, magnetic hard disk drives, which offer vast storage capacity.

Built-in cache

Storage Spaces Direct features a built-in server-side cache. It is a large, persistent, real-time read and write cache. In deployments with multiple types of drives, it is configured automatically to use all drives of the «fastest» type. The remaining drives are used for capacity.

Option 1 – Maximizing performance

To achieve predictable and uniform submillisecond latency across random reads and writes to any data, or to achieve high IOPS (we’ve done over 6 million!) or IO throughput (we’ve done over 1 Tb/s!), you should go «all-flash».

There are currently three ways to do so:

All NVMe. Using all NVMe provides unmatched performance, including the most predictable low latency. If all your drives are the same model, there is no cache. You can also mix higher-endurance and lower-endurance NVMe models, and configure the former to cache writes for the latter (requires set-up).

NVMe + SSD. Using NVMe together with SSDs, the NVMe will automatically cache writes to the SSDs. This allows writes to coalesce in cache and be de-staged only as needed, to reduce wear on the SSDs. This provides NVMe-like write characteristics, while reads are served directly from the also-fast SSDs.

All SSD. As with All-NVMe, there is no cache if all your drives are the same model. If you mix higher-endurance and lower-endurance models, you can configure the former to cache writes for the latter (requires set-up).

An advantage to using all-NVMe or all-SSD with no cache is that you get usable storage capacity from every drive. There is no capacity «spent» on caching, which may be appealing at smaller scale.

Option 2 – Balancing performance and capacity

For environments with various applications and workloads, some with stringent performance requirements and others requiring considerable storage capacity, you should go «hybrid» with either NVMe or SSDs caching for larger HDDs.

NVMe + HDD. The NVMe drives will accelerate reads and writes by caching both. Caching reads allows the HDDs to focus on writes. Caching writes absorbs bursts and allows writes to coalesce and be de-staged only as needed, in an artificially serialized manner that maximizes HDD IOPS and IO throughput. This provides NVMe-like write characteristics, and for frequently or recently read data, NVMe-like read characteristics too.

SSD + HDD. Similar to the above, the SSDs will accelerate reads and writes by caching both. This provides SSD-like write characteristics, and SSD-like read characteristics for frequently or recently read data.

There is one more, rather exotic option: to use drives of all three types.

NVMe + SSD + HDD. With drives of all three types, the NVMe drives cache for both the SSDs and HDDs. The appeal is that you can create volumes on the SSDs, and volumes on the HDDs, side by side in the same cluster, all accelerated by NVMe. The former are exactly as in an «all-flash» deployment, and the latter are exactly as in the «hybrid» deployments described above. This is conceptually like having two pools, with largely independent capacity management, failure and repair cycles, and so on.

We recommend using the SSD tier to place your most performance-sensitive workloads on all-flash.

Option 3 – Maximizing capacity

For workloads that require vast capacity and write infrequently, such as archival, backup targets, data warehouses or «cold» storage, you should combine a few SSDs for caching with many larger HDDs for capacity.

1. SSD + HDD. The SSDs will cache reads and writes, to absorb bursts and provide SSD-like write performance, with optimized de-staging later to the HDDs.

Configuration with HDDs only is not supported. High endurance SSDs caching to low endurance SSDs is not advised.

Sizing considerations

Cache

Every server must have at least two cache drives (the minimum required for redundancy). We recommend making the number of capacity drives a multiple of the number of cache drives. For example, if you have four cache drives, you will experience more consistent performance with eight capacity drives (1:2 ratio) than with 7 or 9.

The cache should be sized to accommodate the working set of your applications and workloads, for example all the data they are actively reading and writing at any given time. There is no cache size requirement beyond that. For deployments with HDDs, a fair starting place is 10% of capacity – for example, if each server has 4 x 4 TB HDD = 16 TB of capacity, then 2 x 800 GB SSD = 1.6 TB of cache per server. For all-flash deployments, especially with high endurance](https://techcommunity.microsoft.com/t5/storage-at-microsoft/understanding-ssd-endurance-drive-writes-per-day-dwpd-terabytes/ba-p/426024) SSDs, it may be fair to start closer to 5% of capacity – for example, if each server has 24 x 1.2 TB SSD = 28.8 TB of capacity, then 2 x 750 GB NVMe = 1.5 TB of cache per server. You can always add or remove cache drives later to adjust.

General

We recommend limiting the total storage capacity per server to approximately 400 terabytes (TB). The more storage capacity per server, the longer the time required to resync data after downtime or rebooting, such when applying software updates. The current maximum size per storage pool is 4 petabytes (PB) (4,000 TB) for Windows Server 2019, or 1 petabyte for Windows Server 2016.