Resilient File System (ReFS) overview

Applies to: Windows Server 2019, Windows Server 2016, Windows Server 2012 R2, Windows Server 2012, Windows Server (Semi-Annual Channel)

The Resilient File System (ReFS) is Microsoft’s newest file system, designed to maximize data availability, scale efficiently to large data sets across diverse workloads, and provide data integrity by means of resiliency to corruption. It seeks to address an expanding set of storage scenarios and establish a foundation for future innovations.

Key benefits

Resiliency

ReFS introduces new features that can precisely detect corruptions and also fix those corruptions while remaining online, helping provide increased integrity and availability for your data:

• Integrity-streams — ReFS uses checksums for metadata and optionally for file data, giving ReFS the ability to reliably detect corruptions.
• Storage Spaces integration — When used in conjunction with a mirror or parity space, ReFS can automatically repair detected corruptions using the alternate copy of the data provided by Storage Spaces. Repair processes are both localized to the area of corruption and performed online, requiring no volume downtime.
• Salvaging data — If a volume becomes corrupted and an alternate copy of the corrupted data doesn’t exist, ReFS removes the corrupt data from the namespace. ReFS keeps the volume online while it handles most non-correctable corruptions, but there are rare cases that require ReFS to take the volume offline.
• Proactive error correction — In addition to validating data before reads and writes, ReFS introduces a data integrity scanner, known as a scrubber. This scrubber periodically scans the volume, identifying latent corruptions and proactively triggering a repair of corrupt data.

Performance

In addition to providing resiliency improvements, ReFS introduces new features for performance-sensitive and virtualized workloads. Real-time tier optimization, block cloning, and sparse VDL are good examples of the evolving capabilities of ReFS, which are designed to support dynamic and diverse workloads:

Mirror-accelerated parity — Mirror-accelerated parity delivers both high performance and also capacity efficient storage for your data.

To deliver both high performance and capacity efficient storage, ReFS divides a volume into two logical storage groups, known as tiers. These tiers can have their own drive and resiliency types, allowing each tier to optimize for either performance or capacity. Some example configurations include:

Performance tier	Capacity tier
Mirrored SSD	Mirrored HDD
Mirrored SSD	Parity SSD
Mirrored SSD	Parity HDD

Once these tiers are configured, ReFS use them to deliver fast storage for hot data and capacity-efficient storage for cold data:

• All writes will occur in the performance tier, and large chunks of data that remain in the performance tier will be efficiently moved to the capacity tier in real-time.
• If using a hybrid deployment (mixing flash and HDD drives), the cache in Storage Spaces Direct helps accelerate reads, reducing the effect of data fragmentation characteristic of virtualized workloads. Otherwise, if using an all-flash deployment, reads also occur in the performance tier.

For Server deployments, mirror-accelerated parity is only supported on Storage Spaces Direct. We recommend using mirror-accelerated parity with archival and backup workloads only. For virtualized and other high performance random workloads, we recommend using three-way mirrors for better performance.

Accelerated VM operations — ReFS introduces new functionality specifically targeted to improve the performance of virtualized workloads:

• Block cloning — Block cloning accelerates copy operations, enabling quick, low-impact VM checkpoint merge operations.
• Sparse VDL — Sparse VDL allows ReFS to zero files rapidly, reducing the time needed to create fixed VHDs from 10s of minutes to mere seconds.

Variable cluster sizes — ReFS supports both 4K and 64K cluster sizes. 4K is the recommended cluster size for most deployments, but 64K clusters are appropriate for large, sequential IO workloads.

Scalability

ReFS is designed to support extremely large data sets—millions of terabytes—without negatively impacting performance, achieving greater scale than prior file systems.

Supported deployments

Microsoft has developed NTFS specifically for general-purpose use with a wide range of configurations and workloads, however for customers specially requiring the availability, resiliency, and/or scale that ReFS provides, Microsoft supports ReFS for use under the following configurations and scenarios.

All ReFS supported configurations must use Windows Server Catalog certified hardware and meet application requirements.

Storage Spaces Direct

Deploying ReFS on Storage Spaces Direct is recommended for virtualized workloads or network-attached storage:

• Mirror-accelerated parity and the cache in Storage Spaces Direct deliver high performance and capacity-efficient storage.
• The introduction of block clone and sparse VDL dramatically accelerates .vhdx file operations, such as creation, merge, and expansion.
• Integrity-streams, online repair, and alternate data copies enable ReFS and Storage Spaces Direct to jointly to detect and correct storage controller and storage media corruptions within both metadata and data.
• ReFS provides the functionality to scale and support large data sets.

Storage Spaces

• Integrity-streams, online repair, and alternate data copies enable ReFS and Storage Spaces to jointly to detect and correct storage controller and storage media corruptions within both metadata and data.
• Storage Spaces deployments can also utilize block-cloning and the scalability offered in ReFS.
• Deploying ReFS on Storage Spaces with shared SAS enclosures is suitable for hosting archival data and storing user documents.

Storage Spaces supports local non-removable direct-attached via BusTypes SATA, SAS, NVME, or attached via HBA (aka RAID controller in pass-through mode).

Basic disks

Deploying ReFS on basic disks is best suited for applications that implement their own software resiliency and availability solutions.

• Applications that introduce their own resiliency and availability software solutions can leverage integrity-streams, block-cloning, and the ability to scale and support large data sets.

If you plan to use ReFS for CSV (Cluster Shared Volumes), please consider the limitations to pre-format your later CSV volumes with ReFS. For CSV: NTFS should be used for traditional SANs. ReFS should be used on top of S2D.

Basic disks include local non-removable direct-attached via BusTypes SATA, SAS, NVME, or RAID. Basic disks do not include Storage Spaces.

Backup target

Deploying ReFS as a backup target is best suited for applications and hardware that implement their own resiliency and availability solutions.

• Applications that introduce their own resiliency and availability software solutions can leverage integrity-streams, block-cloning, and the ability to scale and support large data sets.

Backup targets include the above supported configurations. Please contact application and storage array vendors for support details on Fiber Channel and iSCSI SANs. For SANs, if features such as thin provisioning, TRIM/UNMAP, or Offloaded Data Transfer (ODX) are required, NTFS must be used.

Обзор файловой системы ReFS Resilient File System (ReFS) overview

Область применения: Windows Server 2019, Windows Server 2016, Windows Server 2012 R2, Windows Server 2012, Windows Server (половина ежегодного канала) Applies to: Windows Server 2019, Windows Server 2016, Windows Server 2012 R2, Windows Server 2012, Windows Server (Semi-Annual Channel)

ReFS — это новейшая файловая система Майкрософт, которая повышает уровень доступности данных, обеспечивает эффективное масштабирование для очень крупных наборов данных и различных вариантов нагрузки и гарантирует целостность данных благодаря устойчивости к повреждениям. The Resilient File System (ReFS) is Microsoft’s newest file system, designed to maximize data availability, scale efficiently to large data sets across diverse workloads, and provide data integrity by means of resiliency to corruption. Она используется для растущего числа сценариев хранения данных и служит основой для будущих нововведений. It seeks to address an expanding set of storage scenarios and establish a foundation for future innovations.

Основные преимущества Key benefits

Устойчивость Resiliency

ReFS представляет новые функции, которые позволяют точно определить повреждения и исправить их, сохраняя систему в оперативном режиме и обеспечивая целостность и доступность данных. ReFS introduces new features that can precisely detect corruptions and also fix those corruptions while remaining online, helping provide increased integrity and availability for your data:

• Потоки целостности — ReFS использует контрольные суммы для метаданных и, при необходимости, для данных файлов, что дает возможность точно определить повреждения ReFS. Integrity-streams — ReFS uses checksums for metadata and optionally for file data, giving ReFS the ability to reliably detect corruptions.
• Интеграция дисковых пространств — при использовании в сочетании с зеркальным пространством или пространством с контролем четности ReFS может автоматически исправлять обнаруженные повреждения с помощью альтернативной копии данных, предоставляемой дисковыми пространствами. Storage Spaces integration — When used in conjunction with a mirror or parity space, ReFS can automatically repair detected corruptions using the alternate copy of the data provided by Storage Spaces. Процессы восстановления локализованы в области повреждения и выполняются в оперативном режиме без простоя томов. Repair processes are both localized to the area of corruption and performed online, requiring no volume downtime.
• Утилизация данных — если том поврежден, а альтернативная копия данных не существует, ReFS удаляет поврежденные данные из пространства имен. Salvaging data — If a volume becomes corrupted and an alternate copy of the corrupted data doesn’t exist, ReFS removes the corrupt data from the namespace. ReFS сохраняет том в оперативном режиме при обработке большинства неисправляемых повреждений, но в редких случаях ReFS необходимо перевести том в автономный режим. ReFS keeps the volume online while it handles most non-correctable corruptions, but there are rare cases that require ReFS to take the volume offline.
• Упреждающее исправление ошибок — помимо проверки данных перед операциями чтения и записи, ReFS предоставляет сканер целостности данных, который называют средством очистки. Proactive error correction — In addition to validating data before reads and writes, ReFS introduces a data integrity scanner, known as a scrubber. Оно периодически сканирует том, пытаясь выявить скрытые повреждения и профилактически запуская процесс восстановления поврежденных данных. This scrubber periodically scans the volume, identifying latent corruptions and proactively triggering a repair of corrupt data.

Производительность Performance

Помимо улучшения устойчивости, ReFS представляет новые функции для рабочих нагрузок, требующих высокой производительности, и виртуализированных рабочих нагрузок. In addition to providing resiliency improvements, ReFS introduces new features for performance-sensitive and virtualized workloads. Оптимизация уровней в режиме реального времени, клонирование блоков и разреженный метод VDL — вот примеры развивающихся возможностей ReFS, которые предназначены для поддержки динамических и разнообразных рабочих нагрузок. Real-time tier optimization, block cloning, and sparse VDL are good examples of the evolving capabilities of ReFS, which are designed to support dynamic and diverse workloads:

Четность с зеркальным ускорением. Четность с зеркальным ускорением обеспечивает высокую производительность и эффективное хранение данных. Mirror-accelerated parity — Mirror-accelerated parity delivers both high performance and also capacity efficient storage for your data.

Для обеспечения высокой производительности и эффективного хранения данных ReFS делит том на две логические группы памяти, которые называются уровнями. To deliver both high performance and capacity efficient storage, ReFS divides a volume into two logical storage groups, known as tiers. У них могут быть собственные типы диска и устойчивости, что позволяет каждому уровню оптимизировать производительность или емкость. These tiers can have their own drive and resiliency types, allowing each tier to optimize for either performance or capacity. Вот некоторые примеры конфигурации: Some example configurations include:

Уровень производительности Performance tier	Уровень емкости Capacity tier
Зеркальный SSD Mirrored SSD	Зеркальный жесткий диск Mirrored HDD
Зеркальный SSD Mirrored SSD	SSD с контролем четности Parity SSD
Зеркальный SSD Mirrored SSD	Жесткий диск с контролем четности Parity HDD

После настройки этих уровней ReFS использует их для реализации быстрого хранилища для «горячих» данных и объемного хранилища «холодных» данных: Once these tiers are configured, ReFS use them to deliver fast storage for hot data and capacity-efficient storage for cold data:

• Все операции записи происходят на уровне производительности, а большие блоки данных, которые остаются на уровне производительности, перемещаются на уровень емкости в режиме реального времени. All writes will occur in the performance tier, and large chunks of data that remain in the performance tier will be efficiently moved to the capacity tier in real-time.
• Если используется гибридное развертывание (смешивание дисков флэш-памяти и жесткого диска), кэш в Локальные дисковые пространства помогает ускорить операции чтения, уменьшая воздействие характеристик фрагментации данных виртуализованных рабочих нагрузок. If using a hybrid deployment (mixing flash and HDD drives), the cache in Storage Spaces Direct helps accelerate reads, reducing the effect of data fragmentation characteristic of virtualized workloads. В противном случае при использовании развертывания «все-Flash» операции чтения также выполняются на уровне производительности. Otherwise, if using an all-flash deployment, reads also occur in the performance tier.

В средах Windows Server четность с зеркальным ускорение поддерживается только для локальных дисковых пространств. For Server deployments, mirror-accelerated parity is only supported on Storage Spaces Direct. Мы советуем использовать четность с ускорением зеркального отображения только с рабочими нагрузками архивации и резервного копирования. We recommend using mirror-accelerated parity with archival and backup workloads only. Для виртуализированных и других высокопроизводительных произвольных рабочих нагрузок рекомендуется использовать трехстороннее зеркала для повышения производительности. For virtualized and other high performance random workloads, we recommend using three-way mirrors for better performance.

Ускорение операций виртуальных машин. В ReFS реализованы новые возможности, предназначенные для повышения производительности виртуализированных рабочих нагрузок. Accelerated VM operations — ReFS introduces new functionality specifically targeted to improve the performance of virtualized workloads:

• Клонирование блоков — эта функция ускоряет операции копирования, позволяя выполнять быстрые операции слияния ВМ. Block cloning — Block cloning accelerates copy operations, enabling quick, low-impact VM checkpoint merge operations.
• Разреженный метод VDL — этот метод позволяет ReFS быстро обнулять файлы, что уменьшает время, необходимое для создания фиксированных VHD, с десятков минут до нескольких секунд. Sparse VDL — Sparse VDL allows ReFS to zero files rapidly, reducing the time needed to create fixed VHDs from 10s of minutes to mere seconds.

Переменный размер кластера — ReFS поддерживает размер кластера 4 КБ и 64 КБ. Variable cluster sizes — ReFS supports both 4K and 64K cluster sizes. Рекомендуемый для большинства развертываний размер кластера — 4 КБ, а кластеры размером 64 КБ подходят для работы с крупными, последовательными рабочими нагрузками ввода-вывода. 4K is the recommended cluster size for most deployments, but 64K clusters are appropriate for large, sequential IO workloads.

Масштабируемость Scalability

Файловая система ReFS предназначена для поддержки очень больших наборов данных (до миллионов терабайтов) без снижения производительности и с недоступным ранее уровнем масштабирования. ReFS is designed to support extremely large data sets—millions of terabytes—without negatively impacting performance, achieving greater scale than prior file systems.

Поддерживаемые развертывания Supported deployments

Корпорация Майкрософт разработала NTFS специально для общего назначения с широким спектром конфигураций и рабочих нагрузок, но для клиентов, которым специально требуются доступность, устойчивость и (или) масштабирование, предоставляемые ReFS, корпорация Майкрософт поддерживает ссылки для использования в следующих конфигурациях и сценариях. Microsoft has developed NTFS specifically for general-purpose use with a wide range of configurations and workloads, however for customers specially requiring the availability, resiliency, and/or scale that ReFS provides, Microsoft supports ReFS for use under the following configurations and scenarios.

Все поддерживаемые конфигурации ReFS должны использовать сертифицированное оборудование Windows Server Catalog и удовлетворять требованиям приложений. All ReFS supported configurations must use Windows Server Catalog certified hardware and meet application requirements.

Локальные дисковые пространства Storage Spaces Direct

Развертывать ReFS в локальных дисковых пространствах рекомендуется для виртуализированных рабочих нагрузок либо запоминающих устройств, подключенных к сети: Deploying ReFS on Storage Spaces Direct is recommended for virtualized workloads or network-attached storage:

• Четность с зеркальным ускорением и кэш в локальных дисковых пространствах обеспечивают высокую производительность и эффективное хранение данных. Mirror-accelerated parity and the cache in Storage Spaces Direct deliver high performance and capacity-efficient storage.
• Благодаря клонированию блоков и разреженным VDL значительно ускоряются операции с VHDX-файлами, такие как создание, объединение и расширение. The introduction of block clone and sparse VDL dramatically accelerates .vhdx file operations, such as creation, merge, and expansion.
• Целостность — потоки, оперативное восстановление и альтернативные копии данных позволяют ReFS и Локальные дисковые пространства совместно обнаруживать и исправлять повреждения контроллера хранилища и носителей в метаданных и данных. Integrity-streams, online repair, and alternate data copies enable ReFS and Storage Spaces Direct to jointly to detect and correct storage controller and storage media corruptions within both metadata and data.
• ReFS предоставляет возможности масштабирования и поддержки крупных наборов данных. ReFS provides the functionality to scale and support large data sets.

Дисковые пространства Storage Spaces

• Целостность — потоки, оперативное восстановление и альтернативные копии данных позволяют раздельно обнаруживать и исправлять повреждения контроллеров хранилища и носителей в метаданных и данных с помощью ссылок и дисковых пространств . Integrity-streams, online repair, and alternate data copies enable ReFS and Storage Spaces to jointly to detect and correct storage controller and storage media corruptions within both metadata and data.
• Кроме того, в средах дисковых пространств можно использовать функции клонирования блоков и масштабирования, доступные в ReFS. Storage Spaces deployments can also utilize block-cloning and the scalability offered in ReFS.
• Развертывание ReFS на дисковых пространствах с общими вложениями SAS подходит для размещения архивных данных и хранения пользовательских документов. Deploying ReFS on Storage Spaces with shared SAS enclosures is suitable for hosting archival data and storing user documents.

Дисковые пространства поддерживают локальные несъемные диски с прямым подключением через Бустипес SATA, SAS, NVME или подключенные через адаптер шины (RAID-контроллер в сквозном режиме). Storage Spaces supports local non-removable direct-attached via BusTypes SATA, SAS, NVME, or attached via HBA (aka RAID controller in pass-through mode).

Базовые диски Basic disks

Развертывание ReFS на базовых дисках лучше всего подходит для приложений, которые реализуют собственные решения по обеспечению устойчивости и доступности программного обеспечения. Deploying ReFS on basic disks is best suited for applications that implement their own software resiliency and availability solutions.

• Приложения, в которых реализованы собственные программные решения для устойчивости и доступности, могут использовать потоки целостности, клонирование блоков и возможность масштабирования и поддержки крупных наборов данных. Applications that introduce their own resiliency and availability software solutions can leverage integrity-streams, block-cloning, and the ability to scale and support large data sets.

Если вы планируете использовать ReFS для CSV (общие тома кластера), рассмотрите ограничения на предварительный формат последующих томов CSV с помощью ReFS. If you plan to use ReFS for CSV (Cluster Shared Volumes), please consider the limitations to pre-format your later CSV volumes with ReFS. Для CSV: NTFS следует использовать для традиционных сетей SAN. For CSV: NTFS should be used for traditional SANs. Ссылки должны использоваться поверх S2D. ReFS should be used on top of S2D.

К базовым дискам относятся локальные несъемные диски с прямым подключением через Бустипес SATA, SAS, NVME или RAID. Basic disks include local non-removable direct-attached via BusTypes SATA, SAS, NVME, or RAID. Базовые диски не включают дисковые пространства. Basic disks do not include Storage Spaces.

Цель резервного копирования Backup target

Развертывание ReFS в качестве целевого объекта резервного копирования лучше всего подходит для приложений и оборудования, которые реализуют собственные решения устойчивости и доступности. Deploying ReFS as a backup target is best suited for applications and hardware that implement their own resiliency and availability solutions.

• Приложения, в которых реализованы собственные программные решения для устойчивости и доступности, могут использовать потоки целостности, клонирование блоков и возможность масштабирования и поддержки крупных наборов данных. Applications that introduce their own resiliency and availability software solutions can leverage integrity-streams, block-cloning, and the ability to scale and support large data sets.

Целевые объекты резервного копирования включают указанные выше поддерживаемые конфигурации. Backup targets include the above supported configurations. Свяжитесь с поставщиками массивов приложений и хранилища для получения сведений о поддержке по оптоволоконному каналу и сетям хранения данных iSCSI. Please contact application and storage array vendors for support details on Fiber Channel and iSCSI SANs. Для сетей SAN, если требуются такие функции, как тонкая подготовка, обрезка, отмена СОПОСТАВЛЕНИЯ или Передача данных (ODX), необходимо использовать NTFS. For SANs, if features such as thin provisioning, TRIM/UNMAP, or Offloaded Data Transfer (ODX) are required, NTFS must be used.