Resilient File System (ReFS) overview

Applies to: Windows Server 2019, Windows Server 2016, Windows Server 2012 R2, Windows Server 2012, Windows Server (Semi-Annual Channel)

The Resilient File System (ReFS) is Microsoft’s newest file system, designed to maximize data availability, scale efficiently to large data sets across diverse workloads, and provide data integrity by means of resiliency to corruption. It seeks to address an expanding set of storage scenarios and establish a foundation for future innovations.

Key benefits

Resiliency

ReFS introduces new features that can precisely detect corruptions and also fix those corruptions while remaining online, helping provide increased integrity and availability for your data:

• Integrity-streams — ReFS uses checksums for metadata and optionally for file data, giving ReFS the ability to reliably detect corruptions.
• Storage Spaces integration — When used in conjunction with a mirror or parity space, ReFS can automatically repair detected corruptions using the alternate copy of the data provided by Storage Spaces. Repair processes are both localized to the area of corruption and performed online, requiring no volume downtime.
• Salvaging data — If a volume becomes corrupted and an alternate copy of the corrupted data doesn’t exist, ReFS removes the corrupt data from the namespace. ReFS keeps the volume online while it handles most non-correctable corruptions, but there are rare cases that require ReFS to take the volume offline.
• Proactive error correction — In addition to validating data before reads and writes, ReFS introduces a data integrity scanner, known as a scrubber. This scrubber periodically scans the volume, identifying latent corruptions and proactively triggering a repair of corrupt data.

Performance

In addition to providing resiliency improvements, ReFS introduces new features for performance-sensitive and virtualized workloads. Real-time tier optimization, block cloning, and sparse VDL are good examples of the evolving capabilities of ReFS, which are designed to support dynamic and diverse workloads:

Mirror-accelerated parity — Mirror-accelerated parity delivers both high performance and also capacity efficient storage for your data.

To deliver both high performance and capacity efficient storage, ReFS divides a volume into two logical storage groups, known as tiers. These tiers can have their own drive and resiliency types, allowing each tier to optimize for either performance or capacity. Some example configurations include:

Performance tier	Capacity tier
Mirrored SSD	Mirrored HDD
Mirrored SSD	Parity SSD
Mirrored SSD	Parity HDD

Once these tiers are configured, ReFS use them to deliver fast storage for hot data and capacity-efficient storage for cold data:

• All writes will occur in the performance tier, and large chunks of data that remain in the performance tier will be efficiently moved to the capacity tier in real-time.
• If using a hybrid deployment (mixing flash and HDD drives), the cache in Storage Spaces Direct helps accelerate reads, reducing the effect of data fragmentation characteristic of virtualized workloads. Otherwise, if using an all-flash deployment, reads also occur in the performance tier.

For Server deployments, mirror-accelerated parity is only supported on Storage Spaces Direct. We recommend using mirror-accelerated parity with archival and backup workloads only. For virtualized and other high performance random workloads, we recommend using three-way mirrors for better performance.

Accelerated VM operations — ReFS introduces new functionality specifically targeted to improve the performance of virtualized workloads:

• Block cloning — Block cloning accelerates copy operations, enabling quick, low-impact VM checkpoint merge operations.
• Sparse VDL — Sparse VDL allows ReFS to zero files rapidly, reducing the time needed to create fixed VHDs from 10s of minutes to mere seconds.

Variable cluster sizes — ReFS supports both 4K and 64K cluster sizes. 4K is the recommended cluster size for most deployments, but 64K clusters are appropriate for large, sequential IO workloads.

Scalability

ReFS is designed to support extremely large data sets—millions of terabytes—without negatively impacting performance, achieving greater scale than prior file systems.

Supported deployments

Microsoft has developed NTFS specifically for general-purpose use with a wide range of configurations and workloads, however for customers specially requiring the availability, resiliency, and/or scale that ReFS provides, Microsoft supports ReFS for use under the following configurations and scenarios.

All ReFS supported configurations must use Windows Server Catalog certified hardware and meet application requirements.

Storage Spaces Direct

Deploying ReFS on Storage Spaces Direct is recommended for virtualized workloads or network-attached storage:

• Mirror-accelerated parity and the cache in Storage Spaces Direct deliver high performance and capacity-efficient storage.
• The introduction of block clone and sparse VDL dramatically accelerates .vhdx file operations, such as creation, merge, and expansion.
• Integrity-streams, online repair, and alternate data copies enable ReFS and Storage Spaces Direct to jointly to detect and correct storage controller and storage media corruptions within both metadata and data.
• ReFS provides the functionality to scale and support large data sets.

Storage Spaces

• Integrity-streams, online repair, and alternate data copies enable ReFS and Storage Spaces to jointly to detect and correct storage controller and storage media corruptions within both metadata and data.
• Storage Spaces deployments can also utilize block-cloning and the scalability offered in ReFS.
• Deploying ReFS on Storage Spaces with shared SAS enclosures is suitable for hosting archival data and storing user documents.

Storage Spaces supports local non-removable direct-attached via BusTypes SATA, SAS, NVME, or attached via HBA (aka RAID controller in pass-through mode).

Basic disks

Deploying ReFS on basic disks is best suited for applications that implement their own software resiliency and availability solutions.

• Applications that introduce their own resiliency and availability software solutions can leverage integrity-streams, block-cloning, and the ability to scale and support large data sets.

If you plan to use ReFS for CSV (Cluster Shared Volumes), please consider the limitations to pre-format your later CSV volumes with ReFS. For CSV: NTFS should be used for traditional SANs. ReFS should be used on top of S2D.

Basic disks include local non-removable direct-attached via BusTypes SATA, SAS, NVME, or RAID. Basic disks do not include Storage Spaces.

Backup target

Deploying ReFS as a backup target is best suited for applications and hardware that implement their own resiliency and availability solutions.

• Applications that introduce their own resiliency and availability software solutions can leverage integrity-streams, block-cloning, and the ability to scale and support large data sets.

Backup targets include the above supported configurations. Please contact application and storage array vendors for support details on Fiber Channel and iSCSI SANs. For SANs, if features such as thin provisioning, TRIM/UNMAP, or Offloaded Data Transfer (ODX) are required, NTFS must be used.

Для чего нужна файловая система ReFS – преимущества над NTFS и другими

Новая файловая система Microsoft ReFS была первоначально представлена ​​на Windows Server 2012. Она включена в Windows 10, где её можно использовать только как часть функции Storage Spaces для пула дисков. ReFS усовершенствована для Windows Server 2016 и является частью Windows 10 Pro для рабочих станций.

Что такое ReFS

Аббревиатура от «Resilient File System», ReFS – это новая файловая система, созданная с использованием кода текущей файловой системы NTFS. На данный момент ReFS – это не просто замена NTFS. Она имеет свои преимущества и недостатки. У Вас не получиться просто использовать ReFS вместо NTFS на вашем системном диске.

Поскольку ReFS – новейшая файловая система Microsoft, она предназначена для решения нескольких основных проблем с NTFS. ReFS призвана быть более устойчивой к повреждению данных, лучше работать с определенными рабочими нагрузками и лучше масштабироваться для очень больших файловых систем. Давайте посмотрим, что именно это означает.

ReFS защищает от повреждения данных

ReFS использует контрольные суммы для метаданных, а также может также использовать контрольные суммы для данных файла. Всякий раз, когда он читает или записывает файл, ReFS проверяет контрольную сумму, чтобы убедиться, что она правильная. Это означает, что сама файловая система имеет встроенный способ обнаружения искажения данных.

ReFS интегрирован с функцией Storage Spaces. Если вы настроили зеркальное хранилище с помощью ReFS, Windows может легко обнаружить повреждение файловой системы и автоматически устранить проблемы, скопировав альтернативную копию данных на другом диске. Эта функция доступна как для Windows 10, так и для Windows 8.1.

Если ReFS обнаруживает поврежденные данные и не имеет альтернативной копии, с которой она может восстановиться, файловая система может немедленно удалить поврежденные данные с диска. Это не требует перезагрузки вашей системы или отключения от сети, как это делает NTFS.

ReFS не просто проверяет файлы на предмет повреждения при чтении и записи. Автоматический сканер целостности данных регулярно проверяет все файлы на диске, чтобы идентифицировать и исправлять повреждение данных. Это автоматическая корректирующая файловая система. Вам вообще не нужно использовать chkdsk.

Новая файловая система также устойчива к повреждению данных другими способами. Например, когда вы обновляете метаданные файла – например, название файла – файловая система NTFS будет напрямую изменять метаданные файла. Если ваш компьютер выйдет из строя или отключится питание во время этого процесса, может произойти повреждение данных. Когда вы обновляете метаданные файла, файловая система ReFS создаст новую копию метаданных. ReFS присвоит файлу новые метаданные только после записи новых метаданных. Нет опасности, что метаданные файла будут повреждены. Это называется «копирование на запись». Copy-on-write также доступен для других современных файловых систем, таких как ZFS и BtrFS для Linux, а также для файловой системы Apple – APFS.

ReFS устраняет некоторые ограничения NTFS

ReFS более современна, чем NTFS, и поддерживает гораздо большие объемы и более длинные имена файлов. В долгосрочной перспективе – это важные улучшения.

В файловой системе NTFS путь к файлу ограничен 255 символами. С ReFS имя файла может содержать до 32768 символов. Windows 10 позволяет отключить это ограничение для символов в файловой системе NTFS, но она всегда отключена на томах ReFS.

ReFS отказалась от имён файлов в формате DOS 8.3. На томе NTFS вы можете получить доступ к C:\Program Files\ через C:\PROGRA

1\ для обеспечения совместимости со старым программным обеспечением. Эти устаревшие имена файлов удалены из ReFS.

NTFS имеет теоретический максимальный объем в 16 эксабайт, а у ReFS теоретический максимальный объем – 262144 экзабайт. Сейчас это не имеет большого значения. но в один прекрасный день.

ReFS может быть быстрее, иногда

ReFS не просто предназначена для повышения производительности по сравнению с NTFS. Вместо этого Microsoft фокусируется на нескольких важных направлениях оптимизации, которые делают ReFS намного эффективнее в некоторых случаях.

Например, при использовании хранилища, ReFS поддерживает «оптимизацию уровня реального времени». У вас может быть пул дисков оптимизированными на производительность или дисков, оптимизированных на объем. ReFS всегда будет записывать диски, максимизируя производительность. В фоновом режиме ReFS автоматически переместит большие куски данных на более медленные диски для долговременного хранения.

В Windows Server 2016 Microsoft улучшила ReFS, чтобы обеспечить лучшую производительность с помощью определенных функций виртуальной машины. Microsoft Hyper-V использует эти преимущества (теоретически, другое программное обеспечение для виртуальных машин могло бы поддерживать их, если захочет).

Например, ReFS поддерживает клонирование блоков, что ускоряет процесс клонирования виртуальных машин и операции слияния контрольных точек. Чтобы создать клонированную копию виртуальной машины, ReFS нужно только создать новую копию метаданных на диске и привязать к существующим данным на диске. Это связано с тем, что в ReFS несколько файлов могут указывать на одни и те же базовые данные на диске. Когда виртуальная машина изменяется и новые записи сохраняются на диск, она записывает их в другое место, а исходные данные виртуальной машины остаются на диске. Это значительно ускоряет процесс клонирования и требует гораздо меньшего объема дискового пространства.

ReFS также предлагает новую функцию «sparse VDL», которая позволяет ReFS быстро записывать нули в большой файл. Это значительно ускоряет создание нового, пустого файла виртуального жесткого диска фиксированного размера (VHD). В NTFS это может занять 10 минут, а ReFS сделает тоже самое за несколько секунд.

ReFS не может заменить NTFS

Все эти функции звучат неплохо, но вы не можете просто переключиться на ReFS из NTFS. Windows не может загружаться из файловой системы ReFS и требует NTFS.

ReFS также исключает другие функции, доступные в NTFS, включая сжатие и шифрование файловой системы, жесткие ссылки, расширенные атрибуты, дедупликацию данных и дисковые квоты. Тем не менее, ReFS совместима с различными функциями. Например, если вы не можете выполнять шифрование определенных данных на уровне файловой системы, ReFS будет совместима с полным типом шифрования BitLocker.

Windows 10 не позволит вам форматировать любой старый раздел как ReFS. В настоящее время вы можете использовать ReFS только для пространства хранения, где её функции помогают защитить данные от повреждений. В Windows Server 2016 вы можете форматировать тома с помощью ReFS вместо NTFS. Возможно, вы захотите сделать это для тома, на котором планируете хранить виртуальные машины. Однако, вы по-прежнему не сможете использовать ReFS для загрузочного тома. Windows может загружаться только с диска NTFS.

Непонятно, какое будущее ждёт ReFS. Возможно, Microsoft в один прекрасный день улучшит её, пока она не сможет полностью заменить NTFS во всех версиях Windows. Неясно, когда это может произойти. Но, на данный момент ReFS может использоваться только для конкретных задач.

Как использовать ReFS

На обычном ПК с Windows 10 вы можете использовать ReFS только через функцию «Управление дисковыми пространствами». Обязательно отформатируйте свои пространства хранения как ReFS, а не NTFS, когда будете выбирать параметр файловой системы. Вы сможете автоматически использовать функции целостности данных в файловой системе ReFS, если её выберете.

В Windows Server вы можете форматировать некоторые тома как ReFS с помощью обычных инструментов управления дисками, что может быть особенно полезно, если вы используете виртуальные машины на этих дисках. Но, вы не можете отформатировать загрузочный диск как ReFS, и вы потеряете доступ к некоторым функциям NTFS.