Выполнение дедупликации данных Running Data Deduplication

Применяется к: Windows Server (Semi-Annual Channel), Windows Server 2016 Applies to: Windows Server (Semi-Annual Channel), Windows Server 2016

Запуск заданий дедупликации данных вручную Running Data Deduplication jobs manually

Каждое запланированное задание дедупликации данных можно запустить вручную следующими командлетами PowerShell: You can run every scheduled Data Deduplication job manually by using the following PowerShell cmdlets:

• Start-DedupJob : Запуск нового задания дедупликации данных. Start-DedupJob : Starts a new Data Deduplication job
• Stop-DedupJob : Остановка задания дедупликации данных, которое уже выполняется (или удаляется из очереди). Stop-DedupJob : Stops a Data Deduplication job already in progress (or removes it from the queue)
• Get-DedupJob : Показывает все активные и поставленные в очередь задания дедупликации данных Get-DedupJob : Shows all the active and queued Data Deduplication jobs

При запуске задания вручную доступны все параметры, доступные при планировании задания дедупликации данных, за исключением параметров планирования. All settings that are available when you schedule a Data Deduplication job are also available when you start a job manually except for the scheduling-specific settings. Например, чтобы запустить вручную задание оптимизации с высоким приоритетом и максимальным использованием ЦП и памяти, выполните следующую команду PowerShell с правами администратора: For example, to start an Optimization job manually with high priority, maximum CPU usage, and maximum memory usage, execute the following PowerShell command with administrator privilege:

Наблюдение за дедупликацией данных Monitoring Data Deduplication

Задание выполнено успешно Job successes

Так как дедупликация данных использует модель постобработки, важно, чтобы задания дедупликации данных выполнялись успешно. Because Data Deduplication uses a post-processing model, it is important that Data Deduplication jobs succeed. Простой способ проверить состояние последнего задания — использовать Get-DedupStatus командлет PowerShell. An easy way to check the status of the most recent job is to use the Get-DedupStatus PowerShell cmdlet. Периодически проверяйте следующие поля: Periodically check the following fields:

• Для задания оптимизации проверьте LastOptimizationResult (0 = Успех), LastOptimizationResultMessage , и LastOptimizationTime (должны быть указаны последние). For the Optimization job, look at LastOptimizationResult (0 = Success), LastOptimizationResultMessage , and LastOptimizationTime (should be recent).
• Для задания сбора мусора проверьте LastGarbageCollectionResult (0 = Успех), LastGarbageCollectionResultMessage , и LastGarbageCollectionTime (должны быть указаны последние). For the Garbage Collection job, look at LastGarbageCollectionResult (0 = Success), LastGarbageCollectionResultMessage , and LastGarbageCollectionTime (should be recent).
• Для задания очистки целостности проверьте LastScrubbingResult (0 = Успех), LastScrubbingResultMessage , и LastScrubbingTime (должны быть указаны последние). For the Integrity Scrubbing job, look at LastScrubbingResult (0 = Success), LastScrubbingResultMessage , and LastScrubbingTime (should be recent).

Дополнительные сведения об успешном выполнении и невыполнении заданий можно найти в средстве просмотра событий Windows в разделе \Applications and Services Logs\Windows\Deduplication\Operational . More detail on job successes and failures can be found in the Windows Event Viewer under \Applications and Services Logs\Windows\Deduplication\Operational .

Уровни оптимизации Optimization rates

Одним из индикаторов сбоя при выполнении задания оптимизации является снижение скорости оптимизации. Оно может означать, что задания оптимизации не могут своевременно обрабатывать все изменения или обновления. One indicator of Optimization job failure is a downward-trending optimization rate which might indicate that the Optimization jobs are not keeping up with the rate of changes, or churn. Частоту оптимизации можно проверить с помощью Get-DedupStatus командлета PowerShell. You can check the optimization rate by using the Get-DedupStatus PowerShell cmdlet.

Get-DedupStatus имеет два поля, относящиеся к скорости оптимизации: OptimizedFilesSavingsRate и SavingsRate . Get-DedupStatus has two fields that are relevant to the optimization rate: OptimizedFilesSavingsRate and SavingsRate . Для отслеживания важны оба этих поля, но каждое из них имеет уникальное значение. These are both important values to track, but each has a unique meaning.

• OptimizedFilesSavingsRate применяется только к файлам, которые находятся в политике для оптимизации ( space used by optimized files after optimization / logical size of optimized files ). OptimizedFilesSavingsRate applies only to the files that are ‘in-policy’ for optimization ( space used by optimized files after optimization / logical size of optimized files ).
• SavingsRate применяется ко всему тому ( space used by optimized files after optimization / total logical size of the optimization ). SavingsRate applies to the entire volume ( space used by optimized files after optimization / total logical size of the optimization ).

Отключение дедупликации данных Disabling Data Deduplication

Чтобы отключить дедупликацию данных, запустите задание отмены оптимизации. To turn off Data Deduplication, run the Unoptimization job. Чтобы отменить оптимизацию тома, выполните следующую команду: To undo volume optimization, run the following command:

Если том не имеет достаточно места для хранения неоптимизированных данных, задание отмены оптимизации завершится сбоем. The Unoptimization job will fail if the volume does not have sufficient space to hold the unoptimized data.

Часто задаваемые вопросы Frequently Asked Questions

Существует ли какой-либо доступный пакет управления System Center Operations Manager для отслеживания дедупликации данных? Is there a System Center Operations Manager Management Pack available to monitor Data Deduplication? Да. Yes. Дедупликацию данных можно отслеживать при помощи пакета управления System Center для File Server. Data Deduplication can be monitored through the System Center Management Pack for File Server. Дополнительные сведения см. в руководстве по пакету управления System Center для File Server 2012 R2. For more information, see the Guide for System Center Management Pack for File Server 2012 R2 document.

Записки IT специалиста

Технический блог специалистов ООО»Интерфейс»

• Главная
• Включаем дедупликацию в Windows 10

Включаем дедупликацию в Windows 10

Технология дедупликации давно известна пользователям серверных редакций Windows и широко используется системными администраторами, позволяя эффективно использовать дисковое пространство. В клиентских системах данная возможность отсутствует, так как домашние сценарии не предусматривают хранение больших массивов данных, однако может быть легко добавлена, что, несомненно, окажется полезным для специалистов и компьютерных энтузиастов.

Мы уже рассказывали, как включить дедупликацию в Windows 8, что позволило многим, и нам в том числе, сэкономить заметные средства, отложив расширение дискового пространства за счет более эффективного его использования.

Windows 10 в момент выпуска такой возможности не имела, что легко объясняется: пакеты для дедупликации энтузиасты берут из серверной версии ОС, разработка которой производится с некоторым опозданием от клиентской. Это же следует учитывать и при обновлении ОС на новую версию, так на дату выпуска пакеты для дедупликации могут быть еще не готовы.

Следует помнить, что в отличии от предыдущих версий под названием Windows 10 скрывается целый ряд операционных систем, для каждой из которых нужны свои пакеты для поддержи дедупликации. На текущий момент существуют следующие стабильные выпуски Windows 10:

Версия	Сборка	Дата выпуска	Окончание поддержки	Дедупликация
1507 (RTM)	10240	29.07.2015	09.05.2017	НЕТ
1511	10586	12.11.2015	10.10.2017	ДА
1607	14393	02.08.2016	10.04.2018	ДА
1703	15063	05.04.2017	09.10.2018	ДА
1709	16299	17.10.2017	09.04.2019	ДА
1803	17134	30.04.2018	12.10.2019	ДА
1809	17763	13.11.2018	10.11.2020	ДА
1903	18362	21.05.2019	08.12.2020	ДА
1909	18363	12.11.2019	11.05.2021	ДА
2004	19041	27.05.2020	14.12.2021	ДА

Здесь мы говорим об основной основном канале поддержки SAC ( Semi-Annual Channel, Полугодовой канал) и не касаемся LTSC-версий, которые не предназначены для широкого использования.

Первая сборка пакетов для дедупликации в Windows 10 была собрана из пакетов для Windows Server 2012 и предназначалась для сборки 10514, затем стали доступны пакеты на базе Windows Server 2016 ( 14393) и 2019 ( 17763) . В настоящий момент Windows Server с возможностями рабочего стола переведен в LTSC-канал (не путать с одноименным каналом Windows 10) и новые версии выпускаются раз в два три года. В полугодовом канале обслуживания (SAC) находится просто Windows Server без номера года, который не имеет возможностей рабочего стола и предназначен в первую очередь для быстрого внедрения инноваций в области контейнеров и микрослужб.

Таким образом все промежуточные версии Windows 10, не имеющие LTSC-аналога серверной системы получают пакеты дедупликации из полугодового канала. Чем это может быть чревато? Прежде всего стабильностью, так как SAC-версии Windows сервер не предполагают использования в системах с возможностями рабочего стола и на текущий момент известно об определенных проблемах с пакетами для версии 20.04, которые на одной системе могут работать, а на другой — не работать.

Отдельно следует уточнить насчет инсайдерской версии. В ней дедупликация работать не будет. Поэтому выбирайте то, что вам нужнее.

Кроме того, многих интересует вопрос: что будет с дедуплицированными томами при обновлении с Windows 8 или между версиями Windows 10. Отвечаем: ничего страшного не произойдет, но ваши данные окажутся недоступны до тех пор, пока вы не установите пакеты для текущей сборки ОС.

Важно! Дедупликация в Windows 10 не является документированной функцией и может работать некорректно (либо не работать вообще) и, хотя большинство сценариев не несет угроз целостности данных, они могут оказаться недоступными, в т.ч. и на длительное время. Поэтому используйте данную возможность исключительно на свой страх и риск.

Так как основное обсуждение дедупликации в Windows 10 и размещение пакетов происходят на зарубежном форуме, а многие ссылки ведут на файлообменники мы перепаковали содержимое пакетов и разместили их на собственном сервере.

Каждый архив содержит основные и языковые пакеты, мы оставили только en-US и ru-RU, устанавливать следует какой-то один.

Для установки откройте командную строку от имени Администратора, перейдите в каталог с распакованными пакетами и выполните приведенные ниже команды, в данном примере мы будем устанавливать пакеты для 2004 русской версии:

Для установки других версий или языков соответствующим образом измените команды. Наименования пакетов отличаются только номером сборки и указателем языка.

Сразу после установки пакетов дедуплицированные данные снова станут доступны, перезагрузка не требуется. Для управления дедупликацией в Windows 10 нет графических инструментов, поэтому воспользуемся PowerShell.

Если вы впервые включили дедупликацию, то следует импортировать модуль PowerShell, для этого запустите консоль PowerShell от имени администратора выполните следующие команды:

Теперь, например, можно проверить наличие дедуплицированных томов и их состояние:

Но не будем забегать вперед и начнем сначала. Для включения дедупликации воспользуйтесь командой:

Запущенная без параметров данная команда установит тип использования тома «по умолчанию», который подходит для общего применения, однако тип использования можно указывать явно, допустимы следующие значения:

• HyperV — тома для хранения виртуальных машин Hyper-V.
• Backup -том оптимизирован для виртуализированных серверов резервного копирования.
• Default — том общего назначения. Это значение по умолчанию.

Например, данная команда включит виртуализацию с типом использования Hyper-V или сменит его, если дедупликация для данного тома уже включена:

Обратите внимание, что данная команда только включает дедупликацию, но не производит ее, ваши данные будут оставаться неоптимизированными до тех пор, пока не будет выполнено задание оптимизации (вручную или по расписанию).

Но перед тем, как запускать задание стоит выполнить более тонкую настройку процесса дедупликации, во-первых, установим минимальный возраст данных для дедупликации, чем он ниже, тем эффективнее процесс, но тем выше нагрузка на систему (задание по оптимизации выполняется каждый час). Например, установим данное значение в 0, т.е. оптимизироваться будут все данные:

Вторая полезная опция — минимальный размер дедуплицируемого файла, на томах с виртуальными машинами имеет смысл установить это значение таким образом, чтобы дедупликации подвергались виртуальные диски, но не затрагивались мелкие файлы конфигурации. Размер устанавливается в байтах, т.е. установить 512 МБ следует командой:

Опции командлета Set-DedupVolume можно сочетать, т.е. сразу установить и минимальный размер, и минимальное время. Еще одна полезная опция — исключения, например, следующая команда исключит из процесса дедупликации папку E:\Folder1:

Путь следует указывать полностью, несколько значений разделяются запятыми, если путь содержит пробелы, то его следует взять в кавычки. Повторный запуск команды перезаписывает параметры. Важно понимать этот момент, так как если вы позже захотите добавить в исключения еще и E:\Folder2, то команда должна выглядеть так:

В противном случае вы Folder2 в список исключений добавите, а Folder1 удалите.

Аналогичным образом можно задать исключения по типам файлов, для этого укажите нужные расширения (без точки) через запятую, например, исключим временные файлы и сигнальные lck-файлы:

После того, как все необходимые настройки выполнены, можно запускать процесс оптимизации, для этого предназначена команда:

Проконтролировать ход выполнения задания можно командой:

Таким образом можно выполнять не только оптимизацию, данный командлет поддерживает следующие виды задач:

• Optimization -запуск процесса дедупликации данных.
• Garbage Collection — применяется для очистки всех неиспользуемых или удаленных данных.
• Scrubbing — проверка целостности дедуплицированных данных.
• Unoptimization — запуск процесса отмены дедупликации данных.

Первоначальный процесс оптимизации может занять продолжительное время, создавая при этом достаточно большую нагрузку на диск, учитывайте это. Скорость дедупликации на практике находится в пределах 20-40 МБ/с, так что необходимое время можно достаточно точно рассчитать и спланировать.

Стоит ли овчинка выделки? Однозначно стоит, ниже приведен результат дедупликации нашего хранилища виртуальных машин:

Если бы не данная технология, то нам давно бы пришлось топать за новыми дисками вдвое большего объема.

Закончив с дедупликацией, не забудьте проверить и откорректировать расписание регламентных заданий, некоторые из них запланированы на глубокую ночь, когда рабочая станция будет гарантировано выключена, поэтому перенесите их на рабочее время.

Если вам потребуется отключить дедупликацию тома, то сначала необходимо выполнить обратный оптимизации процесс, который вернет все данные на свои места. Если свободного места не хватит, то процесс будет приостановлен.

После того как дедупликация данных будет отменена можно будет выключить этот режим для тома, для этого выполните:

Как видим, благодаря энтузиастам, мы вполне успешно можем использовать все преимущества дедупликации в среде настольных ОС, а некоторая сложность установки и управления с лихвой компенсируется экономией дискового пространства. Да и возможность эта востребована в основном специалистами или энтузиастами, для которых работа в командной строке не является чем-то экзотическим.

Помогла статья? Поддержи автора и новые статьи будут выходить чаще:

Или подпишись на наш Телеграм-канал: