Наборы кластеров Cluster sets

Область применения: Windows Server 2019 Applies to: Windows Server 2019

Наборы кластеров — это новая облачная технология масштабирования в выпуске Windows Server 2019, увеличивающая число узлов кластера в одном программно определенном облаке центра обработки данных (SDDC) в соответствии с порядком. Cluster sets is the new cloud scale-out technology in the Windows Server 2019 release that increases cluster node count in a single Software Defined Data Center (SDDC) cloud by orders of magnitude. Набор кластеров — это слабо связанное Группирование нескольких отказоустойчивых кластеров: вычислений, хранения или Hyper-схождения. A cluster set is a loosely-coupled grouping of multiple Failover Clusters: compute, storage or hyper-converged. Технология наборов кластеров обеспечивает возможность объединения виртуальных машин между кластерами членов в наборе кластеров и единым пространством имен хранилища в пределах набора для поддержки жидкости виртуальных машин. Cluster sets technology enables virtual machine fluidity across member clusters within a cluster set and a unified storage namespace across the set in support of virtual machine fluidity.

При сохранении существующих возможностей управления отказоустойчивыми кластерами в кластерах членов экземпляр набора кластеров дополнительно предоставляет Ключевые варианты использования для управления жизненным циклом в статистической обработке. While preserving existing Failover Cluster management experiences on member clusters, a cluster set instance additionally offers key use cases around lifecycle management at the aggregate. В этом руководствах по ознакомлению с Windows Server 2019 приведены необходимые фундаментальные сведения, а также пошаговые инструкции по оценке технологии наборов кластеров с помощью PowerShell. This Windows Server 2019 Scenario Evaluation Guide provides you the necessary background information along with step-by-step instructions to evaluate cluster sets technology using PowerShell.

Введение в технологию Technology introduction

Технология наборов кластеров разрабатывается для удовлетворения конкретных клиентов, которые задаются в масштабируемом программном обеспечении. Cluster sets technology is developed to meet specific customer requests operating Software Defined Datacenter (SDDC) clouds at scale. Предложение о значении кластера может быть представлено следующим образом: Cluster sets value proposition may be summarized as the following:

• Значительно увеличить поддерживаемое облачное масштабирование SDDC для запуска высокодоступных виртуальных машин путем объединения нескольких небольших кластеров в одну крупную структуру даже при хранении границы сбоя программного обеспечения в одном кластере. Significantly increase the supported SDDC cloud scale for running highly available virtual machines by combining multiple smaller clusters into a single large fabric, even while keeping the software fault boundary to a single cluster
• Управление всем жизненным циклом отказоустойчивого кластера, включая подключение и удаление кластеров без влияния на доступность виртуальных машин клиента, с помощью бесплатной миграции виртуальных машин в этой крупной структуре Manage entire Failover Cluster lifecycle including onboarding and retiring clusters, without impacting tenant virtual machine availability, via fluidly migrating virtual machines across this large fabric
• Простое изменение соотношения вычисления и хранилища в вашей технологии Hyper-by Easily change the compute-to-storage ratio in your hyper-converged I
• Преимущества доменов сбоя и групп доступности Azure в разных кластерах при первоначальном размещении виртуальных машин и последующей миграции виртуальных машин Benefit from Azure-like Fault Domains and Availability sets across clusters in initial virtual machine placement and subsequent virtual machine migration
• Смешивание и сопоставление различных поколений аппаратного обеспечения в одной структуре набора кластеров, даже при хранении отдельных доменов сбоя в однородном режиме для максимальной эффективности. Mix-and-match different generations of CPU hardware into the same cluster set fabric, even while keeping individual fault domains homogeneous for maximum efficiency. Обратите внимание, что рекомендация того же оборудования по-прежнему имеется в каждом отдельном кластере, а также в целом наборе кластеров. Please note that the recommendation of same hardware is still present within each individual cluster as well as the entire cluster set.

Из представления высокого уровня это может выглядеть как набор кластеров. From a high level view, this is what cluster sets can look like.

Ниже приведена краткая сводка по каждому элементу на изображении выше. The following provides a quick summary of each of the elements in the above image:

Кластер управления Management cluster

Кластер управления в наборе кластеров — это отказоустойчивый кластер, на котором размещена плоскость высокой доступности для всего набора кластеров, а также ссылка на унифицированное пространство имен хранилища (пространство имен набора кластеров), Scale-Out файловый сервер (SOFS). Management cluster in a cluster set is a Failover Cluster that hosts the highly-available management plane of the entire cluster set and the unified storage namespace (Cluster Set Namespace) referral Scale-Out File Server (SOFS). Кластер управления логически отделяется от кластеров-членов, на которых выполняются рабочие нагрузки виртуальных машин. A management cluster is logically decoupled from member clusters that run the virtual machine workloads. Это делает плоскость управления кластера отказоустойчивой для любых локализованных сбоев в масштабе всего кластера, например потери возможностей кластера членов. This makes the cluster set management plane resilient to any localized cluster-wide failures, e.g. loss of power of a member cluster.

Кластер членов Member cluster

Кластером членов в наборе кластеров обычно являются традиционные рабочие нагрузки, работающие под управлением виртуальных машин с технологией Hyper-Clustering и Локальные дисковые пространства. A member cluster in a cluster set is typically a traditional hyper-converged cluster running virtual machine and Storage Spaces Direct workloads. Кластеры с несколькими участниками участвуют в развертывании одного набора кластеров, образуя более крупную облачную структуру SDDC. Multiple member clusters participate in a single cluster set deployment, forming the larger SDDC cloud fabric. Кластеры-члены отличаются от кластера управления в двух ключевых аспектах: кластеры членов участвуют в конструкциях домена сбоя и группы доступности, а также размеры кластеров-членов для размещения виртуальных машин и Локальные дисковые пространства рабочих нагрузок. Member clusters differ from a management cluster in two key aspects: member clusters participate in fault domain and availability set constructs, and member clusters are also sized to host virtual machine and Storage Spaces Direct workloads. Виртуальные машины с наборами кластеров, перемещаемые между границами кластера в наборе кластеров, не должны размещаться в кластере управления по этой причине. Cluster set virtual machines that move across cluster boundaries in a cluster set must not be hosted on the management cluster for this reason.

Ссылка на пространство имен набора кластеров SOFS Cluster set namespace referral SOFS

Ссылка на пространство имен набора кластеров (пространство имен кластера) SOFS — это Scale-Out файловый сервер, где каждый общий ресурс SMB в пространстве имен Set кластера SOFS является ссылочной общей папкой — типа «Симплереферрал», впервые появившийся в Windows Server 2019. A cluster set namespace referral (Cluster Set Namespace) SOFS is a Scale-Out File Server wherein each SMB Share on the Cluster Set Namespace SOFS is a referral share – of type ‘SimpleReferral’ newly introduced in Windows Server 2019. Эта ссылка позволяет клиентам SMB получать доступ к целевой общей папке SMB, размещенной на SOFS кластере участников. This referral allows Server Message Block (SMB) clients access to the target SMB share hosted on the member cluster SOFS. Пространство имен набора кластеров SOFS является облегченным механизмом ссылок и, таким образом, не участвует в пути ввода-вывода. The cluster set namespace referral SOFS is a light-weight referral mechanism and as such, does not participate in the I/O path. Ссылки SMB кэшируются на каждом из клиентских узлов, а кластер устанавливает динамическое обновление автоматически при необходимости. The SMB referrals are cached perpetually on the each of the client nodes and the cluster sets namespace dynamically updates automatically these referrals as needed.

Мастер набора кластеров Cluster set master

В наборе кластеров связь между кластерами членов слабо связана и координируется новым ресурсом кластера под названием «главный набор кластера» (CS-Master). In a cluster set, the communication between the member clusters is loosely coupled, and is coordinated by a new cluster resource called «Cluster Set Master» (CS-Master). Как и любой другой ресурс кластера, CS-Master является высокодоступным и устойчивым к сбоям кластера отдельных участников и (или) сбоям узла кластера управления. Like any other cluster resource, CS-Master is highly available and resilient to individual member cluster failures and/or the management cluster node failures. С помощью нового поставщика WMI набора кластеров CS-Master предоставляет конечную точку управления для всех взаимодействий управляемости кластера. Through a new Cluster Set WMI provider, CS-Master provides the management endpoint for all Cluster Set manageability interactions.

Рабочий процесс набора кластеров Cluster set worker

В развертывании набора кластеров CS-Master взаимодействует с новым ресурсом кластера в кластерах-членах, именуемых «рабочим заданием кластера» (CS-Worker). In a Cluster Set deployment, the CS-Master interacts with a new cluster resource on the member Clusters called «Cluster Set Worker» (CS-Worker). CS-Worker действует как единственная связь в кластере для координации взаимодействия локального кластера согласно запросу CS-Master. CS-Worker acts as the only liaison on the cluster to orchestrate the local cluster interactions as requested by the CS-Master. Примерами таких взаимодействий могут служить размещение виртуальных машин и Инвентаризация ресурсов в локальной кластеризации. Examples of such interactions include virtual machine placement and cluster-local resource inventorying. Для каждого из кластеров-членов в наборе кластеров существует только один экземпляр CS-Worker. There is only one CS-Worker instance for each of the member clusters in a cluster set.

Домен сбоя Fault domain

Домен сбоя — это группирование артефактов программного и аппаратного обеспечения, которые администратор может выполнить совместно со сбоем при возникновении сбоя. A fault domain is the grouping of software and hardware artifacts that the administrator determines could fail together when a failure does occur. Хотя Администратор может назначить один или несколько кластеров вместе с доменом сбоя, каждый узел может участвовать в домене сбоя в группе доступности. While an administrator could designate one or more clusters together as a fault domain, each node could participate in a fault domain in an availability set. Набор кластеров, создаваемых в результате проектирования, оставляет за собой решение определить границу домена сбоя для администратора, который хорошо подходит для топологии центров обработки данных, например PDU, Networking (общий ресурс кластеров-членов). Cluster sets by design leaves the decision of fault domain boundary determination to the administrator who is well-versed with data center topology considerations – e.g. PDU, networking – that member clusters share.

Группа доступности Availability set

Группа доступности помогает администратору настроить требуемую избыточность кластеризованных рабочих нагрузок в доменах сбоя, организуя их в группу доступности и развертывая рабочие нагрузки в этой группе доступности. An availability set helps the administrator configure desired redundancy of clustered workloads across fault domains, by organizing those into an availability set and deploying workloads into that availability set. Предположим, что при развертывании двухуровневых приложения мы рекомендуем настроить по крайней мере две виртуальные машины в группе доступности для каждого уровня, что гарантирует, что при отключении одного домена сбоя в группе доступности приложение будет иметь по крайней мере одну виртуальную машину на каждом уровне, размещенном в другом домене сбоя той же группы доступности. Let’s say if you are deploying a two-tier application, we recommend that you configure at least two virtual machines in an availability set for each tier which will ensure that when one fault domain in that availability set goes down, your application will at least have one virtual machine in each tier hosted on a different fault domain of that same availability set.

Зачем использовать наборы кластеров Why use cluster sets

Кластерные наборы предоставляют преимущество масштабирования без ущерба для устойчивости. Cluster sets provides the benefit of scale without sacrificing resiliency.

Кластерные наборы позволяют кластеризацию нескольких кластеров вместе для создания большой структуры, в то время как каждый кластер остается независимым для обеспечения устойчивости. Cluster sets allows for clustering multiple clusters together to create a large fabric, while each cluster remains independent for resiliency. Например, имеется несколько кластеров ХЦИ с 4 узлами, работающих под управлением виртуальных машин. For example, you have a several 4-node HCI clusters running virtual machines. Каждый кластер обеспечивает устойчивость, необходимую для самого себя. Each cluster provides the resiliency needed for itself. Если в хранилище или памяти начинается заполнение, то на следующем шаге происходит масштабирование. If the storage or memory starts to fill up, scaling up is your next step. С увеличением масштаба существует несколько параметров и рекомендаций. With scaling up, there are some options and considerations.

1. Добавьте дополнительное хранилище в текущий кластер. Add more storage to the current cluster. С Локальные дисковые пространства это может быть непросто, так как одни и те же диски модели и встроенного по могут быть недоступны. With Storage Spaces Direct, this may be tricky as the exact same model/firmware drives may not be available. Также необходимо учитывать время перестроения. The consideration of rebuild times also need to be taken into account.
2. Добавьте дополнительную память. Add more memory. Что делать, если вы израсходоване память, которую могут выполнять компьютеры? What if you are maxed out on the memory the machines can handle? Что если все доступные слоты памяти заполнены? What if all available memory slots are full?
3. Добавьте дополнительные расчетные узлы с дисками в текущий кластер. Add additional compute nodes with drives into the current cluster. Мы вернемся к варианту 1, который необходимо учитывать. This takes us back to Option 1 needing to be considered.
4. Приобретение всего нового кластера Purchase a whole new cluster

Именно здесь наборы кластеров предоставляют преимущество масштабирования. This is where cluster sets provides the benefit of scaling. При добавлении кластеров в набор кластеров можно воспользоваться преимуществами хранилища или памяти, которые могут быть доступны в другом кластере без дополнительных покупок. If I add my clusters into a cluster set, I can take advantage of storage or memory that may be available on another cluster without any additional purchases. С точки зрения устойчивости Добавление дополнительных узлов в Локальные дисковые пространства не будет предоставлять дополнительные голоса для кворума. From a resiliency perspective, adding additional nodes to a Storage Spaces Direct is not going to provide additional votes for quorum. Как упоминалось здесь, кластер Локальные дисковые пространства может сохранить потери 2 узлов, прежде чем переходить к следующему. As mentioned here, a Storage Spaces Direct Cluster can survive the loss of 2 nodes before going down. Если кластер ХЦИ с 4 узлами, то 3 узла перейдут весь кластер. If you have a 4-node HCI cluster, 3 nodes go down will take the entire cluster down. Если вы используете кластер с 8 узлами, то 3 узла перейдут в кластер все три узла. If you have an 8-node cluster, 3 nodes go down will take the entire cluster down. При наличии наборов кластеров, в которых в наборе ХЦИ кластеры размером 2 4 узлов, 2 узла в одном ХЦИ и 1 узел в другом ХЦИ, оба кластера остаются. With Cluster sets that has two 4-node HCI clusters in the set, 2 nodes in one HCI go down and 1 node in the other HCI go down, both clusters remain up. Лучше ли создать один кластер с большим размером 16 узлов Локальные дисковые пространства или разбить его на кластеры 4 4-node и использовать наборы кластеров? Is it better to create one large 16-node Storage Spaces Direct cluster or break it down into four 4-node clusters and use cluster sets? Наличие кластеров 4 4-node с наборами кластеров обеспечивает одинаковую масштабируемость, но более надежную устойчивость в том, что несколько процессорных узлов могут переключаться (неожиданно или для обслуживания) и оставаться в производстве. Having four 4-node clusters with cluster sets gives the same scale, but better resiliency in that multiple compute nodes can go down (unexpectedly or for maintenance) and production remains.

Рекомендации по развертыванию наборов кластеров Considerations for deploying cluster sets

При рассмотрении того, какие наборы кластеров необходимо использовать, учитывайте следующие вопросы. When considering if cluster sets is something you need to use, consider these questions:

• Требуется ли выход за пределы текущих вычислений ХЦИ и масштабирования хранилища? Do you need to go beyond the current HCI compute and storage scale limits?
• Все ли операции вычислений и хранения не одинаковы? Are all compute and storage not identically the same?
• Вы выполняете динамическую миграцию виртуальных машин между кластерами? Do you live migrate virtual machines between clusters?
• Хотите ли вы, например, группы доступности компьютеров Azure и домены сбоя в нескольких кластерах? Would you like Azure-like computer availability sets and fault domains across multiple clusters?
• Требуется ли время для просмотра всех кластеров, чтобы определить, где следует разместить новые виртуальные машины? Do you need to take the time to look at all your clusters to determine where any new virtual machines need to be placed?

Если вы ответили да, то набор кластеров — это то, что вам нужно. If your answer is yes, then cluster sets is what you need.

Существует несколько других элементов, которые следует учитывать, когда в центре управления мобильными данными может измениться общая стратегия центра обработки данных. There are a few other items to consider where a larger SDDC might change your overall data center strategies. Хорошим примером является SQL Server. SQL Server is a good example. Требуется ли выполнение лицензирования SQL на дополнительных узлах при перемещении SQL Server виртуальных машин между кластерами? Does moving SQL Server virtual machines between clusters require licensing SQL to run on additional nodes?

Масштабируемый файловый сервер и наборы кластеров Scale-out file server and cluster sets

В Windows Server 2019 существует новая роль масштабируемого файлового сервера с именем Infrastructure Scale-Out файловый сервер (SOFS). In Windows Server 2019, there is a new scale-out file server role called Infrastructure Scale-Out File Server (SOFS).

Следующие рекомендации относятся к роли SOFS инфраструктуры. The following considerations apply to an Infrastructure SOFS role:

В отказоустойчивом кластере может быть только одна роль кластера SOFS инфраструктуры. There can be at most only one Infrastructure SOFS cluster role on a Failover Cluster. Роль SOFS инфраструктуры создается путем указания параметра -Infrastructure в командлете Add-клустерскалеаутфилесерверроле . Infrastructure SOFS role is created by specifying the «-Infrastructure» switch parameter to the Add-ClusterScaleOutFileServerRole cmdlet. Пример: For example:

Каждый том CSV, созданный при отработке отказа, автоматически активирует создание общего ресурса SMB с автоматически созданным именем на основе имени тома CSV. Each CSV volume created in the failover automatically triggers the creation of an SMB Share with an auto-generated name based on the CSV volume name. Администратор не может напрямую создавать или изменять общие ресурсы SMB в роли SOFS, кроме операций создания и изменения томов CSV. An administrator cannot directly create or modify SMB shares under an SOFS role, other than via CSV volume create/modify operations.

В конфигурациях с согласованием в технологии Hyper-SOFS инфраструктура позволяет клиенту SMB (узлу Hyper-V) взаимодействовать с гарантированной непрерывной доступностью (CA) с сервером SMB инфраструктуры SOFS. In hyper-converged configurations, an Infrastructure SOFS allows an SMB client (Hyper-V host) to communicate with guaranteed Continuous Availability (CA) to the Infrastructure SOFS SMB server. Этот ЦС с согласованием по протоколу SMB использует виртуальные машины, обращающиеся к своим файлам виртуального диска (VHDx), в которые пересылается удостоверение виртуальной машины-владельца между клиентом и сервером. This hyper-converged SMB loopback CA is achieved via virtual machines accessing their virtual disk (VHDx) files where the owning virtual machine identity is forwarded between the client and server. Эта переадресация удостоверений разрешает VHDx-файлы с помощью ACL так же, как и в стандартных конфигурациях кластера с поддержкой Hyper-in. This identity forwarding allows ACL-ing VHDx files just as in standard hyper-converged cluster configurations as before.

После создания кластера пространство имен набора кластеров основывается на инфраструктуре, SOFS на каждом из кластеров членов, а также в SOFS инфраструктуры в кластере управления. Once a cluster set is created, the cluster set namespace relies on an Infrastructure SOFS on each of the member clusters, and additionally an Infrastructure SOFS in the management cluster.

В момент добавления кластера членов в набор кластеров администратор указывает имя инфраструктуры, SOFS в этом кластере, если он уже существует. At the time a member cluster is added to a cluster set, the administrator specifies the name of an Infrastructure SOFS on that cluster if one already exists. Если инфраструктура SOFS не существует, эта операция создает новую роль SOFS инфраструктуры в новом кластере-члене. If the Infrastructure SOFS does not exist, a new Infrastructure SOFS role on the new member cluster is created by this operation. Если роль SOFS инфраструктуры уже существует в кластере участников, операция добавления неявно переименовывает ее в указанное имя по мере необходимости. If an Infrastructure SOFS role already exists on the member cluster, the Add operation implicitly renames it to the specified name as needed. Все существующие одноэлементные SMB-серверы или роли SOFS, не относящиеся к инфраструктуре, не используются кластером членов. Any existing singleton SMB servers, or non-Infrastructure SOFS roles on the member clusters are left unutilized by the cluster set.

На момент создания кластера администратор может использовать уже существующий объект компьютера AD в качестве корня пространства имен в кластере управления. At the time the cluster set is created, the administrator has the option to use an already-existing AD computer object as the namespace root on the management cluster. Операции создания набора кластеров создают роль кластера SOFS инфраструктуры в кластере управления или Переименовывает существующую роль SOFS инфраструктуры, как описано выше для кластеров членов. Cluster set creation operations create the Infrastructure SOFS cluster role on the management cluster or renames the existing Infrastructure SOFS role just as previously described for member clusters. Инфраструктура SOFS в кластере управления используется в качестве ссылки на пространство имен набора кластеров (пространство имен кластера) SOFS. The Infrastructure SOFS on the management cluster is used as the cluster set namespace referral (Cluster Set Namespace) SOFS. Это просто означает, что каждый общий ресурс SMB в кластере с пространством имен SOFS является ссылочной общей папкой — типа «Симплереферрал» — впервые появился в Windows Server 2019. It simply means that each SMB Share on the cluster set namespace SOFS is a referral share – of type ‘SimpleReferral’ — newly introduced in Windows Server 2019. Эта ссылка позволяет клиентам SMB получать доступ к целевой общей папке SMB, размещенной в кластере участников SOFS. This referral allows SMB clients access to the target SMB share hosted on the member cluster SOFS. Пространство имен набора кластеров SOFS является облегченным механизмом ссылок и, таким образом, не участвует в пути ввода-вывода. The cluster set namespace referral SOFS is a light-weight referral mechanism and as such, does not participate in the I/O path. Ссылки SMB кэшируются на каждом из узлов клиента, и кластер устанавливает динамическое обновление для них автоматически при необходимости. The SMB referrals are cached perpetually on the each of the client nodes and the cluster sets namespace dynamically updates automatically these referrals as needed

Создание набора кластеров Creating a Cluster Set

Предварительные условия Prerequisites

При создании набора кластеров рекомендуется выполнять следующие предварительные требования. When creating a cluster set, you following prerequisites are recommended:

1. Настройка клиента управления под управлением Windows Server 2019. Configure a management client running Windows Server 2019.
2. Установите средства отказоустойчивого кластера на этом сервере управления. Install the Failover Cluster tools on this management server.
3. Создание элементов кластера (по крайней мере два кластера с общими томами кластера по меньшей мере на каждом кластере) Create cluster members (at least two clusters with at least two Cluster Shared Volumes on each cluster)
4. Создайте кластер управления (физический или гостевой), на котором находятся кластеры членов. Create a management cluster (physical or guest) that straddles the member clusters. Такой подход гарантирует, что уровень управления кластера будет доступен, несмотря на возможные сбои в работе кластера. This approach ensures that the Cluster sets management plane continues to be available despite possible member cluster failures.

Шаги Steps

Создайте новый набор кластеров из трех кластеров, как определено в предварительных требованиях. Create a new cluster set from three clusters as defined in the prerequisites. На приведенной ниже диаграмме приведен пример создаваемых кластеров. The below chart gives an example of clusters to create. В этом примере в качестве имени кластера будет использоваться ксмастер. The name of the cluster set in this example will be CSMASTER.

Имя кластера, Cluster Name	Имя SOFS инфраструктуры, которое будет использоваться позже Infrastructure SOFS Name to be used later
SET-CLUSTER SET-CLUSTER	SOFS-CLUSTERING SOFS-CLUSTERSET
CLUSTER1 CLUSTER1	SOFS — CLUSTER1 SOFS-CLUSTER1
CLUSTER2 CLUSTER2	SOFS — CLUSTER2 SOFS-CLUSTER2

После создания всех кластеров выполните следующую команду, чтобы создать мастер набора кластеров. Once all the clusters have been created, use the following command to create the cluster set master:

Используйте приведенный ниже набор команд, чтобы добавить сервер кластера в набор кластеров. Use the command set below to add a Cluster Server to the cluster set:

При использовании схемы статических IP-адресов необходимо включить параметр -статикаддресс x. x. x. x в команде New-Clustering . If you are using a static IP Address scheme, you must include -StaticAddress x.x.x.x on the New-ClusterSet command.

После создания кластера, установленного для членов кластера, можно вывести список узлов и его свойства. Once you have created the cluster set out of cluster members, you can list the nodes set and its properties. Чтобы перечислить все кластеры элементов в наборе кластеров, выполните следующие действия. To enumerate all the member clusters in the cluster set:

Для перечисления всех кластеров элементов в наборе кластеров, включая узлы кластера управления, выполните следующие действия. To enumerate all the member clusters in the cluster set including the management cluster nodes:

Чтобы получить список всех узлов из кластеров участников, выполните следующие действия. To list all the nodes from the member clusters:

Чтобы получить список всех групп ресурсов в наборе кластеров, выполните следующие действия. To list all the resource groups across the cluster set:

Чтобы убедиться, что процесс создания набора кластеров создал одну общую папку SMB (определенную как Volume1, или любую папку CSV с меткой, ScopeName — это имя серверного файла инфраструктуры и путь как и то, и другое) в SOFS инфраструктуры для каждого тома кластера каждого из этих членов. To verify that the cluster set creation process created one SMB share (identified as Volume1, or whatever the CSV folder is labeled with, the ScopeName being the Infrastructure File Server name and the path as both) on the Infrastructure SOFS for each cluster member’s CSV volume:

Для проверки можно собирать журналы отладки для набора кластеров. Cluster set debug logs can be collected for review. Кластерный набор и журналы отладки кластера можно собирать для всех членов и кластера управления: Both the cluster set and cluster debug logs can be gathered for all members and the management cluster:

Настройте ограниченное делегирование Kerberos между всеми членами набора кластеров. Configure Kerberos constrained delegation between all cluster set members.

Настройте для типа проверки подлинности динамической миграции виртуальной машины между кластерами протокол Kerberos на каждом узле в наборе кластеров. Configure the cross-cluster virtual machine live migration authentication type to Kerberos on each node in the Cluster Set.

Добавьте кластер управления в локальную группу администраторов на каждом узле в наборе кластеров. Add the management cluster to the local administrators group on each node in the cluster set.

Создание новых виртуальных машин и добавление их в наборы кластеров Creating new virtual machines and adding to cluster sets

Следующим шагом после создания набора кластеров является создание новых виртуальных машин. After creating the cluster set, the next step is to create new virtual machines. Обычно, когда нужно создать виртуальные машины и добавить их в кластер, необходимо выполнить некоторые проверки на кластерах, чтобы узнать, какие из них лучше использовать. Normally, when it is time to create virtual machines and add them to a cluster, you need to do some checks on the clusters to see which it may be best to run on. Эти проверки могут включать: These checks could include:

• Сколько памяти доступно на узлах кластера? How much memory is available on the cluster nodes?
• Сколько места на диске доступно на узлах кластера? How much disk space is available on the cluster nodes?
• Требуются ли для виртуальной машины определенные требования к хранилищу (т. е. я хочу, чтобы мои SQL Server виртуальные машины были подключены к кластеру с более быстрыми дисками, а виртуальная машина инфраструктуры не столь важна и может работать на более медленных дисках). Does the virtual machine require specific storage requirements (i.e. I want my SQL Server virtual machines to go to a cluster running faster drives; or, my infrastructure virtual machine is not as critical and can run on slower drives).

После получения ответов на эти вопросы вы создадите виртуальную машину в кластере. Once this questions are answered, you create the virtual machine on the cluster you need it to be. Одним из преимуществ наборов кластеров является то, что наборы кластеров выполняют эти проверки и размещают виртуальную машину на наиболее оптимальном узле. One of the benefits of cluster sets is that cluster sets do those checks for you and place the virtual machine on the most optimal node.

Приведенные ниже команды будут указывать оптимальный кластер и развернуть в нем виртуальную машину. The below commands will both identify the optimal cluster and deploy the virtual machine to it. В приведенном ниже примере создается новая виртуальная машина, указывающая, что для виртуальной машины доступно по крайней мере 4 гигабайта памяти и потребуется использовать 1 виртуальный процессор. In the below example, a new virtual machine is created specifying that at least 4 gigabytes of memory is available for the virtual machine and that it will need to utilize 1 virtual processor.

• Убедитесь, что для виртуальной машины доступен 4 ГБ. ensure that 4gb is available for the virtual machine
• Задайте виртуальный процессор, используемый в 1 set the virtual processor used at 1
• Убедитесь, что для виртуальной машины доступно по меньшей мере 10% ресурсов ЦП. check to ensure there is at least 10% CPU available for the virtual machine

По завершении вы получите сведения о виртуальной машине и месте ее размещения. When it completes, you will be given the information about the virtual machine and where it was placed. В приведенном выше примере будет показано следующее: In the above example, it would show as:

Если вам не хватает памяти, объема ЦП или дискового пространства для добавления виртуальной машины, вы получите следующую ошибку: If you were to have not enough memory, CPU capacity, or disk space to add the virtual machine, you will receive the following error:

После создания виртуальной машины она будет отображаться в диспетчере Hyper-V на указанном узле. Once the virtual machine has been created, it will be displayed in Hyper-V manager on the specific node specified. Чтобы добавить его в качестве виртуальной машины набора кластеров и добавить его в кластер, выполните следующую команду: To add it as a cluster set virtual machine, and add it to the cluster, use the command below:

После завершения будет выведен результат: When it completes, the output will be:

Если вы добавили кластер с существующими виртуальными машинами, виртуальные машины также потребуется зарегистрировать в наборах кластеров. If you have added a cluster with existing virtual machines, the virtual machines will also need to be registered with Cluster sets. Чтобы зарегистрировать все эти виртуальные машины одновременно, используйте следующие команды: To register all those virtual machines at once, the command to use is:

Однако процесс еще не завершен, так как путь к виртуальной машине необходимо добавить в пространство имен набора кластеров. However, the process is not yet complete, as the path to the virtual machine needs to be added to the cluster set namespace.

Например, добавлен существующий кластер, который содержит предварительно настроенные виртуальные машины, расположенные на локальном общий том кластера (CSV). For example: An existing cluster is added and it has pre-configured virtual machines which reside on the local Cluster Shared Volume (CSV). Путь для VHDX будет выглядеть примерно так: «C:\ClusterStorage\Volume1\MYVM\Virtual Hard Дискс\мивм.вхдкс». The path for the VHDX would be something similar to «C:\ClusterStorage\Volume1\MYVM\Virtual Hard Disks\MYVM.vhdx». Необходимо выполнить миграцию хранилища, так как пути CSV являются локальными для одного одноэлементного кластера и, следовательно, недоступны для виртуальной машины после их динамического переноса в кластерах участников. A storage migration would need to be accomplished, as CSV paths are by design local to a single member cluster and will therefore not be accessible to the virtual machine once they are live migrated across member clusters.

В этом примере CLUSTER3 был добавлен в набор кластеров с помощью Add-ClusterSetMember с инфраструктурой Scale-Out файлового сервера в качестве SOFS-CLUSTER3. In this example, CLUSTER3 was added to the cluster set using Add-ClusterSetMember with the Infrastructure Scale-Out File Server as SOFS-CLUSTER3. Чтобы переместить конфигурацию и хранилище виртуальной машины, выполните команду: To move the virtual machine configuration and storage, the command is:

По завершении вы получите предупреждение: Once it completes, you will receive a warning:

Это предупреждение можно проигнорировать, так как предупреждение «не обнаружено изменений в конфигурации хранилища ролей виртуальной машины». This warning can be ignored as the warning is «No changes in the virtual machine role storage configuration were detected». Причина предупреждения в том, что фактическое физическое расположение не изменяется; только пути конфигурации. The reason for the warning as the actual physical location does not change; only the configuration paths.

Дополнительные сведения о Move-Вмстораже см. по этой ссылке. For more information on Move-VMStorage, please review this link.

Динамическая миграция виртуальной машины между разными кластерами кластеров отличается от предыдущей. Live migrating a virtual machine between different cluster set clusters is not the same as in the past. В сценариях, не относящихся к кластеру, эти шаги будут выглядеть следующим образом: In non-cluster set scenarios, the steps would be:

1. Удалите роль виртуальной машины из кластера. remove the virtual machine role from the Cluster.
2. Динамическая миграция виртуальной машины в узел-член другого кластера. live migrate the virtual machine to a member node of a different cluster.
3. Добавьте виртуальную машину в кластер в качестве новой роли виртуальной машины. add the virtual machine into the cluster as a new virtual machine role.

В кластере эти действия не требуются, и требуется только одна команда. With Cluster sets these steps are not necessary and only one command is needed. Сначала следует настроить все сети для миграции с помощью команды: First, you should set all networks to be available for the migration with the command:

Например, я хочу переместить виртуальную машину с набором кластеров из CLUSTER1 в NODE2-CL3 на CLUSTER3. For example, I want to move a Cluster Set virtual machine from CLUSTER1 to NODE2-CL3 on CLUSTER3. Единственная команда: The single command would be:

Обратите внимание, что это не приводит к перемещению файлов конфигурации и хранилища виртуальных машин. Please note that this does not move the virtual machine storage or configuration files. Это не обязательно, так как путь к виртуальной машине остается \ \ SOFS-CLUSTER1\VOLUME1. This is not necessary as the path to the virtual machine remains as \\SOFS-CLUSTER1\VOLUME1. После регистрации виртуальной машины в наборах кластеров путь к общей папке серверного сервера инфраструктуры, диски и виртуальная машина не должны находиться на том же компьютере, что и виртуальная машина. Once a virtual machine has been registered with cluster sets has the Infrastructure File Server share path, the drives and virtual machine do not require being on the same machine as the virtual machine.

Создание доменов сбоя для групп доступности Creating Availability sets Fault Domains

Как описано в статье Общие сведения о доменах сбоя и группах доступности Azure можно настроить в наборе кластеров. As described in the introduction, Azure-like fault domains and availability sets can be configured in a cluster set. Это полезно для первоначального размещения виртуальных машин и миграции между кластерами. This is beneficial for initial virtual machine placements and migrations between clusters.

В приведенном ниже примере в наборе кластеров участвуют четыре кластера. In the example below, there are four clusters participating in the cluster set. В наборе логический домен сбоя будет создан с двумя кластерами и доменом сбоя, созданным с двумя другими кластерами. Within the set, a logical fault domain will be created with two of the clusters and a fault domain created with the other two clusters. Эти два домена сбоя будут состоять из набора новой. These two fault domains will comprise the Availabiilty Set.

В приведенном ниже примере CLUSTER1 и CLUSTER2 будут находиться в домене сбоя с именем дс1 — , а CLUSTER3 и CLUSTER4 будут находиться в домене сбоя с именем FD2. In the example below, CLUSTER1 and CLUSTER2 will be in a fault domain called FD1 while CLUSTER3 and CLUSTER4 will be in a fault domain called FD2. Группа доступности будет называться ксмастер-AS и состоять из двух доменов сбоя. The availability set will be called CSMASTER-AS and be comprised of the two fault domains.

Чтобы создать домены сбоя, выполните следующие команды: To create the fault domains, the commands are:

Чтобы убедиться, что они созданы успешно, Get-ClusterSetFaultDomain можно запустить с отображением выходных данных. To ensure they have been created successfully, Get-ClusterSetFaultDomain can be run with its output shown.

Теперь, когда домены сбоя созданы, необходимо создать группу доступности. Now that the fault domains have been created, the availability set needs to be created.

Чтобы проверить, что он создан, используйте: To validate it has been created, then use:

При создании новых виртуальных машин необходимо использовать параметр-Availability в процессе определения оптимального узла. When creating new virtual machines, you would then need to use the -AvailabilitySet parameter as part of determining the optimal node. Поэтому он будет выглядеть примерно так: So it would then look something like this:

Удаление кластера из наборов кластеров из-за различных жизненных циклов. Removing a cluster from cluster sets due to various life cycles. Иногда требуется удалить кластер из набора кластеров. There are times when a cluster needs to be removed from a cluster set. Рекомендуется переместить все виртуальные машины из кластера в кластер. As a best practice, all cluster set virtual machines should be moved out of the cluster. Это можно сделать с помощью команд Move-клустерсетвм и Move-вмстораже . This can be accomplished using the Move-ClusterSetVM and Move-VMStorage commands.

Однако если виртуальные машины также не будут перемещены, наборы кластеров выполняют ряд действий, чтобы обеспечить интуитивно понятный результат администратору. However, if the virtual machines will not be moved as well, cluster sets runs a series of actions to provide an intuitive outcome to the administrator. При удалении кластера из набора все остальные виртуальные машины, размещенные в удаляемом кластере, будут просто становиться высокодоступными виртуальными машинами, привязанными к этому кластеру, предполагая, что у них есть доступ к их хранилищу. When the cluster is removed from the set, all remaining cluster set virtual machines hosted on the cluster being removed will simply become highly available virtual machines bound to that cluster, assuming they have access to their storage. Наборы кластеров также будут автоматически обновлять свои инвентаризации: Cluster sets will also automatically update its inventory by:

• Больше не отслеживает работоспособность уже удаленного кластера и работающих на нем виртуальных машин. No longer tracking the health of the now-removed cluster and the virtual machines running on it
• Удаляет из пространства имен набора кластеров и все ссылки на общие ресурсы, размещенные в удаленном кластере Removes from cluster set namespace and all references to shares hosted on the now-removed cluster

Например, команда для удаления кластера CLUSTER1 из наборов кластеров будет выглядеть так: For example, the command to remove the CLUSTER1 cluster from cluster sets would be:

Часто задаваемые вопросы Frequently asked questions (FAQ)

Вопрос: В наборе кластеров я могу использовать только кластеры с технологией Hyper-in? Question: In my cluster set, am I limited to only using hyper-converged clusters?
Ответ. Нет. Answer: No. Вы можете смешивать Локальные дисковые пространства с традиционными кластерами. You can mix Storage Spaces Direct with traditional clusters.

Вопрос: Можно ли управлять набором кластеров с помощью System Center Virtual Machine Manager? Question: Can I manage my Cluster Set via System Center Virtual Machine Manager?
Ответ. В настоящее время System Center Virtual Machine Manager не поддерживает наборы кластеров Answer: System Center Virtual Machine Manager does not currently support Cluster sets

Вопрос: Могут ли совместно существовать кластеры Windows Server 2012 R2 или 2016 в одном наборе кластеров? Question: Can Windows Server 2012 R2 or 2016 clusters co-exist in the same cluster set?
Вопрос: Можно ли перенести рабочие нагрузки из кластеров Windows Server 2012 R2 или 2016, просто присоединить эти кластеры к одному набору кластеров? Question: Can I migrate workloads off Windows Server 2012 R2 or 2016 clusters by simply having those clusters join the same Cluster Set?
Ответ. Наборы кластеров — это новая технология, появившаяся в Windows Server 2019, поэтому она не существует в предыдущих выпусках. Answer: Cluster sets is a new technology being introduced in Windows Server 2019, so as such, does not exist in previous releases. Кластеры под управлением ОС нижнего уровня не могут присоединиться к набору кластеров. Down-level OS-based clusters cannot join a cluster set. Однако технология чередующегося обновления операционной системы кластера должна предоставить необходимые функции для миграции, обновив эти кластеры до Windows Server 2019. However, Cluster Operating System rolling upgrades technology should provide the migration functionality that you are looking for by upgrading these clusters to Windows Server 2019.

Вопрос: Можно ли использовать наборы кластеров для масштабирования хранилища или вычислений (отдельно)? Question: Can Cluster sets allow me to scale storage or compute (alone)?
Ответ. Да, путем простого добавления дискового пространства с прямым или традиционным кластером Hyper-V. Answer: Yes, by simply adding a Storage Space Direct or traditional Hyper-V cluster. С помощью кластерных наборов это очень простое изменение соотношения вычислений и хранилища даже в наборе кластеров с согласованием. With cluster sets, it is a straightforward change of Compute-to-Storage ratio even in a hyper-converged cluster set.

Вопрос: Что такое средства управления для наборов кластеров Question: What is the management tooling for cluster sets
Ответ. PowerShell или WMI в этом выпуске. Answer: PowerShell or WMI in this release.

Вопрос: Как будет работать динамическая миграция между кластерами с процессорами разных поколений? Question: How will the cross-cluster live migration work with processors of different generations?
Ответ. Наборы кластеров не поддерживают различия между процессорами и заменяют возможности Hyper-V, поддерживаемые в настоящее время. Answer: Cluster sets does not work around processor differences and supersede what Hyper-V currently supports. Поэтому режим совместимости процессора должен использоваться с быстрыми переносами. Therefore, processor compatibility mode must be used with quick migrations. Рекомендации для наборов кластеров — использование одного и того же оборудования процессора в каждом отдельном кластере, а также всего набора кластеров для динамической миграции между кластерами. The recommendation for Cluster sets is to use the same processor hardware within each individual Cluster as well as the entire Cluster Set for live migrations between clusters to occur.

Вопрос: Может ли мой кластер устанавливать виртуальные машины автоматически отработка отказа при сбое кластера? Question: Can my cluster set virtual machines automatically failover on a cluster failure?
Ответ. В этом выпуске виртуальные машины с набором кластеров можно только вручную перенести в кластеры. но не может автоматически отработки отказа. Answer: In this release, cluster set virtual machines can only be manually live-migrated across clusters; but cannot automatically failover.

Вопрос: Как обеспечить устойчивость хранилища к сбоям кластера? Question: How do we ensure storage is resilient to cluster failures?
Ответ. Используйте решение реплики хранилища между кластерами (SR) в кластерах участников, чтобы реализовать устойчивость хранилища к сбоям кластера. Answer: Use cross-cluster Storage Replica (SR) solution across member clusters to realize the storage resiliency to cluster failures.

Вопрос: Я использую реплику хранилища (SR) для репликации между кластерами-членами. Question: I use Storage Replica (SR) to replicate across member clusters. Меняются ли пути UNC хранилища пространства имен в хранилище SR для отработки отказа на целевой объект реплики Локальные дисковые пространства кластере? Do cluster set namespace storage UNC paths change on SR failover to the replica target Storage Spaces Direct cluster?
Ответ. В этом выпуске изменение ссылок на пространство имен набора кластеров не происходит при отработке отказа SR. Answer: In this release, such a cluster set namespace referral change does not occur with SR failover. Сообщите корпорации Майкрософт о том, является ли этот сценарий критически важным для вас и как вы планируете его использовать. Please let Microsoft know if this scenario is critical to you and how you plan to use it.

Вопрос: Возможна ли отработка отказа виртуальных машин между доменами сбоя в ситуации аварийного восстановления (предположим, что весь домен сбоя был остановлен)? Question: Is it possible to failover virtual machines across fault domains in a disaster recovery situation (say the entire fault domain went down)?
Ответ. Нет, обратите внимание, что отработка отказа между кластерами в логическом домене сбоя пока не поддерживается. Answer: No, note that cross-cluster failover within a logical fault domain is not yet supported.

Вопрос: Может ли мой кластер занимать кластеры на нескольких сайтах (или доменах DNS)? Question: Can my cluster set span clusters in multiple sites (or DNS domains)?
Ответ. Это нетестовый сценарий, который не планируется немедленно для поддержки в рабочей среде. Answer: This is an untested scenario and not immediately planned for production support. Сообщите корпорации Майкрософт о том, является ли этот сценарий критически важным для вас и как вы планируете его использовать. Please let Microsoft know if this scenario is critical to you and how you plan to use it.

Вопрос: Работает ли набор кластеров с IPv6? Question: Does cluster set work with IPv6?
Ответ. Как IPv4, так и IPv6 поддерживаются с наборами кластеров в качестве отказоустойчивых кластеров. Answer: Both IPv4 and IPv6 are supported with cluster sets as with Failover Clusters.

Вопрос: Требования к лесу Active Directory для наборов кластеров Question: What are the Active Directory Forest requirements for cluster sets
Ответ. Все кластеры элементов должны находиться в одном лесу AD. Answer: All member clusters must be in the same AD forest.

Вопрос: Сколько кластеров или узлов может быть частью одного набора кластеров? Question: How many clusters or nodes can be part of a single cluster Set?
Ответ. В Windows Server 2019 наборы кластеров были протестированы и поддерживаются до 64 всего узлов кластера. Answer: In Windows Server 2019, cluster sets been tested and supported up to 64 total cluster nodes. Однако кластер устанавливает масштаб в более крупные ограничения и не является жестко закодированным для ограничения. However, cluster sets architecture scales to much larger limits and is not something that is hardcoded for a limit. Сообщите корпорации Майкрософт о том, что для вас важна большая шкала, и как вы планируете его использовать. Please let Microsoft know if larger scale is critical to you and how you plan to use it.

Вопрос: Будут ли все Локальные дисковые пространства кластеры в наборе кластера образовывать один пул носителей? Question: Will all Storage Spaces Direct clusters in a cluster set form a single storage pool?
Ответ. Нет. Answer: No. Локальные дисковые пространства технология по-прежнему работает в одном кластере, а не в кластерах-членах в наборе кластеров. Storage Spaces Direct technology still operates within a single cluster and not across member clusters in a cluster set.

Вопрос: Является ли пространство имен набора кластеров высокодоступным? Question: Is the cluster set namespace highly available?
Ответ. Да, пространство имен кластера предоставляется через постоянно доступный сервер пространства имен SOFS (CA), работающий в кластере управления. Answer: Yes, the cluster set namespace is provided via a Continuously Available (CA) referral SOFS namespace server running on the management cluster. Корпорация Майкрософт рекомендует использовать достаточное количество виртуальных машин из кластеров-членов, чтобы сделать их устойчивыми к локализованным сбоям в кластере. Microsoft recommends having enough number of virtual machines from member clusters to make it resilient to localized cluster-wide failures. Тем не менее, чтобы учитывать непредвиденные разрушительные сбои, например, все виртуальные машины в кластере управления переключаются в одно и то же время — справочные сведения дополнительно кэшируются в каждом узле набора кластеров даже при перезагрузке. However, to account for unforeseen catastrophic failures – e.g. all virtual machines in the management cluster going down at the same time – the referral information is additionally persistently cached in each cluster set node, even across reboots.

Вопрос: Замедлит ли кластер доступ к хранилищу на основе пространства имен в наборе кластеров? Question: Does the cluster set namespace-based storage access slow down storage performance in a cluster set?
Ответ. Нет. Answer: No. Пространство имен набора кластеров предлагает пространство имен ссылки оверлея в наборе кластеров, как концептуально, например распределенная файловая система пространства имен (ДФСН). Cluster set namespace offers an overlay referral namespace within a cluster set – conceptually like Distributed File System Namespaces (DFSN). И, в отличие от ДФСН, все метаданные, заданные в виде ссылок на все кластерные пространства имен, автоматически заполняются и автоматически обновляются на всех узлах без вмешательства администратора, поэтому в пути доступа к хранилищу почти нет никаких издержек на производительность. And unlike DFSN, all cluster set namespace referral metadata is auto-populated and auto-updated on all nodes without any administrator intervention, so there is almost no performance overhead in the storage access path.

Вопрос: Как выполнять резервное копирование метаданных набора кластеров? Question: How can I backup cluster set metadata?
Ответ. Это то же руководство, что и для отказоустойчивого кластера. Answer: This guidance is the same as that of Failover Cluster. Резервная копия состояния системы также будет создавать резервную копию состояния кластера. The System State Backup will backup the cluster state as well. С помощью cистема архивации данных Windows Server можно выполнить восстановление только базы данных кластера узла (которая никогда не нужна из-за имеющейся в ней логики самовосстановления) или выполнить полномочное восстановление для отката всей базы данных кластера на всех узлах. Through Windows Server Backup, you can do restores of just a node’s cluster database (which should never be needed because of a bunch of self-healing logic we have) or do an authoritative restore to roll back the entire cluster database across all nodes. В случае с наборами кластеров Корпорация Майкрософт рекомендует сначала выполнить такое полномочное восстановление в кластере участников, а затем кластер управления, если это необходимо. In the case of cluster sets, Microsoft recommends doing such an authoritative restore first on the member cluster and then the management cluster if needed.