Overview of Microsoft HPC Pack 2019

Learn how to evaluate, set up, deploy, maintain, and submit jobs to a high-performance computing (HPC) cluster that is created by using Microsoft HPC Pack 2019. HPC Pack allows you to create and manage HPC clusters consisting of dedicated on-premises Windows or Linux compute nodes, part-time servers, workstation computers, and dedicated or on-demand compute resources that are deployed in Microsoft Azure.

Based on where the compute resources are located, Microsoft HPC Pack can be categorized into three cluster Modes:

Cluster Mode	Highlights	Topology
HPC Pack On-premises Get started with HPC Pack On-premises	— Supports Windows and Linux compute nodes — Advanced job scheduling and resource management — Proved and scale-tested capabilities — Free of charge — Easy to extend to hybrid
HPC Pack Hybrid Get started with HPC Pack Hybrid	— Burst to cloud to handle peaks in demand or special projects — Automate the deployment of Windows and Linux Azure VMs — Use your current HPC scheduler or HPC Pack — Pay only for what you use
HPC Pack IaaS Get started with HPC Pack IaaS	— Deploy a cluster all in the cloud, on demand — Use your current scheduler or HPC Pack — Readily shift existing applications to the cloud — Use templates, scripts, and gallery images to deploy on demand

Microsoft also has cloud-born HPC Scheduler Service called Azure Batch. You can either use Azure Batch directly or you can use HPC Pack as your scheduler and have your job to burst to azure batch.

Follow below links to start with your HPC Pack:

System Requirements for HPC Pack 2019

The following sections list the basic system requirements to install and run MicrosoftВ® HPC Pack 2019. The latest version is HPC Pack 2019.

Hardware requirements

To improve the performance of a cluster with a large number of nodes or that is running compute-intensive workloads, configure the head node with multiple processor cores, additional RAM, and multiple disks.

Head node role

Processor (x64-based):

Minimum: 4 cores

Recommended: 8 cores or more

RAM:

Recommended: 16 GB or more

Available disk space:

Recommended: 100 GB or more

Other node roles

Processor (x64-based):

Minimum: 4 cores

Recommended: 4 cores or more

RAM:

Recommended: 4 GB or more

Available disk space:

Recommended: 80 GB or more

Network adapters

• The number of network adapters that you install on the nodes in your cluster depends on the network topology that you choose for your cluster.
• You can deploy your HPC cluster with only one network adapter on each node, but you will be limited to only one possible network topology (all nodes only on an enterprise network). An additional network adapter on the head node will expand your options to a second possible network topology to choose from (compute nodes isolated on a private network).
• You should also evaluate the possibility of installing a low-latency and high-throughput application network for your HPC cluster. This may be advantageous for running certain kinds of jobs on the cluster, such as message passing interface (MPI) applications. This network will typically require installing specialized network adapters on the nodes and specialized networking hardware.
• For more information about the different HPC cluster network topologies, see Understanding HPC Cluster Network Topologies.

Software requirements

Operating system requirements

The following table shows the operating system requirements of HPC Pack 2019 for the different cluster roles.

Unless explicitly listed below, an operating system is not supported to run HPC Pack 2019 for a cluster role.

Role	Operating system requirement
Head node	Windows Server 2019, Windows Server 2016, Windows Server 2012 R2
Compute node	Windows Server 2019 (starting from HPC Pack 2016 Update 3), Windows Server 2016, Windows Server 2012 R2, Windows Server 2012
Windows Communication Foundation (WCF) broker node	Windows Server 2019, Windows Server 2016, Windows Server 2012 R2, Windows Server 2012
Workstation node	Windows 10, Windows 8.1
Unmanaged server node	Windows Server 2019 (starting from HPC Pack 2016 Update 3), Windows Server 2016, Windows Server 2012 R2, Windows Server 2012
Azure node (worker role instance)	Windows Server 2019 (starting from HPC Pack 2016 Update 3), Windows Server 2016, Windows Server 2012 R2, Windows Server 2012 OS Family
Linux node	Red Hat Enterprise Linux 7.0 — 7.6, Red Hat Enterprise Linux 6.7 — 6.10, CentOS-based 7.0 — 7.6, CentOS-based 6.7 — 6.10, Ubuntu Server 14.04 LTS, Ubuntu Server 16.04 LTS, Ubuntu Server 18.04 LTS, SUSE Linux Enterprise Server 12
Client (computer with only client utilities installed)	Windows Server 2019 (starting from HPC Pack 2016 Update 3), Windows Server 2016, Windows Server 2012 R2, Windows Server 2012, Windows 10, Windows 8.1.

Operating system language

You can install HPC Pack 2019 in one of the following languages: English, Japanese, or Simplified Chinese. The language you select for installation of HPC Pack on the head node or another cluster node must correspond to the operating system language on that node.

There is no language restriction for the operating system of a computer that is used only as a client workstation (on which only the HPC Pack client utilities are installed). However, the HPC Pack user interfaces will appear in the language that you select for installation of HPC Pack.

Microsoft SQL Server

To host the required cluster databases, HPC Pack 2019 requires and supports Microsoft SQL Server 2012 and later versions.

• By default, HPC Pack 2019 installs SQL Server Express 2019 on the head node and creates the HPC databases on the head node.
• To install the HPC databases on a remote server, that server must be running the Standard or Enterprise edition of SQL Server 2012 or a later version. Remote database installations with SQL Server can be configured for high availability with AlwaysOn failover cluster instances or availability groups.
• Using Azure SQL Database is also supported

.NET Framework 4.7.2 (or later)

Microsoft HPC Pack 2019 has a dependency on Microsoft .NET Framework 4.7.2. By default, in the operating systems earlier than Windows Server 2019 and Windows 10, .NET Framework 4.7.2 or later is not installed.

Microsoft .NET Framework 4.8 is contained in the HPC Pack 2019 setup package, and the HPC Pack setup application attempts to install it when you install HPC Pack 2019.

Microsoft Azure subscription

If you plan to add Azure worker role nodes, Azure IaaS nodes or Azure Batch pools to your HPC cluster, you must obtain an Azure account and subscription or have an existing Azure subscription in which you can configure cloud services, storage accounts, and other Azure features for your HPC cluster. For more information about Azure subscriptions and using the Azure portal, visit the Azure website.

Постройте свое будущее с Windows Server 2019

Реализовать любую стратегию развития вашей организации поможет Windows Server 2019 — операционная система, которая объединяет локальные среды с сервисами Azure, поддерживает гибридные сценарии использования и позволяет извлечь максимальную выгоду из существующих инвестиций.

Windows Server Summit 2020

Узнайте о новейших функциях и возможностях Windows Server — непосредственно от специалистов Microsoft. Посмотрите демонстрации и ознакомьтесь с рекомендациями по модернизации рабочих нагрузок независимо от того, где вы используете Windows Server: в локальной среде, в гибридной среде или в Azure.

Microsoft Ignite

Конференция Ignite прошла 22–24 сентября 2020 г. — это было наше первое цифровое мероприятие! Посмотрите выступления об инновационных возможностях Windows Server, которые вы пропустили.

Виртуальное мероприятие, посвященное гибридному облаку Azure

Узнайте, как создать эффективную гибридную и многооблачную стратегию, отвечающую современным меняющимся требованиям бизнеса, и подготовиться к будущему в рамках этого бесплатного онлайн-мероприятия продолжительностью 60 минут.

Windows server 2019 hpc

Вопрос

We have plan to configure windows hpc pack in our lab with high end workstation installed. need help.

Все ответы

Windows HPC is a very specialized product. You will be better served by asking the experts in one of the HPC forums — https://social.microsoft.com/Forums/en-US/home?category=windowshpc

https://social.microsoft.com/Forums/en-US/home?forum=windowshpcitpros is the forum that deals with installation issues and questions.

Thanks for your question.

Please check the following MS docs to see if it helps to meet your implementation.

Set up a hybrid high performance computing (HPC) cluster with Microsoft HPC Pack and on-demand Azure PaaS Compute nodes

And we can consult the following docs for HPC Pack workstation node deployment.

References for discussion for HPC Cluster.

Please Note: Since the web site is not hosted by Microsoft, the link may change without notice. Microsoft does not guarantee the accuracy of this information.

Hope above information can help you.

Highly appreciate your effort and time. If you have any question or concern, please feel free to let me know.

Please remember to mark the replies as an answers if they help.
If you have feedback for TechNet Subscriber Support, contact tnmff@microsoft.com

• Предложено в качестве ответа Michael Hxy Microsoft contingent staff 10 июля 2019 г. 8:27

Just checking in to see if the information provided was helpful. Please let us know if you would like further assistance.

Please remember to mark the replies as an answers if they help.
If you have feedback for TechNet Subscriber Support, contact tnmff@microsoft.com

Could the above reply be of help? If yes, you may mark it as answer, if not, feel free to feed back.

Please remember to mark the replies as an answers if they help.
If you have feedback for TechNet Subscriber Support, contact tnmff@microsoft.com

Was your issue resolved?

If you resolved it using our solution, please «mark it as answer» to help other community members find the helpful reply quickly.

If you resolve it using your own solution, please share your experience and solution here. It will be very beneficial for other community members who have similar questions.

If no, please reply and tell us the current situation in order to provide further help.

Windows Server 2019

История Windows Server насчитывает уже более 25 лет: Windows NT 3.1 Advanced Server был выпущен 27 июля 1993 года. В октябре 2018 года, через три года после предыдущего большого релиза, был выпущен Windows Server 2019. Windows Server 2019 развивает и улучшает возможности, заложенные в предыдущих релизах. Подробности об этом — под катом!

Начиная с Windows Server 2016 был принят новый цикл выхода релизов. Сейчас есть два канала распространения: LTSC (Long-term servicing channel) – релиз, выходящий через 2-3 года, с 5-летней основной и 5-летней расширенной поддержкой, а также Semi-Annual Channel – релизы, которые выходят каждые полгода, имеют основной цикл поддержки в течение 6 месяцев и расширенную поддержку в течение 18 месяцев. Для чего необходимы эти два канала? Microsoft активно внедряет новшества в свою облачную платформу Azure. Это поддержка виртуальных машин Linux, контейнеры с Linux и Windows, и многие другие технологии.

Заказчики, использующие эти технологии в облаке, также хотят их использовать и в своих датацентрах. Semi-Annual Channel сокращает разрыв в возможностях между Azure и локальными датацентрами. Полугодовые релизы предназначены для динамичных в развитии компаний, которые перешли к гибкой сервисной модели предоставления ИТ-услуг бизнесу. Релизы LTSC предназначены для компаний, которые используют устоявшиеся приложения с длительным циклом поддержки, например, Exchange Server, SharePoint Server, SQL Server, а также инфраструктурные роли, программно-определяемые датацентры и гиперконвергентную инфраструктуру.

Windows Server 2019 – это именно релиз в канале LTSC. Он включает в себя все обновления функционала с Windows Server 2016 и последующих полугодовых релизов.

Основные усилия разработчиков Windows Server 2019 были направлены на четыре ключевые области:

1. Гибридное облако – Windows Server 2019 и новый центр администрирования Windows Admin Center позволяют легко использовать совместно с серверной операционной системой облачные службы Azure: Azure Backup, Azure Site Recovery, управление обновлениями Azure, Azure AD Authentication и другими.
2. Безопасность – является одним из самых важных приоритетов для заказчиков. Windows Server 2019 имеет встроенные возможности для затруднения злоумышленникам проникнуть и закрепиться в системе. Это известные по Windows 10 технологии Defender ATP и Defender Exploit Guard.
3. Платформа приложений – контейнеры становятся современным трендом для упаковки и доставки приложений в различные системы. При этом Windows Server может выполнять не только родные для Windows приложения, но и приложения Linux. Для этого в Windows Server 2019 есть контейнеры Linux, подсистема Windows для Linux (WSL), а также значительно снижены объемы образов контейнеров.
4. Гиперконвергентная инфраструктура – позволяет совместить в рамках одного сервера стандартной архитектуры и вычисления, и хранилище. Этот подход значительно снижает стоимость инфраструктуры, при этом обеспечивая отличную производительность и масштабируемость.

Windows Admin Center

Windows Admin Center (WAC) – это новое средство администрирования серверов. Устанавливается локально в инфраструктуре и позволяет администрировать локальные и облачные экземпляры Windows Server, компьютеры Windows 10, кластеры и гиперконвергентную инфраструктуру.

WAC дополняет, а не заменяет существующие средства администрирования, такие как консоли mmc, Server Manager. Подключение к WAC осуществляется из браузера.

Для выполнения задач используются технологии удаленного управления WinRM, WMI и скрипты PowerShell.

Можно опубликовать WAC и администрировать серверы извне периметра организации. Службы многофакторной аутентификации и прокси приложений Azure AD помогут защитить такой доступ извне, а использование решения Microsoft Enterprise Mobility + Security (EMS) позволит предоставлять или отказывать в доступе в зависимости от соответствия устройства политикам, рискам, местоположению и другим факторам. Использование веб-приложения вместо доступа к удаленному рабочему для администрирования, по моему мнению, это правильная стратегия для обеспечения безопасности.

Системная аналитика

Windows Server 2019 стал интеллектуальнее. С помощью новой функции System Insights реализуется прогнозная аналитика, позволяющая перейти от реактивного к проактивному управлению парком серверов. Модель машинного обучения учитывает счетчики производительности и события для точного предсказания проблем со свободным местом на дисковой подсистеме, определение трендов для процессорных вычислений, сетевому взаимодействию и производительности хранилища.

Новинки в подсистеме хранения

Storage Migration Service

В Windows Server 2019 появилась новая технология для миграции данных со старых серверов на новые – Storage Migration Service.

Миграция происходит в несколько этапов:

• Инвентаризация данных на различных серверах
• Быстрый перенос файлов, сетевых папок и конфигураций безопасности с исходных серверов
• Захват управления и подмена идентификатора сервера и настроек сети со старого сервера на новый

Управление процессами миграции происходит с помощью Windows Admin Center.

Azure File Sync

Azure File Sync трансформирует традиционные файловые серверы и расширяет объём хранения до практически недостижимых в реальной жизни объёмов. Данные распределяются по нескольким уровням: горячий кэш – это данные, хранящиеся на дисках файлового сервера и доступные с максимальной скоростью для пользователей. По мере остывания данные незаметно перемещаются в Azure. Azure File Sync можно использовать совместно с любыми протоколами для доступа к файлам: SMB, NFS и FTPS.

Storage Replica

Эта технология защиты от катастроф впервые появилась в Windows Server 2016. В версии 2019 появилась ограниченная поддержка редакции Windows Server Standard. Сейчас и небольшие компании могут делать автоматическую копию (реплику) хранилища в виртуальные машины Azure, если в инфраструктуре компании нет второго удаленного датацентра.

Storage Spaces Direct

Локальные дисковые пространства – это необходимый компонент для построения гиперконвергентной инфраструктуры и масштабируемого файл-сервера. В Windows Server 2019 появилась встроенная поддержка энергонезависимой памяти, улучшенные алгоритмы дедупликации, в том числе на томах с файловой системой ReFS, масштабируемость до 4ПБ на кластер, улучшения в производительности.

Изменения в отказоустойчивой кластеризации

Появились наборы кластеров (Cluster sets), увеличивающие масштабируемость до сотен узлов.
Для обеспечения кворума в кластерах с четным количеством узлов используется специальный ресурс – диск-свидетель. Во времена Windows Server 2012 R2 для диска-свидетеля необходимо было выделять диск на хранилище, в Windows Server 2016 стало возможно использовать сетевую папку или облачный диск-свидетель. Улучшения в Windows Server 2019 связаны с сокращением требований к инфраструктуре для малых предприятий. В качестве диска-свидетеля может выступать USB-диск, подключенный, например, к роутеру.

Появилась миграция кластеров между доменами и другие улучшения в службе отказоустойчивой кластеризации.

Что нового в платформе приложений

Теперь можно запускать контейнеры на основе Windows и Linux на одном и том же узле контейнера с помощью одинаковой управляющей программы Docker. Это позволяет работать в разнородной среде узлов контейнеров и предоставить разработчикам гибкость в создании приложений.

Контейнеры получили улучшенную совместимость приложений, значительно был уменьшен размер образов Server Core и Nano Server, повысилась производительность.

Windows Server 2019 получил множество других улучшений. Подробнее ознакомиться с ними можно в разделе Windows Server на официальном сайте документации docs.microsoft.com.

Системные требования

Документация описывает минимальные требования к установке Windows Server 2019. Надо понимать, что в зависимости от ролей и компонентов, от запущенных приложений, требования к серверу могут быть повышены.

• 64-разрядный процессор с тактовой частотой 1,4 ГГц
• Совместимый с набором инструкций для архитектуры х64
• Поддержка технологий NX и DEP
• Поддержка CMPXCHG16b, LAHF/SAHF и PrefetchW
• Поддержка преобразования адресов второго уровня (EPT или NPT)

Минимальные требования к ОЗУ:

• 512МБ (2ГБ для варианта установки «Сервер с рабочим столом»)

Требования к устройствам хранения:

Windows Server 2019 не поддерживает ATA/PATA/IDE и EIDE для загрузки, файла подкачки или дисков с данными. Минимальный объём – 32 ГБ.

• Адаптер Ethernet с пропускной способностью не менее 1ГБ.
• Совместимость со спецификацией архитектуры PCI Express.
• Поддержка протокола удаленной загрузки PXE.

Сравнение выпусков Windows Server 2019 Standard и Datacenter

Windows Server 2019 поставляется в двух редакциях: Standard и Datacenter.

Редакция для датацентров обладает расширенными возможностями: поддержка гиперконвергентной инфраструктуры, локальных дисковых пространств, расширенными лицензионными правами при использовании виртуализации.

Приглашение на вебинар

Подробнее с возможностями Windows Server 2019, сценариях использования, вариантах лицензирования можно будет ознакомиться на вебинаре «Windows Server 2019 для современного датацентра».

Спикер — Дмитрий Узлов, сертифицированный эксперт по решениям Майкрософт с многолетним опытом.

• Microsoft Certified Solutions Expert: Cloud Platform and Infrastructure
• Microsoft Certified Solutions Expert: Productivity

Специалист по кибербезопасности, руководитель направления проектов золотого партнера Майкрософт – компании Технополис

Вебинар пройдет 6 декабря в 11.00, после вебинара вы сможете сделать практические работы по развертыванию виртуальной инфраструктуры Windows Server и настройке типовых сценариев гибридного датацентра. Успешно справившиеся с заданиями практической работы получат электронный сертификат о прохождении тренинга.

Запись вебинара можно посмотреть по ссылке.