Windows 2008 HPC R2— возвращение к расчетным задачам

Кирилл Фаенов: “Цель нашей стратегии Technical computing — предоставить широкому кругу пользователей возможность использовать технологии высокопроизводительных вычислений на настольных компьютерах, серверах и в облаке”

Структурная схема распределенных параллельных вычислений с помощью Windows HPC Server 2008 R2

Как известно, первые компьютеры (в их современном понимании) появились в середине прошлого века в связи с необходимостью выполнения сложных математических расчетов. Потом сфера применения этих устройств стала быстро расширяться за счет того, что возможности собственно вычислений (обработки информации) были дополнены еще тремя ключевыми функциями — хранение огромных массивов информации (и управление ими), интерактивное взаимодействие с людьми и удаленные коммуникации.

Тем не менее можно довольно уверенно утверждать, что в моменту перестройки в СССР в конце 1980-х подавляющая часть имеющегося парка ЭВМ применялась для чисто вычислительных задач класса “научно-технических расчетов” (наверное, не менее 70—80% мощностей). Потом пришли иные времена, и сфера основного применения компьютеров в нашей стране быстро сместилась в направлении широкого класса бизнес-задач, характеризуемых как раз тесной связкой “вычисления + данные + пользователи + коммуникации”. Расчетные задачи отошли далеко на задний план и практически исчезли из поля зрения “рыночных интересов”. В какой-то степени отражением этой ситуация было и то, что на смену термину “вычислительная техника” пришло название “информационные технологии”.

Но, разумеется, потребность в расчетных задачах у общества нисколько не уменьшалась. Совершенно очевидно, что она только росла, причем очень быстро. При этом в последнее десятилетие, по мнению ряда экспертов, интерес рынка именно к вычислительным задачам стал расти опережающими темпами. Связано это не только с повышением роли научно-исследовательских работ в мировой экономике, но и потребностями при решении бизнес-задач. И это опять нашло “словарное” подтверждение в виде начала распространения термина “высокопроизводительные вычисления” (high performance computing, HPC). И что еще важнее — в повышении внимания к этой теме со стороны ведущих ИТ-вендров, приступивших к выпуску специальных HPC-решений.

Сфера HPC порой отождествляется с применением суперкомпьютеров, но на самом деле это не так. Суперкомпьютеры — это лишь один из вариантов реализации HPC, который подразумевает создание специализированных локальных вычислительных комплексов (фактически это инфраструктурные проекты типа ЦОДа), использующих собственные операционные среды и зачастую ориентированных на решение определенного класса задач. Второй вариант (его часто называют именно HPC, но в более узком значении термина), который сейчас находит все более широкое применение, базируется на идее распределенных вычислений с использованием стандартных, в том числе разнородных, программно-аппаратных средств.

Конечно, основной эффект тут получается за счет распараллеливания вычислительных процессов, но достаточно востребованным вариантом является и последовательная обработка с перемещением ее на освобождающиеся мощности. С некоторыми допущениями можно сказать, что HPC — это развитие идей Grid Computing, но на более массовом уровне. Напомним, что Grid в своей начальной трактовке подразумевал создание географически распределенной сети, связывающей независимые суперкомпьютерные центры. HPC больше ориентируется на создание внутрикорпоративных систем, причем стандартной архитектуры.

Говоря об HPC, нужно подчеркнуть, что ключевой идеей тут является исполнение параллельных вычислительных процессов. Но при этом надо иметь в виду, что возможность распараллеливания конкретного приложения должна быть изначально реализована внутри программы, на этапе ее проектирования и кодирования. Это задача архитектора и разработчика ПО (причем очень непростая и реализуемая далеко не во всех случаях), а не исполняющего HPC-механизма.

HPC-решение от Microsoft

Корпорация Microsoft вышла на рынок HPC не так давно: летом 2006 г. она выпустила Windows Compute Cluster Server 2003 (CCS), в котором использовался протокол Microsoft Messaging Passing Interface v2 (MS-MPI) для взаимодействия вычислительных узлов. В новой версии серверной ОС продукт получил название Windows HPC Server 2008 — он вышел на рынок в сентябре 2008-го. В нем был реализован новый высокоскоростной сетевой протокол NetworkDirect RDMA, в него были включены дополнительные средства управления, а также появилась поддержка кластерной интероперабельности на основе спецификаций High Performance Computing Basic Profile (HPCBP), созданных сообществом Open Grid Forum.

Присутствие Microsoft на верхнем уровне высокопроизводительных систем пока невелико. По данным Википедии, по состоянию на ноябрь 2009 г. Windows HPC занимал лишь 1% в списке 500 самых мощных суперкомпьютеров мира (5 из 500, но по мощностям, измеряемым в гигафлопсах, доля чуть выше — 1,5%). Абсолютным лидером тут является Linux (89%), вторую позицию занимает Unix (5%).

Однако данные Top500 все же не отражают полностью положение дел в сфере HPC и реальные позиции (и перспективы) Microsoft. Следуя обычной своей стратегии, Редмонд делает ставку на использование своих средств на массовом рынке и расширение применения технологий HPC в коммерческих организациях (сегодня основными потребителями HPC являются научные структуры и университеты). Продвижением HPC-cредств занимается подразделение Technical Computing, группа которого работает в российском офисе. В сентябре Microsoft выпустила новую версию решения — Windows HPC Server 2008 R2. Ее представление в нашей стране прошло в московском технологическом центре компании в начале ноября с участием приехавшего из Редмонда директора Microsoft Technical Computing Кирилла Фаенова.

Он четко обозначил цель концепции HPC: предоставить мощность суперкомпьютеров широкой категории ученых, инженеров и аналитиков. Представив мировое научно-техническое сообщество численностью примерно в 70 млн. человек в виде пирамиды, он показал, что сегодня верхний слой ее (1 млн.) потребляет около 80% мощностей HPC, а остальные 20% доступны еще для 14 млн. специалистов. Задача обеспечить доступность HPC-средств для, как минимум, 55 млн. ученых и инженеров может быть решена в видимой перспективе.

Прогресс в этом направлении был показан на примере стоимости расчета генома человека: в 2004 г. она составляла 3 млрд. долл., сейчас снизалась до 34 тыс. долл. и, по прогнозам экспертов, в 2014-м может опуститься до отметки 100 долл. При этом важно, что снижение стоимости идет не только за счет уменьшения цены производства оборудования (микроэлектроники), а в первую очередь за счет использования новых архитектурных подходов (например, сочетания традиционных и графических микропроцессоров) и перехода к применению стандартных, массовых средств. В результате темпы снижения стоимости вычислений и их доступность на рынке в последние годы повышаются драматическим образом (см. таблицу).

В целом идея HPC Server достаточно проста: сервер (управляющий узел) распределяет выполнение расчетного задания по имеющимся в его распоряжении ресурсам, причем это могут быть кластеры не только серверов, но и рабочих станций. Более того, в новой версии HPC Server можно обращаться таким же образом к облачным мощностям сервисной платформы Azure, применяя в полной мере модель использования и оплаты ресурсов по их фактическому использованию (см. рисунок).

По данным западных исследований, в среднем в мире около 5% серверов применяется для решения HPC-задач. Эксперты Microsoft считают, что в нашей стране эта доля заметно меньше, но она все же растет и подтягивается к мировым показателям. “В России мы продвигаем HPC уже три года, продукт хорошо продавался в академические институты и университеты. Сейчас, не забывая про науку и образование, мы намерены существенно расширить это направление за счет коммерческого сегмента — так охарактеризовал российскую ситуацию менеджер по продуктам HPC российского представительства Microsoft Василий Маланин. — В нашей стране сейчас хорошо обстоит дело в машиностроении — здесь потребность уже осознается, мы работаем с представителями производителей специализированного ПО для того, чтобы продвигать именно кластерные версии их софта (Ansys, Flowvision и т. д.). Сложнее с финансовыми институтами, отрасли хорошо развитой на Западе. Банки уже осознают потребность, сейчас мы ведем разговоры с несколькими из них. Страховые компании пока еще в начале пути к HPC. Очень перспективным является обработка цифрового контента, там есть проекты, есть понимание куда двигаться. Что касается конкуренции с решениями на базе Linux, то она фактически ощущается только в академическом сегменте, так как там большая история использования этой ОС. Но тем не менее к нашей платформе в этой среде относятся с большим интересом. Коммерческий же сегмент изначально больше склонен к Windows HPC Server”.

Кирилл Фаенов привел данные независимых исследований, которые говорят о том, что производительность HPC-систем на базе Windows и Linux находится примерно на одном уровне, при этом стоимость владения Windows HPC Server в течение пяти лет на 32—51% ниже, чем аналогичных Linux-решений. В качестве достоинств продуктов для широкого круга пользователей он назвал в том числе использование хорошо знакомой им среды Windows и минимизацию усилий по развертыванию и эксплуатации системы, за счет реализации модели “все от одного поставщика”.

Однако для применения HPC необходимы приложения, которые могут исполняться в параллельных потоках. Их пока явно недостаточно, но ситуация тут быстро меняется. До сих пор подобные работы по распараллеливанию ПО выполнялись лишь для специализированных прикладных систем. Microsoft намерена решительно переломить эту ситуацию, расширив спектр распараллеленного ПО, сотрудничая при этом с ведущими разработчиками микропроцессорных систем Intel и Nvidia.

Компания, в частности, уже давно совершенствует внутреннюю реализацию Excel — самого популярного в мире “вычислительного” приложения, широко используемого и при обработке данных аналитиками биржевого рынка в реальном времени. Тестовые испытания показывают, что применение служб поддержки высокопроизводительных вычислений в Windows HPC Server 2008 R2 для электронных таблиц Excel 2010 сокращает время сложных вычислений электронных таблиц на несколько порядков. Например, для рабочей книги с 1700 записями время вычислений удалось снизить с 14 ч до менее чем 3 мин.

Но, что еще важнее, к созданию параллельных приложений в последние годы подключились многие независимые разработчики. Тут нужно отметить, что создание эффективных SaaS-решений требует реализации многоарендной (multitenancy) архитектуры, при которой масштабирование обеспечивается именно благодаря возможности распараллеливания вычислительных процессов. Средства разработки для этого наиболее активно продвигала на рынок корпорация Intel. Такие средства давно имелись и в Visual Studio, но в последнее версии 2010 этого пакета они получили мощное развитие, в частности, в виде дополнительной поддержки параллельных вычислений на уровне языков программирования и .NET Framework.

По данным Microsoft, в настоящее время с Windows HPC Server 2008 R2 работают уже сотни приложений, выполняющих высокопроизводительные вычисления, причем за последние два года их количество увеличилось в 16 раз. На данный момент о поддержке платформы Windows HPC Server объявили 40 партнеров (как разработчики ПО, так и поставщики оборудования), в том числе 17 компаний, работающих в России.

Возможность ускорения решения задач за счет распараллеливания вычислительных процессов была продемонстрирована руководителем инженерного департамента компании CADFEM-CIS Александром Черновым на примере расчетов реальной модели оборудования большой размерности, выполненных в ОКБ “Гидропресс” (госкорпорация “Росатом”). На базовом компьютере (двухъядерный процессор Intel Core 2 CPU 6600 2,4 ГГц с 8 Гб ОЗУ) данная задача решалась около 23 ч. При использовании кластера CRAY CX1 (пять серверов, 60 ядер, процессоры Intel Xeon 6C X5670 2,93 ГГц 12M 6,4 Гб/сек, 240 Гб ОЗУ), работающего под управлением Microsoft HPC Server 2008, для получения результата потребовалось 45 мин. При этом докладчик отдельно отметил то, что с помощью Microsoft HPC Cluster Manager удалось организовать удобный механизм удаленного управления процессом параллельных вычислений.

Windows HPC Server 2008 R2

Содержание 2020: Уязвимость BlueKeep, позволяющая получить полный контроль над компьютером 27 марта 2020 года компания Positive Technologies сообщила о том, что в ходе мониторинга актуальных угроз (threat intelligence) эксперты компании выяснили, что число сетевых узлов в России, доступных по протоколу удаленного рабочего стола (RDP) всего за три недели (с конца февраля 2020 года) увеличилось на 9% и составило более 112 000. Уже сейчас свыше 10% таких ресурсов уязвимы для ошибки безопасности BlueKeep (CVE-2019-0708), которая позволяет взломщику получить полный контроль над компьютером на базе Windows. Уязвимости подвержены операционные системы Windows 7, Windows Server 2008 и Windows Server 2008 R2. Подробнее здесь. 2011: Первый пакет обновлений (SP1) для Windows Server 2008 R2 Пакет обновления для Windows Server 2008 R2 включает ряд важных обновлений, в первую очередь улучшающих подсистему виртуализации: Dynamic Memory – технология динамического перераспределения памяти между виртуальными машинами в гипервизоре Hyper-V. Если раньше размер используемой оперативной памяти в виртуальной машине был фиксирован вне зависимости от нагрузки, то теперь технология Dynamic Memory выделяет выполняемым экземплярам виртуальных машин только необходимый объем памяти, беря в расчет их нагрузку, приоритет в работе и наличие свободной памяти у других машин и хоста виртуализации, на котором они запущены. Фактически Dynamic Memory позволяет снизить требования к количеству физической памяти, установленной на сервере виртуализации и, соответственно, позволяет экономить средства. Особенно заметна польза от Dynamic Memory в сценарии Virtual Desktop Infrastructure (VDI). RemoteFX – технология для сценария VDI, которая позволяет производить обработку сложной графики в виртуальных машинах VDI с использованием графических карт, установленных на сервере виртуализации. Также RemoteFX дает долгожданную возможность подключать любые USB-устройства внутри виртуальных машин и поддерживает дополнительное сжатие трафика, что разгружает канал связи. 2010: Старт поставок Windows HPC Server 2008 R2 Компания Microsoft в сентябре 2010 года объявила о начале поставок новой версии платформы Windows HPC Server 2008 R2. Кроме новых возможностей для кластерных вычислений, платформа Windows HPC Server 2008 R2 предоставляет возможность для продуктивного использования незадействованных процессорных циклов на компьютерах с операционной системой Windows 7. Платформу Windows HPC Server отличает довольно низкий порог вхождения – кластеры на ее основе могут использовать даже относительно небольшие организации. Платформа Windows HPC Server используется для создания и проведения имитационных экспериментов. Новая версия Windows HPC Server ориентирована на проведение самых сложных и емких вычислений для бизнеса, академических учреждений и государственных организаций. В новой версии реализованы многие функции по просьбам, поступившим от пользователей предыдущих версий. Одним из главных отличий кластерной операционной системы Windows HPC Server 2008 R2 можно считать универсальный и целостный характер готовых решений. Внедряя Windows HPC Server, заказчики получают сквозную платформу суперкомпьютерных вычислений и не должны тратить дополнительные деньги и время на то, чтобы собрать разнородные технологии воедино. Дополнительное удобство для администраторов и пользователей обеспечивается за счет полной совместимости с другими инфраструктурными решениями Microsoft, включая службу каталогов Active Directory, web-портал SharePoint Server, консоль системного управления Microsoft System Center и офисные приложения Microsoft Office. Важным достоинством Windows HPC Server 2008 R2 является поддержка прямого обслуживания конечных пользователей. Например, технология HPC Services for Excel 2010, встроенная в Windows HPC Server 2008 R2, на порядок снижает время пересчета крупных электронных таблиц. Например, время расчета таблицы из 1700 записей сокращается с 14 часов до трех минут и даже меньше. Кроме того, заказчики теперь могут передать свободные процессорные ресурсы рабочих станций, работающих под управлением Windows 7, в единое вычислительное «облако», еще больше увеличивая мощность кластеров Windows HPC Server. Платформа Windows HPC Server 2008 R2 отличается огромным спектром поддерживаемых приложений. Уже сейчас Windows HPC Server 2008 R2 предлагает совместимость с сотнями серийных технических приложений. Количество поддерживаемых приложений только за последние два года выросло в 16 раз. Дополнительно о поддержке новой платформы заявили еще 40 компаний, создающих приложения для технических расчетов. Усовершенствования в Windows HPC Server 2008 R2 Заказчики используют Windows HPC Server для проведения самых разнообразных расчетов, начиная от моделирования финансовых рынков и создания новых лекарств и заканчивая проектированием транспортных и т.п. средств нового поколения. Их отзывы послужили основой важных усовершенствований в Windows HPC Server 2008 R2. Комплексное интегрированное решение. С помощью Windows HPC Server 2008 R2 пользователи получают комплексную вычислительную платформу, не требующую дополнительных временных затрат для развертывания и средств на отладку работоспособности различных технологий. Высокопроизводительная платформа легко интегрируется с такими решениями, как Active Directory, SharePoint, System Center и Microsoft Office, тем самым сохраняя инвестиции в ИТ-инфраструктуру. Высокопроизводительное и рентабельное решение. По результатам тестов независимых производителей программного обеспечения и тестов ПО с открытым кодом, производительность платформы Windows HPC Server аналогична производительности платформы Linux (1). Последние исследования показывают, что стоимость владения платформой Windows HPC Server в течение пяти лет на 32% — 51% дешевле платформ на базе Linux (2). Новые возможности для более мощного анализа и вычислений. Службы поддержки высокопроизводительных вычислений в Windows HPC Server 2008 R2 для электронных таблиц НPC Services для Excel 2010 сокращает время сложных вычислений электронных таблиц на несколько порядков. Например, для рабочей книги с 1700 записями время вычислений удалось снизить с 14 часов до менее чем 3 минут. Кроме того, организации могут использовать вычислительную мощность простаивающих в нерабочее время рабочих станций Windows 7 или сформировать вычислительное облако, предоставляющее дополнительную мощность для кластера серверов Windows HPC Server. Поддержка большего количества приложений. В настоящее время с Windows HPC Server 2008 R2 работают уже сотни приложений, выполняющих высокопроизводительные вычисления, причем за последние 2 года их количество увеличилось в 16 раз. На данный момент о поддержке платформы Windows HPC Server объявили 40 партнеров. В России новую HPC-платформу Microsoft поддержали уже 17 партнеров. Использование облачных технологий для вычислений Облако является ключевой составляющей инициативы Microsoft Technical computing. Чтобы быстро увеличить процессорную мощность, когда это необходимо, заказчики могут легко перенести высокопроизводительные расчеты из собственного центра обработки данных в облако. В будущем компания выпустит обновление для Windows HPC Server, с помощью которого к собственному НРС-кластеру можно будет добавлять вычислительные узлы кластера в облаке Windows Azure и гибко управлять ими. Упрощение процесса параллельной разработки Ключевым принципом инициативы Microsoft Technical Computing является упрощение разработки HPC-приложений для нового поколения распределенных или параллельных вычислительных ресурсов, которые состоят из персональных компьютеров, серверных кластеров и облачных ресурсов. С помощью Windows HPC Server 2008 R2, Visual Studio 2010 и решений партнеров, таких как Intel и NVIDIA, Microsoft предоставляет интегрированную платформу для параллельных вычислений, на базе которой разработчики смогут эффективно создавать, тестировать и оптимизировать параллельный код для развертывания на клиентских, серверных ресурсах или на ресурсах облачных вычислений. Читайте также:  Долгий экран подождите windows 10 Оцените статью Вам также может понравиться Windows или Linux: Что лучше выбрать? Есть много причин выбирать между Windows и Linux, но Файл владелец изменить linux Команда Chown в Linux Chown Command in Linux (File Установка шлюза по умолчанию linux Настройка сети вручную Содержание Краткое описание Чем разбить диск для linux ИТ База знаний Курс по Asterisk Полезно — Узнать IP — Правообладателям Политика конфиденциальности Контакты