Что такое amazon linux ami

AWS DeepLearning AMI — почему (и как) его стоит использовать

Иногда хорошие вещи приходят бесплатно .

Что такое AMI?

Для тех из вас, кто не знает, что такое AMI, позвольте мне процитировать официальную документацию по этому вопросу:

Amazon Machine Image (AMI) предоставляет данные, необходимые для запуска экземпляра виртуального сервера в облаке. Вы настраиваете AMI при запуске экземпляра, и вы можете запустить столько экземпляров из AMI, сколько вам нужно. Вы также можете запускать экземпляры виртуальных машин из множества различных AMI, сколько вам нужно.

Этого должно быть достаточно, чтобы понять остальную часть статьи, однако я бы посоветовал потратить некоторое время на официальную документацию об AMI.

Глубокое обучение или глубинное (англ. Deep learning) — набор алгоритмов машинного обучения, которые пытаются моделировать высокоуровневые абстракции в данных, используя архитектуры, состоящие из множества нелинейных преобразований
Глубокое обучение является частью более широкого семейства методов машинного обучения, которые подбирают представление данных. Наблюдение (например, изображение) может быть представлено многими способами, такими как вектор интенсивности значений на пиксель, или (в более абстрактной форме) как множество примитивов, областей определенной формы, и т. д.
С другой стороны есть и мнения, что глубокое обучение — не что иное, как модное слово или ребрендинг для нейронных сетей. Wiki.

Что такое AWS DeepLearning AMI (а.к.а. DLAMI) и почему его нужно использовать?

Обучение (тренировку) нейронных сетей можно делать 2-мя путями: с использование CPU или с использованием GPU. Думаю ни для кого не секрет что обучение с помощью GPU показывает лучшие результаты, с точки зрения скорости(а как следствие и затрат), чем обучение с помощью CPU, поэтому все современные системы машинного обучения поддерживают GPU. Однако, чтобы использовать все преимущества GPU мало просто иметь этот самый GPU, вам необходимо еще «по приседать»:

1. Получить сам GPU.
2. Настроить его драйвера.
3. Найти библиотеки, которые могут использовать все возможности именно вашего GPU. Библиотеки должны быть совместимы с драйверами и оборудованием из 1 и 2.
4. Вам необходимо иметь нейронную сеть, которая была скомпилирована с библиотеками, которые были найдены ранее.

Так что же нужно сделать что бы решить все эти 4 незадачи? Есть 2 варианта:

1. Загрузить исходный код сети и библиотеку для работы с GPU, а затем соберите все самостоятельно в нужной конфигурации(в реальности это еще сложнее сделать чем звучит).
2. Найти сборку фреймворка с поддержкой GPU, затем установить все необходимое и надеется что оно взлетит.

Оба случая имеют разные плюсы и минусы, однако есть один большой минус для этих вариантов — оба требуют от пользователя некоторых технических знаний. Это основная причина, по которой не так много людей, как хотелось бы, тренируют нейронные сети на GPU.

Как DLAMI может решить эту проблему? Да легко, дело в том, что DLAMI, это первое бесплатное решение, включающее все, что необходимо прямо из коробки:

• Драйвера для новейшего графического процессора от Nvidia;
• Последние библиотеки CUDA и CuDNN;
• Предварительно собранные фреймворки с поддержкой GPU (и собранные с теми версиями CUDA и CuDNN которые доступны в AMI).

Аль, к слову, список фреймворков, которые работают из коробки:

DLAMI можно использовать с GPU-совместимым машинами на AWS, например P2 или G2:

Можете, кстати, попробовать поиграться со свеже выпущенными G3

Надеюсь, теперь у нас есть ответ на вопрос: почему и кому нужно использовать DLAMI. Теперь давайте обсудим ответ на следующий вопрос .

Как именно можно создать машину с DLAMI?

Для этого сначала нужно выбрать, какой вариант DLAMI более предпочтителен:

• на базе Ubuntu (может использоваться с любыми пакетами Ubuntu).
• на базе Amazon Linux (включает все программы AWS, такие как awscli, из коробки).

Если с типом DLAMI определились то перейдем с способам создания машин на базе DLAMI:

Консоль EC2 фактически предоставляет два способа ее создания, обычное создание:

И ускоренное создание консоли EC2, применяя конфигурацию по умолчанию:

Проблемы с обновлениями

Существует одна оговорка, которую необходимо обсудить. Поскольку все фреймворки построены с нуля, вы не можете просто так взять и обновить их до последней версии, есть риск получить версию фреймворка, которая не собрана с поддержкой GPU (или не совместима с версией CUDA). Так что обновляйте пакеты на свой страх и риск!

Согласен, это затрудняет переход на новые версии фреймворков, поскольку вам нужно перейти на новый AMI, а не просто обновить пакет. В свою очередь переход на новую AMI может быть болезненным. Поэтому имейте это в виду, создавая новый экземпляр виртуальной машины, я бы посоветовал вам создать отдельную EBS для хранения ваших данных, которую вы можете легко отмонтировать и использовать с новым экземпляром виртуальной машины с обновленной версией AMI. Ну или храните данные в репозитории.

На практике я обнаружил, что это не такая уж большая проблема для машин которые используется не продолжительно в исследовательских целях. Плюс DLAMI, обычно, включает в себя достаточно свежие версии фреймворков.

Источник

Amazon Linux 2

Amazon Linux 2 is the next generation of Amazon Linux, a Linux server operating system from Amazon Web Services (AWS). It provides a secure, stable, and high performance execution environment to develop and run cloud and enterprise applications. With Amazon Linux 2, you get an application environment that offers long term support with access to the latest innovations in the Linux ecosystem. Amazon Linux 2 is provided at no additional charge.

Amazon Linux 2 is available as an Amazon Machine Image (AMI) for use on Amazon Elastic Compute Cloud (Amazon EC2). It is also available as a Docker container image and as a virtual machine image for use on Kernel-based Virtual Machine (KVM), Oracle VM VirtualBox, Microsoft Hyper-V, and VMware ESXi. The virtual machine images can be used for on-premises development and testing. Amazon Linux 2 supports the latest Amazon EC2 features and includes packages that enable easy integration with AWS. AWS provides ongoing security and maintenance updates for Amazon Linux 2.

Benefits

Optimized performance

Amazon Linux 2 includes support for the latest Amazon EC2 instance capabilities and is tuned for enhanced performance. It includes packages that help ease integration with other AWS Services.

Predictability of long term support

Amazon Linux 2 will offer long-term support – a common need for many long-lived applications. Developers, IT administrators, and ISVs get the predictability and enhanced stability of a Long Term Support (LTS) release, but without compromising access to the latest versions of popular software packages.

Enhanced developer productivity

Amazon Linux 2 is offered as a virtual machine and container image for on-premises development and testing. Developers can speed up their application development by building, testing, and integrating on the same Linux distribution that is used in their production environment.

Rapidly growing Partner ecosystem

Amazon Linux 2 has a rapidly growing community of Technology Partners that includes Independent Software Vendors (ISVs). You can install and run many popular partner applications.

Источник

Образы AWS Deep Learning AMI

Предварительно настроенные среды для быстрого создания приложений глубокого обучения

Образы AWS Deep Learning AMI предоставляют специалистам по машинному обучению и ученым инфраструктуру и инструменты для ускорения глубокого обучения в облаке в любых масштабах. Вы можете быстро запускать инстансы Amazon EC2 с предварительно установленными популярными платформами и интерфейсами глубокого обучения, такими как TensorFlow, PyTorch, Apache MXNet, Chainer, Gluon, Horovod и Keras, что позволяет обучать сложные специальные модели ИИ, экспериментировать с новыми алгоритмами или изучать новые навыки и методы.

Независимо от выбранного для работы варианта, инстансов на графических процессорах или стандартных вычислительных инстансов Amazon EC2, за образы AWS Deep Learning AMI не начисляется дополнительная плата. Вы платите только за ресурсы AWS, используемые для хранения и запуска приложений.

85% проектов TensorFlow в облачной среде выполняются в AWS.

Выбор AWS Deep Learning AMI

Даже для опытных специалистов по машинному обучению начало работы с глубоким обучением может быть трудоемким и обременительным. Предлагаемые нами образы AMI соответствуют различным потребностям разработчиков. Чтобы получить инструкции по началу работы, см. Руководство по выбору AMI и другие ресурсы по глубокому обучению.

Conda AMI

Для разработчиков, которые хотят иметь предустановленные pip-пакеты платформ глубокого обучения в отдельных виртуальных средах, доступен образ AMI на основе Conda в версиях для Ubuntu, Amazon Linux и Windows 2016.

Узнайте подробнее о преимуществах образа Conda AMI и начните работу с этого пошагового руководства.

Base AMI

Для разработчиков, которые хотят начать с чистого листа и настроить частные репозитории для модулей глубокого обучения или специальные сборки модулей глубокого обучения, доступен образ Base AMI в версиях для Ubuntu и Amazon Linux.

Узнайте подробнее о преимуществах AMI Base и начните работу с этого пошагового руководства.

Источник

Решения в AWS Marketplace для Amazon Linux

Amazon Linux – это дистрибутив, поддерживаемый и обновляемый Amazon Web Services и предоставляемый для использования с инстансами Elastic Compute Cloud (EC2).

• Интегрированный и расширяемый Amazon Linux AMI включает в себя пакеты и конфигурации, которые обеспечивают тесную интеграцию с Amazon Web Services, многие инструменты API AWS и CloudInit предварительно установлены. CloudInit позволяет передавать команды для выполнения определенных действий, связанных с конфигурацией, инстансам во время их запуска с помощью полей пользовательских данных EC2, что позволяет осуществлять удаленную конфигурацию инстансов Amazon EC2.
• Безопасная конфигурация. Конфигурация Amazon Linux AMI повышает безопасность, сосредотачиваясь на двух основных целях безопасности: ограничении доступа и снижении уязвимости программного обеспечения. Amazon Linux AMI ограничивает возможности удаленного доступа путем использования пары SSH-ключей и запрета удаленного подключения с правами root. Кроме того, Amazon Linux AMI уменьшает количество некритических пакетов, установленных на инстансе, что позволяет уменьшить количество потенциальных уязвимостей безопасности. Обновления безопасности, имеющие статус «критических» или «важных», применяются автоматически при начальной загрузке AMI.
• Доступ к репозиторию пакетов. Amazon Linux AMI предназначен для использования в сочетании с онлайн-репозиториями пакетов, размещенными в каждом регионе Amazon EC2. Размещение репозиториев в каждом регионе позволяет выполнять обновление быстро и без расходов на передачу данных.

Типовые сценарии клиентов

Запуск контейнеров в нужном масштабе Amazon EC2 Container Service упрощает управление контейнерами Docker при любых масштабах. Это централизованный сервис, который включает программный доступ к состоянию всех контейнеров и инстансов Amazon EC2 в кластере, планирует запуск контейнеров в нужном местоположении и использует такие привычные возможности Amazon EC2, как группы безопасности, тома Amazon EBS и роли IAM.

Глубокое обучение. Deep Learning AMI – это поддерживаемый и обслуживаемый образ Amazon Linux, предоставляемый сервисом Amazon Web Services для использования в Amazon Elastic Compute Cloud (Amazon EC2). Он предназначен для обеспечения стабильной, безопасной и высокопроизводительной среды выполнения для приложений глубокого обучения, работающих в Amazon EC2. Deep Learning AMI включает в себя популярные платформы глубокого обучения, включая MXNet, Caffe, Tensorflow, Theano и Torch, а также пакеты, которые обеспечивают легкую интеграцию с AWS, включая средства настройки запуска и многие популярные библиотеки и инструменты AWS. Он также включает в себя платформу для научных исследований Anaconda для Python2 и Python3. С целью обеспечения текущей безопасности и обслуживания Amazon Web Services выполняет обновление всех инстансов, на которых используется Amazon Linux AMI. Deep Learning AMI предоставляется пользователям Amazon EC2 без дополнительной оплаты.

Рабочие нагрузки с интенсивным использованием графических процессоров Amazon Linux AMI с NVIDIA GRID GPU Driver позволяет запускать высокопроизводительные вычисления в облаке. Он обеспечивает стабильную, безопасную и высокопроизводительную среду выполнения, которая позволяет разработчикам приложений запускать игры и приложения, оптимизированные для NVIDIA GeForce, из облака на Amazon EC2. Семейство инстансов G2 с графическим процессором используется для молекулярного моделирования, рендеринга, машинного обучения, потоковой передачи игр и задач транскодирования, требующих огромных объемов параллельных вычислительных мощностей. Графический процессор NVIDIA GRID включает в себя специализированное аппаратное ускорение кодирования видео. Он генерирует видеопоток H.264, который может отображаться на любом клиентском устройстве, имеющем совместимый видеокодек. Доступны также драйверы CUDA Toolkit и TESLA.

Источник

AMI Amazon Linux

Стандартная поддержка AMI Amazon Linux прекращена 31 декабря 2020 г. Теперь она перешла на этап технического обслуживания. Здесь вы найдете полный список поддерживаемых и неподдерживаемых пакетов. Мы рекомендуем нашим клиентам выполнить обновления своих приложений, чтобы иметь возможность использовать сервис Amazon Linux 2, для которого доступна долговременная поддержка до конца 2023 года.

AMI Amazon Linux

Amazon Linux AMI – это поддерживаемый и обслуживаемый образ Linux, предоставляемый Amazon Web Services для использования в Amazon Elastic Compute Cloud (Amazon EC2). Он предназначен для обеспечения стабильной, безопасной и высокопроизводительной среды выполнения для приложений, работающих в Amazon EC2. Образ поддерживает возможности новейших типов инстансов EC2 и содержит пакеты для простой интеграции с AWS. AWS регулярно выпускает обновления безопасности и рабочие исправления для всех инстансов, на которых используется AMI Amazon Linux. AMI Amazon Linux предоставляется пользователям Amazon EC2 бесплатно.

Основные возможности

Интеграция с сервисами AWS

AMI Amazon Linux включает в себя пакеты и конфигурации, которые обеспечивают тесную интеграцию с Amazon Web Services. AMI Amazon Linux поставляется с большим количеством предварительно установленных инструментов API AWS и CloudInit. Инструменты API AWS позволяют использовать скрипты для выполнения важных задач по выделению ресурсов внутри инстанса Amazon EC2. CloudInit позволяет во время запуска инстансов передавать на них команды для выполнения определенных действий, связанных с конфигурацией, что дает возможность осуществлять удаленную конфигурацию инстансов Amazon EC2. Команды передаются с помощью полей пользовательских данных EC2.

Образы AMI Amazon Linux доступны во всех регионах AWS. Подробнее см. в таблице поддерживаемых комбинаций образов AMI Amazon Linux и типов инстансов.

Безопасная конфигурация

Конфигурация AMI Amazon Linux повышает безопасность по двум основным направлениям: ограничение доступа и снижение уязвимости программного обеспечения. Для ограничения удаленного доступа в AMI Amazon Linux используются пары SSH‑ключей и запрещается удаленное подключение с правами root. Кроме того, AMI Amazon Linux содержит меньше второстепенных пакетов, что позволяет уменьшить количество потенциальных уязвимостей безопасности. Критические и важные обновления безопасности применяются автоматически при начальной загрузке AMI. После входа в систему отображается «Сообщение дня» (из файла /etc/motd), в котором указано, доступны ли дополнительные обновления.

Доступ к репозиторию пакетов

AMI Amazon Linux включает в себя пакеты и конфигурации, которые обеспечивают полную интеграцию с Amazon Web Services. Это позволяет запускать и использовать AMI Amazon Linux с различными сервисами AWS без дополнительной настройки.

Репозитории доступны во всех регионах через менеджер пакетов yum. Размещение репозиториев в каждом регионе позволяет выполнять обновление быстро и без расходов на передачу данных.

Обновления безопасности

Обновления безопасности можно установить из репозиториев AMI Amazon Linux с помощью менеджера пакетов yum. Кроме того, можно воспользоваться обновленными образами AMI Amazon Linux. Предупреждения о необходимости установки обновлений безопасности публикуются в Центре безопасности AMI Amazon Linux. Для получения подробной информации о политиках безопасности AWS, а также для отправки сообщений о выявленных проблемах безопасности обращайтесь в Центр безопасности AWS.

Облегченная конфигурация

По умолчанию AMI Amazon Linux включает в себя небольшой набор сервисов, служебных программ и инструментов для интеграции с AWS. Образ AMI Amazon Linux AMI служит функциональной основой, которую можно расширить путем добавления дополнительных служебных программ и сервисов с помощью репозиториев пакетов. Начало работы с меньшим количеством пакетов означает, что меньше компонентов требует обслуживания, а системам безопасности меньше угрожают потенциальные уязвимости.

AWS Support

Помощь по установке и использованию базового образа AMI Amazon Linux предоставляется в рамках подписки на сервисы AWS Support. Подробнее об AWS Support см. на веб‑странице AWS Support.

Предыдущие версии AMI и обновленные пакеты можно запускать в Amazon EC2 и устанавливать из yum‑репозитория AMI Amazon Linux даже после выпуска новых версий AMI Amazon Linux.

Тем не менее для обеспечения наилучшего качества обслуживания мы рекомендуем клиентам использовать самые последние версии AMI Amazon Linux.

AMI Amazon Linux предоставляется пользователям Amazon EC2 бесплатно. За запуск инстансов Amazon EC2 и использование других сервисов AWS взимается стандартная плата.

Источник