Linux для машинного обучения

Как создать виртуальную машину Linux для разработки машинного обучения с Python 3

Дата публикации 2017-02-27

Linux — отличная среда для разработки машинного обучения на Python.

Инструменты могут быть установлены быстро и легко, и вы можете разрабатывать и запускать большие модели напрямую.

В этом руководстве вы узнаете, как создать и настроить виртуальную машину Linux для машинного обучения с помощью Python.

После завершения этого урока вы узнаете:

• Как скачать и установить VirtualBox для управления виртуальными машинами.
• Как скачать и настроить Fedora Linux.
• Как установить среду SciPy для машинного обучения в Python 3.

Этот учебник подходит, если вашей базовой операционной системой является Windows, Mac OS X и Linux.

Преимущества виртуальной машины Linux

Существует ряд причин, по которым вы можете захотеть использовать виртуальную машину Linux для разработки машинного обучения на Python.

Например, ниже приведен список 5 главных преимуществ использования виртуальной машины:

• Использовать инструменты, недоступные в вашей системе (если вы используете Windows).
• Для установки и использования инструментов машинного обучения без влияния на вашу локальную среду (например, используйте инструменты Python 3).
• Иметь сильно настроенные среды для разных проектов (Python2 и Python3).
• Чтобы сохранить состояние машины и выбрать точно, где вы остановились (прыгать с машины на машину).
• Поделиться средой разработки с другими разработчиками (настроить один раз и использовать много раз).

Пожалуй, самый полезный момент — это возможность легко использовать инструменты машинного обучения, не поддерживаемые в вашей среде.

Я пользователь OS X, и хотя инструменты машинного обучения можно установить с помощьюзавариватьа такжеMacPortsМне все еще легче настраивать и использовать виртуальные машины Linux для машинного обучения.

обзор

Этот урок разбит на 3 части:

1. Загрузите и установите VirtualBox.
2. Загрузите и установите Fedora Linux на виртуальной машине.
3. Установите Python Machine Learning Environment

1. Загрузите и установите VirtualBox

VirtualBox — это бесплатная платформа с открытым исходным кодом для создания и управления виртуальными машинами.

После установки вы можете создавать все необходимые вам виртуальные машины, если у вас есть образы ISO или компакт-диски для установки.

• 3. Выберите двоичные файлы для вашей рабочей станции.
• 4. Установите программное обеспечение для вашей системы и следуйте инструкциям по установке.

• 5. Откройте программное обеспечение VirtualBox и подтвердите, что оно работает.

2. Загрузите и установите Fedora Linux

Я выбралFedora Linuxпотому что я думаю, что это более добрый и мягкий Linux, чем некоторые.

Это передний край для RedHat Linux, предназначенный для рабочих станций и разработчиков.

2.1 Загрузите ISO-образ Fedora

Начнем с загрузки ISO-образа для Fedora Linux. В данном случае это 64-битная версия Fedora 25.

• 1. ПосещениеGetFedora.org,
• 2. Нажмите «рабочая станцияЧтобы получить доступ кСтраница рабочей станции,
• 3. Нажмите «Скачать сейчасЧтобы получить доступ кСтраница загрузок,
• 4. В разделе «Другие загрузки» нажмите «64-битное 1,3 ГБ живое изображение«

• 5. Теперь у вас должен быть файл ISO с именем:
  • «Fedora-Workstation-Live-x86_64-25-1.3.iso«.

Теперь мы готовы создать виртуальную машину в VirtualBox.

2.2 Создайте виртуальную машину Fedora

Теперь давайте создадим виртуальную машину Fedora в VirtualBox.

• 1. Откройте программное обеспечение VirtualBox.
• 2. Нажмите «новый».
• 3. Выберите Имя и операционную систему.
  • название:Fedora25
  • тип:Linux
  • версия:Fedora (64-разрядная версия)
  • Нажмите «Продолжить«

• 4. Настройте размер памяти
  • 2048
• 5. Настройте жесткий диск
  • Создайте виртуальный жесткий диск сейчас
  • Тип файла жесткого диска
  • VDI (образ диска VirtualBox)
  • Хранение на физическом жестком диске
  • Динамически распределяется
  • Расположение и размер файла:10GB

Теперь мы готовы установить Fedora из образа ISO.

2.3 Установите Fedora Linux

Теперь давайте установим Fedora Linux на новую виртуальную машину.

• 1. Выберите новую виртуальную машину и нажмите «Начните».
• 2. Нажмите значок папки и выберите файл Fedora ISO:
  • «Fedora-Workstation-Live-x86_64-25-1.3.iso«.

• 3. Нажмите «Начните».
• 4. Выберите первый вариант «Запустите Fedora-Live-Workstation-Live 25И нажмитеВойтиключ.
• 5. ХитEsc», Чтобы пропустить проверку.
• 6. Выберите «Пользователь живой системы«.
• 7. Выберите «Установить на жесткий диск«.

• 8. ЗавершитеВыбор языка» (Английский)
• 9. ЗавершитьНазначение установки»(«ATA VBOX HARDDISK«).
  • Возможно, вам придется подождать одну минуту, пока виртуальная машина создаст жесткий диск

• 10. Нажмите «Начать установку«.
• 11. Установите пароль пользователя root.
• 12. Создайте пользователя для себя.
  • Запишите имя пользователя и пароль (чтобы вы могли использовать его позже).
  • Отметьте «Сделать этого пользователя администратором»(Чтобы вы могли установить программное обеспечение).

• 13. Подождите, пока установка завершится . (5 минут?)
• 14. Нажмите «Уволиться», Щелкните значок питания в правом верхнем углу; выберите выключить.

2.4 Завершение установки Fedora Linux

Fedora Linux была установлена; Давайте завершим установку и подготовим ее к использованию.

• 1. В VirtualBox с выбранной виртуальной машиной Fedora25 в разделе «Место хранения«, нажмите на «Оптический привод«.
  • Выбрать «Удалить диск из виртуального диска”, Чтобы извлечь образ ISO.
• 2. Нажмите «Начните”, Чтобы начать установку Fedora Linux.
• 3. Войдите в систему как пользователь, которого вы создали.

• 4. Завершите установку
  • Выберите язык «английский«
  • Нажмите «следующий«
  • Выбрать клавиатуруНАС«
  • Нажмите «следующий«
  • Настроить конфиденциальность
  • Нажмите «следующий«
  • Подключите свои онлайн-аккаунты
  • Нажмите «Пропускать«
  • Нажмите «Начните использовать Fedora«
• 5. Закройте справочную систему, которая запускается автоматически.

Теперь у нас есть виртуальная машина Fedora Linux, готовая для установки нового программного обеспечения.

3. Установите Python Machine Learning Environment

Fedora используетГном 3в качестве оконного менеджера.

Gnome 3 очень отличается от предыдущих версий Gnome; вы можете узнать, как обойти, используя встроенную справочную систему.

3.1 Установите Python Environment

Начнем с установки необходимых библиотек Python для разработки машинного обучения.

• 1. Откройте терминал.
  • Нажмите «мероприятия«
  • Тип «Терминал«
  • Нажмите на иконку или нажмите Enter

• 2. Подтвердите, что Python3 был установлен.

• 3. Установите среду машинного обучения Python. В частности:
  • NumPy
  • SciPy
  • Панды
  • Matplotlib
  • Statsmodels
  • Scikit-Learn

DNFэто система установки программного обеспечения, формально ням. Первый раз, когда вы запускаетед.н.ф., это обновит базу данных пакетов, это может занять минуту.

Введите пароль, когда будет предложено.

Подтвердите установку при появлении запроса, нажав «Y» а также «войти«.

3.2 Подтвердите среду Python

Теперь, когда среда установлена, мы можем подтвердить это, напечатав версии каждой необходимой библиотеки.

• 1. Откройте Gedit.
  • Нажмите «мероприятия«
  • Тип «Gedit«
  • Нажмите на иконку или нажмите Enter
• 2. Введите следующий скрипт и сохраните его какversions.pyв домашнем каталоге.

Нет поддержки копирования-вставки; Вы можете открыть Firefox внутри виртуальной машины, перейти на эту страницу и скопировать сценарий в окно Gedit.

• 3. Запустите скрипт в терминале.

Советы по использованию ВМ

В этом разделе перечислены некоторые советы по использованию виртуальной машины для развития машинного обучения.

• Копирование-вставка и общий доступ к папкам, Эти функции требуют установки «Гостевые дополнения»В Linux VM. Я не смог заставить это установить правильно и поэтому не использую эти функции. Вы можете попробовать, если хотите; дайте мне знать, как вы делаете в комментариях.
• Используйте GitHub, Я рекомендую хранить весь ваш код в GitHub и проверять и выводить код из виртуальной машины. Это делает жизнь намного проще для получения кода и активов в и из ВМ.
• Используйте Sublime, Я думаю, что Sublime — отличный текстовый редактор для Linux для разработки, лучше, чем Gedit.
• Используйте AWS для больших работ, Вы можете использовать ту же процедуру для настройки Fedora Linux в Amazon Web Services для запуска больших моделей в облаке.
• Инструменты VM, Вы можете сохранить виртуальную машину в любой момент, закрыв окно. Вы также можете сделать снимок виртуальной машины в любой момент и вернуться к снимку. Это может быть полезно, если вы делаете большие изменения в файловой системе.
• python2, Вы можете легко установить Python2 вместе с Python 3 в Linux и использовать двоичный файл python (а не python3) или использовать альтернативы для переключения между ними.
• Ноутбуки, Подумайте о том, чтобы запустить сервер ноутбуков внутри виртуальной машины и открыть брандмауэр, чтобы вы могли подключаться и работать с основной рабочей станции вне виртуальной машины.

Есть ли у вас какие-либо советы, чтобы поделиться? Дай мне знать в комментариях.

Дальнейшее чтение

Ниже приведены некоторые ресурсы для дальнейшего чтения, если вы новичок в инструментах, используемых в этом руководстве.

Резюме

В этом руководстве вы узнали, как настроить виртуальную машину Linux для разработки машинного обучения на Python.

В частности, вы узнали:

• Как загрузить и установить VirtualBox, бесплатное программное обеспечение с открытым исходным кодом для управления виртуальными машинами.
• Как скачать и настроить Fedora Linux, удобный дистрибутив Linux для разработчиков.
• Как установить и протестировать среду Python3 для разработки машинного обучения.

Вы завершили учебник?
Дайте мне знать, как все прошло в комментариях ниже.

Источник

Среда разработки машинного обучения

Дата публикации 2018-04-11

Среда разработки, которую вы используете для машинного обучения, может быть так же важна, как и методы машинного обучения, которые вы используете для решения задачи прогнозного моделирования.

Несколько раз в неделю я получаю такие вопросы:

Какова ваша среда разработки для машинного обучения?

В этом посте вы узнаете о среде разработки, которую я использую и рекомендую для прикладного машинного обучения для разработчиков.

Прочитав этот пост, вы узнаете:

• Важные различия между ролью рабочей станции и серверного оборудования в машинном обучении.
• Как убедиться, что ваши зависимости машинного обучения установлены и обновлены в повторяемой манере.
• Как разработать код машинного обучения и запустить его безопасным способом, который не вызывает новых проблем.

Как выглядит ваша среда разработки машинного обучения?
Позвольте мне знать в комментариях ниже.

Оборудование для машинного обучения

Независимо от того, изучаете ли вы машинное обучение или разрабатываете большие модели для работы, оборудование вашей рабочей станции не имеет большого значения.

Я не рекомендую вам устанавливать на вашей рабочей станции большие модели.

Развитие машинного обучения включает в себя множество небольших тестов, чтобы выяснить предварительные ответы на такие вопросы, как:

• Какие данные использовать.
• Как подготовить данные.
• Какие модели использовать.
• Какую конфигурацию использовать.

В конечном итоге ваша цель на рабочей станции — определить, какие эксперименты проводить. Я называю это предварительными экспериментами. Для предварительных экспериментов используйте меньше данных: небольшой образец, который будет соответствовать вашим аппаратным возможностям.

Большие эксперименты занимают минуты, часы или даже дни. Они должны работать на большом оборудовании, отличном от вашей рабочей станции.

Это может быть серверная среда, возможно, с аппаратным обеспечением GPU, если вы используете методы глубокого обучения. Это оборудование может быть предоставлено вашим работодателем, или вы можете арендовать его дешево в облаке, например, в AWS.

Это правда, что чем быстрее (ЦП) ваша рабочая станция и чем больше емкость (ОЗУ) имеет ваша рабочая станция, тем больше или больше предварительных небольших экспериментов вы можете выполнить и тем больше вы сможете получить от своих больших экспериментов. Итак, приобретите лучшее оборудование, какое только можете, но в целом работайте с тем, что у вас есть.

Мне самому нравятся большие Linux-боксы с большим количеством оперативной памяти и большим количеством ядер для серьезных исследований и разработок. Для повседневной работы мне нравится iMac, опять же с таким количеством ядер и большим количеством оперативной памяти, сколько я могу получить.

• рабочая станция, Поработайте с небольшой выборкой ваших данных и выясните, какие крупные эксперименты нужно выполнить.
• Сервер (ы), Проведите большие эксперименты, которые занимают часы или дни и помогут вам выяснить, какую модель использовать в операциях.

Установите зависимости машинного обучения

Вы должны установить библиотечные зависимости, которые у вас есть для разработки машинного обучения.

В основном это библиотеки, которые вы используете.

В Python это могут быть Pandas, scikit-learn, Keras и другие. В R это все пакеты и, возможно, карет.

Больше, чем просто установка зависимостей, у вас должен быть повторяемый процесс, чтобы вы могли за считанные секунды снова настроить среду разработки, например, на новых рабочих станциях и на новых серверах.

Я рекомендую использовать менеджер пакетов и скрипт, такой как скрипт оболочки, для установки всего.

На моем iMac я использую macports для управления установленными пакетами. Я думаю, что есть два сценария: один для установки всех пакетов, которые мне требуются, на новый компьютер Mac (например, после обновления рабочей станции или ноутбука), а другой — специально для обновления установленных пакетов.

Библиотеки всегда обновляются с исправлениями ошибок, поэтому второй сценарий для обновления специально установленных библиотек (и их зависимостей) является ключевым.

Это сценарии оболочки, которые я могу запускать в любое время и которые я постоянно обновляю по мере необходимости для установки новых библиотек.

Если вам нужна помощь в настройке вашей среды, может помочь одно из следующих руководств:

Возможно, вы захотите поднять вещи на следующий уровень с точки зрения наличия воспроизводимой среды, такой как использование контейнера, такого какдокерили поддержание вашего собственного виртуализированного экземпляра.

• Установить скрипт, Сохраните сценарий, который вы можете использовать для переустановки всего, что необходимо для вашей среды разработки.
• Обновить скрипт, Поддерживайте сценарий, чтобы обновить все ключевые зависимости для развития машинного обучения и периодически запускать его.

Редактор машинного обучения

Я рекомендую очень простую среду редактирования.

Тяжелая работа с развитием машинного обучения — это не написание кода; вместо этого он имеет дело с неизвестными, уже упомянутыми. Неизвестные, такие как:

• Какие данные использовать.
• Как подготовить данные
• Какой алгоритм / ы использовать.
• Какие конфигурации использовать.

Написание кода является легкой частью, особенно потому, что вы, скорее всего, будете использовать существующую реализацию алгоритма из современной библиотеки машинного обучения.

По этой причине вам не нужна модная IDE; это не поможет вам получить ответы на эти вопросы.

Вместо этого я рекомендую использовать очень простой текстовый редактор, который предлагает базовую подсветку кода.

Лично я пользуюсь и рекомендуюВозвышенный текст, но любой подобный текстовый редактор будет работать так же хорошо.

Некоторые разработчики любят использовать ноутбуки, такие какJupyter, Я не использую и не рекомендую их, поскольку обнаружил, что эти среды являются сложными для разработки; они могут скрывать ошибки и вводить странность зависимости для развития.

Для изучения машинного обучения и развития машинного обучения я рекомендую писать сценарии или код, которые можно запускать непосредственно из командной строки или из сценария оболочки.

Например, сценарии R и сценарии Python могут быть запущены напрямую с использованием соответствующего интерпретатора.

Дополнительные советы о том, как проводить эксперименты из командной строки, см. В посте:

Получив окончательную модель (или набор прогнозов), вы можете интегрировать ее в свое приложение, используя стандартные инструменты разработки для вашего проекта.

Дальнейшее чтение

Этот раздел предоставляет больше ресурсов по теме, если вы хотите углубиться.

Резюме

В этом посте вы обнаружили оборудование, зависимости и редактор, которые можно использовать для разработки машинного обучения.

В частности, вы узнали:

• Важные различия между ролью рабочей станции и серверного оборудования в машинном обучении.
• Как убедиться, что ваши зависимости машинного обучения установлены и обновлены в повторяемой манере.
• Как разработать код машинного обучения и запустить его безопасным способом, который не вызывает новых проблем.

Как выглядит ваша среда разработки машинного обучения?
Позвольте мне знать в комментариях ниже.

У вас есть вопросы?
Задайте свои вопросы в комментариях ниже, и я сделаю все возможное, чтобы ответить.

Источник