How to install Python client libraries for remote access to a Machine Learning Server

Machine Learning Server includes open-source and Microsoft-specific Python packages for modeling, training, and scoring data for statistical and predictive analytics. For classic client-server configurations, where multiple clients connect to and use a remote Machine Learning Server, installing the same Python client libraries on a local workstation enables you to write and run script locally and then push execution to the remote server where data resides. This is referred to as a remote compute context, operant when you call Python functions from libraries that exist on both client and server environments.

A remote server can be either of the following server products:

Client workstations can be Windows or Linux.

Microsoft Python packages common to both client and server systems include the following:

This article describes how to install a Python interpreter (Anaconda) and Microsoft’s Python packages locally on a client machine. Once installed, you can use all of the Python modules in Anaconda, Microsoft’s packages, and any third-party packages that are Python 3.5 compliant. For remote compute context, you can only call the Python functions from packages in the above list.

Check package versions

While not required, it’s a good idea to cross-check package versions so that you can match versions on the server with those on the client. On a server with restricted access, you might need an administrator to get this information for you.

Install Python libraries on Windows

Download the installation shell script Install-PyForMLS.ps1 (or use https://aka.ms/mls93-py for the 9.3 release or https://aka.ms/mls-py for the 9.2. release). The script installs Miniconda 4.5.12, which includes Python 3.7.2, along with all packages listed previously.

Open PowerShell window with elevated administrator permissions (right-click Run as administrator).

Go to the folder in which you downloaded the installer and run the script. Add the -InstallFolder command-line argument to specify a folder location for the libraries. For example:

Installation takes some time to complete. You can monitor progress in the PowerShell window. When setup is finished, you have a complete set of packages. For example, if you specified C:\mspythonlibs as the folder name, you would find the packages at C:\mspythonlibs\Lib\site-packages .

The installation script does not modify the PATH environment variable on your computer so the new python interpreter and modules you just installed are not automatically available to your tools. For help on linking the Python interpreter and libraries to tools, see Link Python tools and IDEs, replacing the MLS server paths with the path you defined on your workstation For example, for a Python project in Visual Studio, your custom environment would specify C:\mypythonlibs , C:\mypythonlibs\python.exe and C:\mypythonlibs\pythonw.exe for Prefix path, Interpreter path, and Windowed interpreter, respectively.

Offline install

Download .cab files used for offline installation and place them in your %TEMP% directory. You can type %TEMP% in a Run command to get the exact location, but it is usually a user directory such as C:\Users\ \AppData\Local\Temp .

After copying the files, run the PowerShell script using the same syntax as an online install. The script knows to look in the temp directory for the files it needs.

Install Python libraries on Linux

On each supported OS, the package manager downloads packages from the repository, determines dependencies, retrieves additional packages, and installs the software. After installation completes, mlserver-python executable is at ‘/usr/bin’.

On Ubuntu 14.04 — 16.04

With root or sudo permissions, run the following commands:

Red Hat and CentOS 6/7

With root or sudo permissions, run the following commands:

SUSE Linux Enterprise Server 11

With root or sudo permissions, run the following commands:

Test local package installation

As a verification step, call functions from the revoscalepy package and from scikit, included in Anaconda.

If you get a «module not found» error for any of the instructions below, verify you are loading the python interpreter from the right location. If using Visual Studio, confirm that you selected the custom environment pointing the prefix and interpreter paths to the correct location.

On Windows, depending on how you run the script, you might see this message: «Express Edition will continue to be enforced». Express edition is one of the free SQL Server editions. This message is telling you that client libraries are licensed under the Express edition. Limits on this edition are the same as Standard: in-memory data sets and 2-core processing. Remote servers typically run higher editions not subjected to the same memory and processing limits. When you push the compute context to a remote server, you work under the full capabilities of that system.

Create some data to work with. This example loads the iris data set using scikit.

Print out the dataset. You should see a 4-column table with measurements for sepal length, sepal width, petal length, and petal width.

Load revoscalepy and calculate a statistical summary for data in one of the columns. Print the output to view mean, standard deviation, and other measures.

Results

Next steps

Now that you have installed local client libraries and verified function calls, try the following walkthroughs to learn how to use the libraries locally and remotely when connected to resident data stores.

Remote access to a SQL Server is enabled by an administrator who has configured ports and protocols, enabled remote connections, and assigned user logins. Check with your administrator to get a valid connection string when using a remote compute context to SQL Server.

How to Install Python on Windows Server

Python is an excellent general purpose language that can be used for batch processing and other tasks on your server.

To install Python on Windows Server operating system, you just need to run the installer and use the simplest configuration.

Steps to Install Python on Windows Server Operating System

Download the installer (full as opposed to the web sintaller) and save it to your temp folder.

Right-click on the file and select Run as administrator.

You’ll see a User Account Control popup window with a question, “Do you want to allow the following program to make changes to this computer?” Just click on Yes.

Check the Add Python 3.7 to PATH checkbox at the bottom of the window (or whatever the latest version you’re installing).

If you don’t care where the program is installed, you can just clik on the Install Now, there’s nothing wrong with the setup and Python will run and this is generally fine for desktop installation.

For server installation, you should be more mindful with the program location better location rather than the default installation under a specific user folder who ran the installer. So it’s better to choose Customize installation.

In Optional Features screen, make sure you at least check the following: pip, py launcher, and for all users. Click Next.

On the next screen, Advanced Options, make sure you check Install for all users which then will change the value of Customize install location, just accept the default installation in C:\Program Files unless you have a reason to install it somewhere else. Click Install.

Once you see Setup was successful just click the Close button.

Make sure that C:\Program Files\Python37 and C:\Program Files\Python37\Scripts are in the Path of your System variables.

If you’re able to click on Edit button, you can see all the path entries in each line which is easier to read and edit. In this case, the button is greyed out due to the group policy.

As a final check, you can open Programs and Features and check if Python and Python Launcher are shown.

That’s all there is to have your server running Python scripts.

Установка Python на Windows

Рассмотрим установку языка программирования на Windows Server 2012, хотя установка на Windows 7, Windows 10 будет типовой.

Итак, для установки нам потребуется дистрибутив Python версию которой выбираем и скачиваем по ссылке: https://www.python.org/downloads/

Закачиваем и устанавливаем .msi пакет:

Скачать Python для windows

Выбираем установку для всех пользователей:

Выбираем установку для всех пользователей

Выбираем директорию для установки, я оставляю по умолчанию C:\Python27:

Выбираем директорию для установки

Далее по умолчанию нажимаем NEXT, NEXT до окончания установки:

Теперь необходимо проверить добавился ли путь для командной строки.

В диспетчере задач нажимаем Run new task:

Запускаем новую задачу Run new task

Набираем cmd и жмем ENTER:

Запускаем окно терминала

В окне терминала набираем python и жмем Enter, если выдаст информацию, то на этом инсталляция закончена.

У меня, как всегда, просто не получается и python выдает ошибку:

В этом же окне терминала набираем sysdm.cpl и попадаем в System Properties:

Набираем sysdm.cpl — Enter

Теперь нужно зайти в закладку Advanced и нажать кнопку Environment Variables:

Закладку Advanced -Environment Variables

Редактируем Path, добавляем в конце через точку с запятой путь куда установили Python, у меня это выглядит так — ;C:\Python27:

Открываем Path Дописываем пути ;C:\Python27

Теперь пробуем прописать python, но сделать это нужно в новом окне терминала, который подтянет наши записи:

Python 2.7.14 установлен

Вот теперь установка Python закончена и можно работать.

Развёртывание Django 1.9 на IIS 7+

Предисловие

Не так давно ко мне обратились с просьбой о создании сайта. Интересный крупный проект с множеством «хочу вот это«. Среди пожеланий были два главных, определивших web framework для написания, это интернационализация и панель администратора. Как уже понятно из заголовка статьи, таким framework’ом стала Django.

На старте, и почти всё время разработки, у нас не было одной вещи — сервера. Было доменное имя, бодрым темпом разрабатывался сайт, к проекту присоединился дизайнер, но сервер нам так выделить не могли. Все показы сайта проходили на моём ноутбуке, не давая возможности заказчику сесть вечером с кружкой кофе, расслабиться и насладиться тем, что мы уже для него сделали. А также, отсутствие возможности показать нашу работу людям лишало нас получения обратной связи.

И вот, можно сказать на днях, свершилось чудо — у нас появился сервер. И как следствие этого — эта статья.

Проблема

Радость моя была не долгой. Сайт на Django, а сервер на Windows Server 2012. Первая мысль:

Открываю сайт в браузер на сервере — всё работает. Отлично. Открываю сайт на домашней машине и вижу, что сайт не доступен. Грусть.

Следующая идея, это использовать IIS. Но как? «Ok, Google» выдал мне кучу статей на разных языках с кучей сложностей. Так же я не обошел вниманием cтатью с Хабра от Microsoft и с официального сайта Django, но все эти решения были довольно громоздкие, а мне хотелось некой простоты и элегантности.

Что мы имеем

Структура сайта (часть дерева):

Приступим к решению проблемы развёртывания Django на IIS.

Решение проблемы

Python

Тут всё просто, устанавливаем wfastcgi и готово.

Я бы предложил установить в глобальное окружение, дабы один раз настроить IIS для всех Python framewok’ов.

Теперь настраиваем IIS. В Windows Server этот компонент уже установлен по умолчанию, но не в полном объёме. Я имею в ввиду важный для нашего сайта компонент — CGI.

Компоненты Windows → Службы IIS → Службы Интернета → Компоненты разработки приложений → CGI.

Устанавливаем его. Теперь в Диспетчере IIS у нашего сервера появился пункт Настройки FastCGI.

Далее заходим в него. Возможно, если у вас уже был установлен CGI до того как вы установите wfastcgi, у вас уже будет такая строка.

В противном случае нажимаем на Добавить Приложение. и заполняем поля:

• Полный путь — С:\Python\python.exe
• Аргументы — C:\Python\Lib\site-packages\wfastcgi.py

Всё OK. Основная часть сделана. Далее создаём новый сайт. И у сайта выбираем Сопоставления обработчиков.

Сопоставления обработчиков → Добавление сопоставления модуля

• Путь запроса — *
• Модуль — FastCgiModule
• Исполняемый файл — C:\Python\python.exe|C:\Python\Lib\site-packages\wfastcgi.py
• Имя — Python FastCGI
• Ограничения запроса — нажать и убрать галочку

Далее ОК. IIS настроен.

Django App

Копируем проект в папку сайта. Создаём в ней виртуальное окружение. В этой же папке создаём файл web.config (или открываем для редактирования, если он уже создан).

А также создаём ptvs_virtualenv_proxy.py и вставляем в него код ниже

Теперь открываем браузер, вводим адрес нашего сайта и он работает.

Ещё немного

Если вы не планируете использовать виртуальное окружение в своём проекте, то ptvs_virtualenv_proxy.py добавлять не надо, а web.config будет иметь следующий вид:

Так же, теперь на вашем IIS вы можете разворачивать проекты не только на Django, но и других Python framework’ах. Главное не забыть подредактировать web.config.

Послесловие

Теперь у нас есть рабочий сайт, небольшая группа людей, которая помогает нам с развитием и улучшением, за что им большое спасибо. А у меня появился некий опыт по дружбе Python проектов и IIS которым я поделился с вами. Надеюсь, что пригодится.