Pytest — тестирование приложений в Python 3

Обзор мощной библиотеки для тестирования кода Pytest.

Введение

Вы знали, что тестирование кода приносит множество преимуществ, включая повышение уверенности в его функционировании и уменьшение регрессий? Если нет, то читайте дальше!

Написание и ведение тестов требует некоторой дополнительной работы, и именно поэтому я хочу максимально использовать все инструменты.

Python действительно предоставляет встроенные инструменты, такие как unittest, для поддержки тестирования, но он включает в себя написание большого количества шаблонного кода. Он также имеет ограниченную возможность повторного использования компонентов (или приспособлений в PyTest). Поэтому я буду тестировать приложения Python с помощью Pytest вместо других инструментов. Pytest также является самым популярным инструментом среди других альтернатив.

Примечание: В этой статье я буду использовать Python 3.

Почему Pytest?

Pytest — одна из самых популярных библиотек, посвященных модульному и функциональному тестированию. Но что делает её такой популярной? Вот ответ:

• Меньше шаблонности.
• Установочный код можно использовать повторно с помощью приспособлений.
• Фильтрация тестов во время выполнения (для одновременного выполнения только определенного набора тестов).
• Параметризация тестов (предоставление различных входных значений одному и тому же тесту, позволяющее тестировать различные сценарии с использованием одного теста).
• Архитектура на основе плагинов, обеспечивающая гибкость и более широкое внедрение.
• Возможность параллельно выполнять тесты.

Установка Pytest

Pytest — это библиотека, которую нам нужно будет добавить в наш проект. Как известно, я всегда выбираю для программирования виртуальную среду и работаю исключительно в ней:

А потом я устанавливаю Pytest:

Это позволит включить команду pytest в нашей установочной среде. Установка завершает наш первый шаг в тестировании приложений Python с помощью Pytest. Давайте перейдем к следующему шагу.

Соглашения об именовании

Как и в любом тестовом фреймворке, в Pytest есть несколько мест, где он автоматически ищет тестовые файлы.

Имя файла должно начинаться с «test» или заканчиваться «test.py».

Определенные тестовые функции должны начинаться с «test_». Методы, которые не следуют этому соглашению, не выполняются. Чтобы увидеть, какие тесты будут выполняться без их запуска, мы можем использовать:

А чтобы выполнить все тесты в нашем каталоге pytest-demo, я запускаю:

Если я не укажу каталог, Pytest будет работать в текущем каталоге по умолчанию. Или я могу указать отдельные файлы, если я захочу это сделать.

Или, если я хочу игнорировать каталог (например, виртуальную среду), то я могу использовать:

Настройка кода

Теперь, когда вы знаете основы, давайте настроим код, который мы будем тестировать. Мы можем использовать сложный блок кода и написать несколько тестовых случаев вокруг него, но этот пост больше связан с Pytest, чем с написанием тестовых случаев. Поэтому мы будем придерживаться простой задачи сложения и вычитания:

Тестирование приложений

Теперь, когда у нас есть наш минимальный фрагмент кода, мы можем начать с нашего основного теста. Мы будем делать расчет 2 + 1 = 3. Для этого я определю наш тест как:

Ключевое слово assert сравнивает два значения, которые оно получает, и возвращает True или False на основе их равенства. Мы также можем иметь подробные утверждения, которые могут быть полезны при отладке. Они могут быть записаны как:

Подробные утверждения могут быть полезны для целей отладки.

Наконец, мы можем запустить наш тест с помощью команды:

И вот, у нас есть наш первый успешный тест!

Точно так же мы можем написать тест и для нашего метода вычитания:

Уровень отладки Pytest

Я могу передать параметр во время выполнения тестов, чтобы увеличить/уменьшить многословность выходных данных, генерируемых Pytest. Доступны следующие варианты:

• v: увеличивает многословность.
• q: более тихий вывод.
• r: сводка тестов.
• rp: сводка пройденных тестов.
• rp: сводка неудачных тестов.

Заключение

Это было краткое введение в тестирование приложений Python с помощью Pytest. Если вам понравилась статья напиши об этом в комментариях или почитайте другие похожие статьи на тему Python.

Если вы ищите способ системно подойти к обучению языка программирования Python, рекомендую записаться на курсы онлайн обучения.

Поделиться записью в социальных сетях

Установка и запуск¶

Pythons: Python 3.5, 3.6, 3.7, PyPy3

Платформы: Linux и Windows

Имя пакета PyPI: pytest

Документация в PDF: download latest

pytest — это фреймворк, который позволяет легко создавать как простые, так и расширяемые тесты. Тесты выразительны и легко читаются — не нужно никаких шаблонов. Начните работу в считанные минуты с небольшого модульного или сложного функционального теста для вашего приложения или библиотеки.

Установка pytest ¶

Выполните в командной строке:

Убедитесь, что установили нужную версию:

Создание первого теста¶

Создайте простой тест всего лишь из четырех строк кода:

Готово. Теперь можно запустить тест:

Поскольку func(3) возвращает вовсе не 5 , тест вернул отчет о падении.

Для проверки ожидаемого результата можно использовать простой оператор assert . Встроенный в pytest подробный анализ assert распишет вам промежуточные значения выражений assert , так что вам не нужно использовать множество имен унаследованных от JUnit методов.

Запуск множества тестов¶

Команда pytest запускает все файлы с именами в формате test_*.py или \*_test.py в текущей папке и ее подпапках. В целом, тесты ищутся по стандартным правилам поиска тестов .

Проверка брошенного исключения¶

Используйте проверку ожидаемых исключений , чтобы убедиться, что код бросает ожидаемое искючение:

Запустите этот тест с опцией “quiet” ( -q — указывает, что нужно опустить имя файла в отчете):

Группировка тестовых функций в класс¶

Если тестов много, вы можете захотеть создать тестовый класс. pytest облегчает создание классов с множеством тестов:

pytest ищет тесты для запуска по правилам Python по поиску тестов , так что найдет обе функции с префиксом test_ . Никаких подклассов создавать не нужно, просто убедитесь, что имя вашего класса начинается с Test , иначе класс будет пропущен. Мы можем запустить именно этот модуль, просто указав его имя:

Первый тест пройдет ( pass ), а второй упадет ( fail ). Поскольку pytest выводит промежуточные значения assert , вам будет проще понять причину сбоя.

Запрос временного каталога для функциональных тестов¶

pytest представляет встроенные фикстуры для запроса произвольных ресурсов, например, для создания уникального каталога временных файлов:

Укажите tmpdir в описании тестовой функции, и pytest найдет и запустит соответствующую фикстуру для создания нужного ресурса до вызова самой функции. В данном случае перед запуском теста pytest создаст уникальный (для каждого вызова тестовой фунции) каталог временных файлов:

Подробнее об обработке параметра tmpdir см.: Временные каталоги и файлы .

Получить список встроенных в pytest фикстур можно, выполнив команду:

Обратите внимание, что если не добавить опцию -v , фикстуры с префиксом _ не попадут в список.

Читайте дальше¶

Посмотрите дополнительные ресурсы по pytest , которые помогут вам настроить тесты для вашего уникального рабочего процесса:

« Маркировка тестов » — маркировка тестов ( pytest.mark )

« Написание плагинов » — написание плагинов и управление ими

« Рекомендации по интеграции » — виртуальное окружение и оформление тестов

Основы pytest¶

Для начала надо установить pytest и pyyaml:

Хотя на курсе не надо будет писать тесты, чтобы их понимать, стоит посмотреть на пример теста. Например, есть следующий код с функцией check_ip:

Функция check_ip проверяет является ли аргумент, который ей передали, IP-адресом. Пример вызова функции с разными аргументами:

Теперь необходимо написать тест для функции check_ip. Тест должен проверять, что при передаче корректного адреса, функция возвращает True, а при передаче неправильного аргумента — False.

Чтобы упростиь задачу, тест можно написать в том же файле. В pytest, тестом может быть обычная функция, с именем, которое начинается на test_ . Внутри функции надо написать условия, которые проверяются. В pytest это делается с помощью assert.

assert¶

assert ничего не делает, если выражение, которое написано после него истинное и генерирует исключение, если выражение ложное:

После assert и выражения можно писать сообщение. Если сообщение есть, оно выводится в исключении:

Пример теста¶

pytest использует assert, чтобы указать какие условия должны выполняться, чтобы тест считался пройденным.

В pytest тест можно написать как обычную функцию, но имя функции должно начинаться с test_ . Ниже написан тест test_check_ip, который проверяет работу функции check_ip, передав ей два значения: правильный адрес и неправильный, а также после каждой проверки написано сообщение:

Код записан в файл check_ip_functions.py. Теперь надо разобраться как вызывать тесты. Самый простой вариант, написать слово pytest. В этом случае, pytest автоматически обнаружит тесты в текущем каталоге. Однако, у pytest есть определенные правила, не только по названию функцию, но и по названию файлов с тестами — имена файлов также должны начинаться на test_ . Если правила соблюдаются, pytest автоматически найдет тесты, если нет — надо указать файл с тестами.

В случае с примером выше, надо будет вызвать такую команду:

По умолчанию, если тесты проходят, каждый тест (функция test_check_ip) отмечается точкой. Так как в данном случае тест только один — функция test_check_ip, после имени check_ip_functions.py стоит точка, а также ниже написано, что 1 тест прошел.

Теперь, допустим, что функция работает неправильно и всегда возвращает False (напишите return False в самом начале функции). В этом случае, выполнение теста будет выглядеть так:

Если тест не проходит, pytest выводит более подробную информацию и показывает в каком месте что-то пошло не так. В данном случае, при выполении строки assert check_ip(‘10.1.1.1’) == True , выражение не дало истинный результат, поэтому было сгенерировано исключение.

Ниже, pytest показывает, что именно он сравнивал: assert False == True и уточняет, что False — это check_ip(‘10.1.1.1’) . Посмотрев на вывод, можно заподозрить, что с функцией check_ip что-то не так, так как она возвращает False на правильном адресе.

Чаще всего, тесты пишутся в отдельных файлах. Для данного примера тест всего один, но он все равно вынесен в отдельный файл.

Pytest — Краткое руководство

Pytest — это основанная на Python среда тестирования, которая используется для написания и выполнения тестовых кодов. В настоящее время службы REST pytest в основном используются для тестирования API, хотя мы можем использовать pytest для написания простых и сложных тестов, то есть мы можем писать коды для тестирования API, базы данных, пользовательского интерфейса и т. Д.

Преимущества Pytest

Преимущества Pytest заключаются в следующем —

Pytest может выполнять несколько тестов параллельно, что сокращает время выполнения набора тестов.

У Pytest есть собственный способ автоматического определения тестового файла и тестовых функций, если это не указано явно.

Pytest позволяет нам пропустить подмножество тестов во время выполнения.

Pytest позволяет нам запускать подмножество всего набора тестов.

Pytest является бесплатным и открытым исходным кодом.

Благодаря простому синтаксису, pytest очень прост для запуска.

Pytest может выполнять несколько тестов параллельно, что сокращает время выполнения набора тестов.

У Pytest есть собственный способ автоматического определения тестового файла и тестовых функций, если это не указано явно.

Pytest позволяет нам пропустить подмножество тестов во время выполнения.

Pytest позволяет нам запускать подмножество всего набора тестов.

Pytest является бесплатным и открытым исходным кодом.

Благодаря простому синтаксису, pytest очень прост для запуска.

В этом уроке мы объясним основы pytest с примерами программ.

Pytest — Настройка среды

В этой главе мы узнаем, как установить pytest.

Чтобы начать установку, выполните следующую команду —

Мы можем установить любую версию pytest. Здесь 2.9.1 — версия, которую мы устанавливаем.

Чтобы установить последнюю версию pytest, выполните следующую команду —

Подтвердите установку, используя следующую команду, чтобы отобразить раздел справки pytest.

Определение тестовых файлов и тестовых функций

При запуске pytest без указания имени файла будут запущены все файлы формата test _ *. Py или * _test.py в текущем каталоге и подкаталогах. Pytest автоматически определяет эти файлы как тестовые файлы. Мы можем заставить pytest запускать другие имена файлов, явно упоминая их.

Pytest требует, чтобы имена тестовых функций начинались с test . Имена функций, которые не имеют формат test * , не считаются тестовыми функциями в pytest. Мы не можем явно заставить pytest рассматривать любую функцию, не начинающуюся с test, как тестовую функцию.

Мы поймем выполнение тестов в наших последующих главах.

Pytest — начиная с базового теста

Теперь мы начнем с нашей первой программы pytest. Сначала мы создадим каталог и тем самым создадим наши тестовые файлы в каталоге.

Давайте следовать шагам, показанным ниже —

Создайте новый каталог с именем автоматизации и перейдите в каталог в командной строке.

Создайте файл с именем test_square.py и добавьте приведенный ниже код в этот файл.

Создайте новый каталог с именем автоматизации и перейдите в каталог в командной строке.

Создайте файл с именем test_square.py и добавьте приведенный ниже код в этот файл.

Запустите тест с помощью следующей команды —

Приведенная выше команда сгенерирует следующий вывод:

Смотрите первую строку результата. Он отображает имя файла и результаты. F обозначает неудачу теста, а точка (.) Обозначает успех теста.

Ниже мы можем увидеть детали неудачных тестов. Он покажет, при каком утверждении тест не пройден. В нашем примере 7 * 7 сравнивается на равенство 49, что неверно. В итоге мы можем увидеть итоги выполнения теста, 1 не пройден и 1 пройден.

Функция tescompare не выполняется, поскольку pytest не будет рассматривать ее как тест, поскольку ее имя не соответствует формату test * .

Теперь выполните приведенную ниже команду и снова увидите результат —

-v увеличивает многословие.

Теперь результат более понятен в отношении теста, который не прошел, и теста, который прошел.

Примечание — команда pytest выполнит все файлы формата test_ * или * _test в текущем каталоге и подкаталогах.

Pytest — выполнение файлов

В этой главе мы узнаем, как выполнить один тестовый файл и несколько тестовых файлов. У нас уже есть тестовый файл test_square.py . Создайте новый тестовый файл test_compare.py со следующим кодом —

Теперь, чтобы запустить все тесты из всех файлов (2 файла здесь), нам нужно выполнить следующую команду —

Приведенная выше команда будет запускать тесты как из test_square.py, так и test_compare.py . Выход будет сгенерирован следующим образом:

Чтобы выполнить тесты из определенного файла, используйте следующий синтаксис —

Теперь выполните следующую команду —

Приведенная выше команда выполнит тесты только из файла test_compare.py. Наш результат будет —

Выполнить подмножество тестов

В реальном сценарии у нас будет несколько тестовых файлов, и каждый файл будет иметь несколько тестов. Тесты будут охватывать различные модули и функции. Предположим, мы хотим запустить только определенный набор тестов; как мы пойдем об этом?

Pytest предоставляет два способа запуска подмножества набора тестов.

• Выберите тесты для запуска, основываясь на совпадении подстрок имен тестов.
• Выберите группы тестов для запуска на основе примененных маркеров.

Мы объясним эти два примера в следующих главах.

Подстрока соответствия имен тестов

Для выполнения тестов, содержащих в своем имени строку, мы можем использовать следующий синтаксис:

-k представляет подстроку для поиска в именах тестов.

Теперь выполните следующую команду —

Это выполнит все имена тестов, в названии которых содержится слово «great» . В этом случае это test_greater () и test_greater_equal () . Смотрите результат ниже.

Здесь в результате мы видим, что 3 теста отменены. Это потому, что в названиях этих тестов нет слова « великий» .

Примечание . Название тестовой функции должно начинаться с «test».

Pytest — группировка тестов

В этой главе мы научимся группировать тесты с помощью маркеров.

Pytest позволяет нам использовать маркеры на тестовых функциях. Маркеры используются для установки различных функций / атрибутов для тестирования функций. Pytest предоставляет множество встроенных маркеров, таких как xfail, пропуск и параметризация. Кроме того, пользователи могут создавать свои собственные имена маркеров. Маркеры применяются к тестам с использованием приведенного ниже синтаксиса:

Чтобы использовать маркеры, мы должны импортировать модуль pytest в тестовый файл. Мы можем определить собственные имена маркеров для тестов и запустить тесты, имеющие эти имена маркеров.

Для запуска помеченных тестов мы можем использовать следующий синтаксис —

-m представляет имя маркера тестов, которые должны быть выполнены.

Обновите наши тестовые файлы test_compare.py и test_square.py следующим кодом. Мы определяем 3 маркера — отличный, квадратный, другие .

test_compare.py

test_square.py

Теперь, чтобы запустить тесты, помеченные как другие , выполните следующую команду —

Смотрите результат ниже. Было проведено 2 теста, помеченных как другие .

Точно так же мы можем запускать тесты и с другими маркерами — отлично, сравните

Pytest — Светильники

Светильники — это функции, которые запускаются перед каждой тестовой функцией, к которой она применяется. Светильники используются для подачи некоторых данных в тесты, таких как соединения с базой данных, URL-адреса для тестирования и некоторые виды входных данных. Поэтому вместо того, чтобы запускать один и тот же код для каждого теста, мы можем прикрепить к тестам функцию фикстуры, и она будет запускаться и возвращать данные в тест перед выполнением каждого теста.

Функция помечена как прибор с помощью —

Тестовая функция может использовать прибор, указав имя прибора в качестве входного параметра.

Создайте файл test_div_by_3_6.py и добавьте в него приведенный ниже код

Здесь у нас есть функция фикстуры с именем input_value , которая предоставляет входные данные для тестов. Чтобы получить доступ к функции прибора, тесты должны упомянуть имя прибора в качестве входного параметра.

Pytest, пока выполняется тест, увидит имя прибора в качестве входного параметра. Затем он выполняет функцию фиксации, и возвращаемое значение сохраняется во входном параметре, который может использоваться тестом.

Выполните тест, используя следующую команду —

Приведенная выше команда сгенерирует следующий результат —

Однако этот подход имеет свои ограничения. Функция фикстуры, определенная в файле atest, имеет область действия только в тестовом файле. Мы не можем использовать этот прибор в другом тестовом файле. Чтобы сделать фикстуру доступной для нескольких тестовых файлов, мы должны определить функцию фикстуры в файле с именем conftest.py. conftest.py объясняется в следующей главе.

Pytest — Conftest.py

Мы можем определить функции фикстуры в этом файле, чтобы сделать их доступными для нескольких тестовых файлов.

Создайте новый файл conftest.py и добавьте в него приведенный ниже код —

Отредактируйте test_div_by_3_6.py, чтобы удалить функцию фиксации —

Создайте новый файл test_div_by_13.py —

Теперь у нас есть файлы test_div_by_3_6.py и test_div_by_13.py, использующие прибор, определенный в conftest.py .

Запустите тесты, выполнив следующую команду —

Приведенная выше команда сгенерирует следующий результат —

Тесты будут искать крепеж в том же файле. Поскольку в файле не найден прибор, он проверит его в файле conftest.py. При его обнаружении вызывается метод fixture, и результат возвращается во входной аргумент теста.

Pytest — Тесты параметризации

Параметризация теста выполняется для запуска теста с несколькими наборами входов. Мы можем сделать это с помощью следующего маркера —

Скопируйте приведенный ниже код в файл с именем test_multiplication.py —

Здесь тест умножает входное значение на 11 и сравнивает результат с ожидаемым выходным значением. Тест имеет 4 набора входных данных, каждый из которых имеет 2 значения: одно — это число, которое нужно умножить на 11, а другое — ожидаемый результат.

Выполните тест, выполнив следующую команду —

Приведенная выше команда сгенерирует следующий вывод:

Pytest — Xfail / Пропустить тесты

В этой главе мы узнаем о тестах Skip и Xfail в Pytest.

Теперь рассмотрим следующие ситуации —

• Тест не актуален в течение некоторого времени по ряду причин.
• Внедряется новая функция, и мы уже добавили тест для этой функции.

В этих ситуациях у нас есть возможность пропустить тест или пропустить тесты.

Pytest выполнит тест xfailed, но он не будет считаться частью неудачной или пройденной проверки. Детали этих тестов не будут напечатаны, даже если тест не пройден (помните, что pytest обычно печатает данные о неудачном тесте). Мы можем xfail тесты, используя следующий маркер —

Пропуск теста означает, что тест не будет выполнен. Мы можем пропустить тесты, используя следующий маркер —

Позже, когда тест становится актуальным, мы можем удалить маркеры.

Отредактируйте test_compare.py, мы уже должны включить маркеры xfail и skip —

Выполните тест, используя следующую команду —

После выполнения вышеуказанная команда сгенерирует следующий результат —

Pytest — остановить тестовый пакет после N тестовых сбоев

В реальном сценарии, когда новая версия кода готова к развертыванию, она сначала развертывается в среде pre-prod / staging. Затем запускается набор тестов.

Код пригоден для развертывания в рабочей среде, только если набор тестов пройден. В случае сбоя теста, будь то один или несколько, код не готов к работе.

Поэтому, что если мы хотим остановить выполнение набора тестов вскоре после того, как n тестов не пройдено? Это можно сделать в pytest, используя maxfail.

Синтаксис для остановки выполнения набора тестов вскоре после того, как число тестов не выполнено, выглядит следующим образом:

Создайте файл test_failure.py со следующим кодом.

Все 3 теста не пройдут при выполнении этого файла теста. Здесь мы собираемся остановить выполнение теста после одной ошибки —

В приведенном выше результате мы видим, что выполнение остановлено на один сбой.

Pytest — запускать тесты параллельно

По умолчанию pytest запускает тесты в последовательном порядке. В реальном сценарии набор тестов будет иметь несколько тестовых файлов, и каждый файл будет иметь набор тестов. Это приведет к большому времени выполнения. Чтобы преодолеть это, pytest предоставляет нам возможность проводить тесты параллельно.

Для этого нам нужно сначала установить плагин pytest-xdist.

Установите pytest-xdist, выполнив следующую команду —

Теперь мы можем запустить тесты, используя синтаксис pytest -n

-n запускает тесты, используя несколько рабочих, здесь это 3.

У нас не будет большой разницы во времени, когда нужно выполнить всего несколько тестов. Однако важно, когда набор тестов большой.

Результаты выполнения теста в формате XML

Мы можем сгенерировать детали выполнения теста в xml-файле. Этот XML-файл в основном полезен в тех случаях, когда у нас есть инструментальная панель, которая проецирует результаты теста. В таких случаях xml может быть проанализирован, чтобы получить детали выполнения.

Теперь мы выполним тесты из test_multiplcation.py и сгенерируем xml, запустив

Теперь мы видим, что файл result.xml генерируется со следующими данными:

Здесь, тег суммирует, что было 4 теста, и количество сбоев равно 1.

Тег содержит подробную информацию о каждом выполненном тесте.

Тег содержит подробную информацию о неудачном тестовом коде.

Тег содержит подробную информацию о каждом выполненном тесте.

Тег содержит подробную информацию о неудачном тестовом коде.

Pytest — Резюме

В этом уроке по Pytest мы рассмотрели следующие области:

• Установка pytest ..
• Определение тестовых файлов и тестовых функций.
• Выполнение всех тестовых файлов с помощью pytest –v.
• Выполнение определенного файла с помощью pytest -v.
• Выполнить тесты, сопоставив подстроку pytest -k -v.
• Выполнять тесты на основе маркеров pytest -m -v.
• Создание светильников с использованием @ pytest.fixture.
• conftest.py позволяет получить доступ к приборам из нескольких файлов.
• Параметризация тестов с использованием @ pytest.mark.parametrize.
• Xfailing тесты с использованием @ pytest.mark.xfail.
• Пропуск тестов с использованием @ pytest.mark.skip.
• Остановите выполнение теста при n ошибках, используя pytest —maxfail = .
• Параллельное выполнение тестов с использованием pytest -n .
• Генерация результатов xml с использованием pytest -v —junitxml = «result.xml».

Pytest — Заключение

Из этого туториала вы познакомились с платформой Pytest. Теперь вы должны начать писать тесты, используя pytest.