Запуск скрипта python linux по расписанию

Библиотека schedule – CRON на Python

Вам приходилось работать с CRON? Это такой сервис в nix-системах, который позволяет регулярно в определенные моменты времени запускать скрипты или программы. Штука с долгой историей, в наследство которой достался странный синтаксис для описания правил:

Что если бы мы хотели иметь свой CRON внутри программы Python, чтобы в нужные моменты времени вызывать функции? Да еще, чтобы у него был человеческий синтаксис? Такая библиотека есть и называется schedule.

Как видите, правила для задания временных интервалов прекрасно читаются, словно они предложения на английском языке. Перевод пары примеров:

В задания можно передавать параметры вот так:

Если по какой-то причине нужно отменить задание, это делается так:

Если нужно отменить группу заданий, то к ним добавляют тэги:

Метод to позволяет задать случайный интервал для выполнения задания, например от 5 до 10 секунд:

Библиотека сама не обрабатывает сама исключения в ваших задачах, поэтому, возможно, понадобится создать подкласс планировщика, как в этом примере. Или декоратор, который будет отменять работу, если произошло исключение. Вот так:

Если задания занимают продолжительное время или должны выполняться параллельно, то вам самостоятельно придется организовать их выполнение в отдельных потоках.

Celery

Если вы используете в проекте Celery, то, вероятно, вам не нужен schedule. В Celery и так есть отличный CRON:

Специально для канала @pyway. Подписывайтесь на мой канал в Телеграм @pyway 👈

Источник

Как выполнить скрипт python по расписанию?

У меня есть два Python scripts на моей машине, которую я хочу выполнить два раза в день в определенный период времени. Как автоматизировать эту задачу? Поскольку я буду вдали от дома и, следовательно, моего компьютера на некоторое время, я хочу загрузить их на сайт и быть выполненным оттуда автоматически без меня.

Как я могу это сделать?

3 ответов

можно использовать cron для этого, если вы находитесь на Linux-машине. Cron — это системный демон, используемый для выполнения определенных задач в определенное время.

cron работает по принципу crontab , текстовый файл со списком команд для запуска в указанное время. Он следует определенному формату, который можно подробно объяснить в man 5 crontab

формат для crontab

каждая из секций разделена пробелом, а последняя секция имеет один или несколько пространства в нем. В разделах 1-5 не допускаются пробелы, только между ними. Разделы 1-5 используются для указания времени и частоты выполнения задачи. Вот как выложена работа cron:

минута (0-59), час (0-23, 0 = полночь), день (1-31), месяц (1-12), день недели (0-6, 0 = воскресенье), команда

01 04 1 1 1 /usr/bin/somedirectory/somecommand

приведенный выше пример будет запускать /usr/bin/somedirectory / somecommand в 4:01 утра 1 января плюс каждый понедельник в январе. Звездочка ( * ) можно использовать так, чтобы каждый экземпляр (каждый час, каждый будний день, каждый месяц и т. д.) периода времени используется. Код:

01 04 * * * /usr/bin/somedirectory/somecommand

приведенный выше пример будет запускать /usr/bin/somedirectory / somecommand в 4:01 утра каждый день каждого месяца.

значения, разделенные запятыми, могут использоваться для выполнения более одного экземпляра конкретной команды в течение периода времени. Значения, разделенные черточкой, можно использовать для непрерывного выполнения команды. Код:

01,31 04,05 1-15 1,6 * /usr/bin/somedirectory/somecommand

приведенный выше пример будет работать /usr/bin/somedirectory/somecommand в 01 и 31 часов после 4: 00 утра и 5:00 утра с 1 по 15 января каждого года.

текст «/usr/bin/somedirectory/somecommand» в приведенных выше примерах указывает задачу, которая будет выполняться в указанное время. Рекомендуется использовать полный путь к нужной команды, как показано в приведенных выше примерах. Введите который somecommand в терминале найти полную путь к кому-то. Crontab начнет работать, как только он будет правильно отредактирован и сохранен.

вы можете запустить скрипт несколько раз за единицу времени. Например, если вы хотите запускать его каждые 10 минут, используйте следующую запись crontab (выполняется в минутах, делимых на 10: 0, 10, 20, 30, etc.)

Источник

Запуск скрипта python linux по расписанию

Я, как настоящий старовер, решил построить «data-pipeline» без коннекторов и DAG-менеджеров. Положив два перста на мышку, началась упорная работа. Разобрался с API рекламных систем, установил драйвер bigquery, залил первую таблицу в датасет. Победа была близка, осталось всё автоматизировать. Я начал разворачивать Airflow, а потом проснулся и вспомнил про cron.

Вспомнив про ранее купленный VPS, куда я деплоил свой tf-idf кластеризатор. Было решено залить скрипт на сервер и настроить его запуск на 6 утра ежедневно.

Cron — это демон, а демон — это программа работающая в фоновом режиме. Ну а если вы программировали на Python — вам должны быть знакомы процессы-демоны. Запуск Cron-задания — это легко, но только в случаях когда мы говорим об выполнении php и bash скриптов. С Python всё иначе.

Устанавливаем Python на сервер

Выполняем, указные команды на примере Ubuntu.

Проверяем успешность установки командой python3.

Создаем виртуальное окружение virtalenv

Следующий шаг — изолировать наш проект в отдельное виртуальное окружение, куда мы будем устанавливать нужные нам библиотеки.

Теперь мы видим рядом в консоли перед строкой приписку (venv) — это значит, что мы в виртуальном окружении.

Запуск Python-скрипта с помощью Сron

Давай потестируем то, что у нас получилось на маленьком скрипте, который будет писать в файл дату и время его активации. Таким образом мы проверим как работает cron. Тестовый скрипт, который мы положим в корень папки проекта, у меня это / home / iakulshin / pipeline, заливаем через файловый менеджер filezilla и прочие, если вы хардкорный девопс-дата-инженер удачи вам с nano. Заливаем скрипт указанный ниже в нашу папку.

Давайте попробуем создать cron задание для тестового запуска. В целом нам будут нужны 2 команды:

Появлеятся файлик с крон задачами в редакторе nano. Наша задача установить задание, которое будет запускать наш скрипт каждую минуту.

Наконец, в файлике test.txt каждую минуту появляется текущая дата, учения завершены, теперь рассмотрим возможные проблемы и способы их устранения.

Как понять что Cron срабатывает?

Чтобы удостовериться, что cron-таск отрабатывает, нам необходимо добавить задачу и обратиться к логам сервера, для этого идем в консоль и пишем следующую команду:

В нем вы увидите следующие записи:

Это означает, что cron срабатывает и воспроизводит команду, которую вы указали после звездочек. Но что делать, если python-скрипт всё еще не работает?

Cron срабатывает но Python-скрипт не выполняется

Самая типичная проблема, которая связана с «холостым» крон-таском — это недоступность библиотек, неверный выбор virtual env и версии python. Способ выбранный выше — это способ к которому я пришел спустя десяток часов поисков и изучения stackoverflow. Что нужно проверить для успешного запуска скрипта:

Возьмите команду, которую собирались добавь в крон и запустите её, это поможет словить ошибки связанные с недоступностью библиотек. В моем случае Скрипт не видел импортируемый файл, это я вылечил добавлением папки в системный путь. Добавляем в скрипты следующий код:

Если скрипт запускается по прямой команде из консоли, но cron всё еще не выполняется, то ошибка 100% в том, что ваш скрипт запускается не из под virtualenv или вы запускаете скрипт из под python не подходящей версии, поэтому проверяем следующее:

1. Мы перешли в папку со скриптом командой cd
2. Мы обратились к интерпретатору python3 находящемуся в папке с виртуальным окружением нашего проекта.

В целом данный гайд должен помочь вам разобраться с запуском Python скриптов с помощью Cron. Однако, я оставлю ссылки на полезные треды в stackoverflow, где представлены дополнительные способы решения этой проблемы.

Источник

Как запустить скрипты python через cron на Linux

Описание процесса запуска скриптов python на сервере Linux.

Альтернативы cron на python — timer или периодические задачи (celery).

Подготовка сервера

Сервер должен быть сконфигурирован для работы с python. Повторю основное из статьи по ссылке.

На сервере должны быть установлены пакеты для python:

Установлен пакет python3-venv:

Положить файлы в требуемую директорию и создать там виртуальную среду:

Подготовка файла

В верху файла python добавить строку ведущую к виртуальному окружению python:

Сделать файл исполняемым:

Если нужны зависимости (модули) к файлу их можно отдельно установить через файл requirements.txt.

Добавление в cron

Открыть крон файл:

А если мы вошли в качестве другого пользователя, то создадим сначала ему кронтаб:

Если будет ошибка:

Будет предложено какой редактор использовать для просмотра кронов. Пропустите это сначала и посмотрите где находится nano (если конечно предпочтение отдается ему):

А затем указывая его путь установим редактор по умолчанию:

Добавить наш скрипт:

/ project / app / python_script.py >

/ project / logs / python_script.log 2 >& 1

Строка состоит из: время запуска / скрипт запуска / лог запуска (если ошибок не будет, он будет пустым, если специально туда ничего не выводить).

Возможные ошибки

Не видится путь к модулям. Используйте эту статью.

Читайте также

Кстати, на сайте нет рекламы. У сайта нет цели самоокупаться, но если вам пригодилась информация можете задонатить мне на чашечку кофе в макдаке. Лайкнуть страницу или просто поблагодарить. Карма вам зачтется.

Источник

Планирование заданий с помощью python-crontab

Автор: Scott Robinson
Дата записи

Что такое Кронтаб

Cron-это программная утилита, которая позволяет нам планировать задачи в Unix-подобных системах. Название происходит от греческого слова “Хронос”, что означает “время”.

Задачи в Cron определяются в crontab, который представляет собой текстовый файл, содержащий команды, которые должны быть выполнены. Синтаксис, используемый в crontab, описан ниже в этой статье.

Python представляет нам модуль crontab для управления запланированными заданиями через Cron. Доступные в нем функции позволяют нам получать доступ к Cron, создавать задания, устанавливать ограничения, удалять задания и многое другое. В этой статье мы покажем, как использовать эти операции из вашего кода Python.

Для заинтересованного читателя официальную страницу справки можно найти по адресу https://pypi.python.org/pypi/python-crontab .

Синтаксис Crontab

Cron использует определенный синтаксис для определения временных расписаний. Он состоит из пяти полей, разделенных пробелами. Поля такие:

Поля могут иметь следующие значения:

Источник: Википедия. Крон. Доступно по адресу Источник: Википедия. Крон. Доступно по адресу

Cron также принимает специальные символы, так что вы можете создавать более сложные расписания. Специальные символы имеют следующие значения:

Для разделения нескольких значений	Запятая
Для указания диапазона значений	Дефис
Чтобы указать все возможные значения	Звездочка
Чтобы указать КАЖДЫЙ	Косая черта вперед

Давайте рассмотрим несколько примеров:

1. * * * * * означает: каждую минуту каждого часа каждого дня месяца за каждый месяц за каждый день недели.
2. 0 16 1,10,22 * * говорит cron запускать задачу в 4 часа дня (то есть 16-го часа) 1-го, 10-го и 22-го числа каждого месяца.

Установка Crontab

Crontab не входит в стандартную установку Python. Таким образом, первое, что мы должны сделать, это установить его.

Это делается с помощью команды pip . Единственное, что следует учитывать, это то, что имя модуля- “python-crontab”, а не просто “crontab”. Следующая команда установит пакет в нашу машину:

Получение доступа к Crontab

Согласно справочной странице crontab, существует пять способов включить задание в cron. Из них три работают только на Linux, а два также могут быть использованы на Windows.

Первый способ получить доступ к cron-это использовать имя пользователя. Синтаксис выглядит следующим образом:

Другими двумя способами Linux являются:

Есть еще два синтаксиса, которые также будут работать в Windows.

В первом случае мы вызываем задачу, определенную в файле “filename.tab”:

Во втором случае мы определяем задачу в соответствии с синтаксисом Крона:

Создание новой работы

Получив доступ к cron, мы можем создать новую задачу с помощью следующей команды:

Здесь my command определяет задачу, которая будет выполняться через командную строку.

Мы также можем добавить комментарий к нашей задаче. Синтаксис выглядит следующим образом:

Давайте рассмотрим это на примере:

В приведенном выше коде мы сначала получили доступ к cron через имя пользователя, а затем создали задание, которое состоит из запуска скрипта Python с именем example1.py. Кроме того, мы поставили задачу запускаться каждые 1 минуту. Функция write() добавляет нашу работу в cron.

В example1.py сценарий выглядит следующим образом:

Как мы видим из приведенного выше кода, программа откроет и добавит фразу “Доступ включен” с добавлением даты и времени доступа.

В результате получается следующее:

Как мы и ожидали, Рисунок 1 показывает, что файл был доступен программой. Он будет продолжать выполнять поставленную задачу, пока example1.py программа работает на cron.

Как только cron будет доступен, мы сможем добавить более одного задания. Например следующая строка в приведенном выше примере добавит вторую задачу для управления cron:

После добавления новой задачи мы можем установить ограничения для каждой из них.

Установка ограничений

Одним из главных преимуществ использования модуля Python crontab является то, что мы можем устанавливать временные ограничения без использования синтаксиса cron.

В приведенном выше примере мы уже видели, как настроить выполнение задания каждую минуту. Синтаксис выглядит следующим образом:

Точно так же мы могли бы установить часы:

Мы также можем настроить задачу на выполнение в определенные дни недели. Например:

Приведенный выше код скажет cron запускать задачу по воскресеньям, а следующий код скажет cron планировать задачу по воскресеньям и пятницам:

Точно так же мы можем сказать cron, чтобы он выполнял задачу в определенные месяцы. Например:

Это подскажет крону запустить программу в апреле и ноябре.

Важно учитывать, что каждый раз, когда мы устанавливаем ограничение по времени, мы аннулируем предыдущее. Так, например:

Приведенный выше код установит окончательное расписание для запуска каждые семь часов, отменяя предыдущее расписание в пять часов.

Если только мы не добавим расписание к предыдущему, как это:

Это установит расписание как каждые 15 часов, и в 3 часа ночи.

“Каждое” условие иногда может быть немного запутанным. Если мы напишем job.hour.every(15) , то это будет эквивалентно * */15 * * * . Как мы видим, протокол не был изменен.

Если мы хотим установить поле минут равным нулю, мы можем использовать следующий синтаксис:

Это установит расписание на 0 */4 * * * . Аналогично для полей “день месяца”, “месяц” и “день недели”.

1. job.every(2).month эквивалентен 0 0 0 */2 * и job.month.every(2) эквивалентно * * * */2 *
2. job.every(2).down эквивалентен 0 0 * * */2 и job.down.every(2) эквивалентно * * * * */2

Различия можно увидеть в следующем примере:

После запуска программы результат выглядит следующим образом:

Как мы видим на рис.2 , программа установила минуты второй задачи равными нулю, а минуты первой задачи-значению по умолчанию.

Наконец, мы можем установить задачу, которая будет выполняться каждый раз, когда мы загружаем нашу машину. Синтаксис выглядит следующим образом:

Клиринговые ограничения

Мы можем снять все ограничения задачи с помощью следующей команды:

Следующий код показывает, как использовать приведенную выше команду:

После запуска кода мы получаем следующий результат:

Как мы видим на рис. 3, расписание изменилось с каждых 5 минут на значение по умолчанию.

Включение и выключение задания

Задачу можно включить или отключить с помощью следующих команд:

Чтобы включить задание:

Чтобы отключить задание:

Чтобы проверить, включена или отключена задача, мы можем использовать следующую команду:

В следующем примере показано, как включить и отключить ранее созданное задание, а также проверить оба состояния:

В результате получается следующее:

Проверка валидности

Мы можем легко проверить, является ли задача допустимой или нет, с помощью следующей команды:

В следующем примере показано, как использовать эту команду:

После запуска вышеуказанной программы мы получаем проверку, как показано на следующем рисунке:

Список Всех Заданий Cron

Все задания cron, включая отключенные задания, могут быть перечислены со следующим кодом:

Добавление этих строк кода в наш первый пример покажет нашу задачу, напечатав на экране следующее:

Поиск работы

Модуль Python crontab также позволяет нам искать задачи на основе критерия выбора, который может быть основан на команде, комментарии или запланированном времени. Синтаксисы различны для каждого случая.

Найти по команде:

Здесь “имя команды” может быть суб-совпадением или регулярным выражением.

Найти по комментарию:

Найти по времени:

В следующем примере показано, как найти ранее определенную задачу в соответствии с тремя ранее упомянутыми критериями:

Результатом является перечисление одной и той же работы три раза:

Как вы можете видеть, он каждый раз правильно находит команду cron.

Удаление заданий

Каждое задание может быть удалено отдельно. Синтаксис выглядит следующим образом:

В следующем коде показано, как удалить ранее созданную задачу. Программа сначала создает задачу. Затем он перечисляет все задачи, показывая только что созданную. После этого он удаляет задачу и показывает полученный пустой список.

В результате получается следующее:

Задания также могут быть удалены в зависимости от условия. Например:

Это приведет к удалению всех заданий, где comment=’my comment’ .

Очистка Всех Заданий

Все задания cron можно удалить сразу с помощью следующей команды:

В следующем примере будут удалены все задания cron и показан пустой список.

Переменные среды

Мы также можем определить переменные среды, специфичные для нашей запланированной задачи, и показать их на экране. Переменные сохраняются в словаре. Синтаксис для определения новой переменной среды выглядит следующим образом:

Если мы хотим получить значения для всех переменных среды, мы можем использовать следующий синтаксис:

В приведенном ниже примере определены две новые переменные среды для задачи “пользователь” и показано их значение на экране. Код выглядит следующим образом:

Запустив вышеописанную программу, мы получим следующий результат:

Кроме того, переменные среды уровня Cron хранятся в файле ‘cron.env’.

Сворачивание

Модуль Python crontab предоставляет нам удобный инструмент для программного управления нашим приложением carbon, которое доступно для Unix-подобных систем. Используя его, вместо того, чтобы полагаться на создание кронтабов, мы можем использовать код Python для управления частыми задачами.

Модуль вполне закончен. Несмотря на некоторые критические замечания по поводу его поведения, он содержит функции для подключения к cron, создания запланированных задач и управления ими. Как показано в приведенных выше примерах, их использование достаточно прямолинейно. Таким образом, он предоставляет инструмент, который позволяет создавать сложные скрипты с основной характеристикой Python: простотой.

Источник