У меня странный вопрос (по крайней мере, для меня!), но я даже не знаю, как к нему подступиться.
Фон
У меня есть несколько пакетных заданий (скрипты python, вызываемые через cron, или скрипт python, вызываемый скриптом bash). Например, 20 заданий ETL и 20 заданий обработки данных. Это происходит в разное время.
Текущий подход
Я оставляю свой сервер включенным и запускаю задания cron для запуска скриптов в назначенное время (они не все запускаются одновременно..один может запуститься в 13:00, а другой в 17:00). Сейчас все работает отлично
Проблема Я хочу сэкономить деньги, и задания не обязательно должны запускаться точно в установленное мной время, они могут отставать на несколько минут, час или два, поэтому я думал об использовании вытесняемых экземпляров, которые запускают сервер по расписанию.
Я думал о том, чтобы запускать сервер каждый час, а затем обрабатывать все задания, выходящие за рамки графика и еще не выполненные.
Я понятия не имею, как это сделать! Есть ли способ запланировать это в Ubuntu? Я думал о настройке внешней базы данных и скрипте, который запрашивает ее, чтобы узнать, какие процессы нужно запустить, но я чувствовал, что это излишне, я подозреваю, что это может быть распространенная проблема, у которой есть более простое решение.
Пожалуйста, дайте мне знать!