Tengo una pregunta extraña (¡al menos para mí!), pero no estoy seguro de cómo abordarla.
Fondo
Tengo algunos trabajos por lotes (scripts de Python llamados mediante cron o scripts de Python llamados mediante un script bash). Por ejemplo, 20 trabajos de ETL y 20 trabajos de procesamiento de datos. Eso ocurre en diferentes momentos.
Enfoque actual
Mantengo mi servidor encendido y ejecuto trabajos cron para ejecutar los scripts a la hora prevista (no todos se ejecutan al mismo tiempo... uno puede ejecutarse a la 1:00 p. m. mientras que otro se ejecuta a las 5:00 p. m.). Esto está funcionando perfectamente ahora mismo.
Problema Quiero ahorrar dinero y los trabajos no tienen que comenzar exactamente a la hora que establecí, podrían tardar unos minutos o una hora o dos, así que estaba pensando en usar instancias interrumpibles que inicien el servidor según un cronograma.
Estaba pensando en iniciar el servidor cada hora y luego procesar cualquier trabajo que haya superado su programación y que aún no se haya realizado.
¡No tengo ni idea de cómo hacer esto! ¿Hay alguna manera de programar esto dentro de Ubuntu? Pensé en configurar una base de datos externa y tener un script que la consulte para ver qué procesos deben iniciarse, pero sentí que era excesivo. Sospecho que este puede ser un problema común que tiene una solución más simple.
¡Por favor hágamelo saber!