Tengo una canalización que se inicia mediante un comando. Por algunas razones de administrador/servidor, esa herramienta debe iniciarse desde un nodo. Esa herramienta activa todos los pasos de mi canalización en un archivo llamado canalización.steps. Entonces lo que yo haría es
$ qsub -I
$ cd /path/to/my/tool/
$ ./launch-pipeline pipeline.steps
La cuestión es que algunos pasos deben paralelizarse en diferentes nodos. El contenido del archivo pipeline.steps
se ve así:
step1:
write_pbs_script ${NAME}.pbs
qsub ${NAME}.pbs
setp2:
continue...
Como ya estoy iniciando la canalización desde un nodo, el uso de qsub
win para los scripts recién creados pbs
obviamente fallará. ¿Cómo puedo iniciar mi canalización en un nodo y, desde ese nodo, enviar nuevos trabajos a diferentes nodos?