Eu tenho um pipeline que é iniciado usando um comando. Por alguns motivos de administração/servidor, essa ferramenta deve ser iniciada a partir de um nó. Essa ferramenta aciona todas as etapas do meu pipeline em um arquivo chamado pipeline.steps. Então o que eu faria é
$ qsub -I
$ cd /path/to/my/tool/
$ ./launch-pipeline pipeline.steps
O problema é que algumas etapas precisam ser paralelizadas em nós diferentes. O conteúdo do arquivo pipeline.steps
é assim:
step1:
write_pbs_script ${NAME}.pbs
qsub ${NAME}.pbs
setp2:
continue...
Como já estou iniciando o pipeline a partir de um nó, o uso do qsub
win nos scripts recém-criados pbs
obviamente falhará. Como posso lançar meu pipeline em um nó e, a partir desse nó, despachar novos trabalhos para nós diferentes?