トレーニング プロセスはシリアルで実行する必要がありますか、それとも並列で実行する必要がありますか?

トレーニング プロセスはシリアルで実行する必要がありますか、それとも並列で実行する必要がありますか?

実行する ANN トレーニング プロセスが 21 個あります。

私は 4 台のコンピューターを持っています。そのうち 3 台には GPU が搭載されています (それぞれ 2 台の GPU)。

GPU を搭載したコンピューターでは、3 つ以上のプロセスを同時に実行することはできません。GPU は、メモリ内に 3 つ以上のプロセスを収容できません。その結果、3 つ以上のプロセスを実行すると、1 つ以上のプロセスが自動的に終了されます。

最短時間でトレーニングをアクティブ化するプロセスを実行する最適な方法は何でしょうか?

関連情報