私はstarclusterというツールを使っていますhttp://star.mit.edu/クラスターAmazon クラウドで SGE 構成のクラスターを起動します。問題は、スロットを除いて、事前に設定された消費可能リソースが設定されていないように見えることです。スロットは、を使用して直接要求できないようですqsub -l slots=X。クラスターを起動するたびに、異なるタイプの EC2 ノードを要求する可能性があるため、このスロット リソースが事前に構成されていることは非常に便利です。事前構成された並列環境を使用して特定の数のスロットを要求できますが、問題は、それが MPI 用にセットアップされているため、その並列環境を使用してスロットを要求すると、ジョブ スロットが複数のコンピューティング ノードに分散されることがあることです。
1) 単一ノードでスロットを要求する場合に starcluster がセットアップする既存の事前構成済みの HOST=X スロット設定を利用する並列環境を作成する方法、または 2) SGE が自動的に認識する何らかのリソースを使用する方法はありますか? を実行すると、と がどこにも定義されていないにもかかわらず、SGE が何らかの方法でそれらのリソースを認識しているqhostように思われますが、それぞれのリソースがどれだけ利用可能かを明示的に定義せずに、それらのリソースを要求可能にできる設定はありますか?NCPUMEMTOT
御時間ありがとうございます！
qhost出力：
HOSTNAME ARCH NCPU LOAD MEMTOT MEMUSE SWAPTO SWAPUS
-------------------------------------------------------------------------------
global - - - - - - -
master linux-x64 2 0.01 7.3G 167.4M 0.0 0.0
node001 linux-x64 2 0.01 7.3G 139.6M 0.0 0.0
qconf -mc出力：
#name shortcut type relop requestable consumable default urgency
#----------------------------------------------------------------------------------------
arch a RESTRING == YES NO NONE 0
calendar c RESTRING == YES NO NONE 0
cpu cpu DOUBLE >= YES NO 0 0
display_win_gui dwg BOOL == YES NO 0 0
h_core h_core MEMORY <= YES NO 0 0
h_cpu h_cpu TIME <= YES NO 0:0:0 0
h_data h_data MEMORY <= YES NO 0 0
h_fsize h_fsize MEMORY <= YES NO 0 0
h_rss h_rss MEMORY <= YES NO 0 0
h_rt h_rt TIME <= YES NO 0:0:0 0
h_stack h_stack MEMORY <= YES NO 0 0
h_vmem h_vmem MEMORY <= YES NO 0 0
hostname h HOST == YES NO NONE 0
load_avg la DOUBLE >= NO NO 0 0
load_long ll DOUBLE >= NO NO 0 0
load_medium lm DOUBLE >= NO NO 0 0
load_short ls DOUBLE >= NO NO 0 0
m_core core INT <= YES NO 0 0
m_socket socket INT <= YES NO 0 0
m_topology topo RESTRING == YES NO NONE 0
m_topology_inuse utopo RESTRING == YES NO NONE 0
mem_free mf MEMORY <= YES NO 0 0
mem_total mt MEMORY <= YES NO 0 0
mem_used mu MEMORY >= YES NO 0 0
min_cpu_interval mci TIME <= NO NO 0:0:0 0
np_load_avg nla DOUBLE >= NO NO 0 0
np_load_long nll DOUBLE >= NO NO 0 0
np_load_medium nlm DOUBLE >= NO NO 0 0
np_load_short nls DOUBLE >= NO NO 0 0
num_proc p INT == YES NO 0 0
qname q RESTRING == YES NO NONE 0
rerun re BOOL == NO NO 0 0
s_core s_core MEMORY <= YES NO 0 0
s_cpu s_cpu TIME <= YES NO 0:0:0 0
s_data s_data MEMORY <= YES NO 0 0
s_fsize s_fsize MEMORY <= YES NO 0 0
s_rss s_rss MEMORY <= YES NO 0 0
s_rt s_rt TIME <= YES NO 0:0:0 0
s_stack s_stack MEMORY <= YES NO 0 0
s_vmem s_vmem MEMORY <= YES NO 0 0
seq_no seq INT == NO NO 0 0
slots s INT <= YES YES 1 1000
swap_free sf MEMORY <= YES NO 0 0
swap_rate sr MEMORY >= YES NO 0 0
swap_rsvd srsv MEMORY >= YES NO 0 0
qconf -me master出力（例としてノードの 1 つ）：
hostname master
load_scaling NONE
complex_values NONE
user_lists NONE
xuser_lists NONE
projects NONE
xprojects NONE
usage_scaling NONE
report_variables NONE
qconf -msconf出力：
algorithm default
schedule_interval 0:0:15
maxujobs 0
queue_sort_method load
job_load_adjustments np_load_avg=0.50
load_adjustment_decay_time 0:7:30
load_formula np_load_avg
schedd_job_info false
flush_submit_sec 0
flush_finish_sec 0
params none
reprioritize_interval 0:0:0
halftime 168
usage_weight_list cpu=1.000000,mem=0.000000,io=0.000000
compensation_factor 5.000000
weight_user 0.250000
weight_project 0.250000
weight_department 0.250000
weight_job 0.250000
weight_tickets_functional 0
weight_tickets_share 0
share_override_tickets TRUE
share_functional_shares TRUE
max_functional_jobs_to_schedule 200
report_pjob_tickets TRUE
max_pending_tasks_per_job 50
halflife_decay_list none
policy_hierarchy OFS
weight_ticket 0.010000
weight_waiting_time 0.000000
weight_deadline 3600000.000000
weight_urgency 0.100000
weight_priority 1.000000
max_reservation 0
default_duration INFINITY
qconf -mq all.q出力：
qname all.q
hostlist @allhosts
seq_no 0
load_thresholds np_load_avg=1.75
suspend_thresholds NONE
nsuspend 1
suspend_interval 00:05:00
priority 0
min_cpu_interval 00:05:00
processors UNDEFINED
qtype BATCH INTERACTIVE
ckpt_list NONE
pe_list make orte
rerun FALSE
slots 1,[master=2],[node001=2]
tmpdir /tmp
shell /bin/bash
prolog NONE
epilog NONE
shell_start_mode posix_compliant
starter_method NONE
suspend_method NONE
resume_method NONE
terminate_method NONE
notify 00:00:60
owner_list NONE
user_lists NONE
xuser_lists NONE
subordinate_list NONE
complex_values NONE
projects NONE
xprojects NONE
calendar NONE
initial_state default
s_rt INFINITY
h_rt INFINITY
s_cpu INFINITY
h_cpu INFINITY
s_fsize INFINITY
h_fsize INFINITY
s_data INFINITY
h_data INFINITY
s_stack INFINITY
h_stack INFINITY
s_core INFINITY
h_core INFINITY
s_rss INFINITY
答え1
私が見つけた解決策は、割り当てルールを持つ新しい並列環境を作成することです$pe_slots(を参照man sge_pe)。 はスロットの使用をノードごとに制限するため、その並列環境で使用可能なスロット数を最大値と同じに設定しました$pe_slots。 starcluster はクラスターの起動時にスロットを設定するため、これでうまく機能するようです。 また、新しい並列環境をキューに追加する必要もあります。 これを非常に簡単にするために、次の操作を行います。
qconf -ap by_node
ファイルを編集した後の内容は次のとおりです。
pe_name by_node
slots 9999999
user_lists NONE
xuser_lists NONE
start_proc_args /bin/true
stop_proc_args /bin/true
allocation_rule $pe_slots
control_slaves TRUE
job_is_first_task TRUE
urgency_slots min
accounting_summary FALSE
また、キュー ( all.qstarcluster によって呼び出される) を変更して、この新しい並列環境をリストに追加します。
qconf -mq all.q
この行を変更します:
pe_list make orte
これに:
pe_list make orte by_node
特定のジョブから生成されたジョブが 1 つのノードに制限されるのではないかと心配していましたが、そうではないようです。2 つのノードと、それぞれ 2 つのスロットを持つクラスターがあります。
次のようなテストファイルを作成しました。
#!/bin/bash
qsub -b y -pe by_node 2 -cwd sleep 100
sleep 100
次のように実行しました:
qsub -V -pe by_node 2 test.sh
しばらくすると、qstat両方のジョブが異なるノードで実行されていることが表示されます。
job-ID prior name user state submit/start at queue slots ja-task-ID
-----------------------------------------------------------------------------------------------------------------
25 0.55500 test root r 10/17/2012 21:42:57 all.q@master 2
26 0.55500 sleep root r 10/17/2012 21:43:12 all.q@node001 2
また、1 つのノードで同じ数のスロットを要求する 3 つのジョブを同時に送信し、ノードごとに 1 つずつ、一度に 2 つだけ実行するテストも行いました。これで適切に設定されているようです。