인피니밴드 네트워크를 사용하여 노드를 관리하는 가상 머신으로 마스터 노드(또는 프런트엔드 노드)가 있는 클러스터를 구성하려고 하면 해결할 수 없는 문제에 직면하여 글을 쓰고 있습니다.
저는 이 노드에서 slurm을 사용합니다. 프런트엔드 노드는 slurm 컨트롤러입니다.
각 컴퓨팅 노드에는 이더넷 및 인피니밴드 인터페이스가 있고, 마스터 노드(또는 프런트엔드 노드)에는 이더넷 인터페이스만 있습니다.
프런트엔드 VM 노드에서 작업을 시작할 때 컴퓨팅 노드 네트워크 트래픽(그들 사이)이 이더넷 인터페이스를 통과하지만 Infiniband 인터페이스를 강제로 사용하는 방법을 찾지 못했습니다.
VM 프런트엔드 대신 컴퓨팅 노드에서 작업을 시작하면 문제가 해결된다는 것을 알았습니다! IB 인터페이스를 강제로 사용하는 방법이 있습니까? 내가 여기서 무엇을 놓치고 있습니까?
어떤 아이디어라도 대단히 감사하겠습니다.
감사합니다, Simo
답변1
저는 HPC 작업을 처음 접했습니다. 영어는 제 모국어가 아닙니다. 하지만 제 생각에는 가중치가 적용된 경로를 통해 수행하는 것 같습니다.
각 시스템에 인터페이스 비용이 매우 낮은 IB 넷 세그먼트에 대한 경로를 할당하고 IB 인터페이스에 대해 가격이 높은 다른 모든 넷 세그먼트(반대: IB 세그먼트에 대해 매우 높은 가중치를 갖는 이더넷)를 할당합니다. .
여기에 언급된 분할 액세스의 종류는 다음과 같습니다.
https://tldp.org/HOWTO/Adv-Routing-HOWTO/lartc.rpdb.multiple-links.html
내가 본 유일한 단점은 SSH 트래픽이 이더넷 대신 인피니밴드를 통해 전송될 수 있다는 점이지만 이에 대한 해결 방법이 있어야 합니다.