Ich arbeite mit einem Cluster aus 13 Computern, der unter Windows Server 2012 R2 läuft und MS HPC Pack 2012 R2 verwendet. Der Hauptknoten funktioniert einwandfrei. Die Server sind über Standardadapter per IPv4 mit dem Unternehmensnetzwerk verbunden. Die Knoten sind jedoch auch über InfiniBand miteinander verbunden.
Vor einer Woche wurde der Cluster in eine neue Domäne mit denselben Hostnamen verschoben. Der FQDN wurde natürlich geändert und verhält sich in den meisten Fällen korrekt, außer dass Network Direct jetzt auf allen 12 Rechenknoten auf „false“ gesetzt ist.
Nach der Migration wurden auf dem Hauptknoten alle HPC-Komponenten neu installiert. Die Knoten blieben unberührt. Da ich dachte, dass dies der Grund für die Aktivierung von Network Direct war, versuchte ich auch, HPC auf einem der Knoten neu zu installieren. Das löste das Problem jedoch nicht.
Die Windows-Firewall ist auf allen Ebenen aller Knoten, einschließlich des Hauptknotens, AUSGESCHALTET.
In
- ifiniBand-Adapter auf Headnode: Mellanox ConnectX-3 Pro IPoIB-Adapter
- InifiniBand-Adapter auf Knoten: HP 10 Gb/40 Gb 2-Port 544+FLR-QSFP IPoIB-Adapter
Die Server antworten auf PING-Anfragen auf für die InfiniBand-Adapter festgelegten IPs.
Hat jemand eine Idee dazu? Vielen Dank im Voraus.
Antwort1
Flashen Sie Mellanox-NICs in Ethernet, damit alles zuverlässig funktioniert. InfiBand mit Windows ist so ein Ärgernis!