Я работаю с кластером из 13 компьютеров, работающих на Windows Server 2012 R2, с использованием MS HPC Pack 2012 R2. Головной узел работает нормально. Серверы подключены к корпоративной сети через IPv4 на стандартных адаптерах. Однако узлы также подключены друг к другу через infiniBand.
Неделю назад кластер был перемещен в новый домен с теми же именами хостов. Конечно, FQDN изменился, и он ведет себя правильно в большинстве случаев, за исключением того, что Network Direct теперь установлен на false на всех 12 вычислительных узлах.
После миграции на головном узле были переустановлены все компоненты HPC. Узлы остались нетронутыми. Поскольку я думал, что это причина включения Network Direct, я также попытался переустановить HPC на одном из узлов. Это не решило проблему.
Брандмауэр Windows отключен на всех уровнях на всех узлах, включая головной узел.
В
- Адаптер ifiniBand на головном узле: Адаптер Mellanox ConnectX-3 Pro IPoIB
- Адаптер inifiniBand на узлах: адаптер HP 10Gb/40Gb 2-port 544+FLR-QSFP IPoIB
Серверы отвечают на запросы PING по IP-адресам, установленным для адаптеров InfiniBand.
У кого-нибудь есть идеи по этому поводу? Спасибо заранее.
решение1
Перепрошейте сетевые карты Mellanox в Etherent, чтобы все работало надежно. InfiBand с Windows — это просто ПИТА!