☰

Драйверы Infiniband: OFED или дистрибутив включены?

tag-icon • tag-icon centos infiniband hpc mellanox
Драйверы Infiniband: OFED или дистрибутив включены?

Я настраиваю кластер Linux с сетью InfiniBand, и я новичок в мире InfiniBand, поэтому любые советы будут приветствоваться!

В настоящее время мы используем драйверы Mellanox OFED, но наши карты infiniband устарели и не распознаются последними драйверами MOFED. Поэтому мне интересно, почему бы не использовать драйверы, поставляемые с дистрибутивом (работающие на CentOS7).

Какая разница, использовать тот или иной? Стоит ли ожидать снижения производительности?

спасибо

решение1

Не используя дистрибутив OFED поставщика (в данном случае Mellanox OFED), следует ожидать не только снижения производительности, но и отсутствия функций, а также множества проблем со стабильностью.

Infiniband не так надежен, как Ethernet. Основная цель Infiniband — обеспечить структуру с низкой задержкой, а не только высокую пропускную способность сети, как все обычно думают.

Драйвер в комплекте (так Mellanox называет дистрибутив OFED, поставляемый в дистрибутиве) в лучшем случае ненадежен, и если вы используете карты старше Connect-X4, вам будет трудно запустить IPoIB, если это необходимо, простое включение в конечном итоге приведет к панике ядра. Производительность просто плохая, а сеть ненадежная.

Есть несколько альтернатив, прежде всего, это MLNX OFED 4.9, который является LTS-релизом, поддерживающим старые карты, такие как Connect-X3. Я бы остановился на нем, так как он поддерживается и будет поддерживаться еще долгое время.

Отличие заключается в поддержке следующего оборудования и технологий:

  • ConnectX-3 Pro
  • ConnectX-3
  • Connect-IB
  • Библиотека экспериментальных глаголов RDMA (mlnx_lib)

Загрузите его здесь:https://www.mellanox.com/products/infiniband-drivers/linux/mlnx_ofed

Если LTS-версия Mellanox OFED вам не подходит, другим решением будет переход на Oracle Linux, внедрение UEK (Unbreakable Enterprise Kernel) и использование его дистрибутива RDMA. По крайней мере, Oracle тестирует этот релиз OFED, их продукт Exadata его использует. Документация доступна здесь:https://docs.oracle.com/en/operating-systems/uek/6/relnotes6.2/ol_instav.html#uek6_install_rdma

решение2

Драйверы «входящих» прошли процесс вопросов и ответов Linux и процесс вопросов и ответов дистрибутива. Драйверы MOFED — нет.

В MOFED есть серьезные ошибки, которые не позволяют нашему коду работать под ним, а поддержка нашего старого оборудования отключена в MOFED. Но он работает с драйверами inbox/Distro.

MOFED — экспериментальное ПО. Может быть полезно, если система может время от времени зависать, и если вы хотите использовать передовые функции, которые еще не до конца разработаны.

Связанный контент