저는 infiniband 네트워크를 사용하여 Linux 클러스터를 설정하고 있으며 infiniband 세계에 초보자입니다. 어떤 조언이라도 환영합니다!
현재 Mellanox OFED 드라이버를 사용하고 있지만 인피니밴드 카드가 오래되어 최신 MOFED 드라이버에서 인식되지 않습니다. 그래서 배포판 드라이버(CentOS7 실행)를 사용하지 않는 이유가 궁금합니다.
둘 중 하나를 사용하면 어떤 차이가 있습니까? 성능 저하가 예상됩니까?
고마워
답변1
공급업체 OFED 배포판을 사용하지 않으면 Mellanox OFED를 사용하여 성능 저하뿐 아니라 기능 부족 및 많은 안정성 문제를 예상할 수 있습니다.
Infiniband는 이더넷만큼 견고하지는 않습니다. Infiniband의 주요 목표는 일반적으로 모두가 생각하는 높은 처리량 네트워크뿐만 아니라 대기 시간이 짧은 패브릭을 제공하는 것입니다.
인박스 드라이버(Mellanox가 배포판에 포함된 OFED 배포판이라고 부르는 방식)는 기껏해야 신뢰할 수 없으며 Connect-X4보다 오래된 카드를 실행하는 경우 필요한 경우 IPoIB를 실행할 때 좋지 않은 시간을 보낼 수 있습니다. 결국 커널 패닉으로 이어질 것입니다. 성능도 좋지 않고 네트워크도 불안정합니다.
몇 가지 대안이 있습니다. 먼저 Connect-X3와 같은 구형 카드를 지원하는 LTS 릴리스인 MLNX OFED 4.9가 있습니다. 나는 그것이 지원되고 오랫동안 지원될 것이기 때문에 그것을 고수할 것입니다.
차이점은 다음 하드웨어 및 기술에 대한 지원입니다.
- ConnectX-3 프로
- ConnectX-3
- 커넥트-IB
- RDMA 실험 동사 라이브러리(mlnx_lib)
여기에서 다운로드하세요:https://www.mellanox.com/products/infiniband-drivers/linux/mlnx_ofed
Mellanox OFED의 LTS 버전이 적합하지 않은 경우 다른 솔루션이 Oracle Linux로 이동하고 UEK(Unbreakable Enterprise Kernel)를 채택하고 RDMA 배포판을 사용하는 것입니다. 최소한 Oracle은 이 OFED 릴리스를 테스트하고 Exadata 제품에서는 이를 사용합니다. 여기에 사용 가능한 문서가 있습니다.https://docs.oracle.com/en/operating-systems/uek/6/relnotes6.2/ol_instav.html#uek6_install_rdma
답변2
"인박스" 드라이버는 Linux Q&A 프로세스와 배포판 Q&A를 거쳤습니다. MOFED 드라이버는 그렇지 않습니다.
MOFED에는 코드가 실행되지 못하게 하는 심각한 버그가 있으며 MOFED에서는 이전 하드웨어에 대한 지원이 비활성화되었습니다. 하지만 Inbox/Distro 드라이버에서는 작동합니다.
MOFED는 실험적인 소프트웨어입니다. 시스템이 가끔 충돌할 수 있고 아직 성숙되지 않은 최첨단 기능을 사용하려는 경우 유용할 수 있습니다.