☰

병목 현상 없이 고성능 네트워크 트래픽 레코더를 구축하는 방법(20Gbps)

tag-icon • tag-icon linux raid software-raid hardware-raid bottleneck
병목 현상 없이 고성능 네트워크 트래픽 레코더를 구축하는 방법(20Gbps)

초당 20기가비트 네트워크 트래픽(2 x 10g 네트워크 어댑터 - 99% 활용률)을 캡처할 수 있는 서버를 구축하고 패킷 손실이 없는 디스크에 저장해야 합니다. 요구 사항은 20~30분 동안 계속되는 트래픽을 기록할 수 있는 기능을 제공하는 것입니다.

"하드웨어 전문가"가 아니기 때문에 인터넷에서 현재 가장 빠른 하드 드라이브를 검색한 결과 다음 옵션을 생각해 냈습니다. 6 x 600GB 이상으로 Raid-0(스트라이프) 설정WD의 VelociRaptor SATA 드라이브, 이는 지구상에서 가장 빠른(6Gb/s 인터페이스) 드라이브라고 주장하며 36Gbps 쓰기 속도를 제공합니다.

내 질문은 기본적으로 하드 드라이브 위치를 정리하는 것입니다.

  1. 기계의 다른 부분은 어떻습니까? 어떤 종류의 마더보드가 필요합니까?
  2. 어떤 종류의 CPU인가요?
  3. CPU는 몇 개인가요?
  4. 데이터가 조작되지 않고 하드 드라이브에 기록된다는 점을 고려하면 얼마나 많은 RAM이 필요합니까?

여러분의 도움과 조언에 미리 감사드립니다.

답변1

OTS 하드웨어에서 이런 종류의 일이 얼마나 현실적인지 의심스럽습니다. 내 생각은 이렇습니다.

각 드라이브는 약 1Gbps(최대)를 수행할 수 있습니다. 필요한 쓰기 성능을 얻으려면 최소 20개의 배열이 필요합니다. 현실적으로 지속적인 처리량과 일종의 중복성을 얻으려면 30개 이상의 드라이브가 필요할 것입니다. 하지만 RAID5나 6으로 2.5GBps를 수행할 수 있는 SAS RAID는 많지 않다고 생각합니다. 따라서 RAID10에 갇힐 수 있습니다.

그만큼의 데이터를 저장하려면 3~4.5TB의 사용 가능한 스토리지가 필요합니다. Raptor 드라이브를 사용하면 RAID10(여기서는 아마도 최선의 선택일 것임)을 사용하더라도 그 정도의 용량을 쉽게 가질 수 있습니다.

CPU, PCIe 레인, RAM을 너무 많이 고려해서는 안 됩니다. RAID 카드와 NIC에 필요한 것 외에는. 코어가 많은 CPU보다 빠른 CPU를 선택하겠습니다. 자체적으로 많은 작업을 수행하지는 않고 대부분의 경우 DMA 전송을 조정합니다. 나는 최소한 4GB의 RAM을 확보할 것입니다. 더 많은 것이 거의 모든면에서 더 좋아질 것입니다.

관련 정보