비디오 스트리밍 서버에 권장되는 스토리지 시스템

Question 1

1.Linux를 설치하고 RAID에서 두 개의 빠른 HDD를 구성할 수 있으며 값비싼 스토리지 솔루션과 동일한 성능을 가질 수 있습니까?

아니요. 최소한 괜찮은 하드웨어 RAID 컨트롤러를 사용하겠습니다(Adaptec이 제 생각입니다). 가장 큰 이유는 Linux 설치에 최적화된 하드웨어가 부족하기 때문에 튜닝이 제대로 이루어지지 않기 때문입니다. 즉, 전원이 꺼지면 디스크가 엉망이 될 수 있으므로 다시 쓰기 캐싱을 안전하게 사용할 수 없습니다. 정전이 발생하면 온보드 캐시가 안전하기 때문에 Adaptec 5805Z 또는 BBU가 있는 5805에서 그렇게 할 수 있습니다(일정 또는 그 이상의 시간 동안 BBU는 2일 동안 실행되고 Z 모델은 데이터를 플래시 모듈에 기록합니다). 기술적으로, 그런데 저는 여전히 (컨트롤러에서) Linux를 실행하고 있습니다.

2. 마더보드 등 몇 개의 CPU가 필요합니까?

꽤 관련이 없습니다. 압축을 수행하지 않으면 CPU에 바인딩되지 않습니다. 어떤 CPU라도 충분합니다. ATOM도 마찬가지입니다. 다시 말하지만, 디스크를 통해 스트림을 전달하는 것 이상의 작업을 수행하지 않는 한 CPU 문제가 발생할 가능성은 없습니다.

3.이 제품에 가장 적합한 HDD 브랜드는 무엇입니까?

서부 디지털. 좀 더 구체적으로 말하면 벨로시랩터, 적절한 가격에 적절한 성능이 필요한 경우입니다. 훨씬 더 비싼 SAS 드라이브보다 부족한 유일한 10,000RPM 드라이브입니다. IO 요구 사항에 따라 더 크고 느린 드라이브를 사용할 수도 있습니다. 이는 테스트를 거쳐야 하며 코딩에 따라 많은 것이 달라집니다.

SuperMicro에서 서버를 구입하세요. 2랙 유닛 높이, 24개의 하드 디스크(2.5 폼 팩터)를 위한 장소입니다. 확장할 수 있는 공간이 많습니다. RAID 10 구성에서는 8개의 디스크로 시작할 수 있습니다. 여러 개의 케이지를 서로 종속시킬 수 있습니다. 위에서 언급한 Adaptec과 같은 SAS RAID 컨트롤러가 필요합니다.

4.HDD에 수냉식 기능이 있나요?

예, 하지만 서버와는 전혀 관련이 없습니다. 이것은 주로 전체 수냉식으로 조용한 PC를 만들고 팬 없이 HD 열을 제거하려는 Osmoen을 위한 것입니다.

Answer

1.Linux를 설치하고 RAID에서 두 개의 빠른 HDD를 구성할 수 있으며 값비싼 스토리지 솔루션과 동일한 성능을 가질 수 있습니까?

아니요. 최소한 괜찮은 하드웨어 RAID 컨트롤러를 사용하겠습니다(Adaptec이 제 생각입니다). 가장 큰 이유는 Linux 설치에 최적화된 하드웨어가 부족하기 때문에 튜닝이 제대로 이루어지지 않기 때문입니다. 즉, 전원이 꺼지면 디스크가 엉망이 될 수 있으므로 다시 쓰기 캐싱을 안전하게 사용할 수 없습니다. 정전이 발생하면 온보드 캐시가 안전하기 때문에 Adaptec 5805Z 또는 BBU가 있는 5805에서 그렇게 할 수 있습니다(일정 또는 그 이상의 시간 동안 BBU는 2일 동안 실행되고 Z 모델은 데이터를 플래시 모듈에 기록합니다). 기술적으로, 그런데 저는 여전히 (컨트롤러에서) Linux를 실행하고 있습니다.

2. 마더보드 등 몇 개의 CPU가 필요합니까?

꽤 관련이 없습니다. 압축을 수행하지 않으면 CPU에 바인딩되지 않습니다. 어떤 CPU라도 충분합니다. ATOM도 마찬가지입니다. 다시 말하지만, 디스크를 통해 스트림을 전달하는 것 이상의 작업을 수행하지 않는 한 CPU 문제가 발생할 가능성은 없습니다.

3.이 제품에 가장 적합한 HDD 브랜드는 무엇입니까?

서부 디지털. 좀 더 구체적으로 말하면 벨로시랩터, 적절한 가격에 적절한 성능이 필요한 경우입니다. 훨씬 더 비싼 SAS 드라이브보다 부족한 유일한 10,000RPM 드라이브입니다. IO 요구 사항에 따라 더 크고 느린 드라이브를 사용할 수도 있습니다. 이는 테스트를 거쳐야 하며 코딩에 따라 많은 것이 달라집니다.

SuperMicro에서 서버를 구입하세요. 2랙 유닛 높이, 24개의 하드 디스크(2.5 폼 팩터)를 위한 장소입니다. 확장할 수 있는 공간이 많습니다. RAID 10 구성에서는 8개의 디스크로 시작할 수 있습니다. 여러 개의 케이지를 서로 종속시킬 수 있습니다. 위에서 언급한 Adaptec과 같은 SAS RAID 컨트롤러가 필요합니다.

4.HDD에 수냉식 기능이 있나요?

예, 하지만 서버와는 전혀 관련이 없습니다. 이것은 주로 전체 수냉식으로 조용한 PC를 만들고 팬 없이 HD 열을 제거하려는 Osmoen을 위한 것입니다.

Question 2

125메가비트와 125기가비트를 혼동했기 때문에 원래 답변을 취소합니다. 부끄럽습니다.

하지만 물론 이렇게 하면 모든 것이 조금 더 쉬워집니다. :)

질문이 있으신 경우:

일종의. 이 경우에는 충분할 정도로 매우 좋은 성능을 얻을 수 있습니다. 하지만 가능한 한 많은 디스크를 사용하고 가능하면 하드웨어 RAID 컨트롤러를 사용하는 것이 좋습니다. 이를 통해 OS의 문제 없이 손상된 디스크를 쉽게 핫스왑할 수 있다는 이점이 있습니다. 그리고 핫스왑 가능한 드라이브 베이가 있는 케이스를 구입하세요.
이는 주로 수행하려는 작업에 따라 다릅니다. 4코어 CPU용 소켓 2개와 적절한 CPU를 갖춘 서버급 메인보드는 저장 용도로만 사용할 수 있습니다. 하지만 어떤 이유로든 디스크 쓰기가 짧은 시간 동안 중단되는 경우를 대비해 버퍼를 확보하려면 많은 RAM을 사용하는 것이 좋습니다. 최소 16GB 또는 24GB를 생각하세요.
이 시나리오에서는 액세스 시간이 중요하므로 최소 10,000RPM 이상, 어쩌면 15,000RPM 이상인 서버급 HD를 선택해야 합니다. 용량은 데이터를 보관하려는 기간(125개)에 따라 달라집니다.메가스트림의 총 비트/초는 시간당 약 50GB가 됩니다.
왜 수냉식인가요? 핫스왑 가능한 드라이브 베이에 수냉식을 제공하는 시스템에 대해서는 모르겠습니다.

Answer

125메가비트와 125기가비트를 혼동했기 때문에 원래 답변을 취소합니다. 부끄럽습니다.

하지만 물론 이렇게 하면 모든 것이 조금 더 쉬워집니다. :)

질문이 있으신 경우:

일종의. 이 경우에는 충분할 정도로 매우 좋은 성능을 얻을 수 있습니다. 하지만 가능한 한 많은 디스크를 사용하고 가능하면 하드웨어 RAID 컨트롤러를 사용하는 것이 좋습니다. 이를 통해 OS의 문제 없이 손상된 디스크를 쉽게 핫스왑할 수 있다는 이점이 있습니다. 그리고 핫스왑 가능한 드라이브 베이가 있는 케이스를 구입하세요.
이는 주로 수행하려는 작업에 따라 다릅니다. 4코어 CPU용 소켓 2개와 적절한 CPU를 갖춘 서버급 메인보드는 저장 용도로만 사용할 수 있습니다. 하지만 어떤 이유로든 디스크 쓰기가 짧은 시간 동안 중단되는 경우를 대비해 버퍼를 확보하려면 많은 RAM을 사용하는 것이 좋습니다. 최소 16GB 또는 24GB를 생각하세요.
이 시나리오에서는 액세스 시간이 중요하므로 최소 10,000RPM 이상, 어쩌면 15,000RPM 이상인 서버급 HD를 선택해야 합니다. 용량은 데이터를 보관하려는 기간(125개)에 따라 달라집니다.메가스트림의 총 비트/초는 시간당 약 50GB가 됩니다.
왜 수냉식인가요? 핫스왑 가능한 드라이브 베이에 수냉식을 제공하는 시스템에 대해서는 모르겠습니다.

Question 3

녹음을 언제까지 보관해야 하나요?

초당 약 16MB를 지속적으로 푸시하거나 하루에 약 1.25TB를 푸시합니다.

디스크 어레이는 크기가 커야 하며 매우 빠르지는 않아야 합니다. 녹음 소프트웨어가 약간 버퍼링되면 IOP가 많지도 않습니다. 당신이 언급한 것처럼 Linux 소프트웨어 공격대가 이 로드를 처리하는 것을 쉽게 볼 수 있습니다. 특히 버퍼링을 위해 몇 GB의 RAM을 제공하는 경우 더욱 그렇습니다. 이것은 괜찮은 소프트웨어를 가정합니다.

비디오를 다른 형식으로 트랜스코딩하지 않는 경우에는 CPU가 많이 필요하지 않으며 최신 Intel/AMD도 마찬가지입니다. 기가비트 네트워크가 필요합니다.

그만큼상표대답하기 어려운 문제이므로 약간의 중복성(raid5)을 확보하고 평판이 좋은 브랜드에서 저렴한 SATA 디스크를 구입하겠습니다.

냉각(및 안정성)을 위해 필요한 수의 디스크를 수용하는 서버 섀시를 구입합니다. 섀시는 디스크를 시원하게 유지하는 데 필요한 공기 흐름을 제공합니다. 현재 정보로는 수냉식으로 갈 필요가 거의 없습니다.

Answer

녹음을 언제까지 보관해야 하나요?

초당 약 16MB를 지속적으로 푸시하거나 하루에 약 1.25TB를 푸시합니다.

디스크 어레이는 크기가 커야 하며 매우 빠르지는 않아야 합니다. 녹음 소프트웨어가 약간 버퍼링되면 IOP가 많지도 않습니다. 당신이 언급한 것처럼 Linux 소프트웨어 공격대가 이 로드를 처리하는 것을 쉽게 볼 수 있습니다. 특히 버퍼링을 위해 몇 GB의 RAM을 제공하는 경우 더욱 그렇습니다. 이것은 괜찮은 소프트웨어를 가정합니다.

비디오를 다른 형식으로 트랜스코딩하지 않는 경우에는 CPU가 많이 필요하지 않으며 최신 Intel/AMD도 마찬가지입니다. 기가비트 네트워크가 필요합니다.

그만큼상표대답하기 어려운 문제이므로 약간의 중복성(raid5)을 확보하고 평판이 좋은 브랜드에서 저렴한 SATA 디스크를 구입하겠습니다.

냉각(및 안정성)을 위해 필요한 수의 디스크를 수용하는 서버 섀시를 구입합니다. 섀시는 디스크를 시원하게 유지하는 데 필요한 공기 흐름을 제공합니다. 현재 정보로는 수냉식으로 갈 필요가 거의 없습니다.

Question 4

나는 MIT 사람들에게 이렇게 물어볼 것을 제안합니다: http://www.media.mit.edu/cogmac/projects/hsp.html

한 집에 11대의 고품질 카메라와 14개의 마이크를 사용하여 3년 동안 녹음한 휴먼 스피치 프로젝트(Human Speechome Project)입니다. 집에는 10개 노드 클러스터가 있는 5TB 디스크 어레이가 있었습니다. 압축 후 매일 300GB가 누적됩니다. 주기적으로 데이터는 휴대용 드라이브를 통해 MIT 서버 팜으로 전송되었습니다.

당신은 그들이 가지고 있는 비디오 피드보다 약 100배 더 많은 비디오 피드를 가지고 있지만, 그들은 여전히 빠른 이메일 대화를 통해 얻을 수 있는 중요한 통찰력을 가질 수 있습니다. 그들의 하드웨어는 5년 반 이상 낡았습니다.

다음은 프로젝트에 대한 20분간의 Ted 강연입니다. http://www.ted.com/talks/deb_roy_the_birth_of_a_word.html (시간이 부족할 경우 1분 00초 지점까지 스크롤하여 몇 분 동안 시청하세요.)

출판:http://www.media.mit.edu/cogmac/publications/cogsci06.pdf

Answer