☰

動画ストリーミングサーバーに推奨されるストレージシステム

tag-icon • tag-icon linux raid windows
動画ストリーミングサーバーに推奨されるストレージシステム

私は、多数のリモート IP カメラからの多数のビデオ ストリームを記録してストリームバックするビデオ監視システムを開発しています。

1 台のマシンで 1 台のサーバーが実行され、約 500 のビデオ ストリーム (ビデオ ストリームあたり 250kbps) が処理されます。1 台のサーバーは、1 台のシンプルなサーバー (ここでは重要ではありません) によって制御される大規模なサーバー ファームの一部になります。

現在、私はソフトウェア エンジニアであり、サーバーを実行するための適切なハードウェアを見つける責任を任されています... しかし、何が必要なのか全くわかりません。

  1. Linux をインストールし、いくつかの高速 HDD を RAID で構成すると、高価なストレージ ソリューションと同じパフォーマンスが得られますか?

  2. 必要なCPU、マザーボード、その他の数はいくつですか?

  3. これに最適な HDD のブランドは何ですか?

  4. HDD 用の水冷はありますか?

馬鹿げた質問をして申し訳ありませんが、私はソフトウェアを書くのが好きで、パソコンこれが私の仕事で知っておく必要のあるハードウェアの詳細のすべてです...:）

答え1

1. Linux をインストールし、いくつかの高速 HDD を RAID で構成すると、高価なストレージ ソリューションと同じパフォーマンスが得られますか?

いいえ。少なくとも、まともなハードウェア RAID コントローラ (Adaptec が私のお勧め) を使用します。主な理由は、Linux インストールのチューニングが、最適化されたハードウェアがないため、単純に下手であることです。つまり、電源が落ちた場合、ディスクが壊れる可能性があるため、ライトバック キャッシュを安全に使用することはできません。Adaptec 5805Z または BBU 付きの 5805 では、電源が落ちてもオンボード キャッシュが安全であるため、ライトバック キャッシュを使用できます (一定期間またはそれ以上 - BBU は 2 日間動作し、Z モデルはデータをフラッシュ モジュールに書き込みます)。技術的には、これはまだ Linux (コントローラ上) を実行しています。

2.CPU、マザーボード、その他はいくつ必要ですか?

あまり関係ありません。圧縮を行わない限り、CPU に縛られることはありません。ATOM でも、どんな CPU でも十分です。繰り返しますが、ストリームをディスクに渡す以上の処理を行わない限り、CPU の問題が発生する可能性は低いです。

3.これに最適な HDD のブランドは何ですか?

Western Digital。もっと具体的に言うと、妥当な価格で妥当なパフォーマンスが必要な場合は、Velociraptors です。はるかに高価な SAS ドライブに劣る唯一の 10k RPM ドライブです。IO のニーズに応じて、より大きくて遅いドライブで済むこともあります。これはテストする必要があり、コーディングに大きく依存します。

SuperMicro のサーバーを入手してください - 高さ 2 ラック ユニット、24 台のハード ディスク (2.5 フォーム ファクター) を収容できます。拡張できるスペースは十分にあります。RAID 10 構成で 8 台のディスクから始めることができます。複数のケージを相互にスレーブ化できます。SAS RAID コントローラーが必要です (前述の Adaptec など)。

4.HDDには水冷方式がありますか?

はい、しかしサーバーにはまったく関係ありません。これは主に、完全な水冷で静かな PC を作成し、ファンなしで HD の熱を取り除きたい場合のものです。

答え2

125 メガビットと 125 ギガビットを混同していたため、最初の回答を撤回します。恥ずかしいです。

もちろん、これですべてが少し楽になります :)

それで、あなたの質問に対して:

  1. まあ、その通りです。このケースでは十分すぎるほどの、かなり良いパフォーマンスが得られます。ただし、できるだけ多くのディスクと、可能であればハードウェア RAID コントローラーを使用することをお勧めします。これにより、OS の問題なしに壊れたディスクを簡単にホットスワップできるなどの利点があります。ちなみに、ホットスワップ可能なドライブ ベイを備えたケースを入手してください。

  2. これは主に、何をしたいかによって決まります。4 コア CPU 用のソケットが 2 つと適切な CPU を備えたサーバー グレードのマザーボードであれば、ストレージのみであれば十分です。ただし、何らかの理由でディスクへの書き込みが短時間停止した場合に備えて、バッファーを用意するために、大量の RAM をお勧めします。少なくとも 16 GB または 24 GB を検討してください。

  3. このシナリオではアクセス時間が重要なので、少なくとも10k RPM以上、できれば15kのサーバーグレードのHDDを選ぶ必要があります。容量は、データをどれくらいの期間保存するかによって異なります（125メガストリームの合計ビット/秒は、約 50 GB/時間になります。

  4. なぜ水冷なのでしょうか? ホットスワップ可能なドライブベイに水冷機能を提供するシステムがあるかどうかは知りません。

答え3

録音はどれくらい保存する必要がありますか?

持続的に毎秒約 16 MB、つまり 1 日あたり約 1.25 TB をプッシュすることになります。

ディスク アレイは、それほど高速ではなく、大容量である必要があります。録画ソフトウェアが少しバッファリングする場合、IOPS もそれほど多くありません。あなたが言及したような Linux ソフトウェア RAID で、バッファリング用に 2 GB の RAM を割り当てれば、この負荷を簡単に処理できると思います。これは、適切なソフトウェアを前提としています。

ビデオを別の形式にトランスコードしない場合は、それほど多くの CPU は必要ありません。最新の Intel/AMD であれば十分です。ギガビット ネットワークが必要になります。

のブランド答えるのが難しい質問ですが、冗長性（raid5）を確保し、評判の良いブランドから安価な SATA ディスクを購入します。

冷却 (および信頼性) のために、必要な数のディスクを収容できるサーバー シャーシを入手します。シャーシは、ディスクを冷却するために必要な空気の流れを提供します。現在の情報から判断すると、水冷に移行する必要性はほとんどないと思われます。

答え4

以下の MIT の人たちに聞いてみることをお勧めします: http://www.media.mit.edu/cogmac/projects/hsp.html

Human Speechome プロジェクトでは、1 つの家で 11 台の高品質カメラと 14 台のマイクを使用して 3 年間にわたって録音しました。家には 10 ノードのクラスターを備えた 5 TB のディスク アレイがありました。圧縮後、毎日 300 GB が蓄積されました。データは定期的にポータブル ドライブ経由で MIT サーバー ファームに転送されました。

確かに、彼らの 100 倍ほどのビデオ フィードがありますが、それでも、簡単な電子メールのやり取りで得られる可能性が高い重要な洞察が彼らにはあるかもしれません。彼らのハードウェアは 5 年半以上前のものです。

以下は、このプロジェクトに関する 20 分間の TED トークです。 http://www.ted.com/talks/deb_roy_the_birth_of_a_word.html (時間がない場合は、1分00秒のところまでスクロールして、数分間視聴してください)。

出版物:http://www.media.mit.edu/cogmac/publications/cogsci06.pdf

関連情報