Sistema de armazenamento recomendado para servidor de streaming de vídeo

Question 1

1.Posso instalar o Linux e configurar alguns HDDs rápidos em RAID e posso ter o mesmo desempenho de alguma solução de armazenamento cara?

Não. Eu pelo menos escolheria um controlador RAID de hardware decente (Adaptec é minha aposta). A principal razão é que a instalação do Linux é péssima no ajuste, simplesmente porque falta hardware otimizado. Ou seja: você não pode usar o cache de write-back com segurança porque, se houver falta de energia, os discos podem ficar malucos. Você PODE fazer isso em um Adaptec 5805Z ou 5805 com BBU porque se houver falha de energia, o cache integrado estará seguro (por algum tempo ou mais - o BBU funciona 2 dias, o modelo Z grava os dados em um módulo flash). Tecnicamente, aliás, ainda estou executando Linux (no controlador).

2.Quantas CPUs eu preciso, placa-mãe, outras?

Bastante irrelevante. Você não está vinculado à CPU, a menos que faça compactação. Qualquer CPU deve ser suficiente, até mesmo um ATOM. Novamente, a menos que você faça muito mais do que apenas passar os fluxos pelo disco, provavelmente não terá problemas de CPU.

3.Qual a melhor marca de HDDs para isso?

Digital Ocidental. Mais específico: Velociraptores, se você precisar de um desempenho decente por um preço decente. A única unidade de 10k RPM a menos que uma unidade SAS muito mais cara. Dependendo da sua necessidade de IO, você poderá usar unidades maiores e mais lentas. Isso tem que ser testado e depende muito da sua codificação.

Obtenha um servidor da SuperMicro - 2 unidades de rack de altura, espaço para 24 discos rígidos (fator de forma 2,5). Muito espaço para expandir. Eu possivelmente começaria com 8 discos em uma configuração RAID 10. Várias gaiolas podem ser escravizadas umas às outras. Requer um controlador RAID SAS (como os Adaptecs mencionados acima).

4. Existe refrigeração a água para HDDs?

Sim, mas é totalmente irrelevante para o servidor. Isso é principalmente para criar um PC silencioso com refrigeração líquida total e querer se livrar do calor do HD sem ventilador.

Answer

1.Posso instalar o Linux e configurar alguns HDDs rápidos em RAID e posso ter o mesmo desempenho de alguma solução de armazenamento cara?

Não. Eu pelo menos escolheria um controlador RAID de hardware decente (Adaptec é minha aposta). A principal razão é que a instalação do Linux é péssima no ajuste, simplesmente porque falta hardware otimizado. Ou seja: você não pode usar o cache de write-back com segurança porque, se houver falta de energia, os discos podem ficar malucos. Você PODE fazer isso em um Adaptec 5805Z ou 5805 com BBU porque se houver falha de energia, o cache integrado estará seguro (por algum tempo ou mais - o BBU funciona 2 dias, o modelo Z grava os dados em um módulo flash). Tecnicamente, aliás, ainda estou executando Linux (no controlador).

2.Quantas CPUs eu preciso, placa-mãe, outras?

Bastante irrelevante. Você não está vinculado à CPU, a menos que faça compactação. Qualquer CPU deve ser suficiente, até mesmo um ATOM. Novamente, a menos que você faça muito mais do que apenas passar os fluxos pelo disco, provavelmente não terá problemas de CPU.

3.Qual a melhor marca de HDDs para isso?

Digital Ocidental. Mais específico: Velociraptores, se você precisar de um desempenho decente por um preço decente. A única unidade de 10k RPM a menos que uma unidade SAS muito mais cara. Dependendo da sua necessidade de IO, você poderá usar unidades maiores e mais lentas. Isso tem que ser testado e depende muito da sua codificação.

Obtenha um servidor da SuperMicro - 2 unidades de rack de altura, espaço para 24 discos rígidos (fator de forma 2,5). Muito espaço para expandir. Eu possivelmente começaria com 8 discos em uma configuração RAID 10. Várias gaiolas podem ser escravizadas umas às outras. Requer um controlador RAID SAS (como os Adaptecs mencionados acima).

4. Existe refrigeração a água para HDDs?

Sim, mas é totalmente irrelevante para o servidor. Isso é principalmente para criar um PC silencioso com refrigeração líquida total e querer se livrar do calor do HD sem ventilador.

Question 2

Retiro minha resposta original, pois confundi 125 Megabit com 125 Gigabit. Que vergonha.

Mas é claro que isso torna tudo um pouco mais fácil :)

Então, para suas perguntas:

Tipo de. Você pode obter um desempenho muito bom, o que deve ser mais que suficiente para este caso. Eu recomendaria usar tantos discos quanto possível e, possivelmente, um controlador de ataque de hardware. Isso permite, entre outras vantagens, fácil troca a quente de discos quebrados sem problemas do sistema operacional. E, a propósito, compre um gabinete com baias de unidade hotswap.
Isso depende principalmente do que você deseja fazer. Uma placa-mãe de nível de servidor com dois soquetes para CPUs de 4 núcleos e CPUs apropriadas deve funcionar apenas para armazenamento. Eu recomendaria muita RAM, no entanto, para ter um buffer para quando, por qualquer motivo, a gravação no disco parar por um curto período de tempo. Pense em pelo menos 16 ou 24 GB.
O tempo de acesso é importante neste cenário, então você deve optar por HDs de nível de servidor com pelo menos 10k RPM ou melhor, talvez até 15k. A capacidade depende de quanto tempo você deseja manter os dados (a 125Megabit/s total para o seu stream, você acaba com cerca de 50 GB/hora).
Por que refrigeração a água? Não conheço nenhum sistema que ofereça resfriamento a água para baias de unidade com troca a quente.

Answer

Retiro minha resposta original, pois confundi 125 Megabit com 125 Gigabit. Que vergonha.

Mas é claro que isso torna tudo um pouco mais fácil :)

Então, para suas perguntas:

Tipo de. Você pode obter um desempenho muito bom, o que deve ser mais que suficiente para este caso. Eu recomendaria usar tantos discos quanto possível e, possivelmente, um controlador de ataque de hardware. Isso permite, entre outras vantagens, fácil troca a quente de discos quebrados sem problemas do sistema operacional. E, a propósito, compre um gabinete com baias de unidade hotswap.
Isso depende principalmente do que você deseja fazer. Uma placa-mãe de nível de servidor com dois soquetes para CPUs de 4 núcleos e CPUs apropriadas deve funcionar apenas para armazenamento. Eu recomendaria muita RAM, no entanto, para ter um buffer para quando, por qualquer motivo, a gravação no disco parar por um curto período de tempo. Pense em pelo menos 16 ou 24 GB.
O tempo de acesso é importante neste cenário, então você deve optar por HDs de nível de servidor com pelo menos 10k RPM ou melhor, talvez até 15k. A capacidade depende de quanto tempo você deseja manter os dados (a 125Megabit/s total para o seu stream, você acaba com cerca de 50 GB/hora).
Por que refrigeração a água? Não conheço nenhum sistema que ofereça resfriamento a água para baias de unidade com troca a quente.

Question 3

Quanto tempo você tem para manter as gravações?

Você enviará aproximadamente 16 MB por segundo sustentado, ou cerca de 1,25 TB por dia.

Sua matriz de disco precisará ser grande, não muito rápida. Se o seu software de gravação armazenar um pouco em buffer, você não terá muitos iops. Posso ver facilmente um ataque de software Linux como você mencionou lidar com essa carga, especialmente se você fornecer alguns GB de RAM para buffer. Isso pressupõe um software decente.

Se você não estiver transcodificando o vídeo para um formato diferente, não precisará de muita CPU para isso, qualquer Intel/AMD moderno servirá. Você precisará de uma rede gigabit.

Omarcaé difícil de responder, eu conseguiria alguma redundância (raid5) e compraria discos SATA baratos de qualquer marca confiável.

Para resfriamento (e confiabilidade), eu compraria um chassi de servidor que abrigasse o número necessário de discos. O chassi fornecerá o fluxo de ar necessário para manter os discos resfriados. Com as informações atuais, vejo pouca necessidade de ir para o resfriamento a água.

Answer

Quanto tempo você tem para manter as gravações?

Você enviará aproximadamente 16 MB por segundo sustentado, ou cerca de 1,25 TB por dia.

Sua matriz de disco precisará ser grande, não muito rápida. Se o seu software de gravação armazenar um pouco em buffer, você não terá muitos iops. Posso ver facilmente um ataque de software Linux como você mencionou lidar com essa carga, especialmente se você fornecer alguns GB de RAM para buffer. Isso pressupõe um software decente.

Se você não estiver transcodificando o vídeo para um formato diferente, não precisará de muita CPU para isso, qualquer Intel/AMD moderno servirá. Você precisará de uma rede gigabit.

Omarcaé difícil de responder, eu conseguiria alguma redundância (raid5) e compraria discos SATA baratos de qualquer marca confiável.

Para resfriamento (e confiabilidade), eu compraria um chassi de servidor que abrigasse o número necessário de discos. O chassi fornecerá o fluxo de ar necessário para manter os discos resfriados. Com as informações atuais, vejo pouca necessidade de ir para o resfriamento a água.

Question 4

Sugiro perguntar a esses caras do MIT: http://www.media.mit.edu/cogmac/projects/hsp.html

No Projeto Human Speechome eles gravaram 3 anos com 11 câmeras de alta qualidade e 14 microfones em uma casa. Havia uma matriz de disco de 5 TB na casa com um cluster de 10 nós. Após a compactação, 300 GB acumulados a cada dia. Periodicamente, os dados eram transferidos para o farm de servidores do MIT por meio de unidades portáteis.

Você tem cerca de 100 vezes mais feeds de vídeo do que eles, mas eles ainda podem ter informações importantes que você provavelmente obterá por meio de uma rápida conversa por e-mail. Seu hardware tem mais de 5 anos e meio.

Aqui está uma palestra de 20 minutos do Ted sobre o projeto: http://www.ted.com/talks/deb_roy_the_birth_of_a_word.html (se tiver pouco tempo, vá até o ponto 1m 00s e observe por alguns minutos).

Publicação:http://www.media.mit.edu/cogmac/publications/cogsci06.pdf

Answer

Sugiro perguntar a esses caras do MIT: http://www.media.mit.edu/cogmac/projects/hsp.html

No Projeto Human Speechome eles gravaram 3 anos com 11 câmeras de alta qualidade e 14 microfones em uma casa. Havia uma matriz de disco de 5 TB na casa com um cluster de 10 nós. Após a compactação, 300 GB acumulados a cada dia. Periodicamente, os dados eram transferidos para o farm de servidores do MIT por meio de unidades portáteis.

Você tem cerca de 100 vezes mais feeds de vídeo do que eles, mas eles ainda podem ter informações importantes que você provavelmente obterá por meio de uma rápida conversa por e-mail. Seu hardware tem mais de 5 anos e meio.

Aqui está uma palestra de 20 minutos do Ted sobre o projeto: http://www.ted.com/talks/deb_roy_the_birth_of_a_word.html (se tiver pouco tempo, vá até o ponto 1m 00s e observe por alguns minutos).

Publicação:http://www.media.mit.edu/cogmac/publications/cogsci06.pdf

Sistema de armazenamento recomendado para servidor de streaming de vídeo

Responder1

Responder2

Responder3

Responder4

informação relacionada