Considerações sobre o uso de GPU de classe de consumidor (alta tecnologia) no servidor?

Question

Motivação:

Em primeiro lugar, mesmo que eu tenha algum conhecimento de ciência da computação, desenvolvimento de software e administração de servidores Linux, nunca pesquisei um hardware de servidor e sou um total "novato" nisso. Desculpe se esta pergunta é trivial para a maioria de vocês.

Estou desenvolvendo um software com necessidades de computação bastante intensivas (ponto único), para chegar aos TFlops necessários, selecionei o framework OpenCL (2.1) e executei a maior parte da computação em uma placa gráfica AMD de consumo de ponta, usando a CPU principalmente para conduzir a GPU (sistema operacional Linux). Agora estou procurando estender isso para várias máquinas.

Olhando como organizar essas máquinas, ficou rapidamente evidente que as torres ATX padrão (de consumo) não são ideais: cada marca traz seu próprio formato de chassi, elas basicamente não podem ser empilhadas de maneira fácil e conveniente em um gabinete de 19", com bom fluxo de ar de refrigeração , APC partilhado, gestão de cabos, etc.

Com esse objetivo, comecei a procurar um gabinete rack com servidores e descobri que:

• GPUs projetadas para HPC como Instinct/Tesla custam uma ordem de magnitude a mais do que GPUs de consumo, principalmente para trazer ponto flutuante duplo que são "lentos" em dispositivos de consumo (e porque podem vender a esse preço para empresas).
• Mesmo com essas GPUs, é necessário um espaçador PCI-Express
• Servidores prontos para GPU permitem apenas placas gráficas de até 2 slots (as atuais GPUs de consumo de última geração geralmente têm 3 slots).
• Encontrei chassis ATX 3U ou 4U projetados para gabinetes de 19 ". Mas ei! Montar um desses com hardware de consumo excluiria ECC, vários APC, etc.

A questão:

O que considerar para comprar um servidor destinado a hospedar 1 ou 2 GPUs de consumo?

Já passei muito tempo pesquisando na internet e não consegui um entendimento básico sobre a questão, por exemplo, a seguir estão algumas idéias que me vêm à mente:

• É uma boa ideia ou até mesmo possível? Vários textos (páginas web) reclamam da dificuldade de fazer esses sistemas funcionarem juntos, incompatibilidades, problemas de driver, etc.
• Qualquer chassi de servidor 2U-3U pode conter uma placa gráfica de 3 slots? ou dois?
• Alguns servidores (por exemplo, Gigabyte Gxxx) são especialmente projetados para HPC com GPUs. Isso realmente traz alguma diferença em comparação aos servidores padrão (por exemplo) HPE Proliant, IBM..?
• A maioria dos servidores suporta PCI-express v4 x16 necessário para placas GPU de consumo?
• O fluxo de ar no gabinete do servidor é compatível com uma placa GPU de consumo (geralmente 3 aberturas de ventilação na parte inferior)?
• Algum problema com conexões de energia?

Answer 1

Usamos muitas GPUs em nossos servidores – mas há uma única regra a seguir;

Use apenas peças explicitamente suportadas pelo fabricante para o modelo exato do seu servidor.

Não quebre esta regra.