Glusterfs distribuiu desempenho de pequenos arquivos replicados

Glusterfs distribuiu desempenho de pequenos arquivos replicados

Eu configurei 4 servidores replicados distribuídos com glusterfs sobre partições xfs em discos virtuais de servidor hyperv (vhdx dinâmico). As NICs são 6x1Gbit (equipadas em hyperv). Eu compartilho através do samba para clientes Windows. O problema que encontro é que tenho um desempenho muito ruim com muitos arquivos pequenos (leitura e gravação), quando há muitos arquivos de 10k tenho taxas de transferência em torno de 300kb (e no cliente nativo também não é muito mais rápido). Existe alguma solução para esse problema? Ou minha configuração está ruim? As transferências de arquivos grandes são boas (utilizando toda a largura de banda)

Responder1

Tentei usar o GlusterFS para implantação de aplicativos da web e compartilhamento de uma grande base de arquivos carregados pelo usuário entre vários servidores em um ponto. Passei provavelmente uns bons 4 meses tentando obter uma velocidade razoável, mas nunca consegui. Você pode ajustá-lo para um aumento de velocidade de cerca de 25-40% se realmente tentar, mas ainda não será rápido o suficiente.

Esqueci os detalhes técnicos exatos, mas o protocolo GlusterFS é muito detalhado, mesmo em sistemas somente leitura. Como Danila disse, é melhor usar o protocolo NFS através do gluster se quiser compartilhar pequenos arquivos. A grande desvantagem disso é o NFS.

Uma outra opção a ser observada é o Ceph. Está se desenvolvendo rapidamente e é bastante utilizável nos kernels mais recentes do Ubuntu.

Para ser honesto, eu recomendo abandonar um FS compartilhado, se puder. Você vai me agradecer mais tarde.

Responder2

O cliente FUSE nativo do GlusterFS é péssimo com grande quantidade de arquivos pequenos. Você pode tentar usar o NFS também com o GlusterFS. Além disso, não acho que as partições xfs ofereçam qualquer vantagem nesta configuração em relação ao EXT4 nativo. Você pode ler mais algumas informações neste artigo:

http://lwn.net/Articles/476263/

informação relacionada