Rendimiento de archivos pequeños replicados distribuidos de Glusterfs

Rendimiento de archivos pequeños replicados distribuidos de Glusterfs

He configurado 4 servidores replicados distribuidos con glusterfs encima de particiones xfs en discos virtuales del servidor Hyperv (vhdx dinámico). Las NIC son de 6x1 Gbit (unidas en Hyperv). Lo comparto a través de samba con clientes de Windows. El problema con el que me encuentro es que tengo un rendimiento realmente malo con muchos archivos pequeños (lectura y escritura), cuando hay muchos archivos de 10k tengo tasas de transferencia de alrededor de 300kb (y en el cliente nativo tampoco es mucho más rápido). ¿Hay alguna solución a ese problema? ¿O mi configuración es mala? Las transferencias de archivos grandes son buenas (utilizando todo el ancho de banda)

Respuesta1

Intenté usar GlusterFS para la implementación de aplicaciones web y compartir una gran base de archivos cargados por usuarios entre varios servidores en un momento dado. Probablemente pasé unos buenos 4 meses tratando de lograr una velocidad razonable, pero nunca pude. Puedes modificarlo para aumentar la velocidad entre un 25% y un 40% si realmente lo intentas, pero aún así no será lo suficientemente rápido.

Olvidé los detalles técnicos exactos, pero el protocolo GlusterFS es muy detallado, incluso en sistemas de solo lectura. Como dijo Danila, es mejor que utilices el protocolo NFS a través de gluster si quieres compartir archivos pequeños. La gran desventaja de esto es que es NFS.

Otra opción a considerar es Ceph. Se está desarrollando rápidamente y es bastante utilizable en los últimos kernels de Ubuntu.

Para ser honesto, recomendaría deshacerse de un FS compartido si es posible. Me lo agradecerás más tarde.

Respuesta2

El cliente FUSE nativo de GlusterFS es terrible con una gran cantidad de archivos pequeños. Puedes intentar usar NFS también con GlusterFS. Además, no creo que las particiones xfs le brinden ninguna ventaja en esta configuración sobre EXT4 nativo. Puedes leer más información en este artículo:

http://lwn.net/Articles/476263/

información relacionada