Estoy configurando un pequeño clúster de Linux para mi laboratorio. Actualmente tenemos un nodo de inicio de sesión para enviar trabajos y 3 nodos computacionales, y están conectados mediante LAN Gigabit (lamentablemente no hay infiniband).
Al principio simplemente usé NFS para exportar almacenamiento compartido (carpeta de inicio) para los usuarios del clúster. Pero pronto descubrimos que NFS no funciona bien en condiciones de carga útil del mundo real.
Resultó que es muy común que los usuarios de mi clúster lean y escriban GB de archivos de imágenes pequeños (uno de ellos tiene <100 KB) en el almacenamiento compartido. NFS funciona muy mal para IO de archivos pequeños.
Tengo una prueba sencilla del rendimiento de NFS/CIFS/SSHFS para la escritura de archivos pequeños. Los tiempos para descomprimir 20000 archivos pequeños (aproximadamente 600 MB en total) en cada sistema de archivos son:
- CIFS: 25~30s
- SSHFS: 45~55s
- NFS(v3/v4): tan lento que no esperé (la estimación es 10 minutos)
CIFS/SSHFS funciona muy bien en comparación con NFS. Pero no es una práctica general usar CIFS/SSHFS para las carpetas de inicio de Linux en un escenario de clúster de computadoras (y CIFS no es un sistema de archivos compatible con posix, AFAIK).
¿Cuál es su opinión sobre la elección de un sistema de archivos de red para carga útil de archivos pequeños? ¿Debo reemplazar NFS con otros sistemas de archivos distribuidos o en clúster? ¿O hay alguna manera de optimizar NFS para archivos pequeños?
Respuesta1
Si tuviera una configuración lo suficientemente grande, habría recomendado IBM Spectrum Scale (anteriormente GPFS), pero dada la escala de sus operaciones, le sugiero que opte por ZFS con un toque diferente: establezca un tiempo en desactivado. Si realmente no le interesa registrar el tiempo de acceso a los archivos, ZFS funcionará bastante bien en su escenario.