En primer lugar, soy nuevo en el mundo de los discos, sólo conozco los conceptos básicos. Estoy intentando mejorar el rendimiento de un software con muchas E/S y necesito entender cómo funcionan mis discos SAS en términos de velocidad de lectura y escritura.
He realizado pruebas de lectura/escritura muy básicas y he notado lo que parece ser un "precipicio de escritura". Los discos tienen varios TB de capacidad de almacenamiento y la máquina a la que están conectados tiene 630 GB de RAM. Mis pruebas muestran que después de ~200 GB de escritura intensiva, la velocidad de escritura cae de ~2000 MBps a ~300 MBps.
Supongo que hay una especie de buffer o caché grande que se llena en algún momento y eso provoca la disminución de la velocidad de escritura. ¿Cómo funciona eso realmente? ¿Cómo puedo calcular el tamaño del mismo? ¿Es configurable?
Respuesta1
300 M/s es una velocidad de escritura perfectamente normal para una matriz SAS conectada directamente. Todo lo anterior es un artefacto del almacenamiento en caché del sistema operativo.
Es difícil saberlo sin saber qué hace su aplicación, pero en muchos casos usar la O_DIRECTbandera al abrir un archivo le dará un comportamiento más realista: hace que el sistema omita el caché y vaya directamente al controlador de disco, eliminando así los artefactos del caché. y el acantilado de escritura.
Por supuesto, esto tiene el costo de reducir el rendimiento de escritura al nivel real de su hardware de E/S, pero ese es exactamente el punto: no puede escribir más rápido de lo que permite su subsistema de disco de manera sostenible: el caché ayudará mucho con cargas de escritura en ráfagas pero no puede superar las limitaciones del hardware subyacente para siempre.