Tengo un servidor de compilación Jenkins (Linux) y un agente (Windows) que crean grandes espacios de trabajo temporales que pueden tratarse efectivamente como cachés:
- Sería bueno si se mantuvieran
- se pueden restaurar si se pierden
- Si se pierden, los datos deberían faltar en lugar de estar dañados.
¿Existe un sistema de archivos que me permita sacrificar la persistencia de los datos por la velocidad, que aún me permita conservar los datos durante los reinicios, pero descarte los datos potencialmente afectados por apagados no limpios, idealmente con una granularidad de "directorio de nivel superior"?
Un escenario típico sería que esto se montara en el directorio que contiene los espacios de trabajo, de modo que cada trabajo cree un directorio de nivel superior. Mientras se ejecuta el trabajo, se leen y escriben varios archivos situados en lo más profundo de la jerarquía. Si la máquina falla mientras se ejecuta un trabajo y los archivos pueden estar en un estado inconsistente, se debe eliminar todo el directorio del trabajo durante la verificación del sistema de archivos, ya que se puede recrear fácilmente.
Respuesta1
No crea que encontrará lo que busca en un sistema de archivos.
Sin embargo, lo que podría hacer es, como último paso del trabajo (en un momento en el que desea guardar el caché), crear un archivo con un nombre coherente, /storage/jobID/job_completeo algo así. Al iniciar, si ese archivo no existe en un directorio de trabajo, rm -r el directorio de trabajo. Eso resuelve el problema del "trabajo a medio terminar".
Lo siguiente que quieres es velocidad. Es hora de considerar hardware nuevo como SSD o considerar implementar RAID 0. Si bien el 0 indica cuántos datos puede recuperar si una unidad muere, puede obtener una gran mejora en la velocidad tanto de escritura como de lectura. (El centro multimedia que apoyé en una universidad local utiliza RAID-1 para la captura de video en vivo antes de mover los archivos resultantes al almacenamiento SAN).