¿Es cierto que la implementación rsync predeterminada de Synology DSM 4.3 no es capaz de manejar "grandes" cantidades de datos y podría estropear el control de versiones/deduplicación? ¿Podría ser que alguna de las variables (verinformación detalladaa continuación) ¿podría hacer esto mucho más difícil?
Editar: No busco nada más que una respuesta si las afirmaciones anteriores no tienen sentido o podrían ser ciertas.
Información detallada:
En el trabajo, tenemos un Synology NAS ejecutándose en la oficina. Este NAS lo utilizan algunos diseñadores desde donde trabajan directamente. Tienen proyectos en ejecución que consisten en fotografías de archivo de alta resolución, PSD de gran tamaño, PDF y demás. Tenemos una carpeta que mide aprox. 430 GB de tamaño que solo consta de los proyectos actualmente en ejecución. Se supone que esta carpeta debe ser respaldada en un centro de datos, semanalmente a través de nuestra conexión a Internet.
Toda nuestra TI está siendo manejada por un tercero, que afirma que nuestra copia de seguridad está comenzando a alcanzar un cierto tamaño ("100 GB+") donde la implementación predeterminada de DSM (4.3) rsync no puede manejar la gran cantidad de datos a la copia de seguridad en línea (en una de sus máquinas en su centro de datos). Dicen que la copia de seguridad consta de aproximadamente 10 TB de datos porque rsync tiene problemas con el "control de versiones/deduplicación" (retención: 30 días) y se vuelve loco.
Debido a esto, sugieren utilizar un "servicio de respaldo en línea profesional", lo que aumenta significativamente nuestros costos por GB para el respaldo en línea.
Respuesta1
Rsync en sí mismono se ahoga con archivos de gran tamañoo "demasiados" archivos. Dependiendo de su situación, podría ser (pero es poco probable) que el trabajo de rsync de cada semana tarde más de 1 semana en completarse, lo que provoca que comience un nuevo trabajo de rsync antes de que finalice el trabajo de rsync anterior.
Es de conocimiento común entre la gente de TI que transferir toneladas de archivos pequeños lleva mucho más tiempo que transferir unos pocos archivos muy grandes en igualdad de condiciones (misma velocidad de Internet, misma velocidad).cantidadde datos, etc... Echa un vistazo a esto ("Transferir millones de imágenes") como una discusión de ejemplo sobre Stack Overflow, además de esto ("¿Qué es más rápido y por qué: transferir varios archivos pequeños o pocos archivos grandes?") como una discusión de ejemplo aquí en Serverfault.
Entonces, el problema puede ser que deba comprimir los archivos/carpetas antes de ejecutar rsync y luego copiar el archivo comprimido a su centro de datos externo. De todos modos, eso le ahorraría costos de almacenamiento de datos fuera del sitio, aunque abre otra lata de gusanos.
Su primer paso sería, por supuesto, calcular cuánto tiempo tarda en ejecutarse el trabajo rsync. Luego, averigüe si necesita cambiar su metodología de respaldo, ya sea comprimiendo los datos de antemano o cambiando a una solución de respaldo alternativa.
Por cierto, en el momento de esta publicación, Synology DSM 5.1 es la última versión y 5.2 está en versión beta. Debe actualizar a DSM 5.1 si aún no lo ha hecho. Seguramente esto no perjudicaría su situación.