Rsync tarda en sincronizarse

Rsync tarda en sincronizarse

Estoy sincronizando dos unidades usando rsync (cygwin) usando el siguiente comando. rsync -a -H /cygdrive/e/ /cygdrive/d/ Tengo alrededor de 3 TB de datos y probablemente alrededor de 1 millón de archivos (incluidos) enlaces físicos. La primera vez, si no recuerdo mal, tardé entre 1 y 2 días en terminar. Si vuelvo a ejecutar este comando, tardará mucho incluso si no se actualiza nada. Tarda un par de horas... 12 horas. ¿No debería llevar esto mucho menos tiempo?

Respuesta1

Estás copiando entre dos ubicaciones en el mismo sistema. Esto desactiva el algoritmo delta y vuelve rsynca ser una implementación elegante de cp -a.

La -Hbandera hace rsyncque sea necesario mantener un registro de cada archivo con más de un enlace físico para poder reconstruir los enlaces físicos en el destino. Esto aumenta el uso de memoria (empíricamente, diría bastante), lo que a su vez puede imponer una mayor demanda a su sistema.

Finalmente, Cygwin rsynces considerablemente más lento que una implementación nativa de UNIX/Linux. No he determinado si esto se debe a que está usando una capa de compatibilidad encima de Windows o a que el sistema de archivos es más lento o incluso a algo completamente distinto. Pero es más lento para un conjunto de archivos idénticos en el mismo hardware.

Respuesta2

Esta no es una respuesta completa, pero creo que podría ser realmente valiosa para algunas personas atrapadas en la misma situación. Terminé haciendo mi rsync desde Linux y funcionó sin problemas. Si tiene este problema, intente al menos iniciar Ubuntu/CentOS o su distribución de Linux preferida, incluso desde un CD, y vea si funciona.

información relacionada