Digamos que estoy alojando servidores donde los usuarios colocan archivos y, al final del día, todos estos archivos se recuperan en un servidor de almacenamiento.
El problema es que muchos de esos archivos estarán duplicados y quiero evitar tener que copiar 10 veces los mismos archivos.
Estaba pensando en obtener un hash para cada archivo que transita para asegurarme de que cada uno sea único, pero tal vez haya mejores soluciones.
Respuesta1
Una opción es separar esto en 2 tareas.
Primero, busque los archivos duplicados en la máquina de origen y cree enlaces simbólicos, accesos directos o algo similar para que los duplicados estén representados pero no consuman espacio en el disco. Una opción que he encontrado que funciona muy bien para encontrar duplicados esun script Python bien ajustadoen lo. Es posible que sea necesario modificarlo para su caso de uso.
El segundo paso, por supuesto, es copiar los archivos a la otra máquina de manera que conserve el enlace simbólico o los enlaces de acceso directo.