Tengo un montón de servidores que crean varios programas diferentes para varios sistemas diferentes.
Una vez que se completa una compilación, se archiva en un solo archivo y se comprime, luego md5sumse crea un archivo. Un servidor puede crear varias versiones diferentes, lo que da como resultado varios archivos de almacenamiento y archivos archive.md5.
Finalmente, se ejecuta un script en varios otros servidores que verifica los md5sumcorreos electrónicos de cada archivo, los compara con los md5sumcorreos electrónicos locales y, si son diferentes, descarga y descomprime la compilación actualizada.
Actualmente, la md5sumverificación se realiza seguida de una comparación de los md5 para cada compilación.scp [email protected] /path/to/builds/*.md5 .
El 99% del tiempo de ejecución del script es scp(aunque solo toma unos segundos). Estoy buscando optimizar esa transferencia de datos tanto como sea posible. La solicitud proviene de servidores que están en la lista blanca (o pueden estarlo, si la solución tiene su propio puerto), y los datos en sí no tienen sentido de todos modos, por lo que no necesito preocuparme ni por la autenticación ni por el cifrado. Creo que scpmi predecesor lo usó por conveniencia cuando había muchos menos servidores, versiones y compilaciones.
Tengo acceso root completo a todos los servidores, así que puedo hacer lo que quiera. ¿Cuál sería la forma más rápida de obtener los .md5datos del servidor remoto? Podrían ser los archivos mismos o el contenido de los archivos (por ejemplo, de cat /path/to/builds/*.md5).
¡Gracias!
Respuesta1
Las opciones que me vienen a la mente son:
- Exporte el directorio con los archivos MD5 a través de NFS o SMB (Samba) y móntelo en cualquier máquina en la que esté haciendo las comparaciones.
- Ejecute un pequeño servidor web, por ejemplo, lighttpd, para servir los archivos a través de HTTP.
- Descubra cómo hacer que SCP sea más rápido: no debería tomar "unos segundos" a menos que tenga problemas de DNS o una autenticación lenta por algún motivo.
Estos suponen que está haciendo esto en una red local y no a través de Internet; de lo contrario, existen consideraciones de seguridad adicionales incluso si los archivos "no tienen sentido".