Ich habe eine Reihe von Servern, die verschiedene Programme für verschiedene Systeme erstellen.
Sobald ein Build abgeschlossen ist, wird es in einer einzelnen Datei archiviert und komprimiert. Anschließend md5sumwird eine Version der Datei erstellt. Ein Server kann mehrere verschiedene Versionen erstellen, was zu mehreren Archivdateien und archive.md5-Dateien führt.
Schließlich wird auf verschiedenen anderen Servern ein Skript ausgeführt, das die md5sumDateien aller Dateien überprüft, sie mit den lokalen md5sumDateien vergleicht und bei Abweichungen den aktualisierten Build herunterlädt und entpackt.
Aktuell md5sumerfolgt die Prüfung durch einen anschließenden MD5-Vergleich der einzelnen Builds.scp [email protected] /path/to/builds/*.md5 .
99 % der Laufzeit des Skripts sind das scp(obwohl es nur ein paar Sekunden dauert). Ich versuche, diesen Datentransfer so weit wie möglich zu optimieren. Die Anfrage kommt von Servern, die auf der Whitelist stehen (oder stehen können, wenn die Lösung einen eigenen Port hat), und die Daten selbst sind ohnehin bedeutungslos, sodass ich mir weder um Authentifizierung noch um Verschlüsselung Gedanken machen muss. Ich glaube, das scpwurde von meinem Vorgänger aus Bequemlichkeit verwendet, als es viel weniger Server, Versionen und Builds gab.
Ich habe vollen Root-Zugriff auf alle Server, also kann ich tun, was ich will. Was wäre der schnellste Weg, um die Daten vom Remote-Server abzurufen .md5? Es könnten entweder die Dateien selbst oder der Inhalt der Dateien sein (z. B. von cat /path/to/builds/*.md5).
Danke!
Antwort1
Die Optionen, die mir in den Sinn kommen, sind:
- Exportieren Sie das Verzeichnis mit den MD5-Dateien über NFS oder SMB (Samba) und mounten Sie es auf der Maschine, auf der Sie die Vergleiche durchführen.
- Führen Sie einen kleinen Webserver (z. B. lighttpd) aus, um die Dateien über HTTP bereitzustellen.
- Finden Sie heraus, wie Sie SCP schneller machen können. Es sollte nicht „ein paar Sekunden“ dauern, es sei denn, Sie haben DNS-Probleme oder aus irgendeinem Grund eine langsame Authentifizierung.
Dabei wird davon ausgegangen, dass Sie dies in einem lokalen Netzwerk und nicht über das Internet tun, da andernfalls zusätzliche Sicherheitsaspekte zu berücksichtigen sind, selbst wenn die Dateien „bedeutungslos“ sind.