Передача больших файлов с помощью scp с учетом нагрузки на процессор и память

Question

Я хочу передать произвольно большой файл (скажем >20 ГБ) между двумя серверами. У меня есть несколько соображений:

• Необходимо использовать порт 22 (ssh) из-за ограничений брандмауэра.

• Невозможно нагружать ЦП (рабочий сервер)

• Эффективность памяти

• Предпочел бы проверку контрольной суммы, но это можно сделать вручную.

• Времянетсущности

Я был бы признателен за ответ по нескольким сценариям:

1. Сервер A и сервер B находятся в одной частной сети (используют один коммутатор), и безопасность данных не вызывает беспокойства.

2. Сервер A и сервер B не находятся в одной сети, и передача данных будет осуществляться через общедоступный Интернет, что обеспечивает безопасность данных.являетсябеспокойство

Моя первая мысль была использоватьхорошийнаscpкоманда с неинтенсивным использованием процессора шифром (blowfish?). Но я подумал, что обращусь к сообществу SU за рекомендациями.

Answer 1

scp должен работать нормально. В интернет-среде общая скорость обычно будет определяться сетью, а не шифрованием, выполняемым программой scp. В частной сети ваш план использовать blowfish, чтобы немного снизить нагрузку на ЦП, хорош. Лично я бы не использовал команду nice, если только загрузка ЦП на вашем производственном компьютере уже не высока. Большинство серверов ограничены вводом-выводом, а не ЦП, но вы знаете свою систему лучше меня. И обязательно сделайте контрольную сумму md5 или sha256 для результата.