35GB 데이터 압축 데이터를 로컬에서 원격 서버로 전송하는 방법은 무엇입니까?

35GB 데이터 압축 데이터를 로컬에서 원격 서버로 전송하는 방법은 무엇입니까?

내 노트북에서 원격 서버로 35GB 압축(7zip 사용) 데이터를 전송하는 가장 빠른 방법을 제안해주세요. 명령어도 올려주세요. SCP를 사용했는데 속도가 너무 느리고 rsync가 더 좋지만 속도가 대략 1MB/분이므로 시간이 매우 오래 걸릴 수 있습니다. 더 좋은 방법이 있나요?

답변1

ftp와 http가 가장 빠르며, ftp는 적은 수의 대용량 파일에 대해 더 빠르고, http는 더 많은 수의 작은 파일에 대해 더 빠릅니다(http 트래픽의 특성을 고려하면 놀랄 일이 아닙니다).

보다https://stackoverflow.com/questions/9707900/what-is-the-fastest-way-to-transfer-files-over-a-network-ftp-http-rsync-etc

추가 벤치마크 -https://www.disk91.com/2014/technology/networks/compare-performance-of- Different-file-transfer-protocol-over-latency/

참고: 인터넷 제공업체에 따라 업로드 속도가 제한될 수 있습니다. 제공업체가 속도나 데이터 한도를 부과하는 경우에는 문제가 되지 않을 수 있습니다.

다른 방법도 사용할 수 있습니다.http://moo.nac.uci.edu/~hjm/HOWTO_move_data.html

답변2

35GiB는 1MB/분(17kB/s) 속도로 약 25일이 소요됩니다. 시간이 오래 걸리기 때문에 쉽게 재개할 수 있는 방법에 집중하겠습니다. 이것은 내가 아는 한 scp를 배제하고 다음 후보를 조사합니다.

단일 파일을 제공하기 위해 웹서버를 설정하는 것은 매우 쉽습니다. 표준 Ubuntu 설치는 컴퓨터가 인터넷에서 접근할 수 있는 한 어떤 구성 없이도 이를 수행할 수 있습니다. 파일을 /var/www/html/여기에 넣거나 링크하기만 하면 됩니다.

wget -c http://example.com/file.tar중단된 경우 다운로드를 재개하는 데 사용됩니다 . 이것은 매우 안정적으로 작동합니다. 일회성이므로 SSL 인증서에 신경쓰지 마세요. 보안과 무결성이 걱정된다면 데이터를 암호화하고 서명하세요.

Rsync는 SSH를 통해 전송되므로 안전합니다. 원활한 연속성을 지원합니다. 이력서를 지원하고 걱정없이 파일을 전송해야 합니다.rsync -P localfile [email protected]:remotefile

하지만 25일은 긴 시간이다. 드라이브를 USB 드라이브에 복사하여 메일로 더 빠르게 보낼 수 있습니다. 64GiB USB 드라이브는 약 20USD에 구입할 수 있습니다. DHL로 보내면 3~4일 안에 거의 모든 곳으로 배송됩니다.

간단히 말해서, 이 정도의 데이터 양과 현재 보고 있는 연결 속도를 고려한 가장 빠른 옵션은 아마도 외장 드라이브에 저장하여 메일로 보내는 것일 것입니다.

아니면 연결이 괜찮은 곳으로 가십시오. 100Mb/s 연결에서 35GiB는 1시간 미만이 소요됩니다.

파일을 암호화하고 서명하려면 gpg를 사용할 수 있습니다. 키 쌍을 설정하고 파일을 암호화한 후 서명하세요. 원격 끝에서 서명을 확인하고 해독합니다. 이는 메일이나 http와 같은 신뢰할 수 없는 채널을 통해 전송할 때 보안과 무결성을 보장합니다. rsync를 사용하면 ssh가 이를 처리해 줍니다.

답변3

Panther가 언급했듯이 FTP또는 와 같은 암호화되지 않은 옵션이 HTTP가장 빠릅니다. 하지만 인터넷에 공개하고 싶지 않은 것이 있다면 암호화된 방법을 사용하는 것이 좋습니다. 간단한 PHP 로그인 페이지 만들기(if 문 사용), HTTPS용 설치 및 구성, 자신만 액세스할 수 있는 다운로드 링크 등을 시도해 볼 수 nginx있습니다 apache. HTTPS는 압축을 사용하므로 속도가 빨라야 하며, axel다중 연결을 사용하여 해당 파일을 설치하는 등의 프로그램을 사용할 수 있습니다.

인터넷 연결이 CPU가 아니라 병목 현상이라고 가정할 때 가장 간단한 대답은 플래그를 사용하여 압축을 활성화하는 것입니다 SFTP. -C이미 압축했으므로 추가로 압축할 수 있는 양은 다소 적습니다. 가장 쉬운 방법은 보다 효율적인 방법으로 파일을 다시 압축하는 것입니다.

관련 정보