☰

HTTP를 사용하여 대용량 파일 다운로드

tag-icon • tag-icon data-recovery download tcp gzip
HTTP를 사용하여 대용량 파일 다운로드

다운로드 중이에요플레이스넷장소 이미지의 압축 데이터베이스(~132GiB) 불행하게도 다운로드한 파일이 손상되었습니다. 추출이 다른 위치에서 중지될 때마다 여러 번 시도했습니다(대략 오프셋은 10GiB, 30GiB 등이 될 수 있음).플레이스넷다운로드를 위한 분할 버전을 제공하지 않습니다. 문제는 다운로드한 파일의 일부 바이트여야 합니다. 전체 파일을 다시 다운로드하지 않으려면 어떻게 해야 합니까?

내 아이디어는 다음과 같습니다

  1. 향상된 데이터그램 체크섬을 위한 TCP 확장이 있습니까? 그리고 그것을 사용하는 방법?

  2. 다음과 같은 경우 첫 번째 오류 바이트에 대한 오프셋(대략)을 볼 수 있습니까?총집합핑?

  3. 나는 사용하고있다악셀다운로드. 다운로드가 완료되면 파일의 일부를 다시 다운로드할 수 있나요? 즉, XXX.staxel용 파일을 생성하고 일부 범위를 다운로드되지 않은 것으로 표시한 다음 axel을 다시 실행하십시오.

답변1

즉, FUSE 래퍼를 사용하여 HTTP를 통해 원격 파일을 "마운트"하고 표준 도구를 호출하는 등 다른 접근 방식을 시도해 볼 수 있습니다. 도구는 특정 바이트를 읽으려고 시도하며 이러한 시도는 HTTP 바이트 범위 GET 요청으로 변환됩니다.

이것은 StackOverflow에서 논의되었습니다.이 훌륭한 답변~에 의해아담사용하는HTTPFS:

원격 zip 파일을 마운트하고 여기에서 파일 하나를 추출합니다.

mkdir mount_pt
sudo ./httpfs http://server.com/zipfile.zip mount_pt
sudo ls mount_pt zipfile.zip
sudo unzip -p mount_pt/zipfile.zip the_file_I_want.txt > the_file_I_want.txt
sudo umount mount_pt

귀하의 경우, 파일이 ZIP 파일이 아니라 tar.gz파일(제공한 링크에 등록이 필요하기 때문에 확인할 수 없음)인 경우 다음 단계를 조정할 수 있습니다.

mkdir mount_pt
sudo ./httpfs http://example.com/file.tar.gz mount_pt
sudo tar xzvf mount_pt/file.tar.gz

또는 file-roller아카이브에 있는 다른 GUI 도구를 호출할 수도 있습니다.

관련 정보