예로서 -http://aok.heavengames.com/cgi-bin/aokcgi/display.cgi?action=t&fn=22.
robots.txt 제한 사항을 극복할 수 있는 방법을 찾았지만, 그래도 아무 것도 읽을 수 없는 바이너리 파일만 다운로드할 뿐입니다.
답변1
wget --user-agent=Mozilla \
"http://aok.heavengames.com/cgi-bin/aokcgi/display.cgi?action=t&fn=22"
답변2
로부터wget 매뉴얼gnu.org에서
현재 수행 중인 작업을 알고 있고 실제로 로봇 제외를 끄고 싶다면 .wgetrc에서 robots 변수를 'off'로 설정하세요. -e 스위치(예: 'wget -e robots=off url...')를 사용하여 명령줄에서 동일한 효과를 얻을 수 있습니다.
답변3
다음을 사용하여 여러 번 시도한 후: --user-agent | 출력이 없고 출력의 16진수 덤프를 확인하여 robots=off를 수행합니다.
성공했습니다. 아래 예제를 사용하여 파일 출력을 HTML 형식으로 보냈습니다.
이 시도:
wget --user-agent=Mozilla \ -e robots=off "http://aok.heavengames.com/cgi-bin/aokcgi/display.cgi?action=t&fn=22" -O -O cgi-converted-to-htmlfile.html
참고로그만큼--user-agent=Mozilla \ -e 로봇=꺼짐 모두 같은 줄에 있어요
옵션-e 로봇=꺼짐 robots.txt 서버를 존중하지 않게 됩니다.
옵션-O cgi-converted-to-htmlfile.html 파일을 html 파일 형식으로 filename에 출력합니다.
cgi-변환-to-htmlfile.html
행운을 빕니다. 그것이 당신이 찾고 있는 것이기를 바랍니다.