/?q=search/는 =search/로 끝나는 검색 웹사이트를 웹 스크래핑할 수 없다는 뜻인가요? =0#search 로 끝나는 URL을 스크랩할 수 있나요?
답변1
우선 로봇이다.에스.txt. 다음으로, 거기에 무언가를 제공한다고 해서 마술처럼 "검색을 웹에서 스크랩할 수 없다"는 의미는 아닙니다. 로봇이 따라야 할 명령일 뿐입니다. 그러나 원하는 경우 해당 URL을 가져오는 것을 막을 수는 없습니다(예: 일부 악성 웹 가져오기 프로그램 및 스크립트는 robots.txt를 무시하거나 심지어 보호하려는 정보를 가져오기 위해 해당 정보를 사용할 수도 있습니다).
귀하의 질문에 대답하면 robots.txt로 앵커를 지정할 수 없습니다. 이에 대한 답변은 다음과 같습니다.https://stackoverflow.com/questions/53676849/robots-txt-handling-a-in-a-url
robots.txt에 Disallow 지시문을 지정하는 것 외에도 위치가 포함되지 않습니다. 이는 URL의 어느 위치에서나 부분 문자열 일치일 뿐입니다.