IIS 클라우드 서비스 Azure 웹 사이트의 루트에 www.oursite.com/robots.txt로 이동할 때 올바르게 표시되지 않는 사용자 지정 robots.txt가 있습니다. 다음을 포함하는 "다른" robots.txt 파일이 표시됩니다.
User-agent: LinkChecker
Allow: /
User-agent: *
Disallow: /
우리는 다음을 시도했습니다.
1. 루트에서 robots.txt 파일 삭제 - 잘못된 robots.txt 파일이 계속 표시됩니다.
2. web.config에 URL 재작성 규칙을 추가하여 사용자 정의 robots.txt를 표시합니다. 한동안 올바른 robots.txt가 표시되었다가 다른 것으로 되돌아갑니다.
우리의 맞춤형 robots.txt를 밟고 있는 것이 무엇인지 아시나요?
답변1
유지 관리를 위해 IIS 관리 도구를 사용하는 경우 이미 덮어쓸 수 있는 자체 설정이 있을 수 있습니다. 적절한 위치에 구성하지 않은 경우 다음과 같습니다.
IIS 로봇 및 사이트맵 확장