나는하고 싶다공개적으로 액세스할 수 있는 Google Apps 사이트 만들기(즉, 사용자는 콘텐츠에 액세스하기 위해 인증을 받을 필요가 없습니다)Robots.txt를 사용한 정책 크롤러 및 봇 제외. 그 방법을 아는 사람이 있나요?
답변1
robots.txt는 대화형 브라우저의 사이트 사용을 방해하지 않습니다. 이는 크롤러, 피드리더, 재귀 다운로드 도구와 같은 로봇에서만 사용됩니다(후자는 사용자가 이를 무시할 수 있음).
robots.txt로 크롤러를 비활성화하면서 Google Apps 사이트에 공개적으로 액세스할 수 있도록 하시겠습니까?