☰

Google 웹 크롤러가 내 WordPress 게시물을 찾을 수 없습니다.

tag-icon • tag-icon website wordpress google web-crawler
Google 웹 크롤러가 내 WordPress 게시물을 찾을 수 없습니다.

내 서버에는 다음과 같은 URL에 중국어 문자가 포함된 영구 링크를 사용하는 WordPress 블로그가 있습니다.http://techblog.zellux.czm.cn/2008/03/ics-lab4-%E7%BB%8F%E9%AA%8C/.

몇 달 전에 나는 다음과 같은 영어 설명으로 모든 URL을 변경했습니다.http://techblog.zellux.czm.cn/2009/05/page-coloring/, 자동으로 생성된 sitemap.xml을 위한 플러그인을 설치하고 이를 Google 웹마스터 도구에 제출했습니다.

몇 달 후 Google 웹마스터 도구를 다시 확인해 보니 진단->웹 크롤링에서 41개의 URL을 찾을 수 없다고 하더군요. 모든 URL에는 이전과 같은 한자의 유니코드가 포함되어 있었습니다.링크 출처칼럼 그들은 모두였다없는. 사이트맵->사이트맵 세부정보에 관해서는 115개 URL 중 15개만 색인이 생성되었다고 합니다.

그렇다면 내 문제는 Google이 더 이상 사용되지 않는 URL을 크롤링하는 것을 중단하고 sitemap.xml에 지정된 URL만 크롤링하도록 하는 방법입니다.

답변1

robots.txt 파일을 사용하여 지정된 페이지를 크롤링에서 제외할 수 있습니다. 다음과 같이 보일 것입니다:

User-Agent: Googlebot
Disallow: /file-1
Disallow: /file-2
Disallow: /file-3

텍스트 편집기에서 이를 생성하고 루트 디렉터리에 업로드합니다(또는 기존 robots.txt 파일이 있는 경우 편집).

웹마스터 도구에는 robots.txt 파일을 생성하는 도구도 있습니다(도구 > robots.txt 생성).

관련 정보