wake-up-neo.com

robots.txt에서 상대 사이트 맵 URL을 사용할 수 있습니까?

Robots.txt에서 Sitemap 파일에 대해 다음과 같은 상대 URL을 쓸 수 있습니까?

sitemap: /sitemap.ashx

또는 다음과 같이 사이트 맵 파일의 전체 (절대) URL을 사용해야합니다.

sitemap: http://subdomain.domain.com/sitemap.ashx

왜 내가 궁금해하니?

  • 저는 새로운 블로그 서비스 인 www.domain.com을 소유하고 있습니다.이 블로그를 통해 사용자는 accountname.domain.com에 블로그를 올릴 수 있습니다.
  • 와일드 카드를 사용하므로 모든 하위 도메인 (계정)은 "blog.domain.com"을 가리 킵니다.

Blog.domain.com에서 검색 엔진이 사이트 맵을 찾을 수 있도록 robots.txt를 두었습니다. 그러나 와일드 카드로 인해 모든 사용자 계정이 동일한 robots.txt 파일을 공유합니다. 두 번째 대안을 사용할 수없는 이유는 무엇입니까? 그리고 지금은 txt 파일에 URL 재 작성을 사용할 수 없습니다. (나는 IIS의 이후 버전이 이것을 처리 할 수 ​​있다고 생각한다.)

177
Easyrider

공식에 따르면 sitemaps.org에 대한 문서 완전한 URL이어야합니다 :

Robots.txt 파일을 사용하여 Sitemap의 위치를 ​​지정할 수 있습니다. 이렇게하려면 사이트 맵에 전체 URL 을 포함하는 다음 줄을 추가하기 만하면됩니다.

Sitemap: http://www.example.com/sitemap.xml
304
unor

Google 크롤러는 똑똑하지 않고 상대 URL을 크롤링 할 수 없으므로 더 나은 크롤링 성과 색인 기능을 위해 절대 URL을 사용하는 것이 좋습니다.

따라서이 변형을 사용할 수 없습니다.

> sitemap: /sitemap.xml

추천 구문은

Sitemap: https://www.yourdomain.com/sitemap.xml

노트 :

  • "sitemap"의 첫 글자를 대문자로 쓰는 것을 잊지 마라.
  • "Sitemap :"뒤에 공백을 넣는 것을 잊지 마세요.
2
Deepak Mathur