Kann eine relative Sitemap-URL in einer robots.txt verwendet werden?
Kann ich in robots.txt die folgende relative URL für die Sitemap-Datei schreiben?
sitemap: /sitemap.ashx
Oder muss ich die vollständige (absolute) URL für die Sitemap-Datei verwenden, z.
sitemap: http://subdomain.domain.com/sitemap.ashx
Warum frage ich mich:
- Ich besitze einen neuen Blog-Service, www.domain.com, mit dem Benutzer auf accountname.domain.com bloggen können.
- Ich verwende Platzhalter, sodass alle Subdomains (Konten) auf "blog.domain.com" verweisen.
In blog.domain.com habe ich die robots.txt eingefügt, damit Suchmaschinen die Sitemap finden können. Aufgrund der Platzhalter haben jedoch alle Benutzerkonten dieselbe robots.txt-Datei. Deshalb kann ich die zweite Alternative nicht verwenden. Und im Moment kann ich keine URL-Umschreibung für TXT-Dateien verwenden. (Ich denke, dass spätere Versionen von IIS damit umgehen können?)
Laut der offiziellen Dokumentation auf sitemaps.org muss es eine vollständige URL sein:
Sie können den Speicherort der Sitemap mithilfe einer robots.txt-Datei angeben. Fügen Sie dazu einfach die folgende Zeile mit der vollständigen URL zur Sitemap hinzu:
Sitemap: http://www.example.com/sitemap.xml
Google-Crawler sind nicht schlau genug, sie können keine relativen URLs crawlen. Aus diesem Grund wird immer empfohlen, absolute URLs zu verwenden, um die Crawler- und Indexierbarkeit zu verbessern.
Daher können Sie diese Variante nicht verwenden
> sitemap: /sitemap.xml
Empfohlene Syntax ist
Sitemap: https://www.yourdomain.com/sitemap.xml
Hinweis:
- Vergessen Sie nicht, den ersten Buchstaben in "sitemap" groß zu schreiben
- Vergessen Sie nicht, nach "Sitemap:" ein Leerzeichen einzufügen.