URLs in robot.txt mit bestimmten Parametern ignorieren?
Ich möchte, dass Google URLs wie diese ignoriert:
http://www.mydomain.com/new-printers?dir=asc&order=price&p=
Alle URLs mit den Parametern dir, order und price sollten ignoriert werden, aber ich habe keine Erfahrung mit Robots.txt.
Irgendeine Idee?
Hier ist eine Lösung, wenn Sie Abfragezeichenfolgen nicht zulassen möchten:
Disallow: /*?*
oder wenn Sie Ihre Abfragezeichenfolge präzisieren möchten:
Disallow: /*?dir=*&order=*&p=*
Sie können der robots.txt auch die URL hinzufügen, die zugelassen werden soll
Allow: /new-printer$
Das $ stellt sicher, dass nur die /new-printer Wird erlaubt sein.
Weitere Informationen:
http://code.google.com/web/controlcrawlindex/docs/robots_txt.html
http://sanzon.wordpress.com/2008/04/29/advanced-usage-of-robotstxt-w-querystrings/
Sie können diese spezifischen Abfragezeichenfolgenparameter mit den folgenden Zeilen blockieren
Disallow: /*?*dir=
Disallow: /*?*order=
Disallow: /*?*p=
Also, wenn eine URL enthält dir=, order=, oder p=überall in der Abfragezeichenfolge wird es blockiert.
Registrieren Sie Ihre Website bei Google WebMaster Tools. Dort können Sie Google mitteilen, wie mit Ihren Parametern umgegangen werden soll.
Site-Konfiguration -> URL-Parameter
Die Seiten, die diese Parameter enthalten, sollten anzeigen, dass sie von der Indizierung über das Robots-Meta-Tag ausgeschlossen werden sollen. z.B.