Wir haben robots.txt 404 nicht gefundene Seiten hinzugefügt, aber jetzt indiziert Google sie
Die Indexabdeckung lautet "Indiziert, obwohl durch robots.txt blockiert". Diese Seiten sind nicht mehr aktiv und geben den Status 404 zurück. Damit sie nicht gecrawlt und indiziert werden, haben unsere SEO-Mitarbeiter sie zu robots.txt hinzugefügt.
Ich persönlich bin der Meinung, dass wir das nicht tun sollten, da Google nicht gefundene Seiten automatisch aus dem Index entfernt. Daher sollten wir es Bot erlauben, auf die Seite zuzugreifen, anstatt über robots.txt zu blockieren
Bitte informieren Sie mich, wenn ich falsch liege.
Indizierung wird nicht verhindert, indem das Crawlen blockiert wird:
- Das Blockieren einer URL für das Crawlen bedeutet nicht, dass die URL nicht indiziert wird - sie könnte indiziert werden, und dies gilt insbesondere, wenn sie interne Links enthält. Das SERP -Snippet wäre dann eine nicht beschreibende "URL wird von Robotern blockiert".
- Indizierung UND Crawlen verhindern wird niemals funktionieren. Nur einer von beiden.
- Es ist absolut richtig, dass Ihr 404 im Index erscheint - weil es für das Crawlen gesperrt war.
- Bei 404 lohnt es sich, es nicht zu indizieren, sondern mit Robotern zu schließen.
Es kommt darauf an, was Ihr Ziel ist.
Wenn Sie möchten, dass die Seiten in den Suchergebnissen angezeigt werden, aber nicht mehr gecrawlt werden, weil sie nicht mehr aktiv sind, können Sie sie über robots.txt deaktivieren.
Wenn die Seiten nicht in den Suchergebnissen angezeigt werden sollen, sollten Sie dem Abschnitt <meta name="robots" content="noindex"> jeder einzelnen Seite, für die Suchmaschinen die Indizierung beenden sollen, einen <head> hinzufügen .
Wenn Sie das Crawlen über robots.txt blockieren, verhindern Sie, dass Crawler auf die Seiten zugreifen. Die Seiten werden jedoch weiterhin in den Suchergebnissen angezeigt.
Sie müssen der robots.txt-Datei Ihrer Website keine 404-Fehlerseiten hinzufügen. In der ersten Phase wurden diese Seiten von der Google-Suchmaschine indiziert, aber irgendwie sind die Links verschwunden oder Sie haben die URL-Permalinks geändert. Die Seiten sind noch im Cache der Suchmaschine vorhanden, aber die Links sind jetzt unterbrochen. Wenn jemand auf Ihre Seite/Ihren Beitrag in einer Suchmaschine klickt, wird er daher zur 404-Fehlerseite weitergeleitet. In diesem Fall müssen Sie nur diese URLs entfernen.
Öffnen Sie dazu die Google Search Console, öffnen Sie die zugehörige Eigenschaft und gehen Sie zu:
Crawl
i) Crawling-Fehler
ii) Kopieren Sie die 404-Seiten-URL
Google Index
iii) URLs entfernen
iv) Klicken Sie auf Vorübergehend ausblenden
v) Fügen Sie die URL ein und fahren Sie fort
Wählen Sie nun die erste Option "Seite vorübergehend aus den Suchergebnissen ausblenden und aus dem Cache entfernen" und klicken Sie auf "Anfrage senden".
Innerhalb von 24 Stunden ist das Problem behoben.