wake-up-neo.com

Was passiert, wenn ich versuche, ein Cookie auf einen Bot zu setzen?

Ich baue meine Website so auf, dass sie einige benutzeridentifizierende Cookies enthält. Wenn ein Besucher hereinkommt, setze ich ein Cookie mit einer eindeutigen Besucher-ID (einer Anleitung) und dem Datum und der Uhrzeit des Besuchs und speichere einen Besuchsdatensatz (einschließlich seines Benutzeragenten, Referers (falls vorhanden) usw. Ich plane, jeden Benutzer zu überprüfen, ob er das von mir gesetzte Cookie hat, und dann jedes Mal, wenn er vorbeikommt, einen Besuchsdatensatz zu erstellen, um festzustellen, ob er auf Links auf meiner Website klickt.

Die Site ist sehr, sehr neu (erst seit ungefähr einer Woche), aber ich habe meine Besucher in einem Textprotokoll verfolgt und sehe, dass ich Besucherbots anhand ihrer Benutzeragenten (den Google- und Bing-Bots) identifizieren kann. Crawler sind mit ein paar anderen vorbeigekommen.

Mir fällt ein, dass sie wahrscheinlich keine Cookies akzeptieren. Weiß das jemand genau? Oder sammeln sie zusätzlich zu den Site-Informationen auch Cookies?

7
Cyberherbalist

Die meisten Bots akzeptieren keine Cookies (einschließlich Googlebot), einige Bots jedoch.

Sie senden einen Set-Cookie -Header in der Antwort, aber der Bot sendet bei nachfolgenden Anforderungen keinen Cookie -Header zurück - daher geht das Cookie effektiv verloren. Ob Google überwacht, ob die Website Cookies setzt , wissen wir nicht genau, aber ich würde wetten, dass dies wahrscheinlich der Fall ist. Diese Informationen werden jedoch nicht in den Suchergebnissen verwendet.

Wenn der Googlebot Ihre Website besucht, ist das so, als hätten sie Ihre Website noch nie besucht. Dies gilt auch für echte Nutzer, die ihre Cookies deaktiviert haben.

Weiterführende Literatur: Hält Googlebot die Sitzung beim Crawlen aufrecht?


Eine Möglichkeit, um mit der Erzeugung einer eindeutigen Besucher-ID (Guid) umzugehen, besteht darin, ... wenn das Cookie nicht vorhanden ist (entweder ein neuer Benutzer oder das Cookie wurde aus irgendeinem Grund nicht festgelegt), zu versuchen, ein Cookie mit festzulegen Ihre echte Guid, aber verwenden Sie einen Hash des Benutzeragenten und die IP-Adresse als Guid für die aktuelle Anfrage (was von der real guid). Es ist nicht perfekt (es ist nicht ganz einzigartig), aber es ermöglicht Ihnen zumindest, die Bots einfacher zu verfolgen und es vermeidet vor allem, Tausende von unwirklichen Besuchern zu zählen (wenn Sie sich ausschließlich auf ein Cookie verlassen, um Besucher zu zählen).

6
MrWhite