Welche Alternativen gibt es jetzt, da die Google-Websuche-API veraltet ist?
Die Google-Websuche-API ist veraltet und wurde durch die benutzerdefinierte Such-API ersetzt (siehe http://code.google.com/apis/websearch/ ).
Ich wollte das ganze Web durchsuchen, aber es sieht so aus, als ob mit der neuen API nur benutzerdefinierte Websites durchsucht werden können.
Gibt es eine Möglichkeit, das gesamte Web programmgesteuert zu durchsuchen? Ich konnte die alte API mit JSON von einem Java Programm aus abfragen.
Sie könnten sie einfach wie einen Browser durchschicken und dann den HTML-Code analysieren, das habe ich immer getan, auch für Dinge wie Youtube.
Ja, die benutzerdefinierte Suche von Google hat jetzt die alte Such-API ersetzt, aber Sie können verwenden weiterhin die benutzerdefinierte Suche von Google, um das gesamte Web zu durchsuchen , obwohl die Schritte im Setup der benutzerdefinierten Suche nicht offensichtlich sind.
So erstellen Sie eine benutzerdefinierte Google-Suchmaschine, die das gesamte Web durchsucht:
- Klicken Sie auf der Startseite der benutzerdefinierten Suche von Google ( http://www.google.com/cse/ ) auf Benutzerdefinierte Suchmaschine erstellen.
- Geben Sie einen Namen und eine Beschreibung für Ihre Suchmaschine ein.
- Geben Sie unter Definieren Sie Ihre Suchmaschine im Feld Zu durchsuchende Websites mindestens eine gültige URL ein.
- Wählen Sie die gewünschte CSE-Edition aus und akzeptieren Sie die Nutzungsbedingungen. Klicken Sie dann auf Weiter. Wählen Sie die gewünschte Layoutoption und klicken Sie dann auf Weiter.
- Klicken Sie auf einen der Links im Abschnitt Nächste Schritte, um zu Ihrem Steuerungsfeld zu navigieren.
- Klicken Sie im linken Menü unter Systemsteuerung auf Allgemein.
- Wählen Sie im Abschnitt Sucheinstellungen die Option Im gesamten Web suchen aus, betonen Sie jedoch die enthaltenen Websites.
- Klicken Sie auf Änderungen speichern.
- Klicken Sie im linken Menü unter Systemsteuerung auf Sites.
- Löschen Sie die Site, die Sie während des Ersteinrichtungsvorgangs eingegeben haben.
Jetzt durchsucht Ihre benutzerdefinierte Suchmaschine das gesamte Web.
Preise
- Mit der benutzerdefinierten Suche von Google erhalten Sie 100 Abfragen pro Tag kostenlos.
- Danach zahlen Sie 5 US-Dollar pro 1000 Abfragen.
- Es gibt maximal 10.000 Anfragen pro Tag.
Quelle: https://developers.google.com/custom-search/json-api/v1/overview#Pricing
- Die Suchqualität ist viel geringer als bei der normalen Google-Suche (keine Synonyme, "Intelligenz" usw.)
- Es scheint, dass Google sogar plant, diesen Dienst vollständig zu beenden.
Die benutzerdefinierte Suche von Google (wie in den am besten bewerteten Antworten empfohlen) funktioniert gut, ist jedoch im Vergleich zu den Konkurrenten (unten) oder anderen Google-APIs sehr teuer. Es hat eine kleine kostenlose Stufe (100 Abfragen/Tag) und einen sehr hohen Preis von 5 US-Dollar pro 1000 Abfragen.
Sie bieten die Möglichkeit, ein Upgrade auf Site Search durchzuführen, das etwas günstigere Preise bietet. Dies ist jedoch für die Suche auf einer Website (Ihrer eigenen) gedacht. Es handelt sich also wirklich um etwas ganz anderes - kein Upgrade.
Die Hauptalternativen scheinen zu sein:
Bing Search API
https://datamarket.Azure.com/dataset/5BA839F1-12CE-4CCE-BF57-A49D98D29A44
Mit einer kostenlosen Stufe von 5000q/Monat und Preisen ab 5 Abfragen pro Penny und ohne festes Limit.
UPDATE: Ende 2016 wurde diese API zugunsten ihres Azure-Gegenstücks "Cognitive Services Bing Search API" heruntergefahren:
https://Azure.Microsoft.com/en-us/services/cognitive-services/search/
Siehe hier für eine Preistabelle, die bei 1.000 Transaktionen bei 3 USD/Mio. beginnt. Es ist ziemlich teuer, es sei denn, ich vermisse etwas.
Yahoo BOSS Search API
UPDATE: Wurde am 31. März 2016 eingestellt. http://developer.yahoo.com/boss/search/
Mit Preisen ab ca. 12 Abfragen/Penny für die Suche im gesamten Web.
Und einige, von denen ich noch nie gehört habe:
http://www.gigablast.com/searchfeed.html
http://www.faroo.com/hp/api/api.html
http://www.entireweb.com/search_api/implementation/
[eingestellt - wie unten ausgeführt]
Einige davon werden in this SO post diskutiert.
[wurde geschlossen, weil sie nicht zum Thema gehört und ist jetzt weg]
Hier ist eine Option am unteren Rand des Kontrollfelds für die benutzerdefinierte Suche: "Zu durchsuchende Websites", Sie können "Das gesamte Web durchsuchen, aber eingeschlossene Websites hervorheben" auswählen
Faroo hat eine kostenlose Web-Such-API
Ich bin gerade auf Common Crawl gestoßen.
Könnte die Antwort sein, nach der wir alle suchen !!
Es gibt einen Hinweis oben auf dem docs :
Hinweis: Die Google Web Search-API wurde am 1. November 2010 offiziell als veraltet eingestuft. Sie funktioniert weiterhin gemäß unserer Verfallsrichtlinie , aber die Anzahl der Anfragen, die Sie pro Tag stellen können, ist begrenzt. Aus diesem Grund empfehlen wir Ihnen, auf die neue Custom Search API umzusteigen.
Die Verfallsrichtlinie besagt, dass die API 3 Jahre lang ausgeführt wird. Wenn Sie also bereits eine Anwendung haben, die die alte API verwendet, müssen Sie sich noch nicht beeilen, um Änderungen vorzunehmen. Wenn Sie eine neue Anwendung schreiben, verwenden Sie die Custom Search API . Siehe meine Antwort hier für die Vorgehensweise in Python, aber die Idee ist für jede Sprache gleich.
Es gibt eine kostenlose Java API namens JFreeWebSearch, die das bereits erwähnte Faroo verwendet: http://www.ke.tu-darmstadt.de/resources/jfreewebsearch
Sie können eine benutzerdefinierte Suchmaschine "überall" direkt auf der Startseite der benutzerdefinierten Suche von Google erstellen ( http://www.google.com/cse/ ). Klicken Sie einfach auf "Erweitert", während Sie eine neue Engine hinzufügen. Dort können Sie den Site-Typ Schema.org angeben. ' Thing ' ist der allgemeinste Typ, der das gesamte Web abdeckt.
Gigablast bietet eine günstige Websuch-API: http://www.gigablast.com/searchfeed.html