https://wiki-de.moshellshocker.dns64.de/index.php?action=history&feed=atom&title=GooglebotGooglebot - Versionsgeschichte2026-05-26T05:48:46ZVersionsgeschichte dieser Seite in Wikipedia (Deutsch) – Lokale KopieMediaWiki 1.43.8https://wiki-de.moshellshocker.dns64.de/index.php?title=Googlebot&diff=339420&oldid=previmported>DerNiclas: /* growthexperiments-addlink-summary-summary:1|1|0 */2024-11-27T08:04:30Z<p><span class="autocomment">growthexperiments-addlink-summary-summary:1|1|0</span></p>
<p><b>Neue Seite</b></p><div>'''Googlebot''' ist ein [[Webcrawler]] des [[Vereinigte Staaten von Amerika|US-amerikanischen]] Unternehmens [[Google LLC]]. Das Computerprogramm lädt [[World Wide Web|World-Wide-Web]]-Inhalte eigenständig herunter und führt diese der herstellereigenen Suchmaschine ''[[Google]]'' zu.<br />
<br />
== Arbeitsweise ==<br />
Zwischen dem Herunterladen einer Dateiversion und der Aktualisierung des Suchmaschinen-[[Indexstruktur|Index]] mit ebendiesem Inhalt dieser neuen Version liegen üblicherweise einige Tage. Wie oft Googlebot eine Seite besucht, hängt unter anderem davon ab, wie viele externe Links auf diese Seite verweisen und wie hoch ihr ''[[PageRank]]''-Wert ist.<br />
In den meisten Fällen greift der Googlebot im Durchschnitt jedoch nur einmal alle paar Sekunden auf eine Website zu.<br />
<br />
Um die Zugriffe auf die zu indizierende Seite möglichst gering zu halten, wird zunächst jeder Crawlvorgang in einem von allen Googlebots genutzten [[Cache]] abgelegt. Wird eine Seite von mehreren Bots innerhalb eines bestimmten Zeitraumes besucht, kann die Anfrage somit aus dem Cache bedient werden.<ref>[http://www.dullest.com/blog/crawl-caching-proxy/ Matt Cutts: ''Crawl caching proxy''], 23. April 2006</ref><br />
<br />
Googlebot beachtet die Datei [[robots.txt]] und die Robots-Anweisungen in [[Hypertext Markup Language|HTML]]-[[Meta-Tag]]s. Zu beachten ist, dass es bei blockiertem [[Cascading Style Sheets|CSS]] oder [[JavaScript]] Missverständnisse beim Crawlvorgang geben kann und der Googlebot interpretiert die Webseite unter Umständen falsch.<br />
<br />
=== Dynamische Seiteninhalte ===<br />
Seiteninhalte, die nur hinter PHP-[[Session-ID|Sessions]] oder hinter Variablen enthalten sind, kann der Googlebot bislang nur schwer oder gar nicht indexieren. Dies liegt daran, dass dem Bot meist weder die nötigen Variablen, noch die zugehörigen Parameter bekannt sind. Google arbeitet gegenwärtig daran, den Webcrawler soweit anzupassen, dass er auch solche Inhalte erfassen kann, die bisher hinter mehreren AJAX-Requests verborgen bleiben. So sollen künftig auch solche Inhalte erfasst werden können, die eine Website dynamisch nachlädt. Geplant sei auch, dass der Webcrawler POST-Requests an eine Webseite schickt. Das Problem dabei ist, dass POST-Requests ungewollt Nutzeraktionen ausführen können.<ref>[http://googlewebmastercentral.blogspot.com/2011/11/get-post-and-safely-surfacing-more-of.html googlewebmastercentral.blogspot.com]</ref><br />
<br />
== Identifikation ==<br />
Googlebot identifiziert sich, je nach Aufgabe, unter anderem mit den folgenden [[User Agent|User-Agent-Kennungen]]:<br />
<br />
Googlebot/2.1 <nowiki>(+http://www.google.com/bot.html) Mozilla/5.0 (compatible); Googlebot/2.1; (+http://www.google.com/bot.html)</nowiki><br />
Googlebot-Image/1.0<br />
<br />
Ein weiterer Google-Crawler dient dazu, Seiten herunterzuladen, um passende Werbung im Rahmen des [[Google AdSense|Google-AdSense]]-Programms zu ermitteln. Er identifiziert sich wie folgt:<br />
<br />
Mediapartners-Google/2.1<br />
<br />
== Verifikation ==<br />
Manche Web-Benutzer und Crawler geben sich über diese Kennungen fälschlicherweise als Googlebot aus, in der Hoffnung, dass ein Site-Betreiber für Googlebot besonders gute oder werbefreie Inhalte bereitstellt.<br />
<br />
Um festzustellen, ob es sich bei einem Besucher tatsächlich um Googles Crawler handelt, empfiehlt Google die Verwendung des [[Domain Name System]]. Zunächst wird die [[IP-Adresse]] des Besuchers mittels einer [[Reverse DNS|inversen Anfrage]] in einen [[Domäne (Internet)|Domain-Namen]] übersetzt, der auf ''googlebot.com'' enden sollte. Anschließend überprüft man mit einer regulären DNS-Anfrage (forward lookup), ob man wieder die ursprüngliche IP-Adresse des Besuchers erhält.<ref>Matt Cutts: ''How to verify Googlebot''. 20. September 2006. Official Google Webmaster Central Blog, [http://googlewebmastercentral.blogspot.com/2006/09/how-to-verify-googlebot.html googlewebmastercentral.blogspot.com] abgerufen am 13. November 2006.</ref><br />
<br />
== Weblinks ==<br />
* [https://support.google.com/webmasters/answer/182072?hl=de Fragen und Antworten zum Googlebot]<br />
<br />
== Einzelnachweise ==<br />
<references /><br />
<br />
[[Kategorie:Google-Suche]]<br />
[[Kategorie:World Wide Web]]</div>imported>DerNiclas