← Zurück zum Glossar

Glossar

Googlebot

Der Googlebot ist das automatische Programm, mit dem Google das Web durchsucht. Er besucht Webseiten, folgt ihren Links und erfasst die Inhalte, damit Google sie anschließend in seinen Suchindex aufnehmen kann. Der Vorgang wird als Crawling bezeichnet.

Nur was der Googlebot erreichen und verstehen kann, hat überhaupt die Chance, in den Suchergebnissen zu erscheinen. Eine klare Struktur, sinnvolle interne Verlinkung und eine Sitemap erleichtern ihm die Arbeit erheblich.

So unterstützen Sie den Googlebot

  • Eine logische Seitenstruktur und saubere interne Links
  • Eine aktuelle XML-Sitemap bereitstellen
  • Wichtige Seiten nicht versehentlich vom Crawling ausschließen
  • Schnelle Ladezeiten, damit mehr Seiten erfasst werden

Nach dem Crawling folgt die Indexierung, also die Aufnahme in den Suchindex.

Der Googlebot arbeitet sich über Verweise durch das Netz und ruft dabei Seite für Seite ab. Wie oft er vorbeischaut, hängt von der Größe einer Webseite und der Häufigkeit ihrer Änderungen ab. Eine Nachrichtenseite besucht er mehrmals täglich, eine kleine Unternehmensseite entsprechend seltener.

Erkennen lässt er sich an seiner Kennung im Serverprotokoll, die ihn als Googlebot ausweist. Google veröffentlicht dazu die Adressbereiche, aus denen er tatsächlich anfragt, sodass sich vorgetäuschte Zugriffe von echten unterscheiden lassen. Sein Besuch belastet den Server kaum, da Google die Abrufe von sich aus begrenzt.

Googlebot für Smartphone und Desktop

Hinter dem Namen Googlebot stehen zwei Crawler, von denen einer die Nutzung auf dem Smartphone und der andere die Nutzung am Computer nachbildet. Da Google bei den meisten Webseiten vorrangig die mobile Fassung indexiert, stammt der Großteil der Abrufe nach dem Prinzip Mobile First vom Googlebot für Smartphones. In der Robots.txt gilt für Smartphone- und Desktop-Crawler dieselbe Kennung Googlebot, über die Sie die Crawler stets gemeinsam ansprechen. Von einer HTML-Datei liest der Googlebot die ersten 2 MB in unkomprimierter Form und lädt eingebundene Dateien wie CSS und JavaScript jeweils einzeln mit derselben Grenze nach. Bei sehr umfangreichen Seiten ist es deshalb ratsam, wichtige Inhalte weit oben im Quelltext zu platzieren, weil Google nur den bis zur Grenze geladenen Teil verarbeitet.

Crawling oder Indexierung verhindern

Crawling und Indexierung sind getrennte Schritte, und auch eine für das Crawling gesperrte Adresse kann in den Suchergebnissen erscheinen. Den Abruf einer Seite unterbinden Sie in der Robots.txt, während eine Seite mit der Angabe Noindex zwar abgerufen, aber vom Index ausgeschlossen wird. Für Entwürfe oder interne Seiten ohne jeden öffentlichen Zugang empfiehlt Google einen Passwortschutz. Eine Sperre des Googlebot wirkt sich auf die Google-Suche samt Discover ebenso aus wie auf Google Bilder, Google Video und Google News. Da sich andere Programme häufig als Googlebot ausgeben, prüfen Sie vor einer Sperre am besten per umgekehrter DNS-Abfrage, ob ein Zugriff tatsächlich von Google stammt.

Kontakt

Fragen zu diesem Begriff?

Sie möchten mehr darüber erfahren oder ein Projekt besprechen? Nehmen Sie ganz unverbindlich Kontakt mit uns auf. Wir melden uns innerhalb von 24 Stunden bei Ihnen.

Projekt anfragen kontakt@early-webdesign.de