Der Googlebot ist das automatische Programm, mit dem Google das Web durchsucht. Er besucht Webseiten, folgt ihren Links und erfasst die Inhalte, damit Google sie anschließend in seinen Suchindex aufnehmen kann. Der Vorgang wird als Crawling bezeichnet.
Nur was der Googlebot erreichen und verstehen kann, hat überhaupt die Chance, in den Suchergebnissen zu erscheinen. Eine klare Struktur, sinnvolle interne Verlinkung und eine Sitemap erleichtern ihm die Arbeit erheblich.
So unterstützen Sie den Googlebot
- Eine logische Seitenstruktur und saubere interne Links
- Eine aktuelle XML-Sitemap bereitstellen
- Wichtige Seiten nicht versehentlich vom Crawling ausschließen
- Schnelle Ladezeiten, damit mehr Seiten erfasst werden
Nach dem Crawling folgt die Indexierung, also die Aufnahme in den Suchindex.
Der Googlebot arbeitet sich über Verweise durch das Netz und ruft dabei Seite für Seite ab. Wie oft er vorbeischaut, hängt von der Größe einer Webseite und der Häufigkeit ihrer Änderungen ab. Eine Nachrichtenseite besucht er mehrmals täglich, eine kleine Unternehmensseite entsprechend seltener.
Erkennen lässt er sich an seiner Kennung im Serverprotokoll, die ihn als Googlebot ausweist. Google veröffentlicht dazu die Adressbereiche, aus denen er tatsächlich anfragt, sodass sich vorgetäuschte Zugriffe von echten unterscheiden lassen. Sein Besuch belastet den Server kaum, da Google die Abrufe von sich aus begrenzt.