Crawling bezeichnet den Vorgang, bei dem Suchmaschinen das Web systematisch durchsuchen. Ein spezielles Programm, der sogenannte Crawler, folgt dabei den Links von Seite zu Seite und liest deren Inhalte ein. Bei Google übernimmt der Googlebot die Aufgabe.
Erst was gecrawlt wird, kann anschließend in den Index aufgenommen und in den Ergebnissen angezeigt werden. Crawling bildet damit die Voraussetzung für jede Sichtbarkeit.
So unterstützen Sie das Crawling
- Eine klare Seitenstruktur mit sinnvoller interner Verlinkung
- Eine aktuelle XML-Sitemap als Wegweiser
- Schnelle Ladezeiten, damit der Crawler viele Seiten erfasst
Das Crawling durch den Googlebot ist die Voraussetzung für die Indexierung. Eine gepflegte Sitemap hilft dabei, dass alle wichtigen Seiten zuverlässig gefunden werden.
Was den Ablauf steuert
Über die robots.txt lässt sich festlegen, welche Bereiche einer Website abgerufen werden dürfen. Eine dort gesperrte Seite ruft der Googlebot gar nicht erst auf, weshalb er dort auch keine Anweisungen liest.
Den Umfang begrenzt Google von sich aus, um Server nicht zu überlasten. Bei großen Websites entscheidet daher die interne Verlinkung mit darüber, welche Seiten regelmäßig besucht werden und welche seltener an die Reihe kommen. Das Serverprotokoll weist aus, welche Bereiche tatsächlich abgerufen wurden.