Crawling bezeichnet den Vorgang, bei dem Suchmaschinen das Web systematisch durchsuchen. Ein spezielles Programm, der sogenannte Crawler, folgt dabei den Links von Seite zu Seite und liest deren Inhalte ein. Bei Google übernimmt diese Aufgabe der Googlebot.
Erst was gecrawlt wird, kann anschließend in den Index aufgenommen und in den Ergebnissen angezeigt werden. Crawling ist damit der erste Schritt auf dem Weg zur Sichtbarkeit.
So unterstützen Sie das Crawling
- Eine klare Seitenstruktur mit sinnvoller interner Verlinkung
- Eine aktuelle XML-Sitemap als Wegweiser
- Schnelle Ladezeiten, damit der Crawler viele Seiten erfasst
Das Crawling durch den Googlebot ist die Voraussetzung für die Indexierung. Eine gepflegte Sitemap hilft dabei, dass alle wichtigen Seiten zuverlässig gefunden werden.