Die Robots.txt liegt direkt im Wurzelverzeichnis einer Domain und ist die erste Datei, die eine Suchmaschine abruft, bevor sie eine Website durchsucht. In wenigen Zeilen legt sie fest, welche Verzeichnisse für automatische Besucher offen sind. Sie ist damit die Türsteherin für das Crawling.
Was in eine sinnvolle Robots.txt gehört
- Eine ausdrückliche Erlaubnis für die Bereiche, die gefunden werden sollen
- Ein Ausschluss für technische Pfade ohne Nutzen in der Suche, etwa interne Suchergebnisse
- Der Verweis auf die Sitemap, damit der Googlebot alle Seiten zügig findet
Sparsamkeit ist hier die bessere Haltung. Je weniger gesperrt wird, desto geringer die Gefahr, versehentlich etwas Wichtiges auszuschließen. Ein häufiger und teurer Fehler ist die Sperrung von Stilvorlagen oder Skripten, weil Google die Seite dann nicht so sieht wie ein Besucher und ihre Darstellung schlechter bewertet.
Der häufigste Irrtum
Viele halten die Robots.txt für ein Mittel, Seiten aus der Suche fernzuhalten. Das trifft nicht zu. Sie regelt nur den Abruf, nicht die Aufnahme in den Index. Eine gesperrte Seite kann durchaus in den Ergebnissen erscheinen, wenn andere Seiten auf sie verweisen – dann allerdings ohne aussagekräftige Beschreibung, weil der Inhalt nie gelesen wurde. Wer eine Seite zuverlässig aus der Indexierung heraushalten möchte, nutzt dafür die entsprechende Meta-Angabe im Seitenkopf und lässt den Abruf ausdrücklich zu.
Ebenso wenig ist die Datei ein Schutzmechanismus. Sie ist öffentlich einsehbar und wird von unerwünschten Zugriffen schlicht ignoriert. Vertrauliche Bereiche gehören hinter einen Passwortschutz, nicht in eine Ausschlussliste. Wie sich Sichtbarkeit gezielt steuern lässt, vertieft unser Ratgeber zu den Onpage-Stellschrauben.