Das X-Robots-Tag ist eine Anweisung, die eine Website im HTTP-Header einer Datei mitschickt. Damit lässt sich Suchmaschinen mitteilen, wie sie mit einer bestimmten Datei umgehen sollen – etwa ob sie sie in den Index aufnehmen oder den Links auf der Seite folgen sollen.
Der Vorteil
Eine entsprechende Anweisung im Meta-Tag funktioniert nur in HTML-Seiten. Das X-Robots-Tag wirkt dagegen auch bei Dateien ohne HTML, etwa PDFs, Bildern oder anderen Dokumenten. So lassen sich auch solche Inhalte gezielt aus den Suchergebnissen heraushalten.
Bewusst einsetzen
Damit die Suchmaschine die Anweisung liest, muss sie die Datei abrufen dürfen. Eine gleichzeitige Sperrung in der robots.txt würde verhindern, dass das X-Robots-Tag überhaupt gelesen wird.