Dierobot.txt Datei legt fest, auf welche Verzeichnisse einer Webseite ein Robot Zugriffsrechte besitzt und auf welche nicht. Die robot.txt ist eine reine Textdatei, welche sich oft im Root-Verzeichnis der Domain-Verzeichnisstruktur befindet.
Es gibt die unterschiedlichsten Gründe, warum Zugriffe auf einzelne Inhalte durch einen Robot verweigert werden sollten. Mit Hilfe der robot.txt Datei ist es bspw. möglich, das automatische Auslesen von Log-Files und E-Mail-Adressen zu verhindern.
Eine letztendliche Garantie, dass sich Robots an die vordefinierten Vorgaben halten, gibt es allerdings nicht. Sofern die robot.txt Datei richtig programmiert wurde, werden die vermerkten Vorgaben zumindest von den bekanntesten Suchmaschinen eingehalten.
Verwendung von robot.txt in einem Satz
- Eine robots.txt Datei mit Anweisungen für Suchmaschinen Robots konnte nicht gefunden werden.
- Prüfen Sie bitte Ihre „robot.txt“ Datei und die Einstellungen des Servers, um Ihre Seite durch jede Suchmaschine indexieren zu lassen.
- Die kleine Datei „robots.txt“ ist ein Stück Technik, das man als SEO kennen sollte.