Mitunter kann das Aussperren der Suchroboter von Suchmaschinen sehr sinnvoll sein - beispielsweise bei nur zeitweise vorhandenen Unterseiten, die nur für kurze Zeit online sind, ständig wechselnden Adressen etc... Wird den Robots nichts anderes mitgeteilt, werden diese Seiten ins Verzeichnis aufgenommen und verärgern den ein oder anderen Surfer, versucht dieser, diese Seiten aufzurufen.
Um die Suchrobots von der Indizierung solcher Inhalte abzuhalten wurde die Datei "robots.txt" ins Leben gerufen. Diese Datei wird von nahezu allen Robots akzeptiert und regelt das Verkehrswesen für die Suchmaschinenhelfer, indem sie Unterverzeichnisse freigibt oder sperrt. Die "robots.txt" wird als ASCII-Datei im Hauptverzeichnis einer Website abgelegt, also in dem Verzeichnis, in dem sich auch die Datei "index.htm" befindet.
Die Datei "robots.txt" besteht aus zweierlei Informationen: Zum einen wird der Name des Suchagenten genannt, zum anderen der Bereich, der von diesem nicht besucht werden soll.
Beispiel
User-agent: fireball
Disallow: /hiernicht/
Disallow: /hierauchnicht/
Disallow: /hierschon/dienicht.html
Dem Roboter der Suchmaschine "Fireball" wird hiermit der Zugriff auf die Unterverzeichnisse "/hiernicht/" und "/hierauchnicht/" verwehrt, und auch die Datei "dienicht.html" im Unterverzeichnis "/hierschon/" wird nicht indiziert werden.
Um nicht für jeden Roboter einzeln einen solchen Eintrag in der "robots.txt" erstellen zu müssen, haben sich auch Platzhalter bewährt. So spricht der Eintrag "User-agent: *" alle Agenten an, und der Eintrag "Disallow: /" sperrt alle Informationen einer Internetpräsenz. Soll die komplette Website freigegeben werden, so wird der Eintrag "Disallow: " ohne weiteren Zusätze verwendet.
Um die Datei "robots.txt" mit Kommentaren zu versehen, wird das Zeichen "#" verwendet, um eine solche Bemerkung anzugrenzen
