SEO

robots.txt.

Die robots.txt ist eine Textdatei im Stammverzeichnis einer Website. Sie enthält Regeln für automatisierte Crawler, etwa zu erlaubten und gesperrten Pfaden. Sie steuert den Abruf, ist aber weder Zugriffsschutz noch eine zuverlässige Löschanweisung für den Suchindex.

Warum ist das wichtig?

Eine falsche Regel kann wichtige Inhalte oder benötigte Ressourcen vom Crawling ausschließen. Umgekehrt schützt eine Sperre dort keine vertraulichen Dateien vor Menschen oder Programmen, die die Regeln ignorieren.

Ein Beispiel

Nach einem Relaunch bleibt eine Regel aus der Testumgebung stehen, die alle Pfade sperrt. Die Seite funktioniert im Browser, Suchmaschinen dürfen ihre neuen Inhalte aber nicht abrufen. Eine separat vergebene noindex-Anweisung können sie dann ebenfalls nicht auslesen.

Worauf kommt es an?

Prüfen Sie Regeln für den jeweils relevanten Crawler und den vollständigen URL-Pfad. Für den Ausschluss aus dem Index ist normalerweise noindex zuständig; vertrauliche Inhalte benötigen Authentifizierung. Ein Sitemap-Verweis kann zusätzlich in der robots.txt stehen.

Typische Fehler

  • Die Datei als Verzeichnis geheimer URLs verwenden.
  • Regeln einer Testumgebung ungeprüft auf die öffentliche Website übernehmen.

Weiterlesen

Passende Leistung: Technisches SEO für WordPress

Quelle: Google: Einführung in robots.txt