robots.txt
robots.txt liegt im Website-Root und teilt Suchmaschinen-Bots mit, welche Pfade sie crawlen dürfen und welche nicht. WordPress liefert eine virtuelle robots.txt mit, solange keine physische Datei existiert.
Achtung: robots.txt verhindert Crawling, aber nicht Indexierung. Für „nicht indexieren“ ist das Meta-Tag noindex oder HTTP-Header zuständig.
Fragen zu diesem Thema?
Wir erklären Ihnen gerne, was der Begriff für Ihre Website konkret bedeutet — ohne Fachchinesisch. Kontakt aufnehmen →