robots.txt

« Back to Glossary Index

Eine robots.txt-Datei ist eine Datei im Stammverzeichnis Ihrer Website, in der die Teile Ihrer Website angegeben sind, auf die Suchmaschinen-Crawler nicht zugreifen sollen. Die Datei verwendet den Robots Exclusion Standard, ein Protokoll mit einigen Befehlen.

Damit werden die Zugriffsmöglichkeiten auf Ihre Website für einzelne Abschnitte und für verschiedene Typen von Web-Crawlern angegeben, wie z. B. mobile Crawler im Gegensatz zu Desktop-Crawlern.

Siehe auch: Informationen zur robots.txt-Datei

« Back to Glossary Index