robots.txt – richtig Crawler, Spider und Bots steuern
Die robots.txt ist eine einfache Textdatei, die im Root-Verzeichnis der Domain abgelegt wird. Der Inhalt der Datei dient der Steuerung von Robots, Crawlern oder Spiders (wie dem Googlebot). Sie enthält zum Beispiel den Pfad zur XML-Sitemap, Disallow-Anweisungen und steuert verschiedene Robots seperat oder alle gemeinsam.
