Robots.txt
Die robots.txt-Datei ist eine Textdatei, die auf der Webseite eines Unternehmens oder einer Organisation platziert wird und Suchmaschinen-Crawlern (wie Googlebot) Anweisungen darüber gibt, welche Seiten oder Bereiche der Website sie durchsuchen (indexieren) dürfen und welche nicht. Sie wird verwendet, um die Interaktion von Suchmaschinen mit der Webseite zu steuern und zu verhindern, dass bestimmte Inhalte in den Suchergebnissen erscheinen.