Crawl Budget

Suchmaschinen-Crawler wollen so viele Seiten wie möglich scannen, ergo ist die Zeit, die sie auf einer einzelnen Webseite verbringen, begrenzt. SEOs sprechen hierbei vom sog. Crawl Budget. Damit das Budget möglichst effizient genutzt werden kann, sollten Seiten mit wenig Mehrwert von der Indexierung ausgeschlossen werden.