Crawler
Crawler sind kleine Programme, die Webseiten und deren Verlinkungen durchleuchten. Sie werden weltweit von Unternehmen und Diensten zu unterschiedlichsten Zwecken eingesetzt.
Auch Google setzt zur Indexierung von Webseiten Crawler (Google Bot) ein, gleiches gilt zum Beispiel für Anbieter:innen von SEO-Tools. Im Normalfall wird eine Seite von Crawlern gescannt, ohne dass Seitenbetreiber:innen oder Besucher:innen etwas davon merken.