Logo Budde Mediendesign

Crawler

Term Definition
Crawler

Ein Crawler ist ein Programm, das automatisiert Dokumente und Daten im Web durchsucht. Suchmaschinen setzen Crawler ein um einen Index zu erstellen und Usern ganzheitlich Inhalte von Webseiten verfügbar zu machen. Crawler folgen dabei der eingereichten Sitemap, sowie internen und externen Verlinkungen.