Crawl frequency

crawl frequency

Crawl frequency beskriver hvor ofte en automatisk indekserer eller robot besøker en nettside for å hente innhold. Dette bestemmer hvor fersk informasjonen blir i søkeindekser og i systemer som bruker disse dataene. Hyppigere besøk gir raskere oppdateringer, men krever mer båndbredde og kan belaste serveren som huser innholdet. Lavere frekvens sparer ressurser, men betyr at endringer kan ta lengre tid før de blir synlige i søk eller andre tjenester. Mange systemer gir mulighet til å angi ønsket intervall, og nettsteder kan også gi hint gjennom sitemaps eller andre standarder. Det er viktig å finne en balanse mellom oppdateringsbehov og tekniske begrensninger. For sider som oppdateres ofte, som nyheter eller datafeeds, bør frekvensen være høyere enn for statisk innhold. Feil innstilt frekvens kan føre til foreldet informasjon eller unødvendig trafikk. Derfor samarbeider utviklere og driftspersonell om passende innstillinger for å sikre både ferskhet og stabilitet.