Crawl budget

crawl budget

Crawl budget er det antallet sider en søkemotor vil besøke og forsøke å indeksere på et nettsted i en bestemt periode. Siden søkemotorer har begrensede ressurser, må de prioritere hvilke adresser som gjennomsøkes oftere, og hvor mye tid de bruker på hvert sted. Hvor stort budsjett et nettsted får avhenger av faktorer som nettstedets størrelse, hvor raskt serveren svarer, hvor ofte innholdet oppdateres og hvor mange innkommende lenker siden har. For små nettsteder er dette ofte ubetydelig, men for store nettsteder med tusenvis av sider påvirker det hvor raskt nytt innhold blir synlig i søkeresultatene. Hvis søkemotoren bruker budsjettet på duplikater, sider med feil eller sider med lav verdi, kan viktige sider bli oversett eller indeksert sent. Du kan gjøre budsjettet mer effektivt ved å rydde opp i duplikatinnhold, fikse ødelagte lenker, bruke canonical‑pekere og levere et tydelig XML-nettkart. Bedre serverhastighet og færre feilmeldinger gjør også at crawlingen kan gå raskere. Å styre hvilke områder som skal crawles via robots.regler og prioritere viktige sider hjelper søkemotorer å bruke ressursene på det som betyr mest for nettstedet ditt.