Crawl budget

crawl budget

Crawl budget er den mængde ressourcer, en søgemaskine vælger at bruge på at gennemgå en hjemmeside inden for en given periode. Det bestemmer, hvor mange sider og hvor ofte søgemaskinernes robotter besøger dit site for at opdatere og indeksere indhold. Budgettet afhænger både af, hvor meget serveren kan klare (crawl-rate) og hvor relevant indholdet vurderes at være (crawl-demand). Hvis et site har mange fejl, duplikeret indhold eller langsom respons, kan robotterne bruge deres tid mindre effektivt og springe vigtige sider over. Derfor kan vigtige sider risikere ikke at blive opdaget eller opdateret hurtigt i søgeresultaterne. Forbedringer som at rydde op i unødvendige sider, rette fejl, lave en klar sitemap og konfigurere robots.txt hjælper med at udnytte budgettet bedre. Store websteder skal især prioritere, hvilke sider der skal crawles ofte, så ressourcerne bruges på det mest værdifulde indhold. Et godt udnyttet crawl budget fører til hurtigere indeksering, friskere søgeresultater og bedre synlighed for de sider, der betyder mest.