Vad är crawl budget inom SEO?

Crawl budget är hur mycket Googlebot crawlar din sajt. Det styrs av crawl rate limit och crawl demand. De flesta sajter behöver inte bry sig — här är varför.

Crawl budget inom SEO avser den mängd resurser som sökmotorernas crawlers, som Googlebot, tilldelar för att crawla (genomsöka och indexera) en webbplats under en viss period. På svenska skrivs begreppet ofta ihop till ett ord, crawlbudget, och betyder då precis samma sak. Denna budget påverkas av två huvudfaktorer:

Crawl Rate Limit: Hur många förfrågningar per sekund kan sökmotorernas robotar skicka till en webbplats utan att negativt påverka webbplatsens prestanda. Om en webbplats svarar långsamt eller ger många felmeddelanden, kan sökmotorerna minska crawl-frekvensen då de inte vill överbelasta er server. Google kallar numera detta för crawl capacity limit i sin egen dokumentation.
Crawl Demand: Hur ofta och hur mycket sökmotorerna väljer att crawla en webbplats, baseras på flera faktorer, som hur populär webbplatsen är och hur ofta innehållet uppdateras. Webbplatser med högt värde och ofta uppdaterat innehåll kan ha en högre crawl demand än mindre sajter med sällan uppdaterat innehåll.

För webbplatser med många befintliga URL:er och ett stort inflöde av nya URL:er (exempelvis större e-handlare eller nyhetssajter) är det viktigt att optimera sin crawl budget för att säkerställa att viktiga och nya sidor regelbundet indexeras av sökmotorerna. Detta gäller de webbplatser som har flera hundratusentals eller miljontals URL:er. Hur en URL är uppbyggd, och särskilt hur filterparametrar hanteras, avgör hur många av dem som ens är värda att crawla.

De flesta webbplatser behöver därför generellt inte oroa sig för just crawl budget.

Webbplatser med stora mängder sidor behöver vara medvetna om hur man allokerar sin crawl budget, eftersom sökmotorerna kanske inte crawlar varje sida på webbplatsen om budgeten är begränsad.

Varför är crawlbudget viktigt för SEO?

En crawlbudget som inte räcker till märks sällan direkt. Symtomen är i stället att nya sidor dröjer veckor innan de dyker upp i sökresultatet, att uppdaterat innehåll fortsätter visas i gammal version, och att sidor djupt i strukturen aldrig indexeras alls. En sida som inte crawlas kan inte rankas, oavsett hur bra den är.

Problemet uppstår nästan alltid för att budgeten går åt till fel URL:er. Filtrerings- och sorteringsparametrar i en produktlista kan skapa tiotusentals varianter av samma sidor, och varje sådan URL som Googlebot hämtar är en hämtning som inte gick till en sida du bryr dig om.

Så optimerar du din crawlbudget

Förbättra webbplatsens prestanda och serverns svarstider, vilket gör det möjligt för Google att crawla fler URL:er snabbare.
Se till att viktigt innehåll är lättillgängligt och inte gömt djupt i webbplatsens struktur. Detta gör att Google enkelt kan hitta, crawla och indexera nya URL:er.
Använda robots.txt-filen för att hindra sökmotorer från att crawla onödigt eller duplicerat innehåll. Detta för att se till att budgeten fördelas på rätt sidor.
Undvik döda länkar och fixa sidor som ger 404-fel.
Använda en eller flera sitemaps för att kommunicera till Google vilka sidor som är viktiga att crawla.
Rensa bort duplicerat innehåll och peka ut originalet med canonical-taggar, så att flera nästan identiska URL:er inte crawlas var för sig.
Håll koll på onödiga omdirigeringskedjor. Varje steg i en kedja är en egen hämtning innan Googlebot når fram till målsidan.

Genom att optimera dessa faktorer kan du se till att det mest värdefulla innehållet regelbundet och effektivt indexeras av sökmotorerna.

Interna länkar och crawlbudget

Interna länkar är den väg Googlebot följer för att hitta dina URL:er, och därför är de ett av de mest direkta sätten att styra budgeten. En sida som ingen annan sida på webbplatsen länkar till, en så kallad föräldralös sida, hittas i praktiken bara via sitemapen och crawlas därefter sällan.

Klickdjupet spelar samtidigt roll. Sidor som ligger många klick från startsidan crawlas mer sällan än sidor högt upp i strukturen, eftersom Google tolkar avståndet som en signal om hur viktiga de är. Ligger viktiga kategorier fem eller sex klick ned är det oftast strukturen, inte budgeten, som är problemet.

Tre saker är värda att gå igenom:

Se till att varje sida du vill ha indexerad har minst en intern länk från en sida som crawlas ofta.
Korta ned klickdjupet till de sidor som tjänar pengar, exempelvis genom länkar från kategorisidor eller från startsidan.
Låt bli att lägga interna länkar till URL:er du ändå blockerat i robots.txt eller satt till noindex. De hämtningarna ger inget tillbaka.

Tänk också på att interna länkar som pekar på en omdirigering kostar en extra hämtning varje gång. Uppdatera länken till slutmålet i stället för att låta kedjan ligga kvar.

Så håller du din XML-sitemap ren

En sitemap är det andra sättet Google upptäcker URL:er på, och den fungerar bäst när den bara innehåller sidor du faktiskt vill ha indexerade. Varje URL i filen bör svara 200, sakna noindex och ha en canonical som pekar på sig själv. Ligger omdirigeringar, 404-sidor eller URL:er som canonicaliserats bort kvar i sitemapen skickar du Googlebot på hämtningar som inte kan leda till en indexerad sida.

Fältet lastmod är den del som oftast görs fel. Google använder det som en ledtråd om när en sida är värd att hämta igen, men bara om det går att lita på. Sätter publiceringssystemet ett nytt datum på samtliga URL:er vid varje bygge tappar fältet sitt värde, och då ignoreras det. Låt lastmod spegla när innehållet verkligen ändrades.

En enskild sitemap får innehålla högst 50 000 URL:er och vara högst 50 MB uppackad. Har du fler delar du upp dem och samlar filerna i ett sitemapindex, gärna uppdelat efter sidtyp så att du i Search Console kan se hur indexeringen skiljer sig mellan exempelvis produktsidor och artiklar.

Kom ihåg att en sitemap hjälper Google att hitta URL:er, men inte garanterar att de crawlas eller indexeras. Den ersätter alltså inte en genomtänkt intern länkstruktur.

Så ser du din crawlbudget i Search Console

Rapporten Crawlningsstatistik i Google Search Console, under Inställningar, visar hur många förfrågningar Googlebot gjort per dag, hur mycket data som hämtats och hur lång svarstiden varit. Det är den enda källan till hur din faktiska crawlbudget används.

Titta framför allt på tre saker: om antalet förfrågningar per dag är stabilt eller sjunker, om den genomsnittliga svarstiden stiger, och hur hämtningarna fördelas mellan filtyper och svarskoder. Många hämtningar som ger 404 eller omdirigering är budget som går till spillo, och en stigande svarstid är ofta det som får Google att sänka takten av sig själv.