Savjeti za optimizaciju Crawl Budgeta

Što je crawl budget i zašto je važan za SEO?

Objavljeno: 30.07.2024. | 9 minute čitanja

Crawl budget je broj URL-ova na vašoj web stranici koje pretraživači poput Googlea pregledavaju (otkrivaju) u određenom vremenskom razdoblju. Nakon toga prelaze na druge stranice. Postoje milijarde web stranica na svijetu, a pretraživači, na žalost, imaju ograničene resurse zbog čega ne mogu pregledati svaki dan sve stranice, stoga moraju odrediti prioritete što i kada će pregledavati.

Prije nego što objasnimo kako to funkcionira, trebamo razumjeti zašto je taj segment važan za SEO vaše stranice.

Zašto je Crawl Budget važan za SEO?

Google prvo treba pregledati (crawlati) i zatim indeksirati vaše stranice prije nego što se mogu rangirati. Sve mora ići glatko u tim procesima kako bi se vaš sadržaj pojavio u rezultatima pretrage. To može značajno utjecati na vaš organski promet i ukupne poslovne ciljeve. Većina vlasnika web stranica ne treba previše brinuti o crawl budgetu jer Google učinkovito pregledava stranice. Međutim, postoje specifične situacije kada je crawl budget posebno važan za SEO:

Kada je stranica velika i složena: Ako je vaša web stranica velika i složena (10.000+ stranica), Google možda neće odmah pronaći nove stranice ili često pregledavati sve stranice.
Kada dodajete mnogo novih stranica: Ako često dodajete puno novih stranica, crawl budget može utjecati na vidljivost tih stranica.
Kada stranica ima tehničke probleme: Ako problemi s pretraživanjem sprječavaju pretraživače da učinkovito pregledavaju vašu web stranicu, vaš sadržaj možda neće biti prikazan u rezultatima pretrage.

Kako Google određuje Crawl Budget?

Vaš crawl budget određuje se prema dva glavna elementa:

Potražnja za pretraživanjem (Crawl Demand)

Crawl Demand označava koliko često Google pregledava vašu stranicu na temelju njezine percipirane važnosti. Tri su faktora koji utječu na potražnju za pretraživanjem vaše stranice:

Percipirani Inventar - Google obično pokušava pregledati sve ili većinu stranica za koje zna na vašoj web stranici, osim ako mu ne kažete drugačije. To znači da Google bot može pokušati pregledati duplicirane stranice i uklonjene stranice ako mu ne kažete da ih preskoči putem datoteke robots.txt ili HTTP statusnih kodova 404/410.
Popularnost - Google obično daje prioritet stranicama s više povratnih veza (backlinkova) i onima koje privlače veći promet. To može signalizirati Googleovom algoritmu da je vaša web stranica važna i da je vrijedi češće pregledavati. Važno je napomenuti da broj povratnih veza sam po sebi nije bitan—one trebaju biti relevantne i dolaziti iz autoritativnih izvora.
Zastarjelost - Pretraživači teže pregledavati sadržaj dovoljno često kako bi primijetili promjene. No, ako se vaš sadržaj ne mijenja često, Google ga može početi rjeđe pregledavati. To ne znači da morate ažurirati sadržaj svaki dan kako biste potaknuli Google da češće pregledava vašu stranicu. Google navodi da želi pregledavati samo visokokvalitetan sadržaj. Stoga, prioritet dajte kvaliteti sadržaja umjesto čestim, nevažnim promjenama radi povećanja učestalosti pregledavanja.

Ograničenje kapaciteta pretraživanja (Crawl Capacity Limit)

Ograničenje kapaciteta pretraživanja sprječava Google botove da usporavaju vašu web stranicu s previše zahtjeva, što može uzrokovati probleme s performansama.

To je prvenstveno pod utjecajem općeg zdravlja vaše stranice i Googleovih vlastitih ograničenja pretraživanja.

Zdravlje pretraživanja vaše stranice - Kako brzo vaša web stranica odgovara na Googleove zahtjeve može utjecati na vaš crawl budget. Ako vaša stranica brzo odgovara, vaše ograničenje kapaciteta pretraživanja može se povećati, a Google može brže pregledavati vaše stranice. Ako se vaša stranica usporava ili odgovara s greškama servera, ovo ograničenje se može smanjiti, a Google će rjeđe pregledavati vašu stranicu.
Googleova ograničenja pretraživanja - Google nema neograničene resurse za pregledavanje web stranica, zbog čega postoje crawl budgeti. To je način da Google prioritizira koje stranice treba najčešće pregledavati. Ako su Googleovi resursi ograničeni iz bilo kojeg razloga, to može utjecati na kapacitet pretraživanja vaše web stranice.

Kako provjeriti aktivnost pretraživanja

Google Search Console (GSC) pruža potpune informacije o tome kako Google pregledava vašu web stranicu, uključujući eventualne probleme i promjene u ponašanju pretraživanja tijekom vremena. To vam može pomoći razumjeti postoje li problemi koji utječu na vaš crawl budget i koje možete riješiti. Za pristup ovim informacijama, otvorite svoj GSC račun i kliknite na "Settings" (Postavke). U odjeljku "Crawling" vidjet ćete broj zahtjeva za pretraživanje u posljednjih 90 dana.

Kliknite "Open Report" (Otvorite izvješće) za detaljniji uvid.

Stranica "Crawl stats" prikazuje razne widgete s podacima:

Grafikoni kroz vrijeme

Na vrhu Google Search konzole se nalazi grafikon zahtjeva za pretraživanje koje je Google izvršio na vašoj stranici u posljednjih 90 dana.

Ukupan broj zahtjeva za pretraživanje - broj zahtjeva za pretraživanje koje je Google izvršio u posljednjih 90 dana.
Ukupna veličina preuzetih podataka - količina podataka koje su Googleovi pretraživači preuzeli prilikom pristupa vašoj web stranici u određenom razdoblju.
Prosječno vrijeme odgovora - vrijeme potrebno da poslužitelj vaše web stranice odgovori na zahtjev pretraživača (u milisekundama).

Na vrhu se nalazi grafikon zahtjeva za pretraživanje koje je Google izvršio na vašoj stranici u posljednjih 90 dana

Host status

Status hosta prikazuje koliko lako Google može pretraživati vašu stranicu. Na primjer, ako vaša stranica nije uvijek mogla zadovoljiti Googleove zahtjeve za pretraživanjem, možda ćete vidjeti poruku "Host had problems in the past" (Host je imao problema u prošlosti). Ako postoje problemi, možete vidjeti više detalja klikom na ovaj okvir, a pod "Details" naći ćete više informacija o tome zašto su se problemi pojavili.

Status hosta prikazuje koliko lako Google može pretraživati vašu stranicu

Ovo će vam pokazati ako postoje problemi s:

Dohvaćanjem vaše robots.txt datoteke
Vašim sustavom imena domena (DNS)
Povezivanjem na poslužitelj

7 Savjeta za optimizaciju Crawl Budgeta

Kad otkrijete probleme s crawl budgetom, trebali biste ih riješiti kako bi maksimizirali učinkovitost pretraživanja. Evo nekoliko glavnih koraka koje možete poduzeti:

Poboljšajte brzinu svoje stranice - Ono može pomoći Googleu da brže pretražuje vašu stranicu, što može dovesti do boljeg iskorištavanja crawl budgeta. Osim toga, to je dobro za korisničko iskustvo (UX) i SEO. Da biste provjerili koliko se brzo učitavaju vaše stranice, vratite se na projekt Site Audit koji ste ranije postavili i kliknite na "View details" (Prikaži detalje) u okviru "Site Performance" (Performanse stranice).

Vidjet ćete razlaganje brzine učitavanja vaših stranica i prosječnu brzinu učitavanja stranica, zajedno s popisom pogrešaka i upozorenja koja mogu dovesti do loših performansi.

Postoji mnogo načina za poboljšanje brzine stranice, uključujući:

Optimizacija slika: Koristite online alate poput Image Compressor za smanjenje veličine datoteka bez gubitka kvalitete slike.
Minimiziranje koda i skripti: Upotrijebite alate poput Minifier.org ili WordPress dodatak poput WP Rocket za smanjenje koda radi bržeg učitavanja.
Korištenje mreže za dostavu sadržaja (CDN): CDN je distribuirana mreža poslužitelja koja isporučuje web sadržaj korisnicima prema njihovoj lokaciji za brže učitavanje.

Koristite strateško interno povezivanje - Pametna struktura internog povezivanja može olakšati pretraživačima pronalaženje i razumijevanje vašeg sadržaja, što može rezultirati učinkovitijim korištenjem crawl budgeta i povećati vaš potencijal za rangiranje.
Zamislite svoju web stranicu kao hijerarhiju s početnom stranicom na vrhu, koja se grana u različite kategorije i potkategorije. Svaka grana treba voditi do detaljnijih stranica ili postova vezanih uz kategoriju kojoj pripadaju. Ovo stvara jasnu i logičnu strukturu vaše web stranice koju je lako navigirati i korisnicima i pretraživačima.
Dodajte interne poveznice na sve važne stranice kako bi Google lakše pronašao vaš najvažniji sadržaj. To također pomaže izbjeći stranice bez internih poveznica koje upućuju na njih. Google još uvijek može pronaći te stranice, ali je mnogo lakše ako imaju relevantne interne poveznice.

Održavajte svoj sitemap ažurnim - Imati ažurirani XML sitemap je još jedan način da usmjerite Google prema vašim vidljivim i najvažnijim stranicama. Ažuriranje sitemapa kada dodate nove stranice može povećati vjerojatnost da će biti pretražene (ali to nije zajamčeno). Google preporučuje uključivanje samo URL-ova koje želite da se pojave u rezultatima pretrage u vaš sitemap. Time izbjegavate potencijalno rasipanje crawl budgeta (pogledajte sljedeći savjet za više informacija). Također možete koristiti oznaku <lastmod> kako biste označili kada ste posljednji put ažurirali određeni URL, ali to nije nužno.

Blokirajte URL-ove koje ne želite da pretraživači pretražuju - Koristite datoteku robots.txt (datoteka koja govori botovima pretraživača koje stranice trebaju, a koje ne trebaju pretraživati) kako biste smanjili šanse da Google pretražuje stranice koje ne želite. To može pomoći u smanjenju rasipanja crawl budgeta.
Zašto biste htjeli spriječiti pretraživanje nekih stranica?
Zato što su neke stranice nevažne ili privatne. Vjerojatno ne želite da pretraživači pretražuju te stranice i troše svoje resurse. Sve stranice navedene nakon "Disallow:" specificiraju stranice koje ne želite da pretraživači pretražuju.

Uklonite nepotrebna preusmjeravanja - Preusmjeravanja vode korisnike (i botove) s jednog URL-a na drugi, što može usporiti vrijeme učitavanja stranice i rasipati crawl budget. To može biti posebno problematično ako imate lančana preusmjeravanja. Lančana preusmjeravanja nastaju kada imate više od jednog preusmjeravanja između izvornog i konačnog URL-a. Da biste saznali više o postavljenim preusmjeravanjima na vašoj stranici, otvorite alat Site Audit i idite na karticu "Issues". Unesite "redirect" u traku za pretraživanje kako biste vidjeli probleme povezane s preusmjeravanjima na vašoj stranici.

Popravite slomljene poveznice - Slomljene poveznice su one koje ne vode na aktivne stranice—umjesto toga obično vraćaju 404 kod greške.

Iako to nije nužno loša stvar, stranice koje ne postoje trebale bi vraćati 404 statusni kod. Međutim, veliki broj poveznica koje vode na nepostojeće stranice troši crawl budget jer botovi i dalje pokušavaju pretraživati te stranice, a korisnici se mogu frustrirati. Da biste identificirali slomljene poveznice na svojoj stranici, idite na karticu "Issues" u alatu Site Audit i unesite "broken" u traku za pretraživanje. Potražite pogrešku "# internal links are broken" i kliknite na plavu poveznicu s brojem za više detalja.

Uklonite duplicirani sadržaj - Duplicirani sadržaj nastaje kada imate vrlo slične stranice na svojoj web stranici. Ovaj problem može trošiti crawl budget jer botovi pretražuju više verzija iste stranice. Duplicirani sadržaj može biti u nekoliko oblika, poput identičnih ili gotovo identičnih stranica (što obično treba izbjegavati) ili varijacija stranica uzrokovanih URL parametrima (uobičajeno na web stranicama e-trgovine). Idite na karticu "Issues" u alatu Site Audit kako biste vidjeli postoje li problemi s dupliciranim sadržajem na vašoj web stranici.

Optimizacija crawl budgeta ključna je za osiguranje da pretraživači poput Googlea učinkovito pretražuju i indeksiraju vaš sadržaj, što izravno utječe na vaše SEO rezultate. Redovitim auditima web stranice možete prepoznati i ispraviti tehničke probleme prije nego što postanu ozbiljni.
Za profesionalnu pomoć u optimizaciji vaše web stranice i maksimiziranju vašeg crawl budgeta, obratite se stručnjacima u Arboni. Njihov tim može vam pružiti potrebnu podršku i alate za postizanje najboljih rezultata.

Tagovi: