Što je robots.txt file i zašto je važan za SEO?
Robots.txt je tekstualna datoteka s kojom administratori web stranice naređuju botovima tražilica kako crawlati web stranicu. Robots.txt datoteke daju instrukcije crawlerima koje dijelove web stranice smiju ili ne smiju crawlati. Prije nego počne indeksirati web stranicu, crawler čita robots.txt datoteku koja ga usmjerava kako je treba crawlati te njegove buduće akcije na web stranici.
Robots.txt datoteke kontroliraju pristup crawlerima određenim dijelovima web stranice. Oni ne predstavljaju pravilo za crawlere, jer tražilice teoretski mogu ignorirati ono što piše u datoteci. Iako je opasno slučajno onemogućiti tražilici da crawla cijelu vašu web stranicu, postoji nekoliko situacija u kojima su robots.txt datoteke iznimno korisne:
1) Pazite da ne blokirate dio web stranice ili sadržaj koje želite crawlati.
2) Nemojte koristiti robots.txt datoteku kako bi spriječili prikazivanje osjetljivih i privatnih podataka u SERP-u. U tom slučaju radije koristite druge metode kao što je zaštita putem lozinke ili noindex meta directive.
3) Dolaskom na web stranicu, crawler traže robots.txt datoteku na samo jednom mjestu - glavnoj mapi (tipično root domain ili naslovnica). Ako tamo ne pronađe datoteku, crawler će pretpostaviti da web stranica niti nema robots.txt te će nastaviti crawlati ostatak web stranice. Zato uvijek smjestite robots.txt datoteku u glavnu mapu svoje web stranice.
4) Datoteku uvijek nazovite "robots.txt" (ne "Robots.txt", "robots.TXT" ili slično). U suprotnome je crawleri neće prepoznati.
ZA ŠTO SE SVE KORISTI ROBOTS.TXT?
Robots.txt datoteke kontroliraju pristup crawlerima određenim dijelovima web stranice. Oni ne predstavljaju pravilo za crawlere, jer tražilice teoretski mogu ignorirati ono što piše u datoteci. Iako je opasno slučajno onemogućiti tražilici da crawla cijelu vašu web stranicu, postoji nekoliko situacija u kojima su robots.txt datoteke iznimno korisne:
- sprječavaju da se duplicirani content pojavljuje u SERP-u,
- drže određene sekcije web stranice privatnima,
- onemogućuju internim stranicama pretraživanja da se prikazuju u javnom SERP-u,
- specificiraju lokaciju sitemaps,
- onemogućuju tražilicama indeksiranje određenih datoteka na web stranici (npr. slika, PDF datoteka...),
- specificiraju odgodu crawlanja kako bi spriječili preopterećenost servera.
NAJBOLJE SEO PRAKSE ZA KORIŠTENJE ROBOTS.TXT DATOTEKA
1) Pazite da ne blokirate dio web stranice ili sadržaj koje želite crawlati.
2) Nemojte koristiti robots.txt datoteku kako bi spriječili prikazivanje osjetljivih i privatnih podataka u SERP-u. U tom slučaju radije koristite druge metode kao što je zaštita putem lozinke ili noindex meta directive.
3) Dolaskom na web stranicu, crawler traže robots.txt datoteku na samo jednom mjestu - glavnoj mapi (tipično root domain ili naslovnica). Ako tamo ne pronađe datoteku, crawler će pretpostaviti da web stranica niti nema robots.txt te će nastaviti crawlati ostatak web stranice. Zato uvijek smjestite robots.txt datoteku u glavnu mapu svoje web stranice.
4) Datoteku uvijek nazovite "robots.txt" (ne "Robots.txt", "robots.TXT" ili slično). U suprotnome je crawleri neće prepoznati.
Standard članstvo Arbona Cluba je besplatno. Prijavite se za dodatan sadržaja o digitalnom marketingu.
Niste registrirani? Popunite podatke za prijavu u Standard članstvo Arbona Cluba.
Zahvaljujemo na prijavi i registraciji.
Sada ste član Standard Arbona cluba.
Uživajte u našem sadržaju te nas za dodatna pitanja kontaktirajte.
Kontakt podatke pronađite u podnožju naše stranice.
