Što je robots.txt file i zašto je važan za SEO?
Robots.txt je tekstualna datoteka s kojom administratori web stranice naređuju botovima tražilica kako crawlati web stranicu. Robots.txt datoteke daju instrukcije crawlerima koje dijelove web stranice smiju ili ne smiju crawlati. Prije nego počne indeksirati web stranicu, crawler čita robots.txt datoteku koja ga usmjerava kako je treba crawlati te njegove buduće akcije na web stranici.
Robots.txt datoteke kontroliraju pristup crawlerima određenim dijelovima web stranice. Oni ne predstavljaju pravilo za crawlere, jer tražilice teoretski mogu ignorirati ono što piše u datoteci. Iako je opasno slučajno onemogućiti tražilici da crawla cijelu vašu web stranicu, postoji nekoliko situacija u kojima su robots.txt datoteke iznimno korisne:
1) Pazite da ne blokirate dio web stranice ili sadržaj koje želite crawlati.
2) Nemojte koristiti robots.txt datoteku kako bi spriječili prikazivanje osjetljivih i privatnih podataka u SERP-u. U tom slučaju radije koristite druge metode kao što je zaštita putem lozinke ili noindex meta directive.
3) Dolaskom na web stranicu, crawler traže robots.txt datoteku na samo jednom mjestu - glavnoj mapi (tipično root domain ili naslovnica). Ako tamo ne pronađe datoteku, crawler će pretpostaviti da web stranica niti nema robots.txt te će nastaviti crawlati ostatak web stranice. Zato uvijek smjestite robots.txt datoteku u glavnu mapu svoje web stranice.
4) Datoteku uvijek nazovite "robots.txt" (ne "Robots.txt", "robots.TXT" ili slično). U suprotnome je crawleri neće prepoznati.
Nazovi me
ZA ŠTO SE SVE KORISTI ROBOTS.TXT?
Robots.txt datoteke kontroliraju pristup crawlerima određenim dijelovima web stranice. Oni ne predstavljaju pravilo za crawlere, jer tražilice teoretski mogu ignorirati ono što piše u datoteci. Iako je opasno slučajno onemogućiti tražilici da crawla cijelu vašu web stranicu, postoji nekoliko situacija u kojima su robots.txt datoteke iznimno korisne:
- sprječavaju da se duplicirani content pojavljuje u SERP-u,
- drže određene sekcije web stranice privatnima,
- onemogućuju internim stranicama pretraživanja da se prikazuju u javnom SERP-u,
- specificiraju lokaciju sitemaps,
- onemogućuju tražilicama indeksiranje određenih datoteka na web stranici (npr. slika, PDF datoteka...),
- specificiraju odgodu crawlanja kako bi spriječili preopterećenost servera.
NAJBOLJE SEO PRAKSE ZA KORIŠTENJE ROBOTS.TXT DATOTEKA
1) Pazite da ne blokirate dio web stranice ili sadržaj koje želite crawlati.
2) Nemojte koristiti robots.txt datoteku kako bi spriječili prikazivanje osjetljivih i privatnih podataka u SERP-u. U tom slučaju radije koristite druge metode kao što je zaštita putem lozinke ili noindex meta directive.
3) Dolaskom na web stranicu, crawler traže robots.txt datoteku na samo jednom mjestu - glavnoj mapi (tipično root domain ili naslovnica). Ako tamo ne pronađe datoteku, crawler će pretpostaviti da web stranica niti nema robots.txt te će nastaviti crawlati ostatak web stranice. Zato uvijek smjestite robots.txt datoteku u glavnu mapu svoje web stranice.
4) Datoteku uvijek nazovite "robots.txt" (ne "Robots.txt", "robots.TXT" ili slično). U suprotnome je crawleri neće prepoznati.
Arbona Club prijava
Prednosti Arbona Club-a koje vas očekuju
- Arbona blogovi
- Cheatsheet
- Arbona ebook
- Arbona Podcast
- Arbona event
- Arbona doručak
- Konzultacije
- Arbona knjižnica
- "Digitalni svemir"
- -20% popusta na Arbona akademiju
Za više informacija i prijavu u Arbona Club kontaktirajte me!
Dario Horvat
- +385 98 9421 343
- dario.horvat@arbona-agency.com
