E-mail:
jsem@patrikpilous.cz
Robots.txt je jednoduchý textový súbor umiestnený v koreni webu, ktorým dávaš robotom vyhľadávačov pokyny, kam na webe smú a kam nie. Je to taká vrátnica pri vstupe. Robot, ktorý príde, sa do nej najskôr pozrie a podľa pravidiel sa zariadi. Používa sa hlavne na to, aby roboty nestrácali čas a takzvaný crawl budget na nedôležitých častiach webu, ako je administrácia, košík, interné vyhľadávanie alebo príliš komplikované (prekombinované) filtre.
Napriek svojej jednoduchosti je robots.txt jedným z najcitlivejších súborov na webe, pretože jediný zlý riadok dokáže pred vyhľadávačom schovať celý web.
Odkiaľ pochádza toto slovo
Názov sa skladá zo slova robot a prípony txt, teda obyčajný textový súbor pre roboty. Známou zaujímavosťou je, že samotné slovo robot je český výtvor. Prvýkrát ho použil Karel Čapek v hre R.U.R. z roku 1920 a odvodil ho jeho brat Josef od slova robota, teda ťažká, nútená práca.
Krátka história
Robots.txt vznikol v roku 1994 z praktickej núdze. Holandský vývojár Martijn Koster hľadal spôsob, ako zabrániť robotom, aby zahltili servery a liezli tam, kam nemajú. Navrhol jednoduchý protokol, ktorému sa začalo hovoriť Robots Exclusion Protocol. Nešlo o oficiálnu normu, ale o dobrovoľnú dohodu, ktorú „slušné“ roboty rešpektovali. Fungovalo to tak dobre, že sa z nej stal de facto štandard, ktorý platí dodnes. Až v roku 2022 bol protokol oficiálne kodifikovaný ako internetový štandard RFC 9309. Takmer tridsať rokov teda jeden z pilierov webu stál len na tom, že ho všetci dobrovoľne dodržiavali.
Ako robots.txt funguje z pohľadu SEO
Súbor obsahuje jednoduché pravidlá. Riadok User-agent určuje, pre ktorého robota pravidlá platia, Disallow zakazuje prístup k danej ceste a Allow ho naopak povoľuje. Najčastejšie sa do robots.txt uvádza aj odkaz na sitemapu, kde máme vlastne uložené všetky URL, ktoré chceme mať v indexe vyhľadávačov.
Zásadné je pochopiť jednu vec, na ktorej pohorí veľa ľudí. Robots.txt riadi prechádzanie, nie indexáciu. Keď stránku zakážeš v robots.txt, robot ju síce neprejde, ale ak na ňu vedú odkazy, môže sa aj tak objaviť v indexe, len bez popisu. Na vyradenie z indexu slúži iný nástroj, značka noindex.
Prečo na robots.txt záleží
Správne nastavený robots.txt pomáha vyhľadávaču sústrediť sa na to podstatné. Dôležité je, že to platí hlavne pri naozaj veľkých weboch. Pri veľkých weboch, kde robot nemá čas prejsť úplne všetko, je nasmerovanie crawl budgetu na hodnotné stránky veľká výhoda. Zároveň je to však nástroj, s ktorým treba zaobchádzať opatrne. Najznámejšia katastrofa v SEO je riadok, ktorý omylom zakáže celý web, čo sa stáva hlavne pri prechode z testovacej verzie do ostrej prevádzky. Preto obsah robots.txt kontrolujem na začiatku každého SEO auditu. Pri WordPresse ho navyše často spravuje SEO plugin, takže je dobré vedieť, čo v ňom je.
Kam to siaha ďalej
Robots.txt je krásny príklad toho, že internet drží pohromade skôr na dohodách a dôvere než na tvrdých pravidlách. Takmer tridsať rokov stačilo, že sa slušné roboty dobrovoľne riadili obyčajným textovým súborom, ktorý ich k ničomu nemohol prinútiť. Kto chcel, mohol ho ignorovať. Táto krehká rovnováha však dostáva trhliny práve teraz. Mnohé roboty, ktoré zbierajú dáta pre umelú inteligenciu, si totiž pravidlá vykladajú po svojom alebo ich rovno obchádzajú. Boj o to, kto smie k tvojmu obsahu a čo s ním urobí, sa tým vracia na začiatok. A robots.txt, tá stará vrátnica, sa zrazu stáva jedným z bojísk éry AI.
Najčastejšie chyby
- Riadok Disallow lomka, ktorý omylom zakáže celý web, typicky po spustení z testu.
- Blokovanie stránky v robots.txt vo viere, že ju tým vyradíš z indexu. Na to slúži noindex.
- Zablokovanie priečinkov s obrázkami alebo skriptmi, ktoré vyhľadávač potrebuje na vykreslenie stránky.
- Chýbajúci odkaz na mapu webu, ktorú je vhodné v robots.txt uviesť.
Otázky okolo robots.txt
Čo je robots.txt?
Textový súbor v koreni webu, ktorým dávaš robotom vyhľadávačov pravidlá, kam na webe smú a kam nie.
Blokuje robots.txt indexáciu?
Nie. Robots.txt riadi prechádzanie, nie indexáciu. Zakázaná stránka sa môže do indexu dostať aj tak, ak na ňu vedú odkazy. Na vyradenie slúži značka noindex.
Kde nájdem robots.txt?
Vždy v koreni domény na adrese lomka robots.txt. Pri WordPresse ho zvyčajne spravuje SEO plugin.
