Crawling (prehľadávanie)

Crawling, po slovensky prechádzanie (doslova plazenie), je proces, pri ktorom robot vyhľadávača (alebo crawler) prechádza web a číta jednu stránku za druhou. Hlavným účelom pri vyhľadávačoch je nájsť nové alebo upravené stránky.

Robot, ktorému Google hovorí Googlebot, začne pri známych adresách a po odkazoch sa prehrýza ďalej, stránku po stránke, odkaz po odkaze. Hypertextové odkazy sú spôsob, akým crawlery prechádzajú weby.

Aj ja ako SEO konzultant však používam rôzne crawlery, napríklad Screaming Frog alebo crawler Ahrefsu, aby som získal údaje o stránkach webu aj jeho celkovú štruktúru. Takto napríklad môžem nájsť

To, čo pri tom crawler (robot) nájde, je podklad pre ďalší krok, ktorým je už indexácia. Crawling je tak úplne prvou podmienkou viditeľnosti. Keď robot na Vašu stránku nepríde alebo sa k nej nedostane, nemôže ju uložiť ani zobraziť vo výsledkoch. Bez prechádzania jednoducho žiadna organická návštevnosť nevznikne.
Google môžete v Google Search Console popohnať, aby jednotlivé stránky alebo web navštívil.

Odkiaľ pochádza toto slovo

Anglické to crawl znamená liezť, plaziť sa alebo sa pomaly posúvať. Presne tak si prví tvorcovia vyhľadávačov predstavovali svojich robotov. Ako pavúky, ktoré sa po vláknach odkazov pomaly posúvajú pavučinou webu. Odtiaľ pochádza aj ďalšie bežné označenie web spider, teda webový pavúk. V slovenčine sa ujalo vecné prechádzanie, no medzi SEO odborníkmi budete skôr počuť anglické crawling alebo crawl.

Metafora lezúceho tvora, ktorý systematicky skúma terén, pritom dokonale sedí aj dnes, v čase, keď je SEO oveľa zložitejšie. Aj moderné AI modely totiž vychádzajú zo stránok, ktoré vyhľadávače prešli a zaindexovali.

Napriek tomu má najznámejší nástroj SEO konzultantov, Screaming Frog, v logu žabu namiesto pavúka.

Krátka história crawlingu

Prvé webové crawlery vznikli už začiatkom deväťdesiatych rokov, ešte pred Googlom. Ich úloha bola jednoduchá. Prejsť čo najviac stránok a vytvoriť z nich zoznam, katalóg, knižnicu. Málokto si dnes dokáže predstaviť internet bez vyhľadávača. Museli ste poznať konkrétnu URL adresu, skúšať a v podstate ste skôr objavovali niečo, o čom Vám už niekto povedal. Vyhľadávač internet prepojil a zjednotil.

Google celý princíp dotiahol k dokonalosti a prepojil prechádzanie s hodnotením dôležitosti stránok.

Dnes už robot nielen číta text, ale vie aj vykresliť stránku podobne ako prehliadač a zvládne spracovať aj obsah načítaný JavaScriptom. Vývoj crawlingu tak ide ruka v ruke s tým, ako sa mení celé SEO a GEO, kde weby prechádzajú aj roboty jazykových modelov.

Ako crawling funguje z pohľadu SEO

Robotovi môžete prechádzanie výrazne uľahčiť, alebo poriadne skomplikovať. Kade smie a kade nie, mu hovorí súbor robots.txt, zoznam dôležitých adries nájde v mape webu. Kľúčová je aj prehľadná architektúra a štruktúra webu, vďaka ktorej sa robot dostane ku každej stránke na pár kliknutí.

Pri väčších weboch sa rieši takzvaný crawl budget, teda koľko stránok robot za daný čas prejde. Dá sa premrhať pomalým webom, ktorý brzdia aj zlé Core Web Vitals, alebo zbytočnými reťazcami presmerovaní. Čím efektívnejšie robot prechádza, tým rýchlejšie sa nový obsah objaví vo výsledkoch.

Prečo na crawlingu záleží

Crawling je tichý základ, na ktorom stojí všetko ostatné. Môžete mať najlepší obsah na svete, ale keď sa k nemu robot nedostane, akoby neexistoval. Kontrola prechádzania preto patrí k jadru každého technického SEO auditu.

Pri rozsiahlych weboch, najmä e-shopoch, sa z crawlingu stáva skutočná disciplína. Tisíce filtrov a variantov produktov dokážu robota zavaliť tak, že na dôležité stránky nezostane čas ani kapacita. Rozumné hospodárenie s crawl budgetom potom priamo ovplyvňuje, ako rýchlo sa zmeny na webe premietnu do výsledkov vyhľadávania.

Kam to siaha ďalej

Crawling je vlastne spôsob, akým si vyhľadávač vytvára mapu neustále sa meniaceho sveta. Web sa mení každú sekundu a robot ho musí stále znova obchádzať, aby jeho obraz reality nezastaral. Ako často sa u Vás zastaví, súvisí aj s tým, aký dôležitý je Váš web, čo sa odráža v doménovej autorite. Silné a často aktualizované weby robot navštevuje oveľa častejšie než tie, ktoré sa nehýbu. Pozornosť robota je totiž obmedzená a rozdeľuje ju podľa dôležitosti, úplne rovnako ako človek.

Najčastejšie chyby

• Nechcené zablokovanie dôležitých častí webu v súbore robots.txt alebo noindex na novovytvorených stránkach.
• Plytvanie crawl budgetom na nekonečné filtre, duplicity a reťazce presmerovaní.
• Zabudnutá alebo neaktuálna mapa webu, takže robot o časti stránok ani nevie.
• Zámena crawlingu s indexáciou. To, že robot stránku prejde, ešte neznamená, že ju aj zaindexuje. Ak ju nezaindexuje, v GSC ju môžete vidieť v sekcii Objavené – momentálne neindexované.

Otázky okolo crawlingu

Čo je crawling?

Prechádzanie webu robotom vyhľadávača, ktorý číta stránky a sleduje odkazy medzi nimi. Je to prvý krok, bez ktorého sa stránka nedostane do indexu ani do výsledkov vyhľadávania. Nezíska teda zobrazenia ani prekliky.

Aký je rozdiel medzi crawlingom a indexáciou?

Crawling je prechádzanie a čítanie stránky. Indexácia je jej uloženie do databázy vyhľadávača. Stránka môže byť prejdená, a napriek tomu nezaindexovaná.

Čo je crawl budget?

Množstvo stránok, ktoré robot na danom webe za určitý čas prejde. Rieši sa najmä pri veľkých weboch a e-shopoch, kde sa dá ľahko premrhať na nedôležitých adresách.