Crawling (procházení)

Crawling, česky procházení, je proces, při kterém robot vyhledávače (nebo crawleru) prochází web a čte jednu stránku za druhou. Robot, u Googlu se mu říká Googlebot, začne u známých adres a po odkazech se prokousává dál, stránku po stránce, odkaz po odkazu. Ovšem i já jako SEO konzultant používám různé crawlery jako je Screaming Frog nebo crawler Ahrefsu k tomu, abych získal data o stránkách webu i celkovou strukturu.

To, co při tom crawler (robot) najde, je surovina pro další krok, kterým je indexace. Crawling je tak úplně první podmínka viditelnosti. Když robot na tvou stránku nedojde nebo se k ní nedostane, nemůže ji uložit ani ukázat ve výsledcích. Bez procházení zkrátka žádná organická návštěvnost nevznikne.

Odkud se slovo bere

Anglické to crawl znamená lézt, plazit se nebo se pomalu sunout. Přesně tak si první tvůrci vyhledávačů představovali své roboty. Jako pavouky, kteří se po vláknech odkazů pomalu sunou pavučinou webu. Odtud i další běžné označení web spider, tedy webový pavouk. V češtině se vžilo věcné procházení, ale mezi SEO lidmi uslyšíš spíš anglické crawling nebo crawl. Metafora lezoucího tvora, který systematicky prozkoumává terén, přitom sedí dokonale i dnes, v době, kdy je SEO mnohem složitější.

I přesto má nejznámější nástroj pro SEO konzultanty, Screaming Frog v logu žábu místo pavouka.

Krátká historie crawlingu

První webové crawlery vznikly už na začátku devadesátých let, ještě před Googlem. Jejich úkol byl prostý. Projít co nejvíc stránek a vytvořit z nich seznam. Google celý princip dotáhl k dokonalosti a spojil procházení s hodnocením důležitosti stránek.

Dnes už robot nejen čte text, ale umí i vykreslit stránku podobně jako prohlížeč a zvládne zpracovat i obsah načítaný JavaScriptem. Vývoj crawlingu tak jde ruku v ruce s tím, jak se proměňuje celé SEO a GEO, kde weby procházejí i roboti jazykových modelů.

Jak crawling funguje z pohledu SEO

Robotovi můžeš procházení hodně usnadnit, nebo pořádně zkomplikovat. Kudy smí a kudy ne, mu říká soubor robots.txt, seznam důležitých adres najde v mapě webu. Klíčová je i přehledná architektura a struktura webu, díky které se robot dostane ke každé stránce na pár kliknutí.

U větších webů se řeší takzvaný crawl budget, tedy kolik stránek robot za danou dobu projde. Ten se dá promrhat pomalým webem, kde brzdí i špatné Core Web Vitals, nebo zbytečnými řetězci přesměrování. Čím efektivněji robot prochází, tím rychleji se nový obsah objeví ve výsledcích.

Proč na crawlingu záleží

Crawling je tichý základ, na kterém stojí všechno ostatní. Můžeš mít nejlepší obsah na světě, ale když se k němu robot nedostane, jako by neexistoval. Kontrola procházení proto patří k jádru každého technického SEO auditu.

U rozsáhlých webů, hlavně e-shopů, se z crawlingu stává skutečná disciplína. Tisíce filtrů a variant produktů umí robota zavalit tak, že na důležité stránky nezbude čas ani kapacita. Rozumné hospodaření s crawl budgetem pak přímo ovlivňuje, jak rychle se změny na webu promítnou do výsledků vyhledávání.

Kam to sahá dál

Crawling je vlastně způsob, jakým si vyhledávač dělá mapu neustále se měnícího světa. Web se mění každou vteřinu a robot ho musí pořád znovu obcházet, aby jeho obraz reality nezastaral. Jak často se u tebe zastaví, souvisí i s tím, jak je tvůj web důležitý, což se odráží v doménové autoritě. Silné a často aktualizované weby robot navštěvuje mnohem častěji než ty, které se nehýbou. Pozornost robota je totiž omezená a rozděluje ji podle důležitosti, úplně stejně jako člověk.

Nejčastější chyby

• Nechtěné zablokování důležitých částí webu v souboru robots.txt.
• Plýtvání crawl budgetem na nekonečné filtry, duplicity a řetězce přesměrování.
• Zapomenutá nebo neaktuální mapa webu, takže robot o části stránek ani neví.
• Záměna crawlingu s indexací. To, že robot stránku projde, ještě neznamená, že ji i zaindexuje.

Otázky kolem crawlingu

Co je crawling?

Procházení webu robotem vyhledávače, který čte stránky a sleduje odkazy mezi nimi. Je to první krok, bez kterého se stránka nedostane do indexu ani do výsledků.

Jaký je rozdíl mezi crawlingem a indexací?

Crawling je procházení a čtení stránky. Indexace je její uložení do databáze vyhledávače. Stránka může být projitá, a přesto nezaindexovaná.

Co je crawl budget?

Množství stránek, které robot na daném webu za určitou dobu projde. Řeší se hlavně u velkých webů a e-shopů, kde se dá snadno promrhat na nedůležitých adresách.