Crawling (procházení)

Crawling, česky procházení (doslovně plazzení), je proces, při kterém robot vyhledávače (nebo crawleru) prochází web a čte jednu stránku za druhou. Hlavním účelem u vyhledávačů je, aby nalezli nové či upravené stránky.

Robot, u Googlu se mu říká Googlebot, začne u známých adres a po odkazech se prokousává dál, stránku po stránce, odkaz po odkazu. Hypertextové odkazy jsou to, jak crawlery prochází weby.

Ovšem i já jako SEO konzultant používám různé crawlery jako je Screaming Frog nebo crawler Ahrefsu k tomu, abych získal data o stránkách webu i celkovou strukturu. Takto třeba mohu nalézt

To, co při tom crawler (robot) najde, je podklad pro další krok, kterým je již indexace. Crawling je tak úplně první podmínka viditelnosti. Když robot na tvou stránku nedojde nebo se k ní nedostane, nemůže ji uložit ani ukázat ve výsledcích. Bez procházení zkrátka žádná organická návštěvnost nevznikne.
Google můžete popohnat v Google Search Console, aby jednotlivé stránky nebo web navštívil.

Odkud se slovo bere

Anglické to crawl znamená lézt, plazit se nebo se pomalu sunout. Přesně tak si první tvůrci vyhledávačů představovali své roboty. Jako pavouky, kteří se po vláknech odkazů pomalu sunou pavučinou webu. Odtud i další běžné označení web spider, tedy webový pavouk. V češtině se vžilo věcné procházení, ale mezi SEO lidmi uslyšíš spíš anglické crawling nebo crawl.

Metafora lezoucího tvora, který systematicky prozkoumává terén, přitom sedí dokonale i dnes, v době, kdy je SEO mnohem složitější, tak vlastně i moderní AI modely vychází z nacrawlovaných a indexovaných stránek vyhledávačů.

I přesto má nejznámější nástroj pro SEO konzultanty, Screaming Frog v logu žábu místo pavouka.

Krátká historie crawlingu

První webové crawlery vznikly už na začátku devadesátých let, ještě před Googlem. Jejich úkol byl prostý. Projít co nejvíc stránek a vytvořit z nich seznam, katalog, knihovnu. Málo lidí si totiž dnes dokáže přestavit internet bez vyhledávače. Museli jste znát konkrétní url, zkoušet a vlastně jste spíše objevovali něco, o čem vám někdo už řekl. Vyhledávač internet propojil a sjednotil.

Google celý princip dotáhl k dokonalosti a spojil procházení s hodnocením důležitosti stránek.

Dnes už robot nejen čte text, ale umí i vykreslit stránku podobně jako prohlížeč a zvládne zpracovat i obsah načítaný JavaScriptem. Vývoj crawlingu tak jde ruku v ruce s tím, jak se proměňuje celé SEO a GEO, kde weby procházejí i roboti jazykových modelů.

Jak crawling funguje z pohledu SEO

Robotovi můžeš procházení hodně usnadnit, nebo pořádně zkomplikovat. Kudy smí a kudy ne, mu říká soubor robots.txt, seznam důležitých adres najde v mapě webu. Klíčová je i přehledná architektura a struktura webu, díky které se robot dostane ke každé stránce na pár kliknutí.

U větších webů se řeší takzvaný crawl budget, tedy kolik stránek robot za danou dobu projde. Ten se dá promrhat pomalým webem, kde brzdí i špatné Core Web Vitals, nebo zbytečnými řetězci přesměrování. Čím efektivněji robot prochází, tím rychleji se nový obsah objeví ve výsledcích.

Proč na crawlingu záleží

Crawling je tichý základ, na kterém stojí všechno ostatní. Můžeš mít nejlepší obsah na světě, ale když se k němu robot nedostane, jako by neexistoval. Kontrola procházení proto patří k jádru každého technického SEO auditu.

U rozsáhlých webů, hlavně e-shopů, se z crawlingu stává skutečná disciplína. Tisíce filtrů a variant produktů umí robota zavalit tak, že na důležité stránky nezbude čas ani kapacita. Rozumné hospodaření s crawl budgetem pak přímo ovlivňuje, jak rychle se změny na webu promítnou do výsledků vyhledávání.

Kam to sahá dál

Crawling je vlastně způsob, jakým si vyhledávač dělá mapu neustále se měnícího světa. Web se mění každou vteřinu a robot ho musí pořád znovu obcházet, aby jeho obraz reality nezastaral. Jak často se u tebe zastaví, souvisí i s tím, jak je tvůj web důležitý, což se odráží v doménové autoritě. Silné a často aktualizované weby robot navštěvuje mnohem častěji než ty, které se nehýbou. Pozornost robota je totiž omezená a rozděluje ji podle důležitosti, úplně stejně jako člověk.

Nejčastější chyby

• Nechtěné zablokování důležitých částí webu v souboru robots.txt nebo noindex na nově vytvořených stránkách.
• Plýtvání crawl budgetem na nekonečné filtry, duplicity a řetězce přesměrování.
• Zapomenutá nebo neaktuální mapa webu, takže robot o části stránek ani neví.
• Záměna crawlingu s indexací. To, že robot stránku projde, ještě neznamená, že ji i zaindexuje. Pokud ji nezaindexuje, tak v rámci GSC můžete vidět v sekci Objeveno – momentálně neindexováno.

Otázky kolem crawlingu

Co je crawling?

Procházení webu robotem vyhledávače, který čte stránky a sleduje odkazy mezi nimi. Je to první krok, bez kterého se stránka nedostane do indexu ani do výsledků vyhledávání. Nezíská tedy zobrazení a ani prokliky.

Jaký je rozdíl mezi crawlingem a indexací?

Crawling je procházení a čtení stránky. Indexace je její uložení do databáze vyhledávače. Stránka může být projitá, a přesto nezaindexovaná.

Co je crawl budget?

Množství stránek, které robot na daném webu za určitou dobu projde. Řeší se hlavně u velkých webů a e-shopů, kde se dá snadno promrhat na nedůležitých adresách.