Procházení webu (crawling)

Co znamená to "procházení webu"? Občas to někdo popisuje jako sci-fi dobrodružství, ale vyhledávače (jako je např. Google, Seznam nebo Bing) objevují a zaznamenávají obsah vaší webové stránky. A jak to dělají? Proklikávají odkazy na vašem webu a pokud je to možné, tak si uloží obsah každé navštívené stránky.

Kam může Google?

Máte ale nástroje, jak je řídit. Můžete je například nasměrovat pomocí souboru robots.txt, což je takový vzkaz u dveří vaší stránky, který říká: "Google, tady můžeš jít, ale tady ne!" Zvláštní je, že Google stránky indexuje i když by neměl, pokud na ně ukazují odkazy. To je jako kdyby vám pošťák nechal vzkaz, že vaše pošta byla doručena do sousedovy schránky, protože tam vedl chodník.

Pokud nechcete, aby vyhledávače procházely některé stránky, můžete je "zamknout" za systémem pro přihlašování, vyžadovat heslo nebo povolit přístup pouze některým IP adresám. To je jako mít VIP zónu na vašem webu, kam nemůže vejít kdokoli.

Kde byl Google?

Jak zjistíte, co Google na vašem webu prochází? Můžete se podívat na zprávu "Crawl stats" v Google Search Console, což je takový detektivní nástroj, který vám řekne, kam se Google již "vloudil". A pokud chcete ještě více detailů, můžete si pohrát s vašimi serverovými logy (tam se zaznamenává zpravidla úplně každý přístup k jakékoliv službě).

A poslední rada na závěr - každý web má určitý "rozpočet" na procházení. Pokud je vaše stránka oblíbená a často se mění, Google ji bude navštěvovat častěji, jako by to byla jeho oblíbená kavárna. Ale pokud se stránky moc nemění nebo nejsou dobře propojené, Google je navštíví méně často. Myslíte, že byste chtěli Google mít častěji na návštěvě? Pak je čas dát vašemu webu trochu "oživení"!