Naším posláním ve společnosti Google je organizovat informace z celého světa a učinit je všeobecně přístupnými a užitečnými. Jedním ze způsobů, jak to děláme, je procházení internetu a hledání nových informací, které potom přidáme do vyhledávacího indexu. Pravidelně procházíme miliardy stránek a víme o ještě větším počtu . Indexujeme webové stránky , diskusní fóra , obrázky , zpravodajské články , videa , knihy a další zdroje . Někdy si však uvědomujeme, že uživatelé internetu by chtěli nalézt ještě více informací: informace, které jsou online, ale z nějakého důvodu k nim mají naše procházecí programy zablokovaný přístup. Když naše procházecí programy dokumenty nevidí, je pro nás obtížné řádně je indexovat a zpřístupnit je uživatelům na celém světě. Je váš obsah indexovaný? Zda je váš obsah naším vyhledávačem řádně indexován, zkontrolujete velice snadno: stačí, když vyhledáte adresu svých webových stránek pomocí operátoru „site“. Pokud například chcete zjistit, který obsah ze Skupin Google je v naší vyhledávací službě indexován, můžete vyhledat [site:groups.google.com ] (hranaté závorky obvykle používáme k označení vyhledávaných slov – vy je ve svém vyhledávacím dotazu zadávat nemusíte). V tomto případě vidíme, že je indexován velký počet stránek a první je domovská stránka Skupin Google . To vypadá dobře – spousty informací, mnoho diskusních příspěvků je indexováno a zpřístupněno uživatelům internetu! Pokud vaše webové stránky nejsou správně indexovány, obecně buď uvidíte zprávu oznamující, že není indexován žádný obsah, nebo najdete seznam s malým nebo žádným množstvím informací. Například název domény „example.com“ je vyhrazený pro příklady a nelze jej procházet a indexovat. Když vyhledáte [site:example.com ], uvidíte v našich výsledcích vyhledávání, že tuto doménu neindexujeme tak jako Skupiny Google:Ale ne, takhle vypadají i moje stránky! Jak to můžu spravit? Pokud jsou vaše stránky indexovány jako náš poslední příklad, nebo dokonce nejsou indexovány vůbec, nemusíte si dělat starosti. Na webu není nic stálé a obecně se tyto problémy snadno najdou a vyřeší. Zde je pár věcí, které byste měli zkontrolovat:Nejsou vaše webové stránky nové? Procházení a indexování webu může nějakou dobu trvat. Pokud jsou vaše stránky nové, je možné, že jsme se k nim prostě ještě nedostali. Buďte trpěliví a zkontrolujte index znovu za nějakou dobu. Mezitím by mohlo stát za to, abyste zkontrolovali, zda jsou vaše webové stránky optimalizované pro Google , abychom je mohli procházet, až k tomu budeme připraveni.Nezakazují vaše stránky vyhledávačům procházení? Vyhledávače se obecně řídí pokyny uvedenými v souboru „robots.txt“ na webových stránkách. Tyto pokyny definují, který obsah smíme či nesmíme procházet. Někdy webové stránky souborem robots.txt nechtěně blokují všechny vyhledávače – často proto, že soubor omylem zůstal nezměněn z testovací verze stránek.V některých případech jsme se setkali i s tím, že správci webu blokují všechny vyhledávače kvůli zatížení serveru, ke kterému dochází při procházení všech adres URL v rámci stránek. V takovém případě může být užitečné zjistit, které z procházených stránek ve skutečnosti způsobují problémy, a selektivně k nim zakázat přístup místo blokování celých webových stránek. A konečně můžete ve svém účtu služby Nástroje pro webmastery změnit nastavení četnosti procházení , pokud si myslíte, že by to mohlo pomoci snížit zatížení webových stránek.Soubor robots.txt ze svých webových stránek můžete snadno zkontrolovat v prohlížeči. Můžete se například podívat na soubor robots.txt pro YouTube.com . Služba Nástroje pro webmastery od Google poskytuje jednoduchý nástroj, kterým můžete svůj soubor robots.txt otestovat . Můžete si také přečíst, jak si můžete vytvořit soubor robots.txt pro své stránky , pokud jej nemáte (je to zcela nepovinné). Následující soubor robots.txt blokuje procházení vašeho obsahu všem vyhledávačům:User-agent: * Disallow: /
Následující soubor robots.txt povoluje procházení vašeho obsahu všem vyhledávačům:User-agent: * Disallow: # Žádná cesta za „Disallow:“ znamená, že je povoleno veškeré procházení.
Všimněte si, že za pokynem Disallow: (Zakázat:) není žádný text. Stejného účinku dosáhnete, když na svých webových stránkách nebudete mít žádný soubor robots.txt.Váš účet služby Nástroje pro webmastery od Google vás obecně dokáže informovat o chybách procházení, jako jsou ty způsobené souborem robots.txt . Pokud se chcete dozvědět více, nezapomeňte své webové stránky přidat a ověřit !Nezakazují vaše webové stránky indexování vašeho obsahu? Setkali jsme se s webovými stránkami, které umožňují procházení, ale potom vyhledávače ve skutečnosti blokují při indexování obsahu. To se obecně dělá pomocí metaznačky „robots“ s parametrem „noindex“ . Zda vaše stránky tuto metaznačku nepoužívají, můžete zkontrolovat tak, že si prohlédnete zdrojový kód své domovské stránky (tato metaznačka může být použita pro jednotlivé stránky). Často je to způsobeno nastavením v softwaru webových stránek, které bylo neúmyslně zapnuto (nebo jen opomenuto). Někdy se z názvů těchto nastavení obtížně usuzuje, že souvisí s touto metaznačkou. Nastavení může být například nazváno „Viditelnost webových stránek“ nebo „Umožnit vyhledávačům nalezení vašich webových stránek“. Jste si jisti, že vyhledávače nejsou blokovány jinými technickými problémy? Někdy existují technické problémy, které nám brání v procházení vašich webových stránek . Pokud máte podezření, že by tomu tak mohlo být i u vašich stránek, můžete zkusit použít naše Fórum nápovědy pro webmastery nebo získat pomoc od svého poskytovatele hostingu. Splňují vaše webové stránky naše Pravidla pro webmastery? Pokud si myslíme, že webové stránky porušují naše Pravidla pro webmastery , můžeme se rozhodnout, že je z výsledků vyhledávání odstraníme. Pokud si myslíte, že je tomu tak ve vašem případě, stálo by za to vyřešit všechny problémy, které objevíte, a přes účet služby Nástroje pro webmastery zaslat žádost o opětovné posouzení . Pokud si některými prvky našich pravidel nejste jisti, neváhejte se zeptat zkušených uživatelů a zaměstnanců Google v našem Fóru nápovědy pro webmastery . Pokud si nejste žádným z těchto kroků jisti a máte za to, že vaše webové stránky by již měly být procházeny a indexovány, mohlo by pomoci, když se podíváte, co zjistili ostatní lidé. Věnujte chvíli času tomu, abyste prohledali naše Fórum nápovědy pro webmastery a založili si tam vlastní vlákno s podrobným popisem parametrů vašich stránek a všech změn, které jste nedávno provedli. Když podniknete všechny výše vhodné kroky uvedené výše, je procházení a indexování vašich stránek obecně jen otázkou času. Děkujeme, že jste věnovali čas zkontrolování svých webových stránek. Těšíme se, že vám prostřednictvím našeho vyhledávače pomůžeme učinit váš obsah všeobecně přístupným a užitečným!Napsal John Mueller, Webmaster Trends Analyst, Google Curych
2 komentáře :
Stejného účinku dosáhnete, když na svých webových stránkách nebudete mít žádný soubor robots.txt.To je sice pravda, ale zároveň se vám v logu začne kupit neskutečně mnoho chyb 404. ;)
Asi před dvěma měsíci jsem vytvořil web a náležitě ho optimalizoval pro vyhledávání (meta tagy, SEO adresy, nahrání souboru sitemap a robots.txt, webová stránka je ověřená). Podle mého logu googlebot navštěvuje můj web několikrát za den, ale zatím ho vůbec nezařadil do indexu. V nástrojích pro webmastery nemám žádné chybové hlášení.
Okomentovat