Rubrika: Robot
Nová zbraň pro boj s duplicitním obsahem
Jak princ v pohádce poznal, která princezna je ta pravá, když vypadaly všechny stejně? Taky mu někdo napověděl! Světové vyhledávače Google, Yahoo a MSN Live ohlásily minulý týden podporu nové funkčnosti v HTML, jež umožňuje vyhledávači v případě skupiny velmi …
Číst dál
Podpora GEO-mikroformátu
U stránek s „geotagem“ se bude ve výsledcích vyhledávání nyní zobrazovat odkaz pro zobrazení místa na mapě. Pomocí tzv. mikroformátů (viz microformats.org) lze na stránkách přisoudit některým textům sémantickou hodnotu tak, aby byly strojově rozpoznatelné a měly definovaný význam. Mikroformátů je celá …
Číst dál
Vylepšené zpracování robots.txt
Rozšířili jsme robots.txt o možnost omezení rychlosti stahování, použití tagu Allow a několik dalších funkcí. Při vylepšování robota jsme se dotkli i zpracování robots.txt. SeznamBot nyní z větší části podporuje navrhovaný rozšířený standard a nějakou tu drobnost navíc. Tag Request-rate …
Číst dál
Rychlejší robot a indexace malých sites
SeznamBot doznal několika vylepšení. Přes léto jsme se pustili do vylepšování robota, provedené úpravy jsme nasadili a je čas posbírat ovoce. Zcela jsme přepracovali způsob zakládání nových url v databázi, jehož přímým důsledkem je rychlejší indexace nových domén. S tímto …
Číst dál
Podpora sitemap.xml
SeznamBot v ostré verzi zpracovává sitemapy ve formátu XML Do ostrého provozu byla nasazena podpora sitemap v XML formátu. Z těchto sitemap robot zatím vybírá prioritu stránek, která mu pomáhá v rozhodování, které URL si uživatel spíše přeje zaindexovat. XML …
Číst dál