Archiv: Září 2008
Nasazujeme novou verzi vyhledávacího enginu
Po vylepšeném robotovi přichází i nová verze vyhledávání. A vy, čtenáři fulltext blogu, máte možnost si ji vyzkoušet jako první! Vývoj hledání postupuje ruku v ruce s vývojem robota, proto vám po několika mesících pilného programování nabízíme k nahlédnutí výsledky …
Číst dál
Vylepšené zpracování robots.txt
Rozšířili jsme robots.txt o možnost omezení rychlosti stahování, použití tagu Allow a několik dalších funkcí. Při vylepšování robota jsme se dotkli i zpracování robots.txt. SeznamBot nyní z větší části podporuje navrhovaný rozšířený standard a nějakou tu drobnost navíc. Tag Request-rate …
Číst dál
Rychlejší robot a indexace malých sites
SeznamBot doznal několika vylepšení. Přes léto jsme se pustili do vylepšování robota, provedené úpravy jsme nasadili a je čas posbírat ovoce. Zcela jsme přepracovali způsob zakládání nových url v databázi, jehož přímým důsledkem je rychlejší indexace nových domén. S tímto …
Číst dál