Rychlejší robot a indexace malých sites

SeznamBot doznal několika vylepšení.

Přes léto jsme se pustili do vylepšování robota, provedené úpravy jsme nasadili a je čas posbírat ovoce. Zcela jsme přepracovali způsob zakládání nových url v databázi, jehož přímým důsledkem je rychlejší indexace nových domén. S tímto měl robot v minulosti velké problémy – často se ponořil hluboko do struktury webu, vybral si mnoho nedůležitých stránek a na ty hlavní zapomněl. Vylepšený robot nejprve založí podstatné stránky a až pak se pustí hlouběji. Jedním z důležitých kritérií pro rozhodování je i obsah sitemapy, jejíž použití můžeme jen doporučit (viz nápověda).


Foto: INT/Blesk.cz

Kromě uvedených úprav se nám daří robota neustále zrychlovat, od začátku roku jsme naši databázi téměř zdvojnásobili, do konce roku se plánujeme dostat na více než trojnásobek. A další vylepšení na sebe jistě nenechají dlouho čekat.

Rubrika: Robot

Komentáře k článku: Rychlejší robot a indexace malých sites

  1. Autor: Petr Steinbauer | 19.9.2008 | 13:24

    [1]Jen tak dál! ;o)

    S tímhle souhlasím 0 S tímhle nemohu souhlasit 0

      
  2. Autor: sveek | 19.9.2008 | 14:35

    [2]nová zpráva sice až po 3 měsících, ale o to lepší :)

    S tímhle souhlasím 0 S tímhle nemohu souhlasit 0

      
  3. Autor: Maxipes Fik | 19.9.2008 | 14:43

    [3]Nejlepší je stejně ten obrázek, pořád jsem nevěděl, jak vypad ten robot který ke mě chodí a Seznam to konečně prozradil :)

    S tímhle souhlasím 0 S tímhle nemohu souhlasit 0

      
  4. Autor: Slope | 19.9.2008 | 15:26

    [4]Musím potvrdit, ze robot teď reaguje velmi rychle. Do hodiny po přidání stránek prostřednictvím seznamáckého formuláře se na nich objevil.

    S tímhle souhlasím 0 S tímhle nemohu souhlasit 0

      
  5. Autor: Maxell | 19.9.2008 | 15:50

    [5]Dobrá zpráva, uvidíme, jak to bude vypadat v reálu.

    S tímhle souhlasím 0 S tímhle nemohu souhlasit 0

      
  6. Autor: Šimon Grimmich | 19.9.2008 | 16:02

    [6]Ano, byl jsem příjemně překvapen rychlostí indexace nových webů

    S tímhle souhlasím 0 S tímhle nemohu souhlasit 0

      
  7. Autor: Stoural | 19.9.2008 | 16:14

    [7]A co ta relevance kluci? na tu se podíváte kdy? blogísky na prvních stranách to nemyslíte vážne? k čemu databáze miliardy blogísků když neumíte doporučit to co lidi hledají?

    S tímhle souhlasím 0 S tímhle nemohu souhlasit 0

      
  8. Autor: Ivo | 19.9.2008 | 16:26

    [8]Oproti google který dokáže přijít sekundu po vydání nového stránky máte stále pořád co dohánět.

    S tímhle souhlasím 0 S tímhle nemohu souhlasit 0

      
  9. Autor: Martin | 19.9.2008 | 18:18

    [9]Vzhledem k cílovce, která používá Seznam vyhledávání, jsou blogísky na první stránce zcela relevantní výsledek :) S Googlem se s českým rozpočtem a s českými hlavami bojovat nedá.

    S tímhle souhlasím 0 S tímhle nemohu souhlasit 0

      
  10. Autor: Luděk | 19.9.2008 | 18:20

    [10]To je dobrá zpráva, s přidáváním a procházením nových nebo inovovaných webů to opravdu bylo někdy na dlouhé lokte. Podtrhl bych některé z komentářů výše o relevanci.. občas skutečně vyjíždí vysoko podivné weby

    S tímhle souhlasím 0 S tímhle nemohu souhlasit 0

      
  11. Autor: smain | 19.9.2008 | 19:27

    [11]Tak to je dobrá zpráva… jsem na robota zvědavý… :-)

    S tímhle souhlasím 0 S tímhle nemohu souhlasit 0

      
  12. Autor: Ondřej Machala | 19.9.2008 | 21:17

    [12]Nový robot jistě bude fine, jen by mne zajímalo co se ke konci prázdnin se Seznamem stalo, že ztratil takové množství uživatelů? Z mých statistik ještě před prázdninami u mě Seznam zajišťoval 80% návštěvníků přicházejících z vyhledáváčů a nyní je to s Googlem 50:50. Tak mě napadá, jestli ti uživatelé přešli na Google nebo seznam fulltext degradoval?

    S tímhle souhlasím 0 S tímhle nemohu souhlasit 0

      
  13. Autor: Libor Fikr | 19.9.2008 | 21:28

    [13]Skvělé. Fajn je to, že nově vzniklé weby budou daleko rychleji indexovány.

    S tímhle souhlasím 0 S tímhle nemohu souhlasit 0

      
  14. Autor: Jakub Hejda | 19.9.2008 | 23:05

    [14]Takže je bílej a modrookej ten robot. Já si to myslel :-) Chci ho teda k Vánocům taky.

    S tímhle souhlasím 0 S tímhle nemohu souhlasit 0

      
  15. Autor: maja | 20.9.2008 | 07:29

    [15]chvilku počkejte až se seznam proda zahranicnimu investorovi a ten tam pak hned nasadi google a bude klid:o))

    S tímhle souhlasím 0 S tímhle nemohu souhlasit 0

      
  16. Autor: Tommy | 20.9.2008 | 10:00

    [16]No, jedny moje nové stránky Seznam do výsledků vyhledávání zahrnul už druhý den (po přidání do formuláře), velký G ani po týdnu nic…

    S tímhle souhlasím 0 S tímhle nemohu souhlasit 0

      
  17. Autor: dony | 20.9.2008 | 13:15

    [17]vyborne, ted osetrit relevanci, zkuste si napriklad zadat „c++“ , se seznamem moc nepochodite, vlastne rekl bych ze neumet na tak znamy pojem ze sveta IT zareagovat je celkem slusne fiasko, toto bych pochopil u nejake zkusebni verze noveho vyhledavace…..

    S tímhle souhlasím 0 S tímhle nemohu souhlasit 0

      
  18. Autor: Miroslav Stiburek | 20.9.2008 | 15:43

    [18]Skvela prace. Musim rict, ze se Seznambot opravdu zlepsuje, preji hodne stesti do dalsiho vyvoje.

    S tímhle souhlasím 0 S tímhle nemohu souhlasit 0

      
  19. Autor: Roman | 20.9.2008 | 20:53

    [19]Na rybářský dotaz „lov lína“ google najde celou stránku relevantních výsledků, kdežto seznam vrátí jeden správný výsledek a zbytek blbosti… trochu velký rozdíl

    S tímhle souhlasím 0 S tímhle nemohu souhlasit 0

      
  20. Autor: js | 21.9.2008 | 01:55

    [20]A zacne nyni respektovay crawl-delay? Minuly tyden hammeroval muj web cca 2req/sec. Vydrzelo mu to cca 2 hod na uplne nedulezitych strankach

    S tímhle souhlasím 0 S tímhle nemohu souhlasit 0

      
  21. Autor: INformatik | 21.9.2008 | 14:54

    [21]jen tak dál.

    S tímhle souhlasím 0 S tímhle nemohu souhlasit 0

      
  22. Autor: Michal Hejc | 21.9.2008 | 16:23

    [22]No otazkou je, zda dvojnasobna, pripadne trojnasobna databaze indexovanych stranek a tedy zrychleni indexace je podstatnejsi nez relevance vysledku. A ja tvrdim ze ne. To co se delo s fulltextem za poslednich nekolik mesicu byla opravdu katastrofa. Je pravdou, ze v poslednim tydnu doslo k urcitemu zlepseni, avsak stale tech nerelevantnich vysledku je velka spousta. Takze jak se rika: Seznam najdu tam co neznam, Google najdu tam co hledam.

    S tímhle souhlasím 0 S tímhle nemohu souhlasit 0

      
  23. Autor: Marfes | 21.9.2008 | 16:49

    [23]Ale jo, určitě tato správa potěší mnoho lidí že jejich stránka bude brzo ve výsledcích hledání.

    S tímhle souhlasím 0 S tímhle nemohu souhlasit 0

      
  24. Autor: Tom@S | 21.9.2008 | 21:36

    [24]Ja som sa potesil tejto sprave a tiez to uistenie o sitemape tiez potesi :)

    S tímhle souhlasím 0 S tímhle nemohu souhlasit 0

      
  25. Autor: aMk | 21.9.2008 | 22:13

    [25]tak to je celkem super zprava. o prazdninach bylo znat, ze to dost casto drhlo… jen tak dal.

    S tímhle souhlasím 0 S tímhle nemohu souhlasit 0

      
  26. Autor: Radúz | 22.9.2008 | 08:43

    [26]A jakpak to bude se stálostí výsledků ve vyhledávání vašim fulltextem? Z praxe vím, že jedna stránka se na klíčové slo ve výsledku hledání někdy pohybuje + – 10 až 20 pozic.

    S tímhle souhlasím 0 S tímhle nemohu souhlasit 0

      
  27. Autor: Lukáš | 22.9.2008 | 09:59

    [27]Ano, taky jsem pocítil změnu k lepšímu; indexace teď probíhají opravdu rychleji, mnohem rychleji v porovnání s indexací stránek VideoForum.cz, které trvalo plusminus dva měsíce (a to jsem to ještě notně urychlil četnými telefonáty na oddělení servisního týmu Seznamu)!!! Pokud robot bude alespoň šlapat na paty crowlerům od Googlu, budu spokojen :-). Uvidím, jak bude makat při indexaci nových projektů. Lukáš www.VideoForum.cz Jedinečná instruktážní how-to videa

    S tímhle souhlasím 0 S tímhle nemohu souhlasit 0

      
  28. Autor: OK | 22.9.2008 | 13:14

    [28]Bylo by velmi příjemné zavést „sitemap ping“. Tj. adresu kde je možné vašeho robota upozornit na nový web resp. na jeho sitemap.xml. Ping využívá řada velkých vyhledávačů google, yahoo, msn, ask.com, …

    S tímhle souhlasím 0 S tímhle nemohu souhlasit 0

      
  29. Autor: Radek Nový | 25.9.2008 | 23:49

    [29]Myslím, že na tuto změnu čekala drtivá většina zainteresovaných. Poslední dobou to bylo čím dál tím horší. Takže Díky za změnu…

    S tímhle souhlasím 0 S tímhle nemohu souhlasit 0

      
  30. Autor: MartiN | 27.9.2008 | 23:05

    [30]A já si říkal, čím to je, že se mi počet zaindexovaných stránek zdvojnásobil :-)

    S tímhle souhlasím 0 S tímhle nemohu souhlasit 0

      
  31. Autor: Martin Matějka | 28.9.2008 | 22:39

    [31]jj, taky pozoruju vylepseni :-) dobra zprava / prace :-) jen tak dal

    S tímhle souhlasím 0 S tímhle nemohu souhlasit 0

      
  32. Autor: Michal Janík | 5.10.2008 | 21:36

    [32]Slova o zdvojnásobení databáze jsou k zamyšlení. Na zrychlení se těšíme.

    S tímhle souhlasím 0 S tímhle nemohu souhlasit 0

      
  33. Autor: jj | 16.5.2009 | 19:02

    [33]Pěkná blbost, už mám stránky 5 měsíců a váš slavnej robot mi je do dneška nebyl schopnej zaindexovat. gratuluju, jen tak dál.

    S tímhle souhlasím 0 S tímhle nemohu souhlasit 0

      
  34. Autor: Michal | 15.10.2009 | 18:40

    [34]Ten stejný problém, seznam po měsíci provozu (zkušebního) zná jen uvodní stránku..

    S tímhle souhlasím 0 S tímhle nemohu souhlasit 0