Rubrika: Robot

Změna User-Agent ze SeznamBot na Mozilla

Robot (crawler) našeho fulltextového vyhledávače se bude webserverům nově hlásit jako „Mozilla“ a nikoliv jako „SeznamBot“. IP adresy a reakce na robots.txt se nezmění. I když dřevní doby internetu, kdy weby zkoumaly User-Agent hlavičku čistě proto, aby mohly uživateli ohlásit, …

Číst dál »

Rubrika: Robot | Komentáře: 15

Hadoop (2) – základní součásti, souborový systém

V minulém díle jsme si Hadoop představili a nyní se podíváme víc pod kapotu. Prakticky o všem v Hadoopu se dá říct, že to není žádný převratný vynález nebo něco naprosto nepochopitelného. Vše je logickým vyústěním potřeby ukládat velká data …

Číst dál »

Rubrika: Robot | Komentáře: 2

Hadoop (1) – kam s nimi?

Už pár let se v odborných periodicích, na IT serverech i různých blozích pravidelně objevují termíny cloud, big data, NoSQL databáze a všichni zasvěceně přikyvujeme. Člověk se sice moc nedočte, k čemu jsou dobré, ale jsou tu s námi a …

Číst dál »

Rubrika: Robot | Komentáře: 3

Výber dokumentov do výsledkov hľadania

S nasadzovaním SeznamBota 3.0 vzniklo veľa otázok, pripájam o ňom ďalšie informácie pre lepšiu orientáciu v jeho funkčnosti a jeho vplyve na výsledky vyhľadávania. Jedna z otázok bola, či Robot pracuje ako má, keď má nejaký web v hľadaní stále …

Číst dál »

Rubrika: Robot | Komentáře: 23

Správny prístup k Sitemapám

Pred mesiacom sme vás informovali o spôsobe používania kanonických URL, s ktorými čiastočne súvisia aj Sitemapy. Ich použitím môžete pomôcť robotovi vo vnímaní vášho webu a spôsobe správania sa pri jeho crawlovaní. Sitemap je XML súbor obsahujúci informácie o vašich …

Číst dál »

Rubrika: Robot | Komentáře: 13