Rubrika: Robot

Stěhování části web-crawlera do nové serverovny

Seznam.cz spouští vlastní serverovnu v Hormích Počernicích, kterou pojmenoval Kokura. Kromě jiných služeb se do ní bude stěhovat i část fulltextového robota. Bude to náročná akce, kdy bude potřeba odpojit, vymontovat, zabalit, převést, vybalit, namontovat, zapojit a překonfigurovat více, než …

Číst dál »

Rubrika: Robot | Komentáře: 4

Změna User-Agent ze SeznamBot na Mozilla

Robot (crawler) našeho fulltextového vyhledávače se bude webserverům nově hlásit jako „Mozilla“ a nikoliv jako „SeznamBot“. IP adresy a reakce na robots.txt se nezmění. I když dřevní doby internetu, kdy weby zkoumaly User-Agent hlavičku čistě proto, aby mohly uživateli ohlásit, …

Číst dál »

Rubrika: Robot | Komentáře: 15

Hadoop (2) – základní součásti, souborový systém

V minulém díle jsme si Hadoop představili a nyní se podíváme víc pod kapotu. Prakticky o všem v Hadoopu se dá říct, že to není žádný převratný vynález nebo něco naprosto nepochopitelného. Vše je logickým vyústěním potřeby ukládat velká data …

Číst dál »

Rubrika: Robot | Komentáře: 2

Hadoop (1) – kam s nimi?

Už pár let se v odborných periodicích, na IT serverech i různých blozích pravidelně objevují termíny cloud, big data, NoSQL databáze a všichni zasvěceně přikyvujeme. Člověk se sice moc nedočte, k čemu jsou dobré, ale jsou tu s námi a …

Číst dál »

Rubrika: Robot | Komentáře: 3

Výber dokumentov do výsledkov hľadania

S nasadzovaním SeznamBota 3.0 vzniklo veľa otázok, pripájam o ňom ďalšie informácie pre lepšiu orientáciu v jeho funkčnosti a jeho vplyve na výsledky vyhľadávania. Jedna z otázok bola, či Robot pracuje ako má, keď má nejaký web v hľadaní stále …

Číst dál »

Rubrika: Robot | Komentáře: 23