Čo je to pavúk vyhľadávač?

Vyhľadávač pavúky, niekedy nazývané roboti, využíva Internet vyhľadávačov zhromažďovať informácie o webových stránok a jednotlivých webových stránok. Vyhľadávače potrebujú informácie od všetkých stránkach; inak by to vedieť, aké stránky sa zobrazí v reakcii na vyhľadávací dotaz alebo s tým, čo prioritou.

Vyhľadávač pavúky prechádzať cez internet a vytvárať fronty webov, na ktoré k ďalšiemu vyšetrovaniu. Ako konkrétne webové stránky dostane na ktoré sa vzťahuje pavúk, pavúk číta cez všetky textu, hypertextové odkazy, meta tagy (meta tagy sú špeciálne formátované kľúčových slov vložené do webovej stránky takým spôsobom, určený pre pavúka nájsť a použiť) a kód , S využitím týchto informácií, pavúk poskytuje profil na vyhľadávače. Pavúk potom zhromažďuje doplňujúce informácie v nadväznosti na hypertextové odkazy na webové stránky, čo mu dáva lepšiu zber dát o týchto stránkach. To je dôvod, že má väzby na svojej webovej stránke - a ešte lepšie, iné webové stránky odkazujú na váš. - Je tak užitočné, ako sa vaše webové stránky nájdený vyhľadávačov

Pavúky majú štyri základné režimy zhromažďovanie informácií. Jeden druh pavúka sa používa iba na vytvorenie frontu webových stránok, ktoré majú byť prehľadané inými pavúkmi. Tento pavúk, pracujúci v režime "voľby", je stanovenie priorít, ktoré stránky prejsť a kontrole, či už bola stiahnutá skoršie verzie stránky. Druhý režim je spider určený predovšetkým prejsť stránok, ktoré už boli preležaniu pavúka. Tento režim sa nazýva "re-Navštívenia Panny Márie." Niektoré vyhľadávače sa obávajú, že stránka bola príliš dôkladne navštívená inými pavúky, takže oni používajú režim pavúk s názvom "zdvorilosť", ktorý obmedzuje lezie prepracovaný stránky. A konečne, "paralelizácie" umožňuje pavúk koordinovať svoje zberu dát úsilie s ďalšími vyhľadávačov, ktoré sa plazil rovnakej stránke.