Meta tagy
Meta tagy umožňujú vlastník stránky zadať kľúčové slová a pojmy, za ktorých bude strana indexované. To môže byť užitočné, a to najmä v prípadoch, keď sa slova na stránke môže mať dvojlôžkových a trojlôžkových významy - meta tagy môžu byť vodítkom pre vyhľadávače pri výbere, ktorý z niekoľkých možných významov pre tieto slová je správny. Tam je, však, nebezpečenstvo vo viac než spoliehať na meta tagy, pretože neopatrný alebo bezohľadný majiteľ stránka môže pridať meta tagy, ktoré sa hodia veľmi obľúbených tém, ale nemajú nič spoločné so skutočným obsahom stránky. Pre ochranu proti tomu, bude pavúky korelujú meta tagy s obsah stránky, odmietať meta tagy, ktoré nezodpovedajú slov na stránke.
To všetko predpokladá, že majiteľ stránky v skutočnosti chce, aby to bolo zahrnuté do výsledkov činnosti vyhľadávače je. Mnohokrát, majiteľ stránky sa nechce to ukazovať na veľké vyhľadávače, alebo nechce aktivitu pavúka pristupujúce stránku. Zoberme si napríklad, hra, ktorá stavia nové, aktívne stránky zakaždým, keď oddiely stránke sú zobrazené alebo nové odkazy sú dodržiavané. Ak webový spider pristupuje jednu z týchto stránok, a začne po všetky odkazy na nové stránky, hra mohla pomýliť činnosť pre vysokorýchlostné ľudského hráča a vymknúť kontrole. Aby sa predišlo situáciám, ako je táto, protokol robot vylúčenie bol vyvinutý. Tento protokol, realizovaný v úseku meta-tagov na začiatku webové stránky, hovorí pavúka stránku opustiť sám. - Aby ani index slov na stránke, ani sa snažia dodržiavať svoje vzťahy
Budovanie Index
Akonáhle pavúky dokončili úlohu hľadanie informácií na webových stránkach (a my mali vziať na vedomie, že to je úloha, ktorá je vlastne nikdy dokončená - stále sa meniace povaha webe znamená, že pavúky sú stále prechádzanie) , vyhľadávač, musia ukladať informácie spôsobom, ktorý robí to užitočné. Tam sú dve kľúčové komponenty podieľať na výrobe získané dáta prístupná pre užívateľa:
V najjednoduchšom prípade, vyhľadávač mohol uložiť slovo a URL, kde bo
