BotsList.ca… să ştii cine sunt


Serviciile de contorizare a vizitelor, tocmai pentru a nu da impresii/date false, nu iau în seamă (sau dacă iau în seamă o fac într-o secţiune separată) vizitele făcute de roboţi (bots, robots, spiders, crawlers… cum vreţi să îi numiţi). De aceea majoritatea webmasterilor, sau să zicem cei începători, nici nu sunt conştienţi de aceste vizite. Iar la un sit mic se poate să nu te intereseze prea mult. La un sit mare însă vizitele roboţilor trebuie să le controlezi (am mai povestit experienţa negativă a sitului nostru). De ce control? Pentru că sunt roboţi “buni” (folosiţi de Google, Yahoo! sau Microsoft pentru a-ţi indexa situl… dorim aşa ceva, nu?), dar şi roboţi “răi” (care sapă după informaţii precum adrese de email sau pentru duplicarea conţinutului).

imagine

Problema e că uneori şi roboţii “buni” pot avea efecte negative. Un sit de care mă ocup – nu acesta – are cam 5-6.000 de pagini văzute de vizitatori umani zilnic, iar Google, tot zilnic, răsfoieşte circa… 20.000 de pagini! Hei!!! Aceasta înseamnă desigur consum mare de resurse. Din fericire îi poţi cere marelui Google (din Google Webmasters Tools) să se mai potolească. Vedeţi eventual articolul Google Webmaster Tools şi roboţii. Bun. Acum însă doresc să vă vorbesc despre BotsList.ca, un fel de index de roboţi. Dacă de exemplu sesizaţi periodic “vizită” de la 72.14.199.148 aflăm de pe BotsList că este robotul folosit de Google pentru fluxurile RSS, adică pentru Google Reader. Similar puteţi afla informaţii despre mai orice robot vă interesează. Eu am blocat de exemplu un motor rusesc, Yandex.ru, care indexa inclusiv CNet.ro des, prea des, mult-mult prea des.

imagine

Contra cost, BotsList.ca vă oferă scripturi PHP şi ASP.NET pentru a vă implementa local un mecanism de detectare a roboţilor şi blocare a celor nedoriţi. Nu e de aruncat pe aşa ceva. Multe probleme se rezolvă cu ceva de genul

[PHP]order allow,deny
deny from 93.158.144.28
allow from all[/PHP]

în .htaccess (exemplu e chiar pentru Yandex – vezi aici). Succes!


Apreciază articolul:

1 stea2 stea3 stea4 stea5 stea (2 evaluări, media: 5,00 din 5)
Loading...Loading...

1 comentariu

  1. Birkoff spune:

    E bine de stiut si acest site http://www.botsvsbrowsers.com/ contine o lista cu semnaturi de boti si browsere.


Lasă un răspuns

Adresa ta de email nu va fi publicată. Câmpurile necesare sunt marcate *