robots.txt como funciona

robots.txt como funciona

Erros comuns ao relação ao robots.txt.

Segundo ele muitas pessoas queixavam-se que bloqueavam a indexação pelos dos robots do google através do robots.txt mas que o endereço aparecia na mesma nas pesquisas, segundo esses utilizadores os robots não seguiam o que estava no ficheiro.

Mas isso não é bem assim. Os robots tal como está no ficheiro robots.txt não vão indexar o conteúdo da página bloqueada mas vão guardar o link da página. Depois quando essa página aparecer nas pesquisas apenas aparecerá o endereço sem qualquer descrição como é normal acontecer nas pesquisas. O link fica guardado até porque possivelmente terá links de chegada vindos de outros sites mas o conteúdo não será indexado e não aparecerá nas pesquisas.

Existem ainda alguns sites que mesmo tendo bloqueado os robots aparece uma descrição do mesmo. A descrição embora possa parecer que seja obtida através do próprio site é a descrição que o site tem num directório por exemplo. Assim quem utiliza o motor de busca vai obter informações através da descrição e é cumprido o que o dono do site quer.

Para quem quer que determinada página ou site saiam dos resultados deve deixar o bot do google fazer um “crawl” da página e depois usar uma meta tag noindex.

Eu como muitos outros pensava que o robots.txt funciona de uma outra forma e não assim. Estamos sempre a aprender neste mundo.

E vocês sabiam disto?