Já criou o seu robots.txt?

O “Robots.txt” é um ficheiro muito importante que deve ser colocado no directório raiz do site ou blogue, pois é o primeiro ficheiro que os programas de indexação dos motores de busca procuram.

Por exemplo, quando um crawler vem verificar o endereço www.xigli.com, a primeira coisa que faz é procurar o www.xigli.com/robots.txt. Este ficheiro é publico, e pode verificar o robots.txt de qualquer site digitando o seu endereço seguido de /robots.txt.
Este indica quais as páginas e ficheiros que, convenientemente, não devem ser indexados, tais como páginas de administração, directórios de imagens, páginas de categorias, de contacto, arquivo, etc, permitindo melhorar a indexação do site ou blogue e obter melhores posições nas páginas de resultados dos motores de busca para o conteúdo que realmente queremos indexar.

Já criou o seu robots.txt?

Exemplos de como configurar o Robots.txt

No campo “User-agent “, o asterisco significa, que todos os crawlers devem seguir as regras das linhas seguintes.

Este exemplo permite a indexação da totalidade do site:

User-agent: *
Disallow:

Este exemplo retirado do www.xigli.com impede a indexação de alguns directórios do blogue:

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /wpau-backup/
Disallow: /sites/
Disallow: /sobre/
Disallow: /contacto/
Disallow: /arquivo/
Disallow: /concursos/
Disallow: /rede-social/
Disallow: /tags/

Este exemplo impede a indexação da totalidade do site:

User-agent: *
Disallow: /

Tem mais dicas para o robots.txt? Partilhe nos comentários.

Tags: robots.txt, Tutoriais