Arquivo robots.txt, a importância para o SEO do seu site

Antes de mais nada queremos te explicar o que é o arquivo robots.txt para depois te mostrar como é importante para o SEO do seu site, incluindo algumas considerações técnicas também. O arquivo robots.txt fica no servidor do site e indica aos robôs do Google (ou outros buscadores) o que deve ou não ser indexado do site. Por exemplo, páginas de login da área do administrador, etc.

Lembrando que as principais funções do Google são rastrear, indexar e posicionar, como comentamos na nossa live sobre SEO. Assim, com esse arquivos você conseguirá possibilitar apenas as páginas que realmente quer que o Google indexe. Isso torna o seu site melhor nos pontos de SEO.

Hoje o Google disponibiliza para que você realize testes e conferir se está tudo ok com o seu arquivo robots.txt após tê-lo publicado no seu site. Uma ferramenta associada ao Search Console, acesse aqui.

Segurança

Agora, do ponto de vista da segurança, o arquivo robots.txt divide opiniões. Assim, se configurado de forma incorreta, pode expor informações sensíveis para invasores com muita facilidade. Porém se configurado corretamente se torna um excelente aliado para melhorar a segurança do seu site como um todo.

Como foi citado no início do post, as diretivas presentes nesse arquivo dizem para os buscadores o que deve ser indexado e o que não deve ser indexado. Dessa forma, podemos desabilitar a indexação da página de login do painel administrativo do WordPress, por exemplo. E é aqui que mora o perigo. Como esse arquivo é acessível pelo navegador, pode servir de coleta de informações para atacantes. Então não é interessante bloquear indexação de partes mais sensíveis utilizando o robots.txt.

Exemplos de uso do robots.txt

Alguns exemplos indicados por algumas instituições e empresas para você utilizar em seu site WordPress.

WordPress.org

User-agent: *
Disallow: /search
Disallow: /support/search.php
Disallow: /extend/plugins/search.php
Disallow: /plugins/search.php
Disallow: /extend/themes/search.php
Disallow: /themes/search.php
Disallow: /support/rss
Disallow: /archive/

WordPress.com

Sitemap: https://wordpress.com/sitemap.xml
User-agent: IRLbot
Crawl-delay: 3600

User-agent: *
Disallow: /next/

User-agent: *
Disallow: /mshots/v1/

# har har
User-agent: *
Disallow: /activate/

User-agent: *
Disallow: /public.api/

# MT refugees
User-agent: *
Disallow: /cgi-bin/

User-agent: *
Disallow: /wp-admin/

Iniciativa WordPress seguro

User­-agent: *
Disallow: /feed/ 
Disallow: /trackback/ 
Disallow: /wp­-admin/ 
Disallow: /wp­-content/ 
Disallow: /wp­-includes/ 
Disallow: /xmlrpc.php 
Disallow: /wp­

Conclusão

Por fim, te convidamos a testar o robots.txt. no seu site. Sabemos que nem sempre os resultados serão extremamente perceptíveis mas é importante avaliar se pode haver impactos positivos no seu site em SEO.

Aproveite e confira outros conteúdos por aqui sobre SEO, aqui.

Abraços aztekitos.