Indexabilidade: robots.txt e meta robots

O que são o robots.txt e o meta robots?

O robots.txt é um arquivo de texto simples localizado no diretório raiz do site (por exemplo, https://exemplo.com/robots.txt) e que indica aos robôs dos mecanismos de busca quais diretórios ou páginas eles podem rastrear (crawl). Já a tag meta robots está localizada na seção HTML <head> e controla se uma página deve ou não ser indexada nos resultados de busca, mesmo que já tenha sido rastreada. Ambos atuam em níveis diferentes: um responde à pergunta “você pode entrar por esta porta?”, enquanto o outro responde “depois de entrar, você pode adicionar esta sala ao catálogo?”.

Essa distinção costuma ser confundida porque ambas são discutidas sob o título “gerenciamento de bots”, mas suas esferas de atuação são totalmente diferentes, e uma combinação incorreta pode gerar resultados indesejados.

O robots.txt é, na verdade, uma “solicitação de regras”, não uma medida de segurança: bots bem-intencionados (como o Googlebot) seguem essas regras, mas bots mal-intencionados podem ignorar completamente o arquivo. Por isso, tentar “ocultar” conteúdo confidencial ou sensível com o robots.txt é uma suposição de segurança equivocada.

Por que isso é importante?

A confusão entre esses dois mecanismos pode prejudicar seriamente a visibilidade do site. Se uma página for bloqueada para rastreamento pelo robots.txt, o mecanismo de busca nunca poderá ver a tag noindex — já que, para ver a tag, ele precisa primeiro rastrear a página — e a página pode permanecer acidentalmente no índice (geralmente como uma entrada sem título ou descrição).

Quando usadas corretamente, essas duas ferramentas permitem que você gerencie com precisão qual conteúdo aparecerá nos resultados de busca: o robots.txt mantém o orçamento de rastreamento longe de áreas irrelevantes (por exemplo, painel de administração, páginas de resultados de busca), enquanto o meta robots garante que determinadas páginas (por exemplo, página de agradecimento, variações de listagens filtradas) sejam excluídas do índice.

Em sites grandes, o orçamento de rastreamento é um recurso limitado: o bot rastreia apenas uma parte do site a cada visita. Bloquear áreas sem valor (por exemplo, páginas de resultados de pesquisa interna, combinações de filtros) com o robots.txt garante que o bot dedique seu tempo às páginas realmente importantes.

Como corrigir isso?

Bloqueie no robots.txt apenas os diretórios que você realmente não deseja que sejam rastreados (por exemplo, painéis de administração, páginas de carrinho).
Se você quiser remover uma página do índice, não use o robots.txt; use a tag <meta name="robots" content="noindex">.
Lembre-se de que, para que o noindex funcione, a página precisa estar aberta para rastreamento pelo robots.txt.
Adote o princípio de uma única fonte de verdade: não repita o mesmo sinal de forma contraditória por meio de vários métodos.
Verifique o arquivo robots.txt regularmente; podem existir restrições de teste ou de staging que tenham sido deixadas acidentalmente no ambiente de produção.
Use o relatório de cobertura (coverage) do Google Search Console para verificar regularmente quais páginas foram marcadas como “não rastreadas” ou “excluídas devido a noindex”.

Exemplo

User-agent: *
Disallow: /admin/
Allow: /

<meta name="robots" content="noindex, follow">

Exemplo ruim: bloquear primeiro uma página com Disallow: /promocao/ no robots.txt e, em seguida, adicionar a tag <meta name="robots" content="noindex"> à própria página — como o bot nunca rastreará a página, a tag noindex não funcionará, e a página ainda poderá aparecer no índice.

Erros comuns

Disallow: / e, sem querer, bloquear o rastreamento de todo o site.
Bloquear uma página no robots.txt e, ao mesmo tempo, adicionar a tag noindex (a tag não será reconhecida, e a página poderá permanecer no índice).
Esquecer de transferir o arquivo robots.txt restritivo do ambiente de teste/staging para o site ativo.
Adicionar páginas importantes acidentalmente à lista “Disallow”.
Após a migração ou reformulação do site, transferir as regras antigas do robots.txt para o novo site sem revisá-las; uma restrição que fazia sentido no site antigo pode abranger páginas importantes na nova estrutura.
Não definir uma política de indexação consistente para páginas que geram parâmetros de paginação, filtragem ou ordenação; quando parte dessas páginas permanece no índice e outra parte é excluída, isso gera um sinal confuso em todo o site.
Usar a tag canonical (canônica) e o atributo noindex de forma conflitante na mesma página; por exemplo, definir uma página como noindex enquanto indica outra como canônica gera sinais confusos.
Esquecer que um único arquivo robots.txt é suficiente para todo o site e tentar restrições de acesso separadas em subdiretórios; o robots.txt é válido apenas no diretório raiz.
No relatório do Seoraporu.co, sinais contraditórios como “bloqueado pelo robots.txt, mas também há noindex” são sinalizados separadamente; em vez de manter os dois na mesma página, escolha apenas um.