Indexabilidad: robots.txt y meta robots

¿Qué son el archivo robots.txt y la etiqueta meta robots?

El archivo robots.txt es un archivo de texto plano que se encuentra en el directorio raíz del sitio web (p. ej. https://ejemplo.com/robots.txt) y que indica a los robots de los motores de búsqueda qué directorios o páginas pueden rastrear (crawl). Por su parte, la etiqueta meta robots se encuentra en la sección HTML <head> de la página y controla si una página, aunque haya sido rastreada, se indexará o no en los resultados de búsqueda. Ambos funcionan en niveles diferentes: uno responde a la pregunta «¿puedes entrar por esta puerta?», y el otro a «¿puedes añadir esta habitación al catálogo una vez que hayas entrado?».

Esta distinción suele confundirse porque ambas se tratan bajo el título de «gestión de bots», pero sus ámbitos de aplicación son totalmente diferentes y una combinación errónea puede dar lugar a resultados no deseados.

El archivo robots.txt es, en realidad, una «solicitud de normas», no una medida de seguridad: los bots bienintencionados (como Googlebot) cumplen estas normas, pero los bots malintencionados pueden ignorar el archivo por completo. Por eso, intentar «ocultar» contenido confidencial o sensible mediante el archivo robots.txt es una suposición errónea en materia de seguridad.

¿Por qué es importante?

Confundir estos dos mecanismos puede perjudicar gravemente la visibilidad del sitio web. Si se impide el rastreo de una página mediante el archivo robots.txt, el motor de búsqueda no puede aplicar la etiqueta noindex, ya que para verla primero debe rastrear la página, y la página puede permanecer por error en el índice (normalmente como una entrada sin título ni descripción).

Sin embargo, cuando se utilizan correctamente, estas dos herramientas te permiten gestionar con precisión qué contenido aparecerá en los resultados de búsqueda: el archivo robots.txt mantiene el presupuesto de rastreo alejado de las áreas irrelevantes (por ejemplo, el panel de administración o las páginas de resultados de búsqueda), mientras que la etiqueta meta robots garantiza que determinadas páginas (por ejemplo, la página de agradecimiento o las variaciones de listados filtrados) se excluyan del índice.

En los sitios web grandes, el presupuesto de rastreo es un recurso limitado: el bot solo rastrea una parte del sitio en cada visita. Bloquear las áreas sin valor (por ejemplo, páginas de resultados de búsqueda interna o combinaciones de filtros) mediante el archivo robots.txt garantiza que el bot dedique su tiempo a las páginas realmente importantes.

¿Cómo solucionarlo?

Bloquea mediante el archivo robots.txt únicamente los directorios que realmente no quieras que se rastreen (por ejemplo, paneles de administración o páginas de carrito).
Si quieres eliminar una página del índice, no lo hagas mediante el archivo robots.txt, <meta name="robots" content="noindex"> .
Recuerda que, para que «noindex» funcione, la página debe estar abierta al rastreo en el archivo robots.txt.
Adopta el principio de «una sola fuente de verdad»: no repitas la misma señal de forma contradictoria mediante varios métodos.
Revisa periódicamente el archivo robots.txt; puede que haya restricciones de pruebas o de entorno de desarrollo que se hayan quedado por error en el entorno de producción.
Utiliza el informe de cobertura de Google Search Console para comprobar periódicamente qué páginas están marcadas como «no rastreadas» o «excluidas por noindex».

Ejemplo

User-agent: *
Disallow: /admin/
Allow: /

<meta name="robots" content="noindex, follow">

Mal ejemplo: bloquear primero una página Disallow: /promocion/ en el archivo robots.txt y, a continuación, <meta name="robots" content="noindex"> , ya que el bot nunca la rastreará y, por lo tanto, la etiqueta «noindex» no servirá de nada; la página seguirá apareciendo en el índice.

Errores comunes

Disallow: / y, sin querer, bloquear el rastreo de todo el sitio.
Bloquear una página mediante el archivo robots.txt y, además, añadirle la etiqueta «noindex» (la etiqueta no se tiene en cuenta y la página puede permanecer en el índice).
Olvidarse de trasladar el archivo robots.txt restrictivo del entorno de pruebas o staging al sitio web en producción.
Añadir por error páginas importantes a la lista «Disallow».
Trasladar las antiguas reglas del archivo robots.txt al nuevo sitio web sin revisarlas tras una migración o un rediseño; una restricción que tenía sentido en el sitio antiguo puede afectar también a páginas importantes en la nueva estructura.
No establecer una política de indexación coherente en las páginas que generan parámetros de paginación, filtrado u ordenación; cuando parte de este tipo de páginas permanece en el índice y otra parte queda excluida, se genera una señal confusa en todo el sitio.
Utilizar de forma contradictoria la etiqueta «canonical» y «noindex» en la misma página; por ejemplo, marcar una página como «noindex» mientras se indica otra como «canonical» genera señales confusas.
Olvidar que basta con un único archivo robots.txt para todo el sitio e intentar aplicar restricciones de acceso por separado en los subdirectorios; el archivo robots.txt solo es válido en el directorio raíz.
En el informe de Seoraporu.co, las señales contradictorias como «bloqueado por robots.txt pero también tiene noindex» se señalan por separado; en lugar de mantener ambas en la misma página, elige solo una.