Qué significa bloqueada por robots.txt
Search Console dice que algunas páginas están bloqueadas por robots.txt. Eso significa que tu archivo robots.txt pide a Google que no las rastree. Así que Google no puede leerlas y casi nunca salen en la búsqueda.
A veces es justo lo que quieres, por ejemplo para un carrito o una zona de administración. Pero si el informe muestra tu página de inicio, tu tienda o tus artículos, algo falla en el archivo.
Paso 1: encuentra la línea que bloquea
Abre el archivo robots.txt de tu sitio. Siempre está en la raíz, por ejemplo https://example.com/robots.txt. En nuestra demo tenía solo dos líneas:
User-agent: *
Disallow: /Esas dos líneas bloquean todo el sitio para todos los rastreadores. Después, pega el archivo en nuestro Robots.txt Validator gratuito y prueba algunas direcciones. Muestra qué regla bloquea cada página, así ves al culpable enseguida.
De dónde sale esta línea
Casi siempre es un resto de un sitio de pruebas, donde bloquearlo todo tenía sentido. Cuando el sitio pasó a producción, el archivo vino con él.
Paso 2: arregla el archivo
Después, sustituye la línea que bloquea. Bloquea solo lo que debe quedar fuera de la búsqueda, como el carrito y el pago, y añade la dirección de tu sitemap:
User-agent: *
Disallow: /cart/
Disallow: /checkout/
Sitemap: https://example.com/sitemap.xmlGuarda el archivo en tu panel de hosting o súbelo por FTP. Luego abre el archivo en vivo en el navegador para confirmar que están las reglas nuevas.
Luego vuelve a pasar el validador. En nuestra demo, el inicio, la tienda y la página sobre nosotros quedaron permitidos, y el carrito siguió bloqueado, tal como estaba previsto.
Ejemplos de robots.txt
Úsalos como punto de partida y luego pruébalos con el validador. Además, nuestro Robots.txt Generator puede crear el archivo por ti.
Permitirlo todo
User-agent: *
Disallow:
Sitemap: https://example.com/sitemap.xmlUn sitio WordPress típico
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/sitemap_index.xmlBloquear una carpeta a un rastreador
User-agent: Googlebot-Image
Disallow: /private-photos/Cómo lee Google las reglas
Google sigue el grupo de su propio agente, o el grupo * si no hay otro. Dentro de un grupo gana la regla más específica. Por eso Allow: /wp-admin/admin-ajax.php gana a Disallow: /wp-admin/ para ese archivo.
robots.txt no es noindex
Algo que se confunde a menudo: robots.txt frena el rastreo, no la indexación. Si otros sitios enlazan una página bloqueada, Google aún puede mostrar su dirección, aunque sin descripción.
Para dejar una página fuera de Google, usa una etiqueta meta noindex. Y deja que Google rastree la página, para que vea la etiqueta. Dicho de otro modo, nunca bloquees una página en robots.txt y le pongas noindex a la vez.
Paso 3: pide a Google que vuelva a rastrear
Por último, abre Google Search Console. En el informe de indexación de páginas, abre el grupo "Bloqueada por robots.txt" y pulsa Validar corrección. Entonces Google vuelve a rastrear esas páginas.
La validación puede tardar de unos días a unas semanas. Mientras tanto, puedes usar la Inspección de URLs en tu página más importante y solicitar su indexación.
WordPress y sitios de pruebas
WordPress tiene un ajuste llamado "Disuadir a los motores de búsqueda de indexar este sitio" en Ajustes, Lectura. En un sitio de pruebas es útil. Sin embargo, si sigue activo tras el lanzamiento, tu sitio en vivo pide a los buscadores que no entren.
Por eso, tras cada lanzamiento o migración, revisa esa casilla, el archivo robots.txt y las etiquetas meta robots. Una lista corta ahorra semanas de tráfico perdido.
Errores comunes
- Dejar
Disallow: /de un sitio de pruebas tras el lanzamiento. - Bloquear carpetas de CSS y JavaScript, de modo que Google no puede mostrar la página.
- Usar robots.txt para ocultar una página que debería llevar noindex.
- Olvidar la barra final, así que
Disallow: /blogtambién bloquea /blog-tips/. - Poner robots.txt en una subcarpeta; solo funciona en la raíz.
En resumen: encuentra la línea que bloquea, bloquea solo lo privado y pide a Google que vuelva a rastrear. Para cada regla en detalle, consulta la guía de Google sobre robots.txt.
Preguntas y respuestas
¿Qué significa bloqueada por robots.txt?
Tu archivo robots.txt pide a Google que no rastree esas páginas, así que no puede leerlas y casi nunca las muestra.
¿Cómo arreglo páginas bloqueadas por robots.txt?
Encuentra la línea Disallow que las afecta, quítala o acótala, guarda el archivo y luego pulsa Validar corrección en Search Console.
¿Dónde está mi archivo robots.txt?
En la raíz de tu dominio, por ejemplo https://example.com/robots.txt. Las subcarpetas no cuentan.
¿Cómo pruebo mi robots.txt?
Pégalo en nuestro Robots.txt Validator gratuito y prueba las direcciones que te importan. Así ves qué regla permite o bloquea cada una.
¿robots.txt quita una página de Google?
No, porque frena el rastreo, no la indexación. Usa una etiqueta noindex y deja que Google rastree la página.
¿Por qué Google indexa una página bloqueada por robots.txt?
Porque otros sitios la enlazan y Google conoce la dirección. La muestra sin descripción, ya que no puede leer la página.
¿Qué hace Disallow: /?
Bloquea todo el sitio para los rastreadores de ese grupo. En un sitio en vivo casi siempre es un error.
¿Qué robots.txt es bueno para WordPress?
Bloquea /wp-admin/, permite /wp-admin/admin-ajax.php y añade la línea del sitemap. Además, no bloquees CSS ni JavaScript.
¿Debo bloquear CSS y JavaScript?
No, porque Google los necesita para mostrar la página y juzgar su diseño y su versión móvil.
¿Cuánto tarda Google en volver a rastrear?
A menudo unos días. La validación en Search Console puede tardar unas semanas si hay muchas páginas.
¿Qué es la directiva Allow?
Permite a un rastreador entrar en una ruta dentro de una carpeta bloqueada. Gana la regla más específica.
¿Puedo bloquear rastreadores de IA en robots.txt?
Sí, nombrando su agente, como GPTBot, con Disallow: /. Los rastreadores que cumplen las normas lo respetan.
¿robots.txt protege archivos privados?
No, porque es público y solo es una petición. Protege los archivos privados con contraseña.
¿Qué es la línea Sitemap en robots.txt?
Una línea como Sitemap: https://example.com/sitemap.xml que indica a los rastreadores dónde está tu sitemap.
¿El ajuste de WordPress para disuadir a los buscadores afecta a robots.txt?
Sí, porque añade una señal noindex y puede cambiar el robots.txt virtual. Desactívalo tras el lanzamiento.
¿robots.txt distingue mayúsculas?
Las rutas sí. Disallow: /Blog/ no bloquea /blog/, así que respeta las mayúsculas de tus URL.
¿Qué pasa si no hay robots.txt?
Los rastreadores tratan todo el sitio como permitido. Para la mayoría de sitios pequeños está bien.
¿Un robots.txt malo puede bajar mis posiciones?
Sí. Si bloquea páginas importantes, Google no puede leerlas y con el tiempo salen de la búsqueda.
¿Cómo creo un archivo robots.txt?
Usa nuestro Robots.txt Generator gratuito y luego sube el archivo a la raíz de tu sitio.
¿El SEO Checker lee robots.txt?
Sí. Nuestro SEO Checker muestra tu robots.txt y avisa cuando bloquea la página que pruebas.