Validador de robots.txt
Encuentra la línea que lo rompió
Pega tu archivo en este validador de robots.txt y encontrará la línea que lo rompió. Cada hallazgo aparece junto al archivo, citado con su número de línea. Luego escribe una ruta y mira exactamente qué regla la decide, y por qué esa regla ganó a las demás.
- GratisPrecio
- 20+Comprobaciones
- 4Rastreadores
- NingunaSubidas
Validador de robots.txt
Comprueba la sintaxis y luego prueba tus rutas contra tus propias reglas
Sirve cualquier dirección del sitio. Esta herramienta conserva solo el origen, porque robots.txt vive en la raíz y en ningún otro sitio.
- Errores
- 0
- Avisos
- 0
- Grupos
- 0
Una por línea. También funciona una dirección completa, y solo cuentan su ruta y su consulta. Cada línea se prueba contra el rastreador que elegiste arriba.
Escribe una ruta y esta línea dirá qué regla gana, y por qué.
Los veredictosListo. Pega un archivo, o descarga uno, y los hallazgos aparecerán a la derecha.
Lo que detecta un validador de robots.txt
Un robots.txt roto rara vez se anuncia. Los rastreadores se saltan la línea que no pueden leer y luego siguen como si nunca se hubiera escrito.
Por eso el daño aparece semanas después, en un gráfico de tráfico. Mientras tanto, el archivo sigue pareciendo perfectamente razonable en tu editor.
Este comprobador lee el archivo como lo hace un rastreador. Por lo tanto, una regla que no coincide con nada queda marcada en lugar de obedecerse en silencio.
Durante un cuarto de siglo, el archivo funcionó por convención. El RFC 9309, que estandarizó robots.txt convirtió esa convención en una norma.
Sintaxis válida frente a comportamiento correcto
Un archivo puede pasar todas las pruebas de sintaxis y aun así arruinar un lanzamiento. Al fin y al cabo, Disallow: / es código impecable.
Por eso esta herramienta tiene dos mitades. La mitad izquierda lee tus líneas, mientras que la derecha responde a una pregunta sobre una ruta.
Escribe /wp-admin/ y la línea del veredicto nombra la regla ganadora. En resumen, obtienes el resultado en lugar de una conjetura.
Errores que se esconden a la vista
Un espacio dentro de una ruta corta la regla en silencio. Todo lo que va después de ese espacio simplemente desaparece, así que la regla coincide con mucho más de lo que pretendías.
Una dirección web completa en una línea Disallow también falla. Ya que las rutas parten de la raíz del sitio, https://example.com/folder/ no coincide con nada.
Noindex en robots.txt dejó de funcionar en septiembre de 2019. Sin embargo, muchos archivos antiguos todavía llevan esa línea y su autor sigue confiando en ella.
Dos grupos para un mismo rastreador
Escribe User-agent: Googlebot dos veces y habrás creado una trampa. Un rastreador lee el primer grupo que lo nombra y luego ignora todos los posteriores. Así, el segundo conjunto de reglas nunca se aplica, aunque esté ahí mismo en el archivo. El comprobador detecta el duplicado y señala ambos números de línea.
En esta página
- La herramienta
- Lo que detecta un validador de robots.txt
- Cómo revisar tu robots.txt con el validador
- Lo que este comprobador hace distinto
- Hábitos que mantienen honesto este archivo
- Tres fallos que merece la pena buscar
- Preguntas sobre la revisión de robots.txt
- Otras utilidades que van de la mano
Sigue leyendo
Cómo revisar tu robots.txt con el validador
Pega, lee, prueba. Como la revisión se ejecuta mientras escribes, no hay ningún botón que esperar.
- 1
Pega el archivo completo
Copia todo desde example.com/robots.txt o abre el archivo desde tu disco. Los archivos parciales dan respuestas parciales.
- 2
Lee los hallazgos
Cada uno cita su línea y explica el arreglo. Primero van los errores, luego los avisos y después las notas de estilo opcionales.
- 3
Elige un rastreador
Googlebot, Bingbot y GPTBot siguen grupos distintos. Así que cambia entre ellos si tu archivo nombra más de uno.
- 4
Prueba una ruta real
Escribe una dirección como
/cart/. La línea del veredicto dice permitido o bloqueado, y nombra la regla que lo decidió.
Lo que este comprobador hace distinto
Muchos comprobadores muestran una marca verde y ahí se quedan. En cambio, este enseña su razonamiento en cada hallazgo.
Cada aviso señala su línea
Cada hallazgo cita la línea problemática junto a su número. Como resultado, la arreglas sin desplazarte arriba y abajo.
Explica al ganador
El veredicto nombra la regla exacta y su longitud. Ya que gana la coincidencia más larga, esa longitud es todo el argumento.
No se reescribe nada
Un comprobador que arregla tu archivo en silencio no te enseña nada. En lugar de parchearlo, este te dice qué cambiar.
Directivas muertas marcadas
Host, Clean-param y Noindex parecen reglas reales. Sin embargo, los rastreadores que te importan ya las ignoran.
Las notas de estilo son opcionales
Los espacios finales y el orden quedan tras un interruptor. Así, la vista por defecto solo muestra lo que de verdad rompe algo.
Tu archivo se queda en la pestaña
El analizador se ejecuta dentro de esta pestaña de principio a fin. Por eso un archivo pegado y las rutas que pruebas nunca llegan a un servidor.
Lee un archivo publicado
Escribe un dominio y este servidor lee su robots.txt por ti, porque ningún navegador puede leer otro sitio. Solo sale esa dirección.
Todos los rastreadores, no solo uno
La lista incluye cuarenta identificadores, desde Googlebot-Image hasta ClaudeBot. Cada uno lee un grupo distinto, y el veredicto cambia con él.
Varias URL en una sola prueba
Pega una columna de rutas y cada una recibe un veredicto, con la regla y la línea que lo decidieron. Además, la tabla se exporta como CSV.
Hábitos que mantienen honesto este archivo
Un robots.txt es lo bastante corto para leerlo cada vez que lo tocas. Aun así, unas cuantas rutinas atrapan el resto.
- Prueba las rutas que importan. Comprueba tu carrito, tu área de administración y un artículo normal. Si el artículo normal está bloqueado, para y arréglalo ya.
- Vuelve a probar tras cada subida a producción. Un paso de compilación puede sobrescribir este archivo sin avisar a nadie. Por eso pegarlo diez segundos compensa un mes de tráfico perdido.
- Fusiona los grupos duplicados. Un rastreador, un grupo. Como solo se aplica el primer grupo, un segundo es peso muerto que parece vivo.
- Escribe las rutas exactamente. La coincidencia distingue mayúsculas y no tolera espacios. Por lo tanto, /Cart/ y /cart/ son distintas, y un espacio termina la ruta antes de tiempo.
- Mantén el archivo pequeño. Google lee 500 kilobytes y se detiene. Ya que casi ningún archivo honesto se acerca, uno enorme suele significar basura generada.
- Arregla los errores antes que los avisos. Un error significa que un rastreador se saltó esa línea por completo. Un aviso significa que funcionó, aunque probablemente no como esperabas.
Tres fallos que merece la pena buscar
Estos tres aparecen una y otra vez en archivos reales. Además, cada uno es invisible hasta que alguien lo revisa.
Reglas por encima del primer grupo
Una línea Disallow escrita antes de cualquier línea User-agent no pertenece a nadie. Por eso todos los rastreadores pasan de largo.
Una ruta sin su barra
Disallow: admin/ es relativa, y los rastreadores no se ponen de acuerdo con las rutas relativas. En cambio, empieza siempre una ruta con una barra.
Dar por bueno un simple tic verde
Una sintaxis válida solo prueba que el archivo se puede leer. Sobre todo, prueba una ruta real antes de dar el trabajo por terminado.
Preguntas sobre la revisión de robots.txt
¿Qué falla en mi regla?
Normalmente porque antes coincidió algo más largo. Un rastreador elige la ruta coincidente más larga, no la primera del archivo. Por eso, pega aquí el archivo, escribe la ruta y la línea del veredicto nombrará la regla que ganó de verdad.
¿Lee esto mi archivo publicado por mí?
Sí. Escribe un dominio y este servidor lee su robots.txt, porque ningún navegador puede leer otro sitio. Solo viaja la dirección, y no se guarda ninguna copia de la respuesta. En cambio, si pegas un archivo, todo se queda en tu pestaña.
¿Con qué rastreador debo probar?
Empieza con Googlebot, ya que mueve la mayor parte del tráfico de búsqueda. Luego cambia a GPTBot si tu archivo tiene un grupo para rastreadores de IA, porque es fácil equivocarse sutilmente con esas reglas.
¿Merece la pena mantener Crawl-delay?
Google no le hace ningún caso. Sin embargo, Bing y Yandex sí lo leen, así que conserva la línea si uno de ellos rastrea demasiado. De lo contrario, es un estorbo inofensivo.
¿Qué significa una línea Disallow vacía?
Lo permite todo, justo lo contrario de lo que parece. La línea es válida y lleva veinte años confundiendo a la gente. En resumen, escribe Allow: / en su lugar y ahórrale dudas a la próxima persona.
¿Puedo revisar un archivo antes de publicarlo?
Sí, y no hay mejor ocasión. Pega la versión de tu repositorio, prueba las rutas que te importan y luego publica cuando los veredictos parezcan correctos.
Otras utilidades que van de la mano
Las tres siguen idénticas normas. Así que todas son gratis y ninguna pide un correo electrónico.
Generador de robots.txt
Crea un archivo nuevo desde plantillas en lugar de parchear uno antiguo.
Abrir herramienta →Mira qué código devuelve cada URL
Averigua qué recibe de verdad un rastreador de una dirección.
Abrir herramienta →Generador de etiquetas hreflang
Apunta cada idioma a su propia versión, sin erratas.
Abrir herramienta →
Pega tu archivo y descúbrelo
Los hallazgos aparecen mientras escribes, y una columna de rutas tarda un segundo más. Un archivo pegado nunca sale de tu pestaña y, en cualquier caso, no se guarda nada.