Generador de robots.txt
El archivo que los rastreadores leen primero
Este generador de robots.txt convierte unas pocas opciones de menú en un archivo terminado. Primero elige una base y luego añade una regla por fila. El archivo de la derecha se reescribe a medida que avanzas, así que nunca adivinas la sintaxis.
- GratisPrecio
- 12Rastreadores incluidos
- 4Bases
- NingunaSubidas
Generador de robots.txt
Crea el archivo que los rastreadores leen primero — una regla por fila
Opcional, aunque merece la pena añadirla. Es la única línea que ayuda a un rastreador en lugar de restringirlo.
Tus reglas- Grupos
- 0
- Reglas
- 0
- Tamaño
- 0 B
Listo. Elige un punto de partida y el archivo se construirá solo.
Lo que te aporta un generador de robots.txt
Cada rastreador pide un archivo antes que cualquier otra cosa. Por eso ese único archivo da forma al resto de la visita.
La sintaxis es pequeña, pero castiga las erratas en silencio. Un generador de robots.txt elimina las conjeturas, porque los nombres de los rastreadores salen de una lista y no de tu memoria.
Una barra suelta puede ocultar un sitio entero. Por lo tanto, compensa construir el archivo con piezas probadas y leerlo antes de subirlo.
Durante veinticinco años este archivo no tuvo ningún estándar. El RFC 9309, que estandarizó robots.txt por fin lo puso por escrito en 2022.
Lo que controla de verdad este archivo
Robots.txt responde a una pregunta: ¿puede un rastreador pedir esta dirección? No dice nada sobre el posicionamiento, y tampoco sobre la indexación.
El archivo tiene que estar en la raíz del dominio. Es decir, example.com/robots.txt funciona, mientras que example.com/blog/robots.txt se ignora.
Además, las reglas distinguen mayúsculas y minúsculas. Ya que /Blog/ y /blog/ son dos rutas distintas, escríbelas tal como las sirve tu sitio.
Cuál manda si dos reglas encajan a la vez
Un rastreador obedece a un solo grupo, el cuyo user-agent mejor le coincide. Así, un grupo para Googlebot anula el grupo para todos los rastreadores.
Dentro de ese grupo, gana la ruta coincidente más larga. Por ejemplo, Allow: /wp-admin/admin-ajax.php gana a Disallow: /wp-admin/, porque es más larga y más exacta.
Cuando dos reglas empatan en longitud, gana Allow. Sobre todo, aquí el orden no decide nada, por ordenado que parezca tu archivo.
Cerrar el paso a un bot no esconde la página
Una dirección bloqueada puede seguir apareciendo en los resultados, sin descripción, si otras páginas enlazan a ella. Usa una etiqueta noindex para dejar una página fuera del índice. Mientras tanto, recuerda que la página debe seguir siendo rastreable; de lo contrario, nadie lee nunca la etiqueta.
En esta página
- La herramienta
- Lo que te aporta un generador de robots.txt
- Tu robots.txt con el generador, paso a paso
- Lo que hace bien este generador de robots.txt
- Reglas que merece la pena seguir siempre
- Tres formas en que este archivo sale mal
- Preguntas frecuentes sobre robots.txt
- Termina el trabajo con estas
Sigue leyendo
Tu robots.txt con el generador, paso a paso
Cuatro pasos cortos y ninguna cuenta en ellos. De hecho, la primera elección hace casi todo el trabajo por ti.
- 1
Elige una base
Escoge un sitio abierto, un sitio WordPress, una tienda o un bloqueo total. Cada opción añade las reglas que le convienen.
- 2
Ajusta las filas
Cada fila contiene un rastreador, un veredicto y una ruta. Añade filas, bórralas o deja la base tal cual.
- 3
Añade la línea del sitemap
Pega la dirección completa de tu sitemap. Es la única línea aquí que ayuda a un rastreador en lugar de cerrarle el paso.
- 4
Copia o descarga
Pulsa Copiar archivo o guárdalo como robots.txt. Después colócalo en la carpeta raíz de tu dominio.
Lo que hace bien este generador de robots.txt
Casi todos los generadores te dejan un cuadro vacío y que te las apañes. En cambio, este reduce las opciones hasta que cometer una errata resulta difícil.
Los nombres de rastreadores salen de una lista
GoogleBot con B mayúscula no coincide con nada. Por eso los nombres están en un desplegable, escritos como los escriben los propios rastreadores.
Un interruptor para los rastreadores de IA
Doce rastreadores de entrenamiento entran juntos en el archivo. Por lo tanto, no tienes que buscar cada nombre tú mismo.
Notas que aclaran cada línea
Cada grupo puede llevar una nota breve encima. Dentro de seis meses, esa nota es lo que impide que alguien borre la línea.
Agrupación bien hecha
Las reglas para el mismo rastreador van bajo un solo encabezado. Así, la herramienta las reúne en lugar de repetir la línea user-agent.
Un contador de tamaño en directo
Google lee los primeros 500 kilobytes y se detiene. Ya que los archivos reales quedan muy por debajo, el contador sirve simplemente para tranquilizar.
Todo se queda en esta pestaña del navegador
Tu navegador escribe cada línea de este archivo. Como resultado, tus rutas nunca llegan a un servidor, ni al nuestro ni al de nadie.
Reglas que merece la pena seguir siempre
El archivo es corto, así que los hábitos también lo son. Aun así, cada uno evita un tipo concreto de mal día.
- Léelo antes de subirlo. Busca en la salida una línea Disallow: / suelta. Como esa única barra bloquea todo el sitio, merece diez segundos.
- Nombra siempre el sitemap. La línea Sitemap queda fuera de todos los grupos, así que se aplica a todos los rastreadores. Por lo tanto, una línea sirve para todos.
- Nada confidencial debe aparecer ahí. Cualquiera puede abrir tu robots.txt en un navegador. En lugar de listar una carpeta privada, protégela con contraseña.
- No bloquees tu CSS. Google renderiza las páginas antes de juzgarlas. Si la hoja de estilos está bloqueada, la página que ve no es la que ven tus visitantes.
- Olvida crawl-delay para Google. Google ignora esa línea por completo. En cambio, Bing y Yandex sí la leen, así que úsala solo cuando uno de ellos te esté saturando.
- Versiónalo con tu código. Guarda el archivo en tu repositorio junto a todo lo demás. Entonces un cambio inesperado aparece en un diff en lugar de en tu tráfico.
Tres formas en que este archivo sale mal
Cada una parece inofensiva en un editor. Sin embargo, cada una ha costado en silencio el tráfico de sitios reales.
Publicar el archivo de pruebas
Un servidor de pruebas lo bloquea todo, con toda razón. Sin embargo, ese archivo acaba viajando a producción con el resto del código.
Usarlo para ocultar una página
Bloquear una página no la quita de las búsquedas. En lugar de adivinar, añade una etiqueta noindex y deja entrar al rastreador para que la lea.
Confiarle la seguridad
Los rastreadores educados lo obedecen y nadie más tiene por qué hacerlo. Así que trátalo como una señal de tráfico, nunca como un candado.
Preguntas frecuentes sobre robots.txt
¿Dónde va el archivo terminado?
En la raíz de tu dominio, como example.com/robots.txt. Los rastreadores lo buscan ahí y en ningún otro sitio. Por eso una copia en una subcarpeta no hace nada, por correcto que sea su contenido.
¿Hace falta en cualquier web?
No. Si falta el archivo, simplemente todo se puede rastrear, algo que va bien a muchos sitios pequeños. Aun así, conviene tener uno, porque lleva la línea del sitemap y te da un lugar donde añadir una regla más adelante.
¿Una regla disallow quita una página de Google?
No de forma fiable. Si otros sitios enlazan a esa dirección, puede aparecer como resultado sin descripción. Por lo tanto, usa una etiqueta noindex cuando quieras que una página desaparezca, y déjala rastreable para que se lea la etiqueta.
¿Funcionan los comodines?
Google, Bing y Yandex entienden * para cualquier secuencia de caracteres y $ para el final de una dirección. Sin embargo, los rastreadores antiguos o pequeños quizá no. En resumen, los comodines son seguros para los buscadores que importan.
¿Conviene cerrar el paso a los bots que entrenan IA?
Aquí decide más el negocio que la técnica. Bloquearlos protege tus textos de los conjuntos de entrenamiento, aunque también puede reducir tu visibilidad en las respuestas de IA. En cualquier caso, el interruptor está ahí.
¿Se sube algo cuando uso esto?
No. La página nunca llama a un servidor mientras trabajas. Tu navegador guarda las reglas, construye el texto y te entrega la descarga, así que nada de la estructura de tu sitio se envía a ninguna parte.
Termina el trabajo con estas
Estas tres encajan de forma natural con esta. Además, ninguna pide una cuenta.
Validador de robots.txt
Pega un archivo y averigua qué regla gana para cualquier ruta.
Abrir herramienta →Generador de sitemap XML
Convierte una lista de direcciones en el sitemap al que apunta este archivo.
Abrir herramienta →Generador de etiquetas canonical
Indica a los buscadores cuál es la dirección auténtica.
Abrir herramienta →
¿Listo para escribir tu robots.txt?
Elige una base, ajusta unas filas y copia el resultado. Tarda un minuto, no cuesta nada y tus rutas nunca salen de esta pestaña.