Por qué un rastreo se detiene o se bloquea
Si tu rastreador web se bloquea, esta guía te ayuda. Explica cómo rastrear un sitio sin que te bloqueen y cómo resolver los otros fallos más habituales del Denwix SEO Crawler. Además, cada solución trae un vídeo corto, así que puedes ver los clics y no solo leerlos.
Casi todos los problemas tienen una de tres causas. Primero, el servidor dice que no: un firewall responde con 403 o 429. Luego, el crawler no ve los enlaces, porque los crea un script o el alcance es demasiado estrecho. Por último, un límite corta el rastreo, como las 1.000 URL del plan Free.
Por eso conviene empezar por el síntoma. Muchas filas 403 indican un bloqueo. Un rastreo que termina tras una página apunta a la dirección, a robots.txt o al alcance. Y un rastreo que para justo en 1.000 URL es el plan Free, no un error. Las secciones siguientes van en ese orden.
En resumen, casi nunca hace falta reinstalar nada. Uno o dos ajustes en Configuration resuelven la mayoría de los casos. Y si nada funciona, la app guarda un informe de depuración para nuestro equipo de soporte.
Cómo rastrear un sitio sin que te bloqueen
Una respuesta 403 Forbidden significa que el servidor entendió la petición, pero la rechazó. El estado 403 suele venir de un firewall, de una regla del CDN o de un plugin de seguridad. Ve muchas peticiones rápidas desde una misma dirección y decide que son de un bot.
Vídeo: soluciona los errores 403 de un rastreo
Baja la velocidad en Configuration, Speed, y luego cambia el User-Agent o permite el crawler en tu firewall.
Baja la velocidad del rastreo
Abre Configuration → Speed. Por defecto, el crawler usa 6 hilos, 3 por host, con una pausa de 120 ms entre peticiones al mismo host. Ese ritmo va bien en casi todos los servidores. Sin embargo, un firewall estricto puede tomarlo como un ataque.
Así que pon Max threads per host en 1 o 2. Luego sube Delay between requests per host a 1.000 o 2.000 ms. Deja marcada la opción Respect robots.txt crawl-delay, porque algunos sitios piden ahí una pausa. Después vuelve a iniciar el rastreo y mira los códigos de estado.
Cambia el User-Agent o permite el crawler
Este rastreador web se identifica con honestidad como DenwixSEOCrawler/1.0. Algunos firewalls bloquean cualquier bot desconocido solo por ese nombre. En ese caso, abre Configuration → User-Agent y elige otro preset, o escribe tu propia cadena.
En tu propio sitio, la solución más limpia es una regla de permiso. Añade el User-Agent del crawler o tu IP al firewall, al CDN o al plugin de seguridad. Además, un sitio de pruebas puede pedir contraseña. Para ello, añade la cabecera en Configuration → HTTP Header, y el crawler la envía en cada petición.
429 Too Many Requests
Un 429 es una versión educada del mismo problema: el servidor te pide que vayas más despacio. Por lo tanto, la solución es la misma. Con menos hilos y más pausa, las filas 429 suelen volver a ser 200.
Por qué el rastreo se detiene en 1.000 URL
Un rastreo que se detiene justo en 1.000 URL funciona como debe. Ese es el límite del plan Free, y la app no está rota. De hecho, todo lo demás del plan Free sigue funcionando con esas 1.000 URL, incluidos la pestaña Issues, los informes y los sitemaps.
Vídeo: por qué el rastreo para en 1.000 URL
Mira todos los límites del plan Free en Licence y luego revisa el ajuste de límite de URL en Premium.
Para ver todos los límites a la vez, abre Licence → What the Free Tier Includes. La tabla compara Free con Premium y Agency, función por función.
¿Ya tienes Premium?
Premium rastrea sin límite de URL. Aun así, revisa Configuration → Spider → Limits. El campo Total URL limit puede guardar un valor antiguo, como 1.000. Entonces vuelve a poner el valor por defecto, 5.000.000, y el rastreo llegará hasta el final.
Premium cuesta 150 USDT al año para un puesto, y Agency cuesta 399 USDT al año con puestos ilimitados. Puedes ver los dos planes en la página del Denwix SEO Crawler.
Páginas que faltan en un sitio con JavaScript
Algunos sitios crean sus menús y enlaces con JavaScript. Así, el HTML original contiene pocos enlaces, y un rastreo de solo texto encuentra unas pocas páginas. Google explica el mismo efecto en sus conceptos básicos de SEO para JavaScript.
Vídeo: rastrea páginas que necesitan JavaScript
Pon Rendering en JavaScript en Configuration, Spider, Rendering. Es una función Premium y necesita Chrome o Edge.
Activa el modo JavaScript
Abre Configuration → Spider → Rendering. Hay tres opciones: Text only, JavaScript (when the page needs it) y JavaScript (every page). Empieza por la del medio, porque solo renderiza las páginas que parecen necesitar scripts. De este modo, el rastreo sigue siendo rápido.
Es una función Premium. También necesita Chrome o Microsoft Edge en tu PC, porque el crawler maneja un navegador real para ejecutar los scripts. Por eso es más lento que un rastreo de texto. Así que úsalo solo en los sitios que lo necesitan.
¿Sigue faltando contenido?
Sube el AJAX timeout desde su valor por defecto de 5.000 ms cuando una página carga sus datos tarde. Además, marca Save a screenshot of each rendered page. Luego la pestaña Rendered Page muestra lo que el crawler vio de verdad.
Cuando el rastreo encuentra una sola página
Un rastreo que termina tras una URL casi siempre tiene una causa sencilla. Revisa estas tres cosas en orden, y el rastreo debería llegar más lejos.
Vídeo: arregla un rastreo que solo encuentra una página
Revisa la dirección, el ajuste de robots.txt y el alcance, y luego pulsa Start otra vez.
Primero, la dirección. Una errata, un www que falta o http en lugar de https pueden llevar a un callejón sin salida o a una página de error. Por eso conviene abrir la dirección en el navegador y copiarla desde ahí.
Después, robots.txt. Si el archivo bloquea todo el sitio, el crawler se queda en la URL inicial. Abre Configuration → robots.txt. En tu propio sitio puedes desmarcar Respect robots.txt. No lo hagas en un sitio que no sea tuyo. Nuestra guía sobre páginas bloqueadas por robots.txt explica el archivo a fondo, y el estándar robots.txt (RFC 9309) recoge las reglas exactas.
Luego, el alcance. El cuadro junto a Start fija hasta dónde llega el rastreo: un host, todos los subdominios, solo la carpeta inicial o también los enlaces externos. Si example.com redirige a www.example.com, un rastreo de un host se detiene en esa redirección. Entonces elige una opción más amplia, como Subdomains.
Antes puedes seguir la redirección con nuestro Redirect Chain Checker. Muestra cada salto, así sabes en qué host termina el sitio de verdad.
Avisos de instalación y la comprobación SHA-256
El instalador gratuito del rastreador web está en la página del Denwix SEO Crawler. Funciona en Windows 10 y Windows 11 de 64 bits. Además, la instalación no pide permisos de administrador, y la app busca actualizaciones por sí sola.
Vídeo: instala el crawler y comprueba el archivo
Supera el aviso SmartScreen de Windows y compara el hash SHA-256 del instalador con el de nuestra página.
Windows puede mostrar un cuadro azul que dice Windows protegió su PC. Pasa porque el instalador todavía no tiene firma de código. Entonces haz clic en Más información y luego en Ejecutar de todas formas.
Sin embargo, conviene comprobar que el archivo es nuestro. Abre PowerShell en tu carpeta Descargas y ejecuta Get-FileHash sobre el instalador. Luego compara el resultado con el hash SHA-256 de la página del producto. Si coinciden, nadie ha cambiado el archivo.
Envía un informe de depuración a soporte
¿Sigues atascado? La app reúne lo que necesita nuestro equipo de soporte, así que no tienes que describir cada ajuste a mano.
Vídeo: guarda un informe de depuración para soporte
Abre Help, Help and Support para ver soluciones rápidas, y luego guarda un informe de depuración y envíanoslo.
Primero, abre Help → Help & Support. Ahí verás soluciones rápidas y nuestros datos de contacto. Después elige Help → Save Debug Report. El archivo se guarda en tu carpeta Descargas.
El informe incluye tus ajustes y las últimas líneas del registro. Las contraseñas y las claves se quitan antes de escribir el archivo. Envíalo a admin@denwix.com con una nota breve: qué rastreaste, qué esperabas y qué pasó en cambio.
Prueba tu rastreador web antes de un rastreo grande
Una prueba pequeña ahorra tiempo en un sitio grande. Muestra pronto un bloqueo o un enlace que falta, antes de esperar una hora por un rastreo que no lleva a ninguna parte.
- Comprueba primero una URL con nuestro HTTP Status Code Checker. Un 403 ahí significa que el servidor también bloquea peticiones simples.
- Pon el alcance en la carpeta inicial y rastrea una sola sección del sitio.
- Abre la pestaña Response Codes. Busca filas 403, 429 y 5xx.
- Si aparecen, baja la velocidad en Configuration → Speed.
- Si faltan páginas, compara la página en tu navegador con lo que ve el crawler y luego prueba el renderizado JavaScript.
- Cuando la muestra salga limpia, amplía el alcance y lanza el rastreo completo.
Además, en una tienda o un medio con mucho tráfico, rastrea en horas tranquilas. Así tu rastreo compite con menos visitas, y es menos probable que el servidor lo frene.
Una vez que el rastreo funcione, nuestra guía para rastrear un sitio web recorre cada función, desde la pestaña Issues hasta las exportaciones y los sitemaps.
Errores comunes
- Subir los hilos para ir más rápido. Más hilos suelen traer más 429, y el rastreo acaba siendo más lento.
- Desactivar robots.txt en un sitio ajeno. Hazlo solo en un sitio del que seas responsable.
- Renderizar todas las páginas con JavaScript. Usa el modo «when the page needs it», salvo que todas las páginas necesiten scripts.
- Creer que el tope de 1.000 URL es un error. Es el límite del plan Free, y Licence lo muestra.
- Usar el alcance de un host en un sitio que redirige a www. El rastreo se detiene en la redirección.
- Saltarse la comprobación del hash. Es un solo comando y demuestra que el instalador es nuestro.
Preguntas y respuestas
¿Por qué mi rastreo muestra tantos errores 403?
Un firewall, una regla del CDN o un plugin de seguridad rechaza las peticiones. Suele reaccionar a la velocidad. Baja los hilos por host y sube la pausa en Configuration, Speed, y luego rastrea otra vez.
¿Cómo uso un rastreador web sin que me bloqueen?
Rastrea despacio, identifica el crawler con honestidad y respeta robots.txt. En tu propio sitio, añade una regla de permiso para el User-Agent del crawler o tu IP en el firewall.
¿Qué ajustes de velocidad son seguros para un servidor estricto?
Prueba 1 o 2 hilos por host y una pausa de 1.000 a 2.000 ms. Es lento, pero casi nunca activa un firewall. Luego acelera cuando el rastreo vaya limpio.
¿Cuál es el User-Agent por defecto?
El crawler envía DenwixSEOCrawler/1.0 con un enlace a la página del producto. Puedes elegir otro preset o escribir tu propia cadena en Configuration, User-Agent.
¿Qué significa un estado 429 en un rastreo?
Significa Too Many Requests. El servidor pide al crawler que vaya más despacio. Por eso conviene usar menos hilos y más pausa, y dejar marcado el ajuste crawl-delay de robots.txt.
¿Por qué mi rastreo para en 1.000 URL?
Es el límite del plan Free. No es un error. Premium y Agency rastrean sin límite de URL.
Compré Premium, pero el rastreo sigue parando antes. ¿Por qué?
Revisa Configuration, Spider, Limits. El campo Total URL limit puede guardar un valor antiguo. Ponlo otra vez en 5.000.000 y vuelve a iniciar el rastreo.
¿Cuánto cuesta Premium?
Premium cuesta 150 USDT al año para un puesto. Agency cuesta 399 USDT al año con puestos ilimitados e informes de marca blanca.
¿Por qué faltan páginas en mi sitio con JavaScript?
Los enlaces quizá solo aparecen después de ejecutar los scripts. Un rastreo de solo texto no los ve. Activa el renderizado JavaScript en Configuration, Spider, Rendering.
¿El renderizado JavaScript es gratis?
No. Es una función Premium. También necesita Chrome o Microsoft Edge instalado en tu PC.
¿Por qué un rastreo con JavaScript es más lento?
El crawler carga cada página en un navegador real y espera a los scripts. Eso tarda mucho más que leer el HTML original. Por eso conviene renderizar solo las páginas que lo necesitan.
¿Por qué mi rastreo encuentra una sola página?
Normalmente la dirección está mal, robots.txt bloquea el sitio o el alcance es demasiado estrecho para una redirección. Revisa esas tres cosas en orden.
¿Puedo ignorar robots.txt?
Solo en un sitio del que seas responsable. Desmarca Respect robots.txt en Configuration, robots.txt. En otros sitios, déjalo marcado.
¿Qué alcance debo elegir?
Elige un host para un sitio sencillo. Elige Subdomains si el sitio redirige a www o usa otros subdominios. Elige la carpeta inicial para rastrear una sola sección.
¿Por qué Windows dice que protegió mi PC?
El instalador todavía no tiene firma de código, así que SmartScreen no lo conoce. Haz clic en Más información y luego en Ejecutar de todas formas, después de comprobar el hash del archivo.
¿Cómo compruebo el hash SHA-256 del instalador?
Ejecuta Get-FileHash sobre el instalador en PowerShell. Luego compara el resultado con el hash de la página del Denwix SEO Crawler. Deben coincidir por completo.
¿La instalación necesita permisos de administrador?
No. El crawler se instala solo para tu usuario de Windows, así que no aparece ninguna petición de administrador.
¿La app se actualiza sola?
Busca actualizaciones por sí sola y te avisa cuando hay una versión nueva.
¿Qué contiene un informe de depuración?
Tus ajustes y las últimas líneas del registro. Las contraseñas y las claves se quitan antes de guardar el archivo en tu carpeta Descargas.
¿A dónde envío el informe de depuración?
Envíalo a admin@denwix.com con una nota breve de lo que pasó. Así encontramos la causa más rápido.
¿Cómo hago una prueba antes de un rastreo completo?
Comprueba primero una URL y luego rastrea una carpeta. Busca filas 403, 429 y 5xx. Cuando la muestra salga limpia, amplía el alcance.
¿El crawler puede usar un proxy?
Sí. Configuration, Proxy envía las peticiones del rastreo a través de un proxy HTTP. Úsalo cuando tu red lo exija.