Perché una scansione si ferma o viene bloccata
Il tuo crawler SEO viene bloccato o si ferma presto? Questa guida spiega come scansionare un sito senza essere bloccati e come risolvere gli altri problemi più comuni del Denwix SEO Crawler. Ogni soluzione ha un breve video, così vedi i clic oltre a leggerli.
Quasi ogni problema ha una di tre cause. Prima di tutto, il server dice no: un firewall risponde con 403 o 429. Poi il crawler non vede i link, perché li creano gli script o l’ambito è troppo stretto. Infine un limite ferma la scansione, come i 1.000 URL del piano Free.
Quindi parti dal sintomo. Molte righe 403 indicano un blocco. Una scansione che finisce dopo una pagina punta all’indirizzo, al robots.txt o all’ambito. E una scansione che si ferma esattamente a 1.000 URL è il piano Free, non un errore. Le sezioni seguenti seguono quest’ordine.
In breve, quasi mai serve reinstallare. Una o due impostazioni in Configuration risolvono la maggior parte dei casi. E se nulla funziona, l’app salva un report di debug per il nostro team di assistenza.
Come scansionare un sito senza essere bloccati
Una risposta 403 Forbidden significa che il server ha capito la richiesta, ma la rifiuta. Lo stato 403 arriva spesso da un firewall, da una regola della CDN o da un plugin di sicurezza. Vede molte richieste veloci da un solo indirizzo, perciò decide che arrivano da un bot.
Video: risolvi gli errori 403 di una scansione
Rallenta la scansione in Configuration, Speed, poi cambia lo User-Agent o consenti il crawler nel firewall.
Rallenta la scansione
Apri Configuration → Speed. Di base il crawler usa 6 thread, 3 per host, con una pausa di 120 ms tra le richieste allo stesso host. Questo ritmo va bene per quasi tutti i server. Tuttavia, un firewall severo può scambiarlo per un attacco.
Così imposta Max threads per host su 1 o 2. Poi alza Delay between requests per host a 1.000 o 2.000 ms. Lascia attivo Respect robots.txt crawl-delay, perché alcuni siti chiedono lì una pausa. Dopo riavvia la scansione e guarda i codici di stato.
Cambia lo User-Agent o consenti il crawler
Questo crawler SEO si presenta in modo onesto come DenwixSEOCrawler/1.0. Alcuni firewall bloccano ogni bot sconosciuto solo per questo nome. In questo caso apri Configuration → User-Agent e scegli un altro preset, oppure scrivi una tua stringa.
Sul tuo sito, la soluzione più pulita è una regola di permesso. Aggiungi lo User-Agent del crawler o il tuo IP al firewall, alla CDN o al plugin di sicurezza. Inoltre un sito di staging spesso chiede una password. Per questo aggiungi l’header in Configuration → HTTP Header, e il crawler lo invia con ogni richiesta.
429 Too Many Requests
Un 429 è la versione cortese dello stesso problema: il server ti chiede di rallentare. Di conseguenza la soluzione è la stessa. Con meno thread e una pausa più lunga, le righe 429 di solito tornano a 200.
Perché la scansione si ferma a 1.000 URL
Una scansione che si ferma esattamente a 1.000 URL funziona come previsto. È il limite del piano Free, e l’app non è rotta. Infatti tutto il resto del piano Free funziona su quei 1.000 URL, compresi la scheda Issues, i report e le sitemap.
Video: perché la scansione si ferma a 1.000 URL
Guarda tutti i limiti del piano Free in Licence, poi controlla il limite di URL su Premium.
Per vedere tutti i limiti fianco a fianco, apri Licence → What the Free Tier Includes. La tabella confronta Free con Premium e Agency, funzione per funzione.
Hai già Premium?
Premium scansiona senza limite di URL. Controlla comunque Configuration → Spider → Limits. Il campo Total URL limit può tenere un vecchio valore salvato, come 1.000. Quindi rimetti il valore predefinito, 5.000.000, e la scansione arriva fino in fondo.
Premium costa 150 USDT l’anno per una postazione, mentre Agency costa 399 USDT l’anno con postazioni illimitate. Trovi entrambi i piani nella pagina del Denwix SEO Crawler.
Pagine mancanti su un sito JavaScript
Alcuni siti creano menu e link con JavaScript. Così l’HTML grezzo contiene pochi link, e una scansione solo testo trova poche pagine. Google spiega lo stesso effetto nelle sue nozioni di base sulla SEO per JavaScript.
Video: scansiona le pagine che richiedono JavaScript
Imposta Rendering su JavaScript in Configuration, Spider, Rendering. È una funzione Premium e richiede Chrome o Edge.
Attiva la modalità JavaScript
Apri Configuration → Spider → Rendering. Ci sono tre scelte: Text only, JavaScript (when the page needs it) e JavaScript (every page). Parti da quella centrale, perché esegue il rendering solo delle pagine che sembrano aver bisogno di script. In questo modo la scansione resta veloce.
È una funzione Premium. Richiede anche Chrome o Microsoft Edge sul tuo PC, perché il crawler guida un vero browser. Per questo è più lenta di una scansione di testo. Quindi usala solo dove serve.
Manca ancora del contenuto?
Alza l’AJAX timeout dal valore predefinito di 5.000 ms quando una pagina carica i dati in ritardo. Inoltre attiva Save a screenshot of each rendered page. Poi la scheda Rendered Page mostra cosa ha visto davvero il crawler.
Quando la scansione trova una sola pagina
Una scansione che finisce dopo un URL ha quasi sempre una causa semplice. Controlla questi tre punti in ordine, e la scansione dovrebbe andare più a fondo.
Video: ripara una scansione che trova una sola pagina
Controlla l’indirizzo, l’impostazione robots.txt e l’ambito, poi premi di nuovo Start.
Per prima cosa, l’indirizzo. Un refuso, un www mancante o http al posto di https porta presto a un vicolo cieco o a una pagina di errore. Perciò apri l’indirizzo nel browser e copialo da lì.
Dopo, il robots.txt. Se il file blocca tutto il sito, il crawler resta sull’URL iniziale. Apri Configuration → robots.txt. Sul tuo sito puoi togliere la spunta a Respect robots.txt, ma non farlo su siti altrui. La nostra guida alle pagine bloccate da robots.txt spiega il file nel dettaglio, e lo standard robots.txt (RFC 9309) riporta le regole esatte.
Poi, l’ambito. Il menu accanto a Start decide fin dove arriva la scansione: un host, tutti i sottodomini, solo la cartella iniziale o anche i link esterni. Se example.com reindirizza a www.example.com, una scansione su un solo host si ferma a quel redirect. Scegli quindi un’opzione più ampia, come Subdomains.
Prima puoi seguire il redirect con il nostro Redirect Chain Checker. Mostra ogni passaggio, così sai su quale host finisce davvero il sito.
Avvisi di installazione e controllo SHA-256
Il programma di installazione gratuito del crawler SEO si trova nella pagina del Denwix SEO Crawler. Funziona su Windows 10 e Windows 11 a 64 bit. L’installazione non chiede diritti di amministratore, e l’app cerca gli aggiornamenti da sola.
Video: installa il crawler e controlla il file
Supera l’avviso SmartScreen di Windows e confronta l’hash SHA-256 del programma di installazione con quello della nostra pagina.
Windows può mostrare una finestra blu: PC protetto da Windows. Succede perché il programma di installazione non ha ancora una firma del codice. Allora fai clic su Ulteriori informazioni e poi su Esegui comunque.
Tuttavia, conviene verificare che il file sia davvero nostro. Apri PowerShell nella cartella Download ed esegui Get-FileHash sul programma di installazione. Poi confronta il risultato con l’hash SHA-256 della pagina del prodotto. Se coincidono, nessuno ha cambiato il file.
Invia un report di debug all’assistenza
Sei ancora bloccato? L’app raccoglie ciò che serve alla nostra assistenza, così non devi descrivere ogni impostazione a mano.
Video: salva un report di debug per l’assistenza
Apri Help, Help and Support per le soluzioni rapide, poi salva un report di debug e mandacelo.
Prima apri Help → Help & Support. Lì trovi soluzioni rapide e i nostri contatti. Poi scegli Help → Save Debug Report. Il file finisce nella cartella Download.
Il report contiene le tue impostazioni e le ultime righe del log. Password e chiavi vengono tolte prima di scrivere il file. Invialo a admin@denwix.com con una breve nota: cosa hai scansionato, cosa ti aspettavi e cosa è successo invece.
Prova il tuo crawler SEO prima di una grande scansione
Una piccola prova fa risparmiare tempo su un sito grande. Mostra presto un blocco o un link mancante, prima di aspettare un’ora per una scansione che non porta da nessuna parte.
- Controlla prima un URL con il nostro HTTP Status Code Checker. Un 403 lì significa che il server blocca anche le richieste semplici.
- Imposta l’ambito sulla cartella iniziale e scansiona una sola sezione del sito.
- Apri la scheda Response Codes. Cerca righe 403, 429 e 5xx.
- Se compaiono, rallenta la scansione in Configuration → Speed.
- Se mancano pagine, confronta la pagina nel browser con la vista del crawler, poi prova il rendering JavaScript.
- Quando il campione è pulito, allarga l’ambito e avvia la scansione completa.
Inoltre, su un negozio o un sito di notizie molto visitato, scansiona nelle ore tranquille. Così la tua scansione compete con meno visitatori, e il server la frena meno spesso.
Quando la scansione funziona, la nostra guida al website crawler passa in rassegna ogni funzione, dalla scheda Issues agli export e alle sitemap.
Errori comuni
- Alzare i thread per andare più veloce. Più thread portano spesso più 429, e la scansione finisce per essere più lenta.
- Disattivare robots.txt sul sito di altri. Fallo solo su un sito di cui sei responsabile.
- Fare il rendering JavaScript di ogni pagina. Usa la modalità «when the page needs it», a meno che ogni pagina non richieda script.
- Credere che lo stop a 1.000 URL sia un bug. È il limite del piano Free, e Licence lo mostra.
- Usare un solo host su un sito che reindirizza a www. La scansione si ferma al redirect.
- Saltare il controllo dell’hash. Basta un comando e dimostra che il file è nostro.
Domande e risposte
Perché la mia scansione mostra tanti errori 403?
Un firewall, una regola della CDN o un plugin di sicurezza rifiuta le richieste. Di solito reagisce alla velocità. Riduci i thread per host e alza la pausa in Configuration, Speed, poi scansiona di nuovo.
Come uso un crawler SEO senza essere bloccato?
Scansiona piano, presenta il crawler in modo onesto e rispetta il robots.txt. Sul tuo sito, consenti lo User-Agent del crawler o il tuo IP nel firewall.
Quali impostazioni di velocità sono sicure per un server severo?
Prova 1 o 2 thread per host e una pausa da 1.000 a 2.000 ms. È lento, ma raramente fa scattare un firewall. Poi accelera quando la scansione va liscia.
Qual è lo User-Agent predefinito?
Il crawler invia DenwixSEOCrawler/1.0 con un link alla nostra pagina del prodotto. Puoi scegliere un altro preset o scrivere una tua stringa in Configuration, User-Agent.
Cosa significa uno stato 429 in una scansione?
Significa Too Many Requests. Il server chiede al crawler di rallentare. Perciò usa meno thread e una pausa più lunga, e lascia attiva l’opzione crawl-delay del robots.txt.
Perché la mia scansione si ferma a 1.000 URL?
È il limite del piano Free, non un errore. Premium e Agency scansionano senza limite di URL.
Ho Premium, ma la scansione si ferma ancora presto. Perché?
Controlla Configuration, Spider, Limits. Il campo Total URL limit può tenere un vecchio valore. Rimettilo a 5.000.000 e riavvia la scansione.
Quanto costa Premium?
Premium costa 150 USDT l’anno per una postazione. Agency costa 399 USDT l’anno con postazioni illimitate e report white-label.
Perché mancano pagine sul mio sito JavaScript?
I link forse compaiono solo dopo l’esecuzione degli script. Una scansione solo testo non li vede. Attiva il rendering JavaScript in Configuration, Spider, Rendering.
Il rendering JavaScript è gratis?
No. È una funzione Premium e richiede anche Chrome o Microsoft Edge installato sul PC.
Perché una scansione JavaScript è più lenta?
Il crawler carica ogni pagina in un vero browser e aspetta gli script. Ci vuole molto più tempo che leggere l’HTML grezzo. Quindi fai il rendering solo delle pagine che ne hanno bisogno.
Perché la mia scansione trova una sola pagina?
Di solito l’indirizzo è sbagliato, il robots.txt blocca il sito o l’ambito è troppo stretto per un redirect. Controlla questi tre punti in ordine.
Posso ignorare il robots.txt?
Solo su un sito di cui sei responsabile. Togli la spunta a Respect robots.txt in Configuration, robots.txt. Sugli altri siti lasciala attiva.
Quale ambito devo scegliere?
Un host va bene per un sito semplice. Scegli Subdomains se il sito reindirizza a www o usa altri sottodomini. Scegli la cartella iniziale per una sola sezione.
Perché Windows dice di aver protetto il mio PC?
Il programma di installazione non ha ancora una firma del codice, perciò SmartScreen non lo conosce. Fai clic su Ulteriori informazioni e poi su Esegui comunque, dopo aver controllato l’hash.
Come controllo l’hash SHA-256 del programma di installazione?
Esegui Get-FileHash in PowerShell. Poi confronta il risultato con l’hash della pagina del Denwix SEO Crawler. Devono coincidere del tutto.
L’installazione richiede diritti di amministratore?
No. Il crawler si installa solo per il tuo utente Windows, quindi non compare nessuna richiesta di amministratore.
L’app si aggiorna da sola?
Cerca gli aggiornamenti da sola e ti avvisa quando è pronta una nuova versione.
Cosa contiene un report di debug?
Le tue impostazioni e le ultime righe del log. Password e chiavi vengono tolte prima di salvare il file nella cartella Download.
Dove invio il report di debug?
Invialo a admin@denwix.com con una breve nota su cosa è successo. Così troviamo la causa più in fretta.
Come faccio una prova prima di una scansione completa?
Controlla prima un URL, poi scansiona una cartella. Cerca righe 403, 429 e 5xx. Quando il campione è pulito, allarga l’ambito.
Il crawler può usare un proxy?
Sì. Configuration, Proxy invia le richieste tramite un proxy HTTP. Usalo quando la tua rete lo richiede.