Cosa fa un website crawler
Un website crawler visita ogni pagina di un sito, come fa il bot di un motore di ricerca. Segue i link, legge ogni pagina e annota ciò che trova: codici di stato, titoli, intestazioni, immagini, redirect e altro. Poi indica cosa va corretto.
Questa guida riguarda il Denwix SEO Crawler, il nostro crawler desktop per Windows. Ogni sezione ha un breve video, così vedi ogni funzione all’opera. Inoltre il piano Free copre fino a 1.000 URL per scansione, e quasi tutte le funzioni qui sotto funzionano con esso.
L’app ha 33 schede di audit e 448 filtri. Sembrano tanti. Tuttavia per iniziare te ne servono pochi, e questa guida mostra prima quelli. Dopo passa agli export, alle sitemap e agli extra di Premium.
Come scansionare un sito: la prima scansione
Ecco come scansionare un sito in quattro passi. Per prima cosa, scrivi l’indirizzo nella barra in alto. Poi scegli l’ambito: un host, tutti i sottodomini, solo la cartella iniziale o anche i link esterni.
Video: la tua prima scansione
Scrivi l’indirizzo, scegli un ambito, premi Start e poi leggi schede, filtri e pannello in basso.
Dopo premi Start. Le pagine compaiono nella griglia man mano che vengono trovate, e la barra di stato mostra a che punto è la scansione. Quindi non serve aspettare la fine per guardarti intorno.
Leggi i risultati
Poi fai clic su una scheda a sinistra, come Page titles. Poi usa l’elenco dei filtri sopra la griglia, per esempio per vedere solo i titoli mancanti o duplicati.
Guarda un URL nel dettaglio
Infine fai clic su una riga qualsiasi. Il pannello in basso mostra allora tutto su quell’URL: i link in entrata e in uscita, gli header, le immagini e altro.
Se la scansione si ferma presto o viene bloccata, la nostra guida ai problemi del crawler SEO ha una soluzione per ogni causa comune.
Trova ogni URL con la ricerca
Su un sito grande, scorrere è lento. Per questo la casella di ricerca sopra la griglia filtra le righe visibili, e funziona su ogni scheda.
Video: cerca e filtra la griglia
Salta alla ricerca con la barra, cerca parole, cerca in una colonna e nascondi righe con un segno meno.
Per prima cosa, premi / ovunque per saltare nella casella. Scrivi qualche parola e ottieni le righe che le contengono tutte. Poi metti il nome di una colonna davanti per cercare solo lì, come title:pricing. Funzionano anche i numeri, per esempio words:>500.
Un segno meno nasconde le righe, così -draft toglie ogni riga con quella parola. E se dimentichi un trucco, premi ?. Compare l’elenco di tutte le scorciatoie da tastiera.
Le azioni del clic destro
Fai clic destro su una riga per vedere tutto ciò che puoi fare con quell’URL. Così risparmi un giro nei menu.
Video: clic destro su una riga o una colonna
Copia, apri, riscansiona, controlla o escludi un URL, e ordina, nascondi o copia una colonna.
Così puoi copiare l’URL o l’intera riga, aprire la pagina nel browser o richiederla di nuovo con Re-Spider. Re-Spider è comodo dopo una correzione, perché controlli una pagina senza ripetere tutta la scansione.
Lo stesso menu controlla anche lo stato di indicizzazione di un URL, lo convalida o lo esclude dalle scansioni future. Inoltre un clic destro sull’intestazione di una colonna serve per ordinarla, nasconderla o copiarla.
Includere ed escludere URL
A volte vuoi solo una parte di un sito, oppure vuoi saltare pagine inutili, come gli archivi dei tag. Per questo ci sono Include ed Exclude.
Video: scansiona solo gli URL che servono
Aggiungi un’espressione regolare per riga in Exclude o Include. Un URL che corrisponde a entrambe viene saltato.
Apri Configuration → Include / Exclude. Poi aggiungi un’espressione regolare per riga. Per esempio, questa riga in Exclude salta ogni pagina dei tag:
/tag/Include funziona al contrario: vengono scansionati solo gli URL che corrispondono. Così /blog/ in Include tiene la scansione dentro il blog. Se un URL corrisponde a entrambe le liste, vince Exclude e l’URL viene saltato.
La scheda Issues
La scheda Issues è dove comincia davvero un audit. Il crawler calcola i problemi alla fine della scansione, perciò avviane prima una.
Video: leggi la scheda Issues
Guarda errori, avvisi e note con il numero di URL, poi apri un problema per il significato e la soluzione.
La scheda elenca errori, avvisi e note, con il numero di URL che ognuno colpisce. Fai clic su un problema per vedere cosa significa, come risolverlo e tutti gli URL coinvolti. La riga in alto ti dice da dove partire, così sistemi prima i problemi più grandi.
Per una sola pagina puoi usare anche il nostro SEO Checker gratuito nel browser. Infatti il crawler fa controlli simili, ma su tutto il sito insieme.
Le visualizzazioni
Le visualizzazioni trasformano la scansione in immagini del tuo sito. Rendono evidenti i problemi di struttura, anche per un cliente che non apre mai un foglio di calcolo.
Video: guarda il sito come un grafo
Esplora il Crawl Tree Graph e il diagramma Force-Directed, colora i nodi e salva l’immagine.
Il Crawl Tree Graph mostra come il crawler ha raggiunto ogni pagina. Scorri per lo zoom e trascina per spostarti. Il diagramma Force-Directed mostra gli stessi link come una rete, così le pagine profonde e poco collegate saltano all’occhio.
Inoltre puoi colorare i nodi per stato o per profondità. Poi salva l’immagine come SVG, PNG o HTML per un report.
Esportare dati e report
La scansione è finita? Allora porta fuori i dati per condividerli o lavorarci in un foglio di calcolo.
Video: esporta dati e report
Esporta una scheda in CSV, usa i set di Bulk Export o crea un report in PDF, HTML, JSON o CSV.
Apri una scheda e premi Export per salvarla come file CSV. Bulk Export offre set pronti per link, immagini, problemi e altro, oltre alla scheda o al filtro attuale. Infatti il piano Free include più di 30 export di base, e Premium li sblocca tutti.
Infine il menu Reports crea un audit in PDF, un report HTML o un export JSON o CSV. Spesso un PDF è la cosa più semplice da mandare a un cliente.
Creare e controllare sitemap XML
Dopo una scansione, il crawler può creare la tua sitemap XML con le pagine trovate.
Video: crea e controlla le sitemap
Crea una sitemap XML o di immagini dalla scansione, oppure controlla la sitemap che il sito ha già.
Apri Sitemaps → XML Sitemap. Ricevi il file, e sul tuo server non viene scritto nulla. Quindi lo carichi tu, dove vuoi. Image Sitemap fa poi lo stesso per le immagini.
Hai già una sitemap? Allora Audit Published Sitemap la confronta con la scansione. Per una sitemap veloce senza l’app, il nostro XML Sitemap Generator funziona nel browser.
Scansioni salvate e file di scansione
Ogni scansione viene salvata sul tuo PC, così puoi riaprirla quando vuoi. Niente finisce in un account cloud.
Video: apri, rinomina e sposta le scansioni
Gestisci le scansioni salvate in File, Crawls, e porta un’intera scansione su un altro PC come un solo file.
Apri File → Crawls per aprire, rinominare, esportare o eliminare una scansione salvata. Inoltre Export Crawl File salva un’intera scansione in un solo file. Aprila su un altro computer con Import Crawl File, per esempio per passarla a un collega.
Integrazioni di IA e Google
Premium può aggiungere dati di IA e di Google alle tue scansioni. Usi le tue chiavi, perciò paghi direttamente il fornitore e tieni sotto controllo la spesa.
Video: collega chiavi di IA e Google
Aggiungi la chiave di un fornitore di IA e le chiavi di PageSpeed Insights e dell’account di servizio Google.
Apri Configuration → AI Integrations. Scegli OpenAI, Anthropic, Gemini o un servizio compatibile, poi incolla la tua chiave. Dopo, in API Access, aggiungi una chiave di PageSpeed Insights e una chiave dell’account di servizio Google per Search Console e GA4.
In ogni caso, le tue chiavi restano su questo computer. Vanno solo al servizio che hai scelto, e mai a noi.
Report white-label
Le agenzie possono mettere il proprio marchio sui report di audit, così i clienti vedono l’agenzia e non noi.
Video: metti il tuo marchio sui report
Aggiungi nome, logo, colore e riga di contatto dell’agenzia in Reports, White-label Report Settings.
Apri Reports → White-label Report Settings. Poi aggiungi il nome dell’agenzia, il logo, il colore e una riga di contatto. In questo modo i report PDF e HTML non mostrano più il marchio Denwix. I report white-label fanno parte del piano Agency.
Free, Premium e Agency
Il piano Free scansiona fino a 1.000 URL, senza limite al numero di scansioni. Premium costa 150 USDT l’anno e toglie il limite di URL. Aggiunge anche il rendering JavaScript, tutti gli export e le integrazioni di IA e Google. Agency costa 399 USDT l’anno, con postazioni illimitate e report white-label.
Video: passa a Premium o Agency
Scegli un piano nell’app, paga in USDT o con Binance Pay, e l’app si attiva da sola.
Per passare a un piano superiore, fai clic su Free — Upgrade in alto a destra e scegli Premium o Agency. Poi fai clic su Continue to payment, e la pagina dell’ordine si apre nel browser. Paga in USDT o con Binance Pay, incolla l’ID della transazione e torna indietro. Dopo, l’app si attiva da sola, di solito in pochi minuti.
Hai già una chiave? Apri Licence → Enter Licence Key e incollala.
Come scegliere un crawler SEO
Un crawler SEO può essere di due tipi. I crawler cloud girano sui server di altri e tengono lì i tuoi dati. Invece i crawler desktop, come il nostro, girano sul tuo PC. Di conseguenza i dati delle scansioni restano a te, e le scansioni grandi non costano crediti.
Quindi fatti qualche domanda prima di scegliere. Quanti URL ha il tuo sito più grande? Ti serve il rendering JavaScript? I clienti vedranno i report? E ti serve su Windows, su Mac o su entrambi? Il Denwix SEO Crawler funziona solo su Windows 10 e 11 a 64 bit.
La prova più semplice è una prova vera. Per prima cosa, installa la versione gratuita, scansiona il tuo sito e leggi la scheda Issues. Se le correzioni proposte hanno senso per te, il website crawler fa al caso tuo.
Domande e risposte
Cosa fa un website crawler?
Visita ogni pagina di un sito, segue i link e annota codici di stato, titoli, intestazioni, immagini e redirect. Poi elenca i problemi trovati.
Come scansiono un sito con il Denwix SEO Crawler?
Scrivi l’indirizzo, scegli un ambito e premi Start. Le pagine compaiono nella griglia durante la scansione.
Quale ambito scelgo per la prima scansione?
Un host va bene per quasi tutti i siti. Scegli Subdomains se il sito reindirizza a www o usa altri sottodomini.
Posso vedere i risultati prima della fine?
Sì. La griglia si riempie dal vivo, quindi puoi aprire schede e righe durante la scansione. La scheda Issues si riempie alla fine.
Come cerco in una sola colonna?
Scrivi il nome della colonna, i due punti e la parola, come title:pricing. Un segno meno davanti a una parola nasconde le righe che la contengono.
Quale scorciatoia apre la ricerca?
Premi la barra ovunque. Il tasto del punto interrogativo mostra tutte le scorciatoie.
A cosa serve Re-Spider?
Richiede di nuovo un solo URL. Usalo dopo una correzione, perché la controlli senza ripetere tutta la scansione.
Come salto le pagine dei tag o altre sezioni?
Aggiungi un’espressione regolare come /tag/ in Configuration, Include / Exclude, Exclude. Uno schema per riga.
Cosa succede se un URL corrisponde a Include ed Exclude?
Vince Exclude, e l’URL viene saltato.
Perché la scheda Issues è vuota?
I problemi si calcolano alla fine della scansione. Lascia finire la scansione, o fermala, e la scheda si riempie.
Posso salvare una visualizzazione?
Sì. Salva il Crawl Tree Graph o il diagramma Force-Directed come SVG, PNG o HTML.
Quali formati posso esportare?
Le schede si esportano in CSV. Il menu Reports crea report PDF e HTML ed export JSON o CSV.
Lo strumento delle sitemap modifica il mio server?
No. Ricevi il file XML, e sul server non viene scritto nulla. Quindi lo carichi tu.
Dove sono salvate le mie scansioni?
Sul tuo PC. Riaprile in File, Crawls, oppure portane una su un altro computer con Export Crawl File e Import Crawl File.
Quali servizi di IA posso collegare?
OpenAI, Anthropic, Gemini o un servizio compatibile. Incolli la tua chiave, ed è una funzione Premium.
Le mie chiavi API arrivano a Denwix?
No. Le chiavi restano sul tuo computer e vanno solo al servizio scelto.
Posso collegare Search Console e GA4?
Sì, con Premium. Aggiungi una chiave dell’account di servizio Google in Configuration, AI Integrations, API Access.
Quale piano include i report white-label?
Il piano Agency, a 399 USDT l’anno con postazioni illimitate.
Come pago Premium?
Fai clic sul pulsante del piano in alto a destra, scegli un piano e paga in USDT o con Binance Pay. Dopo, l’app si attiva da sola, di solito in pochi minuti.
C’è un limite al numero di scansioni?
No. Ogni piano, Free compreso, ha scansioni illimitate. Il piano Free limita ogni scansione a 1.000 URL.
Il crawler funziona su Mac?
Non ancora. Funziona su Windows 10 e Windows 11 a 64 bit.
Che differenza c’è tra un crawler desktop e uno cloud?
Un crawler desktop gira sul tuo PC e tiene lì i dati. Uno cloud gira su server remoti e spesso si paga per scansione o per pagina.