Validatore robots.txt
Trova la riga che ha rotto tutto
Incolla il file in questo validatore robots.txt e troverà la riga che ha rotto tutto. Ogni risultato compare accanto al file, citato con il suo numero di riga. Poi scrivi un percorso e vedi esattamente quale regola lo decide, e perché quella regola ha battuto le altre.
- GratisPrezzo
- 20+Controlli eseguiti
- 4Crawler
- NessunoCaricamenti
Validatore robots.txt
Controlla la sintassi, poi prova i tuoi percorsi contro le tue regole
Va bene qualsiasi indirizzo del sito. Questo strumento conserva solo l’origine, perché robots.txt sta nella radice e da nessun’altra parte.
- Errori
- 0
- Avvisi
- 0
- Gruppi
- 0
Uno per riga. Funziona anche un indirizzo completo, e contano solo percorso e query. Ogni riga viene provata contro il crawler scelto qui sopra.
Scrivi un percorso e questa riga dice quale regola vince, e perché.
I verdettiPronto. Incolla un file, o scaricane uno, e i risultati compariranno a destra.
Cosa trova un validatore robots.txt
Un robots.txt rotto raramente si annuncia. I crawler saltano la riga che non sanno leggere e poi proseguono come se non fosse mai stata scritta.
Per questo il danno emerge settimane dopo, in un grafico del traffico. Nel frattempo il file sembra del tutto ragionevole nel tuo editor.
Questo controllo legge il file come fa un crawler. Perciò una regola che non corrisponde a nulla viene segnalata invece di essere seguita in silenzio.
Per un quarto di secolo il file ha funzionato per convenzione. La RFC 9309, che ha standardizzato robots.txt ha trasformato quella convenzione in una regola.
Sintassi valida contro comportamento corretto
Un file può superare ogni test di sintassi e comunque rovinare un lancio. Del resto, Disallow: / è codice impeccabile.
Per questo lo strumento ha due metà. La metà sinistra legge le tue righe, mentre la destra risponde a una domanda su un percorso.
Scrivi /wp-admin/ e la riga del verdetto indica la regola vincente. In breve, ottieni il risultato invece di un’ipotesi.
Sbagli che sfuggono pur essendo evidenti
Uno spazio dentro un percorso tronca la regola in silenzio. Tutto ciò che segue quello spazio sparisce, quindi la regola corrisponde a molto più di quanto volessi.
Anche un indirizzo web completo in una riga Disallow fallisce. Poiché i percorsi partono dalla radice del sito, https://example.com/folder/ non corrisponde a nulla.
Noindex in robots.txt ha smesso di funzionare nel settembre 2019. Tuttavia molti vecchi file hanno ancora quella riga e il loro autore ci crede ancora.
Due gruppi per un solo crawler
Scrivi User-agent: Googlebot due volte e hai creato una trappola. Un crawler legge il primo gruppo che lo nomina e poi ignora tutti quelli successivi. Così il secondo insieme di regole non viene mai applicato, anche se sta proprio lì nel file. Il controllo individua il duplicato e indica entrambi i numeri di riga.
In questa pagina
- Lo strumento
- Cosa trova un validatore robots.txt
- Come controllare il tuo robots.txt con il validatore
- Cosa fa di diverso questo controllo
- Abitudini che tengono onesto questo file
- Tre difetti da scovare
- Domande sul controllo di robots.txt
- Altre utilità che vanno a braccetto con questa
Continua
Come controllare il tuo robots.txt con il validatore
Incolla, leggi, prova. Poiché il controllo avviene mentre scrivi, non c’è nessun pulsante da aspettare.
- 1
Incolla l’intero file
Copia tutto da example.com/robots.txt oppure apri il file dal disco. Infatti un file parziale dà risposte parziali.
- 2
Leggi i risultati
Ognuno cita la sua riga e spiega la correzione. Prima vengono gli errori, poi gli avvisi, infine le note di stile facoltative.
- 3
Scegli un crawler
Googlebot, Bingbot e GPTBot seguono gruppi diversi. Quindi passa dall’uno all’altro se il file ne nomina più di uno.
- 4
Prova un percorso reale
Scrivi un indirizzo come
/cart/. La riga del verdetto dice consentito o bloccato, e indica la regola che ha deciso.
Cosa fa di diverso questo controllo
Molti controlli mostrano una spunta verde e si fermano lì. Invece questo mostra il ragionamento per ogni risultato.
Numeri di riga ovunque
Ogni risultato cita la riga sbagliata accanto al suo numero. Di conseguenza la correggi senza scorrere avanti e indietro.
Spiega la regola vincente
Il verdetto indica la regola esatta e la sua lunghezza. Poiché vince la corrispondenza più lunga, quella lunghezza è tutto l’argomento.
Nulla viene riscritto
Un controllo che corregge il file in silenzio non ti insegna nulla. Invece di rattopparlo, questo ti dice cosa cambiare.
Direttive morte segnalate
Host, Clean-param e Noindex sembrano regole vere. Tuttavia i crawler che ti interessano ormai le ignorano.
Le note di stile restano facoltative
Spazi finali e ordine stanno dietro un interruttore. Così la vista predefinita mostra solo ciò che rompe davvero qualcosa.
Il tuo robots.txt resta nel browser
Il parser gira dentro questa scheda dall’inizio alla fine. Per questo un file incollato e i percorsi che provi non raggiungono mai un server.
Leggi un file online
Scrivi un dominio e questo server legge il suo robots.txt per te, perché nessun browser può leggere un altro sito. Esce solo quell’indirizzo.
Tutti i crawler, non uno solo
L’elenco contiene quaranta token, da Googlebot-Image a ClaudeBot. Ognuno legge un gruppo diverso, e il verdetto cambia di conseguenza.
Molti percorsi insieme
Incolla una colonna di percorsi e ognuno riceve un verdetto, con la regola e la riga che lo hanno deciso. Inoltre la tabella si esporta in CSV.
Abitudini che tengono onesto questo file
Un robots.txt è abbastanza corto da rileggerlo ogni volta che lo tocchi. Tuttavia alcune routine intercettano il resto.
- Prova i percorsi che contano. Controlla il carrello, l’area di amministrazione e un articolo normale. Se l’articolo normale è bloccato, fermati e correggilo subito.
- Controlla dopo ogni deploy. Un passaggio di build può sovrascrivere questo file senza dirlo a nessuno. Per questo dieci secondi di incolla valgono più di un mese di traffico perso.
- Unisci i gruppi duplicati. Un crawler, un gruppo. Poiché vale solo il primo gruppo, un secondo è peso morto che sembra vivo.
- Scrivi i percorsi con precisione. La corrispondenza distingue maiuscole e minuscole e non tollera spazi. Perciò /Cart/ e /cart/ sono diversi, e uno spazio chiude il percorso troppo presto.
- Tieni il file piccolo. Google legge 500 kilobyte e si ferma. Poiché quasi nessun file onesto ci si avvicina, uno enorme di solito significa spazzatura generata.
- Correggi gli errori prima degli avvisi. Un errore significa che un crawler ha saltato del tutto quella riga. Un avviso significa che ha funzionato, anche se probabilmente non come speravi.
Tre difetti da scovare
Questi tre ricompaiono di continuo nei file veri. Inoltre ognuno resta invisibile finché qualcuno non controlla.
Regole sopra il primo gruppo
Una riga Disallow scritta prima di qualsiasi riga User-agent non appartiene a nessuno. Quindi ogni crawler le passa accanto.
Un percorso senza barra
Disallow: admin/ è relativo, e i crawler non sono d’accordo sui percorsi relativi. Invece inizia sempre un percorso con una barra.
Fidarsi di una spunta verde
Una sintassi valida dimostra solo che il file si legge. Soprattutto, prova un percorso reale prima di dichiarare finito il lavoro.
Domande sul controllo di robots.txt
Cosa non va nella mia regola?
Di solito perché prima ha corrisposto qualcosa di più lungo. Un crawler sceglie il percorso corrispondente più lungo, non il primo del file. Quindi incolla qui il file, scrivi il percorso e la riga del verdetto indicherà la regola che ha vinto davvero.
Lo strumento legge il mio file online al posto mio?
Sì. Scrivi un dominio e questo server legge il suo robots.txt, perché nessun browser può leggere un altro sito. Viaggia solo l’indirizzo, e non si conserva alcuna copia della risposta. Invece, se incolli un file, tutto resta nella tua scheda.
Con quale crawler dovrei provare?
Inizia con Googlebot, poiché porta la maggior parte del traffico di ricerca. Poi passa a GPTBot se il file ha un gruppo per i crawler dell’IA, perché con quelle regole è facile sbagliare in modo sottile.
Vale la pena tenere Crawl-delay?
Google non lo considera affatto. Tuttavia Bing e Yandex lo leggono, quindi tieni la riga se uno dei due scansiona troppo. Altrimenti è un ingombro innocuo.
Cosa significa una riga Disallow vuota?
Consente tutto, cioè il contrario di come suona. La riga è valida e confonde la gente da vent’anni. In breve, scrivi invece Allow: / e risparmia un dubbio alla persona successiva.
Posso controllare un file prima di pubblicarlo?
Sì, anzi conviene farlo prima di pubblicare il sito. Incolla la versione del repository, prova i percorsi che contano e poi pubblica quando i verdetti sembrano giusti.
Altre utilità che vanno a braccetto con questa
Le stesse regole valgono per tutti e tre. Quindi ognuno è gratis e nessuno chiede un indirizzo email.
Generatore di robots.txt
Crea un file nuovo dai modelli invece di rattoppare quello vecchio.
Apri lo strumento →Scopri che codice restituisce ogni URL
Scopri cosa riceve davvero un crawler da un indirizzo.
Apri lo strumento →Generatore di tag hreflang
Fai puntare ogni lingua alla propria versione, senza refusi.
Apri lo strumento →
Incolla il file e scoprilo
I risultati compaiono mentre scrivi, e una colonna di percorsi richiede solo un secondo in più. Un file incollato non lascia mai la tua scheda e, in ogni caso, nulla viene salvato.