Generatore di robots.txt
Il file che i crawler leggono per primo
Questo generatore di robots.txt trasforma poche scelte da menu in un file finito. Prima scegli una base, poi aggiungi una regola per riga. Il file a destra si riscrive mentre procedi, così non devi mai tirare a indovinare la sintassi.
- GratisPrezzo
- 12Crawler inclusi
- 4Basi di partenza
- NessunoCaricamenti
Generatore di robots.txt
Crea il file che i crawler leggono per primo — una regola per riga
Facoltativo, ma vale la pena aggiungerlo. È l’unica riga che aiuta un crawler invece di limitarlo.
Le tue regole- Gruppi
- 0
- Regole
- 0
- Dimensione
- 0 B
Pronto. Scegli un punto di partenza e il file si costruisce da solo.
Perché usare un generatore di robots.txt
Ogni crawler chiede un file prima di qualsiasi altra cosa. Quindi quell’unico file dà forma a tutto il resto della visita.
La sintassi è piccola, eppure punisce i refusi in silenzio. Un generatore di robots.txt elimina i tentativi, perché i nomi dei crawler vengono da un elenco e non dalla tua memoria.
Una barra fuori posto può nascondere un intero sito. Perciò conviene costruire il file con parti collaudate e rileggerlo prima di caricarlo.
Per venticinque anni questo file non ha avuto alcuno standard. La RFC 9309, che ha standardizzato robots.txt lo ha finalmente messo per iscritto nel 2022.
Ciò che questo file governa davvero
Robots.txt risponde a una domanda: un crawler può scaricare questo indirizzo? Non dice nulla sul posizionamento, e nulla nemmeno sull’indicizzazione.
Il file deve stare nella radice del dominio. In altre parole, example.com/robots.txt funziona, mentre example.com/blog/robots.txt viene ignorato.
Inoltre le regole distinguono maiuscole e minuscole. Poiché /Blog/ e /blog/ sono due percorsi diversi, scrivili esattamente come li serve il sito.
Quale regola vince quando ne corrispondono due
Un crawler obbedisce a un solo gruppo, quello il cui user-agent gli corrisponde meglio. Così un gruppo per Googlebot sostituisce il gruppo per tutti i crawler.
Dentro quel gruppo vince il percorso corrispondente più lungo. Per esempio, Allow: /wp-admin/admin-ajax.php batte Disallow: /wp-admin/, perché è più lungo e più preciso.
Quando due regole hanno la stessa lunghezza, vince Allow. Soprattutto, qui l’ordine non decide nulla, per quanto ordinato sembri il file.
Bloccare non è nascondere
Un indirizzo bloccato può comunque comparire nei risultati, senza descrizione, se altre pagine lo linkano. Usa un tag noindex per tenere una pagina fuori dall’indice. Nel frattempo ricorda che la pagina deve restare scansionabile, altrimenti nessuno legge mai il tag.
Il tuo robots.txt con il generatore, passo dopo passo
Quattro passaggi brevi, e nessun account. Infatti la prima scelta fa quasi tutto il lavoro per te.
- 1
Scegli una base
Scegli un sito aperto, un sito WordPress, un negozio o un blocco totale. Ognuno aggiunge le regole adatte.
- 2
Sistema le righe
Ogni riga contiene un crawler, un verdetto e un percorso. Aggiungi righe, cancellale o lascia la base così com’è.
- 3
Aggiungi la riga della sitemap
Incolla l’indirizzo completo della sitemap. È l’unica riga qui che aiuta un crawler invece di sbarrargli la strada.
- 4
Copia o scarica
Premi Copia il file oppure salvalo come robots.txt. Poi caricalo nella radice del dominio.
Cosa fa bene questo generatore di robots.txt
La maggior parte dei generatori ti dà una casella di testo e ti augura buona fortuna. Invece questo restringe le scelte finché un refuso diventa difficile.
I nomi dei crawler vengono da un elenco
GoogleBot con la B maiuscola non corrisponde a nulla. Per questo i nomi stanno in un menu a tendina, scritti come li scrivono i crawler stessi.
Un interruttore per i crawler dell’IA
Dodici crawler di addestramento entrano insieme nel file. Perciò non devi cercare ogni nome da solo.
Note che chiariscono ogni riga
Ogni gruppo può avere sopra una breve nota. Tra sei mesi, quella nota è ciò che impedisce a qualcuno di cancellare la riga.
Raggruppamento fatto bene
Le regole per lo stesso crawler vanno sotto un’unica intestazione. Così lo strumento le raccoglie invece di ripetere la riga user-agent.
Un contatore di dimensione dal vivo
Google legge i primi 500 kilobyte e si ferma. Poiché i file veri restano molto al di sotto, il contatore serve semplicemente a rassicurare.
Nulla lascia la scheda
Il browser scrive ogni riga di questo file. Di conseguenza i tuoi percorsi non raggiungono mai un server, né il nostro né quello di altri.
Principi da applicare sempre
Il file è corto, quindi anche le abitudini lo sono. Tuttavia ognuna evita un tipo preciso di brutta giornata.
- Rileggilo prima di caricarlo. Cerca nell’output una riga Disallow: / isolata. Poiché quell’unica barra blocca tutto il sito, vale dieci secondi.
- Indica sempre la sitemap. La riga Sitemap sta fuori da ogni gruppo, quindi vale per tutti i crawler. Perciò una riga serve a tutti.
- Non metterci segreti. Chiunque può aprire il tuo robots.txt in un browser. Invece di elencare una cartella privata, proteggila con una password.
- Non bloccare il CSS. Google visualizza le pagine prima di giudicarle. Se il foglio di stile è bloccato, la pagina che vede quindi non è quella che vedono i visitatori.
- Salta crawl-delay per Google. Google ignora del tutto quella riga. Invece Bing e Yandex la leggono, quindi impostala solo quando uno dei due ti sovraccarica.
- Versionalo insieme al codice. Tieni il file nel repository accanto a tutto il resto. Poi un cambiamento a sorpresa compare in un diff invece che nel traffico.
Tre modi in cui questo file va storto
Ognuno sembra innocuo in un editor. Tuttavia ognuno è già costato in silenzio il traffico a siti veri.
Pubblicare il file di staging
Un server di test blocca tutto, giustamente. Tuttavia quel file finisce poi in produzione insieme al resto del codice.
Sfruttarlo per tenere segreta una pagina
Bloccare una pagina non la toglie dalla ricerca. Invece di tirare a indovinare, aggiungi un tag noindex e lascia entrare il crawler perché lo legga.
Affidargli la sicurezza
I crawler educati lo rispettano e nessun altro è obbligato a farlo. Quindi trattalo come un cartello stradale, mai come una serratura.
Domande frequenti su robots.txt
Dove va il file finito?
Nella radice del dominio, come example.com/robots.txt. I crawler lo cercano lì e da nessun’altra parte. Per questo una copia in una sottocartella non fa nulla, per quanto corretto sia il contenuto.
Serve su qualsiasi sito?
No. Se il file manca, semplicemente tutto può essere scansionato, e questo va bene a molti siti piccoli. Tuttavia conviene averne uno, perché contiene la riga della sitemap e ti dà un posto dove aggiungere una regola in seguito.
Una regola disallow toglie una pagina da Google?
Non in modo affidabile. Se altri siti linkano quell’indirizzo, può comparire come risultato senza descrizione. Perciò usa un tag noindex quando vuoi che una pagina sparisca, e lasciala scansionabile così il tag viene letto.
I caratteri jolly funzionano?
Google, Bing e Yandex capiscono tutti * per qualsiasi sequenza di caratteri e $ per la fine di un indirizzo. Tuttavia crawler più vecchi o più piccoli potrebbero non capirli. In breve, i caratteri jolly sono sicuri per i motori che contano.
Dovrei bloccare i crawler che addestrano l’IA?
Qui conta più il business che la tecnica. Bloccarli protegge i tuoi testi dai dataset di addestramento, tuttavia può anche ridurre la tua visibilità nelle risposte dell’IA. L’interruttore c’è in ogni caso.
Viene caricato qualcosa quando lo uso?
No. La pagina non chiama mai un server mentre lavori. Il browser tiene le regole, costruisce il testo e ti consegna il download, quindi nulla della struttura del sito viene inviato da nessuna parte.
Completa il lavoro con questi
Questi tre si abbinano in modo naturale a questo. Inoltre nessuno chiede un account.
Validatore robots.txt
Incolla un file e scopri quale regola vince per ogni percorso.
Apri lo strumento →Generatore di sitemap XML
Trasforma un elenco di indirizzi nella sitemap a cui punta questo file.
Apri lo strumento →Generatore di tag canonical
Indica ai motori di ricerca qual è l’indirizzo vero.
Apri lo strumento →
Pronto a scrivere il tuo robots.txt?
Scegli una base, sistema qualche riga e copia il risultato. Serve circa un minuto, non costa nulla e i tuoi percorsi non lasciano mai questa scheda.