Controllo della scansione in WordPress
Generatore robots.txt per WordPress
Parti da una configurazione WordPress prudente, poi personalizza percorsi, gruppi crawler e sitemap del sito che gestisci realmente. L'obiettivo non è copiare un presunto “miglior robots.txt” universale, ma creare regole che puoi spiegare e testare.
Scegli la modalità di modifica
La modalità semplice è più sicura per una configurazione rapida. L'editor avanzato mostra tutti i gruppi crawler e le regole.
Politica in base allo scopo del crawler
Parti da una configurazione neutra e applica restrizioni ai crawler IA solo quando corrispondono alla tua politica.
Impostazione neutra: lascia aperti crawler di ricerca, ricerca IA e controllo IA salvo blocchi espliciti nelle regole di percorso.
Percorsi da bloccare
Parti da un percorso suggerito o aggiungi il tuo. Blocca solo i percorsi che vuoi intenzionalmente far evitare ai crawler compatibili.
Percorsi suggeriti
Aggiungi percorso personalizzato
Aggiungi qualsiasi percorso del sito. I percorsi senza slash iniziale lo ricevono automaticamente; gli URL HTTP(S) completi vengono ridotti a percorso e query.
Ricerca
Consentito per impostazione predefinita
Ricerca IA
Consentito per impostazione predefinita
Controllo / training IA
Consentito per impostazione predefinita
Prima di pubblicare
- 1. Genera
Controlla il risultato in tempo reale. - 2. Valida
Controlla sintassi e compatibilità. - 3. Testa URL
Verifica percorsi e crawler importanti. - 4. Pubblica
Caricalo come /robots.txt nella radice del sito.
robots.txt generato
Risultato in tempo reale; generazione e validazione restano nel browser.
User-agent: *Allow: /wp-admin/admin-ajax.phpDisallow: /wp-admin/ Nessun avviso di sintassi o compatibilità rilevato.
Cosa fa la configurazione WordPress
WordPress Core può generare robots.txt dinamicamente. La risposta include una regola Disallow per la directory di amministrazione e una regola Allow per l'endpoint AJAX amministrativo. Questa configurazione segue quel modello prudente e lascia aperto il resto del sito salvo regole aggiuntive.
Disallow /wp-admin/
Tiene i crawler compatibili fuori dalla directory di amministrazione di WordPress. È un'indicazione per crawler, non una barriera di sicurezza; l'area amministrativa necessita comunque di autenticazione e normali protezioni.
Allow /wp-admin/admin-ajax.php
Mantiene accessibile alla scansione un endpoint usato da temi e plugin sul front-end. Una regola ampia per /wp-admin/ non dovrebbe nascondere accidentalmente una risorsa necessaria alle pagine pubbliche.
Riferimento principale WordPress: Documentazione WordPress Core su do_robots().
Decisioni robots.txt in WordPress da controllare
Plugin, funzioni e-commerce, navigazione a faccette, ricerca interna e custom post type possono creare URL assenti da un'installazione WordPress di base. Controlla questi modelli prima di aggiungere regole Disallow ampie.
Ricerca interna
Se blocchi URL dei risultati di ricerca WordPress, verifica che la regola corrisponda solo ai percorsi o parametri desiderati. Evita modelli ampi che colpiscano anche articoli o categorie normali.
WooCommerce e flussi account
Carrello, checkout, account, wishlist e URL di catalogo filtrato possono essere candidati al controllo della scansione, ma i percorsi esatti dipendono da configurazione e plugin. Testa URL rappresentativi di prodotti e categorie prima di pubblicare.
URL a faccette e con parametri
I filtri possono creare molte combinazioni di URL scansionabili. robots.txt può ridurre la scansione di modelli specifici, ma non sostituisce una strategia consapevole di canonical e indicizzazione.
Sitemap XML
Usa l'URL sitemap che il sito di produzione serve realmente. WordPress Core o un plugin SEO può fornire la sitemap, quindi verifica l'URL online invece di presumere che tutti i siti WordPress usino lo stesso endpoint.
robots.txt virtuale o fisico in WordPress
WordPress può servire robots.txt dinamicamente quando la richiesta raggiunge WordPress. Un robots.txt fisico o servito a livello server può cambiare la risposta effettiva. Anche i plugin possono modificare il contenuto generato.
Per la SEO conta il file che i crawler ricevono dall'URL di produzione. Dopo una modifica usa il Controllo online, invece di presumere che l'editor WordPress, una configurazione plugin o un file su disco rappresenti la risposta finale.
Prima di pubblicare una modifica robots.txt in WordPress
- 1
Conferma i percorsi di produzione
Controlla gli URL reali di amministrazione, ricerca, carrello, account, filtri e sitemap.
- 2
Valida l'intero file
Individua gruppi malformati, direttive sitemap errate e blocchi pericolosi dell'intero sito.
- 3
Testa URL rappresentativi
Includi home page, articolo, pagina, categoria, prodotto se applicabile e tutti i percorsi che vuoi bloccare.
- 4
Controlla la risposta online
Dopo il deployment recupera /robots.txt dall'host pubblico e conferma che le regole attese siano effettivamente servite.
Domande frequenti su robots.txt in WordPress
Tutti i siti WordPress hanno bisogno di un robots.txt personalizzato?
No. WordPress può generare robots.txt dinamicamente. Aggiungi una configurazione personalizzata solo quando hai una politica di scansione concreta da implementare e testare.
Devo bloccare wp-admin?
WordPress Core include una regola Disallow per la directory di amministrazione e consente l'endpoint AJAX. È solo un'indicazione per crawler e non protegge l'area amministrativa.
Devo bloccare le pagine di ricerca e filtro WordPress?
A volte, ma non esiste una regola universale. Decidi in base ai modelli URL e agli obiettivi di scansione reali e testa le pagine importanti per evitare che un modello ampio blocchi contenuti utili.
robots.txt può impostare noindex sulle pagine WordPress?
No. robots.txt controlla principalmente la scansione. Se un URL scansionabile non deve apparire nei risultati di ricerca, usa un controllo di indicizzazione appropriato invece di affidarti solo a Disallow.