Prima le fonti primarie
Il comportamento del protocollo viene verificato rispetto a RFC 9309. Il comportamento specifico dei motori di ricerca viene verificato con la documentazione ufficiale del relativo provider. Le configurazioni crawler per OpenAI, Anthropic, Perplexity e Google non vengono dedotte da elenchi di strumenti SEO di terze parti quando esiste una fonte primaria.
Regole del protocollo e comportamento dei provider restano separati
Il Robots Exclusion Protocol definisce il comportamento generale di parsing e corrispondenza, mentre i singoli provider possono documentare comportamenti aggiuntivi o direttive non supportate. Per questo il validatore evita di presentare ogni avviso di compatibilità come errore di sintassi RFC.
Gli esempi sono punti di partenza, non prescrizioni universali
Le configurazioni WordPress, Blogger, staging e altri casi sono esempi modificabili. Un percorso sicuro da bloccare su un sito può essere importante su un altro, quindi le configurazioni includono avvisi di revisione invece di essere descritte come universalmente “migliori”.
Le modifiche importanti ai crawler vengono riverificate
Le politiche di ricerca IA e dei crawler possono cambiare. Quando un provider modifica nome, scopo, comportamento robots.txt o documentazione di un crawler, configurazione e testo interessati devono essere riesaminati rispetto alla nuova fonte primaria prima della pubblicazione.
Correzioni
Bug riproducibili del parser, descrizioni obsolete dei crawler e correzioni delle fonti devono essere trattati come difetti del prodotto e corretti nel motore di regole condiviso o nei metadati delle fonti, invece di modificare soltanto il testo di una pagina.