Direttiva robots

Una direttiva robots è un’istruzione per i crawler dei motori di ricerca, per esempio sull’indicizzazione di una pagina o sulla presentazione degli snippet di ricerca. Le regole applicabili dipendono dal crawler destinatario e dal supporto che offre.

Controllare insieme HTML e header di risposta

Google documenta le regole nel meta tag robots e nell’header di risposta HTTP. L’header si chiama X-Robots-Tag e può essere usato anche per file senza HTML. Il crawler deve poter accedere alla pagina per leggere l’istruzione fornita.

Individuare impostazioni ereditate dal modello

In un progetto fittizio, noindex rimane per errore nel modello quando un’anteprima diventa una pagina di servizi pubblica. Il gruppo deve controllare la regola effettivamente fornita e il suo ambito. Un’impostazione nel modulo editoriale, da sola, non dimostra che cosa invia il server. Le regole di robots.txt controllano invece il recupero dei contenuti; i due meccanismi vanno distinti. Un’istruzione sulla presentazione nei risultati non costituisce nemmeno un controllo degli accessi ai contenuti riservati.

Fonti

• Google Search Central: Robots meta tag specifications