Directiva robots

Una directiva robots es una instrucción para los rastreadores de los buscadores, por ejemplo sobre la indexación de una página o la presentación de fragmentos en los resultados. Las reglas aplicables dependen del rastreador al que se dirigen y de su compatibilidad.

Revisar el HTML y la cabecera de respuesta juntos

Google documenta reglas en la etiqueta meta robots y en la cabecera de respuesta HTTP. La cabecera se llama X-Robots-Tag y también puede utilizarse en archivos sin HTML. El rastreador debe poder acceder a la página para leer la instrucción servida.

Detectar ajustes heredados de la plantilla

En un proyecto ficticio, noindex permanece por error en la plantilla cuando una vista previa pasa a ser una página pública de servicios. El equipo debe revisar la regla realmente servida y su alcance. Un ajuste en el formulario editorial no demuestra por sí solo qué envía el servidor. En cambio, las reglas de robots.txt controlan la obtención del contenido; hay que distinguir ambos mecanismos. Una instrucción sobre la presentación en búsquedas tampoco proporciona control de acceso a contenidos confidenciales.

Fuentes

• Google Search Central: Robots meta tag specifications