Robots.txt
robots.txt da instrucciones a los rastreadores que las respetan; no protege el acceso ni garantiza la exclusión del índice.
Gestionar rastreos, no proteger secretos
El archivo robots.txt indica a los rastreadores qué áreas deberían recuperar o evitar. Su cumplimiento depende del rastreador. En un ejemplo ficticio, ciertas combinaciones de filtros de un catálogo no deben rastrearse porque generan muchas vistas similares.
Google puede conocer una URL bloqueada mediante otros enlaces e indexarla sin leer su contenido. Para excluir una página del índice, una regla adecuada como noindex requiere otro tratamiento: Google debe poder leerla en la página o en su respuesta. Los documentos confidenciales necesitan controles de acceso reales. Compruebe también si los bloqueos afectan a scripts o estilos necesarios y dificultan así la comprensión de páginas públicas.
Fuentes
Términos relacionados
- RastreoEl rastreo es la recuperación automática de páginas y recursos por un bot, por ejemplo para procesarlos en un buscador.
- IndexaciónDurante la indexación, un buscador analiza el contenido y añade información sobre él a su índice de búsqueda.
- SEO técnicoEl SEO técnico prepara las condiciones para que los buscadores puedan recuperar, comprender e indexar las páginas adecuadas.
- Core Web VitalsLas Core Web Vitals describen la carga, la capacidad de respuesta y la estabilidad visual. El resultado debe indicar el entorno de medición y el origen de los datos.
- Datos estructuradosLos datos estructurados describen el contenido en un formato legible por máquinas e identifican explícitamente su significado.
- Sitemap XMLUn sitemap XML indica a los buscadores URL seleccionadas del sitio y puede incluir información adicional sobre ellas.
Artículos sobre el tema
Su proyecto con ASES
Descríbanos su proyecto. Le responderemos con una primera valoración.