Robots.txt
robots.txt fornisce regole ai crawler che le rispettano; non protegge gli accessi né garantisce l’esclusione dall’indice.
Gestire le scansioni, non proteggere i segreti
Il file robots.txt indica ai crawler quali aree dovrebbero recuperare o evitare. Il rispetto dipende dal crawler. In un esempio inventato, alcune combinazioni di filtri di un catalogo non devono essere scansionate perché generano molte viste simili.
Google può comunque conoscere un URL bloccato tramite altri link e indicizzarlo senza leggerne il contenuto. Per escludere una pagina dall'indice, una regola adatta come noindex va gestita diversamente: Google deve poterla leggere nella pagina o nella risposta. I documenti riservati richiedono veri controlli di accesso. Verifichi anche se i blocchi interessano script o stili necessari e compromettono così la comprensione delle pagine pubbliche.
Fonti
Termini correlati
- ScansioneLa scansione è il recupero automatizzato di pagine e risorse da parte di un bot, ad esempio per l’elaborazione in un motore di ricerca.
- IndicizzazioneDurante l’indicizzazione, un motore analizza il contenuto e ne inserisce informazioni nel proprio indice di ricerca.
- SEO tecnicaLa SEO tecnica prepara le condizioni affinché i motori possano recuperare, comprendere e indicizzare le pagine appropriate.
- Core Web VitalsI Core Web Vitals descrivono caricamento, reattività e stabilità visiva. Ambiente di misurazione e dati di origine devono accompagnare il risultato.
- Dati strutturatiI dati strutturati descrivono il contenuto in un formato leggibile dalle macchine e ne esplicitano il significato.
- Sitemap XMLUna sitemap XML indica ai motori URL selezionati del sito e può contenere informazioni aggiuntive su di essi.
Articoli sul tema
Il vostro progetto con ASES
Descriveteci il vostro progetto. Vi ricontatteremo con una prima valutazione.