Le direttive “No-index” istruiscono i motori di ricerca ad escludere una pagina dall’indice, rendendola non idonea ad apparire nei risultati di ricerca.
Tag meta robots “noindex” Meta Robots
Il modo più comune per istruire i motori di ricerca a non indicizzare una pagina è quello di includere un tag Meta Robots all’interno del tag <head> di una pagina HTML con una direttiva “noindex” come segue:
<meta name=”robots” content=”noindex” />
Intorno al 2007, i principali motori di ricerca hanno iniziato ad implementare il supporto per le direttive “noindex” nei tag Meta Robots. I tag Meta Robots possono anche includere altre direttive, come la direttiva “follow” o “nofollow“, che indirizza i motori di ricerca a scansionare o meno i link trovati sulla pagina corrente.
Di solito i webmaster usano la direttiva “noindex” per evitare che il contenuto non destinato ai motori di ricerca venga indicizzato.
Alcuni casi d’uso comuni per le direttive “noindex”:
- Pagine contenenti informazioni sensibili
- Pagine di carrello o di checkout su un sito di eCommerce
- Versioni alternative di pagine per A/B o split test attivi
- Versioni di pagina “Staging” (o in-progress) non ancora pronte per l’uso pubblico
“Intestazioni di risposta” Noindex
Inoltre, i motori di ricerca supportano una direttiva “noindex” fornita attraverso le intestazioni di risposta HTTP per una data pagina. Mentre questo approccio è meno comune e può essere più difficile da identificare utilizzando i comuni strumenti SEO, a volte è più facile per gli ingegneri o i webmaster includere in base alla loro configurazione del server.
Il nome e il valore di un’intestazione di risposta “noindex” sono i seguenti:
X-Robots- Meta Tag: noindex
Migliori strategie SEO per le direttive “noindex” in WordPress
1. Evitare di usare il meta tag “noindex” su pagine di valore
L’inclusione accidentale di un meta tag o di una direttiva “noindex” su una pagina di valore può causare la rimozione della pagina dagli indici dei motori di ricerca e smettere di ricevere tutto il traffico organico.
Per esempio, se viene lanciata una nuova versione del sito web, ma i tag “noindex“, che sono stati inclusi per impedire ai motori di ricerca di indicizzare le nuove versioni delle pagine prima che fossero pronte, vengono lasciati al loro posto, la nuova versione del sito web WordPress può immediatamente smettere di ricevere traffico dalla ricerca
2. Capire che “noindex” è eventualmente trattato come “nofollow”
I webmaster hanno spesso utilizzato i Meta tag Robots o le intestazioni di risposta per segnalare ai motori di ricerca che la pagina corrente non dovrebbe essere indicizzata, ma i link sulla pagina dovrebbero comunque essere scansionati come con il seguente Meta tag Robots:
<meta name=”robots” content=”noindex,follow” />
Questo è comunemente usato per le pagine di elenchi paginati. Per esempio, “noindex,follow” può essere applicato agli elenchi dell’archivio di un blog, per evitare che le pagine dell’archivio stesso appaiano nei risultati di ricerca ma permettere ai motori di ricerca di scansionare, indicizzare e classificare i post del blog stesso.
Tuttavia, questo approccio potrebbe non funzionare come previsto, poiché Google ha spiegato che i loro sistemi alla fine trattano una direttiva “noindex,follow” come una “noindex,nofollow” – in altre parole, alla fine smetteranno di scansionare i link su qualsiasi pagina con una direttiva “noindex”. Questo può impedire alle pagine di destinazione dei link di essere indicizzate del tutto o ridurre il loro PageRank o autorità, abbassando il loro rango per le parole chiave pertinenti.
3. Evitare di usare le regole “noindex” nei file Robots.txt
Anche se non è mai stato ufficialmente supportato, i motori di ricerca hanno rispettato le direttive “noindex” nelle regole contenute nel file robots.txt per qualche tempo. Poiché le regole robots.txt con i caratteri jolly possono essere applicate a molte pagine in una volta sola senza che sia necessario alcun cambiamento nelle pagine stesse, questo metodo è stato preferito da molti webmaster. Google non raccomanda questo uso dei file robots.txt per impostare le direttive “noindex” e ha ritirato il codice che supportava queste regole nel settembre del 2019.
Combinare noindex con follow o nofollow
Facoltativamente, puoi combinare la direttiva noindex con i valori “follow” o “nofollow”. Questi indicano ai bot di ricerca come gestire i collegamenti nella pagina non indicizzata. I bot di ricerca seguono i collegamenti nella rispettiva pagina se è stata impostata una direttiva follow. Questa combinazione di direttive viene spesso utilizzata per le sitemap HTML. L’indicizzazione di una sitemap HTML raramente ha senso, ma da un punto di vista SEO, la sitemap è preziosa perché Google e altri motori di ricerca possono accedere a tutte le sottopagine di un sito Web WordPress in pochi passaggi.
La direttiva follow può essere utile anche per la SEO per quanto riguarda le pagine di categoria impaginate o le pagine dei risultati della funzione di ricerca interna dei negozi online. Molti operatori di siti Web decidono di non indicizzare tali sottopagine a causa del loro basso contenuto di informazioni e dei potenziali problemi di contenuto duplicato. In questo caso il valore “follow” è utile per fare in modo che i motori di ricerca possano comunque trovare e indicizzare i singoli prodotti offerti in quelle categorie.
In questo contesto, tuttavia, tieni presente che Google smette di seguire i link su una pagina noindex dopo un certo periodo di tempo . Pertanto, questo approccio è consigliato solo in parte per la SEO a lungo termine.
Al contrario di follow, la direttiva nofollow garantisce che i crawler non valutino i collegamenti su una sottopagina.
Differenza con la direttiva “disallow” in un file robots.txt
Utilizzando la direttiva disallow in un file robots.txt , puoi dire ai bot di ricerca di non eseguire la scansione delle aree definite lì. Il comando viene utilizzato, ad esempio, per file come immagini in database di grandi dimensioni, al fine di risparmiare prezioso crawl budget SEO. Tuttavia, non dovresti utilizzare questa direttiva se desideri che determinati contenuti non vengano indicizzati. Sebbene il comando vieti la scansione di una determinata pagina, questa pagina può comunque essere visualizzata nell’indice se i backlink di altri siti Web puntano ad essa.
Per questo motivo, non dovresti mai combinare noindex e non consentire nella stessa pagina. Poiché i crawler richiamano sempre per primo il file robots.txt durante l’indicizzazione di un sito Web, notano prima la direttiva disallow e di conseguenza si astengono dal eseguire la scansione delle rispettive sottopagine. La conseguenza di ciò è che non possono vedere possibili direttive noindex su queste pagine e includere comunque le sottopagine nell’indice se sono collegate tramite backlink. Se non vuoi che una determinata pagina venga inclusa nell’indice dei motori di ricerca, dovresti quindi utilizzare solo noindex.
