Puoi utilizzare il meta tag robots per controllare dove e come Google e altri crawler dei motori di ricerca si spostano nel tuo sito Web e trasmettono link juice da una pagina all’altra. Se suona familiare a un altro file di testo sul tuo sito Web, resta sintonizzato per ulteriori informazioni…
Qual è il meta tag Robots che ha importanza?
Il meta tag robots è un tag HTML che va al tag principale di una pagina e fornisce istruzioni ai robot. Come il file robots.txt, dice ai crawler dei motori di ricerca se possono o meno indicizzare una pagina.
Per trovare il tag meta robot su una pagina, fai semplicemente clic con il pulsante destro del mouse su una pagina Web, fai clic su “Visualizza sorgente” e quindi fai una ricerca per “robot”. Sembrerà qualcosa del genere:
<meta name="robots" content="noindex" />
<meta name="googlebot" content="noindex" />
<meta name="googlebot-news" content="noindex" />
<meta name="slurp" content="noindex" />
<meta name="msnbot" content="noindex" />
In questo esempio, la riga superiore fornisce si applica a tutti i bot dei motori di ricerca mentre le 4 righe successive si applicano a specifici user-agent. In questo esempio specifico, il tag meta robots dice ai motori di ricerca di non indicizzare la pagina. Tuttavia, i bot sono liberi di seguire i link che trovano nella pagina.
Il meta tag robots è importante perché aggiunge un ulteriore livello di protezione al file robots.txt . Quando un crawler segue un link esterno e arriva a una delle tue pagine, può comunque eseguire la scansione e indicizzare quella pagina perché non ha visto il file robots.txt.
Il meta tag robots impedisce che avvenga la scansione e l’indicizzazione.
Il nostro strumento SEO Power effettua un analisi completa della tua pagina web, analizza i meta tag del tuoi sito web segnalandoti eventuali anomalie.
Come funziona il meta tag robots?
Come puoi vedere, ci sono due parti del tag: name=””e content=””.
La parte del nome specifica lo user-agent del bot che stai istruendo, proprio come la riga user-agent in un file robots.txt. A differenza di robots.txt, non utilizzi un carattere jolly per includere tutti i bot. Per questo, scrivi semplicemente “robot”.
Da qui il nome del tag meta robots.
La seconda parte, content=””è dove dici ai robot cosa fare.
Quali valori di meta tag robot ci sono?
Ci sono molti valori diversi che puoi aggiungere al content campo nel tag robots. Ognuno di questi valori fa qualcosa di diverso:
- Indice: indica ai motori di ricerca di indicizzare la pagina. Questo potrebbe sembrare inutile a prima vista poiché “Indice” è l’impostazione predefinita, ma può essere utile se desideri che solo un particolare gruppo di motori di ricerca indicizzi la pagina.
- NoIndex: indica ai motori di ricerca di non indicizzare la pagina in modo che non venga visualizzata nei risultati di ricerca.
- NoImageIndex: dice ai motori di ricerca di non indicizzare le immagini su una pagina. Tuttavia, se qualcuno aggiunge quell’immagine da qualche altra parte sul Web, Google la indicizzerà comunque e la mostrerà nei risultati dell’immagine.
- Nessuno: funziona come una scorciatoia per “noindex, nofollow”. Dice ai motori di ricerca di ignorare la pagina e fingere di non averla mai vista.
- Segui: indica ai motori di ricerca di seguire i collegamenti trovati nella pagina. Come con “Indice”, questo è lo stato predefinito quando un bot non trova un tag meta robots ad esso applicabile.
- NoFollow: indica ai motori di ricerca di non seguire alcun collegamento in una pagina. Puoi aggiungere questo valore anche a un singolo collegamento.
- NoArchive: indica ai motori di ricerca di non mostrare copie cache della pagina.
- NoCache: la stessa cosa di “NoArchive” tranne che per MSN/Live.
- NoSnippet: impedisce ai motori di ricerca di mostrare uno snippet per questa pagina nei risultati di ricerca. Inoltre impedisce loro di memorizzare nella cache la pagina.
- NoTranslate: indica ai motori di ricerca di non offrire versioni tradotte della pagina nei risultati di ricerca.
- Non disponibile_dopo: indica ai motori di ricerca di non visualizzare la pagina nei risultati di ricerca dopo una determinata data.
- NoYDir: indica al motore di ricerca di non utilizzare Yahoo! Descrizione della pagina della directory nello snippet di ricerca.
- NoODP: impedisce ai motori di ricerca di utilizzare la descrizione della pagina da DMOZ nello snippet di ricerca. ODP è la comunità che gestisce e mantiene la directory DMOZ.
Questi ultimi due valori – NoYDir e NoODP – non hanno un uso al giorno d’oggi. Né Yahoo! Directory o DMOZ esistono più. Tuttavia, potresti ancora vederli mentre sei in giro sul web.
A complicare un po’ le cose qui c’è il fatto che non tutti i motori di ricerca supportano tutti i valori. Quindi ecco una tabella pratica che lo scompone:
| Valore | Bing | Yandex | |
|---|---|---|---|
| indice | sì | sì | sì |
| noindex | sì | sì | sì |
| nessuno | sì | Dubbio | sì |
| noimageindex | sì | No | No |
| Seguire | sì | Dubbio | sì |
| non seguire | sì | sì | sì |
| noarchivio/nocache | sì | sì | sì |
| nosnippet | sì | No | No |
| notranslate | sì | No | No |
| non disponibile_dopo | sì | No | No |
| noodp | No | No | No |
| noydir | No | No | No |
Usando le virgole, puoi creare meta tag multi-direttiva invece di creare un tag per ogni direttiva. In effetti, lo vedrai abbastanza spesso poiché molti meta tag robot utilizzano i valori “noindex, nofollow”:
<meta name="robots" content="noindex, nofollow" />
Come si utilizzano i meta tag di Robots per la SEO?
Assicurarsi che determinate pagine di basso valore rimangano fuori dall’indice di Google e dai risultati di ricerca fa parte della SEO tanto quanto inserire le pagine nei risultati di ricerca. L’indicizzazione delle pagine di basso valore può aiutare ad aumentare quella che è nota come “domanda di scansione” del tuo sito, che può aiutare a eseguire la scansione del tuo sito più spesso.
Meta robots aggiunge anche un ulteriore livello di protezione per le pagine che hai bloccato tramite il tuo file robots.txt. Quelle pagine possono ancora finire indicizzate se Google vi atterra da un backlink. L’indicizzazione della pagina impedirà ciò.
L’utilizzo del meta tag robots per impedire l’indicizzazione di una pagina e il monitoraggio dei collegamenti è simile al seguente:
<meta name=”robots” content=”noindex, nofollow”>
I valori noindex e nofollow sono i due valori più utilizzati nel tag meta robots. Tuttavia, anche gli altri valori sopra elencati hanno valore SEO:
- NoImageIndex: indica ai motori di ricerca di non eseguire la scansione delle immagini su una pagina.
- Nessuno: equivale all’utilizzo di “noindex, nofollow” combinato in un unico valore. I crawler di ricerca non indicizzeranno la pagina né seguiranno alcun collegamento.
- NoArchive: impedisce ai motori di ricerca di mostrare una versione cache della tua pagina. Assicurati che le persone vedano sempre l’ultima versione dei tuoi contenuti. MSN/Live utilizza “NoCache” invece di “NoArchive”.
- NoSnippet: impedisce ai motori di ricerca di visualizzare lo snippet del tuo sito nei risultati di ricerca e di mostrare una versione cache della pagina.
Se il punto centrale della SEO è inserire le pagine nei risultati di ricerca, come diavolo fanno i meta robot di una pagina ad aiutare la SEO?
- Impedisce l’indicizzazione e la visualizzazione di file o cartelle private nei risultati di ricerca. In genere è consigliabile non pubblicare affatto questo contenuto sul tuo sito o proteggerlo con password. Tuttavia, se per qualche motivo devi inserirlo nel tuo sito, il meta tag robots lo manterrà fuori da Google.
- Aiuta i motori di ricerca a scansionare il tuo sito in modo più efficiente. I robot di ricerca hanno budget di scansione limitati, quindi potrebbero teoricamente passare tutto il loro tempo a scansionare le pagine di cui non ti interessa davvero classificare, ignorando quelle più importanti. Il blocco dell’indicizzazione di questi file non importanti aiuterà a guidare i crawler verso le tue pagine più preziose.
- Se hai una pagina che ha acquisito molto link juice, ma non vuoi che venga indicizzata, usa la seguente direttiva per passare quel link juice ad altre pagine del tuo sito.
Anche se non è mai consigliabile pubblicare informazioni sensibili sul tuo sito Web, a volte succede. Bloccare questi URL tramite robots.txt significa dire a chiunque lo legga che dovrebbe dare un’occhiata a quelle pagine. L’aggiunta di “noindex” a un meta tag robot manterrà quella pagina fuori dai risultati di ricerca senza elencarla dove qualcuno potrebbe trovarla.
La parte più importante dell’utilizzo del meta tag robots è assicurarsi di utilizzarlo correttamente. Non è raro che un intero sito venga deindicizzato perché qualcuno ha aggiunto accidentalmente il tag noindex robots all’intero sito. Quindi capire come funziona il meta tag robots è assolutamente vitale per la SEO.
