Vi siete mai chiesti cos’è Googlebot, e che ruolo gioca nel posizionamento del vostro sito web attraverso i link interni nel seo?
Vuoi sapere quali sono gli aspetti che dovresti prendere in considerazione per conoscere meglio il bot di Google?
Sapevi che ci sono strumenti seo che ti permettono di simulare il bot di Google, come SEOpower?
L’algoritmo di Google e, in definitiva, i robot che scansionano i siti si basano su molti fattori che determinano se il vostro sito web si classificherà meglio o peggio nella pagina dei risultati, dalla rilevanza del contenuto alla sua qualità, così come una serie di questioni tecniche (se avete un sito informativo come un blog, o se volete fare seo in e-commerce).
Infatti, all’interno dell’ottimizzazione SEO ci sono fattori che sono requisiti minimi e altri che vi faranno competere. Tutti loro sono necessari per raggiungere le prime posizioni in Google, ma non possiamo iniziare la casa dal tetto.
La seguente piramide mostra gli elementi più basilari del SEO; alla base della piramide ci sono gli elementi fondamentali per arrivare ad apparire in Google e sopra di essi, quelli che aiuteranno il vostro sito web ad essere competitivo:
Nell’articolo di oggi parleremo della parte più basilare del SEO, quegli elementi fondamentali che, se non presi in considerazione, possono impedire al tuo sito web di posizionarsi su Google: il crawling e l’indicizzazione.
DIFFERENZA TRA CRAWLING E INDICIZZAZIONE
Prima di tutto, è necessario capire questi due concetti. Anche se il crawling e l’indicizzazione di solito vanno di pari passo, sono due fasi diverse all’interno del processo che Google segue per includere il tuo contenuto web nel suo indice. In cosa consistono?
Il crawling è il processo che Google e altri motori di ricerca seguono per conoscere il tuo sito web. Per fare questo, usano robot che navigano il web attraverso i link, che nel caso di Google, si chiama “Googlebot”.
In altre parole, il crawling è il metodo utilizzato dai motori di ricerca per navigare nel tuo sito web. L’indicizzazione, d’altra parte, è il processo con cui i motori di ricerca includono un sito web nelle SERP di Google.
Per esempio, Google può scansionare un sito web e non indicizzarlo, cioè può navigarlo ma non salvarlo.
COME FUNZIONA GOOGLEBOT?
Questi sono i passi che il bot di Google segue per scansionare il nostro sito:
- Quando Googlebot arriva al tuo sito, inizia a seguire tutti i link interni per scoprire il tuo contenuto.
- Analizza il contenuto delle pagine che ha scansionato.
- Fa una copia del tuo sito web che poi memorizza nel suo indice.
- Cataloga il contenuto secondo l’argomento.
- Dà un valore al sito web in base al suo contenuto.
Quando l’utente fa una ricerca su Google, attraverso l’algoritmo di Google, Google gli offre una classifica con i risultati che meglio si adattano alla sua ricerca:
PERCHÉ UNA PAGINA DEL TUO SITO WEB NON È INDICIZZATA?
Ci sono diverse ragioni per cui un URL del tuo sito web non è indicizzato in Google:
L’URL è bloccato nel file robots.txt.
Il file robots.txt è un file che dice ai motori di ricerca a quali URL possono e non possono accedere. Se un URL o un insieme di URL sono bloccati in questo file, Google non li scansionerà.
Si tratta di un tag nell’html di ogni pagina del sito web che indica se una pagina deve essere indicizzata o meno e se i suoi link devono essere seguiti dai motori di ricerca.
Viene visualizzato come segue:
Sarà indicizzato e i motori di ricerca seguiranno i link per scoprire altre pagine.
Sarà indicizzato e i motori di ricerca non seguiranno i link di quella pagina.
Non indicizzato, ma i motori di ricerca seguiranno i link per scoprire altre pagine.
Né indicizzato, né i link saranno seguiti.
Collegamento con
Se un url non è collegato da nessuna parte, è difficile per Google scoprirlo e indicizzarlo.
Contenuto Javascript: Se un url è in Javascript, Google può avere problemi nel suo crawling che influenzano anche l’indicizzazione.
GOOGLE E JAVASCRIPT
JavaScript è diventato, senza dubbio, il principale linguaggio del web, ma Google ha sempre avuto problemi a scansionarlo ed eseguirlo correttamente. Anche se oggi il gigante di Internet si è evoluto molto in questo senso, ha ancora alcuni problemi.
Questo non significa che un sito web in JavaScript non possa essere classificato, ma che Google troverà un po’ più difficile indicizzarlo.
COSA PUOI FARE SE IL TUO SITO È IN JAVASCRIPT?
Il tuo sito web JavaScript può essere elaborato sul server o direttamente nel tuo browser. A seconda di come è fatto, sarà più o meno difficile per Google strisciarlo.
- Server Side Rendering: un sito può essere creato in Javascript, ma essere configurato per essere eseguito sul server e quando il web viene caricato nel browser (per esempio, Chrome) lo fa come web in html, un linguaggio che è molto più facile da capire per Google. Dal punto di vista del SEO, questa è l’opzione raccomandata in quanto rende il sito web più veloce sia per gli utenti che per i motori di ricerca.
- Client Side Rendering: a differenza del caso precedente, il JavaScript sarà caricato direttamente nel browser, cioè sarebbe più difficile per Google strisciare il sito web.
COME FA GOOGLE A ELABORARE IL JAVASCRIPT?
Il processo di indicizzazione di JavaScript è fatto in 2 fasi:
- Googlebot scansiona il web: Googlebot accede a un URL, ma prima consulta il file robots.txt per assicurarsi di poterlo scansionare. Poi controlla gli URL collegati tramite i link (a meno che non gli venga detto di non seguirli). Se la pagina è Server Side Rendering (cioè viene elaborata sul server) non ci sono problemi e la indicizza.
- Se la pagina è Client Side Rendering, cioè se viene eseguita nel browser, Google lascia gli URL in coda e aspetta di avere più risorse per eseguirli. Googlebot scansiona la pagina già eseguita (in html) e infine la indicizza.
In conclusione, dobbiamo tenere presente che se Google non può scansionare correttamente il sito web, sarà molto più difficile indicizzarlo e, quindi, posizionarlo. Ricorda, i link interni saranno essenziali per il corretto crawling del tuo sito web e tieni presente che se il tuo sito è in JavaScript, dovresti parlare con il team tecnico per assicurarti che sia indicizzato correttamente.
