Se avete problemi di utilizzo delle risorse sul vostro server di hosting e avete bisogno di diminuire la frequenza con cui il crawler di Google scansiona il vostro sito web, nessun problema, vi aiuto io! Qui vi mostrerò come ridurre la frequenza di scansione del crawler di Google.
Spesso accade che tutte le risorse del vostro server di hosting siano esaurite e questo è causato dal crawler di Google che si sta “accanendo” contro uno dei vostri siti web. È urgente limitare la sua frequenza e quindi mitigare i danni. Ma vediamo subito come fare.
Che cos’è il crawler di Google?
“Trattore” è un termine generico che indica qualsiasi programma (come un robot o uno spider) utilizzato per l’identificazione e il crawling automatico di siti web, seguendo i link da una pagina web all’altra. Il direttore di Google è Googlebot.
Il termine frequenza di scansione indica il numero di richieste al secondo che Googlebot invia al vostro sito durante il crawling. Ma vediamo come utilizzare Google Search Console per risolvere il problema.
Come ridurre la frequenza dei crawler di Google
Google dispone di sofisticati algoritmi che aiutano a determinare la velocità di crawl ottimale per un sito. PS: Non consigliamo di limitare la frequenza di scansione, a meno che non si verifichino problemi di carico del server, probabilmente causati da Googlebot che sovraccarica il server.
- Per limitare la frequenza di scansione del robot Google, aprire la pagina delle impostazioni della velocità di scansione relativa alla proprietà. Una volta aperta la pagina, nel menu a discesa selezionate il vostro sito web e quindi “Limita la frequenza massima di crawling di Google”. Agite sulla barra sottostante spostando l’indicatore a sinistra. Le modifiche saranno applicate entro 2 giorni e avranno effetto per un periodo di 3 mesi (90 giorni)!
Ecco il link per ridurre la frequenza di scansione del crawler di Google.
Prima di farlo, vi consigliamo di controllare le statistiche di scansione del vostro sito e di verificare se ci sono stati effettivamente dei picchi di crawl. Ecco come fare.
Come controllare le statistiche di tracciamento del vostro sito.
Per controllare le statistiche di crawl del vostro sito e verificare se esiste un problema di picchi e conseguente consumo eccessivo di risorse sul vostro server, procedete come segue:
A questo link è possibile visualizzare il rapporto di scansione, selezionare il sito dall’elenco a discesa e controllare i dati nel grafico. I picchi nel grafico indicano anomalie di scansione. Si notano anche i rapporti di scansione medi, bassi e alti (a destra).
Il rapporto “Crawl Statistics” fornisce informazioni sull’attività dei bot di Google sul vostro sito negli ultimi 90 giorni. I sistemi di Google riducono automaticamente la frequenza di crawling se il vostro server sembra essere lento a rispondere.
Conclusioni
Si consiglia di lasciare che Google gestisca la velocità di crawl del proprio crawler “automaticamente”, ma in caso di problemi è utile agire manualmente. Se aggiungete nuove informazioni o disponete di informazioni molto utili sul vostro sito, è possibile che il vostro sito venga scansionato più frequentemente di quanto desideriate. Si consiglia di leggere le soluzioni relative all’aumento o alla diminuzione improvvisa della velocità di crawling a questo link.
