Qu’est-ce que le Crawl Google ? #

Le crawl (ou crawling) est l’action de Google de passer plus ou moins régulièrement sur un site web afin d’en indexer les pages.

Les robots (bots) de Google parcourent le web en permanence afin d’enregistrer les nouveaux contenus et les positionner dans les résultats de recherche.

Il est important d’optimiser le crawl de son site via des techniques d’optimisations du crawl et d’optimisation du budget de crawl afin d’améliorer son positionnement dans les SERPs.

Comment optimiser le crawl Google ? #

Une partie de l’optimisation du crawl d’un site internet réside dans des actions basiques que l’on se doit de faire “au minimum”.

• Création d’un sitemap
• Création et optimisation d’un fichier robots.txt
• Optimisation des URLs

D’autres optimisations se feront tout au long de la vie d’un site ou pour des cas particuliers :

• Gestion de redirections (lorsqu’un contenu à changé d’adresse ou pour gérer des contenus en fonction de la langue ou la géolocalisation du visiteur)
• Utilisation d’URLs canoniques (dans le cas de contenu dupliqué notamment)
• Suivi et corrections des erreurs 404
• Analyse du crawl et des logs SEO
• Détection et optimisation des pages orphelines

Qu’est-ce que l’analyse du crawl ? #

L’analyse du crawl peut se faire par la Search console de Google.

Dans l’onglet “Couverture”, vous obtiendrez les informations recueillies par Google à propos des pages de votre site.

Certaines erreurs affichées sont parfois volontaires (comme des pages que l’on ne souhaite pas voir référencées) mais d’autres pourront aisément être corrigées afin d’optimiser le Crawl de son site.

Qu’est-ce que le budget de crawl ? #

On appelle Budget de crawl les ressources mises à disposition par Google pour parcourir nos pages.

Google accorde un budget de crawl différent aux sites qu’il parcourt en fonction de l’importance qu’il leur accorde, mais aussi, en fonction de leur activité.

Un site d’actualité aura ainsi plus de budget de crawl qui lui sera alloué car Google sait que du contenu frais sera proposé régulièrement.

On peut optimiser son budget de crawl en supprimant les erreurs 404 et les pages orphelines par exemple. Tout le contenu inutile que les bots de Google analysera sera autant de budget de crawl perdu.