Définition

Crawl

L'exploration des pages web par les robots des moteurs de recherche.

Le crawl est l'étape pendant laquelle les robots de Google (Googlebot) parcourent le web en suivant les liens pour découvrir et revisiter les pages. Une page non explorée ne peut pas être indexée ni classée.

Les trois étapes de Google

  1. Exploration (crawl) : Googlebot découvre et télécharge la page.
  2. Indexation : Google analyse le contenu et décide de l'enregistrer dans son index.
  3. Classement : quand quelqu'un fait une recherche, Google choisit les pages les plus utiles parmi celles indexées.

Un problème à la première étape bloque tout le reste.

Comment Google découvre vos pages

  • En suivant les liens internes de votre site.
  • En suivant les liens depuis d'autres sites.
  • Grâce au sitemap XML déclaré dans la Search Console.
  • Par une demande d'indexation manuelle dans l'outil d'inspection d'URL.

Ce qui gêne l'exploration

  • Des pages bloquées par erreur dans le robots.txt.
  • Des liens en JavaScript que Google ne suit pas bien.
  • Des pages orphelines, sans aucun lien interne.
  • Un serveur lent ou qui renvoie des erreurs 5xx.
  • Des chaînes de redirections.

Les logiciels de crawl

Les consultants SEO utilisent aussi des logiciels de crawl comme Screaming Frog pour explorer un site comme le ferait Google. Ils repèrent les liens cassés, les redirections, les pages orphelines, les balises manquantes ou en double et la profondeur des pages. C'est la base de tout audit SEO.

Faciliter le crawl

Un maillage interne clair, des pages importantes à trois clics maximum de l'accueil, un sitemap à jour et un serveur rapide suffisent dans la plupart des cas.

Questions fréquentes : crawl

À quelle fréquence Google explore-t-il mon site ?

Cela dépend de sa popularité et de la fréquence de vos mises à jour : de plusieurs fois par jour pour un média à quelques fois par mois pour un petit site vitrine.

Comment faire explorer une nouvelle page rapidement ?

Ajoutez des liens internes vers elle depuis des pages existantes, vérifiez qu'elle est dans le sitemap, puis demandez l'indexation dans l'outil d'inspection de la Search Console.

Les robots des IA explorent-ils aussi mon site ?

Oui, des robots comme GPTBot ou ClaudeBot explorent le web. Le robots.txt permet de les autoriser ou de les bloquer séparément de Googlebot.

Votre formule, votre prix, puis une heure pour tout valider.

Appeler Voir mon prix