Budget de crawl
Le nombre de pages que Google accepte d'explorer sur un site dans un temps donné.
Le budget de crawl est le nombre de pages que Google accepte d'explorer sur un site dans un temps donné. Il dépend de la capacité du serveur à répondre et de l'intérêt que Google porte au site.
Comment Google fixe ce budget
Deux éléments entrent en jeu :
- La capacité d'exploration : Google ralentit s'il constate que le serveur répond lentement ou renvoie des erreurs.
- La demande d'exploration : Google revient plus souvent sur les pages populaires, mises à jour régulièrement ou nouvellement découvertes.
Qui est concerné
Pour un petit site vitrine de quelques dizaines de pages, ce n'est presque jamais un problème : Google explore tout sans difficulté.
Pour un site e-commerce de milliers d'URLs, c'est crucial. Les filtres à facettes, les paramètres de tri, la pagination et les pages en double peuvent générer des dizaines de milliers d'URLs inutiles qui consomment le budget au détriment des fiches produits importantes.
Les signes d'un problème
- De nouvelles pages mettent des semaines à être indexées.
- Le rapport Pages de la Search Console montre beaucoup d'URLs « Détectée, actuellement non indexée ».
- Les statistiques d'exploration montrent que Google passe surtout sur des URLs à paramètres.
Les leviers d'optimisation
- Bloquer les URLs inutiles dans le robots.txt (recherche interne, tris).
- Mettre en noindex ou canonicaliser les variantes.
- Supprimer ou rediriger les pages sans valeur.
- Tenir un sitemap à jour qui ne liste que les pages utiles.
- Avoir un serveur rapide et sans erreurs.
- Soigner le maillage interne vers les pages importantes.
Ces optimisations sont au cœur du SEO e-commerce et du SEO technique.
Questions fréquentes : budget de crawl
Où voir le budget de crawl de mon site ?
Dans la Search Console, menu Paramètres puis Statistiques sur l'exploration : nombre de requêtes par jour, temps de réponse et types d'URLs explorées.
Un site plus rapide est-il exploré davantage ?
Oui, en général. Un serveur qui répond vite permet à Google d'explorer plus de pages sans risquer de le surcharger.
Faut-il bloquer les pages de filtres d'une boutique ?
La plupart, oui. On garde indexables uniquement les combinaisons qui correspondent à de vraies recherches, comme « chaussures de randonnée femme ».