Définition

Robots.txt

Fichier à la racine d'un site qui indique aux robots ce qu'ils peuvent explorer.

Le fichier robots.txt, placé à la racine du site (votresite.fr/robots.txt), indique aux robots des moteurs de recherche quelles parties du site ils peuvent explorer ou non. C'est le premier fichier qu'ils consultent.

Ce qu'il contient

Le fichier s'organise en groupes de règles :

  • User-agent : le robot concerné (* pour tous, Googlebot, GPTBot…).
  • Disallow : les répertoires ou pages à ne pas explorer.
  • Allow : les exceptions à une interdiction.
  • Sitemap : l'adresse du plan du site.

Exemple classique sur WordPress : interdire /wp-admin/ tout en autorisant /wp-admin/admin-ajax.php, et indiquer l'adresse du sitemap.

Ce qu'il ne fait pas

  • Il n'empêche pas l'indexation : une page bloquée peut quand même apparaître dans Google si elle reçoit des liens, sans description. Pour retirer une page des résultats, il faut la directive noindex.
  • Il ne protège rien : le fichier est public, et les robots malveillants l'ignorent. Il ne faut pas y lister des pages confidentielles.

Les erreurs graves

  • Disallow: / laissé après une mise en ligne, qui bloque tout le site.
  • Bloquer les fichiers CSS et JavaScript, ce qui empêche Google d'afficher correctement les pages.
  • Bloquer une page en noindex : Google ne peut plus lire la consigne.
  • Une faute de syntaxe qui rend une règle inefficace.

Robots.txt et robots IA

Le fichier permet aussi d'autoriser ou de refuser les robots des outils d'IA : GPTBot, ClaudeBot, PerplexityBot, Google-Extended. Les bloquer réduit les chances d'être cité dans leurs réponses. Ce choix se fait au cas par cas, selon la valeur de vos contenus et vos objectifs.

Le rapport robots.txt de la Search Console permet de vérifier le fichier. Le sujet fait partie du SEO technique.

Questions fréquentes : robots.txt

Un site a-t-il besoin d'un robots.txt ?

Ce n'est pas obligatoire, mais c'est recommandé, au moins pour indiquer le sitemap et exclure les zones techniques.

Le robots.txt permet-il d'économiser le budget de crawl ?

Oui, sur les gros sites, en évitant que Google explore des milliers d'URLs inutiles comme les filtres ou les recherches internes.

Faut-il bloquer les robots d'IA ?

Pour un site d'entreprise qui veut être recommandé, c'est rarement une bonne idée. Le blocage peut se justifier pour des contenus payants ou exclusifs.

Votre formule, votre prix, puis une heure pour tout valider.

Appeler Voir mon prix