- Le robots.txt est le premier fichier que lit un robot : il dit ce qu'il a le droit d'explorer.
- C'est le videur de votre site. Mal réglé, il peut bloquer Google, Bing ou les IA sans que vous le sachiez.
- À vérifier d'urgence : pas de « Disallow: / » tout seul, et surtout ne bloquez pas le CSS ni le JavaScript.
Le fichier robots.txt se trouve à la racine de votre site (votre-site.fr/robots.txt). C'est le videur à l'entrée : avant même de regarder vos pages, chaque robot lit ce fichier pour savoir où il peut aller. Une seule ligne mal placée peut fermer la porte à tout le monde.
À quoi ça ressemble
Un robots.txt sain pour le GEO ressemble à ça :
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /panier/
Disallow: /recherche/
Sitemap: https://{{site}}/sitemap.xmlEn clair : tout le monde peut entrer (Allow: /), sauf les zones sans intérêt (admin, panier, recherche interne). Et on indique où trouver le plan du site.
Les erreurs qui vous rendent invisible
| Erreur | Conséquence |
|---|---|
Disallow: / sous User-agent: * | Tout le site est bloqué, pour tous |
| Bloquer le CSS ou le JavaScript | Les robots voient une page cassée |
| Bloquer Bingbot (config héritée) | Invisible sur Copilot |
| Une ligne Disallow ciblant PerplexityBot ou ClaudeBot | Disparu de Perplexity ou Claude |
Souvenez-vous de la leçon précédente : ne bloquez jamais les bots de recherche. Si vous en trouvez un en « Disallow », retirez la ligne.
Tapez {{site}}/robots.txt dans votre navigateur et lisez-le. Pas de « Disallow: / » seul ? Pas de robot de recherche bloqué ? Si vous n'avez pas de robots.txt ou s'il est mal réglé, générez-en un propre avec l'outil gratuit Vuparia.