Tableau de bord · Module 4 · Leçon 5/5
Leçon 5 sur 5Voir en direct qui crawle votre site (gratuitement)
- Cloudflare propose un tableau de bord gratuit, AI Crawl Control, qui montre quels robots IA passent chez vous.
- Vous voyez lesquels lisent quelles pages, et vous détectez les anomalies (plus aucun robot = alerte).
- Une routine de 5 minutes par semaine suffit à garder l'œil ouvert.
Jusqu'ici, on a ouvert les portes. Maintenant, vérifions que les robots entrent vraiment. Si vous avez fait passer vos DNS par Cloudflare (c'est gratuit, on le voit avec la vitesse), vous avez accès à un outil que quasi personne n'utilise : AI Crawl Control.
Où le trouver
Connectez-vous à Cloudflare, sélectionnez votre site, puis cliquez sur « AI Crawl Control » dans le menu de gauche. C'est activé automatiquement, sans réglage ni module à installer. C'est l'un des rares endroits où voir, gratuitement et en temps réel, quels robots IA passent chez vous.
Ce que vous y voyez
| Onglet | Ce qu'il montre |
|---|---|
| Overview | Le nombre total de passages de robots IA et leur répartition |
| Crawlers | Le détail par robot (GPTBot, PerplexityBot, ClaudeBot...) et son statut |
| Metrics | Les pages les plus explorées par les IA. Une info en or. |
Exemple de lecture utile : si votre page d'accueil est très explorée mais votre page service jamais, c'est un problème de maillage interne (Module 6). Si PerplexityBot passe souvent mais pas OAI-SearchBot, votre contenu nourrit Perplexity mais pas encore ChatGPT.
Les robots IA sont très actifs : pour une seule question, ChatGPT peut explorer jusqu'à 132 pages (Meteoria x Partoo, 2026). Autant vérifier qu'ils passent bien chez vous.
La routine de 5 minutes par semaine
Ouvrez l'Overview : le nombre de passages n'a pas chuté brutalement (signe d'un robots.txt cassé ou d'un site en panne) ? Les bots de recherche sont toujours autorisés ? La page la plus explorée est bien une de vos pages stratégiques ? Si tout va bien, fermez l'onglet. Sinon, creusez.
Si {{site}} passe déjà par Cloudflare, ouvrez AI Crawl Control et regardez qui vous crawle. Sinon, notez de le faire après avoir configuré Cloudflare (on le voit au Module 3, leçon vitesse).