Bloquer ou autoriser un crawler IA ne se décide pas au hasard : ça dépend du bot, pas d'un principe général. Un bot d'entraînement (GPTBot, ClaudeBot) collecte du contenu pour un futur modèle, sans effet sur une citation aujourd'hui. Un bot de recherche (PerplexityBot, OAI-SearchBot) peut au contraire citer le site dans une réponse dès maintenant : le bloquer coupe une citation possible immédiatement. Voici ce que les derniers chiffres publics de Cloudflare Radar changent concrètement à ce conseil, que vous le donniez à un client ou que vous l'appliquiez à votre propre site.
Pourquoi distinguer les crawlers avant de trancher ?
Parce qu'un blocage au hasard protège autant qu'il coûte. GPTBot, ClaudeBot, Google-Extended ou CCBot tournent en tâche de fond pour nourrir un futur modèle : les bloquer dans robots.txt ne change rien à ce qu'une IA peut citer aujourd'hui. PerplexityBot, OAI-SearchBot ou Claude-SearchBot fonctionnent à l'inverse : ils indexent des pages pour les citer dans une réponse générée en direct. C'est cette distinction que l'audit de citabilité IA de Citylead vérifie de deux façons différentes : une simple lecture du robots.txt suffit pour les bots d'entraînement, mais les bots de recherche demandent un vrai appel avec leur user-agent, parce qu'un blocage silencieux côté serveur ou CDN ne se voit autrement pas.
Que dit Cloudflare Radar sur la part réelle de ce trafic ?
Le trafic automatisé a dépassé le trafic humain pour la première fois le 3 juin 2026, selon l'annonce du PDG de Cloudflare Matthew Prince relayée par NBC News : 57,4 % de requêtes automatisées contre 42,6 % de trafic humain, un basculement attendu pour fin 2027 et finalement survenu 18 mois plus tôt. Ce chiffre couvre tous les bots et agents automatisés, pas uniquement les crawlers IA génératifs : il ne dit rien à lui seul sur votre citabilité, mais il montre l'ampleur du phénomène auquel un robots.txt mal réglé répond aujourd'hui.
Cloudflare bloque-t-il déjà les crawlers de vos clients sans qu'ils le sachent ?
Potentiellement oui, et c'est le point le plus opérationnel pour un freelance SEO. Depuis le 1er juillet 2025, tout nouveau domaine passant par Cloudflare bloque par défaut les crawlers classés « entraînement » et « agent », tandis que les crawlers de recherche restent autorisés par défaut (blog Cloudflare). Le réglage change encore : à partir du 15 septembre 2026, si le blocage « entraînement » est actif, des crawlers multi-usages comme Googlebot, Applebot ou Bingbot sont eux aussi bloqués tant que « recherche » n'est pas explicitement autorisé (Help Net Security). Un client qui a migré ou changé de nom de domaine récemment peut donc se retrouver avec un blocage qu'il n'a jamais configuré lui-même, invisible dans son robots.txt puisqu'il se joue au niveau du CDN.
Faut-il bloquer les bots d'entraînement chez un client ?
Dans la majorité des cas, ça ne change rien à sa visibilité, ni pour le SEO classique ni pour une citation IA en direct. C'est un choix de protection du contenu, pas un levier de référencement. Cloudflare a lancé un indicateur dédié à cet écart, le ratio crawl-to-refer (nombre de pages explorées pour une visite humaine renvoyée), avec un constat stable d'un relevé à l'autre : celui de Googlebot reste de l'ordre de 5 pages explorées pour 1 visite renvoyée, très loin en dessous de celui des crawlers d'entraînement IA (Cloudflare Radar). Bloquer GPTBot ou ClaudeBot ne coûte donc rien en trafic, puisqu'ils n'en apportaient déjà quasiment aucun.
Et les bots de recherche IA, faut-il les laisser passer ?
Oui, sauf raison éditoriale précise (contenu payant, données sensibles). Bloquer PerplexityBot ou OAI-SearchBot ferme une citation possible dès maintenant, dans une réponse ChatGPT ou Perplexity qu'un prospect pourrait lire au moment même où il compare des prestataires. C'est l'inverse d'un blocage « entraînement » : ici l'effet est immédiat, pas hypothétique.
Comment appliquer ce choix concrètement ?
Pour bloquer un bot d'entraînement dans le robots.txt d'un client, deux lignes suffisent par bot visé :
User-agent: GPTBot
Disallow: /
À répéter pour chaque bot visé (ClaudeBot, Google-Extended, CCBot...). Pour les bots de recherche, la logique s'inverse : ne rien écrire de spécifique dans le robots.txt suffit à les laisser passer, puisqu'un fichier absent ou muet sur un user-agent l'autorise par défaut. Le vrai piège reste le réglage Cloudflare : si le domaine du client a été onboardé après juillet 2025 (ou après septembre 2026 pour les crawlers multi-usages), un blocage peut déjà être actif au niveau du CDN, invisible dans le code du site. Dans ce cas, aucune modification du robots.txt ne rouvre l'accès : il faut aller changer le réglage directement dans le tableau de bord Cloudflare du client, section gestion des bots, pas dans les fichiers du site.
Ce qu'on observe vraiment sur les sites qu'on audite
Le blocage volontaire reste rare : sur l'échantillon de sites qu'on audite chez Citylead, seulement 4 % bloquent activement au moins un robot d'IA dans leur robots.txt. La plupart des clients n'ont donc encore rien configuré, dans un sens ou dans l'autre. Mais avec des défauts Cloudflare qui bougent (juillet 2025, puis septembre 2026), ce chiffre peut évoluer sans qu'aucun de vos clients n'ait touché à quoi que ce soit. C'est exactement ce que vérifie l'audit de citabilité IA de Citylead : il distingue le blocage déclaratif du robots.txt d'un blocage réel côté serveur, sur les deux familles de bots, avant même de regarder la structure du contenu. Pour l'angle citation locale plutôt qu'arbitrage technique, notre étude sur les IA et les entreprises locales creuse la question sous un autre angle.
