Techniquement, oui : rien n'empêche un crawler d'IA générative de visiter le site d'un plombier à Nantes ou d'une boulangerie à Lille, exactement comme celui d'un grand e-commerçant. Dans les faits, la probabilité que ça arrive reste faible, parce que le trafic de ces crawlers se concentre sur une poignée de secteurs, pas sur les millions de petits sites d'entreprises locales qui composent l'essentiel du web. On a croisé les données publiques de Cloudflare Radar sur ce trafic avec nos propres audits pour vérifier, chiffres à l'appui, si une IA générative peut seulement voir, et éventuellement citer, le site d'une entreprise locale.
Que font vraiment GPTBot, ClaudeBot et PerplexityBot ?
Ce ne sont pas trois versions du même robot : chaque éditeur d'IA fait tourner plusieurs crawlers pour des usages différents. OpenAI utilise GPTBot pour collecter du contenu destiné à l'entraînement de ses modèles, et un bot séparé, OAI-SearchBot, pour indexer les pages qu'il pourra citer dans une recherche ChatGPT. Anthropic suit la même logique avec ClaudeBot (entraînement) et Claude-SearchBot (recherche). Perplexity fait tourner PerplexityBot en continu pour construire son index de citation.
Cette distinction n'a rien d'anecdotique pour une entreprise locale : bloquer un bot d'entraînement dans son robots.txt n'a aucun effet sur ce qu'une IA peut citer aujourd'hui, alors que bloquer un bot de recherche tue une citation possible dès maintenant. C'est pour ça que le moteur d'audit de Citylead ne traite jamais ces deux familles de la même façon : les bots d'entraînement se vérifient en lisant le robots.txt, les bots de recherche demandent une vérification en direct (un vrai appel avec leur user-agent), parce qu'un blocage silencieux au niveau du serveur ou du CDN ne se voit pas autrement.
Sur quels sites le trafic des crawlers IA se concentre-t-il vraiment ?
Sur une poignée de secteurs, très loin des activités qui font vivre la majorité des entreprises locales. Selon Cloudflare Radar, le commerce et la distribution absorbent à eux seuls environ un quart à un tiers du trafic total des crawlers IA selon les mois, suivis par le secteur du logiciel et de la tech. Plus parlant encore : le top 10 des secteurs les plus explorés représente un peu moins de 70% de tout le trafic des crawlers IA, ce qui laisse mécaniquement à peine 30% pour tout le reste de l'économie, y compris la quasi-totalité des métiers exercés par les artisans, professions de santé, restaurateurs ou salons de coiffure qu'on audite chez Citylead.
Ce n'est pas une question de blocage ou de mauvaise volonté technique : c'est un effet d'échelle. Un catalogue produit de plusieurs milliers de références change en permanence et donne aux IA une raison de revenir souvent. Le site vitrine d'un artisan, à jour ou non, ne présente tout simplement pas le même volume de contenu à explorer.
Une IA peut-elle même voir le site d'une entreprise locale ?
Oui, dans la grande majorité des cas : le blocage volontaire n'est presque jamais la barrière. Sur l'échantillon de sites qu'on audite chez Citylead, seulement 4% bloquent activement au moins un robot d'IA dans leur robots.txt. Concrètement, le moteur d'audit cherche une ligne Disallow: / associée à un user-agent comme GPTBot ou ClaudeBot : ce cas de figure reste rare, la plupart des sites d'entreprises locales n'ont même pas de règle spécifique aux robots IA dans leur fichier, ce qui revient à un accès ouvert par défaut.
Le mur n'est donc presque jamais là où on l'imagine. Le vrai obstacle n'est pas qu'une IA ne peut pas voir le site d'une entreprise locale : c'est qu'elle n'a statistiquement que peu d'occasions de tomber dessus, et que si elle le voit, rien ne garantit qu'elle y trouve de quoi construire une citation fiable.
Pourquoi si peu d'entreprises locales sont citées, si l'accès n'est pas bloqué ?
Parce que la majorité du trafic des crawlers IA ne sert pas à répondre à une vraie question posée en direct. Toujours selon Cloudflare Radar, environ la moitié du trafic des crawlers IA est déclaré à but d'entraînement, une autre grande part sert un usage mixte (entraînement et recherche combinés), et les requêtes réellement déclenchées en direct par un utilisateur, celles qui peuvent aboutir à une citation immédiate dans une réponse, ne représentent qu'environ 2 à 3% de l'ensemble de ce trafic.
Concrètement, une entreprise locale cumule donc deux désavantages plutôt qu'un seul : elle reçoit mécaniquement moins de passages de crawlers IA que les gros sites de commerce ou de logiciel, et parmi les passages qu'elle reçoit, l'écrasante majorité correspond à une collecte de fond pour un futur modèle plutôt qu'à une vérification en vue d'une citation immédiate. Ce n'est pas une fatalité : c'est justement pour combler ce déficit structurel que le contenu compte plus, pas moins, pour une petite structure. Un site avec une FAQ balisée, des données structurées LocalBusiness et un contenu tenu à jour donne plus de chances d'être exploité utilement lors des passages, forcément plus rares, qu'il reçoit. On détaillait ce point dans notre étude sur la citabilité IA des agences digitales : même dans un secteur qui vend du digital à ses clients, ces signaux de base restent souvent absents. Pendant ce temps, la demande grimpe côté utilisateurs : 45% des consommateurs ont déjà utilisé une IA pour trouver ou recommander une entreprise locale, contre 6% un an plus tôt, selon la Local Consumer Review Survey 2026 de BrightLocal. L'écart entre cette demande grandissante et le trafic réel des crawlers sur les sites locaux, c'est exactement la marge de progression disponible pour qui s'en occupe avant les autres.
C'est ce qu'analyse concrètement l'audit de citabilité IA de Citylead : il vérifie en premier lieu si votre robots.txt bloque un crawler génératif, avant même de regarder la structure du contenu, parce qu'un accès fermé rend tout le reste inutile. Le widget d'audit gratuit donne ce diagnostic en quelques secondes sur n'importe quelle URL, sans inscription.
