Cloudflare a annoncé le 1ᵉʳ juillet 2026 que, à compter du 15 septembre, ses réglages par défaut bloqueront les robots d’exploration « à usage mixte » de l’IA sur toutes les pages affichant de la publicité, sauf accord de compensation avec les éditeurs. La mesure vise les entreprises qui mélangent indexation, entraînement de modèles et agents.
Le fournisseur d’infrastructure, qui protège une large part du trafic web mondial, impose ainsi aux acteurs de l’IA de séparer leurs crawlers de recherche de ceux destinés à l’entraînement et aux agents, ou de risquer un blocage automatique sur de nombreux sites d’éditeurs. Le changement s’appliquera aux nouveaux clients, aux nouveaux sites de clients existants et à l’ensemble des comptes gratuits, selon le billet de blog de Cloudflare.
Recherche autorisée, entraînement et agents bloqués
La bascule ne concerne pas toutes les catégories de robots. D’après Cloudflare, sur les pages qui diffusent des annonces, les catégories « Training » (entraînement) et « Agent » seront bloquées par défaut, tandis que la catégorie « Search » restera autorisée. L’objectif affiché est de préserver la visibilité des sites dans la recherche classique tout en coupant l’accès gratuit aux usages qui ne renvoient presque aucun trafic.
« Maintenant que la majorité du trafic sur Internet n’est plus humaine, nous devons aller plus loin et agir plus vite pour qu’un écosystème durable puisse émerger », a déclaré Matthew Prince, cofondateur et directeur général de Cloudflare, cité par TechCrunch. L’entreprise affirme par ailleurs que les robots d’IA gaspilleraient plus de la moitié de leur trafic d’exploration à re-télécharger des pages inchangées.
Un déséquilibre entre exploration et trafic renvoyé
Le durcissement s’appuie sur un constat chiffré. Selon les données publiées par Cloudflare Radar via son indicateur de ratio exploration/renvoi, le robot d’Anthropic aurait exploré 11 122 pages pour chaque visite humaine renvoyée vers le web durant la semaine du 25 mai au 1ᵉʳ juin 2026. Le ratio, en amélioration par rapport aux 13 528 pour un du mois d’avril, resterait le plus déséquilibré des grands opérateurs.
À titre de comparaison, toujours d’après Cloudflare, OpenAI afficherait un ratio d’environ 857 pour un, quand le Googlebot traditionnel tournerait autour de 5 pour un. Ces écarts illustrent la crainte des éditeurs : voir leur contenu massivement aspiré pour alimenter des réponses d’IA sans recevoir en retour de trafic monétisable.
Du paiement à l’exploration au paiement à l’usage
Cloudflare fait aussi évoluer son dispositif commercial. Sa place de marché « Pay Per Crawl », qui permet aux sites de facturer les robots pour l’accès à leurs pages, se transforme en « Pay Per Use » : les éditeurs pourraient être rémunérés lorsque leur contenu crée de la valeur, et non plus seulement lorsqu’il est récupéré. Ceramic.ai et You.com figurent parmi les premiers partenaires de ce modèle, indique Cloudflare.
Concrètement, un éditeur ayant activé l’option serait payé lorsque son contenu apparaît dans les résultats de recherche IA de Ceramic ou lorsque You.com accède à un article premium. Le mécanisme reste optionnel et dépend d’accords entre plateformes.
Un enjeu direct pour la visibilité en recherche IA
La décision intervient alors que le trafic renvoyé par les moteurs conversationnels demeure modeste au regard du volume exploré. Une analyse de Search Engine Land portant sur 6,77 millions de sessions issues de 166 propriétés GA4, entre novembre 2024 et mai 2026, attribue 92,4 % du trafic de référencement mesurable des grands modèles de langage à ChatGPT, loin devant ses concurrents.
Pour les responsables marketing, l’annonce de Cloudflare pose une question stratégique : préserver la visibilité dans les surfaces d’IA suppose désormais d’arbitrer entre laisser explorer son contenu et protéger l’inventaire publicitaire. Selon Cloudflare, l’accès à la recherche de Google fournirait « deux fois plus d’informations » que celui accordé aux autres acteurs de l’IA, ce qui accentuerait le débat sur l’équité d’accès aux contenus des éditeurs.
