Une étude publiée par Hostinger révèle que de nombreuses entreprises bloquent aujourd’hui les systèmes d’**IA** utilisés pour entraîner les grands modèles de langage (**LLM**), tout en laissant les **assistants IA** continuer à parcourir et à résumer davantage de sites web. En s’appuyant sur l’analyse de 66,7 milliards d’interactions de robots sur 5 millions de sites, l’entreprise montre que les **crawlers** d’**assistants IA** — ceux utilisés par des outils comme **ChatGPT** — étendent leur portée pendant que l’accès des robots d’entraînement est restreint par des opérateurs de sites.

Ce que révèle l’étude de Hostinger

Hostinger, hébergeur web et plateforme no-code intégrant des agents pilotés par **IA** pour la création d’activités en ligne, a analysé des journaux de serveurs anonymisés afin d’observer à grande échelle la manière dont des **crawlers** vérifiés accèdent aux sites. Cette méthodologie a permis de comparer l’évolution des modes de récupération d’informations par les moteurs de recherche classiques et par les systèmes d’**IA**.

Le rapport que Hostinger a publié indique que, sur une période de cinq mois, les **crawlers** d’**assistants IA** ont augmenté leur couverture des sites. Les données ont été collectées durant trois fenêtres de six jours en juin, août et novembre 2025.

Dans ce panel, le **SearchBot** d’**OpenAI** a vu sa couverture passer de 52 % à 68 % des sites observés, tandis que **Applebot** — utilisé pour alimenter certaines fonctionnalités de recherche d’Apple — a doublé sa présence, passant de 17 % à 34 %. En parallèle, les **crawlers** de recherche traditionnels sont restés globalement stables. Ces chiffres indiquent que les **assistants IA** ajoutent une couche supplémentaire de découverte d’informations sans pour autant remplacer entièrement les moteurs de recherche classiques.

En contrepoint, l’étude montre une chute marquée de l’accès pour les robots orientés entraînement. **GPTBot**, le robot d’**OpenAI** destiné à la collecte de contenu pour l’entraînement des modèles, est passé d’une présence sur 84 % des sites en août à seulement 12 % en novembre. De même, l’agent externe de **Meta** (ExternalAgent) a vu sa couverture décroître, de 60 % à 41 %. Ces robots accumulent des données au fil du temps pour enrichir les modèles et mettre à jour la mémoire paramétrique, mais de nombreuses organisations préfèrent aujourd’hui les bloquer, que ce soit pour limiter l’utilisation de leurs contenus ou par crainte de problèmes liés aux droits d’auteur.

Comprendre la notion de mémoire paramétrique

La Parametric Knowledge — parfois appelée « mémoire paramétrique » — correspond à l’ensemble des informations intégrées directement dans un **LLM** lors de sa phase d’entraînement. On parle de mémoire « paramétrique » parce que ces connaissances sont codées dans les paramètres internes du modèle (les poids). Il s’agit d’une forme de mémoire à long terme concernant des entités : personnes, organisations, produits, ou concepts.

Quand un utilisateur interroge un **LLM**, le modèle peut reconnaître une entité (par exemple une entreprise) et extraire les vecteurs d’informations (faits) qu’il a appris durant l’entraînement. Ainsi, si une entreprise empêche un robot d’entraînement d’explorer son site, elle prive en quelque sorte le **LLM** d’informations directes et fiables la concernant. Ce choix réduit la possibilité pour le modèle de restituer la « bonne » version de son histoire, de ses offres ou de son positionnement.

Laisser un robot d’entraînement parcourir un site permet, au contraire, à l’organisation d’exercer un certain contrôle sur la façon dont un **LLM** apprendra à son sujet : activités, identité de marque, rubriques « À propos », descriptions de produits et services. Pour un site informatif ou une ressource spécialisée, être référencé par ces agents peut conduire à être cité dans les réponses fournies par les **assistants IA**.

Des entreprises qui choisissent de sortir de la mémoire paramétrique

Les observations de Hostinger montrent que les entreprises bloquent de manière « agressive » les **crawlers** d’entraînement. L’effet pratique de cette stratégie est qu’elles se retirent largement de la mise à jour de la mémoire paramétrique des **LLM** : sans accès au contenu d’origine pendant l’entraînement, le modèle ne peut pas intégrer les informations de première main et doit se fier à des sources tierces, des résumés ou des graphes de connaissances externes pour parler de l’entreprise.

En synthèse, l’analyse de Hostinger révèle un paradoxe manifeste :

Les entreprises ferment l’accès aux robots qui construisent les modèles d’**IA** (robot d’entraînement), tandis que les **crawlers** qui alimentent les réponses des **assistants IA** se diffusent plus largement sur le web. Par exemple, **GPTBot** d’OpenAI est passé de 84 % à 12 % de présence sur les sites en l’espace de trois mois, alors que **SearchBot** d’OpenAI a progressé de 52 % à 68 % et qu’**Applebot** a doublé sa couverture.

Un fil de discussion récent sur Reddit illustre combien le blocage des **LLM** est entré dans les pratiques courantes, notamment pour protéger la propriété intellectuelle (PI). L’auteur de la discussion explique vouloir préserver l’indexation par Google tout en empêchant des modèles comme Gemini ou ChatGPT de reproduire ses contenus.

Capture d’écran d’un échange Reddit

Dans ce fil, l’initiateur précise qu’il publie un contenu unique, très spécialisé, et qu’il souhaite conserver le trafic fourni par Google sans que les **LLM** ne « siphonnent » ses informations. Cette position peut être légitime pour des ressources exclusives ou des guides techniques introuvables ailleurs : si un **LLM** peut répondre aux questions en s’appuyant sur ces textes, les internautes risquent de ne plus se rendre sur le site d’origine pour consulter le contenu complet.

Cependant, pour des sites dont le contenu est moins exclusif — comparatifs de produits, fiches e-commerce, avis — l’interdiction systématique d’accès aux **LLM** peut être contre-productive. En refusant l’intégration dans la mémoire paramétrique, l’entreprise sacrifie une opportunité d’apparaître plus précisément dans les réponses fournies par les **assistants IA**.

Perte de contrôle sur le message de marque

Lorsque des **assistants IA** fournissent des réponses complètes directement à l’utilisateur, la consommation d’informations peut se produire sans visite du site. Cela réduit le trafic direct et limite la possibilité de diffuser des détails de tarification, de contexte produit ou d’éléments de branding. En d’autres termes, le parcours client peut se terminer au sein de l’interface d’un **assistant IA**, privant l’entreprise d’une étape de contact importante.

Cette évolution a des implications concrètes pour le marketing et la prévision des revenus. Quand des systèmes d’**IA** résument des offres ou formulent des recommandations, les entreprises qui bloquent les **LLM** ont moins d’emprise sur la manière dont leur positionnement, leurs prix et leur proposition de valeur sont restitués. Les efforts publicitaires peuvent perdre en visibilité très tôt dans le processus de décision, et l’attribution des ventes devient plus complexe si l’achat intervient après une réponse générée par un **assistant IA** plutôt qu’après une visite du site.

D’après Hostinger, certaines organisations adoptent des stratégies plus nuancées, en restreignant sélectivement l’accès à leur contenu selon le type de crawler ou la nature de l’information recherchée.

Tomas Rasymas, responsable de l’IA chez Hostinger, observe que le web migre d’un modèle centré sur le clic vers un modèle médiatisé par des agents : le risque majeur n’est pas l’accès à l’**IA** en soi, mais la perte de contrôle sur la présentation des prix, du positionnement et de la valeur au moment où les décisions se construisent.

Considérations juridiques et protection de la propriété intellectuelle

Une des raisons fréquemment invoquées pour interdire l’accès des robots d’entraînement est la protection de la propriété intellectuelle. Les propriétaires de contenus redoutent que leurs textes, images ou données soient copiés, restructurés ou utilisés pour générer des réponses sans compensation ni attribution. Ces inquiétudes portent sur deux aspects principaux :

• Les risques de violation des droits d’auteur ou de reproduction non autorisée de contenus protégés.
• La perte de valeur commerciale liée au fait que des extraits clés deviennent accessibles via des assistants, réduisant le besoin de consulter la ressource originale.

À ce jour, la législation et la jurisprudence restent inégales selon les juridictions, et les litiges autour de l’entraînement des modèles sur des contenus protégés sont en pleine évolution. Pour cette raison, certaines équipes juridiques recommandent de limiter l’accès des agents d’entraînement tant que le cadre légal n’est pas stabilisé.

Options techniques pour contrôler l’accès des crawlers

Les propriétaires de sites disposent de plusieurs leviers techniques pour autoriser ou interdire l’indexation par différents types de robots. Parmi les mécanismes les plus courants :

• Le fichier robots.txt : il permet d’indiquer des règles générales d’exploration pour les **crawlers** identifiés. Cependant, certains bots malveillants ou non déclarés peuvent ignorer ces directives.
• Les en-têtes HTTP et les balises : ils peuvent bloquer l’indexation ou l’archivage au niveau des pages individuelles.
• Les fichiers hosted lists et les listes de blocage proposées par des services tiers : certains sites partagent des méthodes pour bloquer des agents spécifiques (p. ex. **GPTBot**, **ExternalAgent**).
• La mise en place d’authentification ou de restrictions d’accès sur le contenu sensible (zone abonnée, paywall), ce qui empêche par défaut la plupart des robots d’exploration publics d’accéder au contenu.

Il est important de noter que bloquer un robot identifié par son user-agent n’est efficace que si le robot se déclare réellement. Des services malveillants ou des scrapers non conformes peuvent ignorer les règles et exfiltrer du contenu malgré tout.

Stratégies à évaluer selon le type de site

La décision d’autoriser ou non les **crawlers** d’**IA** dépend fortement du modèle d’affaires et du type de contenu publié. Voici quelques approches à considérer :

• Sites à contenu unique et hautement spécialisé : pour des ressources techniques, des guides exclusifs ou des bases de connaissances propriétaires, il peut être pertinent de restreindre l’accès afin de préserver la valeur et la monétisation du contenu.
• Sites e-commerce et comparateurs : ces sites bénéficient souvent d’une visibilité accrue si leurs informations produits sont intégrées par les **assistants IA** ; autoriser une indexation contrôlée peut améliorer la découverte et la précision des réponses fournies aux consommateurs.
• Blogs et médias : les éditeurs doivent peser la protection du droit d’auteur contre la visibilité offerte par une intégration dans les réponses d’**assistants IA**. Des stratégies hybrides (ex. autoriser l’exploration de pages « chapeau » tout en protégeant des articles complets) peuvent être adaptées.
• Sites avec données sensibles ou personnelles : pour des raisons de conformité (RGPD, lois locales), il est souvent nécessaire de restreindre fortement l’accès automatisé et de contrôler la diffusion des informations.

Comment mesurer l’impact d’un blocage

Avant de prendre une décision définitive, il est conseillé de mesurer les effets d’un blocage sur plusieurs indicateurs clefs :

• Trafic organique (visites issues des moteurs de recherche)
• Taux de conversion et attribution des ventes
• Visibilité du contenu dans les réponses d’**assistants IA** (quand cela est observable)
• Incidences sur les droits d’auteur et les risques juridiques

Il est possible de conduire des expérimentations ciblées : bloquer temporairement l’accès d’un agent donné sur une portion du site pour comparer l’évolution des métriques citées avec une portion témoin restée ouverte.

Mesures techniques et bonnes pratiques

Pour les organisations souhaitant adopter une approche nuancée, plusieurs bonnes pratiques techniques existent :

• Configurer des règles fines dans robots.txt en identifiant explicitement les **user-agents** des **crawlers** reconnus (ex. **GPTBot**, **SearchBot**, **Applebot**). Attention : cette méthode repose sur l’honnêteté du user-agent.
• Utiliser des en-têtes HTTP ou des balises pour empêcher l’archivage ou l’extrait automatique sur des pages spécifiques.
• Mettre en place une page dédiée expliquant la politique d’exploration du site pour les agents automatisés, afin d’améliorer la transparence et d’entrer en contact avec les opérateurs d’agents souhaitant un accès autorisé.
• Conserver des logs d’accès détaillés pour détecter des crawlers non conformes et réagir au besoin.
• Segmenter le contenu : exposer des résumés publics tout en protégeant les articles complets ou les ressources premium.

Effets sur le référencement et la découverte

La manière dont un site interagit avec les **assistants IA** et les **crawlers** d’entraînement peut influer sur son référencement de façons variées :

• Si un site est présent dans la mémoire paramétrique d’un **LLM**, ses informations peuvent être restituées directement dans les réponses, ce qui augmente la visibilité mais peut réduire les clics vers le site.
• En refusant l’accès d’entraînement, un site peut maintenir un flux de visiteurs via les moteurs traditionnels, mais perdre la possibilité d’être cité comme source fiable dans les réponses fournies par les **assistants IA**.
• Pour certains secteurs où la recherche d’information est transactionnelle (ex. achats en ligne), l’intégration dans les réponses d’**assistants IA** peut générer des micro-connexions commerciales même sans clic direct — ce qui complique l’attribution et la mesure du ROI marketing.

Perspectives : quel futur pour la visibilité web ?

La dynamique observée par Hostinger et d’autres acteurs suggère que le web entre dans une période de coexistence entre modèles : d’une part, les moteurs de recherche traditionnels continuent d’indexer les pages ; d’autre part, les **assistants IA** constituent une nouvelle modalité de distribution de l’information, souvent centrée sur la fourniture directe de réponses.

Deux trajectoires sont possibles à moyen terme :

• Un renforcement des contrôles et des cadres juridiques encadrant l’entraînement des **LLM**, qui pourrait conduire à des règles standardisées (attribution, compensation, opt-in/opt-out) pour l’utilisation des contenus web.
• Une adaptation des pratiques éditoriales et SEO pour tirer parti du nouveau canal d’exposition : structuration des données, balises sémantiques, FAQ optimisées pour les **assistants IA**, et diffusion contrôlée d’extraits publics pertinents.

Recommandations stratégiques (sans appel à l’action)

En synthèse, il est pertinent pour une organisation d’évaluer plusieurs dimensions avant de choisir une politique d’accès aux **crawlers** :

• Cartographier le type de contenu publié et son degré d’unicité : contenu exclusif vs informations communes.
• Analyser les risques juridiques liés à la réutilisation des contenus et consulter le service juridique si nécessaire.
• Mettre en place des tests contrôlés pour mesurer l’impact d’un blocage sur le trafic et la conversion.
• Adopter des solutions techniques modulaires (robots.txt, meta tags, segmentation de contenu) pour permettre des ajustements progressifs.
• Surveiller régulièrement les logs et les comportements de crawlers pour détecter et corriger des accès non souhaités.

Conclusion : peser bénéfices et limites

Bloquer l’accès des **LLM** à un site n’est pas une décision universelle qui conviendrait à tous les acteurs. Si de nombreux propriétaires de contenu éprouvent une légitime frustration à l’idée que leurs textes soient utilisés pour entraîner des modèles sans contrôle apparent, une interdiction systématique prive aussi l’entreprise d’une maîtrise possible de sa narration dans l’écosystème des **assistants IA**.

Une approche réfléchie, qui pèse les avantages (visibilité accrue dans les réponses, meilleure représentation des produits et services) et les inconvénients (perte de trafic direct, risques juridiques, reproduction non autorisée), paraît préférable à une réaction purement émotionnelle ou défensive. Selon le secteur, le type de contenu et les objectifs commerciaux, des solutions intermédiaires et techniques offrent aujourd’hui la possibilité d’ajuster finement la visibilité aux agents automatisés.

Image de couverture : Shutterstock/Lightspring