Pendant des années, les sites ont misé sur la recherche par mots-clés : l’utilisateur tape une requête, reçoit une liste de liens, clique et recompose lui-même la réponse. Ce modèle, fondé sur des hypothèses dépassées, n’est plus en phase avec les usages. L’IA a changé la donne : on attend désormais des réponses directes, pas une simple liste de pages.

Vos nouveaux visiteurs : des humains… et des agents

Les internautes, habitués à Copilot, Claude ou ChatGPT, posent une question et veulent une réponse immédiate. En parallèle, une nouvelle audience apparaît : les agents IA. Eux aussi peinent avec la recherche par mots-clés et ont besoin d’un accès structuré et fiable aux contenus, avec des règles d’accès maîtrisées par l’éditeur. Les sites doivent donc servir les personnes et les agents de confiance.

Un modèle adapté au Web agentique

Plutôt qu’un rafistolage de la recherche interne, il faut intégrer l’accès conversationnel au cœur du Web. L’objectif : associer une norme ouverte (NLWeb) et une infrastructure gérée (AutoRAG) pour rendre n’importe quel site compatible IA rapidement.

• NLWeb (projet ouvert de Microsoft) définit un protocole standard pour les requêtes en langage naturel sur le Web. Chaque instance NLWeb agit aussi comme serveur MCP (Model Context Protocol). Cloudflare s’appuie sur cette spécification et collabore avec Microsoft pour étendre la norme, afin que chaque site se comporte comme une application d’IA interrogeable naturellement.

• AutoRAG (moteur de récupération géré par Cloudflare) examine automatiquement votre site, stocke le contenu dans R2 et intègre les pages dans une base vectorielle gérée. L’index est tenu à jour via ré-exploration et ré-indexation continues. Workers AI peut assurer l’inférence et les embeddings. Chaque AutoRAG est relié à une AI Gateway pour l’observabilité et l’analyse d’usage. Résultat : un pipeline RAG prêt à l’emploi, sans infrastructure maison à maintenir.

« En combinant NLWeb et AutoRAG, les éditeurs dépassent la barre de recherche et déploient simplement des interfaces conversationnelles pour leurs sites. Cette intégration rend chaque site “IA-ready” pour les utilisateurs et les agents de confiance. » — RV Guha, créateur de NLWeb, CVP et Technical Fellow chez Microsoft.

Un potentiel de monétisation renouvelé

Les défis actuels des éditeurs sont connus, tout comme les risques d’un écosystème bouleversé par l’IA. NLWeb + AutoRAG permettent de recentrer la relation dans des environnements O&O (Owned & Operated), où la marque et la voix éditoriale reprennent de la valeur. Cet engagement direct ouvre la voie à de nouveaux modèles économiques.

Activer le mode conversationnel en un clic

En combinant la norme NLWeb avec AutoRAG, l’intégration est simple :

1. Sélectionnez votre domaine dans AutoRAG : le système crawl et indexe le site pour des requêtes sémantiques.

2. AutoRAG déploie un Worker Cloudflare servant de couche d’accès. Il implémente la norme NLWeb et expose l’interface utilisateur, ainsi que l’accès pour les agents IA.

Le Worker fournit :

• /ask : l’endpoint standard des recherches conversationnelles. Il alimente l’interface à la racine / et l’aperçu intégrable /snippet.html. Il gère l’historique de session et la décontextualisation automatique des requêtes.

• /mcp : un serveur MCP permettant aux agents IA de confiance d’accéder au contenu via une interface structurée.

Vous pouvez aussi héberger votre propre instance NLWeb et utiliser AutoRAG comme moteur de récupération.

Les coulisses : comment votre site devient conversationnel

Exploration & ingestion. AutoRAG suit sitemap.xml et robots.txt, découvre jusqu’à 100 000 pages, utilise un rendu navigateur pour capturer le contenu JavaScript dynamique, puis dépose les pages dans un bucket R2 avant ingestion.

Indexation continue. Le contenu est analysé et intégré dans Vectorize pour des requêtes dépassant la simple recherche par mots-clés. AutoRAG ré-explore et ré-indexe automatiquement pour rester aligné avec vos publications.

Accès & observabilité. Un Worker Cloudflare implémente NLWeb, Workers AI améliore la synthèse et la décontextualisation, et l’AI Gateway fournit métriques et insights. Bientôt, via Secret Store BYO, vous pourrez brancher des modèles tiers et les sélectionner depuis le tableau de bord AutoRAG.

Faire du site une source de données de premier ordre

Historiquement, AutoRAG ne prenait en charge que R2 comme source, idéal pour des fichiers structurés. Pour traiter le site lui-même comme une source de premier plan, il a fallu intégrer le crawl et renforcer la fiabilité et l’échelle :

• JobManager : orchestre une sync complète (file d’attente, embeddings, mise à jour de Vectorize). Un seul JobManager par RAG, sous le contrôle du RagManager, qui annule proprement les tâches en cours avant d’en démarrer de nouvelles (manuelles ou planifiées).

• FileManager : pour éviter les limites mémoire (128 Mo) lors des traitements parallèles, la charge est fragmentée. Le JobManager répartit les fichiers sur plusieurs FileManagers (un fichier par FileManager). En traitant 20 fichiers en parallèle, on obtient une capacité effective d’environ 2,5 Go par lot.

Côté crawl, un JobManager dédié lit les sitemaps, aligne chaque URL dans une file basée sur R2 (l’URL sert de clé), puis un FileManager récupère la page, stocke l’HTML dans R2, et le pipeline (conversion, embedding, indexation) s’exécute comme pour des fichiers. Toute amélioration de la conversion HTML → Markdown bénéficie automatiquement aux RAG fichiers et sites.

Démarrer maintenant

1. Dans le tableau de bord Cloudflare, ouvrez Compute & AI > AutoRAG.

2. Cliquez sur Créer et choisissez le déploiement rapide du site Web NLWeb.

3. Sélectionnez le domaine à indexer.

4. Lancez Démarrer l’indexation.

Vous obtenez un lien de test NLWeb et un snippet intégrable pour prévisualiser l’interface.

Partagez vos retours : [email protected].

À propos de Cloudflare

Le cloud de connectivité de Cloudflare protège les réseaux d’entreprise, facilite la création d’applications à l’échelle d’Internet, accélère sites et apps, bloque les attaques DDoS, éloigne les acteurs malveillants et accompagne la transition vers le Zero Trust.
Accédez à 1.1.1.1 depuis n’importe quel appareil pour démarrer avec notre application gratuite qui rend votre Internet plus rapide et plus sûr.
Pour en savoir plus sur notre mission – contribuer à un Internet meilleur – commencez ici. Envie d’une nouvelle étape professionnelle ? Consultez nos offres d’emploi.