Brancher une IA sur des documents internes donne une impression de solidité : la réponse affiche un nom de fichier, parfois même un extrait. Pourtant, le système peut retrouver le mauvais passage, ignorer une version récente ou affirmer davantage que ce que la source permet. Une citation visible ne prouve pas que la réponse est justifiée.
Le RAG, ou génération augmentée par recherche documentaire, organise la récupération d’informations avant la production de la réponse. Son intérêt dépend de la qualité de toute cette chaîne, pas uniquement du modèle de langage.
En bref — Évaluez séparément les documents, la recherche et la réponse. Vérifiez les droits avant de fournir les passages au modèle. Une réponse doit pouvoir citer le passage qui soutient son affirmation, reconnaître l’absence d’information et conserver la version applicable.
Découper le système en étapes contrôlables
Un parcours courant comprend l’import des documents, leur préparation, leur indexation, la recherche de passages, leur sélection et la génération. D’autres étapes peuvent intervenir selon l’architecture. Cette description doit être adaptée au système réellement utilisé.
Si la réponse est fausse, demandez où la chaîne a échoué. Le document était-il présent ? La version était-elle correcte ? La recherche a-t-elle retrouvé le passage ? Le modèle l’a-t-il interprété sans ajouter une règle inexistante ? Chaque question conduit à un contrôle différent.
Tout attribuer au modèle empêche de corriger le problème. Un meilleur générateur ne peut pas citer un passage que la recherche n’a jamais fourni. À l’inverse, une excellente recherche ne garantit pas que la réponse respectera les limites du texte.
Le dossier sur les sources très précises mais parfois fausses proposées par une IA aide à garder cette prudence. Dans un RAG, la source peut être réelle tandis que la conclusion reste incorrecte.
| Étape | Preuve à conserver | Erreur à rechercher |
|---|---|---|
| Import | Document, version et date | Source absente ou périmée |
| Préparation | Structure et passages obtenus | Tableau ou condition séparé de son contexte |
| Recherche | Passages classés pour la question | Référence pertinente non retrouvée |
| Autorisation | Droits de l’utilisateur appliqués | Passage non autorisé transmis |
| Réponse | Affirmations et passages cités | Conclusion dépassant les éléments disponibles |
Un corpus doit avoir un responsable et des versions
Un dossier documentaire peut contenir des doublons, des projets non approuvés et des procédures anciennes. Si tout est indexé sans distinction, le système peut choisir une information précise mais inapplicable. La recherche ne peut pas deviner votre gouvernance documentaire.
Définissez les sources faisant autorité, les dates d’application et les règles de remplacement. Une procédure expirée peut être conservée pour l’historique sans être proposée comme réponse actuelle. Son statut doit être représenté dans les métadonnées et les filtres adaptés.
Les documents doivent avoir des identifiants stables. Un nom de fichier modifié à chaque export peut compliquer le suivi des versions et les citations. Conservez aussi les éléments permettant de retrouver le passage original dans son contexte.
Vérifiez les formats. Un tableau transformé en texte désordonné peut associer un montant à la mauvaise ligne. Un document scanné peut contenir des erreurs de reconnaissance. Le résultat de l’import doit être examiné avant d’évaluer les réponses.
Ne considérez pas un volume important comme une qualité en soi. Un corpus limité, documenté et à jour peut être plus utile qu’un dépôt massif où personne ne sait distinguer une instruction applicable d’une note provisoire.
Un RAG vérifiable, de la question à la réponse
| Repère | Ce qu’il indique |
|---|---|
| Accès | Identifier l’utilisateur et ses autorisations |
| Recherche | Sélectionner des passages permis et à jour |
| Réponse | Séparer instructions et documents récupérés |
| Vérification | Contrôler les preuves et refuser si elles manquent |
Découper sans perdre les conditions
La préparation en passages peut faciliter la recherche, mais elle peut aussi séparer une règle de son exception ou un chiffre de son unité. Un extrait trop court paraît clair tout en étant incomplet.
Prenons un exemple fictif : une procédure indique un délai de trois jours, puis précise qu’il concerne uniquement les dossiers complets reçus avant une date donnée. Si le passage transmis ne contient que la première phrase, la réponse peut présenter le délai comme universel.
Le découpage doit donc tenir compte de la structure : titres, tableaux, notes et références. Il n’existe pas une taille de passage idéale pour tous les documents. Testez plusieurs organisations sur les questions réellement posées et regardez ce qui est perdu.
Conservez une possibilité de retrouver le contexte voisin lorsque cela est utile et autorisé. Un passage peut être le point d’entrée vers une section plus complète. Mais ajouter toujours tout le document augmente le volume et ne garantit pas une meilleure interprétation.
La méthode cherche un compromis : suffisamment d’information pour comprendre, suffisamment de précision pour retrouver le bon élément et une traçabilité vers la source.
Évaluer la recherche avant la rédaction
Préparez un jeu de questions avec les passages attendus. Incluez des formulations naturelles, des synonymes, des références exactes et des questions dont la réponse n’existe pas. Les cas faciles ne suffisent pas à mesurer la recherche.
Un indicateur comme recall@k peut examiner si les éléments pertinents figurent parmi les k résultats retenus, selon une définition explicite. Il faut préciser ce qui compte comme passage pertinent et comment les réponses attendues ont été établies.
Un scénario fictif : sur 40 questions disposant d’un passage de référence, la recherche retrouve ce passage dans ses cinq premiers résultats pour 32 questions. Avec cette définition simplifiée, le taux de réussite est de 80 %. Ce n’est pas une performance observée de produit.
Examinez les huit échecs. Manque de document, mauvais découpage, formulation ambiguë et filtre trop restrictif ne demandent pas la même correction. Une moyenne seule ne montre pas les conséquences des erreurs.
Comparez les méthodes avec les mêmes questions et les mêmes droits. Une recherche par mots exacts peut être utile pour certains identifiants ; une recherche sémantique peut aider sur d’autres formulations. L’architecture doit être évaluée dans votre corpus, sans promouvoir une méthode comme meilleure partout.
Exiger un soutien réel pour chaque affirmation importante
Une réponse peut citer un document contenant le même thème sans que le passage soutienne son affirmation. Vérifiez la relation entre la phrase et la source, pas seulement l’existence du fichier.
Pour les informations sensibles, demandez un passage précis et la version. Un montant doit conserver son unité et sa période. Une procédure doit préciser les conditions qui changent son application. Une réponse courte mais correctement limitée peut être plus utile qu’une synthèse très assurée.
Autorisez une réponse d’incertitude : information absente, sources contradictoires ou contexte insuffisant. Cette sortie doit être comprise comme un comportement attendu, pas comme un échec à éliminer à tout prix.
Un exemple fictif : deux documents indiquent des délais différents, sans statut clair. Le système devrait signaler cette divergence et demander une validation, plutôt que choisir celui qui apparaît en premier. La correction durable peut être documentaire, pas algorithmique.
Conservez également la distinction entre fait extrait et analyse. Une suggestion d’amélioration peut être pertinente, mais elle ne doit pas être présentée comme une règle de votre organisation si aucune source ne l’établit.
Permissions : filtrer avant de montrer au modèle
Les droits d’accès doivent être appliqués par le système. Une instruction demandant au modèle de « ne pas divulguer les documents confidentiels » ne remplace pas un filtre technique. Un passage non autorisé ne devrait pas entrer dans le contexte fourni à l’utilisateur concerné.
Vérifiez la propagation des permissions lors de l’import et des changements. Si une personne perd l’accès à un dossier, le système documentaire doit refléter cette évolution. Une indexation ancienne peut conserver des données qui ne doivent plus être proposées.
Les caches et les journaux demandent aussi un examen. Une réponse générée pour un utilisateur autorisé ne doit pas être réutilisée sans contrôle pour un autre. Les informations de débogage peuvent exposer les mêmes passages que l’application.
L’OWASP décrit ces risques dans sa documentation de sécurité du RAG. La conception doit limiter les données, protéger les étapes et vérifier les frontières de confiance. Ces contrôles ne doivent pas dépendre uniquement d’une formulation prudente dans l’invite.
Pour une entreprise, associez les responsables de sécurité et des données au projet. Un assistant documentaire peut modifier la facilité d’accès à des informations auparavant dispersées. Les permissions doivent être revues dans ce nouvel usage.
Un document peut aussi contenir une instruction hostile
Le contenu récupéré doit être traité comme une donnée, pas comme une autorité capable de modifier les règles du système. Une instruction insérée dans un document peut chercher à détourner la réponse ou l’usage d’un outil.
Les travaux présentés à USENIX, dont PoisonedRAG en 2025 et Confundo en 2026, étudient des formes de contamination de sources documentaires. Leurs résultats concernent leurs protocoles et ne doivent pas être transformés en un taux universel de risque pour toutes les installations.
La conséquence pratique est de contrôler les sources, les changements et les capacités d’action. Un RAG destiné à répondre n’a pas besoin, par défaut, de droits d’écriture dans vos systèmes. Si des outils sont ajoutés, leurs permissions et leurs validations doivent être explicites.
Le dossier sur l’autonomie des agents IA montre pourquoi une action sensible mérite des protections supplémentaires. Une réponse documentaire et une modification de compte n’ont pas le même impact.
Testez les comportements indésirables dans un environnement autorisé avec des données de démonstration. Le but est de vérifier que le système ignore les instructions non fiables et protège les accès, sans diffuser des contenus dangereux dans le corpus réel.
Coût, délai et qualité doivent être suivis ensemble
La recherche, le classement, le contexte et la génération consomment du temps et des ressources. Ajouter davantage de passages peut augmenter le coût et parfois la confusion. Le volume doit être justifié par la qualité obtenue.
Mesurez le délai de réponse pour des questions courtes, des documents longs et plusieurs utilisateurs selon votre besoin. La moyenne peut masquer des attentes très longues dans certains cas. Conservez les conditions d’essai.
Pour une exécution locale, le matériel et le contexte influencent la capacité. Le dossier sur l’IA sur un ordinateur personnel rappelle que les poids du modèle ne représentent qu’une partie des besoins.
Un exemple fictif de pilotage : sur 100 questions, 70 réponses sont exactes et correctement soutenues, 20 reconnaissent une absence d’information et 10 affirment un résultat incorrect. Selon votre application, les dix erreurs peuvent peser beaucoup plus que les vingt abstentions. Le score doit refléter cette gravité.
Une mise en production avec un dossier de contrôle
Gardez la liste des sources autorisées, les versions, les règles de préparation, les permissions et les critères d’évaluation. Rejouez un jeu de contrôle après un changement important, tout en ajoutant des questions nouvelles pour éviter une évaluation trop familière.
Préparez un bouton ou un canal permettant de signaler une réponse incorrecte avec ses références. L’équipe doit pouvoir retrouver les passages utilisés et la version du système. Un retour « l’IA s’est trompée » est moins exploitable qu’une affirmation précise associée à la source attendue.
Définissez la procédure lorsque la source est fausse ou obsolète. Corriger l’invite ne remplace pas la mise à jour du document. Le responsable documentaire doit pouvoir retirer une version et vérifier que la modification est prise en compte.
Un RAG crédible sait montrer ce qui soutient la réponse et reconnaître ce qui manque. La qualité résulte d’un corpus gouverné, d’une recherche évaluée, de permissions appliquées et d’une génération contrôlée. Brancher un modèle sur des fichiers est le début du travail, pas sa validation.
Organiser la revue des erreurs
Attribuez chaque erreur à une catégorie provisoire, puis cherchez une preuve : document absent, version incorrecte, recherche ratée, contexte tronqué, affirmation non soutenue ou permission mal appliquée. Une même réponse peut cumuler plusieurs défauts. Le classement sert à choisir une correction, pas à produire un score favorable.
Faites vérifier les réponses attendues par une personne qui connaît le domaine. Si les évaluateurs ne sont pas d’accord, clarifiez la question et les sources avant de juger le système. Une base d’évaluation ambiguë peut donner l’impression que le modèle varie alors que la règle métier n’est pas définie.
Conservez aussi un groupe de questions dont la réponse ne se trouve pas dans le corpus. Il permet de contrôler l’abstention et d’éviter qu’un assistant soit récompensé uniquement pour répondre avec assurance. Enfin, testez une question devenue obsolète après un remplacement de procédure : le système doit retrouver la version applicable et montrer son statut. Ce contrôle relie directement l’entretien documentaire au résultat proposé à l’utilisateur, au lieu de supposer que la prochaine indexation aura automatiquement tout corrigé.
Je suis Romain, rédacteur passionné par tout ce qui touche au high-tech, à la crypto, et à l’innovation. Diplômé d’une école de marketing à Paris, je mets ma plume au service des dernières tendances et avancées technologiques.
