RAG en entreprise : documents, accès et évaluation des réponses

Le RAG, ou génération augmentée par recherche, fournit à un modèle des informations récupérées dans un corpus pour préparer sa réponse. Il peut aider à consulter une documentation interne. Il ne garantit pas une réponse exacte et ne supprime pas les erreurs d’un modèle. Source : présentation du RAG par Google Cloud.

La méthode KADRI AI ci-dessous commence par les documents et les questions de l’équipe. Les scénarios sont illustratifs ; ils ne constituent pas un test réalisé sur un corpus client.

Le RAG est-il adapté à votre besoin ?

Un assistant peut être pertinent lorsque les utilisateurs posent des questions sur plusieurs documents et doivent retrouver leur justification. Si une page de procédure ou une recherche classique suffit, un système plus simple mérite d’être évalué.

Identifier aussi les limites : documents obsolètes, contradictions, scans illisibles ou réponses qui dépendent d’informations absentes. L’ajout d’un modèle ne corrige pas automatiquement la qualité du corpus. Avant de choisir l’outil, lister les questions auxquelles le service doit répondre et celles qu’il doit refuser ou transmettre.

Préparer le corpus et ses droits d’accès

Pour chaque document, conserver un propriétaire, une version, une date de validité et les personnes autorisées à le consulter. Définir la mise à jour et le retrait des anciennes versions. Limiter les données au besoin du traitement et décider de leur conservation. Source : principe de minimisation, CNIL.

Dans notre exemple fictif de base de procédures, une instruction destinée au service achats ne doit pas être exposée à toute l’entreprise. Le filtrage des accès concerne la recherche de documents, les réponses, les citations et les journaux.

Les étapes d’un assistant documentaire

La documentation Google Cloud présente l’articulation entre récupération d’informations et génération. Notre fiche de conception détaille les points à décider à chaque étape :

1. Préparation : extraire le texte, repérer les versions et préserver les références.
2. Recherche : retrouver les passages pertinents dans le périmètre autorisé.
3. Réponse : distinguer ce que les passages permettent d’affirmer de ce qui manque.
4. Justification : fournir des références consultables par l’utilisateur.
5. Évaluation et mise à jour : contrôler les sorties et réviser le corpus.

Une citation présente dans une réponse ne suffit pas : vérifier que la source existe, que le passage soutient l’affirmation et que l’utilisateur peut y accéder. Source : présentation du RAG.

Choisir les composants à partir des contraintes

Plutôt qu’une liste de modèles supposés meilleurs, demander au prestataire d’expliquer :

• Extraction : formats traités, qualité des scans et gestion des pièces illisibles.
• Recherche : vocabulaire métier, filtres, droits et versions.
• Génération : comportement attendu quand aucune source pertinente n’est trouvée.
• Interface : lecture des références, signalement d’une erreur et transmission à une personne.
• Exploitation : hébergement, fournisseurs utilisés, maintenance et suppression des données.

L’auto-hébergement d’une partie du système ne décrit pas à lui seul tous les flux de données. Les services externes appelés et leurs conditions doivent être examinés séparément. Cette fiche ne certifie ni une conformité juridique ni une architecture d’hébergement.

Construire un jeu de questions avant le développement

Préparer une question avec réponse connue, une information absente, deux documents contradictoires, une référence périmée et une demande portant sur un document interdit. Définir pour chaque cas la réponse ou le refus attendu.

Notre grille mesure la justesse, la pertinence des passages, l’appui des citations, le respect des accès et les corrections nécessaires. Répéter les questions après une mise à jour. Un refus clair peut être préférable à une réponse agréable mais non étayée.

Conserver le nombre d’essais et les catégories d’erreurs avant de communiquer un taux. Ce guide n’affirme pas une baisse universelle des hallucinations ou un délai garanti de retour sur investissement.

Budgéter le projet et son fonctionnement

Le devis doit distinguer préparation documentaire, connexions, interface, tests, hébergement, consommation et maintenance. Le nombre de documents ne décrit pas toute la difficulté : leurs formats, droits, contradictions et fréquence de mise à jour comptent aussi.

Une première phase peut porter sur un corpus limité et des questions convenues. Comparer ensuite le travail réellement rendu et le temps de contrôle à la méthode existante. Consultez notre service documents et RAG, les offres et l’audit pour définir un périmètre.

Questions fréquentes

Le RAG élimine-t-il les hallucinations ?

Non. La recherche peut apporter des informations utiles, mais les documents, la recherche et la génération peuvent encore produire des erreurs. Il faut tester les réponses, les citations et le comportement quand une source manque.

Quels documents faut-il préparer ?

Des documents lisibles et à jour, avec un propriétaire, des versions et des droits d’accès définis. Les pièces contradictoires ou obsolètes doivent être traitées avant de servir de référence.

Comment vérifier un assistant RAG ?

Utilisez des questions représentatives, des informations absentes, des contradictions et des demandes hors accès. Vérifiez les réponses attendues, les passages cités et les refus.