Ce que le RAG change, et ce qu’il ne résout pas

Un exemple : répondre à partir d’un règlement interne

Un collègue demande le délai de dépôt d’une note de frais. Un système RAG utile retrouve le règlement applicable, sa version actuelle et le paragraphe sur le délai. Le modèle explique ce passage et fournit un lien vers sa source.

Si la recherche ne trouve qu’une ancienne version ou un règlement pour un autre pays, la réponse doit signaler l’insuffisance des preuves. Une formulation assurée accompagnée d’une mauvaise référence reste incorrecte. Le champ d’application du document compte autant que sa proximité avec la question.

Suivre le chemin des preuves

Le parcours habituel : question, recherche, passages sélectionnés, réponse. Conservez le titre et l’emplacement des documents. En l’absence d’éléments fiables, signalez la limite au lieu d’inventer une explication vraisemblable.

Construire un premier parcours simple

Commencez avec quelques documents fiables. Extrayez leur texte, conservez les titres et découpez des passages qui gardent la règle avec ses exceptions. Associez à chaque passage le document, la version, la section et les restrictions d’accès. Retrouvez quelques passages pertinents et demandez une réponse étayée par eux.

Une recherche par mots peut suffire pour une petite collection. La recherche vectorielle aide lorsque la formulation diffère ; la recherche hybride combine résultats textuels et vectoriels. Une infrastructure importante ou une taille universelle de passage n’est pas nécessaire pour commencer.

Évaluer la recherche séparément

Vérifiez d’abord si le passage utile a été retrouvé, puis s’il soutient la réponse. Un passage trop court perd du contexte ; trop long, il noie l’information pertinente. Testez le découpage avec des questions représentatives.

Distinguer trois causes d’erreur

Inspectez d’abord les passages fournis au modèle. Si l’information manque, examinez l’indexation, les filtres et la recherche. Si la règle est présente sans son exception, examinez le découpage et la sélection. Si les preuves sont complètes mais déformées, examinez la génération de la réponse.

Préparez quelques questions représentatives : directe, reformulée, dépendant d’une exception et sans réponse dans les documents. Notez le passage attendu et les cas où le système doit s’abstenir. Vous pourrez comparer les modifications plutôt que juger le système sur une seule démonstration réussie.

Maîtriser les droits et les coûts

Filtrez selon les droits de l’utilisateur avant que le texte arrive au modèle. Une consigne dans le prompt ne remplace pas le contrôle d’accès. Les instructions contenues dans un document retrouvé restent du contenu documentaire, sans pouvoir modifier les règles du système.

Limitez les passages et la longueur des réponses, utilisez un cache adapté et actualisez l’index lorsque les documents changent. Mesurez l’utilité ainsi que les dépenses. Avant un reclassement ou un appel supplémentaire au modèle, identifiez l’erreur précise à corriger : chaque étape ajoute de la latence et un coût d’exploitation.