Vérification des citations RAG : au-delà de l'existence des sources
Un identifiant de citation prouve seulement qu'une source a été récupérée, pas qu'elle soutient l'affirmation. Cet article explique comment décomposer les réponses, localiser les passages justificatifs et séparer les vérifications de récupération des vérifications de fondement.
Dans ce guide
La réponse courte
Pour vérifier les citations RAG, commencez par séparer la vérification mécanique de l'existence d'un identifiant de source de la vérification sémantique du fait que le passage cité soutient réellement l'affirmation. Décomposez la réponse en affirmations atomiques, localisez le texte exact justificatif dans chaque source citée et jugez l'implication logique. Signalez les preuves manquantes et les sources contradictoires. Utilisez une liste de contrôle structurée et gardez à l'esprit que les mesures de fondement automatisées peuvent ignorer des incohérences subtiles.
Distinguer le lien de la preuve
Une référence de citation doit être vérifiée ; elle ne prouve pas que le modèle a récupéré ou lu le bon passage. Retrouvez d'abord cette référence dans le contexte réellement fourni et confirmez qu'elle désigne un extrait disponible. Vérifiez ensuite si cet extrait étaye l'affirmation précise. Dans notre exemple fictif, la source A autorise le retour des articles inutilisés sous 14 jours et la source B couvre les défauts de fabrication pendant 12 mois. Affirmer que tous les articles utilisés sont remboursables n'est pas étayé par la source A, même si la référence est valide.
Décomposer la réponse en affirmations
Pour vérifier systématiquement le support, décomposez la réponse en énoncés factuels individuels. L'article de Microsoft sur l'ingénierie des prompts recommande d'instruire le modèle de citer la source pour chaque affirmation, ce qui facilite cette décomposition. Pour la réponse exemple 'Vous pouvez rembourser tous les articles utilisés sous 30 jours', les affirmations atomiques sont 'rembourser tous les articles utilisés' et 'sous 30 jours'. Chaque affirmation peut être soutenue par différentes sources, ou par aucune. Décomposer la réponse en affirmations évite qu'une réponse partiellement soutenue ne soit acceptée dans son ensemble. Après la décomposition, vous pouvez vérifier chaque affirmation par rapport à sa source citée indépendamment.
Localiser le passage justificatif
Pour chaque affirmation, trouvez le texte exact dans la source citée qui est censé la soutenir. Dans l'exemple, l'affirmation 'rembourser tous les articles utilisés' cite la Source A. Le texte de la Source A est 'Les articles non utilisés peuvent être retournés sous 14 jours.' Il n'est pas question d'articles utilisés, donc aucun passage justificatif n'existe. En revanche, l'affirmation 'les articles non utilisés peuvent être retournés sous 14 jours' citant la Source A correspond directement au texte de la source. Cette étape nécessite la lecture du contenu de la source, et non un simple contrôle de l'apparition de l'identifiant. L'article d'évaluation décrit des calculs de fondement utilisant l'inférence en langage naturel pour déterminer si les affirmations sont basées sur le contexte, ce qui automatise ce rapprochement dans une certaine mesure.
Tracer une affirmation soutenue et une non soutenue
Dans cet exemple fictif, la source A étaye l'affirmation selon laquelle les articles inutilisés peuvent être retournés sous 14 jours. Elle n'étaye pas l'affirmation selon laquelle tous les articles utilisés sont remboursables. Une référence correcte ne suffit donc pas à établir que la conclusion découle du passage. Examinez chaque affirmation séparément, avec ses conditions, quantités et délais, et distinguez une extension non étayée d'une information explicitement contredite par le contexte.
Gérer l'absence de preuves
Lorsqu'une affirmation n'a pas de citation ou que la source citée manque d'informations pertinentes, il s'agit d'une absence de preuves. L'article d'ingénierie des prompts conseille d'instruire le modèle d'indiquer quelles informations sont manquantes lorsque le contexte ne répond pas pleinement à la question. Dans l'exemple, si la réponse inclut 'rembourser tous les articles utilisés' sans aucune source pour le soutenir, cette affirmation est non soutenue en raison de l'absence de preuves. Le réviseur doit la signaler et vérifier si le modèle aurait dû répondre 'Je ne sais pas' ou apporter une clarification. La métrique de complétude mesure si toutes les parties de la requête ont été traitées ; une affirmation sans preuve peut faire paraître la complétude plus élevée qu'elle ne l'est, alors que le fondement reste faible.
Gérer les désaccords entre sources
Les fragments récupérés peuvent contenir des informations contradictoires. L'article d'ingénierie des prompts indique explicitement : 'Si les sources fournies contiennent des informations contradictoires, présentez les deux perspectives et citez les sources respectives.' Par exemple, si la Source A indique des retours sous 14 jours et la Source B sous 30 jours, la réponse doit reconnaître les deux. Si la réponse en choisit une silencieusement, c'est un problème de fondement car elle ignore une partie du contexte. La métrique d'exactitude de l'article d'évaluation peut être affectée si la réponse choisit la mauvaise source. Lors de la révision, vérifiez si la réponse présente le conflit de manière transparente ou si elle le résout sans justification.
Établir une liste de contrôle de révision pratique
Pour chaque affirmation, consignez la citation, le passage exact et votre conclusion sur son soutien. Distinguez une source absente ou non pertinente d'un passage disponible qui n'étaye pas l'affirmation. Si les sources divergent, notez le conflit et vérifiez que la réponse l'explique. La liste de vérification à la fin du guide résume ces étapes.
Comprendre les limites des vérificateurs automatisés
Les vérifications automatiques peuvent repérer des affirmations non étayées, mais un score n'est pas une garantie. Elles peuvent manquer une condition modifiée, une négation ou un délai erroné. Le soutien par le contexte et l'exactitude factuelle sont deux questions différentes : une réponse peut reproduire fidèlement une source fausse ou obsolète tout en s'appuyant sur elle. Inversement, un fait exact provenant de l'extérieur du contexte peut ne pas être étayé par celui-ci. Examinez directement les couples affirmation-passage importants et vérifiez séparément la fiabilité, la date et l'applicabilité de la source. Les règles utilisées ici sont fictives et ne proviennent pas d'une expérience de recherche exécutée.
Points à vérifier
- Vérifier que chaque identifiant de citation correspond à un fragment de source récupéré.
- Pour chaque affirmation, localiser le passage exact dans la source citée censé la soutenir.
- Évaluer si l'affirmation est logiquement impliquée par le passage, et pas seulement mentionnée.
- Signaler les affirmations dépourvues de passage justificatif comme non soutenues.
- En cas de conflit entre sources, vérifier si la réponse reconnaît le conflit ou en choisit une silencieusement.
- Séparer la qualité de la récupération (existence de la source) du fondement (support sémantique).
- Utiliser une liste de contrôle structurée pour examiner chaque paire affirmation-source.
- Être conscient que les métriques de fondement automatisées peuvent manquer des incohérences subtiles.
Champ d’application
Les métriques de fondement automatisées peuvent ne pas détecter tous les écarts sémantiques ; une révision humaine est nécessaire pour les décisions à enjeux élevés. L'exemple utilise des extraits de politique hypothétiques et non des résultats de récupération réels.