RAG साइटेशन का सत्यापन: स्रोत की उपस्थिति से परे दावे के समर्थन तक
एक साइटेशन आइडेंटिफायर केवल यह साबित करता है कि स्रोत प्राप्त किया गया था, न कि यह कि वह दावे का समर्थन करता है। यह लेख बताता है कि कैसे उत्तरों को विभाजित करें, सहायक अंश खोजें और एक काल्पनिक नीति उदाहरण का उपयोग करके रिट्रीवल चेक को ग्राउंडेडनेस चेक से अलग करें।
इस पृष्ठ पर
संक्षिप्त उत्तर
RAG साइटेशन को सत्यापित करने के लिए, सबसे पहले इस मैकेनिकल चेक को अलग करें कि स्रोत आइडेंटिफायर मौजूद है या नहीं, और फिर इस सिमेंटिक चेक को करें कि उद्धृत अंश वास्तव में दावे का समर्थन करता है या नहीं। उत्तर को परमाणु दावों (atomic claims) में तोड़ें, प्रत्येक उद्धृत स्रोत में सटीक सहायक टेक्स्ट खोजें, और एंटेलमेंट (entailment) का निर्णय लें। लापता साक्ष्यों और परस्पर विरोधी स्रोतों को चिह्नित करें। एक संरचित चेकलिस्ट का उपयोग करें और इस बात का ध्यान रखें कि स्वचालित ग्राउंडेडनेस मेट्रिक्स सूक्ष्म विसंगतियों को छोड़ सकते हैं।
लिंक को साक्ष्य से अलग करना
उद्धरण के चिह्न की जाँच करनी चाहिए। वह यह सिद्ध नहीं करता कि मॉडल ने सही अंश प्राप्त किया या पढ़ा। पहले चिह्न को वास्तव में दिए गए संदर्भ से मिलाएँ और पुष्टि करें कि संबंधित स्रोत अंश उपलब्ध है। फिर जाँचें कि वह अंश विशिष्ट दावे का समर्थन करता है या नहीं। काल्पनिक उदाहरण में स्रोत A अप्रयुक्त वस्तुओं को 14 दिनों के भीतर लौटाने की अनुमति देता है और स्रोत B विनिर्माण दोषों के लिए 12 महीनों का कवरेज बताता है। सभी उपयोग की गई वस्तुओं पर धनवापसी का दावा स्रोत A से समर्थित नहीं होता, भले ही उद्धरण का चिह्न सही हो।
उत्तर को दावों में तोड़ना
समर्थन को व्यवस्थित रूप से सत्यापित करने के लिए, उत्तर को व्यक्तिगत तथ्यात्मक बयानों में विभाजित करें। माइक्रोसॉफ्ट प्रॉम्प्ट इंजीनियरिंग लेख मॉडल को प्रत्येक दावे के लिए स्रोत का हवाला देने का निर्देश देने की सिफारिश करता है, जिससे यह विभाजन आसान हो जाता है। उदाहरण उत्तर 'आप 30 दिनों के भीतर सभी उपयोग की गई वस्तुओं का रिफंड ले सकते हैं' के लिए, परमाणु दावे 'सभी उपयोग की गई वस्तुओं का रिफंड' और '30 दिनों के भीतर' हैं। प्रत्येक दावा अलग-अलग स्रोतों द्वारा समर्थित हो सकता है, या किसी द्वारा भी नहीं। उत्तर को दावों में तोड़ने से ऐसी स्थिति रुकती है जहाँ आंशिक रूप से समर्थित उत्तर को समग्र रूप से स्वीकार कर लिया जाता है। विखंडन के बाद, आप प्रत्येक दावे की उसके उद्धृत स्रोत के विरुद्ध स्वतंत्र रूप से जाँच कर सकते हैं।
सहायक अंश का पता लगाना
प्रत्येक दावे के लिए, उद्धृत स्रोत में वह सटीक टेक्स्ट खोजें जो उसका समर्थन करने वाला माना गया है। उदाहरण में, दावा 'सभी उपयोग की गई वस्तुओं का रिफंड' स्रोत A का हवाला देता है। स्रोत A का टेक्स्ट है 'अप्रयुक्त वस्तुओं को 14 दिनों के भीतर वापस किया जा सकता है।' उपयोग की गई वस्तुओं का कोई उल्लेख नहीं है, इसलिए कोई सहायक अंश मौजूद नहीं है। हालाँकि, स्रोत A का हवाला देते हुए दावा 'अप्रयुक्त वस्तुओं को 14 दिनों के भीतर वापस किया जा सकता है' सीधे स्रोत टेक्स्ट से मेल खाता है। इस चरण के लिए स्रोत सामग्री को पढ़ने की आवश्यकता होती है, न कि केवल यह जाँचने की कि स्रोत आइडेंटिफायर दिखाई देता है या नहीं। मूल्यांकन लेख ग्राउंडेडनेस गणनाओं का वर्णन करता है जो यह निर्धारित करने के लिए नेचुरल लैंग्वेज इन्फरेंस का उपयोग करते हैं कि दावे संदर्भ पर आधारित हैं या नहीं, जो इस मिलान को कुछ हद तक स्वचालित करता है।
समर्थित और असमर्थित दावे का पता लगाना
काल्पनिक उदाहरण में अप्रयुक्त वस्तुओं को 14 दिनों के भीतर लौटाने का दावा स्रोत A से समर्थित है। उसी अंश से सभी उपयोग की गई वस्तुओं पर धनवापसी का दावा समर्थित नहीं है। इसलिए सही उद्धरण लक्ष्य यह सिद्ध नहीं करता कि निष्कर्ष उस अंश से निकलता है। शर्तों, मात्राओं और समय सीमाओं सहित प्रत्येक दावे की अलग जाँच करें। बिना समर्थन के नियम को विस्तृत करने और संदर्भ से स्पष्ट रूप से विरोधाभासी सूचना के बीच अंतर करें।
अनुपस्थित साक्ष्य को संभालें
जब किसी दावे में कोई उद्धरण नहीं होता है या उद्धृत स्रोत में प्रासंगिक जानकारी की कमी होती है, तो इसे अनुपस्थित साक्ष्य माना जाता है। प्रॉम्प्ट इंजीनियरिंग लेख यह सलाह देता है कि मॉडल को यह निर्देश दिया जाए कि जब संदर्भ प्रश्न का पूरी तरह से उत्तर नहीं देता है, तो वह बताए कि कौन सी जानकारी गायब है। उदाहरण के लिए, यदि उत्तर में बिना किसी सहायक स्रोत के 'सभी उपयोग की गई वस्तुओं की वापसी' शामिल है, तो वह दावा अनुपस्थित साक्ष्य के कारण असमर्थित है। समीक्षक को इसे चिह्नित करना चाहिए और यह जांचना चाहिए कि क्या मॉडल को 'मुझे नहीं पता' या स्पष्टीकरण के साथ प्रतिक्रिया देनी चाहिए थी। मूल्यांकन मीट्रिक 'पूर्णता' (completeness) यह मापता है कि क्या प्रश्न के सभी भागों का उत्तर दिया गया है; अनुपस्थित साक्ष्य वाला दावा पूर्णता को वास्तव में होने वाली मात्रा से अधिक दिखा सकता है जबकि ग्राउंडेडनेस कम बनी रहती है।
स्रोत असहमति को संभालें
प्राप्त किए गए चंक्स (chunks) में विरोधाभासी जानकारी हो सकती है। प्रॉम्प्ट इंजीनियरिंग लेख स्पष्ट रूप से निर्देश देता है: 'यदि प्रदान किए गए स्रोतों में परस्पर विरोधी जानकारी है, तो दोनों दृष्टिकोण प्रस्तुत करें और संबंधित स्रोतों का उल्लेख करें।' उदाहरण के लिए, यदि स्रोत A कहता है कि वापसी 14 दिनों के भीतर है और स्रोत B कहता है कि 30 दिन, तो उत्तर में दोनों को स्वीकार किया जाना चाहिए। यदि उत्तर चुपचाप किसी एक को चुनता है, तो यह ग्राउंडेडनेस की समस्या है क्योंकि यह संदर्भ के एक हिस्से की अनदेखी करता है। मूल्यांकन लेख का 'सटीकता' (correctness) मीट्रिक प्रभावित हो सकता है यदि उत्तर गलत स्रोत चुनता है। समीक्षा करते समय, जांचें कि क्या उत्तर पारदर्शी रूप से संघर्ष को प्रस्तुत करता है या बिना किसी औचित्य के इसे हल करता है।
एक व्यावहारिक समीक्षा चेकलिस्ट रिकॉर्ड करें
हर दावे के लिए उसका उद्धरण, समर्थन करने वाला सटीक अंश और अपना निर्णय दर्ज करें। अनुपलब्ध या अप्रासंगिक स्रोत को उस उपलब्ध अंश से अलग रखें जो दावे का समर्थन नहीं करता। स्रोतों में मतभेद हो तो उसे दर्ज करें और देखें कि उत्तर उसकी व्याख्या करता है या नहीं। लेख के अंत की जाँच सूची इन चरणों का सार देती है।
स्वचालित-सत्यापनकर्ता की सीमाओं को समझें
स्वचालित आधार-संगति जाँच असमर्थित दावे खोज सकती है, लेकिन उसका स्कोर गारंटी नहीं है। जाँच करने वाला मॉडल बदली हुई शर्त, निषेध या गलत समय सीमा को चूक सकता है। संदर्भ से समर्थन और तथ्यात्मक शुद्धता भी अलग प्रश्न हैं: उत्तर गलत या पुराने स्रोत को सही ढंग से दोहरा सकता है और फिर भी उसी स्रोत पर आधारित हो सकता है। इसके विपरीत, दिए गए संदर्भ से बाहर का सही तथ्य उस संदर्भ में असमर्थित हो सकता है। महत्त्वपूर्ण दावा-अंश जोड़ियों को सीधे जाँचें और स्रोत की विश्वसनीयता, तिथि तथा लागू होने की सीमा का अलग मूल्यांकन करें। इस लेख के नीति अंश काल्पनिक उदाहरण हैं, किसी किए गए खोज प्रयोग के परिणाम नहीं।
क्या जाँचें
- सत्यापित करें कि प्रत्येक साइटेशन आइडेंटिफायर एक प्राप्त स्रोत चंक से मेल खाता है।
- प्रत्येक दावे के लिए, उद्धृत स्रोत में उस सटीक अंश का पता लगाएं जो उसका समर्थन करने वाला माना गया है।
- आकलन करें कि क्या दावा अंश द्वारा तार्किक रूप से समर्थित (entailed) है, न कि केवल उल्लेखित है।
- उन दावों को असमर्थित के रूप में चिह्नित करें जिनमें कोई सहायक अंश नहीं है।
- जब स्रोत परस्पर विरोधी हों, तो जाँचें कि क्या उत्तर संघर्ष को स्वीकार करता है या चुपचाप किसी एक को चुनता है।
- रिट्रीवल गुणवत्ता (स्रोत की उपस्थिति) को ग्राउंडेडनेस (सिमेंटिक समर्थन) से अलग करें।
- प्रत्येक दावा-स्रोत जोड़ी की समीक्षा के लिए एक संरचित चेकलिस्ट का उपयोग करें।
- सचेत रहें कि स्वचालित ग्राउंडेडनेस मेट्रिक्स सूक्ष्म विसंगतियों को छोड़ सकते हैं।
उपयोग की सीमाएँ
स्वचालित ग्राउंडेडनेस मेट्रिक्स सभी सिमेंटिक विसंगतियों को नहीं पकड़ सकते; उच्च-दांव वाले निर्णयों के लिए मानवीय समीक्षा आवश्यक है। उदाहरण में काल्पनिक नीति स्निपेट्स का उपयोग किया गया है, वास्तविक रिट्रीवल परिणामों का नहीं।