RAG कैसे काम करता है और उसकी सीमाएँ क्या हैं

उदाहरण: कंपनी की नीति से उत्तर देना

एक कर्मचारी पूछता है कि खर्च का दावा कितने दिनों में जमा करना चाहिए। उपयोगी RAG प्रणाली लागू नीति, उसका वर्तमान संस्करण और समय-सीमा वाला अनुच्छेद खोजती है। मॉडल उस अनुच्छेद को समझाकर स्रोत का लिंक देता है।

यदि केवल पुराने संस्करण या दूसरे देश की नीति मिले, तो उत्तर को बताना चाहिए कि पर्याप्त प्रमाण नहीं है। गलत नीति के लिंक के साथ आत्मविश्वासपूर्ण उत्तर भी गलत है। दस्तावेज़ कहाँ लागू होता है, यह पाठ की समानता जितना जरूरी है।

प्रमाण तक पहुँचने का रास्ता देखें

सामान्य क्रम है: प्रश्न, जानकारी की खोज, चुने हुए अंश और उत्तर। हर अंश के साथ दस्तावेज़ का नाम और उसमें अंश का स्थान रखें। उपयोगी प्रमाण न मिले तो उस सीमा को स्पष्ट बताएँ; उसकी जगह विश्वसनीय लगने वाला दावा न जोड़ें।

सबसे छोटा उपयोगी प्रवाह बनाएँ

थोड़े विश्वसनीय दस्तावेज़ लें। पढ़ने योग्य पाठ निकालें, शीर्षक बचाएँ और ऐसे हिस्से बनाएँ जिनमें नियम तथा उसके अपवाद साथ रहें। हर हिस्से के साथ दस्तावेज़ का नाम, संस्करण, खंड और पहुँच की सीमा रखें। कुछ संबंधित हिस्से खोजें और उन्हीं पर आधारित उत्तर माँगें।

छोटे संग्रह में पहले साधारण keyword search पर्याप्त हो सकती है। अलग शब्दों वाली पूछताछ में vector search मदद कर सकती है; hybrid search शब्द और vector दोनों परिणाम जोड़ती है। शुरुआत में बड़ा ढाँचा या हर दस्तावेज़ के लिए एक आदर्श chunk size जरूरी नहीं।

खोज की जाँच अलग से करें

पहले देखें कि संबंधित अंश मिला या नहीं। फिर देखें कि वह उत्तर का समर्थन करता है या नहीं। छोटे अंशों में संदर्भ छूट सकता है, जबकि बहुत बड़े अंश मुख्य बात को अस्पष्ट कर सकते हैं। अंशों का आकार तय करने के लिए प्रतिनिधि प्रश्नों से मूल्यांकन करें; एक ही आकार हर स्थिति के लिए सही नहीं होता।

तीन तरह की गलतियाँ अलग करें

पहले देखें कि मॉडल को कौन-से अंश मिले। जरूरी जानकारी नहीं मिली तो indexing, filters और retrieval देखें। नियम मिला लेकिन अपवाद अलग रह गया तो chunk boundaries और चयन देखें। प्रमाण पूरा था, फिर भी उत्तर ने उसे गलत बताया तो generation देखें।

छोटी evaluation सूची बनाएँ: सीधा प्रश्न, उसी का अलग शब्दों में रूप, अपवाद वाला प्रश्न और ऐसा प्रश्न जिसका उत्तर दस्तावेज़ों में नहीं है। अपेक्षित अंश और कब उत्तर से इनकार चाहिए, दर्ज करें। इससे बदलावों की तुलना होगी, केवल एक प्रभावशाली demo पर भरोसा नहीं रहेगा।

अनुमतियाँ और लागत नियंत्रित रखें

दस्तावेज़ का पाठ मॉडल तक जाने से पहले उपयोगकर्ता की अनुमति के अनुसार फ़िल्टर करें। Prompt का निर्देश access control का विकल्प नहीं है। मिले दस्तावेज़ों के निर्देशों को सामग्री मानें, प्रणाली के नियम बदलने का अधिकार नहीं।

अंशों की संख्या तथा उत्तर की लंबाई सीमित करें, उचित जगह cache लगाएँ और दस्तावेज़ बदलने पर index अपडेट करें। उपयोगिता और खर्च दोनों मापें। Reranking या अतिरिक्त model call जोड़ने से पहले तय करें कि कौन-सी गलती सुधरेगी; हर अतिरिक्त चरण समय और संचालन लागत बढ़ाता है।