RAG चंक सीमाओं और ओवरलैप को चुनना ताकि सेक्शन संदर्भ बना रहे

वह इकाई चुनें जो उत्तर को संरक्षित करे

चंकिंग का प्राथमिक लक्ष्य यह सुनिश्चित करना है कि प्रत्येक चंक में संभावित प्रश्नों का स्वतंत्र रूप से उत्तर देने के लिए पर्याप्त संदर्भ हो। जैसा कि Microsoft RAG गाइड में कहा गया है, बहुत छोटे और पर्याप्त संदर्भ वाले चंक खराब परिणाम देते हैं। हमारे काल्पनिक सपोर्ट नोट में - 'रिटर्न: बिना खोले आइटम 14 दिनों के भीतर वापस किए जा सकते हैं। वारंटी: निर्माण दोषों को 12 महीनों के लिए कवर किया जाएगा।' - वापसी पात्रता के बारे में एक प्रश्न शर्त (बिना खोले) और समय सीमा (14 दिन) दोनों पर निर्भर करता है। यदि एक चंक सीमा 'within' और '14 days' को विभाजित करती है, तो रिट्रीवल पूरी शर्त को चूक सकता है।

ऐसी इकाई चुनें जो संबंधित शर्त और उसकी समय सीमा को एक साथ रखे तथा एम्बेडिंग मॉडल की वास्तविक इनपुट सीमा के भीतर हो। दस्तावेज़ की संरचना और टोकन संख्या दोनों महत्वपूर्ण हैं: लंबे सेक्शन को फिर भी विभाजित करना पड़ सकता है। एक छोटा, पूर्ण नियम उपयोगी शुरुआती बिंदु है, लेकिन इससे यह सुनिश्चित नहीं होता कि खोज प्रणाली उसे ढूँढ ही लेगी।

हेडिंग को उनके अंशों के साथ रखें

सेक्शन हेडिंग सामग्री की व्याख्या के लिए आवश्यक संदर्भ प्रदान करती हैं। जब 'बिना खोले आइटम 14 दिनों के भीतर वापस किए जा सकते हैं' जैसा अंश 'रिटर्न' हेडर के बिना दिखाई देता है, तो इसका अर्थ अस्पष्ट हो जाता है। Microsoft RAG दस्तावेज़ीकरण सिमेंटिक रूप से प्रासंगिक सामग्री को संरक्षित करने पर जोर देता है, जिसमें हेडिंग को उनके संबंधित टेक्स्ट ब्लॉक से जोड़ना शामिल है।

सेक्शन का शीर्षक उसके अंश से जोड़ें। शीर्षक को केवल मेटाडेटा में रखने का अर्थ यह नहीं है कि उसे एम्बेड किया जाएगा या भाषा मॉडल को दिखाया जाएगा। यदि शीर्षक आवश्यक संदर्भ देता है, तो उसे एम्बेडिंग के लिए इस्तेमाल किए जाने वाले पाठ और उत्तर जनरेटर को भेजे गए प्राप्त संदर्भ में शामिल करें। नीचे दी गई डिक्शनरी संग्रहित चंक का उदाहरण है, Azure इंडेक्स का पूरा कॉन्फ़िगरेशन नहीं।

chunk = {
  "text": "Returns: unopened items may be returned within 14 days.",
  "metadata": {"section": "Returns"}
}

दो उदाहरणात्मक सीमाओं की तुलना करें

सपोर्ट नोट के दो उदाहरणात्मक विभाजन पर विचार करें। सबसे पहले, मान लीजिए कि एक कैरेक्टर-आधारित सीमा शब्द के बीच में नोट को काटती है:

चंक 1: 'रिटर्न: बिना खोले आइटमों को वापस किया जा सकता है' चंक 2: '14 दिनों के भीतर। वारंटी: निर्माण दोष ' चंक 3: '12 महीनों के लिए कवर किए जाते हैं।'

यहां, वापसी नीति चंक के बीच विभाजित है, जिससे अपूर्ण रिट्रीवल का खतरा है। अब एक दस्तावेज़-जागरूक दृष्टिकोण की तुलना करें जो 'वारंटी:' को सीमा के रूप में उपयोग करता है:

चंक ए: 'रिटर्न: बिना खोले आइटम 14 दिनों के भीतर वापस किए जा सकते हैं।' चंक बी: 'वारंटी: निर्माण दोष 12 महीनों के लिए कवर किए जाते हैं।'

यह संस्करण दोनों नीतियों को बरकरार रखता है। जबकि पहली विधि केवल आकार पर निर्भर करती है, दूसरी सिमेंटिक संरचना का सम्मान करती है - Azure के चर-आकार और सिमेंटिक चंकिंग पर मार्गदर्शन में उजागर एक प्रमुख लाभ।

एक प्रारंभिक आकार और ओवरलैप चुनें

Azure AI Search फिक्स्ड-साइज़ चंकिंग का उपयोग करते समय 512 टोकन (~2,000 कैरेक्टर) और 25% ओवरलैप (128 टोकन) के साथ शुरू करने की सलाह देता है। यह अतिरेक के मुकाबले संदर्भ निरंतरता को संतुलित करता है। ओवरलैप चंक के पार विभाजित वाक्यांशों को कम से कम एक परिणाम में पूरी तरह से दिखाई देने की अनुमति देता है।

हमारे उदाहरण के लिए, 'within' और '14 days' के बीच के अंतर को पाटने में मदद करने के लिए 15-कैरेक्टर ओवरलैप के साथ 60 कैरेक्टर के चंक आकार का चयन करना। हालांकि, यदि तार्किक इकाई एक से अधिक चंक तक फैली हुई है तो ओवरलैप अकेले इरादे के संरक्षण की गारंटी नहीं दे सकता है। इस प्रकार, जबकि ओवरलैप मजबूती में सुधार करता है, यह संरचनात्मक जागरूकता का स्थान नहीं लेता है।

दोहराए गए संदर्भ का हिसाब रखें

ओवरलैप डुप्लिकेट टेक्स्ट का परिचय देता है, जिससे स्टोरेज और इंडेक्सिंग की लागत बढ़ जाती है। जैसा कि माइक्रोसॉफ्ट आरएजी लेख में उल्लेख किया गया है, कुछ दृष्टिकोणों में उच्च वित्तीय और अस्थायी लागतें आती हैं। कई चंक्स में सेक्शन हेडर को दोहराने से भी अतिरेक बढ़ता है लेकिन व्याख्यात्मकता में सुधार होता है।

हमारे मामले में, उस सेक्शन के तहत प्रत्येक चंक की शुरुआत में 'रिटर्न्स:' को दोहराना स्पष्टता सुनिश्चित करता है, भले ही इससे टोकन उपयोग बढ़ जाए। जब उपयोगकर्ता के सवालों का सही जवाब देना संदर्भ पर निर्भर करता है, तो यह ट्रेड-ऑफ दक्षता पर सटीकता को प्राथमिकता देता है।

सीमाओं के पास उत्तरों का निरीक्षण करें

चंकिंग के बाद, संभावित विभाजन बिंदुओं के पास जानकारी को लक्षित करने वाले प्रश्नों का परीक्षण करें। उदाहरण के लिए, 'मैं बिना खोली हुई वस्तुओं को कब तक वापस कर सकता हूँ?' पूछें और सत्यापित करें कि क्या प्राप्त चंक में विषय और समय सीमा दोनों शामिल हैं।

चूंकि यह एक काल्पनिक उदाहरण है, इसलिए किसी वास्तविक पुनर्प्राप्ति प्रणाली का परीक्षण नहीं किया जाता है। लेकिन वास्तविक कार्यान्वयन में, आरएजी चंकिंग चरण दस्तावेज़ीकरण में सलाह के अनुसार, संरचनात्मक संक्रमणों के आसपास - जैसे हेडिंग के बाद या वाक्य-मध्य विभाजन - परिणामों का निरीक्षण करना चंक की गुणवत्ता को मान्य करने के लिए महत्वपूर्ण है।

एक बार में एक पैरामीटर बदलें

चंकिंग को अनुकूलित करते समय, प्रभाव को अलग करने के लिए प्रति पुनरावृति केवल एक चर बदलें - आकार, ओवरलैप, या पार्सिंग विधि। उदाहरण के लिए, पहले 500 बनाम 1000 वर्णों पर निश्चित-आकार के चंक्स का परीक्षण करें, फिर अन्य सेटिंग्स को स्थिर रखते हुए 10% से 25% तक ओवरलैप समायोजित करें।

यह व्यवस्थित दृष्टिकोण विश्वसनीय मूल्यांकन का समर्थन करता है, जो माइक्रोसॉफ्ट की विभिन्न चंकिंग क्रमपरिवर्तनों के साथ प्रयोग करने और रणनीति को अंतिम रूप देने से पहले ट्रेड-ऑफ का निरीक्षण करने की सिफारिश के अनुरूप है।

जानें कि चंकिंग जांच क्या साबित नहीं कर सकती है

चंक्स को विज़ुअलाइज़ करना या ओवरलैप की जाँच करना पुनर्प्राप्ति प्रभावशीलता की गारंटी नहीं देता है। सिमेंटिक सीमाएँ स्वचालित रूप से प्रासंगिकता का अर्थ नहीं हैं, और कोई भी स्थिर विश्लेषण यह साबित नहीं करता है कि किसी दिए गए प्रश्न के लिए एक चंक पुनर्प्राप्त किया जाएगा। जैसा कि माइक्रोसॉफ्ट गाइड नोट करता है, आपका चंकिंग दृष्टिकोण अर्ध-स्थायी है और डाउनस्ट्रीम प्रक्रियाओं को प्रभावित करता है, इसलिए मान्यताओं को अनुभवजन्य रूप से मान्य किया जाना चाहिए।

रिटर्न्स को उसकी नीति के साथ रखने से अंश की व्याख्या करना आसान हो जाता है, लेकिन वास्तविक रिट्रीवर को अभी भी इसे चुनना होता है और उत्तर को इसका सही उपयोग करना होता है। पुनर्प्राप्त साक्ष्य का निरीक्षण करें और प्रतिनिधि प्रश्नों पर उत्पन्न उत्तरों की समीक्षा करें। एक प्रश्न पर एक अच्छा परिणाम विश्वसनीयता स्थापित नहीं करता है; कई सीमा मामलों की तुलना करें, जिसमें ऐसे प्रश्न भी शामिल हैं जिनके उत्तर दस्तावेज़ से अनुपस्थित हैं।