एम्पिरिकल कवरेज और विड्थ के साथ प्रेडिक्शन इंटरवल का मूल्यांकन
प्रेडिक्शन इंटरवल भविष्य के व्यक्तिगत अवलोकन को समाहित करने का लक्ष्य रखते हैं, जबकि कॉन्फिडेंस इंटरवल मीन या अन्य पैरामीटर को लक्षित करते हैं; ये बदले में नहीं लाए जा सकते। एम्पिरिकल कवरेज इंटरवल के अंदर होल्ड-आउट अंश है और विड्थ क्वांटाइल सीमाओं के बीच की दूरी है; एक निर्मित पाँच-मान उदाहरण 80 प्रतिशत कवरेज और माध्य विड्थ 1.8 देता है।
इस पृष्ठ पर
संक्षिप्त उत्तर
प्रेडिक्शन इंटरवल एक ऐसी रेंज है जिसका उद्देश्य एक निर्दिष्ट संभावना के साथ भविष्य के व्यक्तिगत अवलोकन को समाहित करना है, जबकि कॉन्फिडेंस इंटरवल एक अज्ञात पैरामीटर जैसे कंडीशनल मीन के लिए एक रेंज है। ये दोनों एक-दूसरे के बदले नहीं लाए जा सकते क्योंकि वे अलग-अलग प्रश्नों के उत्तर देते हैं और इनकी चौड़ाई अलग होती है। एम्पिरिकल कवरेज वह अंश है जिसमें होल्ड-आउट अवलोकन प्रेडिक्टेड इंटरवल के अंदर आते हैं, और इंटरवल विड्थ लोअर और अपर क्वांटाइल सीमाओं के बीच की दूरी है। वास्तविक मानों [2,5,8,4,10] और इंटरवल [(1,3),(4,6),(6,7),(3,5),(9,11)] वाले एक छोटे चित्रण नमूने में चार अंदर और एक बाहर आता है, इसलिए एम्पिरिकल कवरेज 4/5 = 80 प्रतिशत है, और विड्थ [2,2,1,2,2] का औसत 1.8 है। यह निर्मित नमूना केवल अंकगणित का चित्रण है, कैलिब्रेशन अध्ययन नहीं और scikit-learn बेंचमार्क नहीं। scikit-learn में, क्वांटाइल रिग्रेशन अलग-अलग मॉडल क्वांटाइल स्तरों पर फिट करके प्रेडिक्शन इंटरवल बना सकता है, उदाहरण के लिए alpha=0.05 और alpha=0.95 एक 90 प्रतिशत इंटरवल बनाने के लिए। scikit-learn क्वांटाइल रिग्रेशन उदाहरण दिखाता है कि 5 प्रतिशत और 95 प्रतिशत क्वांटाइल मॉडल एक केंद्रीय इंटरवल को परिभाषित करने के लिए उपयोग किए जाते हैं, और ग्रेडिएंट बूस्टिंग क्वांटाइल उदाहरण समान विचार GradientBoostingRegressor के साथ loss='quantile' और alpha को 0.05, 0.5, और 0.95 पर सेट करके दिखाता है। स्रोत यह भी दिखाता है कि कैलिब्रेशन को होल्ड-आउट डेटा पर जांचा जाना चाहिए क्योंकि ट्रेनिंग कवरेज नॉमिनल स्तर के करीब हो सकता है जबकि टेस्ट कवरेज कम हो सकता है। ग्रेडिएंट बूस्टिंग उदाहरण में, ट्रेनिंग कवरेज लगभग 0.903 है जबकि टेस्ट कवरेज लगभग 0.796 है, और टेस्ट कवरेज के लिए बूटस्ट्रैप कॉन्फिडेंस इंटरवल 73.8 प्रतिशत से 84.4 प्रतिशत के बीच बताया गया है। यह अंतर दिखाता है कि नॉमिनल कवरेज व्यक्तिगत गारंटी नहीं है और इंटरवल विड्थ नई डेटा पर बहुत संकरी हो सकती है। क्वांटाइल मॉडल क्रॉस भी कर सकते हैं, अर्थात कुछ इनपुट के लिए लोअर क्वांटाइल प्रेडिक्शन अपर वाले से अधिक हो सकता है, जो इंटरवल व्याख्या को तोड़ देता है। कवरेज उप-समूहों में भी बदल सकता है, इसलिए एक ही समग्र कवरेज संख्या महत्वपूर्ण खंडों में खराब प्रदर्शन छिपा सकती है। नॉमिनल स्तर चुनते समय तय करें कि लक्ष्य केंद्रीय इंटरवलเช่น 90 प्रतिशत है या एक-छोर बाउंड, और याद रखें कि नॉमिनल स्तर कई भविष्य के अवलोकनों पर दीर्घ-चाल आवृत्ति को संदर्भित करता है, किसी एक मामले के बारे में वादा नहीं। होल्ड-आउट कवरेज की गणना के लिए, प्रत्येक होल्ड-आउट अवलोकन की तुलना उसकी प्रेडिक्टेड लोअर और अपर सीमाओं से करें और उस अनुपात की गणना करें जहाँ अवलोकन उनके बीच स्थित है। विड्थ मापने के लिए, प्रत्येक केस के लिए लोअर सीमा को अपर सीमा से घटाएं और माध्य या एक प्रतिशतता से सारांशित करें, यह ध्यान रखते हुए कि संकरे इंटरवल केवल तभी बेहतर हैं यदि कवरेज स्वीकार्य बना रहता है। एक उपयोगी व्यावहारिक तुलना यह देखना है कि विड्थ उस कवरेज स्तर पर क्या है जो वास्तव में होल्ड-आउट डेटा पर प्राप्त होता है, क्योंकि एक अत्यंत संकरा इंटरवल जो अपने नॉमिनल लक्ष्य को चूकता है वह उपयोगी नहीं है भले ही यह कुशल लगे। सत्यापन को लीकेज से बचने के लिए ट्रेनिंग और मूल्यांकन को अलग रखना चाहिए, और चरम स्तरों के लिए क्वांटाइल अनुमान अस्थिर हो सकते हैं क्योंकि बहुत कम अवलोकन पूंछों को सूचित करते हैं। मुख्य सीमा यह है कि छोटे होल्ड-आउट सेट पर एम्पिरिकल कवरेज शोरगुलित है, कि क्वांटाइल क्रॉसिंग और उप-समूह विचरण व्याख्या को विकृत कर सकते हैं, और कि यहाँ के चित्रण संख्या काल्पनिक हैं और निष्पादित पाइपलाइन के प्रेक्षित परिणाम नहीं हैं।
इंटरवल क्या प्रेडिक्ट करता है यह बताएं
प्रेडिक्शन इंटरवल का उद्देश्य एक निर्दिष्ट संभावना के साथ भविष्य के व्यक्तिगत अवलोकन को समाहित करना है, जबकि कॉन्फिडेंस इंटरवल का उद्देश्य एक अज्ञात पैरामीटर जैसे कंडीशनल मीन को समाहित करना है। यह अंतर महत्वपूर्ण है क्योंकि दोनों इंटरवल अलग-अलग प्रश्नों के उत्तर देते हैं और आमतौर पर अलग-अलग चौड़ाई के होते हैं। प्रेडिक्शन इंटरवल को underlying सिग्नल के बारे में अनिश्चितता और उस सिग्नल के चारों ओर नए अवलोकन की परिवर्तनशीलता दोनों को ध्यान में रखना होता है, जबकि मीन के लिए कॉन्फिडेंस इंटरवल केवल अनुमानित केंद्र के बारे में अनिश्चितता को दर्शाता है। scikit-learn क्वांटाइल रिग्रेशन उदाहरण में, 5 प्रतिशत और 95 प्रतिशत क्वांटाइल मॉडल का उपयोग अवलोकनों के लिए एक केंद्रीय इंटरवल बनाने के लिए किया जाता है, और दस्तावेज़ इसे मीन के लिए इंटरवल के बजाय प्रेडिक्शन इंटरवल बनाने के रूप में चित्रित करता है। ग्रेडिएंट बूस्टिंग क्वांटाइल उदाहरण समान बिंदु को अलग-अलग क्वांटाइल रिग्रेसर को प्रशिक्षित करके और 0.05 और 0.95 मॉडल का उपयोग करके एक प्रेडिक्टेड 90 प्रतिशत इंटरवल को परिभाषित करके दिखाता है। [2,5,8,4,10] वास्तविक मानों और [(1,3),(4,6),(6,7),(3,5),(9,11)] इंटरवल का उपयोग यहाँ केवल यह दिखाने के लिए किया जाता है कि क्या एक अवलोकन प्रेडिक्टेड रेंज के अंदर आता है इसकी जांच का अंकगणित। ये किसी भी फिट किए गए मॉडल के बारे में साक्ष्य नहीं हैं।
नॉमिनल स्तर चुनें
नॉमिनल स्तर लक्ष्य दीर्घ-चाल कवरेज संभावना है, जैसे 0.05 और 0.95 क्वांटाइल द्वारा बनाए गए केंद्रीय इंटरवल के लिए 90 प्रतिशत। इसे चुनना डेटा पर ही नहीं बल्कि निर्णय समस्या पर निर्भर करता है। जब आप अधिकांश भविष्य के अवलोकनों को बाधित करना चाहते हैं तो केंद्रीय इंटरवल सामान्य है, जबकि केवल एक ऊपरी या निचली सीमा महत्वपूर्ण होने पर एक-छोर बाउंड अधिक उपयुक्त हो सकता है। scikit-learn ग्रेडिएंट बूस्टिंग क्वांटाइल उदाहरण स्पष्ट रूप से कहता है कि alpha=0.05 और alpha=0.95 के मॉडल एक 90 प्रतिशत कवरेज इंटरवल उत्पन्न करते हैं क्योंकि 95 प्रतिशत घटा 5 प्रतिशत बराबर 90 प्रतिशत है। क्वांटाइल रिग्रेशन उदाहरण भी 0.05 और 0.95 का उपयोग एक केंद्रीय 90 प्रतिशत इंटरवल को परिभाषित करने और उस केंद्रीय क्षेत्र से बाहर अवलोकनों की पहचान करने के लिए करता है। मुख्य सावधानी यह है कि नॉमिनल कवरेज व्यक्तिगत गारंटी नहीं है। 90 प्रतिशत इंटरवल का अर्थ यह नहीं है कि किसी विशिष्ट अवलोकन के गणना की गई रेंज के अंदर होने की 90 प्रतिशत संभावना है एक ऐसे तरीके से जो मॉडल की धारणाओं और कैलिब्रेशन को ओवरराइड करता है। चित्रण नमूना एक नॉमिनल लक्ष्य का उपयोग करता है जो फिट किए गए मॉडल के गुण के रूप में नहीं बताया गया है; वहाँ 80 प्रतिशत एम्पिरिकल कवरेज केवल एक छोटे निर्मित सेट में चार अंदर और एक बाहर गिनने का परिणाम है।
होल्ड-आउट कवरेज गिनें
होल्ड-आउट कवरेज वह अनुपात है जिसमें पहले देखे नहीं गए अवलोकन प्रेडिक्टेड लोअर और अपर सीमाओं के बीच आते हैं। इसे गणना करने के लिए, प्रत्येक होल्ड-आउट अवलोकन की तुलना उसके संबंधित इंटरवल से करें और उन केसों की गिनती करें जहाँ अवलोकन लोअर सीमा से बड़ा या बराबर है और अपर सीमा से छोटा या बराबर है, फिर होल्ड-आउट केसों की संख्या से भाग दें। ग्रेडिएंट बूस्टिंग क्वांटाइल उदाहरण इस विचार को सीधे एक coverage_fraction फ़ंक्शन के साथ लागू करता है जो दोनों तुलना शर्तों के लॉजिकल AND का माध्य लौटाता है। उस उदाहरण में, ट्रेनिंग कवरेज लगभग 0.903 के रूप में बताया गया है, जबकि टेस्ट कवरेज लगभग 0.796 के रूप में बताया गया है, और टेस्ट कवरेज के लिए बूटस्ट्रैप कॉन्फिडेंस इंटरवल 73.8 प्रतिशत से 84.4 प्रतिशत के बीच बताया गया है। वे संख्याएं दिखाती हैं कि कैलिब्रेशन ट्रेनिंग डेटा पर अच्छा लग सकता है और फिर भी होल्ड-आउट डेटा पर बहुत आशावादी हो सकता है। चित्रण नमूना समान गिनती तर्क का पालन करता है: पाँच मानों में से चार अपने इंटरवल के अंदर आते हैं, इसलिए एम्पिरिकल कवरेज 4/5, या 80 प्रतिशत है। यह गणना केवल परिभाषा का प्रदर्शन है, कोई मॉडल मूल्यांकन परिणाम नहीं।
इंटरवल विड्थ मापें
इंटरवल विड्थ आमतौर पर प्रत्येक केस के लिए अपर और लोअर क्वांटाइल सीमाओं के बीच का अंतर मानी जाती है। विधियों की तुलना के लिए माध्य विड्थ या विड्थ का एक उच्च प्रतिशतता जैसे सारांश का उपयोग किया जा सकता है, लेकिन विड्थ को केवल अकेले नहीं बल्कि कवरेज के साथ मिलकर मूल्यांकन किया जाना चाहिए। संकरे इंटरवल केवल तभी बेहतर हैं यदि वे होल्ड-आउट डेटा पर स्वीकार्य कवरेज को अभी भी प्राप्त करते हैं। चित्रण नमूने में, विड्थ [2,2,1,2,2] हैं, और माध्य विड्थ 1.8 है। यह संख्या सीधे पाँच इंटरवल जोड़ों से गणना की जाती है और किसी भी मॉडल फिट से स्वतंत्र है। scikit-learn उदाहरण एक ही तरह से एकल विड्थ संख्या की रिपोर्ट नहीं करते हैं, लेकिन वे दिखाते हैं कि 0.05 और 0.95 प्रेडिक्शन के बीच की दूरी प्रेडिक्टेड इंटरवल को परिभाषित करती है और कि यह दूरी इनपुट के साथ बदल सकती है, विशेष रूप से हेटेरोस्केडैस्टिक शोर के अंतर्गत। क्वांटाइल रिग्रेशन उदाहरण ध्यान देता है कि बढ़ते शोर विचरण के साथ 5 प्रतिशत और 95 प्रतिशत क्वांटाइल के बीच का इंटरवल x बढ़ने के साथ चौड़ा होता जाता है। यह व्यवहार एक कारण है कि यदि इंटरवल विड्थ इनपुट स्थान में बहुत बदलती है तो एक ही औसत विड्थ भ्रामक हो सकती है।
पाँच अवलोकनों के माध्यम से कार्य
चित्रणात्मक नमूने में पाँच प्राप्त मान [2,5,8,4,10] और पाँच संगत अंतराल [(1,3),(4,6),(6,7),(3,5),(9,11)] हैं। प्रत्येक स्थिति की जाँच करने पर: पहला मान 2, (1,3) के भीतर है; दूसरा मान 5, (4,6) के भीतर है; तीसरा मान 8, (6,7) के बाहर है; चौथा मान 4, (3,5) के भीतर है; और पाँचवाँ मान 10, (9,11) के भीतर है। इससे चार भीतर और एक बाहर मिलते हैं, इसलिए एम्पिरिकल कवरेज 4/5 = 0.80, या 80 प्रतिशत है। चौड़ाईें 3 घटा 1 बराबर 2, 6 घटा 4 बराबर 2, 7 घटा 6 बराबर 1, 5 घटा 3 बराबर 2, और 11 घटा 9 बराबर 2 हैं, इसलिए चौड़ाई सूची [2,2,1,2,2] है और माध्य चौड़ाई 1.8 है। यह एक पूर्णतः निर्मित उदाहरण है, इसलिए इसे वास्तविक मॉडल या डेटासेट के बारे में दावे के रूप में नहीं, बल्कि एक परिभाषा जाँच के रूप में पढ़ना चाहिए। यह यह भी दर्शाता है कि एक ही कवरेज संख्या विवरण को क्यों छिपा सकती है: पाँच अवलोकनों में एक मिलाना परिणाम को 20 प्रतिशत अंक बदलता है, जो इतने छोटे नमूने के लिए एक बड़ा उतार-चढ़ाव है।
उपयोगी कवरेज पर चौड़ाई की तुलना
एक व्यावहारिक तुलना यह पूछती है कि क्या कोई अंतराल उपयोगी होने के लिए पर्याप्त संकीर्ण है जबकि फिर भी उस कवरेज को प्राप्त करता है जो वास्तव में होल्ड-आउट डेटा पर प्रेक्षित होता है। बहुत संकीर्ण अंतराल कुशल लग सकता है लेकिन अपने कवरेज लक्ष्य में विफल रह सकता है, जबकि बहुत चौड़ा अंतराल आसानी से कवरेज प्राप्त कर सकता है लेकिन कम मार्गदर्शन प्रदान कर सकता है। ग्रेडिएंट बूस्टिंग क्वान्टाइल उदाहरण इस संतुलन को स्पष्ट करता है यह दिखाकर कि ट्यून किए गए मॉडल अंतराल की आकृति को सुधारते हैं लेकिन फिर भी नाममात्र 90 प्रतिशत से नीचे परीक्षण कवरेज उत्पन्न करते हैं, जिसके लिए परीक्षण कवरेज के लिए बूटस्ट्रैप अंतराल 73.8 प्रतिशत और 84.4 प्रतिशत के बीच है। इसका अर्थ है कि अंतराल होल्ड-आउट डेटा पर अपने नाममात्र लक्ष्य को विश्वसनीय रूप से प्राप्त नहीं कर रहा है, भले ही प्रशिक्षण कवरेज 90 प्रतिशत के करीब हो। विधियों की तुलना करते समय, इसलिए एक ही होल्ड-आउट सेट पर कवरेज और चौड़ाई दोनों की रिपोर्ट करना अधिक सूचक है, और यह जाँचना कि कि प्राप्त कवरेज इच्छित उपयोग के लिए स्वीकार्य है या नहीं। चित्रणात्मक नमूना एक अर्थपूर्ण चौड़ाई- बनाम-कवरेज तुलना का समर्थन करने के लिए बहुत छोटा है, लेकिन यह मूल विचार दर्शाता है: माध्य चौड़ाई 1.8 है और एम्पिरिकल कवरेज 80 प्रतिशत है, इसलिए कोई दावा कि अंतराल अच्छे हैं, इसकी जाँच किसी नाममात्र लक्ष्य और एक बड़े होल्ड-आउट सेट के विरुद्ध की जानी चाहिए।
मान्यकरण और लीकेज की जाँच
कवरेज और चौड़ाई का मूल्यांकन उस डेटा पर किया जाना चाहिए जिसका उपयोग क्वान्टाइल मॉडलों को फिट करने के लिए नहीं किया गया था, क्योंकि प्रशिक्षण सेट का उपयोग करने से कैलिब्रेशन वास्तविकता से बेहतर लग सकता है। लीकेज तब हो सकता है यदि वही प्रेक्षण फिट किए गए क्वान्टाइल वक्रों और मूल्यांकन दोनों को प्रभावित करते हैं, या यदि मूल्यांकन उस जानकारी का उपयोग करता है जो पूर्वानुमान समय पर उपलब्ध नहीं होगी। ग्रेडिएंट बूस्टिंग क्वान्टाइल उदाहरण प्रशिक्षण और परीक्षण डेटा को अलग करता है और प्रत्येक के लिए अलग कवरेज मान रिपोर्ट करता है, जो कैलिब्रेशन की जाँच के लिए सही संरचना है। यह 0.05 क्वान्टाइल मॉडल के लिए क्रॉस-वैलिडेटेड ट्यूनिंग भी उपयोग करता है और रिपोर्ट करता है कि ट्यून किए गए मॉडल 90 प्रतिशत अंतराल को सुधारते हैं, लेकिन यह फिर भी पाता है कि परीक्षण कवरेज नाममात्र स्तर से नीचे है। क्वान्टाइल रिग्रेशन उदाहरण भी QuantileRegressor और LinearRegression की तुलना करते समय क्रॉस-वैलिडेशन के साथ आउट-ऑफ-सैम्पल प्रदर्शन का मूल्यांकन करता है। सावधानी संबंधी बिंदु यह है कि चरम स्तरों के लिए क्वान्टाइल अनुमान अस्थिर हो सकते हैं क्योंकि वे अपेक्षाकृत कम प्रेक्षणों पर निर्भर करते हैं, और यदि मूल्यांकन प्रशिक्षण से उचित रूप से अलग नहीं है तो यह अस्थिरता बढ़ाई जा सकती है। चित्रणात्मक नमूने में फिटिंग या लीकेज शामिल नहीं है, लेकिन यह फिर भी दर्शाता है कि एक छोटा होल्ड-आउट सेट अस्थिर कवरेज अनुमान उत्पन्न कर सकता है।
कैलिब्रेशन सीमाओं की व्याख्या
यहाँ कैलिब्रेशन का अर्थ है कि पूर्वानुमानित अंतराल के भीतर होल्ड-आउट प्रेक्षणों का अंश औसतन नाममात्र स्तर के करीब है। एक डेटासेट पर अच्छा कैलिब्रेशन दूसरे डेटासेट पर अच्छे कैलिब्रेशन की गारंटी नहीं देता, और औसत कैलिब्रेशन उप-समूहों या इनपुट स्थान के क्षेत्रों में विचरण को छिपा सकता है। ग्रेडिएंट बूस्टिंग क्वान्टाइल उदाहरण प्रशिक्षण कवरेज लगभग 0.903 और परीक्षण कवरेज लगभग 0.796 रिपोर्ट करता है, और यह स्पष्ट रूप से कहता है कि अनुमानित अंतराल 90 प्रतिशत परीक्षण बिंदुओं को कवर करने के लिए बहुत संकीर्ण है। यह परीक्षण कवरेज के लिए 73.8 प्रतिशत और 84.4 प्रतिशत के बीच एक बूटस्ट्रैप विश्वास अंतराल भी रिपोर्ट करता है, जो होल्ड-आउट अनुमान में अनिश्चितता को मात्रात्मक रूप देता है। दो और सीमाएँ बताने योग्य हैं। पहली, क्वान्टाइल पूर्वानुमान पार कर सकते हैं, इसलिए कुछ इनपुट के लिए निम्न पूर्वानुमान ऊपरी पूर्वानुमान से अधिक हो सकता है, जो अंतराल व्याख्या को तोड़ देता है। दूसरी, कवरेज उप-समूहों में भिन्न हो सकता है, इसलिए एक ही समग्र कवरेज संख्या उस प्रदर्शन को प्रतिबिंबित नहीं कर सकती जहाँ यह सबसे अधिक मायने रखता है। चित्रणात्मक नमूना पारगमन या उप-समूह विश्लेषण प्रदर्शित नहीं करता, लेकिन यह दर्शाता है कि एम्पिरिकल कवरेज केवल एक परिमित सेट से एक अनुपात है और इसे एक सटीक दीर्घ-चाल गारंटी के रूप में नहीं लिया जाना चाहिए।
क्या जाँचें
- इंटरवल की व्याख्या करने से पहले पुष्टि करें कि यह भविष्य के अवलोकन के लिए है या मीन पैरामीटर के लिए।
- पुष्टि करें कि लोअर और अपर क्वांटाइल प्रेडिक्शन अलग-अलग मॉडल से गणना किए गए हैं या कोई ऐसी विधि जो क्रम बनाए रखती है।
- जांचें कि कवरेज ट्रेनिंग सेट पर नहीं, बल्कि होल्ड-आउट डेटा पर गणना किया गया है जिसका उपयोग क्वांटाइल मॉडल फिट करने के लिए किया गया था।
- जांचें कि क्वांटाइल प्रेडिक्शन किसी भी इनपुट के लिए क्रॉस तो नहीं करते, जो इंटरवल शब्दार्थ को अमान्य कर देगा।
- समीक्षा करें कि कवरेज सार्थक उप-समूहों में स्थिर है या नहीं, न कि केवल एक ही समग्र अंश पर निर्भर रहें।
- पाँच-मान वाले उदाहरण को केवल अंकगणित चित्रण मानें, मॉडल गुणवत्ता या scikit-learn प्रदर्शन का साक्ष्य नहीं।
उपयोग की सीमाएँ
पाँच-मान वाला उदाहरण चित्रण के लिए निर्मित है और यह कैलिब्रेशन अध्ययन या बेंचमार्क परिणाम नहीं है। छोटे होल्ड-आउट सेट से गणना किया गया एम्पिरिकल कवरेज और विड्थ शोरगुलित हैं और यदि सटीक अनुमानों के रूप में प्रस्तुत किए जाएं तो भ्रामक हो सकते हैं। नॉमिनल कवरेज कई भविष्य के अवलोकनों पर दीर्घ-चाल आवृत्ति का वर्णन करता है, किसी एक अवलोकन के लिए गारंटी नहीं। क्वांटाइल मॉडल क्रॉस कर सकते हैं और कवरेज उप-समूहों में बदल सकता है, इसलिए एक ही समग्र संख्या विशिष्ट खंडों में खराब प्रदर्शन छिपा सकती है। scikit-learn उद्धरण विधियों का वर्णन करते हैं और उदाहरण कवरेज संख्याएं दिखाते हैं, लेकिन वहाँ के ठोस टेस्ट-सेट कवरेज मान उस उदाहरण की संश्लेषित सेटअप और मॉडलिंग चुनाव से आते हैं, सार्वभौमिक गुण नहीं। चरम क्वांटाइल अपेक्षाकृत कम अवलोकनों से अनुमानित होते हैं और अस्थिर हो सकते हैं। यह उत्तर केवल दिए गए प्राथमिक स्रोतों और निर्दिष्ट चित्रण संख्याओं का उपयोग करता है; यह निष्पादित परीक्षण या प्रेक्षित पुनर्प्राप्ति परिणाम नहीं जोड़ता।