एक AI मॉडल के जोखिम: आत्मविश्वास से दिए गए उत्तर की जाँच

शोध क्या मापता है

19 जून 2024 को Nature में प्रकाशित Farquhar और सहलेखकों के शोध ने सिमैंटिक एंट्रॉपी के लिए 30 कार्य–मॉडल संयोजनों पर औसत AUROC 0.790 बताया। यह विधि अस्थिर मनगढ़ंत उत्तरों का पता लगाती है। AUROC सही और गलत उत्तरों के बीच अंतर पहचानने की क्षमता मापता है; इसका अर्थ यह नहीं कि 79% उत्तर सही हैं। यह Colay का मूल्यांकन नहीं था। Farquhar et al., Nature, 2024

NIST AI 600-1 आत्मविश्वास से प्रस्तुत की गई झूठी जानकारी को एक विशिष्ट जेनरेटिव AI जोखिम के रूप में पहचानता है। यह एक जोखिम-प्रबंधन ढांचा है, न कि कोई मॉडल लीडरबोर्ड या उत्पाद त्रुटि-दर अध्ययन। NIST AI 600-1, 2024

हमारी व्यावहारिक अनुशंसा प्रस्तुति से अलग साक्ष्य का मूल्यांकन करना है। एक सुंदर तालिका में एक असमर्थित इनपुट हो सकता है। एक लंबा स्पष्टीकरण उस अपवाद को छोड़ सकता है जो आपकी स्थिति के लिए महत्वपूर्ण है। अधिक विश्लेषण का अनुरोध करने से पहले, उन कुछ कथनों को चिह्नित करें जो आपके कार्य को बदल देंगे। वे कथन स्पष्ट जांच के लायक हैं, भले ही बाकी उत्तर ठोस लगें।

गलत और मनमाना

Farquhar et al., Nature, 2024अनुवादित उद्धरण

Nature इस वाक्यांश का उपयोग उन मनगढ़ंत उत्तरों के लिए करता है जो उत्तर तैयार करने की प्रक्रिया के संयोगवश बदलने वाले विवरणों के प्रति संवेदनशील होते हैं: यह एक विशिष्ट प्रकार की त्रुटि है।

सही लगने वाला उत्तर किन चार तरीकों से गलत हो सकता है

तथ्यात्मक परत से शुरू करें: क्या उद्धृत दस्तावेज़ मौजूद है, और क्या इसकी तारीख सही है? इसके बाद, प्रयोज्यता की जांच करें: क्या विवरण आपके स्थान, उत्पाद और समय अवधि को कवर करता है? फिर अंकगणित, विशेषकर इकाइयों और हरों का निरीक्षण करें। अंत में, संपूर्णता के बारे में पूछें: कौन सा यथार्थवादी विकल्प छूट गया है? एक प्रतिक्रिया इनमें से तीन जांचों को पार कर सकती है और फिर भी निर्णय विफल हो सकती है।

एक उत्तर के साथ, वे प्रश्न एक ही धारणा में बदल सकते हैं कि सब कुछ उचित लगता है। एक अन्य मॉडल तब उपयोगी होता है जब यह उन्हें अलग करता है और एक विशिष्ट कमजोरी की पहचान करता है। उसी निष्कर्ष को दोबारा दोहराने से बहुत कम साक्ष्य जुड़ते हैं। प्रगति की प्रासंगिक इकाई किसी अन्य पैराग्राफ या किसी पसंदीदा विकल्प के लिए किसी अन्य वोट के बजाय एक परीक्षण की गई धारणा है।

कार्यात्मक उदाहरण: सही अंकगणित, गलत दायरा

एक काल्पनिक समर्थन स्वचालन प्रस्ताव पर विचार करें। इसके मसौदे में प्रति माह 1,200 टिकट, प्रति टिकट चार मिनट की बचत और €20 का स्टाफ-घंटे मूल्य माना गया है। गुणन 80 घंटे उत्पन्न करता है, जो €1,600 के बराबर है। ये आविष्कृत आंकड़े कार्यप्रवाह को दर्शाते हैं; वे कोई ग्राहक केस अध्ययन या देखे गए Colay परिणाम नहीं हैं।

पहला उत्तर आगे बढ़ने की अनुशंसा करता है। एक समीक्षक बताते हैं कि केवल 40% टिकट ही स्वचालन के लिए पात्र हो सकते हैं। अन्य धारणाओं को स्थिर रखने से अनुमान 32 घंटे, या €640 में बदल जाता है। मूल मॉडल एक खराब निर्णय का समर्थन करते हुए पूरी तरह से गणना कर सकता था क्योंकि कवरेज धारणा गायब थी।

अगला चरण वास्तविक टिकटों का उपयोग करके उस 40% आंकड़े को स्थापित करना है। यदि इसका आविष्कार भी किया गया है, तो समीक्षक ने केवल एक असमर्थित आधार को दूसरे के स्थान पर प्रतिस्थापित कर दिया है। एक उपयोगी संश्लेषण आवश्यक नमूना, वैकल्पिक परिदृश्य और आगे बढ़ने की सीमा निर्दिष्ट करता है। समझौते से गायब अवलोकन का समाधान नहीं होता; माप करता है.

धारणाओं को दृश्यमान बनाने के लिए Consensus का उपयोग करना

Colay Consensus में, प्रतिभागी किसी कार्य पर चर्चा करते हैं और एक समन्वयक परिणाम का संश्लेषण करता है। इस उदाहरण के लिए, उपयोगकर्ता स्पष्ट रूप से धारणा जांच, इकाई जांच, वैकल्पिक स्पष्टीकरण और अनसुलझे प्रश्नों का अनुरोध कर सकता है। ये सुझाए गए निर्देश हैं, यह दावा नहीं है कि उत्पाद स्वचालित रूप से स्वतंत्र विशेषज्ञ, सत्यापित स्रोत या पूर्ण ऑडिट प्रदान करता है।

समान इनपुट तालिका प्रदान करें और मापे गए मानों को अनुमान से अलग करें। प्रत्येक आपत्ति से उस पंक्ति की पहचान करने के लिए कहें जिस पर वह निर्भर है। अंतिम उत्तर का अनुरोध करें जो स्थापित तथ्यों, सशर्त निष्कर्षों और अज्ञात को अलग करता हो। फिर अंतर्निहित दस्तावेज़ खोलें और निर्णायक गणना पुन: प्रस्तुत करें। एक अनुमान को स्वीकार करने वाले कई मॉडल इसे एक मापा तथ्य में नहीं बदलते हैं।

कब एक अतिरिक्त दृष्टिकोण से कम लाभ होता है

यदि प्रत्येक प्रतिभागी को अधूरा दस्तावेज़ प्राप्त होता है, तो सभी एक ही अपवाद को नज़रअंदाज कर सकते हैं। एक प्रश्न जो आपके पसंदीदा निष्कर्ष को अंतर्निहित करता है, वह उसके बचाव के इर्द-गिर्द पूरी चर्चा की रूपरेखा भी तैयार कर सकता है। एक समन्वयक जो आपत्तियों को दूर करता है, वह अपने सबसे मूल्यवान आउटपुट को हटा सकता है। अतिरिक्त क्रेडिट वहां खर्च करना सबसे अच्छा है जहां कोई अन्य प्रतिभागी नई, परीक्षण योग्य चुनौती में योगदान देता है।

आपके स्वयं के पाठ या ड्राफ्ट आमंत्रण के संक्षिप्त अनुवाद के लिए केवल सामान्य प्रूफरीडिंग की आवश्यकता हो सकती है। एक सिफारिश जो खर्च करती है, ग्राहक के वादे को बदलती है या बाहरी तथ्यों पर निर्भर करती है, वह अधिक जांच की पात्र है। किसी त्रुटि के परिणामों और उसे उलटने में आसानी के साथ जाँच प्रक्रिया का मिलान करें। अधिक प्रतिभागी जांच को व्यवस्थित करने का एक साधन हैं, इसे छोड़ने का कोई कारण नहीं।

निर्णय का रिकॉर्ड रखें

मूल प्रश्न, निर्णायक दावा, सहायक दस्तावेज़ या गणना, अनसुलझी सीमा और निर्णय स्वामी को सहेजें। एक सप्ताह बाद, यह संक्षिप्त रिकॉर्ड बताएगा कि टीम क्यों आगे बढ़ी और कौन से नए सबूतों से समीक्षा शुरू होनी चाहिए। यह आपको अपने काम पर Consensus के विरुद्ध एकल मॉडल का परीक्षण करते समय तुलना करने के लिए कुछ ठोस भी देता है।

ऐसे एक ज्ञापन से शुरुआत करें जिसकी सबसे कमज़ोर धारणा किसी वास्तविक निर्णय को प्रभावित कर सकती है। Consensus से उस धारणा की पहचान करने को कहें, फिर चर्चा के बाहर उसकी पुष्टि करें। सफलता का अर्थ सिफ़ारिश में बदलाव, गणना की पुष्टि या किसी एक ज़रूरी माप का इंतज़ार करने का निर्णय हो सकता है। ये तीनों बिना साक्ष्य वाले आत्मविश्वास से अधिक उपयोगी हैं।