सिंथेटिक क्वेरी परीक्षण: उद्धरण नियमों को समझने के लिए सहायकों की जाँच

परिचय

आधुनिक एआई सहायक (चैटजीपीटी या बिंग चैट जैसे चैटबॉट) अक्सर उपयोगकर्ता के सवालों का जवाब देने की कोशिश करते हैं और स्रोतों का हवाला देकर “अपना काम दिखाते हैं”। हालांकि, अध्ययनों से पता चलता है कि कई जवाबों में गलत या अधूरे उद्धरण होते हैं। उदाहरण के लिए, स्टैनफोर्ड के शोधकर्ताओं ने पाया कि लगभग आधे एआई चैट जवाबों में असमर्थित बयान या गलत उद्धरण थे (www.axios.com)। चिकित्सा परीक्षणों में, नए एआई उपकरणों ने अक्सर ऐसे जवाब दिए जो उनके द्वारा उद्धृत स्रोतों द्वारा समर्थित नहीं थे (doaj.org)। इन समस्याओं का मतलब है कि हमें एआई सहायकों के उद्धरण व्यवहार का परीक्षण करने के बेहतर तरीकों की आवश्यकता है।

यह समझने के लिए कि एक एआई क्या उद्धृत करता है, हम एक बड़े पैमाने पर परीक्षण योजना का प्रस्ताव करते हैं। हम विभिन्न विषय क्षेत्रों और प्रश्नों के प्रकारों को कवर करते हुए कई सिंथेटिक क्वेरीज़ (बनाए गए प्रश्न) बनाएंगे। हम इन्हें स्वचालित रूप से एआई सहायकों के माध्यम से चलाएंगे, उनके उत्तर और उद्धरण एकत्र करेंगे, और प्रत्येक उद्धृत स्रोत को उसकी नवीनता (कितना हालिया), प्रामाणिकता (कितना विश्वसनीय), और संरचना (प्रकार या प्रारूप) के आधार पर लेबल करेंगे। फिर हम यह देखने के लिए सरल आंकड़ों का उपयोग करेंगे कि कौन से कारक एक एआई द्वारा स्रोत को उद्धृत करने की अधिक संभावना बनाते हैं। हम अपने सभी डेटा और उपकरणों को खुले तौर पर साझा करेंगे। इस तरह, हम सुधारों के लिए जन-सहयोग कर सकते हैं और समय के साथ एआई उद्धरण व्यवहार की निगरानी जारी रख सकते हैं।

सिंथेटिक क्वेरी बेंचमार्क डिज़ाइन करना

एआई में उद्धरण नियमों का परीक्षण करने के लिए, हम एक सिंथेटिक क्वेरी सेट का उपयोग करेंगे। इसका मतलब है कि हम वास्तविक उपयोगकर्ता प्रश्नों को इकट्ठा करने के बजाय कंप्यूटर का उपयोग करके बड़ी संख्या में उदाहरण प्रश्न (प्रॉम्प्ट) उत्पन्न करते हैं। शोध में सिंथेटिक प्रॉम्प्ट का उपयोग करना आम बात है। उदाहरण के लिए, गूगल के शोधकर्ताओं ने डेटा एकत्र करना मुश्किल होने पर प्रश्न उत्पन्न करने के लिए एआई प्रणालियों का उपयोग किया है (research.google)। एक अन्य अध्ययन से पता चला है कि एआई-जनित प्रश्न-उत्तर डेटा कुछ सेटिंग्स में वास्तविक परीक्षण डेटा के लिए एक अच्छा विकल्प हो सकता है (papers.cool)।

हमारी क्वेरीज़ कई विषयों (वर्टिकल्स) और उपयोगकर्ता लक्ष्यों को कवर करेंगी। हम विज्ञान, इतिहास, स्वास्थ्य, वित्त और रोज़मर्रा के कार्यों जैसे विषयों की एक विस्तृत श्रृंखला चुनते हैं। प्रत्येक विषय के भीतर, हम विभिन्न इरादों को कवर करते हैं – प्रश्न का उद्देश्य। उदाहरण के लिए, कुछ क्वेरीज़ तथ्यात्मक होंगी (जैसे "हमारे सौर मंडल का सबसे बड़ा ग्रह कौन सा है?"), कुछ कैसे-करें निर्देश मांगेंगी (जैसे "मैं कार का टायर कैसे बदलूं?"), कुछ खुले सिरे वाली सलाह (जैसे "कॉलेज के लिए आवेदन करते समय मुझे क्या विचार करना चाहिए?") और इसी तरह की होंगी। सूचनात्मक, तथ्यात्मक, तर्कपूर्ण और सामाजिक प्रकार के प्रश्नों को मिलाकर (papers.cool), हम सुनिश्चित करते हैं कि हमारा परीक्षण कई वास्तविक दुनिया के उपयोगों को कवर करे।

हम इस क्वेरी सेट को उत्पन्न करने में मदद करने के लिए स्वयं बड़े भाषा मॉडल का उपयोग कर सकते हैं। प्रत्येक विषय और इरादे के लिए, एक एआई कई प्रश्न उत्पन्न कर सकता है। फिर हम उनकी समीक्षा और फ़िल्टर कर सकते हैं। अंतिम सेट में अच्छी सांख्यिकीय शक्ति प्रदान करने के लिए हजारों प्रश्न हो सकते हैं।

परीक्षण चलाना और उद्धरण कैप्चर करना

एक बार जब हमारे पास हमारा क्वेरी सेट हो जाता है, तो हम परीक्षण को स्वचालित करते हैं। एक स्क्रिप्ट या प्रोग्राम प्रत्येक सिंथेटिक प्रश्न को एआई सहायक (एक एपीआई या इंटरफ़ेस के माध्यम से) को भेजेगा और प्रतिक्रिया को सहेजेगा। प्रत्येक उत्तर के लिए, हम किसी भी उद्धृत स्रोत को पार्स और निकालते हैं। एआई सहायक अक्सर लिंक, फ़ुटनोट या एम्बेडेड उद्धरणों के रूप में संदर्भ प्रदान करते हैं। हम प्रत्येक स्रोत (उदाहरण के लिए, एक वेब लिंक या लेख शीर्षक) को प्रश्न और उत्तर के साथ रिकॉर्ड करते हैं।

यह स्वचालन हमें बड़े पैमाने पर डेटा एकत्र करने की सुविधा देता है। प्रत्येक प्रश्न को मैन्युअल रूप से पूछने के बजाय, स्क्रिप्ट सैकड़ों या हजारों क्वेरीज़ को एक बैच में चला सकती है। हम इसे एक या कई एआई सिस्टम के लिए कर सकते हैं। आउटपुट (प्रश्न, उत्तर, उद्धृत स्रोत) का एक डेटासेट है। हम यह भी नोट करते हैं कि स्रोत कितनी बार उद्धृत किए जाते हैं और किस प्रारूप में।

स्रोत गुणों को लेबल करना

उद्धरण एकत्र करने के बाद, हम प्रत्येक स्रोत को उसके प्रमुख गुणों के आधार पर लेबल करते हैं। ये गुण हमें यह परीक्षण करने में मदद करते हैं कि एक स्रोत को उद्धृत किए जाने की कितनी संभावना है। मुख्य गुण हैं:

• नवीनता: स्रोत कितना हालिया या अद्यतन है? उदाहरण के लिए, पिछले सप्ताह का एक समाचार लेख बहुत नया है, जबकि 20 साल पुरानी पाठ्यपुस्तक नहीं है। नवीनता महत्वपूर्ण है क्योंकि नई जानकारी अधिक प्रासंगिक हो सकती है। पिछले बेंचमार्क ने उद्धरणों के लिए गुणवत्ता संकेत के रूप में नवीनता को मापा है (papers.cool)।
• प्रामाणिकता: स्रोत कितना विश्वसनीय या प्रामाणिक है? यह इस पर आधारित हो सकता है कि इसे किसने प्रकाशित किया है। उदाहरण के लिए, एक विश्वविद्यालय अध्ययन या एक सरकारी वेबसाइट में आमतौर पर उच्च प्रामाणिकता होती है, जबकि एक अज्ञात ब्लॉग में कम प्रामाणिकता हो सकती है। SourceBench, एक हालिया अध्ययन, ने गुणवत्ता के लिए एक प्रमुख पृष्ठ-स्तर के संकेत के रूप में “प्रामाणिकता” को सूचीबद्ध किया है (papers.cool)।
• संरचना: स्रोत किस प्रकार या प्रारूप का है? उदाहरण के लिए, एक स्रोत एक शोध पत्र, एक समाचार लेख, एक ऑनलाइन फ़ोरम पोस्ट, या एक आधिकारिक रिपोर्ट हो सकता है। संरचना इस बात को प्रभावित कर सकती है कि एक एआई इसका उपयोग कैसे करता है। (भले ही हमारा प्रॉम्प्ट संरचना के विशिष्ट उदाहरण प्रदान न करे, हम इसे दस्तावेज़ प्रकार या लेखन की स्पष्टता के रूप में परिभाषित करते हैं। SourceBench ने “स्पष्टता” को भी एक संकेत के रूप में उल्लेख किया है (papers.cool), जो संबंधित है।)

हम इन गुणों को स्वचालित जांच द्वारा या स्रोत को देखकर एनोटेट कर सकते हैं। नवीनता के लिए, हम प्रकाशन तिथि रिकॉर्ड कर सकते हैं। प्रामाणिकता के लिए, हम प्रतिष्ठित डोमेन की ज्ञात सूचियों या साइट के विवरण का उपयोग कर सकते हैं (उदाहरण के लिए, .gov या .edu जैसे आधिकारिक डोमेन अधिक प्रामाणिक होते हैं)। यह लेबलिंग मैनुअल या स्वचालित हो सकती है, लेकिन यह हमें प्रत्येक स्रोत के लिए “नवीनता = नया/पुराना” और “प्रामाणिकता = उच्च/निम्न” जैसे मान देती है।

उद्धरण पैटर्न का विश्लेषण और मॉडलिंग करना

कई (प्रश्न, उत्तर, स्रोत गुण) उदाहरणों के डेटासेट के साथ, हम डेटा का विश्लेषण करते हैं ताकि पैटर्न खोज सकें। हम पूछते हैं: कौन सी विशेषताएं सबसे अच्छी तरह से भविष्यवाणी करती हैं कि एक एआई किसी दिए गए स्रोत को उद्धृत करेगा या नहीं?

हम यह सरल सांख्यिकीय विश्लेषण या मशीन लर्निंग द्वारा कर सकते हैं। उदाहरण के लिए, हम देख सकते हैं कि क्या उच्च नवीनता या उच्च प्रामाणिकता वाले स्रोतों को अधिक बार उद्धृत किया जाता है। हम परिणाम के रूप में “उद्धृत करना बनाम उद्धृत न करना” को मॉडल करने के लिए लॉजिस्टिक रिग्रेशन या डिसीजन ट्री का उपयोग कर सकते हैं। यह हमें बताता है कि कौन सी विशेषताएं (जैसे नवीनता या विषय या प्रश्न प्रकार) का सबसे मजबूत प्रभाव होता है।

यह कदम शोधकर्ताओं द्वारा सर्वेक्षण या प्रयोगात्मक डेटा का विश्लेषण करने के समान है। यह उदाहरण के लिए, यह प्रकट कर सकता है कि एआई उन स्रोतों को उद्धृत करना पसंद करता है जो नए या अधिक प्रामाणिक हैं। हम सबसे मजबूत भविष्यवक्ताओं की तलाश करेंगे – वे गुण जो उद्धरण की संभावना को सबसे अधिक बढ़ाते हैं। इसे मात्राबद्ध करके, हम अनिवार्य रूप से उद्धरण नियमों को “रिवर्स-इंजीनियर” करते हैं: हम यह पता लगाते हैं कि सहायक क्या खोज रहा है।

यह दृष्टिकोण SourceBench और अन्य अध्ययनों से प्रेरित है जो नवीनता और प्रामाणिकता जैसे मेट्रिक्स पर स्रोतों को स्कोर करते हैं (papers.cool)। सांख्यिकीय मॉडलिंग लागू करके, हम उपाख्यानों से मापा गए रुझानों की ओर बढ़ते हैं। यह हमें यह समझने में मदद करता है कि क्या एआई का कुछ स्रोतों के प्रति पूर्वाग्रह है (उदाहरण के लिए, हमेशा विकिपीडिया का हवाला देना या केवल शीर्ष साइटों का हवाला देना)।

ओपन-सोर्स बेंचमार्क और सतत निगरानी

इस बेंचमार्क का निर्माण करने के बाद, हम इसे ओपन-सोर्स करेंगे – क्वेरीज़, कोड और विश्लेषण को सभी के लिए ऑनलाइन प्रकाशित करेंगे। एआई अनुसंधान में ओपन-सोर्स बेंचमार्क आम हैं क्योंकि वे दूसरों को परीक्षणों का उपयोग और सुधार करने की अनुमति देते हैं। उदाहरण के लिए, भाषा अनुवाद या प्रश्नोत्तर जैसे कई बड़े पैमाने के डेटासेट सार्वजनिक रूप से साझा किए जाते हैं। हम अपने क्वेरी सेट और परिणामों को GitHub जैसे प्लेटफॉर्म पर रखने की योजना बना रहे हैं। यह अन्य शोधकर्ताओं और डेवलपर्स को हमारे बेंचमार्क के खिलाफ अपने स्वयं के एआई सहायकों की जांच करने की अनुमति देता है।

हम चल रही निगरानी की भी सलाह देते हैं। एआई सहायक अक्सर बदलते रहते हैं (वे अपडेट होते हैं, नए संस्करण आते हैं, आदि)। हम परीक्षणों को फिर से चलाने के लिए एक नियमित कार्यक्रम का सुझाव देते हैं। उदाहरण के लिए, हर बार जब एआई को एक बड़ा अपडेट मिलता है या एक निश्चित चक्र पर (जैसे मासिक)। यह “लाइफ़लोंग बेंचमार्क” के विचार के समान है, जो ठहराव से बचने के लिए समय के साथ परीक्षण सेटों का विस्तार और अद्यतन करते हैं (huggingface.co)। नए प्रश्नों को लगातार जोड़कर और फिर से चलाकर, हम उद्धरण व्यवहार में किसी भी बदलाव को पकड़ सकते हैं। यदि एआई अचानक अधिक पुराने साइटों का हवाला देना शुरू कर देता है, या यदि वह बेहतर स्रोतों का हवाला देना सीख जाता है, तो हम इसे देखेंगे।

इस निगरानी को स्वचालित करने का मतलब है कि हम रुझानों को ट्रैक कर सकते हैं। यदि कुछ नाटकीय रूप से बदलता है तो टीमें अलर्ट प्राप्त कर सकती हैं। यह मशीन लर्निंग में मॉडल ड्रिफ्ट मॉनिटरिंग के समान है, लेकिन उद्धरणों पर केंद्रित है। हमारे बेंचमार्क को नियमित रनों के साथ जोड़ना यह सुनिश्चित करता है कि एआई सहायक स्रोतों को कैसे देते हैं, इसमें वे ट्रैक पर रहें।

निष्कर्ष

संक्षेप में, हम एआई सहायकों के उद्धरण नियमों की जांच के लिए एक व्यापक योजना का प्रस्ताव करते हैं। परीक्षण प्रश्नों के एक बड़े और विविध सेट को डिज़ाइन करके, उन्हें स्वचालित रूप से एआई सिस्टम के माध्यम से चलाकर, और नवीनता और प्रामाणिकता जैसे गुणों द्वारा उद्धृत स्रोतों को सावधानीपूर्वक लेबल करके, हम आंकड़ों का उपयोग उन कारकों को उजागर करने के लिए कर सकते हैं जो उद्धरण को प्रभावित करते हैं। हमारी विधि हाल के शोध द्वारा समर्थित है जो सत्यापनशीलता (www.axios.com) (doaj.org) और स्रोत गुणवत्ता (papers.cool) और सिंथेटिक डेटा (papers.cool) (research.google) का अध्ययन करने वाले अभिनव बेंचमार्क के महत्व पर जोर देती है। बेंचमार्क को ओपन-सोर्स करके और परिणामों की नियमित रूप से निगरानी करके, हम यह सुनिश्चित करने के लिए एक पारदर्शी तरीका बनाने में मदद करते हैं कि एआई सहायक विश्वसनीय जानकारी उद्धृत करें। यह कार्य उद्धरणों के छिपे हुए नियमों पर प्रकाश डालकर और डेवलपर्स को बेहतर, अधिक जवाबदेह सिस्टम बनाने के लिए मार्गदर्शन करके एआई में विश्वास में सुधार कर सकता है।