اختبار الاستعلامات التركيبية: فحص المساعدات لإجراء هندسة عكسية لقواعد الاستشهاد

مقدمة

غالبًا ما تحاول مساعدات الذكاء الاصطناعي الحديثة (روبوتات الدردشة مثل ChatGPT أو Bing Chat) الإجابة على أسئلة المستخدمين و"إظهار عملها" عن طريق الاستشهاد بالمصادر. ومع ذلك، تُظهر الدراسات أن العديد من الإجابات تحتوي على استشهادات سيئة أو مفقودة. على سبيل المثال، وجد باحثون من ستانفورد أن حوالي نصف إجابات الدردشة المدعومة بالذكاء الاصطناعي تحتوي على بيانات غير مدعومة أو استشهادات خاطئة (www.axios.com). في الاختبارات الطبية، غالبًا ما قدمت أدوات الذكاء الاصطناعي الجديدة إجابات غير مدعومة بالمصادر التي استشهدت بها (doaj.org). هذه المشاكل تعني أننا بحاجة إلى طرق أفضل لاختبار سلوك الاستشهاد لمساعدات الذكاء الاصطناعي.

لفهم كيفية اختيار الذكاء الاصطناعي للمصادر التي يستشهد بها، نقترح خطة اختبار واسعة النطاق. سنقوم بإنشاء العديد من الاستعلامات التركيبية (الأسئلة المصطنعة) التي تغطي مجالات مواضيع وأنواع أسئلة مختلفة. سنمرر هذه الاستعلامات عبر مساعدات الذكاء الاصطناعي تلقائيًا، ونجمع إجاباتها واستشهاداتها، ونصنف كل مصدر مستشهد به حسب حداثته (مدى حداثته)، وسلطته (مدى موثوقيته)، وهيكله (نوعه أو شكله). ثم نستخدم إحصائيات بسيطة لمعرفة العوامل التي تجعل الذكاء الاصطناعي أكثر عرضة للاستشهاد بمصدر ما. سنشارك جميع بياناتنا وأدواتنا بشكل مفتوح. بهذه الطريقة، يمكننا جمع التحسينات من الجمهور ومواصلة مراقبة سلوك الاستشهاد بالذكاء الاصطناعي بمرور الوقت.

تصميم معيار للاستعلامات التركيبية

لاختبار قواعد الاستشهاد في الذكاء الاصطناعي، سنستخدم مجموعة استعلامات تركيبية. هذا يعني أننا نولد عددًا كبيرًا من الأسئلة النموذجية (المحفزات) باستخدام أجهزة الكمبيوتر، بدلاً من مجرد جمع استعلامات المستخدمين الحقيقية. استخدام المحفزات التركيبية أمر شائع في الأبحاث. على سبيل المثال، استخدم باحثو Google أنظمة الذكاء الاصطناعي لتوليد الأسئلة عندما يكون جمع البيانات صعبًا (research.google). أظهرت دراسة أخرى أن بيانات السؤال والجواب التي يولدها الذكاء الاصطناعي يمكن أن تكون بديلاً جيدًا لبيانات الاختبار الحقيقية في بعض الإعدادات (papers.cool).

ستغطي استعلاماتنا العديد من المواضيع (القطاعات) وأهداف المستخدمين. نختار مجموعة واسعة من المواضيع مثل العلوم والتاريخ والصحة والمالية والمهام اليومية. ضمن كل موضوع، نغطي نوايا مختلفة – الغرض من السؤال. على سبيل المثال، ستكون بعض الاستعلامات واقعية (مثل "ما هو أكبر كوكب في نظامنا الشمسي؟")، وبعضها سيطلب تعليمات حول كيفية القيام بشيء ("كيف أغير إطار السيارة؟")، وبعضها سيطلب نصيحة مفتوحة النهاية ("ماذا يجب أن آخذ في الاعتبار عند التقديم للجامعة؟")، وهكذا. من خلال مزج أنواع الأسئلة المعلوماتية، والواقعية، والجدلية، والاجتماعية (papers.cool)، نضمن أن اختبارنا يغطي العديد من الاستخدامات في العالم الحقيقي.

قد نستخدم نماذج اللغة الكبيرة نفسها للمساعدة في توليد مجموعة الاستعلامات هذه. لكل موضوع وهدف، يمكن للذكاء الاصطناعي إنتاج العديد من الأسئلة. يمكننا بعد ذلك مراجعتها وتصفيتها. قد تحتوي المجموعة النهائية على آلاف الأسئلة لمنحنا قوة إحصائية جيدة.

تشغيل الاختبارات والتقاط الاستشهادات

بمجرد أن يكون لدينا مجموعة الاستعلامات الخاصة بنا، نقوم بأتمتة الاختبار. سيرسل برنامج نصي أو تطبيق كل سؤال تركيبي إلى مساعد الذكاء الاصطناعي (عبر واجهة برمجة تطبيقات أو واجهة مستخدم) ويحفظ الاستجابة. لكل إجابة، نقوم بتحليل واستخراج أي مصادر مستشهد بها. غالبًا ما توفر مساعدات الذكاء الاصطناعي مراجع على شكل روابط أو حواشي سفلية أو استشهادات مضمنة. نسجل كل مصدر (على سبيل المثال، رابط ويب أو عنوان مقال) جنبًا إلى جنب مع السؤال والإجابة.

تتيح لنا هذه الأتمتة جمع البيانات على نطاق واسع. بدلاً من طرح كل سؤال يدويًا، يمكن للبرنامج النصي تشغيل مئات أو آلاف الاستعلامات في دفعة واحدة. قد نقوم بذلك لنظام ذكاء اصطناعي واحد أو لعدة أنظمة. المخرجات هي مجموعة بيانات تحتوي على (سؤال، إجابة، مصادر مستشهد بها). نلاحظ أيضًا كم مرة يتم الاستشهاد بالمصادر وبأي تنسيق.

تصنيف سمات المصدر

بعد جمع الاستشهادات، نقوم بتصنيف كل مصدر حسب سماته الرئيسية. تساعدنا هذه السمات في اختبار ما يجعل المصدر مرجحًا للاستشهاد به. السمات الرئيسية هي:

الحداثة: ما مدى حداثة المصدر أو تحديثه؟ على سبيل المثال، مقال إخباري من الأسبوع الماضي حديث جدًا، بينما كتاب مدرسي من 20 عامًا ليس كذلك. الحداثة مهمة لأن المعلومات الأحدث قد تكون أكثر صلة. وقد قامت المعايير السابقة بقياس الحداثة كإشارة جودة للاستشهادات (papers.cool).
السلطة: ما مدى موثوقية المصدر أو سلطته؟ يمكن أن يعتمد ذلك على من قام بنشره. على سبيل المثال، عادةً ما تكون دراسة جامعية أو موقع حكومي ذو سلطة عالية، بينما قد يكون للمدونة غير المعروفة سلطة منخفضة. ذكرت دراسة حديثة، SourceBench، "السلطة" كإشارة رئيسية على مستوى الصفحة للجودة (papers.cool).
الهيكل: ما نوع أو شكل المصدر؟ على سبيل المثال، يمكن أن يكون المصدر ورقة بحثية، أو مقالًا إخباريًا، أو منشورًا في منتدى عبر الإنترنت، أو تقريرًا رسميًا. قد يؤثر الهيكل على كيفية استخدام الذكاء الاصطناعي له. (حتى لو لم يقدم محفزنا أمثلة محددة للهيكل، فإننا نعرّفه على أنه نوع المستند أو وضوح الكتابة. ذكرت SourceBench أيضًا "الوضوح" كإشارة (papers.cool)، وهو أمر ذو صلة.)

يمكننا وضع علامات على هذه السمات عن طريق الفحوصات الآلية أو بالبحث عن المصدر. فيما يتعلق بالحداثة، قد نسجل تاريخ النشر. بالنسبة للسلطة، يمكننا استخدام قوائم معروفة من النطاقات ذات السمعة الطيبة أو وصف الموقع (على سبيل المثال، النطاقات الرسمية مثل .gov أو .edu تميل إلى أن تكون أكثر سلطة). يمكن أن يكون هذا التصنيف يدويًا أو آليًا، ولكنه يمنحنا قيمًا مثل "الحداثة = جديد/قديم" و "السلطة = مرتفع/منخفض" لكل مصدر.

تحليل ونمذجة أنماط الاستشهاد

باستخدام مجموعة بيانات تحتوي على العديد من الأمثلة (سؤال، إجابة، سمات المصدر)، نقوم بتحليل البيانات لإيجاد الأنماط. نسأل: ما هي السمات التي تتنبأ بشكل أفضل بما إذا كان الذكاء الاصطناعي سيستشهد بمصدر معين؟

قد نقوم بذلك عن طريق التحليل الإحصائي البسيط أو التعلم الآلي. على سبيل المثال، يمكننا معرفة ما إذا كانت المصادر ذات الحداثة العالية أو السلطة العالية يتم الاستشهاد بها بشكل متكرر. يمكننا استخدام الانحدار اللوجستي أو شجرة القرار لنمذجة "استشهاد مقابل عدم استشهاد" كنتيجة. يخبرنا هذا عن الميزات (مثل الحداثة أو الموضوع أو نوع السؤال) التي لها أقوى تأثير.

هذه الخطوة تشبه كيفية تحليل الباحثين لبيانات المسح أو البيانات التجريبية. قد تكشف، على سبيل المثال، أن الذكاء الاصطناعي يفضل الاستشهاد بالمصادر الأحدث أو الأكثر سلطة. سنبحث عن أقوى المؤشرات – تلك السمات التي تزيد من فرصة الاستشهاد. عن طريق قياس ذلك، نقوم بشكل أساسي "بهندسة عكسية" لقواعد الاستشهاد: نكتشف ما يبدو أن المساعد يبحث عنه.

هذا النهج مستوحى من SourceBench ودراسات أخرى تقيم المصادر بناءً على مقاييس مثل الحداثة والسلطة (papers.cool). بتطبيق النمذجة الإحصائية، ننتقل إلى ما هو أبعد من الحكايات إلى الاتجاهات المقاسة. يساعدنا هذا في فهم ما إذا كان الذكاء الاصطناعي لديه تحيز تجاه مصادر معينة (على سبيل المثال، الاستشهاد دائمًا بويكيبيديا أو الاستشهاد فقط بالمواقع العليا).

معيار مفتوح المصدر ومراقبة مستمرة

بعد بناء هذا المعيار، سنقوم بجعله مفتوح المصدر – بنشر الاستعلامات والتعليمات البرمجية والتحليل عبر الإنترنت للجميع. المعايير مفتوحة المصدر شائعة في أبحاث الذكاء الاصطناعي لأنها تسمح للآخرين باستخدام الاختبارات وتحسينها. على سبيل المثال، يتم مشاركة العديد من مجموعات البيانات واسعة النطاق، مثل تلك الخاصة بالترجمة اللغوية أو الإجابة على الأسئلة، علنًا. نخطط لوضع مجموعة استعلاماتنا ونتائجنا على منصة مثل GitHub. يتيح ذلك للباحثين والمطورين الآخرين التحقق من مساعدات الذكاء الاصطناعي الخاصة بهم مقابل معيارنا.

نوصي أيضًا بالمراقبة المستمرة. تتغير مساعدات الذكاء الاصطناعي غالبًا (تتلقى تحديثات، إصدارات جديدة، إلخ). نقترح جدولًا زمنيًا منتظمًا لإعادة تشغيل الاختبارات. على سبيل المثال، في كل مرة يتلقى فيها الذكاء الاصطناعي تحديثًا كبيرًا أو في دورة ثابتة (مثل شهريًا). هذا مشابه لفكرة "المعايير مدى الحياة"، التي توسع وتحدث مجموعات الاختبار بمرور الوقت لتجنب الركود (huggingface.co). من خلال إضافة أسئلة جديدة وإعادة التشغيل باستمرار، يمكننا رصد أي تحولات في سلوك الاستشهاد. إذا بدأ الذكاء الاصطناعي فجأة في الاستشهاد بمواقع أكثر قدمًا، أو إذا تعلم الاستشهاد بمصادر أفضل، فسوف نلاحظ ذلك.

أتمتة هذه المراقبة تعني أنه يمكننا تتبع الاتجاهات. يمكن للفرق الحصول على تنبيهات إذا تغير شيء بشكل كبير. هذا يشبه مراقبة انحراف النموذج في التعلم الآلي، ولكنه يركز على الاستشهادات. يضمن دمج معيارنا مع التشغيل المنتظم بقاء مساعدات الذكاء الاصطناعي على المسار الصحيح في كيفية تقديمها للمصادر.

الخلاصة

باختصار، نقترح خطة شاملة لفحص قواعد الاستشهاد لمساعدات الذكاء الاصطناعي. من خلال تصميم مجموعة كبيرة ومتنوعة من أسئلة الاختبار، وتشغيلها تلقائيًا عبر أنظمة الذكاء الاصطناعي، وتصنيف المصادر المستشهد بها بعناية حسب سمات مثل الحداثة والسلطة، يمكننا استخدام الإحصائيات للكشف عن العوامل التي تؤثر على الاستشهاد. يدعم منهجنا بحث حديث يؤكد على أهمية قابلية التحقق (www.axios.com) (doaj.org) والمعايير المبتكرة التي تدرس جودة المصادر (papers.cool) والبيانات التركيبية (papers.cool) (research.google). من خلال جعل المعيار مفتوح المصدر ومراقبة النتائج بانتظام، نساعد في إنشاء طريقة شفافة لضمان استشهاد مساعدات الذكاء الاصطناعي بمعلومات موثوقة. يمكن لهذا العمل أن يحسن الثقة في الذكاء الاصطناعي من خلال تسليط الضوء على القواعد الخفية للاستشهادات وتوجيه المطورين لإنشاء أنظمة أفضل وأكثر خضوعًا للمساءلة.