Auto
บทนำ
ผู้ช่วย AI สมัยใหม่ (แชทบอทเช่น ChatGPT หรือ Bing Chat) มักพยายามตอบคำถามของผู้ใช้และ “แสดงการทำงาน” โดยการอ้างอิงแหล่งที่มา อย่างไรก็ตาม การศึกษาหลายชิ้นแสดงให้เห็นว่าคำตอบจำนวนมากมีการอ้างอิงที่ไม่ถูกต้องหรือไม่ครบถ้วน ตัวอย่างเช่น นักวิจัยจากสแตนฟอร์ดพบว่าประมาณครึ่งหนึ่งของคำตอบจาก AI แชทมีข้อความที่ไม่ได้รับการสนับสนุนหรือการอ้างอิงที่ผิดพลาด (www.axios.com) ในการทดสอบทางการแพทย์ เครื่องมือ AI ใหม่ๆ มักให้คำตอบที่ไม่ได้รับการสนับสนุนจากแหล่งที่มาที่อ้างอิง (doaj.org) ปัญหาเหล่านี้หมายความว่าเราต้องการวิธีที่ดีกว่าในการทดสอบพฤติกรรมการอ้างอิงของผู้ช่วย AI
เพื่อทำความเข้าใจว่า AI เลือกที่จะอ้างอิงอะไร เราจึงเสนอแผนการทดสอบขนาดใหญ่ เราจะสร้างคำถามสังเคราะห์ (คำถามที่สร้างขึ้น) จำนวนมาก ครอบคลุมสาขาวิชาและประเภทคำถามที่แตกต่างกัน เราจะดำเนินการทดสอบเหล่านี้ผ่านผู้ช่วย AI โดยอัตโนมัติ รวบรวมคำตอบและการอ้างอิง จากนั้นติดป้ายกำกับแหล่งที่มาที่อ้างอิงแต่ละแห่งด้วยความใหม่ (ความทันสมัย), ความน่าเชื่อถือ (ความน่าเชื่อถือแค่ไหน) และโครงสร้าง (ประเภทหรือรูปแบบ) จากนั้นเราจะใช้สถิติอย่างง่ายเพื่อดูว่าปัจจัยใดที่ทำให้ AI มีแนวโน้มที่จะอ้างอิงแหล่งที่มา เราจะแบ่งปันข้อมูลและเครื่องมือทั้งหมดของเราอย่างเปิดเผย ด้วยวิธีนี้ เราสามารถระดมสมองเพื่อปรับปรุงและติดตามพฤติกรรมการอ้างอิงของ AI ได้อย่างต่อเนื่อง
การออกแบบเกณฑ์มาตรฐานคำถามสังเคราะห์
ในการทดสอบกฎการอ้างอิงใน AI เราจะใช้ชุดคำถามสังเคราะห์ ซึ่งหมายความว่าเราจะสร้างคำถามตัวอย่าง (พรอมต์) จำนวนมากโดยใช้คอมพิวเตอร์ แทนที่จะรวบรวมคำถามจากผู้ใช้จริงเท่านั้น การใช้พรอมต์สังเคราะห์เป็นเรื่องปกติในการวิจัย ตัวอย่างเช่น นักวิจัยของ Google ได้ใช้ระบบ AI เพื่อสร้างคำถามเมื่อยากที่จะรวบรวมข้อมูล (research.google) การศึกษาอื่นแสดงให้เห็นว่าข้อมูลคำถาม-คำตอบที่สร้างโดย AI สามารถใช้ทดแทนข้อมูลทดสอบจริงได้ในบางสถานการณ์ (papers.cool)
คำถามของเราจะครอบคลุมหัวข้อ (แนวตั้ง) และเป้าหมายของผู้ใช้ที่หลากหลาย เราเลือกหัวข้อที่หลากหลาย เช่น วิทยาศาสตร์ ประวัติศาสตร์ สุขภาพ การเงิน และงานประจำวัน ภายในแต่ละหัวข้อ เราจะครอบคลุมจุดประสงค์ที่แตกต่างกัน – วัตถุประสงค์ของคำถาม ตัวอย่างเช่น คำถามบางข้อจะเป็นข้อเท็จจริง (เช่น “ดาวเคราะห์ที่ใหญ่ที่สุดในระบบสุริยะของเราคืออะไร?”) บางข้อจะขอคำแนะนำวิธีทำ (“ฉันจะเปลี่ยนยางรถยนต์ได้อย่างไร?”) บางข้อจะขอคำแนะนำปลายเปิด (“ฉันควรพิจารณาอะไรเมื่อสมัครเรียนต่อในมหาวิทยาลัย?”) เป็นต้น โดยการผสมคำถามประเภทข้อมูล ข้อเท็จจริง การโต้แย้ง และสังคม (papers.cool) เรามั่นใจว่าการทดสอบของเราครอบคลุมการใช้งานจริงหลายอย่าง
เราอาจใช้แบบจำลองภาษาขนาดใหญ่มาช่วยสร้างชุดคำถามนี้ สำหรับแต่ละหัวข้อและจุดประสงค์ AI สามารถสร้างคำถามได้มากมาย จากนั้นเราสามารถตรวจสอบและกรองคำถามเหล่านั้นได้ ชุดคำถามสุดท้ายอาจมีคำถามหลายพันข้อเพื่อให้เรามีพลังทางสถิติที่ดี
การรันการทดสอบและเก็บการอ้างอิง
เมื่อเรามีชุดคำถามแล้ว เราจะทำการทดสอบโดยอัตโนมัติ สคริปต์หรือโปรแกรมจะส่งคำถามสังเคราะห์แต่ละข้อไปยังผู้ช่วย AI (ผ่าน API หรืออินเทอร์เฟซ) และบันทึกคำตอบ สำหรับแต่ละคำตอบ เราจะแยกวิเคราะห์และดึงแหล่งที่มาที่อ้างอิงออกมา ผู้ช่วย AI มักจะให้การอ้างอิงเป็นลิงก์ อ้างอิงท้ายหน้า หรือการอ้างอิงที่ฝังอยู่ เราจะบันทึกแหล่งที่มาแต่ละแห่ง (เช่น ลิงก์เว็บหรือชื่อบทความ) พร้อมกับคำถามและคำตอบ
ระบบอัตโนมัตินี้ช่วยให้เราสามารถรวบรวมข้อมูลได้ในปริมาณมาก แทนที่จะถามคำถามแต่ละข้อด้วยตนเอง สคริปต์สามารถทำงานผ่านคำถามหลายร้อยหรือหลายพันข้อในชุดเดียว เราอาจทำสิ่งนี้สำหรับระบบ AI หนึ่งระบบหรือหลายระบบ ผลลัพธ์ที่ได้คือชุดข้อมูลของ (คำถาม, คำตอบ, แหล่งที่มาที่อ้างอิง) เรายังบันทึกความถี่ในการอ้างอิงแหล่งที่มาและรูปแบบที่ใช้ด้วย
การติดป้ายกำกับคุณสมบัติของแหล่งที่มา
หลังจากรวบรวมการอ้างอิง เราจะติดป้ายกำกับแหล่งที่มาแต่ละแห่งตามคุณสมบัติหลัก คุณสมบัติเหล่านี้ช่วยให้เราทดสอบว่าอะไรทำให้แหล่งที่มามีแนวโน้มที่จะถูกอ้างอิง คุณสมบัติหลักคือ:
- ความใหม่ (Freshness): แหล่งที่มามีความทันสมัยหรือเป็นปัจจุบันแค่ไหน? ตัวอย่างเช่น บทความข่าวจากสัปดาห์ที่แล้วมีความใหม่มาก ในขณะที่ตำราเรียนเมื่อ 20 ปีที่แล้วไม่ใหม่ ความใหม่มีความสำคัญเนื่องจากข้อมูลที่ใหม่กว่าอาจมีความเกี่ยวข้องมากกว่า การวัดมาตรฐานก่อนหน้านี้ได้วัดความใหม่เป็นสัญญาณคุณภาพสำหรับการอ้างอิง (papers.cool)
- ความน่าเชื่อถือ (Authority): แหล่งที่มามีความน่าเชื่อถือหรือมีอำนาจแค่ไหน? สิ่งนี้สามารถอิงตามผู้ที่เผยแพร่ได้ ตัวอย่างเช่น การศึกษาของมหาวิทยาลัยหรือเว็บไซต์ของรัฐบาลมักมีความน่าเชื่อถือสูง ในขณะที่บล็อกที่ไม่เป็นที่รู้จักอาจมีความน่าเชื่อถือต่ำ SourceBench ซึ่งเป็นการศึกษาล่าสุด ได้ระบุ “ความน่าเชื่อถือ” เป็นสัญญาณสำคัญระดับหน้าสำหรับคุณภาพ (papers.cool)
- โครงสร้าง (Structure): แหล่งที่มามีประเภทหรือรูปแบบใด? ตัวอย่างเช่น แหล่งที่มาอาจเป็นงานวิจัย บทความข่าว กระทู้ในฟอรัมออนไลน์ หรือรายงานทางการ โครงสร้างอาจส่งผลต่อวิธีการที่ AI ใช้งาน (แม้ว่าพรอมต์ของเราจะไม่ได้ให้ตัวอย่างโครงสร้างที่เฉพาะเจาะจง แต่เราให้นิยามว่าเป็นประเภทเอกสารหรือความชัดเจนของการเขียน SourceBench ยังกล่าวถึง “ความชัดเจน” เป็นสัญญาณหนึ่ง (papers.cool) ซึ่งเกี่ยวข้องกับเรื่องนี้)
เราสามารถระบุคุณสมบัติเหล่านี้ได้ด้วยการตรวจสอบโดยอัตโนมัติหรือโดยการค้นหาแหล่งที่มา สำหรับความใหม่ เราอาจบันทึกวันที่เผยแพร่ สำหรับความน่าเชื่อถือ เราสามารถใช้รายการโดเมนที่มีชื่อเสียงที่รู้จักกันดี หรือคำอธิบายของเว็บไซต์ (ตัวอย่างเช่น โดเมนอย่างเป็นทางการเช่น .gov หรือ .edu มักจะมีอำนาจมากกว่า) การติดป้ายกำกับนี้สามารถทำได้ด้วยตนเองหรือโดยอัตโนมัติ แต่จะให้ค่าแก่เราเช่น “ความใหม่ = ใหม่/เก่า” และ “ความน่าเชื่อถือ = สูง/ต่ำ” สำหรับแต่ละแหล่งที่มา
การวิเคราะห์และสร้างแบบจำลองรูปแบบการอ้างอิง
ด้วยชุดข้อมูลที่มีตัวอย่าง (คำถาม, คำตอบ, คุณสมบัติแหล่งที่มา) จำนวนมาก เราจะวิเคราะห์ข้อมูลเพื่อค้นหารูปแบบ เราถามว่า: คุณสมบัติใดที่ทำนายได้ดีที่สุดว่า AI จะอ้างอิงแหล่งที่มากำหนดหรือไม่?
เราอาจทำสิ่งนี้ด้วยการวิเคราะห์ทางสถิติอย่างง่ายหรือการเรียนรู้ของเครื่อง ตัวอย่างเช่น เราสามารถดูว่าแหล่งที่มาที่มีความใหม่สูงหรือมีความน่าเชื่อถือสูงถูกอ้างอิงบ่อยกว่าหรือไม่ เราสามารถใช้ logistic regression หรือ decision tree เพื่อสร้างแบบจำลอง “อ้างอิงเทียบกับไม่อ้างอิง” เป็นผลลัพธ์ สิ่งนี้จะบอกเราว่าคุณสมบัติใด (เช่น ความใหม่ หรือหัวข้อ หรือประเภทคำถาม) มีผลกระทบที่แรงที่สุด
ขั้นตอนนี้คล้ายกับการที่นักวิจัยวิเคราะห์ข้อมูลจากการสำรวจหรือการทดลอง อาจเปิดเผยได้ว่า AI ชอบอ้างอิงแหล่งที่มาที่ใหม่กว่าหรือมีความน่าเชื่อถือมากกว่า เราจะมองหาตัวทำนายที่แข็งแกร่งที่สุด – คุณสมบัติเหล่านั้นที่เพิ่มโอกาสในการอ้างอิงมากที่สุด ด้วยการวัดปริมาณนี้ เราจึงทำการ “ย้อนรอยวิศวกรรม” กฎการอ้างอิงโดยพื้นฐาน: เราค้นหาสิ่งที่ผู้ช่วย AI ดูเหมือนจะกำลังมองหาอยู่
แนวทางนี้ได้รับแรงบันดาลใจจาก SourceBench และการศึกษาอื่นๆ ที่ให้คะแนนแหล่งที่มาตามตัวชี้วัด เช่น ความใหม่และความน่าเชื่อถือ (papers.cool) ด้วยการใช้แบบจำลองทางสถิติ เราจะก้าวข้ามเรื่องเล่าไปสู่แนวโน้มที่วัดได้ ซึ่งช่วยให้เราเข้าใจว่า AI มีอคติต่อแหล่งที่มาบางอย่างหรือไม่ (ตัวอย่างเช่น อ้างอิง Wikipedia เสมอ หรืออ้างอิงเฉพาะเว็บไซต์ชั้นนำเท่านั้น)
เกณฑ์มาตรฐานโอเพนซอร์สและการติดตามตรวจสอบอย่างต่อเนื่อง
หลังจากสร้างเกณฑ์มาตรฐานนี้แล้ว เราจะเปิดเผยเป็นโอเพนซอร์ส – เผยแพร่คำถาม โค้ด และการวิเคราะห์ออนไลน์ให้ทุกคนได้ใช้ เกณฑ์มาตรฐานโอเพนซอร์สเป็นเรื่องปกติในการวิจัย AI เพราะช่วยให้ผู้อื่นสามารถใช้และปรับปรุงการทดสอบได้ ตัวอย่างเช่น ชุดข้อมูลขนาดใหญ่จำนวนมาก เช่น ชุดข้อมูลสำหรับการแปลภาษาหรือการตอบคำถาม จะถูกเผยแพร่สู่สาธารณะ เราวางแผนที่จะนำชุดคำถามและผลลัพธ์ของเราไปไว้บนแพลตฟอร์มเช่น GitHub สิ่งนี้ช่วยให้นักวิจัยและนักพัฒนาคนอื่นๆ สามารถตรวจสอบผู้ช่วย AI ของตนเองเทียบกับเกณฑ์มาตรฐานของเราได้
เรายังแนะนำให้ติดตามตรวจสอบอย่างต่อเนื่อง ผู้ช่วย AI มีการเปลี่ยนแปลงบ่อยครั้ง (มีการอัปเดต เวอร์ชันใหม่ เป็นต้น) เราแนะนำให้มีตารางเวลาปกติสำหรับการรันการทดสอบซ้ำ ตัวอย่างเช่น ทุกครั้งที่ AI ได้รับการอัปเดตครั้งใหญ่ หรือตามรอบที่กำหนด (เช่น รายเดือน) สิ่งนี้คล้ายกับแนวคิดของ “เกณฑ์มาตรฐานตลอดชีพ” ซึ่งขยายและอัปเดตชุดทดสอบเมื่อเวลาผ่านไปเพื่อหลีกเลี่ยงความซบเซา (huggingface.co) ด้วยการเพิ่มคำถามใหม่ๆ และรันซ้ำอย่างต่อเนื่อง เราสามารถจับการเปลี่ยนแปลงใดๆ ในพฤติกรรมการอ้างอิงได้ หาก AI เริ่มอ้างอิงเว็บไซต์ที่ล้าสมัยมากขึ้นอย่างกะทันหัน หรือหากเรียนรู้ที่จะอ้างอิงแหล่งที่มาที่ดีขึ้น เราก็จะเห็นมัน
การทำให้การติดตามนี้เป็นไปโดยอัตโนมัติหมายความว่าเราสามารถติดตามแนวโน้มได้ ทีมงานสามารถรับการแจ้งเตือนได้หากมีสิ่งใดเปลี่ยนแปลงอย่างมาก สิ่งนี้คล้ายกับการตรวจสอบ model drift ในการเรียนรู้ของเครื่อง แต่เน้นที่การอ้างอิง การรวมเกณฑ์มาตรฐานของเรากับการรันอย่างสม่ำเสมอช่วยให้มั่นใจว่าผู้ช่วย AI ยังคงอยู่ในแนวทางที่ถูกต้องในการให้แหล่งที่มา
สรุป
โดยสรุป เราขอเสนอแผนการที่ครอบคลุมเพื่อสำรวจกฎการอ้างอิงของผู้ช่วย AI ด้วยการออกแบบชุดคำถามทดสอบขนาดใหญ่และหลากหลาย การรันคำถามเหล่านั้นผ่านระบบ AI โดยอัตโนมัติ และการติดป้ายกำกับแหล่งที่มาที่อ้างอิงอย่างรอบคอบตามคุณสมบัติเช่น ความใหม่และความน่าเชื่อถือ เราสามารถใช้สถิติเพื่อเปิดเผยปัจจัยที่มีอิทธิพลต่อการอ้างอิงได้ วิธีการของเราได้รับการสนับสนุนจากการวิจัยล่าสุดที่เน้นย้ำถึงความสำคัญของการตรวจสอบได้ (www.axios.com) (doaj.org) และเกณฑ์มาตรฐานที่เป็นนวัตกรรมใหม่ที่ศึกษาคุณภาพของแหล่งที่มา (papers.cool) และข้อมูลสังเคราะห์ (papers.cool) (research.google) ด้วยการเปิดเผยเกณฑ์มาตรฐานเป็นโอเพนซอร์สและการติดตามผลลัพธ์อย่างสม่ำเสมอ เราช่วยสร้างวิธีที่โปร่งใสเพื่อให้แน่ใจว่าผู้ช่วย AI อ้างอิงข้อมูลที่น่าเชื่อถือ งานนี้สามารถปรับปรุงความน่าเชื่อถือใน AI โดยการเปิดเผยกฎการอ้างอิงที่ซ่อนอยู่และนำนักพัฒนาไปสู่การสร้างระบบที่ดีขึ้นและมีความรับผิดชอบมากขึ้น
