Auto
Giới thiệu
Các trợ lý AI hiện đại (chatbot như ChatGPT hay Bing Chat) thường cố gắng trả lời câu hỏi của người dùng và “chứng minh công việc của mình” bằng cách trích dẫn nguồn. Tuy nhiên, các nghiên cứu cho thấy nhiều câu trả lời có trích dẫn kém hoặc thiếu. Ví dụ, các nhà nghiên cứu của Stanford phát hiện khoảng một nửa số câu trả lời của chatbot AI chứa các tuyên bố không được hỗ trợ hoặc trích dẫn sai (www.axios.com). Trong các thử nghiệm y tế, các công cụ AI mới thường đưa ra câu trả lời không được hỗ trợ bởi các nguồn mà chúng trích dẫn (doaj.org). Những vấn đề này cho thấy chúng ta cần những cách tốt hơn để kiểm tra hành vi trích dẫn của các trợ lý AI.
Để hiểu cách AI chọn những gì để trích dẫn, chúng tôi đề xuất một kế hoạch kiểm thử quy mô lớn. Chúng tôi sẽ tạo ra nhiều truy vấn tổng hợp (câu hỏi giả định) bao gồm các lĩnh vực và loại câu hỏi khác nhau. Chúng tôi sẽ tự động chạy các truy vấn này thông qua các trợ lý AI, thu thập câu trả lời và trích dẫn của chúng, sau đó gắn nhãn cho mỗi nguồn được trích dẫn theo độ mới (mức độ gần đây), độ tin cậy (mức độ đáng tin cậy) và cấu trúc (loại hoặc định dạng). Sau đó, chúng tôi sử dụng thống kê đơn giản để xem yếu tố nào khiến AI có nhiều khả năng trích dẫn một nguồn hơn. Chúng tôi sẽ chia sẻ tất cả dữ liệu và công cụ của mình một cách công khai. Bằng cách này, chúng tôi có thể huy động cộng đồng cải tiến và tiếp tục giám sát hành vi trích dẫn của AI theo thời gian.
Thiết kế một Tiêu chuẩn Truy vấn Tổng hợp
Để kiểm tra các quy tắc trích dẫn trong AI, chúng tôi sẽ sử dụng một bộ truy vấn tổng hợp. Điều này có nghĩa là chúng tôi tạo ra một số lượng lớn các câu hỏi mẫu (lời nhắc) bằng máy tính, thay vì chỉ thu thập các truy vấn thực từ người dùng. Việc sử dụng các lời nhắc tổng hợp rất phổ biến trong nghiên cứu. Ví dụ, các nhà nghiên cứu của Google đã sử dụng hệ thống AI để tạo câu hỏi khi dữ liệu khó thu thập (research.google). Một nghiên cứu khác cho thấy dữ liệu hỏi-đáp do AI tạo ra có thể là một sự thay thế tốt cho dữ liệu thử nghiệm thực tế trong một số trường hợp (papers.cool).
Các truy vấn của chúng tôi sẽ bao gồm nhiều chủ đề (lĩnh vực) và mục tiêu của người dùng. Chúng tôi chọn nhiều chủ đề khác nhau như khoa học, lịch sử, sức khỏe, tài chính và các công việc hàng ngày. Trong mỗi chủ đề, chúng tôi đề cập đến các ý định khác nhau – mục đích của câu hỏi. Ví dụ, một số truy vấn sẽ mang tính chất thực tế (như “Hành tinh lớn nhất trong hệ mặt trời của chúng ta là gì?”), một số sẽ hỏi về hướng dẫn cách làm (“Làm thế nào để thay lốp xe hơi?”), một số hỏi về lời khuyên mở (“Tôi nên cân nhắc điều gì khi nộp đơn vào đại học?”), và cứ thế. Bằng cách kết hợp các loại câu hỏi mang tính thông tin, thực tế, tranh luận và xã hội (papers.cool), chúng tôi đảm bảo thử nghiệm của mình bao gồm nhiều trường hợp sử dụng trong thế giới thực.
Chúng tôi có thể sử dụng chính các mô hình ngôn ngữ lớn để giúp tạo ra bộ truy vấn này. Đối với mỗi chủ đề và ý định, một AI có thể tạo ra nhiều câu hỏi. Sau đó, chúng tôi có thể xem xét và lọc chúng. Bộ cuối cùng có thể chứa hàng nghìn câu hỏi để mang lại cho chúng tôi sức mạnh thống kê tốt.
Chạy thử nghiệm và Thu thập Trích dẫn
Khi chúng tôi có bộ truy vấn của mình, chúng tôi sẽ tự động hóa việc kiểm thử. Một tập lệnh hoặc chương trình sẽ gửi từng câu hỏi tổng hợp đến trợ lý AI (thông qua API hoặc giao diện) và lưu lại phản hồi. Đối với mỗi câu trả lời, chúng tôi phân tích cú pháp và trích xuất bất kỳ nguồn nào được trích dẫn. Các trợ lý AI thường cung cấp tài liệu tham khảo dưới dạng liên kết, chú thích cuối trang hoặc trích dẫn nhúng. Chúng tôi ghi lại mỗi nguồn (ví dụ: liên kết web hoặc tiêu đề bài viết) cùng với câu hỏi và câu trả lời.
Việc tự động hóa này cho phép chúng tôi thu thập dữ liệu ở quy mô lớn. Thay vì hỏi thủ công từng câu hỏi, tập lệnh có thể chạy qua hàng trăm hoặc hàng nghìn truy vấn trong một lô. Chúng tôi có thể làm điều này cho một hoặc nhiều hệ thống AI. Đầu ra là một tập dữ liệu gồm (câu hỏi, câu trả lời, nguồn được trích dẫn). Chúng tôi cũng ghi lại tần suất các nguồn được trích dẫn và ở định dạng nào.
Gắn nhãn các Thuộc tính Nguồn
Sau khi thu thập các trích dẫn, chúng tôi sẽ gắn nhãn cho từng nguồn theo các thuộc tính chính của nó. Các thuộc tính này giúp chúng tôi kiểm tra điều gì khiến một nguồn có khả năng được trích dẫn. Các thuộc tính chính là:
- Độ mới: Nguồn này gần đây hay đã lỗi thời? Ví dụ, một bài báo tin tức từ tuần trước rất mới, trong khi một cuốn sách giáo khoa từ 20 năm trước thì không. Độ mới quan trọng vì thông tin mới hơn có thể liên quan hơn. Các tiêu chuẩn trước đây đã đo lường độ mới như một tín hiệu chất lượng cho các trích dẫn (papers.cool).
- Độ tin cậy: Nguồn này đáng tin cậy hay có thẩm quyền đến mức nào? Điều này có thể dựa trên người xuất bản. Ví dụ, một nghiên cứu của trường đại học hoặc một trang web chính phủ thường có độ tin cậy cao, trong khi một blog không rõ nguồn gốc có thể có độ tin cậy thấp. SourceBench, một nghiên cứu gần đây, đã liệt kê “độ tin cậy” là một tín hiệu chất lượng cấp trang chính (papers.cool).
- Cấu trúc: Loại hoặc định dạng của nguồn là gì? Ví dụ, một nguồn có thể là một bài báo nghiên cứu, một bài báo tin tức, một bài đăng trên diễn đàn trực tuyến hoặc một báo cáo chính thức. Cấu trúc có thể ảnh hưởng đến cách AI sử dụng nó. (Ngay cả khi lời nhắc của chúng tôi không cung cấp các ví dụ cụ thể về cấu trúc, chúng tôi định nghĩa nó là loại tài liệu hoặc sự rõ ràng của văn bản. SourceBench cũng đề cập đến “sự rõ ràng” như một tín hiệu (papers.cool), có liên quan.)
Chúng tôi có thể chú thích các thuộc tính này bằng cách kiểm tra tự động hoặc bằng cách tra cứu nguồn. Đối với độ mới, chúng tôi có thể ghi lại ngày xuất bản. Đối với độ tin cậy, chúng tôi có thể sử dụng các danh sách tên miền uy tín đã biết hoặc mô tả của trang web (ví dụ, các tên miền chính thức như .gov hoặc .edu có xu hướng đáng tin cậy hơn). Việc gắn nhãn này có thể thủ công hoặc tự động, nhưng nó cung cấp cho chúng tôi các giá trị như “độ mới = mới/cũ” và “độ tin cậy = cao/thấp” cho mỗi nguồn.
Phân tích và Mô hình hóa Các mẫu Trích dẫn
Với một tập dữ liệu gồm nhiều ví dụ (câu hỏi, câu trả lời, thuộc tính nguồn), chúng tôi phân tích dữ liệu để tìm ra các mẫu. Chúng tôi đặt câu hỏi: những đặc điểm nào dự đoán tốt nhất liệu AI có trích dẫn một nguồn nhất định hay không?
Chúng tôi có thể thực hiện điều này bằng phân tích thống kê đơn giản hoặc học máy. Ví dụ, chúng tôi có thể xem liệu các nguồn có độ mới cao hoặc độ tin cậy cao có được trích dẫn thường xuyên hơn không. Chúng tôi có thể sử dụng hồi quy logistic hoặc cây quyết định để mô hình hóa kết quả “trích dẫn so với không trích dẫn”. Điều này cho chúng ta biết đặc điểm nào (như độ mới, chủ đề hoặc loại câu hỏi) có tác động mạnh nhất.
Bước này tương tự như cách các nhà nghiên cứu phân tích dữ liệu khảo sát hoặc thực nghiệm. Ví dụ, nó có thể tiết lộ rằng AI thích trích dẫn các nguồn mới hơn hoặc có thẩm quyền hơn. Chúng tôi sẽ tìm kiếm các yếu tố dự đoán mạnh nhất – những thuộc tính làm tăng khả năng trích dẫn nhất. Bằng cách định lượng điều này, về cơ bản chúng tôi “phân tích ngược” các quy tắc trích dẫn: chúng tôi tìm ra những gì trợ lý dường như đang tìm kiếm.
Phương pháp này được lấy cảm hứng từ SourceBench và các nghiên cứu khác đánh giá nguồn dựa trên các chỉ số như độ mới và độ tin cậy (papers.cool). Bằng cách áp dụng mô hình thống kê, chúng tôi vượt ra ngoài những giai thoại để đến với các xu hướng được đo lường. Điều này giúp chúng tôi hiểu liệu AI có xu hướng ưu tiên các nguồn nhất định hay không (ví dụ, luôn trích dẫn Wikipedia hoặc chỉ trích dẫn các trang web hàng đầu).
Tiêu chuẩn Mã nguồn mở và Giám sát Liên tục
Sau khi xây dựng tiêu chuẩn này, chúng tôi sẽ mã nguồn mở nó – công bố các truy vấn, mã và phân tích trực tuyến cho mọi người. Các tiêu chuẩn mã nguồn mở phổ biến trong nghiên cứu AI vì chúng cho phép người khác sử dụng và cải thiện các thử nghiệm. Ví dụ, nhiều tập dữ liệu quy mô lớn, như những tập dữ liệu dùng cho dịch thuật ngôn ngữ hoặc trả lời câu hỏi, được chia sẻ công khai. Chúng tôi dự định đặt bộ truy vấn và kết quả của mình trên một nền tảng như GitHub. Điều này cho phép các nhà nghiên cứu và nhà phát triển khác kiểm tra trợ lý AI của riêng họ dựa trên tiêu chuẩn của chúng tôi.
Chúng tôi cũng khuyến nghị giám sát liên tục. Các trợ lý AI thường xuyên thay đổi (chúng được cập nhật, có phiên bản mới, v.v.). Chúng tôi đề xuất một lịch trình thường xuyên để chạy lại các thử nghiệm. Ví dụ, mỗi khi AI có một bản cập nhật lớn hoặc theo một chu kỳ cố định (như hàng tháng). Điều này tương tự như ý tưởng về “tiêu chuẩn trọn đời” (lifelong benchmarks), chúng mở rộng và cập nhật các bộ thử nghiệm theo thời gian để tránh tình trạng trì trệ (huggingface.co). Bằng cách liên tục thêm câu hỏi mới và chạy lại, chúng ta có thể phát hiện bất kỳ sự thay đổi nào trong hành vi trích dẫn. Nếu AI đột nhiên bắt đầu trích dẫn nhiều trang web lỗi thời hơn, hoặc nếu nó học cách trích dẫn các nguồn tốt hơn, chúng ta sẽ thấy điều đó.
Tự động hóa việc giám sát này có nghĩa là chúng ta có thể theo dõi các xu hướng. Các nhóm có thể nhận được cảnh báo nếu có điều gì đó thay đổi đáng kể. Điều này giống như giám sát sự trôi dạt của mô hình trong học máy, nhưng tập trung vào các trích dẫn. Kết hợp tiêu chuẩn của chúng tôi với các lần chạy thường xuyên đảm bảo các trợ lý AI duy trì đúng hướng trong cách họ đưa ra nguồn.
Kết luận
Tóm lại, chúng tôi đề xuất một kế hoạch toàn diện để khám phá các quy tắc trích dẫn của trợ lý AI. Bằng cách thiết kế một bộ câu hỏi thử nghiệm lớn và đa dạng, tự động chạy chúng thông qua các hệ thống AI, và cẩn thận gắn nhãn các nguồn được trích dẫn theo các thuộc tính như độ mới và độ tin cậy, chúng ta có thể sử dụng thống kê để khám phá các yếu tố ảnh hưởng đến trích dẫn. Phương pháp của chúng tôi được hỗ trợ bởi nghiên cứu gần đây nhấn mạnh tầm quan trọng của khả năng xác minh (www.axios.com) (doaj.org) và các tiêu chuẩn đổi mới nghiên cứu chất lượng nguồn (papers.cool) và dữ liệu tổng hợp (papers.cool) (research.google). Bằng cách công bố mã nguồn mở tiêu chuẩn và thường xuyên giám sát kết quả, chúng tôi giúp tạo ra một cách minh bạch để đảm bảo các trợ lý AI trích dẫn thông tin đáng tin cậy. Công việc này có thể cải thiện niềm tin vào AI bằng cách làm sáng tỏ các quy tắc trích dẫn ẩn và hướng dẫn các nhà phát triển tạo ra các hệ thống tốt hơn, có trách nhiệm hơn.
