Auto
Pendahuluan
Asisten AI modern (chatbot seperti ChatGPT atau Bing Chat) sering mencoba menjawab pertanyaan pengguna dan "menunjukkan pekerjaan mereka" dengan mengutip sumber. Namun, penelitian menunjukkan banyak jawaban memiliki kutipan yang buruk atau hilang. Misalnya, peneliti Stanford menemukan bahwa sekitar setengah dari jawaban chat AI berisi pernyataan yang tidak didukung atau kutipan yang salah (www.axios.com). Dalam uji medis, alat AI baru sering memberikan jawaban yang tidak didukung oleh sumber yang mereka kutip (doaj.org). Masalah-masalah ini berarti kita membutuhkan cara yang lebih baik untuk menguji perilaku kutipan asisten AI.
Untuk memahami bagaimana AI memilih apa yang akan dikutip, kami mengusulkan rencana pengujian skala besar. Kami akan membuat banyak kueri sintetis (pertanyaan buatan) yang mencakup berbagai bidang subjek dan jenis pertanyaan. Kami akan menjalankan ini melalui asisten AI secara otomatis, mengumpulkan jawaban dan kutipan mereka, dan memberi label pada setiap sumber yang dikutip berdasarkan aktualitasnya (seberapa baru), otoritasnya (seberapa terpercaya), dan strukturnya (jenis atau format). Kemudian kami menggunakan statistik sederhana untuk melihat faktor-faktor apa yang membuat AI lebih mungkin mengutip suatu sumber. Kami akan membagikan semua data dan alat kami secara terbuka. Dengan cara ini, kami dapat melakukan crowd-sourcing untuk perbaikan dan terus memantau perilaku kutipan AI dari waktu ke waktu.
Merancang Benchmark Kueri Sintetis
Untuk menguji aturan kutipan dalam AI, kami akan menggunakan set kueri sintetis. Ini berarti kami menghasilkan sejumlah besar contoh pertanyaan (prompts) menggunakan komputer, alih-alih hanya mengumpulkan kueri pengguna yang sebenarnya. Menggunakan prompt sintetis adalah hal umum dalam penelitian. Misalnya, peneliti Google telah menggunakan sistem AI untuk menghasilkan pertanyaan ketika data sulit dikumpulkan (research.google). Studi lain menunjukkan bahwa data pertanyaan-jawaban yang dihasilkan AI dapat menjadi pengganti yang baik untuk data uji nyata dalam beberapa pengaturan (papers.cool).
Kueri kami akan mencakup banyak topik (vertikal) dan tujuan pengguna. Kami memilih berbagai subjek seperti sains, sejarah,, kesehatan, keuangan, dan tugas sehari-hari. Dalam setiap topik, kami mencakup maksud yang berbeda – tujuan pertanyaan. Misalnya, beberapa kueri akan bersifat faktual (seperti “Apa planet terbesar di tata surya kita?”), beberapa akan menanyakan instruksi cara melakukan sesuatu (“Bagaimana cara mengganti ban mobil?”), beberapa untuk nasihat terbuka (“Apa yang harus saya pertimbangkan saat melamar kuliah?”), dan seterusnya. Dengan mencampurkan jenis pertanyaan informatif, faktual, argumentatif, dan sosial (papers.cool), kami memastikan pengujian kami mencakup banyak penggunaan dunia nyata.
Kami mungkin menggunakan model bahasa besar itu sendiri untuk membantu menghasilkan set kueri ini. Untuk setiap topik dan maksud, AI dapat menghasilkan banyak pertanyaan. Kami kemudian dapat meninjau dan memfilternya. Set akhir mungkin berisi ribuan pertanyaan untuk memberi kami kekuatan statistik yang baik.
Menjalankan Pengujian dan Menangkap Kutipan
Setelah kami memiliki set kueri, kami mengotomatiskan pengujian. Skrip atau program akan mengirim setiap pertanyaan sintetis ke asisten AI (melalui API atau antarmuka) dan menyimpan responsnya. Untuk setiap jawaban, kami mengurai dan mengekstrak sumber yang dikutip. Asisten AI sering memberikan referensi sebagai tautan, catatan kaki, atau kutipan tertanam. Kami mencatat setiap sumber (misalnya, tautan web atau judul artikel) beserta pertanyaan dan jawabannya.
Otomatisasi ini memungkinkan kami mengumpulkan data dalam skala besar. Alih-alih secara manual menanyakan setiap pertanyaan, skrip dapat menjalankan semua ratusan atau ribuan kueri dalam satu batch. Kami mungkin melakukan ini untuk satu atau beberapa sistem AI. Outputnya adalah kumpulan data (pertanyaan, jawaban, sumber yang dikutip). Kami juga mencatat seberapa sering sumber dikutip dan dalam format apa.
Memberi Label Atribut Sumber
Setelah mengumpulkan kutipan, kami memberi label pada setiap sumber berdasarkan atribut utamanya. Atribut ini membantu kami menguji apa yang membuat suatu sumber kemungkinan besar akan dikutip. Atribut utama adalah:
- Aktualitas: Seberapa baru atau mutakhirkah sumber tersebut? Misalnya, artikel berita dari minggu lalu sangat baru, sedangkan buku teks dari 20 tahun yang lalu tidak. Aktualitas penting karena informasi yang lebih baru mungkin lebih relevan. Benchmark sebelumnya telah mengukur aktualitas sebagai sinyal kualitas untuk kutipan (papers.cool).
- Otoritas: Seberapa terpercaya atau berwibawakah sumber tersebut? Ini bisa didasarkan pada siapa yang memublikasikannya. Misalnya, studi universitas atau situs web pemerintah biasanya memiliki otoritas tinggi, sementara blog yang tidak dikenal mungkin memiliki otoritas rendah. SourceBench, sebuah studi terbaru, mencantumkan “otoritas” sebagai sinyal tingkat halaman utama untuk kualitas (papers.cool).
- Struktur: Jenis atau format apa sumber tersebut? Misalnya, suatu sumber bisa berupa makalah penelitian, artikel berita, kiriman forum daring, atau laporan resmi. Struktur mungkin memengaruhi bagaimana AI menggunakannya. (Bahkan jika prompt kami tidak memberikan contoh spesifik struktur, kami mendefinisikannya sebagai jenis dokumen atau kejelasan penulisan. SourceBench juga menyebutkan “kejelasan” sebagai sinyal (papers.cool), yang terkait.)
Kami dapat menganotasi atribut ini dengan pemeriksaan otomatis atau dengan mencari sumbernya. Untuk aktualitas, kami mungkin mencatat tanggal publikasi. Untuk otoritas, kami dapat menggunakan daftar domain terkemuka yang dikenal atau deskripsi situs (misalnya, domain resmi seperti .gov atau .edu cenderung lebih berwibawa). Pelabelan ini bisa manual atau otomatis, tetapi ini memberi kami nilai-nilai seperti “aktualitas = baru/lama” dan “otoritas = tinggi/rendah” untuk setiap sumber.
Menganalisis dan Memodelkan Pola Kutipan
Dengan kumpulan data yang terdiri dari banyak contoh (pertanyaan, jawaban, atribut sumber), kami menganalisis data untuk menemukan pola. Kami bertanya: fitur mana yang paling baik memprediksi apakah AI akan mengutip sumber tertentu?
Kami mungkin melakukan ini dengan analisis statistik sederhana atau pembelajaran mesin. Misalnya, kami dapat melihat apakah sumber dengan aktualitas tinggi atau otoritas tinggi lebih sering dikutip. Kami dapat menggunakan regresi logistik atau pohon keputusan untuk memodelkan “mengutip vs tidak mengutip” sebagai hasilnya. Ini memberitahu kita fitur mana (seperti aktualitas atau topik atau jenis pertanyaan) yang memiliki efek terkuat.
Langkah ini mirip dengan bagaimana peneliti menganalisis data survei atau eksperimen. Ini mungkin mengungkapkan, misalnya, bahwa AI lebih suka mengutip sumber yang lebih baru atau lebih berwibawa. Kami akan mencari prediktor terkuat – atribut-atribut yang paling meningkatkan kemungkinan kutipan. Dengan menguantifikasi ini, kami pada dasarnya 'merekayasa balik' aturan kutipan: kami mencari tahu apa yang tampaknya dicari oleh asisten tersebut.
Pendekatan ini terinspirasi oleh SourceBench dan studi lain yang menilai sumber berdasarkan metrik seperti aktualitas dan otoritas (papers.cool). Dengan menerapkan pemodelan statistik, kami bergerak melampaui anekdot ke tren yang terukur. Ini membantu kami memahami apakah AI memiliki bias terhadap sumber-sumber tertentu (misalnya, selalu mengutip Wikipedia atau hanya mengutip situs-situs teratas).
Benchmark Open-Source dan Pemantauan Berkelanjutan
Setelah membangun benchmark ini, kami akan menyediakannya sebagai open-source – memublikasikan kueri, kode, dan analisis secara daring untuk semua orang. Benchmark open-source umum dalam penelitian AI karena memungkinkan orang lain menggunakan dan meningkatkan pengujian. Misalnya, banyak kumpulan data skala besar, seperti untuk terjemahan bahasa atau menjawab pertanyaan, dibagikan secara publik. Kami berencana untuk menempatkan set kueri dan hasil kami di platform seperti GitHub. Ini memungkinkan peneliti dan pengembang lain untuk memeriksa asisten AI mereka sendiri terhadap benchmark kami.
Kami juga merekomendasikan pemantauan berkelanjutan. Asisten AI sering berubah (mereka mendapatkan pembaruan, versi baru, dll.). Kami menyarankan jadwal reguler untuk menjalankan kembali pengujian. Misalnya, setiap kali AI mendapatkan pembaruan besar atau pada siklus tetap (seperti bulanan). Ini mirip dengan gagasan “benchmark seumur hidup,” yang memperluas dan memperbarui set pengujian dari waktu ke waktu untuk menghindari stagnasi (huggingface.co). Dengan terus-menerus menambahkan pertanyaan baru dan menjalankan kembali, kami dapat menangkap setiap perubahan dalam perilaku kutipan. Jika AI tiba-tiba mulai mengutip lebih banyak situs yang sudah usang, atau jika ia belajar mengutip sumber yang lebih baik, kami akan melihatnya.
Mengotomatiskan pemantauan ini berarti kami dapat melacak tren. Tim dapat menerima peringatan jika ada sesuatu yang berubah secara dramatis. Ini seperti pemantauan model drift dalam pembelajaran mesin, tetapi berfokus pada kutipan. Menggabungkan benchmark kami dengan run reguler memastikan asisten AI tetap pada jalur dalam cara mereka memberikan sumber.
Kesimpulan
Singkatnya, kami mengusulkan rencana komprehensif untuk menyelidiki aturan kutipan asisten AI. Dengan merancang serangkaian pertanyaan uji yang besar dan bervariasi, menjalankannya secara otomatis melalui sistem AI, dan dengan cermat memberi label sumber yang dikutip berdasarkan atribut seperti aktualitas dan otoritas, kami dapat menggunakan statistik untuk mengungkap faktor-faktor yang memengaruhi kutipan. Metode kami didukung oleh penelitian terbaru yang menekankan pentingnya verifikasi (www.axios.com) (doaj.org) dan benchmark inovatif yang mempelajari kualitas sumber (papers.cool) dan data sintetis (papers.cool) (research.google). Dengan menjadikan benchmark ini open-source dan memantau hasilnya secara teratur, kami membantu menciptakan cara yang transparan untuk memastikan asisten AI mengutip informasi yang dapat diandalkan. Karya ini dapat meningkatkan kepercayaan terhadap AI dengan menjelaskan aturan tersembunyi dari kutipan dan membimbing pengembang untuk membuat sistem yang lebih baik dan lebih bertanggung jawab.
