Auto
Вступ
Сучасні ШІ-асистенти (чат-боти, такі як ChatGPT або Bing Chat) часто намагаються відповідати на запитання користувачів та «показувати свою роботу» шляхом цитування джерел. Однак дослідження показують, що багато відповідей містять неякісні або відсутні посилання. Наприклад, дослідники зі Стенфорда виявили, що близько половини відповідей ШІ-чату містили непідтверджені твердження або неправильні цитати (www.axios.com). У медичних тестах нові ШІ-інструменти часто надавали відповіді, не підтверджені джерелами, на які вони посилалися (doaj.org). Ці проблеми означають, що нам потрібні кращі способи тестування поведінки ШІ-асистентів щодо цитування.
Щоб зрозуміти, як ШІ обирає, що цитувати, ми пропонуємо широкомасштабний план тестування. Ми створимо багато синтетичних запитів (вигаданих запитань), що охоплюватимуть різні предметні області та типи запитань. Ми автоматично пропускатимемо їх через ШІ-асистентів, збиратимемо їхні відповіді та цитати, а також позначатимемо кожне цитоване джерело за його актуальністю (наскільки недавнє), авторитетністю (наскільки довірене) та структурою (тип або формат). Потім ми використаємо просту статистику, щоб з’ясувати, які фактори збільшують ймовірність цитування джерела ШІ. Ми відкрито поділимося всіма нашими даними та інструментами. Таким чином, ми зможемо залучити спільноту до вдосконалень та продовжувати моніторинг поведінки ШІ щодо цитування з часом.
Розробка бенчмарка синтетичних запитів
Щоб перевірити правила цитування в ШІ, ми використаємо набір синтетичних запитів. Це означає, що ми генеруємо велику кількість прикладів запитань (підказок) за допомогою комп’ютерів, замість того, щоб просто збирати реальні запити користувачів. Використання синтетичних підказок є поширеним у дослідженнях. Наприклад, дослідники Google використовували системи ШІ для генерації запитань, коли дані важко зібрати (research.google). Інше дослідження показало, що дані запитання-відповіді, згенеровані ШІ, можуть бути хорошою заміною для реальних тестових даних у деяких умовах (papers.cool).
Наші запити охоплюватимуть багато тем (вертикалей) та цілей користувачів. Ми обираємо широкий спектр предметів, таких як наука, історія, охорона здоров'я, фінанси та повсякденні завдання. У межах кожної теми ми охоплюємо різні наміри – мету запитання. Наприклад, деякі запити будуть фактичними (наприклад, "Яка найбільша планета в нашій сонячній системі?"), деякі проситимуть інструкції ("Як замінити автомобільну шину?"), деякі – відкриті поради ("Що мен слід враховувати при вступі до коледжу?"), і так далі. Змішуючи інформаційні, фактичні, аргументативні та соціальні типи запитань (papers.cool), ми гарантуємо, що наш тест охоплює багато реальних сценаріїв використання.
Ми можемо використовувати самі великі мовні моделі для допомоги у генерації цього набору запитів. Для кожної теми та наміру ШІ може генерувати багато запитань. Потім ми можемо їх переглядати та фільтрувати. Остаточний набір може містити тисячі запитань, щоб забезпечити нам хорошу статистичну потужність.
Проведення тестів та фіксація цитат
Як тільки ми матимемо наш набір запитів, ми автоматизуємо тестування. Скрипт або програма надсилатиме кожне синтетичне запитання ШІ-асистенту (через API або інтерфейс) і зберігатиме відповідь. Для кожної відповіді ми аналізуватимемо та витягуватимемо будь-які цитовані джерела. ШІ-асистенти часто надають посилання у вигляді лінків, виносок або вбудованих цитат. Ми реєструємо кожне джерело (наприклад, веб-посилання або назву статті) разом із запитанням та відповіддю.
Ця автоматизація дозволяє нам збирати дані у великих масштабах. Замість ручного задавання кожного запитання, скрипт може обробляти сотні або тисячі запитів у пакетному режимі. Ми можемо робити це для однієї або кількох ШІ-систем. Результатом є набір даних (запитання, відповідь, цитовані джерела). Ми також відзначаємо, як часто джерела цитуються і в якому форматі.
Маркування атрибутів джерела
Після збору цитат ми маркуємо кожне джерело за його основними атрибутами. Ці атрибути допомагають нам перевірити, що робить джерело ймовірним для цитування. Основними атрибутами є:
- Актуальність: Наскільки недавнім або оновленим є джерело? Наприклад, новинна стаття минулого тижня є дуже актуальною, тоді як підручник 20-річної давності – ні. Актуальність важлива, оскільки новіша інформація може бути більш релевантною. Попередні бенчмарки вимірювали актуальність як сигнал якості для цитат (papers.cool).
- Авторитетність: Наскільки надійним або авторитетним є джерело? Це може залежати від того, хто його опублікував. Наприклад, університетське дослідження або урядовий веб-сайт зазвичай мають високий авторитет, тоді як невідомий блог може мати низький авторитет. SourceBench, недавнє дослідження, перерахувало "авторитетність" як ключовий сигнал якості на рівні сторінки (papers.cool).
- Структура: Який тип або формат має джерело? Наприклад, джерелом може бути наукова стаття, новинна стаття, публікація на онлайн-форумі або офіційний звіт. Структура може впливати на те, як ШІ її використовує. (Навіть якщо наш запит не надає конкретних прикладів структури, ми визначаємо її як тип документа або ясність написання. SourceBench також згадував "ясність" як сигнал (papers.cool), що пов'язано з цим.)
Ми можемо анотувати ці атрибути за допомогою автоматизованих перевірок або пошуку джерела. Для актуальності ми можемо записувати дату публікації. Для авторитетності ми можемо використовувати відомі списки авторитетних доменів або опис сайту (наприклад, офіційні домени, такі як .gov або .edu, як правило, є більш авторитетними). Це маркування може бути ручним або автоматизованим, але воно надає нам значення, такі як "актуальність = нова/стара" та "авторитетність = висока/низька" для кожного джерела.
Аналіз та моделювання патернів цитування
Маючи набір даних з багатьох прикладів (запитання, відповідь, атрибути джерела), ми аналізуємо дані, щоб знайти закономірності. Ми запитуємо: які ознаки найкраще передбачають, чи буде ШІ цитувати певне джерело?
Ми можемо зробити це за допомогою простого статистичного аналізу або машинного навчання. Наприклад, ми можемо перевірити, чи джерела з високою актуальністю або високим авторитетом цитуються частіше. Ми могли б використовувати логістичну регресію або дерево рішень для моделювання "цитувати проти не цитувати" як результат. Це показує нам, які ознаки (наприклад, актуальність, тема або тип запитання) мають найсильніший вплив.
Цей крок схожий на те, як дослідники аналізують дані опитувань або експериментів. Він може виявити, наприклад, що ШІ віддає перевагу цитуванню новіших або більш авторитетних джерел. Ми шукатимемо найсильніші прогностичні фактори – ті атрибути, які найбільше підвищують ймовірність цитування. Квантуючи це, ми, по суті, "зворотно розробляємо" правила цитування: ми з'ясовуємо, що, здається, шукає асистент.
Цей підхід натхненний SourceBench та іншими дослідженнями, які оцінюють джерела за такими показниками, як актуальність та авторитетність (papers.cool). Застосовуючи статистичне моделювання, ми виходимо за межі анекдотичних даних до виміряних тенденцій. Це допомагає нам зрозуміти, чи має ШІ упередженість до певних джерел (наприклад, завжди цитує Вікіпедію або цитує лише провідні сайти).
Бенчмарк з відкритим вихідним кодом та постійний моніторинг
Після створення цього бенчмарка ми відкриємо його вихідний код – опублікуємо запити, код та аналіз онлайн для всіх. Відкриті бенчмарки поширені в дослідженнях ШІ, оскільки вони дозволяють іншим використовувати та покращувати тести. Наприклад, багато великомасштабних наборів даних, таких як для перекладу мов або відповідей на запитання, є загальнодоступними. Ми плануємо розмістити наш набір запитів та результати на платформі, подібній до GitHub. Це дозволить іншим дослідникам та розробникам перевіряти своїх ШІ-асистентів за нашим бенчмарком.
Ми також рекомендуємо постійний моніторинг. ШІ-асистенти часто змінюються (отримують оновлення, нові версії тощо). Ми пропонуємо регулярний графік повторного запуску тестів. Наприклад, щоразу, коли ШІ отримує велике оновлення, або за фіксованим циклом (наприклад, щомісяця). Це схоже на ідею "довічних бенчмарків", які розширюють та оновлюють тестові набори з часом, щоб уникнути стагнації (huggingface.co). Постійно додаючи нові запитання та повторно запускаючи тести, ми можемо виявити будь-які зміни в поведінці цитування. Якщо ШІ раптом почне цитувати більше застарілих сайтів, або якщо він навчиться цитувати кращі джерела, ми це побачимо.
Автоматизація цього моніторингу дозволяє нам відстежувати тенденції. Команди можуть отримувати сповіщення, якщо щось кардинально зміниться. Це схоже на моніторинг дрейфу моделі в машинному навчанні, але сфокусоване на цитуванні. Поєднання нашого бенчмарка з регулярними запусками гарантує, що ШІ-асистенти дотримуються правил у наданні джерел.
Висновок
Підсумовуючи, ми пропонуємо комплексний план для дослідження правил цитування ШІ-асистентів. Розробивши великий та різноманітний набір тестових запитань, автоматично пропускаючи їх через ШІ-системи та ретельно маркуючи цитовані джерела за такими атрибутами, як актуальність та авторитетність, ми можемо використовувати статистику для виявлення факторів, що впливають на цитування. Наш метод підтримується недавніми дослідженнями, які підкреслюють важливість можливості перевірки (www.axios.com) (doaj.org) та інноваційними бенчмарками, які вивчають якість джерел (papers.cool) та синтетичні дані (papers.cool) (research.google). Відкриваючи вихідний код бенчмарка та регулярно відстежуючи результати, ми допомагаємо створити прозорий спосіб забезпечення того, щоб ШІ-асистенти цитували надійну інформацію. Ця робота може покращити довіру до ШІ, проливаючи світло на приховані правила цитування та спрямовуючи розробників на створення кращих, більш підзвітних систем.
