Auto
Введение
Современные AI-помощники (чат-боты, такие как ChatGPT или Bing Chat) часто пытаются отвечать на вопросы пользователей и «показывать свою работу», ссылаясь на источники. Однако исследования показывают, что многие ответы содержат неточные или отсутствующие ссылки. Например, исследователи из Стэнфорда обнаружили, что около половины ответов AI-чатов содержали необоснованные утверждения или неверные ссылки (www.axios.com). В медицинских тестах новые AI-инструменты часто давали ответы, не подтвержденные цитируемыми ими источниками (doaj.org). Эти проблемы означают, что нам нужны более эффективные способы тестирования поведения AI-помощников в отношении цитирования.
Чтобы понять, как ИИ выбирает, что цитировать, мы предлагаем крупномасштабный план тестирования. Мы создадим множество синтетических запросов (придуманных вопросов), охватывающих различные предметные области и типы вопросов. Мы будем автоматически пропускать их через AI-помощников, собирать их ответы и ссылки, а также помечать каждый цитируемый источник по его новизне (насколько свеж), авторитетности (насколько надежен) и структуре (тип или формат). Затем мы используем простую статистику, чтобы определить, какие факторы повышают вероятность того, что ИИ процитирует источник. Мы открыто поделимся всеми нашими данными и инструментами. Таким образом, мы сможем привлекать сообщество к улучшениям и постоянно отслеживать поведение ИИ в отношении цитирования.
Разработка эталона синтетических запросов
Для тестирования правил цитирования в ИИ мы будем использовать набор синтетических запросов. Это означает, что мы генерируем большое количество примеров вопросов (промптов) с помощью компьютеров, а не просто собираем реальные пользовательские запросы. Использование синтетических промптов является распространенной практикой в исследованиях. Например, исследователи Google использовали AI-системы для генерации вопросов, когда данные трудно собрать (research.google). Другое исследование показало, что данные вопросов-ответов, сгенерированные ИИ, могут служить хорошей заменой реальным тестовым данным в некоторых условиях (papers.cool).
Наши запросы будут охватывать множество тем (вертикалей) и пользовательских целей. Мы выбираем широкий круг тем, таких как наука, история, здоровье, финансы и повседневные задачи. В рамках каждой темы мы охватываем различные намерения – цель вопроса. Например, некоторые запросы будут фактическими (например, «Какая самая большая планета в нашей Солнечной системе?»), некоторые будут запрашивать инструкции (например, «Как поменять автомобильную шину?»), некоторые — открытые советы (например, «Что следует учитывать при поступлении в колледж?»), и так далее. Смешивая информационные, фактические, аргументативные и социальные типы вопросов (papers.cool), мы гарантируем, что наше тестирование охватывает множество реальных сценариев использования.
Мы можем использовать сами большие языковые модели для помощи в генерации этого набора запросов. Для каждой темы и намерения ИИ может сгенерировать множество вопросов. Затем мы можем их просмотреть и отфильтровать. Окончательный набор может содержать тысячи вопросов для обеспечения достаточной статистической мощности.
Запуск тестов и сбор ссылок
Как только у нас будет набор запросов, мы автоматизируем тестирование. Скрипт или программа будет отправлять каждый синтетический вопрос AI-помощнику (через API или интерфейс) и сохранять ответ. Для каждого ответа мы будем разбирать и извлекать все процитированные источники. AI-помощники часто предоставляют ссылки в виде гиперссылок, сносок или встроенных цитат. Мы записываем каждый источник (например, веб-ссылку или заголовок статьи) вместе с вопросом и ответом.
Эта автоматизация позволяет нам собирать данные в больших масштабах. Вместо ручного задавания каждого вопроса, скрипт может обрабатывать сотни или тысячи запросов пакетами. Мы можем делать это для одной или нескольких AI-систем. Результатом является набор данных (вопрос, ответ, цитируемые источники). Мы также отмечаем, как часто источники цитируются и в каком формате.
Маркировка атрибутов источников
После сбора цитат мы маркируем каждый источник по его ключевым атрибутам. Эти атрибуты помогают нам проверить, что делает источник вероятным для цитирования. Основные атрибуты:
- Новизна: Насколько свеж или актуален источник? Например, новостная статья прошлой недели очень свежая, тогда как учебник 20-летней давности — нет. Новизна важна, потому что более новая информация может быть более релевантной. Предыдущие бенчмарки измеряли новизну как показатель качества для цитирования (papers.cool).
- Авторитетность: Насколько надежен или авторитетен источник? Это может зависеть от того, кто его опубликовал. Например, университетское исследование или государственный веб-сайт обычно обладают высокой авторитетностью, тогда как неизвестный блог может иметь низкую авторитетность. SourceBench, недавнее исследование, назвал «авторитетность» ключевым сигналом качества на уровне страницы (papers.cool).
- Структура: Какой тип или формат у источника? Например, источник может быть научной статьей, новостной статьей, постом на онлайн-форуме или официальным отчетом. Структура может влиять на то, как ИИ его использует. (Даже если наш промпт не предоставляет конкретных примеров структуры, мы определяем ее как тип документа или ясность изложения. SourceBench также упоминал «ясность» как сигнал (papers.cool), что связано с этим.)
Мы можем аннотировать эти атрибуты с помощью автоматических проверок или путем поиска источника. Для новизны мы можем записывать дату публикации. Для авторитетности мы могли бы использовать известные списки авторитетных доменов или описание сайта (например, официальные домены, такие как .gov или .edu, как правило, более авторитетны). Эта маркировка может быть ручной или автоматизированной, но она дает нам значения, такие как «новизна = новая/старая» и «авторитетность = высокая/низкая» для каждого источника.
Анализ и моделирование паттернов цитирования
Имея набор данных из множества примеров (вопрос, ответ, атрибуты источника), мы анализируем данные, чтобы найти закономерности. Мы спрашиваем: какие характеристики лучше всего предсказывают, будет ли ИИ цитировать данный источник?
Мы можем сделать это с помощью простого статистического анализа или машинного обучения. Например, мы можем посмотреть, цитируются ли источники с высокой новизной или высокой авторитетностью чаще. Мы могли бы использовать логистическую регрессию или дерево решений для моделирования «цитировать против не цитировать» в качестве результата. Это покажет нам, какие характеристики (например, новизна, тема или тип вопроса) оказывают наиболее сильное влияние.
Этот шаг аналогичен тому, как исследователи анализируют данные опросов или экспериментов. Это может показать, например, что ИИ предпочитает цитировать источники, которые являются более новыми или более авторитетными. Мы будем искать наиболее сильные предикторы – те атрибуты, которые максимально увеличивают вероятность цитирования. Квантифицируя это, мы по существу «обратно проектируем» правила цитирования: мы выясняем, что помощник, по-видимому, ищет.
Этот подход вдохновлен SourceBench и другими исследованиями, которые оценивают источники по таким метрикам, как новизна и авторитетность (papers.cool). Применяя статистическое моделирование, мы выходим за рамки анекдотов к измеренным тенденциям. Это помогает нам понять, есть ли у ИИ предвзятость к определенным источникам (например, всегда цитирует Википедию или только ведущие сайты).
Бенчмарк с открытым исходным кодом и постоянный мониторинг
После создания этого бенчмарка мы откроем к нему доступ – опубликовав запросы, код и анализ онлайн для всеобщего пользования. Бенчмарки с открытым исходным кодом распространены в исследованиях ИИ, потому что они позволяют другим использовать и улучшать тесты. Например, многие крупномасштабные наборы данных, такие как для языкового перевода или ответов на вопросы, публикуются в открытом доступе. Мы планируем разместить наш набор запросов и результаты на платформе, такой как GitHub. Это позволит другим исследователям и разработчикам проверять своих AI-помощников с помощью нашего бенчмарка.
Мы также рекомендуем постоянный мониторинг. AI-помощники часто меняются (обновляются, появляются новые версии и т.д.). Мы предлагаем регулярный график повторного запуска тестов. Например, каждый раз, когда ИИ получает крупное обновление, или по фиксированному циклу (например, ежемесячно). Это похоже на идею «пожизненных бенчмарков», которые расширяют и обновляют наборы тестов со временем, чтобы избежать стагнации (huggingface.co). Постоянно добавляя новые вопросы и повторяя запуски, мы можем отслеживать любые изменения в поведении цитирования. Если ИИ внезапно начнет цитировать больше устаревших сайтов, или если он научится цитировать лучшие источники, мы это увидим.
Автоматизация этого мониторинга означает, что мы можем отслеживать тенденции. Команды могут получать оповещения, если что-то резко меняется. Это похоже на мониторинг дрейфа модели в машинном обучении, но сфокусированный на цитировании. Сочетание нашего бенчмарка с регулярными запусками гарантирует, что AI-помощники будут следовать правилам предоставления источников.
Заключение
Таким образом, мы предлагаем комплексный план для исследования правил цитирования AI-помощников. Разработав большой и разнообразный набор тестовых вопросов, автоматически пропуская их через AI-системы и тщательно маркируя цитируемые источники по таким атрибутам, как новизна и авторитетность, мы можем использовать статистику для выявления факторов, влияющих на цитирование. Наш метод подкреплен недавними исследованиями, которые подчеркивают важность проверяемости (www.axios.com) (doaj.org) и инновационными бенчмарками, изучающими качество источников (papers.cool) и синтетические данные (papers.cool) (research.google). Открыв доступ к бенчмарку и регулярно отслеживая результаты, мы помогаем создать прозрачный способ обеспечения того, чтобы AI-помощники цитировали надежную информацию. Эта работа может повысить доверие к ИИ, проливая свет на скрытые правила цитирования и направляя разработчиков к созданию более качественных и ответственных систем.
