Auto
서론
현대 AI 어시스턴트 (ChatGPT 또는 Bing Chat과 같은 챗봇)는 종종 사용자 질문에 답하고 출처를 인용하여 “자신들의 작업을 보여주려고” 노력합니다. 하지만 연구에 따르면 많은 답변에 잘못되거나 누락된 인용이 포함되어 있습니다. 예를 들어, 스탠퍼드 연구원들은 AI 챗봇 답변의 약 절반이 근거 없는 진술이나 잘못된 인용을 포함하고 있음을 발견했습니다 (www.axios.com). 의료 테스트에서는 새로운 AI 도구가 인용한 출처에 의해 뒷받침되지 않는 답변을 제공하는 경우가 많았습니다 (doaj.org). 이러한 문제들은 AI 어시스턴트의 인용 행동을 테스트하는 더 나은 방법이 필요하다는 것을 의미합니다.
AI가 무엇을 인용할지 어떻게 선택하는지 이해하기 위해, 우리는 대규모 테스트 계획을 제안합니다. 우리는 다양한 주제 영역과 질문 유형을 다루는 많은 합성 쿼리 (가상의 질문)를 만들 것입니다. 이 쿼리들을 AI 어시스턴트를 통해 자동으로 실행하고, 그들의 답변과 인용을 수집하며, 각 인용 출처를 최신성 (얼마나 최근인지), 권위 (얼마나 신뢰할 수 있는지), 그리고 구조 (유형 또는 형식)별로 라벨링할 것입니다. 그런 다음, 어떤 요인이 AI가 출처를 인용할 가능성을 높이는지 알아보기 위해 간단한 통계를 사용할 것입니다. 우리는 모든 데이터와 도구를 공개적으로 공유할 것입니다. 이러한 방식으로, 우리는 개선 사항을 크라우드 소싱하고 AI 인용 행동을 시간 경과에 따라 지속적으로 모니터링할 수 있습니다.
합성 쿼리 벤치마크 설계
AI의 인용 규칙을 테스트하기 위해 합성 쿼리 세트를 사용할 것입니다. 이는 실제 사용자 쿼리를 수집하는 대신, 컴퓨터를 사용하여 대량의 예시 질문(프롬프트)을 생성한다는 의미입니다. 합성 프롬프트를 사용하는 것은 연구에서 일반적입니다. 예를 들어, 구글 연구원들은 데이터 수집이 어려운 경우 AI 시스템을 사용하여 질문을 생성했습니다 (research.google). 또 다른 연구에서는 AI가 생성한 질문-답변 데이터가 특정 환경에서 실제 테스트 데이터를 잘 대체할 수 있음을 보여주었습니다 (papers.cool).
우리의 쿼리는 다양한 **주제(수직 분야)**와 사용자 목표를 아우를 것입니다. 우리는 과학, 역사, 건강, 금융, 일상 업무 등 광범위한 주제를 선택합니다. 각 주제 내에서, 우리는 질문의 목적, 즉 다양한 의도를 다룰 것입니다. 예를 들어, 어떤 쿼리는 사실적 질문("우리 태양계에서 가장 큰 행성은 무엇인가요?")일 것이고, 어떤 쿼리는 방법 지시("자동차 타이어는 어떻게 교체하나요?")를 요청할 것이며, 어떤 쿼리는 개방형 조언("대학 지원 시 무엇을 고려해야 하나요?")을 요청하는 식입니다. 정보성, 사실성, 논쟁성, 사회성 유형의 질문을 혼합함으로써 (papers.cool), 우리의 테스트가 많은 실제 사용 사례를 포괄하도록 보장합니다.
우리는 이 쿼리 세트를 생성하는 데 대규모 언어 모델 자체를 활용할 수도 있습니다. 각 주제와 의도에 대해 AI는 여러 질문을 생성할 수 있습니다. 그런 다음 이를 검토하고 필터링할 수 있습니다. 최종 세트에는 충분한 통계적 유의미성을 확보하기 위해 수천 개의 질문이 포함될 수 있습니다.
테스트 실행 및 인용 포착
쿼리 세트가 준비되면 테스트를 자동화합니다. 스크립트나 프로그램이 각 합성 질문을 AI 어시스턴트(API 또는 인터페이스를 통해)에 전송하고 응답을 저장할 것입니다. 각 답변에 대해 인용된 출처를 파싱하고 추출합니다. AI 어시스턴트는 종종 링크, 각주 또는 내장된 인용 형태로 참고 자료를 제공합니다. 우리는 각 출처(예: 웹 링크 또는 기사 제목)를 질문 및 답변과 함께 기록합니다.
이러한 자동화를 통해 대규모 데이터 수집이 가능합니다. 각 질문을 수동으로 묻는 대신, 스크립트가 수백 또는 수천 개의 쿼리를 일괄적으로 실행할 수 있습니다. 우리는 이를 하나 또는 여러 AI 시스템에 대해 수행할 수 있습니다. 출력은 (질문, 답변, 인용 출처) 데이터 세트입니다. 또한 출처가 얼마나 자주 인용되는지, 어떤 형식으로 인용되는지도 기록합니다.
출처 속성 라벨링
인용 자료를 수집한 후, 우리는 각 출처를 주요 속성별로 라벨링합니다. 이러한 속성들은 어떤 요인이 출처가 인용될 가능성을 높이는지 테스트하는 데 도움이 됩니다. 주요 속성은 다음과 같습니다:
- 최신성: 출처가 얼마나 최근이거나 최신 정보입니까? 예를 들어, 지난주 뉴스 기사는 매우 최신이지만, 20년 전 교과서는 그렇지 않습니다. 최신 정보가 더 관련성이 높을 수 있으므로 최신성은 중요합니다. 이전 벤치마크는 최신성을 인용의 품질 신호로 측정했습니다 (papers.cool).
- 권위: 출처가 얼마나 신뢰할 수 있거나 권위 있습니까? 이는 누가 발행했는지에 기반할 수 있습니다. 예를 들어, 대학 연구나 정부 웹사이트는 일반적으로 높은 권위를 가지지만, 알려지지 않은 블로그는 낮은 권위를 가질 수 있습니다. 최근 연구인 SourceBench는 “권위”를 품질에 대한 주요 페이지 수준 신호로 언급했습니다 (papers.cool).
- 구조: 출처의 유형 또는 형식은 무엇입니까? 예를 들어, 출처는 연구 논문, 뉴스 기사, 온라인 포럼 게시물, 또는 공식 보고서일 수 있습니다. 구조는 AI가 출처를 사용하는 방식에 영향을 미칠 수 있습니다. (우리의 프롬프트가 구조의 특정 예를 제공하지 않더라도, 우리는 이를 문서 유형 또는 글쓰기의 명확성으로 정의합니다. SourceBench는 또한 “명확성”을 관련 신호로 언급했습니다 (papers.cool).)
우리는 자동화된 확인 또는 출처 조회를 통해 이러한 속성을 주석 처리할 수 있습니다. 최신성의 경우 발행일을 기록할 수 있습니다. 권위의 경우, 신뢰할 수 있는 도메인 목록이나 사이트 설명(예: .gov 또는 .edu와 같은 공식 도메인이 더 권위 있는 경향이 있음)을 사용할 수 있습니다. 이 라벨링은 수동 또는 자동일 수 있지만, 각 출처에 대해 “최신성 = 신규/오래됨” 및 “권위 = 높음/낮음”과 같은 값을 제공합니다.
인용 패턴 분석 및 모델링
많은 (질문, 답변, 출처 속성) 예시로 구성된 데이터 세트를 가지고, 우리는 데이터를 분석하여 패턴을 찾습니다. 우리는 질문합니다: 어떤 특징이 AI가 특정 출처를 인용할지 여부를 가장 잘 예측합니까?
우리는 간단한 통계 분석 또는 기계 학습을 통해 이를 수행할 수 있습니다. 예를 들어, 최신성이 높거나 권위가 높은 출처가 더 자주 인용되는지 확인할 수 있습니다. 우리는 로지스틱 회귀 또는 의사 결정 트리를 사용하여 “인용 여부”를 결과로 모델링할 수 있습니다. 이는 어떤 특징(최신성, 주제 또는 질문 유형 등)이 가장 강력한 영향을 미치는지 알려줍니다.
이 단계는 연구자들이 설문조사 또는 실험 데이터를 분석하는 방식과 유사합니다. 예를 들어, AI가 더 최신이거나 더 권위 있는 출처를 인용하는 것을 선호한다는 사실을 밝힐 수 있습니다. 우리는 인용 가능성을 가장 높이는 속성인 가장 강력한 예측 변수를 찾을 것입니다. 이를 정량화함으로써, 우리는 본질적으로 인용 규칙을 “역설계”합니다: 어시스턴트가 무엇을 찾고 있는지를 알아내는 것입니다.
이 접근 방식은 SourceBench와 최신성 및 권위와 같은 지표로 출처를 평가하는 다른 연구들로부터 영감을 받았습니다 (papers.cool). 통계 모델링을 적용함으로써, 우리는 일화적인 것을 넘어 측정된 경향을 파악합니다. 이는 AI가 특정 출처(예: 항상 위키백과를 인용하거나 상위 사이트만 인용하는 등)에 대한 편향을 가지고 있는지 이해하는 데 도움이 됩니다.
오픈 소스 벤치마크 및 지속적인 모니터링
이 벤치마크를 구축한 후, 우리는 쿼리, 코드, 분석을 온라인에 공개하여 모든 사람에게 오픈 소스화할 것입니다. 오픈 소스 벤치마크는 다른 사람들이 테스트를 사용하고 개선할 수 있도록 하기 때문에 AI 연구에서 흔합니다. 예를 들어, 언어 번역이나 질문 답변을 위한 많은 대규모 데이터 세트는 공개적으로 공유됩니다. 우리는 우리의 쿼리 세트와 결과를 GitHub와 같은 플랫폼에 게시할 계획입니다. 이를 통해 다른 연구원과 개발자들이 우리의 벤치마크에 대해 자신의 AI 어시스턴트를 확인할 수 있습니다.
우리는 또한 지속적인 모니터링을 권장합니다. AI 어시스턴트는 자주 변경됩니다(업데이트, 새 버전 출시 등). 우리는 테스트를 재실행하기 위한 정기적인 일정을 제안합니다. 예를 들어, AI가 대규모 업데이트를 받을 때마다 또는 정해진 주기(예: 매월)로 실행하는 것입니다. 이는 정체를 피하기 위해 시간이 지남에 따라 테스트 세트를 확장하고 업데이트하는 “평생 벤치마크”의 개념과 유사합니다 (huggingface.co). 지속적으로 새로운 질문을 추가하고 재실행함으로써, 우리는 인용 행동의 변화를 감지할 수 있습니다. 만약 AI가 갑자기 더 오래된 사이트를 인용하기 시작하거나, 더 나은 출처를 인용하는 법을 배운다면, 우리는 그것을 알게 될 것입니다.
이러한 모니터링을 자동화함으로써 우리는 추세를 추적할 수 있습니다. 무언가 극적으로 변하면 팀은 알림을 받을 수 있습니다. 이는 기계 학습의 모델 드리프트 모니터링과 유사하지만, 인용에 초점을 맞춘 것입니다. 우리의 벤치마크를 정기적인 실행과 결합하면 AI 어시스턴트가 출처를 제공하는 방식에서 제대로 작동하는지 확인할 수 있습니다.
결론
요약하자면, 우리는 AI 어시스턴트의 인용 규칙을 탐색하기 위한 포괄적인 계획을 제안합니다. 크고 다양한 테스트 질문 세트를 설계하고, AI 시스템을 통해 자동으로 실행하며, 최신성 및 권위와 같은 속성별로 인용된 출처를 신중하게 라벨링함으로써, 통계를 사용하여 인용에 영향을 미치는 요소를 밝혀낼 수 있습니다. 우리의 방법은 검증 가능성의 중요성을 강조하는 최신 연구 (www.axios.com) (doaj.org) 및 출처 품질 (papers.cool) 및 합성 데이터 (papers.cool) (research.google)를 연구하는 혁신적인 벤치마크에 의해 뒷받침됩니다. 벤치마크를 오픈 소스화하고 결과를 정기적으로 모니터링함으로써, 우리는 AI 어시스턴트가 신뢰할 수 있는 정보를 인용하도록 보장하는 투명한 방법을 만드는 데 기여합니다. 이 작업은 인용의 숨겨진 규칙을 밝히고 개발자들이 더 나은, 책임감 있는 시스템을 만들도록 안내함으로써 AI에 대한 신뢰를 향상시킬 수 있습니다.
