Syntetisk forespørgselstest: Undersøgelse af assistenter for at kortlægge citeringsregler

Introduktion

Moderne AI-assistenter (chatbots som ChatGPT eller Bing Chat) forsøger ofte at besvare brugerforespørgsler og "vise deres arbejde" ved at citere kilder. Studier viser dog, at mange svar har dårlige eller manglende citater. For eksempel fandt Stanford-forskere, at omkring halvdelen af AI-chatsvar indeholdt ubegrundede udsagn eller forkerte citater (www.axios.com). I medicinske tests gav nye AI-værktøjer ofte svar, der ikke var understøttet af de kilder, de citerede (doaj.org). Disse problemer betyder, at vi har brug for bedre måder at teste AI-assistenters citeringsadfærd på.

For at forstå, hvordan en AI vælger, hvad den citerer, foreslår vi en storstilet testplan. Vi vil skabe mange syntetiske forespørgsler (opdigtede spørgsmål), der dækker forskellige fagområder og spørgsmålstyper. Vi vil automatisk køre disse gennem AI-assistenter, indsamle deres svar og citater og mærke hver citeret kilde efter dens aktualitet (hvor ny), autoritet (hvor troværdig) og struktur (type eller format). Derefter bruger vi simpel statistik til at se, hvilke faktorer der gør det mere sandsynligt, at en AI vil citere en kilde. Vi vil dele alle vores data og værktøjer åbent. På denne måde kan vi crowdsource forbedringer og fortsat overvåge AI's citeringsadfærd over tid.

Design af en syntetisk forespørgselsbenchmark

For at teste citeringsregler i AI vil vi bruge et sæt af syntetiske forespørgsler. Dette betyder, at vi genererer et stort antal eksempelspørgsmål (prompts) ved hjælp af computere, snarere end blot at indsamle reelle brugerforespørgsler. Brugen af syntetiske prompts er almindelig inden for forskning. For eksempel har Google-forskere brugt AI-systemer til at generere spørgsmål, når data er svære at indsamle (research.google). En anden undersøgelse viste, at AI-genererede spørgsmål-svar-data kan være en god erstatning for ægte testdata i visse sammenhænge (papers.cool).

Vores forespørgsler vil dække mange emner (vertikaler) og brugerformål. Vi vælger et bredt spektrum af emner som videnskab, historie, sundhed, finans og dagligdagsopgaver. Inden for hvert emne dækker vi forskellige intentioner – spørgsmålets formål. For eksempel vil nogle forespørgsler være faktuelle (som "Hvad er den største planet i vores solsystem?"), nogle vil bede om instruktioner ("Hvordan skifter jeg et bildæk?"), nogle om åben rådgivning ("Hvad skal jeg overveje, når jeg søger ind på universitetet?"), og så videre. Ved at blande informative, faktuelle, argumentative og sociale spørgsmålstyper (papers.cool), sikrer vi, at vores test dækker mange virkelige anvendelser.

Vi kunne bruge store sprogmodeller selv til at hjælpe med at generere dette sæt af forespørgsler. For hvert emne og hver intention kan en AI producere mange spørgsmål. Vi kan derefter gennemgå og filtrere dem. Det endelige sæt kan indeholde tusindvis af spørgsmål for at give os god statistisk styrke.

Udførelse af tests og indfangning af citater

Når vi har vores sæt af forespørgsler, automatiserer vi testningen. Et script eller program sender hvert syntetisk spørgsmål til AI-assistenten (via en API eller grænseflade) og gemmer svaret. For hvert svar parser og udtrækker vi eventuelle citerede kilder. AI-assistenter giver ofte referencer som links, fodnoter eller indlejrede citater. Vi registrerer hver kilde (f.eks. et weblink eller en artikel titel) sammen med spørgsmålet og svaret.

Denne automatisering giver os mulighed for at indsamle data i stor skala. I stedet for manuelt at stille hvert spørgsmål, kan scriptet køre gennem alle hundreder eller tusinder af forespørgsler i et batch. Vi kan gøre dette for et eller flere AI-systemer. Outputtet er et datasæt af (spørgsmål, svar, citerede kilder). Vi noterer også, hvor ofte kilder citeres, og i hvilket format.

Mærkning af kildeattributter

Efter at have indsamlet citater, mærker vi hver kilde efter dens nøgleattributter. Disse attributter hjælper os med at teste, hvad der gør en kilde sandsynlig at blive citeret. Hovedattributterne er:

• Aktualitet: Hvor ny eller opdateret er kilden? For eksempel er en nyhedsartikel fra sidste uge meget aktuel, mens en lærebog fra 20 år siden ikke er. Aktualitet er vigtigt, fordi nyere information kan være mere relevant. Tidligere benchmarks har målt aktualitet som et kvalitetssignal for citater (papers.cool).
• Autoritet: Hvor troværdig eller autoritativ er kilden? Dette kan baseres på, hvem der har udgivet den. For eksempel har et universitetsstudie eller en regeringshjemmeside normalt høj autoritet, mens en ukendt blog kan have lav autoritet. SourceBench, en nylig undersøgelse, listede "autoritet" som et centralt side-niveau signal for kvalitet (papers.cool).
• Struktur: Hvilken type eller hvilket format har kilden? For eksempel kan en kilde være en videnskabelig artikel, en nyhedsartikel, et online forumindlæg eller en officiel rapport. Strukturen kan påvirke, hvordan en AI bruger den. (Selvom vores prompt ikke giver specifikke eksempler på struktur, definerer vi det som dokumenttypen eller klarheden i skrivningen. SourceBench nævnte også "klarhed" som et signal (papers.cool), hvilket er relateret.)

Vi kan annotere disse attributter ved hjælp af automatiserede checks eller ved at slå kilden op. For aktualitet kan vi registrere udgivelsesdatoen. For autoritet kunne vi bruge kendte lister over anerkendte domæner eller webstedets beskrivelse (f.eks. officielle domæner som .gov eller .edu har en tendens til at være mere autoritative). Denne mærkning kan være manuel eller automatiseret, men den giver os værdier som "aktualitet = ny/gammel" og "autoritet = høj/lav" for hver kilde.

Analyse og modellering af citeringsmønstre

Med et datasæt af mange (spørgsmål, svar, kildeattributter) eksempler analyserer vi dataene for at finde mønstre. Vi spørger: hvilke funktioner forudsiger bedst, om en AI vil citere en given kilde?

Vi kan gøre dette ved simpel statistisk analyse eller maskinlæring. For eksempel kan vi se, om kilder med høj aktualitet eller høj autoritet citeres oftere. Vi kunne bruge en logistisk regression eller et beslutningstræ til at modellere "citeret vs. ikke citeret" som resultatet. Dette fortæller os, hvilke funktioner (såsom aktualitet eller emne eller spørgsmålstype) der har den stærkeste effekt.

Dette trin ligner den måde, forskere analyserer spørgeskema- eller eksperimentelle data på. Det kan f.eks. afsløre, at AI'en foretrækker at citere kilder, der er nyere eller mere autoritative. Vi ville lede efter de stærkeste prædiktorer – de attributter, der mest øger chancen for et citat. Ved at kvantificere dette, "reverse-engineer" vi i det væsentlige citeringsreglerne: vi finder ud af, hvad assistenten ser ud til at lede efter.

Denne tilgang er inspireret af SourceBench og andre studier, der scorer kilder på metrikker som aktualitet og autoritet (papers.cool). Ved at anvende statistisk modellering bevæger vi os ud over anekdoter til målte tendenser. Dette hjælper os med at forstå, om AI'en har en bias over for visse kilder (f.eks. altid citerer Wikipedia eller kun citerer topwebsteder).

Open Source-benchmark og løbende overvågning

Efter at have bygget denne benchmark, vil vi open source den – udgive forespørgslerne, koden og analysen online til alle. Open source-benchmarks er almindelige i AI-forskning, fordi de lader andre bruge og forbedre testene. For eksempel deles mange store datasæt, som dem til sprogoversættelse eller spørgsmål og svar, offentligt. Vi planlægger at placere vores forespørgselssæt og resultater på en platform som GitHub. Dette giver andre forskere og udviklere mulighed for at kontrollere deres egne AI-assistenter mod vores benchmark.

Vi anbefaler også løbende overvågning. AI-assistenter ændrer sig ofte (de opdateres, nye versioner osv.). Vi foreslår en regelmæssig tidsplan for genkørsel af testene. For eksempel, hver gang AI'en får en stor opdatering eller i en fast cyklus (som månedligt). Dette ligner idéen om "livslange benchmarks", som udvider og opdaterer testsæt over tid for at undgå stagnation (huggingface.co). Ved løbende at tilføje nye spørgsmål og genkøre, kan vi fange eventuelle ændringer i citeringsadfærd. Hvis AI'en pludselig begynder at citere flere forældede sider, eller hvis den lærer at citere bedre kilder, vil vi se det.

Automatisering af denne overvågning betyder, at vi kan spore tendenser. Teams kan få advarsler, hvis noget ændrer sig dramatisk. Dette er som modeldriftsovervågning inden for maskinlæring, men fokuseret på citater. Kombinationen af vores benchmark med regelmæssige kørsler sikrer, at AI-assistenter holder sig på sporet i, hvordan de giver kilder.

Konklusion

Sammenfattende foreslår vi en omfattende plan for at undersøge AI-assistenters citeringsregler. Ved at designe et stort og varieret sæt af testspørgsmål, køre dem automatisk gennem AI-systemer og omhyggeligt mærke de citerede kilder efter attributter som aktualitet og autoritet, kan vi bruge statistik til at afdække de faktorer, der påvirker citeringspraksis. Vores metode er understøttet af nyere forskning, der understreger vigtigheden af verificerbarhed (www.axios.com) (doaj.org) og innovative benchmarks, der studerer kildekvalitet (papers.cool) og syntetiske data (papers.cool) (research.google). Ved at open source benchmarken og regelmæssigt overvåge resultaterne hjælper vi med at skabe en gennemsigtig måde at sikre, at AI-assistenter citerer pålidelig information. Dette arbejde kan forbedre tilliden til AI ved at kaste lys over de skjulte citeringsregler og guide udviklere til at skabe bedre, mere ansvarlige systemer.