Auto
Introduksjon
Moderne AI-assistenter (chatroboter som ChatGPT eller Bing Chat) prøver ofte å svare på brukeres spørsmål og "vise sitt arbeid" ved å henvise til kilder. Imidlertid viser studier at mange svar har dårlige eller manglende kildehenvisninger. For eksempel fant Stanford-forskere at omtrent halvparten av AI-chatteres svar inneholdt udokumenterte utsagn eller feil kildehenvisninger (www.axios.com). I medisinske tester ga nye AI-verktøy ofte svar som ikke ble støttet av kildene de siterte (doaj.org). Disse problemene betyr at vi trenger bedre måter å teste AI-assistenters kildehenvisningsatferd på.
For å forstå hvordan en AI velger hva den skal sitere, foreslår vi en storskala testplan. Vi vil lage mange syntetiske spørringer (oppdiktede spørsmål) som dekker forskjellige fagområder og spørsmålstyper. Disse vil vi kjøre automatisk gjennom AI-assistenter, samle inn deres svar og kildehenvisninger, og merke hver siterte kilde etter dens aktualitet (hvor nylig), autoritet (hvor pålitelig), og struktur (type eller format). Deretter bruker vi enkel statistikk for å se hvilke faktorer som gjør det mer sannsynlig at en AI vil sitere en kilde. Vi vil dele alle våre data og verktøy åpent. På denne måten kan vi folkefinansiere forbedringer og fortsette å overvåke AI-ens kildehenvisningsatferd over tid.
Design av en syntetisk spørringsbenchmark
For å teste kildehenvisningsregler i AI, vil vi bruke et sett med syntetiske spørringer. Dette betyr at vi genererer et stort antall eksempelspørsmål (prompter) ved hjelp av datamaskiner, i stedet for bare å samle inn ekte brukerforespørsler. Bruk av syntetiske prompter er vanlig i forskning. For eksempel har Google-forskere brukt AI-systemer til å generere spørsmål når data er vanskelig å samle inn (research.google). En annen studie viste at AI-genererte spørsmål-svar-data kan være en god erstatning for ekte testdata i visse innstillinger (papers.cool).
Våre spørringer vil spenne over mange temaer (vertikaler) og brukerens mål. Vi velger et bredt spekter av emner som vitenskap, historie, helse, finans og hverdagsoppgaver. Innenfor hvert emne dekker vi forskjellige intensjoner – formålet med spørsmålet. For eksempel vil noen spørringer være faktuelle (som "Hva er den største planeten i vårt solsystem?"), noen vil be om hvordan-gjøre-instruksjoner ("Hvordan skifter jeg et bildekk?"), noen om åpne råd ("Hva bør jeg vurdere når jeg søker college?"), og så videre. Ved å blande informative, faktuelle, argumenterende og sosiale spørsmålstyper (papers.cool), sikrer vi at testen vår dekker mange bruksområder i den virkelige verden.
Vi kan bruke store språkmodeller selv for å generere dette spørringssettet. For hvert emne og hver intensjon kan en AI produsere mange spørsmål. Vi kan deretter gjennomgå og filtrere dem. Det endelige settet kan inneholde tusenvis av spørsmål for å gi oss god statistisk styrke.
Kjøre tester og fange kildehenvisninger
Når vi har spørringssettet vårt, automatiserer vi testingen. Et skript eller program vil sende hvert syntetiske spørsmål til AI-assistenten (via en API eller et grensesnitt) og lagre svaret. For hvert svar analyserer vi og trekker ut eventuelle kildehenvisninger. AI-assistenter gir ofte referanser som lenker, fotnoter eller innebygde sitater. Vi registrerer hver kilde (for eksempel en nettlenke eller artikkel-tittel) sammen med spørsmålet og svaret.
Denne automatiseringen lar oss samle inn data i stor skala. I stedet for manuelt å stille hvert spørsmål, kan skriptet kjøre gjennom alle hundrevis eller tusenvis av spørringer i en batch. Vi kan gjøre dette for ett eller flere AI-systemer. Resultatet er et datasett med (spørsmål, svar, siterte kilder). Vi noterer også hvor ofte kilder siteres og i hvilket format.
Merking av kildeattributter
Etter å ha samlet inn kildehenvisninger, merker vi hver kilde med dens viktigste attributter. Disse attributtene hjelper oss med å teste hva som gjør en kilde sannsynlig å bli sitert. De viktigste attributtene er:
- Aktualitet: Hvor nylig eller oppdatert er kilden? For eksempel er en nyhetsartikkel fra forrige uke veldig aktuell, mens en lærebok fra 20 år siden ikke er det. Aktualitet er viktig fordi nyere informasjon kan være mer relevant. Tidligere benchmarks har målt aktualitet som et kvalitetssignal for kildehenvisninger (papers.cool).
- Autoritet: Hvor pålitelig eller autoritativ er kilden? Dette kan baseres på hvem som publiserte den. For eksempel har en universitetsstudie eller en offentlig nettside vanligvis høy autoritet, mens en ukjent blogg kan ha lav autoritet. SourceBench, en fersk studie, listet "autoritet" som et viktig signal på sidenivå for kvalitet (papers.cool).
- Struktur: Hvilken type eller hvilket format har kilden? For eksempel kan en kilde være en forskningsartikkel, en nyhetsartikkel, et innlegg på nettforum, eller en offisiell rapport. Strukturen kan påvirke hvordan en AI bruker den. (Selv om vår prompt ikke gir spesifikke eksempler på struktur, definerer vi det som dokumenttypen eller klarheten i skrivingen. SourceBench nevnte også "klarhet" som et signal (papers.cool), som er relatert.)
Vi kan annotere disse attributtene ved automatiserte kontroller eller ved å slå opp kilden. For aktualitet kan vi registrere publiseringsdatoen. For autoritet kan vi bruke kjente lister over anseelige domener eller nettstedets beskrivelse (for eksempel pleier offisielle domener som .gov eller .edu å være mer autoritative). Denne merkingen kan være manuell eller automatisert, men den gir oss verdier som "aktualitet = ny/gammel" og "autoritet = høy/lav" for hver kilde.
Analysere og modellere kildehenvisningsmønstre
Med et datasett bestående av mange (spørsmål, svar, kildeattributter) eksempler, analyserer vi dataene for å finne mønstre. Vi spør: hvilke egenskaper forutsier best om en AI vil sitere en gitt kilde?
Vi kan gjøre dette ved enkel statistisk analyse eller maskinlæring. For eksempel kan vi se om kilder med høy aktualitet eller høy autoritet siteres oftere. Vi kan bruke en logistisk regresjon eller et beslutningstre for å modellere "sitering vs. ikke-sitering" som resultat. Dette forteller oss hvilke egenskaper (som aktualitet eller emne eller spørsmålstype) som har sterkest effekt.
Dette trinnet ligner på hvordan forskere analyserer spørreundersøkelses- eller eksperimentelle data. Det kan for eksempel avsløre at AI-en foretrekker å sitere kilder som er nyere eller mer autoritative. Vi vil se etter de sterkeste prediktorene – de attributtene som mest øker sjansen for en kildehenvisning. Ved å kvantifisere dette, "revers-konstruerer" vi i hovedsak kildehenvisningsreglene: vi finner ut hva assistenten ser ut til å se etter.
Denne tilnærmingen er inspirert av SourceBench og andre studier som rangerer kilder på beregninger som aktualitet og autoritet (papers.cool). Ved å anvende statistisk modellering, går vi utover anekdoter til målte trender. Dette hjelper oss å forstå om AI-en har en skjevhet mot visse kilder (for eksempel alltid siterer Wikipedia eller bare siterer toppnettsteder).
Åpen kildekode-benchmark og kontinuerlig overvåking
Etter å ha bygget denne benchmarken, vil vi offentliggjøre den som åpen kildekode – publisere spørringene, koden og analysene online for alle. Åpne kildekode-benchmarks er vanlige i AI-forskning fordi de lar andre bruke og forbedre testene. For eksempel deles mange storskala datasett, som de for språkoversettelse eller spørsmål-svar, offentlig. Vi planlegger å legge spørringssettet og resultatene våre på en plattform som GitHub. Dette gjør at andre forskere og utviklere kan sjekke sine egne AI-assistenter mot vår benchmark.
Vi anbefaler også kontinuerlig overvåking. AI-assistenter endrer seg ofte (de blir oppdatert, nye versjoner osv.). Vi foreslår en jevnlig tidsplan for å kjøre testene på nytt. For eksempel, hver gang AI-en får en stor oppdatering eller i en fast syklus (som månedlig). Dette ligner på ideen om "livslange benchmarks", som utvider og oppdaterer testsettene over tid for å unngå stagnasjon (huggingface.co). Ved kontinuerlig å legge til nye spørsmål og kjøre på nytt, kan vi fange opp eventuelle endringer i kildehenvisningsatferden. Hvis AI-en plutselig begynner å sitere mer utdaterte nettsteder, eller hvis den lærer å sitere bedre kilder, vil vi se det.
Automatisering av denne overvåkingen betyr at vi kan spore trender. Team kan få varsler hvis noe endres dramatisk. Dette er som overvåking av modelldrift i maskinlæring, men fokusert på kildehenvisninger. Kombinering av vår benchmark med regelmessige kjøringer sikrer at AI-assistenter holder seg på sporet i hvordan de oppgir kilder.
Konklusjon
Oppsummert foreslår vi en omfattende plan for å undersøke AI-assistenters kildehenvisningsregler. Ved å designe et stort og variert sett med testspørsmål, kjøre dem automatisk gjennom AI-systemer, og nøye merke de siterte kildene etter attributter som aktualitet og autoritet, kan vi bruke statistikk til å avdekke faktorene som påvirker kildehenvisninger. Vår metode er støttet av nylig forskning som understreker viktigheten av verifiserbarhet (www.axios.com) (doaj.org) og innovative benchmarks som studerer kildekvalitet (papers.cool) og syntetiske data (papers.cool) (research.google). Ved å offentliggjøre benchmarken som åpen kildekode og regelmessig overvåke resultatene, bidrar vi til å skape en transparent måte å sikre at AI-assistenter siterer pålitelig informasjon. Dette arbeidet kan forbedre tilliten til AI ved å kaste lys over de skjulte reglene for kildehenvisninger og veilede utviklere til å lage bedre, mer ansvarlige systemer.
