Auto
Sissejuhatus
Tänapäevased tehisintellekti assistendid (vestlusrobotid nagu ChatGPT või Bing Chat) püüavad sageli vastata kasutajate küsimustele ja „näidata oma tööd” allikaid viidates. Uuringud näitavad aga, et paljudel vastustel on puudulikud või valed viited. Näiteks leidsid Stanfordi teadlased, et umbes pooled tehisintellekti vestlusrobotite vastustest sisaldasid toetamata väiteid või valesid viiteid (www.axios.com). Meditsiinilistes testides andsid uued tehisintellekti tööriistad sageli vastuseid, mis ei olnud toetatud nende poolt viidatud allikatega (doaj.org). Need probleemid tähendavad, et vajame paremaid viise tehisintellekti assistentide viitamiskäitumise testimiseks.
Et mõista, kuidas tehisintellekt valib, mida viidata, pakume välja laiaulatusliku testimiskava. Loome palju sünteetilisi päringuid (väljamõeldud küsimusi), mis hõlmavad erinevaid teemavaldkondi ja küsimusetüüpe. Käivitame need automaatselt tehisintellekti assistentide kaudu, kogume nende vastused ja viited ning märgistame iga viidatud allika selle värskuse (kui hiljutine), autoriteetsuse (kui usaldusväärne) ja struktuuri (tüüp või formaat) järgi. Seejärel kasutame lihtsat statistikat, et näha, millised tegurid muudavad allika tehisintellekti poolt viitamise tõenäolisemaks. Jagame kõiki oma andmeid ja tööriistu avalikult. Sel viisil saame kaasata parandusi ja jälgida tehisintellekti viitamiskäitumist aja jooksul.
Sünteetiliste päringute võrdlusaluse kavandamine
Tehisintellekti viitamisreeglite testimiseks kasutame sünteetilist päringukogumit. See tähendab, et genereerime arvutite abil suure hulga näidisküsimusi (viipasid), mitte ainult ei kogu tegelikke kasutajapäringuid. Sünteetiliste viipade kasutamine on teadustöös tavaline. Näiteks on Google'i teadlased kasutanud tehisintellekti süsteeme küsimuste genereerimiseks, kui andmeid on raske koguda (research.google). Teine uuring näitas, et tehisintellekti loodud küsimuste-vastuste andmed võivad teatud seadetes olla heaks asendajaks tegelikele testandmetele (papers.cool).
Meie päringud hõlmavad paljusid teemasid (vertikaale) ja kasutaja eesmärke. Valime laia valiku teemasid, nagu teadus, ajalugu, tervis, rahandus ja igapäevased ülesanded. Iga teema raames käsitleme erinevaid eesmärke – küsimuse otstarvet. Näiteks on mõned päringud faktilised (nagu „Mis on meie päikesesüsteemi suurim planeet?”), mõned küsivad juhiseid („Kuidas ma vahetan auto rehvi?”), mõned küsivad avatud nõuandeid („Mida peaksin arvestama kolledžisse kandideerimisel?”) ja nii edasi. Segades informatiivseid, faktilisi, argumenteerivaid ja sotsiaalseid küsimusetüüpe (papers.cool), tagame, et meie test hõlmab paljusid reaalse maailma kasutusviise.
Võime kasutada suuremahulisi keelemudeleid endid, et aidata seda päringukogumit genereerida. Iga teema ja eesmärgi kohta saab tehisintellekt luua palju küsimusi. Seejärel saame neid üle vaadata ja filtreerida. Lõplik kogum võib sisaldada tuhandeid küsimusi, et anda meile hea statistiline võimsus.
Testide käivitamine ja viidete kogumine
Kui meie päringukogum on valmis, automatiseerime testimise. Skript või programm saadab iga sünteetilise küsimuse tehisintellekti assistendile (API või liidese kaudu) ja salvestab vastuse. Iga vastuse puhul analüüsime ja eraldame kõik viidatud allikad. Tehisintellekti assistendid esitavad viiteid sageli linkidena, allmärkustena või sisestatud viidetena. Salvestame iga allika (näiteks veebilinki või artikli pealkirja) koos küsimuse ja vastusega.
See automatiseerimine võimaldab meil andmeid suures mahus koguda. Selle asemel, et iga küsimust käsitsi esitada, saab skript käivitada kõik sajad või tuhanded päringud ühes partiis. Võime seda teha ühe või mitme tehisintellekti süsteemi puhul. Tulemuseks on andmestik (küsimus, vastus, viidatud allikad). Märgime ka, kui sageli allikaid viidatakse ja mis formaadis.
Allika atribuutide märgistamine
Pärast viidete kogumist märgistame iga allika selle peamiste atribuutide järgi. Need atribuudid aitavad meil testida, mis teeb allika viitamise tõenäoliseks. Peamised atribuudid on:
- Värskus: Kui hiljutine või ajakohane on allikas? Näiteks eelmise nädala uudisartikkel on väga värske, samas kui 20 aasta tagune õpik ei ole. Värskus on oluline, sest uuem teave võib olla asjakohasem. Varasemad võrdlusuuringud on mõõtnud värskust viidete kvaliteedisignaalina (papers.cool).
- Autoriteetsus: Kui usaldusväärne või autoriteetne on allikas? See võib põhineda sellel, kes selle avaldas. Näiteks ülikooli uuringul või valitsuse veebisaidil on tavaliselt kõrge autoriteetsus, samas kui tundmatul blogil võib olla madal autoriteetsus. Hiljutine uuring SourceBench loetles „autoriteetsuse” võtmepärase lehe tasandi kvaliteedisignaalina (papers.cool).
- Struktuur: Mis tüüpi või formaadis allikas on? Näiteks võib allikas olla uurimistöö, uudisartikkel, veebifoorumi postitus või ametlik aruanne. Struktuur võib mõjutada seda, kuidas tehisintellekt seda kasutab. (Isegi kui meie viide ei anna konkreetseid näiteid struktuurist, määratleme me selle kui dokumendi tüübi või kirjutise selguse. SourceBench mainis samuti „selgust” signaalina (papers.cool), mis on seotud.)
Saame neid atribuute märkida automatiseeritud kontrollide abil või allikat otsides. Värskuse puhul võime salvestada avaldamiskuupäeva. Autoriteetsuse puhul võime kasutada tuntud usaldusväärsete domeenide loendeid või saidi kirjeldust (näiteks ametlikud domeenid nagu .gov või .edu kipuvad olema autoriteetsemad). See märgistamine võib olla käsitsi või automatiseeritud, kuid see annab meile iga allika kohta väärtused nagu „värskus = uus/vana” ja „autoriteetsus = kõrge/madal”.
Viitamismustrite analüüsimine ja modelleerimine
Andmestiku abil, mis sisaldab palju (küsimus, vastus, allika atribuudid) näiteid, analüüsime andmeid, et leida mustreid. Küsime: millised omadused ennustavad kõige paremini, kas tehisintellekt viitab antud allikale?
Võime seda teha lihtsa statistilise analüüsi või masinõppe abil. Näiteks saame vaadata, kas kõrge värskuse või kõrge autoriteetsusega allikaid viidatakse sagedamini. Võiksime kasutada logistilist regressiooni või otsustuspuud, et modelleerida tulemusena „viitamine vs mitteviitamine”. See ütleb meile, millistel omadustel (nagu värskus või teema või küsimusetüüp) on kõige tugevam mõju.
See samm sarnaneb sellega, kuidas teadlased analüüsivad küsitlus- või eksperimentaalandmeid. See võib näiteks paljastada, et tehisintellekt eelistab viidata allikatele, mis on uuemad või autoriteetsemad. Otsiksime tugevamaid ennustajaid – neid atribuute, mis kõige enam suurendavad viitamise tõenäosust. Seda kvantifitseerides me sisuliselt „pöördprojekteerime” viitamisreeglid: saame teada, mida assistent näib otsivat.
See lähenemine on inspireeritud SourceBenchist ja teistest uuringutest, mis hindavad allikaid selliste näitajate alusel nagu värskus ja autoriteetsus (papers.cool). Rakendades statistilist modelleerimist, liigume anekdootidest mõõdetud suundumusteni. See aitab meil mõista, kas tehisintellektil on eelarvamus teatud allikate suhtes (näiteks viitab alati Vikipeediale või ainult tippsaitele).
Avatud lähtekoodiga võrdlusalus ja pidev jälgimine
Pärast selle võrdlusaluse loomist avalikustame selle – avaldame päringud, koodi ja analüüsi veebis kõigile. Avatud lähtekoodiga võrdlusalused on tehisintellekti uurimistöös tavalised, sest need võimaldavad teistel teste kasutada ja täiustada. Näiteks jagatakse avalikult paljusid suuremahulisi andmestikke, nagu keele tõlkimiseks või küsimuste vastamiseks mõeldud andmestikke. Kavatseme paigutada oma päringukogumi ja tulemused platvormile nagu GitHub. See võimaldab teistel teadlastel ja arendajatel kontrollida oma tehisintellekti assistente meie võrdlusaluse vastu.
Soovitame ka pidevat jälgimist. Tehisintellekti assistendid muutuvad sageli (neid uuendatakse, neist ilmub uusi versioone jne). Pakume välja regulaarse ajakava testide korduvaks käivitamiseks. Näiteks iga kord, kui tehisintellekt saab suure uuenduse, või kindla tsükli alusel (näiteks igakuiselt). See sarnaneb „eluaegsete võrdlusaluste” ideega, mis laiendavad ja uuendavad testikomplekte aja jooksul, et vältida stagnatsiooni (huggingface.co). Uusi küsimusi pidevalt lisades ja teste uuesti käivitades saame tabada kõik viitamiskäitumise muutused. Kui tehisintellekt hakkab ootamatult viitama rohkem vananenud saitidele või õpib viitama parematele allikatele, siis me näeme seda.
Selle jälgimise automatiseerimine tähendab, et saame jälgida suundumusi. Meeskonnad saavad teateid, kui midagi dramaatiliselt muutub. See on nagu mudeli triivi jälgimine masinõppes, kuid keskendub viidetele. Meie võrdlusaluse ja regulaarsete käivituste kombineerimine tagab, et tehisintellekti assistendid püsivad õigel kursil allikate esitamisel.
Kokkuvõte
Kokkuvõttes pakume välja tervikliku plaani tehisintellekti assistentide viitamisreeglite uurimiseks. Kavandades suure ja mitmekesise testiküsimuste komplekti, käivitades need automaatselt tehisintellekti süsteemide kaudu ja märgistades hoolikalt viidatud allikad selliste atribuutide järgi nagu värskus ja autoriteetsus, saame statistika abil paljastada viitamist mõjutavad tegurid. Meie meetodit toetavad hiljutised uuringud, mis rõhutavad kontrollitavuse olulisust (www.axios.com) (doaj.org) ja uuenduslikud võrdlusalused, mis uurivad allikate kvaliteeti (papers.cool) ja sünteetilisi andmeid (papers.cool) (research.google). Avalikustades võrdlusaluse ja jälgides regulaarselt tulemusi, aitame luua läbipaistva viisi tagamaks, et tehisintellekti assistendid viitavad usaldusväärsele teabele. See töö võib suurendada usaldust tehisintellekti vastu, valgustades viidete varjatud reegleid ja suunates arendajaid looma paremaid ja vastutustundlikumaid süsteeme.
