Auto
Įvadas
Šiuolaikiniai AI asistentai (pokalbių robotai, tokie kaip ChatGPT ar Bing Chat) dažnai bando atsakyti į vartotojų klausimus ir „parodyti savo darbą“ cituodami šaltinius. Tačiau tyrimai rodo, kad daugelis atsakymų turi netikslių arba trūkstamų citatų. Pavyzdžiui, Stanfordo tyrėjai nustatė, kad maždaug pusėje AI pokalbių atsakymų buvo nepagrįstų teiginių arba klaidingų citatų (www.axios.com). Medicininiuose tyrimuose naujos AI priemonės dažnai pateikė atsakymus, nepagrįstus jų cituojamais šaltiniais (doaj.org). Šios problemos reiškia, kad mums reikia geresnių būdų tikrinti AI asistentų citavimo elgseną.
Siekdami suprasti, kaip dirbtinis intelektas pasirenka, ką cituoti, siūlome plataus masto testavimo planą. Sukursime daug sintetinių užklausų (išgalvotų klausimų), apimančių skirtingas dalykines sritis ir klausimų tipus. Jas automatiškai praleisime per AI asistentus, surinksime jų atsakymus ir citatas bei kiekvieną cituojamą šaltinį pažymėsime pagal jo naujumą (kaip naujas), autoritetą (kaip patikimas) ir struktūrą (tipą ar formatą). Tada naudosime paprastą statistiką, kad pamatytume, kurie veiksniai didina tikimybę, jog dirbtinis intelektas pacituos šaltinį. Visus savo duomenis ir įrankius atvirai dalinsimės. Tokiu būdu galėsime sutelkti pastangas tobulinimui ir nuolat stebėti AI citavimo elgseną laikui bėgant.
Sintetinių užklausų etalono kūrimas
Norėdami išbandyti AI citavimo taisykles, naudosime sintetinių užklausų rinkinį. Tai reiškia, kad sugeneruojame didelį skaičių klausimų pavyzdžių (užklausų) naudodami kompiuterius, o ne tik renkame realius vartotojų užklausas. Sintetinių užklausų naudojimas yra įprastas tyrimuose. Pavyzdžiui, „Google“ tyrėjai naudojo AI sistemas klausimams generuoti, kai duomenis sunku surinkti (research.google). Kitas tyrimas parodė, kad AI sugeneruoti klausimų-atsakymų duomenys gali būti geras realių testų duomenų pakaitalas tam tikrose situacijose (papers.cool).
Mūsų užklausos apims daugybę temų (vertikalių) ir vartotojų tikslų. Pasirenkame platų dalykų spektrą, tokių kaip mokslas, istorija, sveikata, finansai ir kasdienės užduotys. Kiekvienoje temoje apžvelgiame skirtingus ketinimus – klausimo tikslą. Pavyzdžiui, kai kurios užklausos bus faktinės (pvz., „Kokia didžiausia planeta mūsų saulės sistemoje?“), kai kurios klausinės instrukcijų (pvz., „Kaip pakeisti automobilio padangą?“), kai kurios – atviro pobūdžio patarimų (pvz., „Į ką turėčiau atsižvelgti stodamas į koledžą?“) ir t. t. Maišydami informacinius, faktinius, argumentacinius ir socialinius klausimų tipus (papers.cool), užtikriname, kad mūsų testas apimtų daugelį realaus pasaulio naudojimo atvejų.
Patį užklausų rinkinį generuoti galime naudoti didelius kalbos modelius. Kiekvienai temai ir ketinimui dirbtinis intelektas gali sugeneruoti daug klausimų. Tada galime juos peržiūrėti ir filtruoti. Galutiniame rinkinyje gali būti tūkstančiai klausimų, kad gautume gerą statistinę galią.
Testų vykdymas ir citatų fiksavimas
Kai turime užklausų rinkinį, automatizuojame testavimą. Scenarijus ar programa siųs kiekvieną sintetinį klausimą AI asistentui (per API ar sąsają) ir išsaugos atsakymą. Kiekviename atsakyme analizuojame ir išskiriame visas cituojamas šaltinius. AI asistentai dažnai pateikia nuorodas kaip saitus, išnašas ar įterptąsias citatas. Kiekvieną šaltinį (pavyzdžiui, tinklalapio nuorodą ar straipsnio pavadinimą) įrašome kartu su klausimu ir atsakymu.
Ši automatizacija leidžia mums rinkti duomenis dideliu mastu. Vietoj to, kad kiekvieną klausimą klaustume rankiniu būdu, scenarijus gali atlikti visus šimtus ar tūkstančius užklausų partijomis. Tai galime daryti vienai ar kelioms AI sistemoms. Rezultatas yra duomenų rinkinys (klausimas, atsakymas, cituojami šaltiniai). Taip pat pažymime, kaip dažnai šaltiniai cituojami ir kokiu formatu.
Šaltinio atributų žymėjimas
Surinkę citatas, pažymime kiekvieną šaltinį pagal jo pagrindinius atributus. Šie atributai padeda mums patikrinti, kas daro šaltinį labiau tikėtiną būti cituojamu. Pagrindiniai atributai yra:
- Naujumas: Kiek naujas ar atnaujintas yra šaltinis? Pavyzdžiui, praeitos savaitės naujienų straipsnis yra labai naujas, o 20 metų senumo vadovėlis – ne. Naujumas yra svarbus, nes naujesnė informacija gali būti aktualesnė. Ankstesni etalonai matavo naujumą kaip citatų kokybės signalą (papers.cool).
- Autoritetas: Kiek patikimas ar autoritetingas yra šaltinis? Tai gali priklausyti nuo to, kas jį paskelbė. Pavyzdžiui, universiteto tyrimas ar vyriausybės svetainė paprastai turi didelį autoritetą, o nežinomas tinklaraštis gali turėti mažą autoritetą. „SourceBench“, naujausias tyrimas, nurodė „autoritetą“ kaip pagrindinį puslapio lygio signalą kokybei (papers.cool).
- Struktūra: Koks yra šaltinio tipas ar formatas? Pavyzdžiui, šaltinis gali būti mokslinis straipsnis, naujienų straipsnis, interneto forumo įrašas ar oficiali ataskaita. Struktūra gali paveikti, kaip dirbtinis intelektas jį naudoja. (Net jei mūsų užklausa nepateikia konkrečių struktūros pavyzdžių, mes ją apibrėžiame kaip dokumento tipą ar rašymo aiškumą. „SourceBench“ taip pat paminėjo „aiškumą“ kaip signalą (papers.cool), kuris yra susijęs.)
Šiuos atributus galime anotuoti automatiniais patikrinimais arba ieškodami šaltinio. Naujumui galime įrašyti publikavimo datą. Autoritetui galėtume naudoti žinomus patikimų domenų sąrašus arba svetainės aprašymą (pavyzdžiui, oficialūs domenai, tokie kaip .gov ar .edu, linkę būti autoritetingesni). Šis žymėjimas gali būti rankinis arba automatinis, tačiau jis suteikia mums reikšmes, tokias kaip „naujumas = naujas/senas“ ir „autoritetas = didelis/mažas“ kiekvienam šaltiniui.
Citavimo modelių analizavimas ir modeliavimas
Turėdami daugelio (klausimas, atsakymas, šaltinio atributai) pavyzdžių duomenų rinkinį, analizuojame duomenis, kad rastume dėsningumus. Klausiame: kokios savybės geriausiai prognozuoja, ar dirbtinis intelektas pacituos tam tikrą šaltinį?
Tai galime padaryti paprasta statistine analize ar mašininiu mokymu. Pavyzdžiui, galime patikrinti, ar šaltiniai, turintys didelį naujumą ar didelį autoritetą, cituojami dažniau. Galėtume naudoti logistinę regresiją ar sprendimų medį, kad modeliuotume „citavimą prieš necitavimą“ kaip rezultatą. Tai mums pasako, kurios savybės (pvz., naujumas, tema ar klausimo tipas) turi stipriausią poveikį.
Šis žingsnis yra panašus į tai, kaip tyrėjai analizuoja apklausų ar eksperimentinius duomenis. Jis gali atskleisti, pavyzdžiui, kad dirbtinis intelektas labiau mėgsta cituoti naujesnius ar autoritetingesnius šaltinius. Ieškotume stipriausių prognozuojamųjų veiksnių – tų atributų, kurie labiausiai padidina citavimo tikimybę. Kvantifikuodami tai, mes iš esmės „atvirkštiniu būdu atkartojame“ citavimo taisykles: išsiaiškiname, ko, atrodo, ieško asistentas.
Šis metodas įkvėptas „SourceBench“ ir kitų tyrimų, kurie vertina šaltinius pagal tokius rodiklius kaip naujumas ir autoritetas (papers.cool). Taikydami statistinį modeliavimą, mes peržengiame anekdotus ir pereiname prie išmatuojamų tendencijų. Tai padeda mums suprasti, ar dirbtinis intelektas turi šališkumą tam tikrų šaltinių atžvilgiu (pavyzdžiui, visada cituodamas Vikipediją arba cituodamas tik populiariausias svetaines).
Atvirojo kodo etalonas ir nuolatinis stebėjimas
Sukūrę šį etaloną, mes jį atversime – paskelbsime užklausas, kodą ir analizę internete visiems. Atvirojo kodo etalonai yra įprasti dirbtinio intelekto tyrimuose, nes jie leidžia kitiems naudoti ir tobulinti testus. Pavyzdžiui, daugelis didelio masto duomenų rinkinių, tokių kaip kalbos vertimo ar klausimų atsakymo, yra viešai prieinami. Planuojame įdėti savo užklausų rinkinį ir rezultatus į tokią platformą kaip „GitHub“. Tai leidžia kitiems tyrėjams ir kūrėjams tikrinti savo AI asistentus pagal mūsų etaloną.
Taip pat rekomenduojame nuolatinį stebėjimą. AI asistentai dažnai keičiasi (jie atnaujinami, pasirodo naujos versijos ir t. t.). Siūlome reguliarų testų pakartotinio paleidimo grafiką. Pavyzdžiui, kiekvieną kartą, kai AI gauna didelį atnaujinimą arba fiksuotu ciklu (pvz., kas mėnesį). Tai panašu į „visą gyvenimą trunkančių etalonų“ idėją, kurie laikui bėgant plečia ir atnaujina testų rinkinius, siekiant išvengti stagnacijos (huggingface.co). Nuolat pridedant naujų klausimų ir pakartotinai paleidžiant, galime pastebėti bet kokius citavimo elgsenos pokyčius. Jei dirbtinis intelektas staiga pradeda cituoti daugiau pasenusių svetainių arba išmoksta cituoti geresnius šaltinius, mes tai pamatysime.
Automatizavus šį stebėjimą, galime sekti tendencijas. Komandos gali gauti įspėjimus, jei kas nors dramatiškai pasikeičia. Tai panašu į modelio dreifo stebėjimą mašininiame mokyme, tačiau orientuotą į citatas. Mūsų etalono derinimas su reguliariais paleidimais užtikrina, kad AI asistentai išlaikytų teisingą šaltinių pateikimo būdą.
Išvada
Apibendrinant, mes siūlome išsamų planą, kaip ištirti AI asistentų citavimo taisykles. Sukūrus didelį ir įvairų testavimo klausimų rinkinį, automatiškai praleidžiant juos per AI sistemas ir kruopščiai žymint cituojamus šaltinius pagal tokius atributus kaip naujumas ir autoritetas, galime naudoti statistiką, kad atskleistume citavimą lemiančius veiksnius. Mūsų metodas yra paremtas naujausiais tyrimais, kurie pabrėžia patikrinamumo svarbą (www.axios.com) (doaj.org) ir novatoriškais etalonais, kurie tiria šaltinių kokybę (papers.cool) ir sintetinius duomenis (papers.cool) (research.google). Atvėrus etaloną ir reguliariai stebint rezultatus, mes padedame sukurti skaidrų būdą užtikrinti, kad AI asistentai cituotų patikimą informaciją. Šis darbas gali padidinti pasitikėjimą dirbtiniu intelektu, atskleidžiant paslėptas citavimo taisykles ir padėdamas kūrėjams kurti geresnes, atsakingesnes sistemas.
