Auto
Johdanto
Nykyaikaiset tekoälyavustajat (kuten ChatGPT tai Bing Chat -chatbotit) pyrkivät usein vastaamaan käyttäjien kysymyksiin ja ”näyttämään työnsä” viittaamalla lähteisiin. Tutkimukset kuitenkin osoittavat, että monissa vastauksissa on puutteellisia tai virheellisiä viittauksia. Esimerkiksi Stanfordin tutkijat havaitsivat, että noin puolet tekoälychatin vastauksista sisälsi perusteettomia väitteitä tai vääriä viittauksia (www.axios.com). Lääketieteellisissä testeissä uudet tekoälytyökalut antoivat usein vastauksia, joita niiden mainitsemat lähteet eivät tukeneet (doaj.org). Nämä ongelmat tarkoittavat, että tarvitsemme parempia tapoja testata tekoälyavustajien viittaamiskäyttäytymistä.
Ymmärtääksemme, miten tekoäly valitsee viitattavat lähteet, ehdotamme laajamittaista testaussuunnitelmaa. Luomme monia synteettisiä kyselyjä (keksittyjä kysymyksiä), jotka kattavat eri aihealueita ja kysymystyyppejä. Ajamme nämä tekoälyavustajien läpi automaattisesti, keräämme niiden vastaukset ja viittaukset sekä luokittelemme jokaisen viitatun lähteen sen tuoreuden (kuinka tuore), auktoriteetin (kuinka luotettava) ja rakenteen (tyyppi tai muoto) perusteella. Käytämme sitten yksinkertaisia tilastoja nähdäksemme, mitkä tekijät lisäävät todennäköisyyttä, että tekoäly viittaa lähteeseen. Jaamme kaikki tietomme ja työkalumme avoimesti. Tällä tavoin voimme joukkoistaa parannuksia ja seurata tekoälyn viittaamiskäyttäytymistä ajan mittaan.
Synteettisen kyselyvertailuarvon suunnittelu
Tekoälyn viittaussääntöjen testaamiseen käytämme synteettistä kyselyjoukkoa. Tämä tarkoittaa, että luomme suuren määrän esimerkkikysymyksiä (kehotteita) tietokoneiden avulla sen sijaan, että keräisimme vain todellisia käyttäjien kyselyjä. Synteettisten kehotteiden käyttö on yleistä tutkimuksessa. Esimerkiksi Googlen tutkijat ovat käyttäneet tekoälyjärjestelmiä kysymysten luomiseen, kun tietoa on vaikea kerätä (research.google). Toinen tutkimus osoitti, että tekoälyn tuottama kysymys-vastausdata voi korvata hyvin todellista testidataa joissakin tilanteissa (papers.cool).
Kyselymme kattavat monia aihepiirejä (vertikaaleja) ja käyttäjätavoitteita. Valitsemme laajan kirjon aiheita, kuten tiede, historia, terveys, rahoitus ja arjen tehtävät. Kunkin aiheen sisällä käsittelemme erilaisia intentejä – kysymyksen tarkoitusta. Esimerkiksi jotkin kyselyt ovat faktapohjaisia (kuten ”Mikä on aurinkokuntamme suurin planeetta?”), jotkin pyytävät ohjeita (”Miten vaihdan auton renkaan?”), jotkin avoimia neuvoja (”Mitä minun tulisi ottaa huomioon hakiessani korkeakouluun?”) ja niin edelleen. Sekoittamalla informatiivisia, faktapohjaisia, argumentoivia ja sosiaalisia kysymystyyppejä (papers.cool), varmistamme, että testimme kattaa monia todellisia käyttötarkoituksia.
Voisimme käyttää suuria kielimalleja itsessään auttamaan tämän kyselyjoukon luomisessa. Kullekin aiheelle ja intentille tekoäly voi tuottaa monia kysymyksiä. Voimme sitten tarkistaa ja suodattaa ne. Lopullinen joukko voi sisältää tuhansia kysymyksiä hyvän tilastollisen voiman saavuttamiseksi.
Testien ajaminen ja viittausten kerääminen
Kun kyselyjoukko on valmis, automatisoimme testauksen. Skripti tai ohjelma lähettää jokaisen synteettisen kysymyksen tekoälyavustajalle (rajapinnan tai käyttöliittymän kautta) ja tallentaa vastauksen. Jokaisesta vastauksesta jäsennyttämme ja poimimme kaikki mainitut lähteet. Tekoälyavustajat antavat usein viittauksia linkkeinä, alaviitteinä tai upotettuina viittauksina. Tallennamme jokaisen lähteen (esimerkiksi verkkolinkin tai artikkelin otsikon) kysymyksen ja vastauksen ohella.
Tämä automaatio mahdollistaa tiedon keräämisen laajassa mittakaavassa. Sen sijaan, että kysyisimme jokaisen kysymyksen käsin, skripti voi käydä läpi kaikki sadat tai tuhannet kyselyt eränä. Voimme tehdä tämän yhdelle tai useammalle tekoälyjärjestelmälle. Tuloksena on tietojoukko (kysymys, vastaus, mainitut lähteet). Panemme merkille myös, kuinka usein lähteisiin viitataan ja missä muodossa.
Lähteiden attribuuttien luokittelu
Kun viittaukset on kerätty, luokittelemme jokaisen lähteen sen tärkeimpien attribuuttien mukaan. Nämä attribuutit auttavat meitä testaamaan, mitkä tekijät tekevät lähteestä todennäköisesti mainitun. Tärkeimmät attribuutit ovat:
- Tuoreus: Kuinka tuore tai ajan tasalla lähde on? Esimerkiksi viime viikon uutisartikkeli on hyvin tuore, kun taas 20 vuotta vanha oppikirja ei ole. Tuoreus on tärkeää, koska uudempi tieto voi olla relevantimpaa. Aikaisemmissa vertailuarvoissa tuoreutta on mitattu laatusignaalina viittauksille (papers.cool).
- Auktoriteetti: Kuinka luotettava tai auktoriteettinen lähde on? Tämä voi perustua siihen, kuka sen julkaisi. Esimerkiksi yliopiston tutkimuksella tai hallituksen verkkosivustolla on yleensä korkea auktoriteetti, kun taas tuntemattomalla blogilla voi olla matala auktoriteetti. SourceBench, tuore tutkimus, listasi ”auktoriteetin” keskeisenä sivutason signaalina laadulle (papers.cool).
- Rakenne: Mikä on lähteen tyyppi tai muoto? Esimerkiksi lähde voi olla tutkimusartikkeli, uutisartikkeli, verkkofoorumin viesti tai virallinen raportti. Rakenne voi vaikuttaa siihen, miten tekoäly sitä käyttää. (Vaikka kehotteemme ei anna konkreettisia esimerkkejä rakenteesta, määrittelemme sen asiakirjan tyypiksi tai kirjoituksen selkeydeksi. SourceBench mainitsi myös ”selkeyden” signaalina (papers.cool), mikä liittyy tähän.)
Voimme annotoida nämä attribuutit automaattisilla tarkistuksilla tai etsimällä lähteen. Tuoreuden osalta voimme tallentaa julkaisupäivän. Auktoriteetin osalta voimme käyttää tunnettuja luotettavien verkkotunnusten luetteloita tai sivuston kuvausta (esimerkiksi viralliset verkkotunnukset, kuten .gov tai .edu, ovat yleensä auktoriteettisempia). Tämä luokittelu voi olla manuaalista tai automaattista, mutta se antaa meille arvoja kuten ”tuoreus = uusi/vanha” ja ”auktoriteetti = korkea/matala” kullekin lähteelle.
Viittaamismallien analysointi ja mallintaminen
Kun käytössämme on tietojoukko, jossa on paljon (kysymys, vastaus, lähteen attribuutit) -esimerkkejä, analysoimme tietoja löytääksemme malleja. Kysymme: mitkä ominaisuudet ennustavat parhaiten, viittaako tekoäly tiettyyn lähteeseen?
Voimme tehdä tämän yksinkertaisella tilastoanalyysillä tai koneoppimisella. Voimme esimerkiksi tarkastella, viitataanko lähteisiin, joilla on korkea tuoreus tai korkea auktoriteetti, useammin. Voimme käyttää logistista regressiota tai päätöspuuta mallintamaan ”viittaa vs. ei viittaa” tuloksena. Tämä kertoo meille, millä ominaisuuksilla (kuten tuoreudella tai aiheella tai kysymystyypillä) on vahvin vaikutus.
Tämä vaihe on samanlainen kuin tutkijat analysoivat kysely- tai kokeellista dataa. Se voi paljastaa esimerkiksi, että tekoäly suosii uudempiin tai auktoriteettisempiin lähteisiin viittaamista. Etsimme vahvimpia ennustajia – niitä attribuutteja, jotka eniten lisäävät viittausten todennäköisyyttä. Kvantifioimalla tämän me pohjimmiltaan ”käänteissuunnittelemme” viittaussäännöt: selvitämme, mitä avustaja näyttää etsivän.
Tämä lähestymistapa on saanut inspiraationsa SourceBenchista ja muista tutkimuksista, jotka arvioivat lähteitä tuoreuden ja auktoriteetin kaltaisilla mittareilla (papers.cool). Tilastollista mallinnusta soveltamalla siirrymme anekdooteista mitattuihin trendeihin. Tämä auttaa meitä ymmärtämään, onko tekoälyllä vinoumaa tiettyihin lähteisiin (esimerkiksi viittaamalla aina Wikipediaan tai vain huippusivustoihin).
Avoimen lähdekoodin vertailuarvo ja jatkuva seuranta
Kun olemme rakentaneet tämän vertailuarvon, julkaisemme sen avoimena lähdekoodina – julkaisemme kyselyt, koodin ja analyysit verkossa kaikkien saataville. Avoimen lähdekoodin vertailuarvot ovat yleisiä tekoälytutkimuksessa, koska ne antavat muiden käyttää ja parantaa testejä. Esimerkiksi monet laajamittaiset tietojoukot, kuten kielten kääntämiseen tai kysymys-vastausjärjestelmiin liittyvät, jaetaan julkisesti. Aiomme julkaista kyselyjoukkomme ja tuloksemme esimerkiksi GitHubin kaltaisella alustalla. Tämä antaa muille tutkijoille ja kehittäjille mahdollisuuden testata omia tekoälyavustajiaan vertailuarvoamme vasten.
Suosittelemme myös jatkuvaa seurantaa. Tekoälyavustajat muuttuvat usein (niitä päivitetään, uusia versioita julkaistaan jne.). Ehdotamme säännöllistä aikataulua testien uudelleen ajamiseen. Esimerkiksi aina, kun tekoäly saa suuren päivityksen tai kiinteällä syklillä (kuten kuukausittain). Tämä on samanlainen kuin ”elinikäisten vertailuarvojen” ajatus, jotka laajentavat ja päivittävät testijoukkoja ajan mittaan stagnoitumisen välttämiseksi (huggingface.co). Jatkuvasti lisäämällä uusia kysymyksiä ja ajamalla testejä uudelleen voimme havaita kaikki muutokset viittaamiskäyttäytymisessä. Jos tekoäly alkaa yhtäkkiä viitata useammin vanhentuneisiin sivustoihin tai jos se oppii viittaamaan parempiin lähteisiin, me näemme sen.
Tämän seurannan automatisointi tarkoittaa, että voimme seurata trendejä. Tiimit voivat saada hälytyksiä, jos jokin muuttuu dramaattisesti. Tämä on kuin mallin ajautumisen seuranta koneoppimisessa, mutta keskittyy viittauksiin. Yhdistämällä vertailuarvomme säännöllisiin ajoihin varmistetaan, että tekoälyavustajat pysyvät oikealla tiellä lähteiden antamisessa.
Johtopäätös
Yhteenvetona ehdotamme kattavaa suunnitelmaa tekoälyavustajien viittaussääntöjen tutkimiseksi. Suunnittelemalla laajan ja monipuolisen joukon testikysymyksiä, ajamalla ne automaattisesti tekoälyjärjestelmien läpi ja huolellisesti luokittelemalla mainitut lähteet attribuuttien, kuten tuoreuden ja auktoriteetin, perusteella, voimme tilastojen avulla selvittää viittaamiseen vaikuttavat tekijät. Menetelmäämme tukevat tuoreimmat tutkimukset, jotka korostavat todennettavuuden merkitystä (www.axios.com) (doaj.org) sekä innovatiiviset vertailuarvot, jotka tutkivat lähteiden laatua (papers.cool) ja synteettistä dataa (papers.cool) (research.google). Julkaisemalla vertailuarvon avoimena lähdekoodina ja seuraamalla tuloksia säännöllisesti autamme luomaan läpinäkyvän tavan varmistaa, että tekoälyavustajat viittaavat luotettaviin tietoihin. Tämä työ voi parantaa luottamusta tekoälyyn valottamalla viittausten piilotettuja sääntöjä ja ohjaamalla kehittäjiä luomaan parempia, vastuullisempia järjestelmiä.
