Auto
Úvod
Moderní AI asistenti (chatboti jako ChatGPT nebo Bing Chat) se často snaží odpovídat na uživatelské dotazy a „ukázat svou práci“ citováním zdrojů. Studie však ukazují, že mnoho odpovědí obsahuje špatné nebo chybějící citace. Například výzkumníci ze Stanfordu zjistili, že asi polovina odpovědí AI chatu obsahovala nepodložená tvrzení nebo nesprávné citace (www.axios.com). V lékařských testech nové nástroje AI často poskytovaly odpovědi nepodložené zdroji, které citovaly (doaj.org). Tyto problémy znamenají, že potřebujeme lepší způsoby, jak testovat citační chování AI asistentů.
Abychom pochopili, jak AI vybírá, co citovat, navrhujeme rozsáhlý testovací plán. Vytvoříme mnoho syntetických dotazů (vymyšlených otázek) pokrývajících různé oblasti a typy otázek. Tyto dotazy budeme automaticky spouštět prostřednictvím AI asistentů, shromažďovat jejich odpovědi a citace a každý citovaný zdroj označíme podle jeho aktuálnosti (jak je nový), autority (jak je důvěryhodný) a struktury (typ nebo formát). Poté použijeme jednoduché statistiky, abychom zjistili, které faktory zvyšují pravděpodobnost, že AI zdroj ocituje. Veškerá svá data a nástroje budeme sdílet otevřeně. Tímto způsobem můžeme shromažďovat vylepšení od komunity a průběžně sledovat citační chování AI.
Návrh benchmarku syntetických dotazů
Pro testování citačních pravidel v AI použijeme soubor syntetických dotazů. To znamená, že vygenerujeme velké množství příkladových otázek (výzev) pomocí počítačů, namísto pouhého shromažďování skutečných uživatelských dotazů. Používání syntetických výzev je ve výzkumu běžné. Například výzkumníci Google použili systémy AI k generování otázek, když je obtížné shromažďovat data (research.google). Další studie ukázala, že data otázek a odpovědí generovaná AI mohou v některých nastaveních dobře nahradit skutečná testovací data (papers.cool).
Naše dotazy budou pokrývat mnoho témat (vertikál) a uživatelských cílů. Vybereme širokou škálu témat, jako je věda, historie, zdraví, finance a každodenní úkoly. V rámci každého tématu pokrýváme různé záměry – účel otázky. Například některé dotazy budou faktické (jako „Jaká je největší planeta v naší sluneční soustavě?“), některé budou požadovat návody („Jak vyměním pneumatiku u auta?“), některé otevřené rady („Co bych měl zvážit při podávání přihlášky na vysokou školu?“) a tak dále. Smícháním informačních, faktických, argumentativních a sociálních typů otázek (papers.cool) zajistíme, že náš test pokryje mnoho reálných použití.
K generování tohoto souboru dotazů bychom mohli použít samotné velké jazykové modely. Pro každé téma a záměr může AI vygenerovat mnoho otázek. Poté je můžeme zkontrolovat a filtrovat. Konečný soubor by mohl obsahovat tisíce otázek, aby nám poskytl dobrou statistickou sílu.
Spouštění testů a zachycování citací
Jakmile budeme mít náš soubor dotazů, automatizujeme testování. Skript nebo program odešle každou syntetickou otázku asistentovi AI (prostřednictvím API nebo rozhraní) a uloží odpověď. Pro každou odpověď analyzujeme a extrahujeme všechny citované zdroje. AI asistenti často poskytují reference jako odkazy, poznámky pod čarou nebo vložené citace. Zaznamenáme každý zdroj (například webový odkaz nebo název článku) spolu s otázkou a odpovědí.
Tato automatizace nám umožňuje shromažďovat data ve velkém měřítku. Namísto ručního pokládání každé otázky může skript projít stovky nebo tisíce dotazů v dávce. Můžeme to provést pro jeden nebo více systémů AI. Výstupem je datová sada (otázka, odpověď, citované zdroje). Také zaznamenáváme, jak často jsou zdroje citovány a v jakém formátu.
Označování atributů zdrojů
Po shromáždění citací označíme každý zdroj podle jeho klíčových atributů. Tyto atributy nám pomáhají testovat, co způsobuje, že je zdroj pravděpodobně citován. Hlavní atributy jsou:
- Aktuálnost: Jak nový nebo aktuální je zdroj? Například zpravodajský článek z minulého týdne je velmi aktuální, zatímco učebnice stará 20 let není. Aktuálnost je důležitá, protože novější informace mohou být relevantnější. Předchozí benchmarky měřily aktuálnost jako signál kvality pro citace (papers.cool).
- Autorita: Jak důvěryhodný nebo autoritativní je zdroj? To by mohlo být založeno na tom, kdo jej publikoval. Například univerzitní studie nebo vládní webová stránka má obvykle vysokou autoritu, zatímco neznámý blog může mít nízkou autoritu. SourceBench, nedávná studie, uvedla „autoritu“ jako klíčový signál kvality na úrovni stránky (papers.cool).
- Struktura: Jaký typ nebo formát má zdroj? Například zdrojem by mohl být výzkumný článek, zpravodajský článek, příspěvek na online fóru nebo oficiální zpráva. Struktura by mohla ovlivnit, jak ji AI použije. (I když naše výzva neposkytuje konkrétní příklady struktury, definujeme ji jako typ dokumentu nebo srozumitelnost psaní. SourceBench také zmínil „srozumitelnost“ jako signál (papers.cool), což souvisí.)
Tyto atributy můžeme anotovat automatickými kontrolami nebo vyhledáním zdroje. U aktuálnosti bychom mohli zaznamenat datum publikace. U autority bychom mohli použít známé seznamy důvěryhodných domén nebo popis webu (například oficiální domény jako .gov nebo .edu bývají autoritativnější). Toto označování může být manuální nebo automatizované, ale poskytuje nám hodnoty jako „aktuálnost = nová/stará“ a „autorita = vysoká/nízká“ pro každý zdroj.
Analýza a modelování citačních vzorců
S datovou sadou mnoha příkladů (otázka, odpověď, atributy zdroje) analyzujeme data, abychom nalezli vzorce. Ptáme se: které vlastnosti nejlépe předpovídají, zda AI ocituje daný zdroj?
Mohli bychom to provést jednoduchou statistickou analýzou nebo strojovým učením. Například můžeme zjistit, zda jsou zdroje s vysokou aktuálností nebo vysokou autoritou citovány častěji. Mohli bychom použít logistickou regresi nebo rozhodovací strom k modelování „citovat versus necitovat“ jako výsledek. To nám řekne, které vlastnosti (jako aktuálnost nebo téma nebo typ otázky) mají nejsilnější vliv.
Tento krok je podobný tomu, jak výzkumníci analyzují data z průzkumů nebo experimentů. Může to například odhalit, že AI preferuje citování zdrojů, které jsou novější nebo autoritativnější. Hledali bychom nejsilnější prediktory – ty atributy, které nejvíce zvyšují šanci na citaci. Kvantifikací tohoto v podstatě „reverzním inženýrstvím“ citačních pravidel zjistíme, co asistent zřejmě hledá.
Tento přístup je inspirován SourceBenchem a dalšími studiemi, které hodnotí zdroje podle metrik, jako je aktuálnost a autorita (papers.cool). Použitím statistického modelování překračujeme anekdoty k měřeným trendům. To nám pomáhá pochopit, zda má AI předpojatost vůči určitým zdrojům (například vždy cituje Wikipedii nebo cituje pouze špičkové stránky).
Open-source benchmark a průběžné monitorování
Po vytvoření tohoto benchmarku jej zpřístupníme jako open-source – zveřejníme dotazy, kód a analýzu online pro všechny. Open-source benchmarky jsou běžné ve výzkumu AI, protože umožňují ostatním používat a vylepšovat testy. Například mnoho rozsáhlých datových sad, jako jsou ty pro překlad jazyků nebo odpovídání na otázky, je veřejně sdíleno. Plánujeme umístit náš soubor dotazů a výsledky na platformu jako GitHub. To umožňuje dalším výzkumníkům a vývojářům ověřovat své vlastní asistenty AI proti našemu benchmarku.
Doporučujeme také průběžné monitorování. AI asistenti se často mění (dostávají aktualizace, nové verze atd.). Navrhujeme pravidelný plán pro opakované spouštění testů. Například pokaždé, když AI dostane velkou aktualizaci, nebo v pevném cyklu (např. měsíčně). To je podobné myšlence „celoživotních benchmarků“, které se v průběhu času rozšiřují a aktualizují testovací sady, aby se zabránilo stagnaci (huggingface.co). Neustálým přidáváním nových otázek a opakovaným spouštěním můžeme zachytit jakékoli posuny v citačním chování. Pokud AI náhle začne citovat více zastaralých stránek, nebo pokud se naučí citovat lepší zdroje, uvidíme to.
Automatizace tohoto monitorování znamená, že můžeme sledovat trendy. Týmy mohou dostávat upozornění, pokud se něco dramaticky změní. To je jako monitorování driftu modelu ve strojovém učení, ale zaměřené na citace. Kombinace našeho benchmarku s pravidelnými spuštěními zajišťuje, že AI asistenti zůstanou na správné cestě v tom, jak poskytují zdroje.
Závěr
Shrnuto, navrhujeme komplexní plán k prozkoumání citačních pravidel AI asistentů. Navržením velkého a rozmanitého souboru testovacích otázek, jejich automatickým spouštěním prostřednictvím systémů AI a pečlivým označováním citovaných zdrojů podle atributů, jako je aktuálnost a autorita, můžeme použít statistiky k odhalení faktorů, které ovlivňují citování. Naše metoda je podpořena nedávným výzkumem, který zdůrazňuje důležitost ověřitelnosti (www.axios.com) (doaj.org) a inovativními benchmarky, které studují kvalitu zdrojů (papers.cool) a syntetická data (papers.cool) (research.google). Zpřístupněním benchmarku jako open-source a pravidelným monitorováním výsledků pomáháme vytvořit transparentní způsob, jak zajistit, aby AI asistenti citovali spolehlivé informace. Tato práce může zlepšit důvěru v AI tím, že osvětlí skrytá pravidla citování a navede vývojáře k vytváření lepších a odpovědnějších systémů.
