Test di Query Sintetiche: Sondare gli Assistenti per Decifrare le Regole di Citazione

Introduzione

Gli assistenti AI moderni (chatbot come ChatGPT o Bing Chat) spesso cercano di rispondere alle domande degli utenti e di “mostrare il loro lavoro” citando le fonti. Tuttavia, gli studi dimostrano che molte risposte contengono citazioni errate o mancanti. Ad esempio, i ricercatori di Stanford hanno scoperto che circa la metà delle risposte delle chat AI conteneva affermazioni non supportate o citazioni errate (www.axios.com). Nei test medici, i nuovi strumenti AI spesso fornivano risposte non supportate dalle fonti che citavano (doaj.org). Questi problemi significano che abbiamo bisogno di modi migliori per testare il comportamento di citazione degli assistenti AI.

Per capire come un’AI scelga cosa citare, proponiamo un piano di test su larga scala. Creeremo molte query sintetiche (domande inventate) che coprono diverse aree tematiche e tipi di domande. Le eseguiremo automaticamente tramite gli assistenti AI, raccoglieremo le loro risposte e citazioni, ed etichetteremo ogni fonte citata in base alla sua freschezza (quanto è recente), autorevolezza (quanto è affidabile) e struttura (tipo o formato). Quindi useremo semplici statistiche per vedere quali fattori rendono più probabile che un’AI citi una fonte. Condivideremo apertamente tutti i nostri dati e strumenti. In questo modo, potremo raccogliere contributi per miglioramenti e continuare a monitorare il comportamento di citazione dell’AI nel tempo.

Progettazione di un Benchmark di Query Sintetiche

Per testare le regole di citazione nell'AI, utilizzeremo un set di query sintetiche. Ciò significa che genereremo un gran numero di domande di esempio (prompt) utilizzando i computer, piuttosto che limitarci a raccogliere query di utenti reali. L'uso di prompt sintetici è comune nella ricerca. Ad esempio, i ricercatori di Google hanno utilizzato sistemi AI per generare domande quando i dati sono difficili da raccogliere (research.google). Un altro studio ha dimostrato che i dati domanda-risposta generati dall'AI possono essere un buon sostituto per i dati di test reali in alcuni contesti (papers.cool).

Le nostre query riguarderanno molti argomenti (verticali) e obiettivi utente. Sceglieremo una vasta gamma di argomenti come scienza, storia, salute, finanza e attività quotidiane. All'interno di ciascun argomento, copriremo diverse intenzioni – lo scopo della domanda. Ad esempio, alcune query saranno fattuali (come “Qual è il pianeta più grande del nostro sistema solare?”), alcune chiederanno istruzioni pratiche (“Come si cambia una gomma dell'auto?”), alcune chiederanno consigli aperti (“Cosa dovrei considerare quando faccio domanda per l'università?”), e così via. Mescolando tipi di domande informative, fattuali, argomentative e sociali (papers.cool), ci assicureremo che il nostro test copra molti usi nel mondo reale.

Potremmo utilizzare i modelli linguistici di grandi dimensioni stessi per aiutare a generare questo set di query. Per ogni argomento e intenzione, un'AI può produrre molte domande. Potremo quindi esaminarle e filtrarle. Il set finale potrebbe contenere migliaia di domande per darci una buona potenza statistica.

Esecuzione dei Test e Cattura delle Citazioni

Una volta che avremo il nostro set di query, automatizzeremo i test. Uno script o un programma invierà ogni domanda sintetica all'assistente AI (tramite API o interfaccia) e salverà la risposta. Per ogni risposta, analizzeremo ed estrarremo eventuali fonti citate. Gli assistenti AI spesso forniscono riferimenti come link, note a piè di pagina o citazioni incorporate. Registreremo ogni fonte (ad esempio, un link web o il titolo di un articolo) insieme alla domanda e alla risposta.

Questa automazione ci consente di raccogliere dati su larga scala. Invece di porre manualmente ogni domanda, lo script può eseguire tutte le centinaia o migliaia di query in un batch. Potremmo farlo per uno o più sistemi AI. L'output è un dataset di (domanda, risposta, fonti citate). Noteremo anche con quale frequenza le fonti vengono citate e in quale formato.

Etichettatura degli Attributi delle Fonti

Dopo aver raccolto le citazioni, etichetteremo ogni fonte in base ai suoi attributi chiave. Questi attributi ci aiuteranno a testare cosa rende una fonte probabile da citare. Gli attributi principali sono:

• Freschezza: Quanto è recente o aggiornata la fonte? Ad esempio, un articolo di notizie della settimana scorsa è molto fresco, mentre un libro di testo di 20 anni fa non lo è. La freschezza è importante perché le informazioni più nuove potrebbero essere più pertinenti. Precedenti benchmark hanno misurato la freschezza come segnale di qualità per le citazioni (papers.cool).
• Autorevolezza: Quanto è affidabile o autorevole la fonte? Ciò potrebbe basarsi su chi l'ha pubblicata. Ad esempio, uno studio universitario o un sito web governativo di solito hanno alta autorevolezza, mentre un blog sconosciuto potrebbe averne poca. SourceBench, uno studio recente, ha elencato "autorevolezza" come un segnale chiave a livello di pagina per la qualità (papers.cool).
• Struttura: Qual è il tipo o il formato della fonte? Ad esempio, una fonte potrebbe essere un articolo di ricerca, un articolo di notizie, un post di forum online o un rapporto ufficiale. La struttura potrebbe influenzare il modo in cui un'AI la utilizza. (Anche se il nostro prompt non fornisce esempi specifici di struttura, la definiamo come il tipo di documento o la chiarezza della scrittura. SourceBench ha anche menzionato "chiarezza" come segnale (papers.cool), che è correlata.)

Possiamo annotare questi attributi tramite controlli automatizzati o cercando la fonte. Per la freschezza, potremmo registrare la data di pubblicazione. Per l'autorevolezza, potremmo utilizzare elenchi noti di domini affidabili o la descrizione del sito (ad esempio, i domini ufficiali come .gov o .edu tendono ad essere più autorevoli). Questa etichettatura può essere manuale o automatizzata, ma ci fornisce valori come “freschezza = nuova/vecchia” e “autorevolezza = alta/bassa” per ogni fonte.

Analisi e Modellazione degli Schemi di Citazione

Con un dataset di molti esempi (domanda, risposta, attributi della fonte), analizzeremo i dati per trovare schemi. Ci chiederemo: quali caratteristiche predicono meglio se un'AI citerà una data fonte?

Potremmo farlo tramite una semplice analisi statistica o machine learning. Ad esempio, possiamo vedere se le fonti con alta freschezza o alta autorevolezza sono citate più spesso. Potremmo utilizzare una regressione logistica o un albero decisionale per modellare "cita vs non cita" come risultato. Questo ci dirà quali caratteristiche (come freschezza, argomento o tipo di domanda) hanno l'effetto più forte.

Questo passaggio è simile al modo in cui i ricercatori analizzano i dati di sondaggi o esperimenti. Potrebbe rivelare, ad esempio, che l'AI preferisce citare fonti più recenti o più autorevoli. Cercheremmo i predittori più forti – quegli attributi che aumentano maggiormente la probabilità di una citazione. Quantificando questo, in pratica "ingegnerizziamo al contrario" le regole di citazione: scopriamo cosa l'assistente sembra cercare.

Questo approccio è ispirato a SourceBench e ad altri studi che valutano le fonti su metriche come freschezza e autorevolezza (papers.cool). Applicando la modellazione statistica, andiamo oltre gli aneddoti per arrivare a tendenze misurate. Questo ci aiuta a capire se l'AI ha un pregiudizio verso determinate fonti (ad esempio, citare sempre Wikipedia o solo i siti principali).

Benchmark Open-Source e Monitoraggio Continuo

Dopo aver costruito questo benchmark, lo renderemo open-source – pubblicando le query, il codice e l'analisi online per tutti. I benchmark open-source sono comuni nella ricerca sull'AI perché consentono ad altri di utilizzare e migliorare i test. Ad esempio, molti dataset su larga scala, come quelli per la traduzione linguistica o la risposta a domande, sono condivisi pubblicamente. Prevediamo di mettere il nostro set di query e i risultati su una piattaforma come GitHub. Ciò consentirà ad altri ricercatori e sviluppatori di confrontare i propri assistenti AI con il nostro benchmark.

Consigliamo anche un monitoraggio continuo. Gli assistenti AI cambiano spesso (vengono aggiornati, nuove versioni, ecc.). Suggeriamo un programma regolare per ripetere i test. Ad esempio, ogni volta che l'AI riceve un aggiornamento importante o con un ciclo fisso (come mensile). Questo è simile all'idea dei "benchmark a vita", che espandono e aggiornano i set di test nel tempo per evitare la stagnazione (huggingface.co). Aggiungendo continuamente nuove domande e rieseguendo i test, possiamo cogliere qualsiasi cambiamento nel comportamento di citazione. Se l'AI improvvisamente inizia a citare più siti obsoleti, o se impara a citare fonti migliori, lo vedremo.

Automatizzare questo monitoraggio significa che possiamo tracciare le tendenze. I team possono ricevere avvisi se qualcosa cambia drasticamente. Questo è simile al monitoraggio del “model drift” nel machine learning, ma focalizzato sulle citazioni. La combinazione del nostro benchmark con esecuzioni regolari assicura che gli assistenti AI rimangano in linea nel modo in cui forniscono le fonti.

Conclusione

In sintesi, proponiamo un piano completo per sondare le regole di citazione degli assistenti AI. Progettando un set ampio e variegato di domande di test, eseguendole automaticamente tramite sistemi AI e etichettando attentamente le fonti citate in base ad attributi come freschezza e autorevolezza, possiamo utilizzare statistiche per scoprire i fattori che influenzano la citazione. Il nostro metodo è supportato da ricerche recenti che sottolineano l'importanza della verificabilità (www.axios.com) (doaj.org) e da benchmark innovativi che studiano la qualità delle fonti (papers.cool) e i dati sintetici (papers.cool) (research.google). Rendendo il benchmark open-source e monitorando regolarmente i risultati, contribuiamo a creare un modo trasparente per garantire che gli assistenti AI citino informazioni affidabili. Questo lavoro può migliorare la fiducia nell'AI facendo luce sulle regole nascoste delle citazioni e guidando gli sviluppatori a creare sistemi migliori e più responsabili.