Test de requêtes synthétiques : Sonder les assistants pour la rétro-ingénierie des règles de citation

Introduction

Les assistants IA modernes (chatbots comme ChatGPT ou Bing Chat) essaient souvent de répondre aux questions des utilisateurs et de « montrer leur travail » en citant des sources. Cependant, des études montrent que de nombreuses réponses contiennent des citations incorrectes ou manquantes. Par exemple, des chercheurs de Stanford ont découvert qu'environ la moitié des réponses des chats IA contenaient des affirmations non étayées ou des citations erronées (www.axios.com). Lors de tests médicaux, de nouveaux outils d'IA ont souvent donné des réponses non étayées par les sources qu'ils citaient (doaj.org). Ces problèmes soulignent la nécessité de meilleures méthodes pour tester le comportement de citation des assistants IA.

Pour comprendre comment une IA choisit ce qu'il faut citer, nous proposons un plan de test à grande échelle. Nous allons créer de nombreuses requêtes synthétiques (questions inventées) couvrant différents domaines et types de questions. Nous les exécuterons automatiquement via des assistants IA, collecterons leurs réponses et citations, et étiquetterons chaque source citée en fonction de sa fraîcheur (récence), de son autorité (fiabilité) et de sa structure (type ou format). Ensuite, nous utiliserons de simples statistiques pour identifier les facteurs qui rendent plus probable la citation d'une source par une IA. Nous partagerons toutes nos données et outils en toute transparence. De cette manière, nous pourrons solliciter des améliorations et continuer à surveiller le comportement de citation des IA au fil du temps.

Conception d'un benchmark de requêtes synthétiques

Pour tester les règles de citation des IA, nous utiliserons un ensemble de requêtes synthétiques. Cela signifie que nous générons un grand nombre de questions d'exemple (prompts) à l'aide d'ordinateurs, plutôt que de simplement collecter des requêtes d'utilisateurs réelles. L'utilisation de prompts synthétiques est courante en recherche. Par exemple, des chercheurs de Google ont utilisé des systèmes d'IA pour générer des questions lorsque les données sont difficiles à collecter (research.google). Une autre étude a montré que les données de questions-réponses générées par l'IA peuvent être un bon substitut aux données de test réelles dans certains contextes (papers.cool).

Nos requêtes couvriront de nombreux sujets (verticales) et objectifs utilisateurs. Nous choisissons un large éventail de sujets tels que la science, l'histoire, la santé, la finance et les tâches quotidiennes. Pour chaque sujet, nous couvrons différentes intentions – le but de la question. Par exemple, certaines requêtes seront factuelles (comme « Quelle est la plus grande planète de notre système solaire ? »), d'autres demanderont des instructions pratiques (« Comment changer un pneu de voiture ? »), d'autres des conseils ouverts (« Que dois-je considérer lors d'une demande d'admission à l'université ? »), et ainsi de suite. En mélangeant des types de questions informationnelles, factuelles, argumentatives et sociales (papers.cool), nous nous assurons que notre test couvre de nombreux usages du monde réel.

Nous pourrions utiliser les grands modèles linguistiques eux-mêmes pour aider à générer cet ensemble de requêtes. Pour chaque sujet et intention, une IA peut produire de nombreuses questions. Nous pourrons ensuite les examiner et les filtrer. L'ensemble final pourrait contenir des milliers de questions pour nous donner une bonne puissance statistique.

Exécution des tests et capture des citations

Une fois notre ensemble de requêtes établi, nous automatisons les tests. Un script ou un programme enverra chaque question synthétique à l'assistant IA (via une API ou une interface) et enregistrera la réponse. Pour chaque réponse, nous analyserons et extrairons toutes les sources citées. Les assistants IA fournissent souvent des références sous forme de liens, de notes de bas de page ou de citations intégrées. Nous enregistrons chaque source (par exemple, un lien web ou un titre d'article) ainsi que la question et la réponse.

Cette automatisation nous permet de collecter des données à grande échelle. Au lieu de poser chaque question manuellement, le script peut exécuter toutes les centaines ou milliers de requêtes en lot. Nous pourrions le faire pour un ou plusieurs systèmes d'IA. Le résultat est un ensemble de données (question, réponse, sources citées). Nous notons également à quelle fréquence les sources sont citées et sous quel format.

Étiquetage des attributs de source

Après avoir collecté les citations, nous étiquetons chaque source selon ses attributs clés. Ces attributs nous aident à tester ce qui rend une source susceptible d'être citée. Les principaux attributs sont :

• Fraîcheur : Dans quelle mesure la source est-elle récente ou à jour ? Par exemple, un article de presse de la semaine dernière est très frais, tandis qu'un manuel d'il y a 20 ans ne l'est pas. La fraîcheur est importante car des informations plus récentes peuvent être plus pertinentes. Des benchmarks antérieurs ont mesuré la fraîcheur comme un signal de qualité pour les citations (papers.cool).
• Autorité : Dans quelle mesure la source est-elle fiable ou fait-elle autorité ? Cela peut être basé sur qui l'a publiée. Par exemple, une étude universitaire ou un site web gouvernemental a généralement une grande autorité, tandis qu'un blog inconnu peut en avoir une faible. SourceBench, une étude récente, a listé l'« autorité » comme un signal clé de qualité au niveau de la page (papers.cool).
• Structure : Quel est le type ou le format de la source ? Par exemple, une source pourrait être un article de recherche, un article de presse, une publication de forum en ligne ou un rapport officiel. La structure pourrait affecter la façon dont une IA l'utilise. (Même si notre prompt ne fournit pas d'exemples spécifiques de structure, nous la définissons comme le type de document ou la clarté de l'écriture. SourceBench a également mentionné la « clarté » comme un signal (papers.cool), ce qui est lié.)

Nous pouvons annoter ces attributs par des vérifications automatisées ou en recherchant la source. Pour la fraîcheur, nous pourrions enregistrer la date de publication. Pour l'autorité, nous pourrions utiliser des listes connues de domaines réputés ou la description du site (par exemple, les domaines officiels comme .gov ou .edu ont tendance à être plus autoritaires). Cet étiquetage peut être manuel ou automatisé, mais il nous donne des valeurs comme « fraîcheur = nouveau/ancien » et « autorité = élevée/faible » pour chaque source.

Analyse et modélisation des schémas de citation

Avec un ensemble de données de nombreux exemples (question, réponse, attributs de source), nous analysons les données pour trouver des modèles. Nous nous demandons : quelles caractéristiques prédisent le mieux si une IA citera une source donnée?

Nous pourrions le faire par une simple analyse statistique ou par apprentissage automatique. Par exemple, nous pouvons voir si les sources avec une grande fraîcheur ou une grande autorité sont citées plus souvent. Nous pourrions utiliser une régression logistique ou un arbre de décision pour modéliser « citer ou ne pas citer » comme résultat. Cela nous indique quelles caractéristiques (comme la fraîcheur, le sujet ou le type de question) ont l'effet le plus fort.

Cette étape est similaire à la façon dont les chercheurs analysent les données d'enquête ou expérimentales. Elle pourrait révéler, par exemple, que l'IA préfère citer des sources plus récentes ou plus autoritaires. Nous rechercherions les prédicteurs les plus puissants – ces attributs qui augmentent le plus la probabilité d'une citation. En quantifiant cela, nous « déconstruisons » les règles de citation : nous découvrons ce que l'assistant semble rechercher.

Cette approche est inspirée de SourceBench et d'autres études qui évaluent les sources selon des métriques comme la fraîcheur et l'autorité (papers.cool). En appliquant la modélisation statistique, nous dépassons les anecdotes pour des tendances mesurées. Cela nous aide à comprendre si l'IA a un biais envers certaines sources (par exemple, citer toujours Wikipédia ou ne citer que les sites principaux).

Benchmark open-source et surveillance continue

Après avoir construit ce benchmark, nous le rendrons open-source – en publiant les requêtes, le code et l'analyse en ligne pour tous. Les benchmarks open-source sont courants dans la recherche en IA car ils permettent à d'autres d'utiliser et d'améliorer les tests. Par exemple, de nombreux ensembles de données à grande échelle, comme ceux pour la traduction linguistique ou la réponse aux questions, sont partagés publiquement. Nous prévoyons de publier notre ensemble de requêtes et nos résultats sur une plateforme comme GitHub. Cela permettra à d'autres chercheurs et développeurs de tester leurs propres assistants IA par rapport à notre benchmark.

Nous recommandons également une surveillance continue. Les assistants IA changent souvent (ils sont mis à jour, de nouvelles versions apparaissent, etc.). Nous suggérons un calendrier régulier pour réexécuter les tests. Par exemple, chaque fois que l'IA reçoit une mise à jour importante ou selon un cycle fixe (comme mensuel). Ceci est similaire à l'idée de « benchmarks à vie », qui étendent et mettent à jour les ensembles de tests au fil du temps pour éviter la stagnation (huggingface.co). En ajoutant continuellement de nouvelles questions et en réexécutant les tests, nous pouvons détecter tout changement dans le comportement de citation. Si l'IA commence soudainement à citer plus de sites obsolètes, ou si elle apprend à citer de meilleures sources, nous le verrons.

L'automatisation de cette surveillance signifie que nous pouvons suivre les tendances. Les équipes peuvent recevoir des alertes si quelque chose change de manière significative. C'est comme la surveillance de la dérive de modèle en apprentissage automatique, mais axée sur les citations. La combinaison de notre benchmark avec des exécutions régulières garantit que les assistants IA restent cohérents dans la façon dont ils fournissent des sources.

Conclusion

En résumé, nous proposons un plan complet pour sonder les règles de citation des assistants IA. En concevant un ensemble de questions de test large et varié, en les exécutant automatiquement via des systèmes d'IA, et en étiquetant soigneusement les sources citées selon des attributs comme la fraîcheur et l'autorité, nous pouvons utiliser des statistiques pour découvrir les facteurs qui influencent la citation. Notre méthode est étayée par des recherches récentes qui soulignent l'importance de la vérifiabilité (www.axios.com) (doaj.org) et par des benchmarks innovants qui étudient la qualité des sources (papers.cool) et les données synthétiques (papers.cool) (research.google). En rendant le benchmark open-source et en surveillant régulièrement les résultats, nous contribuons à créer un moyen transparent de garantir que les assistants IA citent des informations fiables. Ce travail peut améliorer la confiance dans l'IA en éclairant les règles cachées des citations et en guidant les développeurs à créer des systèmes meilleurs et plus responsables.