Synthetisches Abfragetesten: Assistenten sondieren, um Zitierregeln zu rekonstruieren

Einleitung

Moderne KI-Assistenten (Chatbots wie ChatGPT oder Bing Chat) versuchen oft, Benutzerfragen zu beantworten und ihre „Arbeit“ durch das Zitieren von Quellen zu belegen. Studien zeigen jedoch, dass viele Antworten fehlerhafte oder fehlende Zitate aufweisen. Zum Beispiel fanden Forscher der Stanford University heraus, dass etwa die Hälfte der KI-Chat-Antworten unbelegte Aussagen oder falsche Zitate enthielt (www.axios.com). Bei medizinischen Tests gaben neue KI-Tools oft Antworten, die nicht durch die von ihnen zitierten Quellen belegt waren (doaj.org). Diese Probleme bedeuten, dass wir bessere Methoden benötigen, um das Zitierverhalten von KI-Assistenten zu testen.

Um zu verstehen, wie eine KI auswählt, was zitiert werden soll, schlagen wir einen groß angelegten Testplan vor. Wir werden viele synthetische Abfragen (erfundene Fragen) erstellen, die verschiedene Themenbereiche und Fragetypen abdecken. Diese werden wir automatisch durch KI-Assistenten laufen lassen, deren Antworten und Zitate sammeln und jede zitierte Quelle nach ihrer Aktualität (wie neu), Autorität (wie vertrauenswürdig) und Struktur (Typ oder Format) kennzeichnen. Anschließend verwenden wir einfache Statistiken, um zu sehen, welche Faktoren die Wahrscheinlichkeit erhöhen, dass eine KI eine Quelle zitiert. Wir werden all unsere Daten und Tools offen teilen. Auf diese Weise können wir Verbesserungen im Crowdsourcing vornehmen und das Zitierverhalten von KI-Assistenten kontinuierlich überwachen.

Entwurf eines Benchmarks für synthetische Abfragen

Um Zitierregeln in der KI zu testen, werden wir einen synthetischen Abfragesatz verwenden. Das bedeutet, dass wir eine große Anzahl von Beispielfragen (Prompts) mithilfe von Computern generieren, anstatt nur echte Benutzeranfragen zu sammeln. Die Verwendung synthetischer Prompts ist in der Forschung üblich. Zum Beispiel haben Google-Forscher KI-Systeme verwendet, um Fragen zu generieren, wenn Daten schwer zu sammeln sind (research.google). Eine andere Studie zeigte, dass KI-generierte Frage-Antwort-Daten in einigen Szenarien ein guter Ersatz für echte Testdaten sein können (papers.cool).

Unsere Abfragen werden viele Themenbereiche (Verticals) und Benutzerziele umfassen. Wir wählen eine breite Palette von Themen wie Wissenschaft, Geschichte, Gesundheit, Finanzen und alltägliche Aufgaben. Innerhalb jedes Themas decken wir verschiedene Intentionen ab – den Zweck der Frage. Zum Beispiel werden einige Abfragen faktischer Natur sein (wie „Was ist der größte Planet in unserem Sonnensystem?“), einige werden nach Anleitungen fragen (wie „Wie wechsle ich einen Autoreifen?“), einige nach offenem Rat (wie „Was sollte ich bei der Bewerbung für ein Studium beachten?“) und so weiter. Durch die Mischung von informellen, faktischen, argumentativen und sozialen Fragetypen (papers.cool) stellen wir sicher, dass unser Test viele reale Anwendungsfälle abdeckt.

Wir könnten große Sprachmodelle selbst nutzen, um diesen Abfragesatz zu generieren. Für jedes Thema und jede Intention kann eine KI viele Fragen produzieren. Wir können diese dann überprüfen und filtern. Der endgültige Satz könnte Tausende von Fragen enthalten, um uns eine gute statistische Aussagekraft zu geben.

Tests durchführen und Zitate erfassen

Sobald wir unseren Abfragesatz haben, automatisieren wir die Tests. Ein Skript oder Programm sendet jede synthetische Frage an den KI-Assistenten (über eine API oder Schnittstelle) und speichert die Antwort. Für jede Antwort analysieren und extrahieren wir alle zitierten Quellen. KI-Assistenten liefern Referenzen oft als Links, Fußnoten oder eingebettete Zitate. Wir erfassen jede Quelle (zum Beispiel einen Weblink oder einen Artikeltitel) zusammen mit der Frage und der Antwort.

Diese Automatisierung ermöglicht es uns, Daten in großem Umfang zu sammeln. Anstatt jede Frage manuell zu stellen, kann das Skript alle Hunderte oder Tausende von Abfragen in einem Stapel durchlaufen. Wir könnten dies für ein oder mehrere KI-Systeme tun. Die Ausgabe ist ein Datensatz von (Frage, Antwort, zitierte Quellen). Wir vermerken auch, wie oft Quellen zitiert werden und in welchem Format.

Kennzeichnung von Quellenattributen

Nach dem Sammeln der Zitate kennzeichnen wir jede Quelle nach ihren Schlüsselattributen. Diese Attribute helfen uns zu testen, was eine Quelle wahrscheinlich zitierwürdig macht. Die Hauptattribute sind:

• Aktualität: Wie neu oder aktuell ist die Quelle? Zum Beispiel ist ein Nachrichtenartikel von letzter Woche sehr aktuell, während ein Lehrbuch von vor 20 Jahren es nicht ist. Aktualität ist wichtig, da neuere Informationen relevanter sein könnten. Frühere Benchmarks haben die Aktualität als Qualitätssignal für Zitate gemessen (papers.cool).
• Autorität: Wie vertrauenswürdig oder maßgeblich ist die Quelle? Dies könnte davon abhängen, wer sie veröffentlicht hat. Zum Beispiel hat eine Universitätsstudie oder eine Regierungswebsite in der Regel eine hohe Autorität, während ein unbekannter Blog eine geringe Autorität haben kann. SourceBench, eine aktuelle Studie, listete „Autorität“ als wichtiges seitenweites Qualitätssignal auf (papers.cool).
• Struktur: Welchen Typ oder welches Format hat die Quelle? Eine Quelle könnte beispielsweise ein Forschungsartikel, ein Nachrichtenartikel, ein Online-Forum-Beitrag oder ein offizieller Bericht sein. Die Struktur könnte beeinflussen, wie eine KI sie verwendet. (Auch wenn unser Prompt keine spezifischen Beispiele für die Struktur liefert, definieren wir sie als den Dokumenttyp oder die Klarheit der Formulierung. SourceBench erwähnte auch „Klarheit“ als Signal (papers.cool), was damit zusammenhängt.)

Wir können diese Attribute durch automatisierte Prüfungen oder durch Nachschlagen der Quelle annotieren. Für die Aktualität könnten wir das Veröffentlichungsdatum erfassen. Für die Autorität könnten wir bekannte Listen seriöser Domains oder die Beschreibung der Website verwenden (z. B. sind offizielle Domains wie .gov oder .edu tendenziell maßgeblicher). Diese Kennzeichnung kann manuell oder automatisiert erfolgen, aber sie liefert uns Werte wie „Aktualität = neu/alt“ und „Autorität = hoch/niedrig“ für jede Quelle.

Analyse und Modellierung von Zitierverhalten

Mit einem Datensatz vieler (Frage, Antwort, Quellenattribute) Beispiele analysieren wir die Daten, um Muster zu finden. Wir fragen: Welche Merkmale sagen am besten voraus, ob eine KI eine bestimmte Quelle zitieren wird?

Dies können wir durch einfache statistische Analyse oder maschinelles Lernen tun. Zum Beispiel können wir sehen, ob Quellen mit hoher Aktualität oder hoher Autorität häufiger zitiert werden. Wir könnten eine logistische Regression oder einen Entscheidungsbaum verwenden, um „zitieren vs. nicht zitieren“ als Ergebnis zu modellieren. Dies zeigt uns, welche Merkmale (wie Aktualität oder Thema oder Fragetyp) den stärksten Effekt haben.

Dieser Schritt ähnelt der Art und Weise, wie Forscher Umfrage- oder experimentelle Daten analysieren. Er könnte zum Beispiel zeigen, dass die KI es vorzieht, neuere oder maßgebendere Quellen zu zitieren. Wir würden nach den stärksten Prädiktoren suchen – jenen Attributen, die die Wahrscheinlichkeit einer Zitierung am stärksten erhöhen. Durch die Quantifizierung dessen „rekonstruieren“ wir im Wesentlichen die Zitierregeln: Wir finden heraus, wonach der Assistent anscheinend sucht.

Dieser Ansatz ist inspiriert von SourceBench und anderen Studien, die Quellen nach Metriken wie Aktualität und Autorität bewerten (papers.cool). Durch die Anwendung statistischer Modellierung gehen wir über Anekdoten hinaus zu messbaren Trends. Dies hilft uns zu verstehen, ob die KI eine Voreingenommenheit gegenüber bestimmten Quellen hat (zum Beispiel immer Wikipedia oder nur Top-Websites zitiert).

Open-Source-Benchmark und kontinuierliche Überwachung

Nach der Erstellung dieses Benchmarks werden wir ihn als Open Source veröffentlichen – die Abfragen, den Code und die Analyse online für jedermann zugänglich machen. Open-Source-Benchmarks sind in der KI-Forschung üblich, da sie es anderen ermöglichen, die Tests zu nutzen und zu verbessern. Zum Beispiel werden viele große Datensätze, wie die für Sprachübersetzung oder Fragenbeantwortung, öffentlich geteilt. Wir planen, unseren Abfragesatz und die Ergebnisse auf einer Plattform wie GitHub zu veröffentlichen. Dies ermöglicht es anderen Forschern und Entwicklern, ihre eigenen KI-Assistenten anhand unseres Benchmarks zu überprüfen.

Wir empfehlen auch eine kontinuierliche Überwachung. KI-Assistenten ändern sich oft (sie werden aktualisiert, neue Versionen, etc.). Wir schlagen einen regelmäßigen Zeitplan für das erneute Ausführen der Tests vor. Zum Beispiel jedes Mal, wenn die KI ein großes Update erhält oder in einem festen Zyklus (z. B. monatlich). Dies ähnelt der Idee von „lebenslangen Benchmarks“, die Testsätze im Laufe der Zeit erweitern und aktualisieren, um Stagnation zu vermeiden (huggingface.co). Durch das kontinuierliche Hinzufügen neuer Fragen und das erneute Ausführen können wir Änderungen im Zitierverhalten erkennen. Wenn die KI plötzlich anfängt, mehr veraltete Websites zu zitieren, oder wenn sie lernt, bessere Quellen zu zitieren, werden wir es sehen.

Die Automatisierung dieser Überwachung bedeutet, dass wir Trends verfolgen können. Teams können Benachrichtigungen erhalten, wenn sich etwas dramatisch ändert. Dies ist vergleichbar mit der Modell-Drift-Überwachung im maschinellen Lernen, konzentriert sich aber auf Zitate. Die Kombination unseres Benchmarks mit regelmäßigen Ausführungen stellt sicher, dass KI-Assistenten im Umgang mit Quellen auf Kurs bleiben.

Fazit

Zusammenfassend schlagen wir einen umfassenden Plan vor, um die Zitierregeln von KI-Assistenten zu sondieren. Durch die Entwicklung eines großen und vielfältigen Satzes von Testfragen, deren automatische Ausführung durch KI-Systeme und die sorgfältige Kennzeichnung der zitierten Quellen nach Attributen wie Aktualität und Autorität können wir Statistiken nutzen, um die Faktoren aufzudecken, die das Zitieren beeinflussen. Unsere Methode wird durch aktuelle Forschung gestützt, die die Bedeutung der Überprüfbarkeit (www.axios.com) (doaj.org) und innovative Benchmarks hervorhebt, die die Qualität von Quellen (papers.cool) und synthetische Daten (papers.cool) (research.google) untersuchen. Indem wir den Benchmark als Open Source veröffentlichen und die Ergebnisse regelmäßig überwachen, tragen wir dazu bei, einen transparenten Weg zu schaffen, um sicherzustellen, dass KI-Assistenten zuverlässige Informationen zitieren. Diese Arbeit kann das Vertrauen in KI verbessern, indem sie Licht auf die verborgenen Zitierregeln wirft und Entwickler anleitet, bessere, rechenschaftspflichtigere Systeme zu schaffen.