Auto
Introductie
Moderne AI-assistenten (chatbots zoals ChatGPT of Bing Chat) proberen vaak gebruikersvragen te beantwoorden en “hun werk te tonen” door bronnen te citeren. Studies tonen echter aan dat veel antwoorden slechte of ontbrekende citaties hebben. Zo ontdekten onderzoekers van Stanford dat ongeveer de helft van de AI-chatantwoorden ononderbouwde beweringen of verkeerde citaties bevatte (www.axios.com). Bij medische tests gaven nieuwe AI-tools vaak antwoorden die niet werden ondersteund door de bronnen die ze citeerden (doaj.org). Deze problemen betekenen dat we betere manieren nodig hebben om het citatiegedrag van AI-assistenten te testen.
Om te begrijpen hoe een AI kiest wat te citeren, stellen we een grootschalig testplan voor. We zullen veel synthetische queries (verzonnen vragen) creëren die verschillende onderwerpen en vraagtypen bestrijken. We zullen deze automatisch door AI-assistenten laten lopen, hun antwoorden en citaties verzamelen, en elke geciteerde bron labelen op basis van de actualiteit (hoe recent), autoriteit (hoe betrouwbaar) en structuur (type of formaat). Vervolgens gebruiken we eenvoudige statistieken om te zien welke factoren het waarschijnlijker maken dat een AI een bron citeert. We zullen al onze gegevens en tools openbaar delen. Op deze manier kunnen we verbeteringen crowdsourcen en het AI-citatiegedrag in de loop van de tijd blijven monitoren.
Een Benchmark voor Synthetische Queries Ontwerpen
Om citatieregels in AI te testen, zullen we een set synthetische queries gebruiken. Dit betekent dat we een groot aantal voorbeeldvragen (prompts) genereren met behulp van computers, in plaats van alleen echte gebruikersvragen te verzamelen. Het gebruik van synthetische prompts is gebruikelijk in onderzoek. Zo hebben onderzoekers van Google AI-systemen gebruikt om vragen te genereren wanneer gegevens moeilijk te verzamelen zijn (research.google). Een andere studie toonde aan dat door AI gegenereerde vraag-antwoordgegevens een goede vervanging kunnen zijn voor echte testgegevens in sommige omgevingen (papers.cool).
Onze queries zullen vele onderwerpen (verticalen) en gebruikersdoelen bestrijken. We kiezen een breed scala aan onderwerpen, zoals wetenschap, geschiedenis, gezondheid, financiën en alledaagse taken. Binnen elk onderwerp behandelen we verschillende intenties – het doel van de vraag. Sommige queries zullen bijvoorbeeld feitelijk zijn (zoals “Wat is de grootste planeet in ons zonnestelsel?”), andere zullen vragen om instructies (“Hoe verwissel ik een autoband?”), weer andere om open advies (“Wat moet ik overwegen bij het aanmelden voor een opleiding?”), enzovoort. Door informatieve, feitelijke, argumentatieve en sociale vraagtypen te mengen (papers.cool), zorgen we ervoor dat onze test veel praktijktoepassingen dekt.
We zouden grote taalmodellen zelf kunnen gebruiken om deze queryset te genereren. Voor elk onderwerp en elke intentie kan een AI veel vragen produceren. We kunnen ze vervolgens beoordelen en filteren. De uiteindelijke set kan duizenden vragen bevatten om ons een goede statistische zeggingskracht te geven.
Tests Uitvoeren en Citaties Vastleggen
Zodra we onze queryset hebben, automatiseren we het testen. Een script of programma stuurt elke synthetische vraag naar de AI-assistent (via een API of interface) en slaat het antwoord op. Voor elk antwoord analyseren en extraheren we alle geciteerde bronnen. AI-assistenten geven vaak verwijzingen in de vorm van links, voetnoten of ingebedde citaties. We registreren elke bron (bijvoorbeeld een weblink of artikel titel) samen met de vraag en het antwoord.
Deze automatisering stelt ons in staat om gegevens op schaal te verzamelen. In plaats van elke vraag handmatig te stellen, kan het script honderden of duizenden queries in één batch verwerken. We kunnen dit doen voor één of meerdere AI-systemen. De output is een dataset van (vraag, antwoord, geciteerde bronnen). We noteren ook hoe vaak bronnen worden geciteerd en in welk formaat.
Broneigenschappen Labelen
Na het verzamelen van citaties, labelen we elke bron aan de hand van de belangrijkste eigenschappen. Deze eigenschappen helpen ons te testen wat een bron waarschijnlijk maakt om te worden geciteerd. De belangrijkste eigenschappen zijn:
- Actualiteit: Hoe recent of up-to-date is de bron? Een nieuwsartikel van vorige week is bijvoorbeeld zeer actueel, terwijl een twintig jaar oud studieboek dat niet is. Actualiteit is belangrijk omdat nieuwere informatie relevanter kan zijn. Eerdere benchmarks hebben actualiteit gemeten als een kwaliteitssignaal voor citaties (papers.cool).
- Autoriteit: Hoe betrouwbaar of autoritair is de bron? Dit kan gebaseerd zijn op wie het heeft gepubliceerd. Een universitaire studie of een overheidswebsite heeft bijvoorbeeld meestal een hoge autoriteit, terwijl een onbekende blog een lage autoriteit kan hebben. SourceBench, een recente studie, noemde “autoriteit” als een belangrijk signaal op paginaniveau voor kwaliteit (papers.cool).
- Structuur: Welk type of formaat heeft de bron? Een bron kan bijvoorbeeld een onderzoeksartikel, een nieuwsartikel, een online forumbericht of een officieel rapport zijn. De structuur kan van invloed zijn op hoe een AI deze gebruikt. (Zelfs als onze prompt geen specifieke voorbeelden van structuur geeft, definiëren we het als het documenttype of de helderheid van de tekst. SourceBench noemde ook “helderheid” als een signaal (papers.cool), wat hiermee verband houdt.)
We kunnen deze eigenschappen annoteren door middel van geautomatiseerde controles of door de bron op te zoeken. Voor actualiteit kunnen we de publicatiedatum registreren. Voor autoriteit kunnen we bekende lijsten van betrouwbare domeinen of de beschrijving van de site gebruiken (bijvoorbeeld, officiële domeinen zoals .gov of .edu zijn doorgaans autoritairder). Deze labeling kan handmatig of geautomatiseerd zijn, maar het geeft ons waarden zoals “actualiteit = nieuw/oud” en “autoriteit = hoog/laag” voor elke bron.
Citatiepatronen Analyseren en Modelleren
Met een dataset van vele (vraag, antwoord, broneigenschappen) voorbeelden, analyseren we de gegevens om patronen te vinden. We vragen: welke kenmerken voorspellen het beste of een AI een gegeven bron zal citeren?
We kunnen dit doen door middel van eenvoudige statistische analyse of machinaal leren. We kunnen bijvoorbeeld zien of bronnen met een hoge actualiteit of hoge autoriteit vaker worden geciteerd. We zouden een logistische regressie of een beslisboom kunnen gebruiken om “citeren versus niet citeren” als uitkomst te modelleren. Dit vertelt ons welke kenmerken (zoals actualiteit of onderwerp of vraagtype) het sterkste effect hebben.
Deze stap is vergelijkbaar met hoe onderzoekers enquête- of experimentele gegevens analyseren. Het kan bijvoorbeeld onthullen dat de AI de voorkeur geeft aan het citeren van bronnen die recenter of autoritairder zijn. We zouden zoeken naar de sterkste voorspellers – die eigenschappen die de kans op een citatie het meest vergroten. Door dit te kwantificeren, “reverse-engineeren” we in wezen de citatieregels: we ontdekken waar de assistent naar lijkt te zoeken.
Deze aanpak is geïnspireerd op SourceBench en andere studies die bronnen beoordelen op metrics zoals actualiteit en autoriteit (papers.cool). Door statistische modellering toe te passen, gaan we verder dan anekdotes naar gemeten trends. Dit helpt ons te begrijpen of de AI een voorkeur heeft voor bepaalde bronnen (bijvoorbeeld altijd Wikipedia citeren of alleen topsites citeren).
Open-Source Benchmark en Continue Monitoring
Na het bouwen van deze benchmark zullen we deze open-source maken – de queries, code en analyse online publiceren voor iedereen. Open-source benchmarks zijn gebruikelijk in AI-onderzoek omdat ze anderen in staat stellen de tests te gebruiken en te verbeteren. Zo worden veel grootschalige datasets, zoals die voor taalvertaling of vraagbeantwoording, openbaar gedeeld. We zijn van plan om onze queryset en resultaten op een platform zoals GitHub te plaatsen. Dit stelt andere onderzoekers en ontwikkelaars in staat om hun eigen AI-assistenten te controleren aan de hand van onze benchmark.
We bevelen ook voortdurende monitoring aan. AI-assistenten veranderen vaak (ze worden geüpdatet, nieuwe versies, enz.). We stellen een regelmatig schema voor het opnieuw uitvoeren van de tests voor. Bijvoorbeeld, elke keer dat de AI een grote update krijgt of volgens een vaste cyclus (zoals maandelijks). Dit is vergelijkbaar met het idee van “levenslange benchmarks”, die testsets in de loop van de tijd uitbreiden en bijwerken om stagnatie te voorkomen (huggingface.co). Door voortdurend nieuwe vragen toe te voegen en de tests opnieuw uit te voeren, kunnen we eventuele verschuivingen in het citatiegedrag opsporen. Als de AI plotseling meer verouderde sites begint te citeren, of als het leert betere bronnen te citeren, zullen we dat zien.
Het automatiseren van deze monitoring betekent dat we trends kunnen volgen. Teams kunnen waarschuwingen krijgen als er iets drastisch verandert. Dit is vergelijkbaar met monitoring van modeldrift in machinaal leren, maar dan gericht op citaties. Het combineren van onze benchmark met regelmatige runs zorgt ervoor dat AI-assistenten op koers blijven in hoe ze bronnen aanleveren.
Conclusie
Samenvattend stellen we een uitgebreid plan voor om de citatieregels van AI-assistenten te doorlichten. Door een grote en gevarieerde reeks testvragen te ontwerpen, deze automatisch door AI-systemen te laten lopen en de geciteerde bronnen zorgvuldig te labelen op eigenschappen zoals actualiteit en autoriteit, kunnen we statistieken gebruiken om de factoren die citatie beïnvloeden te achterhalen. Onze methode wordt ondersteund door recent onderzoek dat het belang van verifieerbaarheid benadrukt (www.axios.com) (doaj.org) en innovatieve benchmarks die bronkwaliteit (papers.cool) en synthetische gegevens (papers.cool) (research.google) bestuderen. Door de benchmark open-source te maken en de resultaten regelmatig te monitoren, helpen we een transparante manier te creëren om ervoor te zorgen dat AI-assistenten betrouwbare informatie citeren. Dit werk kan het vertrouwen in AI verbeteren door licht te werpen op de verborgen citatieregels en ontwikkelaars te begeleiden bij het maken van betere, meer verantwoorde systemen.
