Auto
Introdução
Assistentes de IA modernos (chatbots como ChatGPT ou Bing Chat) frequentemente tentam responder a perguntas de usuários e “mostrar seu trabalho” citando fontes. No entanto, estudos mostram que muitas respostas têm citações ruins ou ausentes. Por exemplo, pesquisadores de Stanford descobriram que cerca de metade das respostas de chat de IA continha declarações não suportadas ou citações erradas (www.axios.com). Em testes médicos, novas ferramentas de IA frequentemente davam respostas não suportadas pelas fontes que citavam (doaj.org). Esses problemas significam que precisamos de melhores maneiras de testar o comportamento de citação dos assistentes de IA.
Para entender como uma IA escolhe o que citar, propomos um plano de teste em larga escala. Criaremos muitas consultas sintéticas (perguntas inventadas) abrangendo diferentes áreas temáticas e tipos de perguntas. Executaremos estas consultas através de assistentes de IA automaticamente, coletaremos suas respostas e citações, e rotularemos cada fonte citada por sua atualidade (quão recente), autoridade (quão confiável) e estrutura (tipo ou formato). Em seguida, usaremos estatísticas simples para ver quais fatores tornam mais provável que uma IA cite uma fonte. Compartilharemos todos os nossos dados e ferramentas abertamente. Dessa forma, podemos obter melhorias por meio de crowdsourcing e continuar monitorando o comportamento de citação da IA ao longo do tempo.
Projetando um Benchmark de Consulta Sintética
Para testar as regras de citação em IA, usaremos um conjunto de consultas sintéticas. Isso significa que geramos um grande número de perguntas de exemplo (prompts) usando computadores, em vez de apenas coletar consultas de usuários reais. O uso de prompts sintéticos é comum em pesquisas. Por exemplo, pesquisadores do Google usaram sistemas de IA para gerar perguntas quando os dados são difíceis de coletar (research.google). Outro estudo mostrou que dados de perguntas e respostas gerados por IA podem ser um bom substituto para dados de teste reais em algumas configurações (papers.cool).
Nossas consultas abrangerão muitos tópicos (verticais) e objetivos do usuário. Escolhemos uma ampla gama de assuntos, como ciência, história, saúde, finanças e tarefas diárias. Dentro de cada tópico, cobrimos diferentes intenções – o propósito da pergunta. Por exemplo, algumas consultas serão factuais (como “Qual é o maior planeta do nosso sistema solar?”), algumas pedirão instruções (“Como troco um pneu de carro?”), algumas conselhos abertos (“O que devo considerar ao me candidatar à faculdade?”), e assim por diante. Ao misturar tipos de perguntas informativas, factuais, argumentativas e sociais (papers.cool), garantimos que nosso teste cubra muitos usos do mundo real.
Podemos usar os próprios grandes modelos de linguagem para ajudar a gerar este conjunto de consultas. Para cada tópico e intenção, uma IA pode produzir muitas perguntas. Podemos então revisá-las e filtrá-las. O conjunto final pode conter milhares de perguntas para nos dar um bom poder estatístico.
Executando Testes e Capturando Citações
Uma vez que tenhamos nosso conjunto de consultas, automatizamos os testes. Um script ou programa enviará cada pergunta sintética ao assistente de IA (via API ou interface) e salvará a resposta. Para cada resposta, analisamos e extraímos quaisquer fontes citadas. Assistentes de IA frequentemente fornecem referências como links, notas de rodapé ou citações incorporadas. Registramos cada fonte (por exemplo, um link da web ou título de artigo) junto com a pergunta e a resposta.
Essa automação nos permite coletar dados em escala. Em vez de perguntar manualmente cada questão, o script pode executar centenas ou milhares de consultas em lote. Podemos fazer isso para um ou vários sistemas de IA. A saída é um conjunto de dados de (pergunta, resposta, fontes citadas). Também observamos com que frequência as fontes são citadas e em que formato.
Rotulando Atributos da Fonte
Após coletar as citações, rotulamos cada fonte por seus atributos chave. Esses atributos nos ajudam a testar o que torna uma fonte provável de ser citada. Os principais atributos são:
- Atualidade: Quão recente ou atualizada é a fonte? Por exemplo, uma notícia da semana passada é muito atual, enquanto um livro didático de 20 anos atrás não é. A atualidade é importante porque informações mais novas podem ser mais relevantes. Benchmarks anteriores mediram a atualidade como um sinal de qualidade para citações (papers.cool).
- Autoridade: Quão confiável ou autoritária é a fonte? Isso pode ser baseado em quem a publicou. Por exemplo, um estudo universitário ou um site governamental geralmente tem alta autoridade, enquanto um blog desconhecido pode ter baixa autoridade. SourceBench, um estudo recente, listou “autoridade” como um sinal chave de qualidade em nível de página (papers.cool).
- Estrutura: Qual é o tipo ou formato da fonte? Por exemplo, uma fonte pode ser um artigo de pesquisa, uma notícia, uma publicação em fórum online ou um relatório oficial. A estrutura pode afetar como uma IA a utiliza. (Mesmo que nosso prompt não forneça exemplos específicos de estrutura, nós a definimos como o tipo de documento ou clareza da escrita. O SourceBench também mencionou “clareza” como um sinal (papers.cool), o que está relacionado.)
Podemos anotar esses atributos por verificações automatizadas ou pesquisando a fonte. Para a atualidade, podemos registrar a data de publicação. Para a autoridade, poderíamos usar listas conhecidas de domínios respeitáveis ou a descrição do site (por exemplo, domínios oficiais como .gov ou .edu tendem a ser mais autoritários). Essa rotulagem pode ser manual ou automatizada, mas nos dá valores como “atualidade = novo/antigo” e “autoridade = alta/baixa” para cada fonte.
Analisando e Modelando Padrões de Citação
Com um conjunto de dados de muitos exemplos (pergunta, resposta, atributos da fonte), analisamos os dados para encontrar padrões. Perguntamos: quais características melhor preveem se uma IA citará uma determinada fonte?
Podemos fazer isso por meio de análise estatística simples ou aprendizado de máquina. Por exemplo, podemos ver se fontes com alta atualidade ou alta autoridade são citadas com mais frequência. Poderíamos usar uma regressão logística ou uma árvore de decisão para modelar “citar vs não citar” como resultado. Isso nos diz quais características (como atualidade ou tópico ou tipo de pergunta) têm o efeito mais forte.
Esta etapa é semelhante à forma como os pesquisadores analisam dados de pesquisas ou experimentais. Pode revelar, por exemplo, que a IA prefere citar fontes mais recentes ou mais autoritárias. Buscaríamos os preditores mais fortes – aqueles atributos que mais aumentam a chance de uma citação. Ao quantificar isso, essencialmente fazemos a “engenharia reversa” das regras de citação: descobrimos o que o assistente parece estar procurando.
Esta abordagem é inspirada no SourceBench e em outros estudos que pontuam fontes em métricas como atualidade e autoridade (papers.cool). Ao aplicar modelagem estatística, vamos além das anedotas para tendências medidas. Isso nos ajuda a entender se a IA tem um viés em relação a certas fontes (por exemplo, sempre citando a Wikipedia ou apenas citando os principais sites).
Benchmark de Código Aberto e Monitoramento Contínuo
Depois de construir este benchmark, nós o tornaremos de código aberto – publicando as consultas, o código e a análise online para todos. Benchmarks de código aberto são comuns na pesquisa de IA porque permitem que outros usem e melhorem os testes. Por exemplo, muitos conjuntos de dados em larga escala, como os para tradução de idiomas ou resposta a perguntas, são compartilhados publicamente. Planejamos colocar nosso conjunto de consultas e resultados em uma plataforma como o GitHub. Isso permite que outros pesquisadores e desenvolvedores verifiquem seus próprios assistentes de IA em relação ao nosso benchmark.
Também recomendamos o monitoramento contínuo. Assistentes de IA mudam frequentemente (são atualizados, novas versões, etc.). Sugerimos um cronograma regular para reexecutar os testes. Por exemplo, toda vez que a IA recebe uma grande atualização ou em um ciclo fixo (como mensalmente). Isso é semelhante à ideia de “benchmarks ao longo da vida”, que expandem e atualizam os conjuntos de testes ao longo do tempo para evitar a estagnação (huggingface.co). Ao adicionar continuamente novas perguntas e reexecutar, podemos detectar quaisquer mudanças no comportamento de citação. Se a IA de repente começar a citar mais sites desatualizados, ou se aprender a citar melhores fontes, nós o veremos.
Automatizar esse monitoramento significa que podemos acompanhar as tendências. As equipes podem receber alertas se algo mudar drasticamente. Isso é como o monitoramento de model drift em aprendizado de máquina, mas focado em citações. Combinar nosso benchmark com execuções regulares garante que os assistentes de IA permaneçam no caminho certo em como fornecem as fontes.
Conclusão
Em resumo, propomos um plano abrangente para investigar as regras de citação dos assistentes de IA. Ao projetar um conjunto grande e variado de perguntas de teste, executá-las automaticamente através de sistemas de IA e rotular cuidadosamente as fontes citadas por atributos como atualidade e autoridade, podemos usar estatísticas para descobrir os fatores que influenciam a citação. Nosso método é apoiado por pesquisas recentes que enfatizam a importância da verificabilidade (www.axios.com) (doaj.org) e benchmarks inovadores que estudam a qualidade da fonte (papers.cool) e dados sintéticos (papers.cool) (research.google). Ao tornar o benchmark de código aberto e monitorar regularmente os resultados, ajudamos a criar uma maneira transparente de garantir que os assistentes de IA citem informações confiáveis. Este trabalho pode melhorar a confiança na IA, lançando luz sobre as regras ocultas das citações e orientando os desenvolvedores a criar sistemas melhores e mais responsáveis.
