Auto
Introducción
Los asistentes de IA modernos (chatbots como ChatGPT o Bing Chat) a menudo intentan responder preguntas de los usuarios y “mostrar su trabajo” citando fuentes. Sin embargo, los estudios demuestran que muchas respuestas tienen citas incorrectas o faltantes. Por ejemplo, investigadores de Stanford descubrieron que aproximadamente la mitad de las respuestas de chat de IA contenían afirmaciones sin respaldo o citas erróneas (www.axios.com). En pruebas médicas, las nuevas herramientas de IA a menudo daban respuestas no respaldadas por las fuentes que citaban (doaj.org). Estos problemas significan que necesitamos mejores formas de probar el comportamiento de citación de los asistentes de IA.
Para comprender cómo una IA elige qué citar, proponemos un plan de pruebas a gran escala. Crearemos muchas consultas sintéticas (preguntas inventadas) que cubran diferentes áreas temáticas y tipos de preguntas. Las ejecutaremos a través de asistentes de IA automáticamente, recopilaremos sus respuestas y citas, y etiquetaremos cada fuente citada por su actualidad (cuán reciente), autoridad (cuán confiable) y estructura (tipo o formato). Luego, utilizaremos estadísticas simples para ver qué factores hacen que sea más probable que una IA cite una fuente. Compartiremos todos nuestros datos y herramientas abiertamente. De esta manera, podemos obtener mejoras mediante crowdsourcing y seguir monitoreando el comportamiento de citación de la IA a lo largo del tiempo.
Diseño de un Benchmark de Consultas Sintéticas
Para probar las reglas de citación en IA, utilizaremos un conjunto de consultas sintéticas. Esto significa que generaremos un gran número de preguntas de ejemplo (prompts) utilizando ordenadores, en lugar de solo recopilar consultas de usuarios reales. El uso de prompts sintéticos es común en la investigación. Por ejemplo, los investigadores de Google han utilizado sistemas de IA para generar preguntas cuando los datos son difíciles de recopilar (research.google). Otro estudio demostró que los datos de preguntas y respuestas generados por IA pueden ser un buen sustituto de los datos de prueba reales en algunos entornos (papers.cool).
Nuestras consultas abarcarán muchos temas (verticales) y objetivos de usuario. Seleccionamos una amplia gama de temas como ciencia, historia, salud, finanzas y tareas cotidianas. Dentro de cada tema, cubrimos diferentes intenciones, el propósito de la pregunta. Por ejemplo, algunas consultas serán fácticas (como “¿Cuál es el planeta más grande de nuestro sistema solar?”), algunas pedirán instrucciones (“¿Cómo cambio una rueda de coche?”), otras consejos abiertos (“¿Qué debo considerar al solicitar ingreso a la universidad?”), y así sucesivamente. Al mezclar tipos de preguntas informativas, fácticas, argumentativas y sociales (papers.cool), nos aseguramos de que nuestra prueba cubra muchos usos del mundo real.
Podríamos utilizar los propios modelos de lenguaje grandes para ayudar a generar este conjunto de consultas. Para cada tema e intención, una IA puede producir muchas preguntas. Podemos entonces revisarlas y filtrarlas. El conjunto final podría contener miles de preguntas para darnos una buena potencia estadística.
Ejecución de Pruebas y Captura de Citas
Una vez que tengamos nuestro conjunto de consultas, automatizaremos las pruebas. Un script o programa enviará cada pregunta sintética al asistente de IA (a través de una API o interfaz) y guardará la respuesta. Para cada respuesta, analizaremos y extraeremos cualquier fuente citada. Los asistentes de IA a menudo proporcionan referencias como enlaces, notas a pie de página o citas incrustadas. Registramos cada fuente (por ejemplo, un enlace web o el título de un artículo) junto con la pregunta y la respuesta.
Esta automatización nos permite recopilar datos a gran escala. En lugar de hacer cada pregunta manualmente, el script puede ejecutar cientos o miles de consultas en un lote. Podríamos hacer esto para uno o varios sistemas de IA. El resultado es un conjunto de datos de (pregunta, respuesta, fuentes citadas). También observamos con qué frecuencia se citan las fuentes y en qué formato.
Etiquetado de Atributos de la Fuente
Después de recopilar las citas, etiquetamos cada fuente según sus atributos clave. Estos atributos nos ayudan a probar qué hace que una fuente sea propensa a ser citada. Los atributos principales son:
- Actualidad: ¿Cuán reciente o actualizada es la fuente? Por ejemplo, un artículo de noticias de la semana pasada es muy actual, mientras que un libro de texto de hace 20 años no lo es. La actualidad es importante porque la información más reciente podría ser más relevante. Benchmarks anteriores han medido la actualidad como una señal de calidad para las citas (papers.cool).
- Autoridad: ¿Cuán confiable o autorizada es la fuente? Esto podría basarse en quién la publicó. Por ejemplo, un estudio universitario o un sitio web gubernamental suele tener alta autoridad, mientras que un blog desconocido puede tener baja autoridad. SourceBench, un estudio reciente, enumeró la “autoridad” como una señal clave de calidad a nivel de página (papers.cool).
- Estructura: ¿Qué tipo o formato tiene la fuente? Por ejemplo, una fuente podría ser un artículo de investigación, un artículo de noticias, una publicación en un foro en línea o un informe oficial. La estructura podría afectar cómo la utiliza una IA. (Aunque nuestro prompt no proporcione ejemplos específicos de estructura, la definimos como el tipo de documento o la claridad de la redacción. SourceBench también mencionó la “claridad” como una señal (papers.cool), que está relacionada.)
Podemos anotar estos atributos mediante verificaciones automatizadas o buscando la fuente. Para la actualidad, podríamos registrar la fecha de publicación. Para la autoridad, podríamos utilizar listas conocidas de dominios reputados o la descripción del sitio (por ejemplo, dominios oficiales como .gov o .edu tienden a ser más autoritativos). Este etiquetado puede ser manual o automatizado, pero nos da valores como “actualidad = nuevo/antiguo” y “autoridad = alta/baja” para cada fuente.
Análisis y Modelado de Patrones de Citación
Con un conjunto de datos de muchos ejemplos (pregunta, respuesta, atributos de la fuente), analizamos los datos para encontrar patrones. Nos preguntamos: ¿qué características predicen mejor si una IA citará una fuente dada?
Podríamos hacer esto mediante análisis estadísticos simples o aprendizaje automático. Por ejemplo, podemos ver si las fuentes con alta actualidad o alta autoridad se citan con más frecuencia. Podríamos usar una regresión logística o un árbol de decisión para modelar “citar vs no citar” como resultado. Esto nos dice qué características (como la actualidad, el tema o el tipo de pregunta) tienen el efecto más fuerte.
Este paso es similar a cómo los investigadores analizan datos de encuestas o experimentales. Podría revelar, por ejemplo, que la IA prefiere citar fuentes más recientes o más autorizadas. Buscaríamos los predictores más fuertes, aquellos atributos que más aumentan la probabilidad de una citación. Al cuantificar esto, esencialmente realizamos una “ingeniería inversa” de las reglas de citación: descubrimos lo que el asistente parece estar buscando.
Este enfoque está inspirado en SourceBench y otros estudios que califican las fuentes según métricas como la actualidad y la autoridad (papers.cool). Al aplicar el modelado estadístico, vamos más allá de las anécdotas para llegar a tendencias medidas. Esto nos ayuda a comprender si la IA tiene un sesgo hacia ciertas fuentes (por ejemplo, citar siempre Wikipedia o solo citar los sitios principales).
Benchmark de Código Abierto y Monitoreo Continuo
Después de construir este benchmark, lo haremos de código abierto, publicando las consultas, el código y el análisis en línea para todos. Los benchmarks de código abierto son comunes en la investigación de IA porque permiten que otros utilicen y mejoren las pruebas. Por ejemplo, muchos conjuntos de datos a gran escala, como los de traducción de idiomas o respuesta a preguntas, se comparten públicamente. Planeamos colocar nuestro conjunto de consultas y resultados en una plataforma como GitHub. Esto permite a otros investigadores y desarrolladores verificar sus propios asistentes de IA contra nuestro benchmark.
También recomendamos un monitoreo continuo. Los asistentes de IA cambian a menudo (se actualizan, nuevas versiones, etc.). Sugerimos un cronograma regular para volver a ejecutar las pruebas. Por ejemplo, cada vez que la IA recibe una gran actualización o en un ciclo fijo (como mensualmente). Esto es similar a la idea de “benchmarks de por vida”, que expanden y actualizan los conjuntos de pruebas con el tiempo para evitar el estancamiento (huggingface.co). Al agregar continuamente nuevas preguntas y volver a ejecutarlas, podemos detectar cualquier cambio en el comportamiento de citación. Si la IA de repente comienza a citar más sitios obsoletos, o si aprende a citar mejores fuentes, lo veremos.
Automatizar este monitoreo significa que podemos rastrear tendencias. Los equipos pueden recibir alertas si algo cambia drásticamente. Esto es como el monitoreo de la deriva del modelo en el aprendizaje automático, pero enfocado en las citas. Combinar nuestro benchmark con ejecuciones regulares garantiza que los asistentes de IA se mantengan en el camino correcto en cómo proporcionan las fuentes.
Conclusión
En resumen, proponemos un plan integral para investigar las reglas de citación de los asistentes de IA. Al diseñar un conjunto grande y variado de preguntas de prueba, ejecutarlas automáticamente a través de sistemas de IA y etiquetar cuidadosamente las fuentes citadas según atributos como la actualidad y la autoridad, podemos usar estadísticas para descubrir los factores que influyen en la citación. Nuestro método está respaldado por investigaciones recientes que enfatizan la importancia de la verificabilidad (www.axios.com) (doaj.org) y benchmarks innovadores que estudian la calidad de las fuentes (papers.cool) y los datos sintéticos (papers.cool) (research.google). Al hacer que el benchmark sea de código abierto y monitorear los resultados regularmente, ayudamos a crear una forma transparente de asegurar que los asistentes de IA citen información confiable. Este trabajo puede mejorar la confianza en la IA al arrojar luz sobre las reglas ocultas de las citas y guiar a los desarrolladores para crear sistemas mejores y más responsables.
