Auto
Wstęp
Współczesne asystenty AI (chatboty takie jak ChatGPT czy Bing Chat) często próbują odpowiadać na pytania użytkowników i „pokazywać swoją pracę”, cytując źródła. Jednak badania wykazują, że wiele odpowiedzi zawiera błędne lub brakujące cytowania. Na przykład, badacze ze Stanforda odkryli, że około połowa odpowiedzi chatbotów AI zawierała nieuzasadnione stwierdzenia lub błędne cytowania (www.axios.com). W testach medycznych, nowe narzędzia AI często podawały odpowiedzi niepoparte przez cytowane źródła (doaj.org). Te problemy oznaczają, że potrzebujemy lepszych sposobów testowania zachowania asystentów AI w zakresie cytowania.
Aby zrozumieć, w jaki sposób AI wybiera, co cytować, proponujemy szeroko zakrojony plan testowania. Stworzymy wiele zapytań syntetycznych (fikcyjnych pytań) obejmujących różne dziedziny tematyczne i typy pytań. Będziemy je automatycznie uruchamiać za pośrednictwem asystentów AI, zbierać ich odpowiedzi i cytowania, a następnie etykietować każde cytowane źródło pod kątem jego aktualności (jak niedawne), autorytetu (jak wiarygodne) i struktury (typ lub format). Następnie wykorzystamy proste statystyki, aby sprawdzić, które czynniki zwiększają prawdopodobieństwo, że AI zacytuje dane źródło. Udostępnimy wszystkie nasze dane i narzędzia publicznie. W ten sposób możemy gromadzić ulepszenia i monitorować zachowanie AI w zakresie cytowania w czasie.
Projektowanie benchmarku zapytań syntetycznych
Aby przetestować zasady cytowania w AI, użyjemy zestawu zapytań syntetycznych. Oznacza to, że generujemy dużą liczbę przykładowych pytań (promptów) za pomocą komputerów, zamiast jedynie zbierać rzeczywiste zapytania użytkowników. Używanie syntetycznych promptów jest powszechne w badaniach. Na przykład, badacze Google wykorzystali systemy AI do generowania pytań, gdy dane są trudne do zebrania (research.google). Inne badanie wykazało, że dane pytanie-odpowiedź generowane przez AI mogą być dobrym zastępstwem dla rzeczywistych danych testowych w niektórych ustawieniach (papers.cool).
Nasze zapytania obejmować będą wiele tematów (wertykali) i celów użytkownika. Wybieramy szeroki zakres tematów, takich jak nauka, historia, zdrowie, finanse i codzienne zadania. W ramach każdego tematu, uwzględniamy różne intencje – cel pytania. Na przykład, niektóre zapytania będą faktograficzne (jak „Jaka jest największa planeta w naszym układzie słonecznym?”), niektóre będą prosić o instrukcje (jak „Jak zmienić oponę w samochodzie?”), niektóre o otwartą poradę (jak „Co powinienem wziąć pod uwagę, aplikując na studia?”) i tak dalej. Mieszając informacyjne, faktograficzne, argumentacyjne i społeczne typy pytań (papers.cool), zapewniamy, że nasz test obejmuje wiele zastosowań w świecie rzeczywistym.
Do generowania tego zestawu zapytań możemy wykorzystać same duże modele językowe. Dla każdego tematu i intencji AI może wygenerować wiele pytań. Następnie możemy je przeglądać i filtrować. Końcowy zestaw może zawierać tysiące pytań, aby zapewnić nam dobrą moc statystyczną.
Przeprowadzanie testów i przechwytywanie cytowań
Po skompletowaniu zestawu zapytań automatyzujemy testowanie. Skrypt lub program wyśle każde syntetyczne pytanie do asystenta AI (za pośrednictwem API lub interfejsu) i zapisze odpowiedź. Dla każdej odpowiedzi parsjujemy i wyodrębniamy wszelkie cytowane źródła. Asystenci AI często dostarczają odnośniki w postaci linków, przypisów lub wbudowanych cytowań. Rejestrujemy każde źródło (na przykład link do strony internetowej lub tytuł artykułu) wraz z pytaniem i odpowiedzią.
Ta automatyzacja pozwala nam zbierać dane na dużą skalę. Zamiast ręcznie zadawać każde pytanie, skrypt może przetworzyć setki lub tysiące zapytań w partii. Możemy to zrobić dla jednego lub wielu systemów AI. Wynikiem jest zbiór danych (pytanie, odpowiedź, cytowane źródła). Odnotowujemy również, jak często źródła są cytowane i w jakim formacie.
Etykietowanie atrybutów źródła
Po zebraniu cytowań etykietujemy każde źródło według jego kluczowych atrybutów. Te atrybuty pomagają nam sprawdzić, co sprawia, że źródło jest prawdopodobnie cytowane. Główne atrybuty to:
- Aktualność: Jak świeże lub aktualne jest źródło? Na przykład, artykuł prasowy z zeszłego tygodnia jest bardzo aktualny, podczas gdy podręcznik sprzed 20 lat już nie. Aktualność jest ważna, ponieważ nowsze informacje mogą być bardziej trafne. Poprzednie benchmarki mierzyły aktualność jako sygnał jakości dla cytowań (papers.cool).
- Autorytet: Jak wiarygodne lub autorytatywne jest źródło? Może to zależeć od tego, kto je opublikował. Na przykład, badanie uniwersyteckie lub strona rządowa zazwyczaj ma wysoki autorytet, podczas gdy nieznany blog może mieć niski autorytet. SourceBench, niedawne badanie, wymieniło „autorytet” jako kluczowy sygnał jakości na poziomie strony (papers.cool).
- Struktura: Jaki typ lub format ma źródło? Na przykład, źródło może być artykułem naukowym, artykułem prasowym, postem na forum internetowym lub raportem oficjalnym. Struktura może wpływać na to, jak AI go wykorzystuje. (Nawet jeśli nasz prompt nie zawiera konkretnych przykładów struktury, definiujemy ją jako typ dokumentu lub klarowność pisma. SourceBench wspomniał również o „klarowności” jako sygnale (papers.cool), co jest z tym związane.)
Możemy opisywać te atrybuty za pomocą automatycznych kontroli lub poprzez wyszukiwanie źródła. Dla aktualności, możemy rejestrować datę publikacji. Dla autorytetu, moglibyśmy użyć znanych list renomowanych domen lub opisu strony (na przykład, oficjalne domeny takie jak .gov lub .edu zazwyczaj są bardziej autorytatywne). To etykietowanie może być ręczne lub automatyczne, ale dostarcza nam wartości takie jak „aktualność = nowa/stara” i „autorytet = wysoki/niski” dla każdego źródła.
Analiza i modelowanie wzorców cytowania
Posiadając zbiór danych zawierający wiele przykładów (pytanie, odpowiedź, atrybuty źródła), analizujemy dane, aby znaleźć wzorce. Zadajemy pytanie: które cechy najlepiej przewidują, czy AI zacytuje dane źródło?
Możemy to zrobić za pomocą prostej analizy statystycznej lub uczenia maszynowego. Na przykład, możemy sprawdzić, czy źródła o wysokiej aktualności lub wysokim autorytecie są cytowane częściej. Moglibyśmy użyć regresji logistycznej lub drzewa decyzyjnego do modelowania wyniku „cytuj kontra nie cytuj”. To powie nam, które cechy (takie jak aktualność, temat czy typ pytania) mają najsilniejszy wpływ.
Ten krok jest podobny do sposobu, w jaki badacze analizują dane z ankiet lub eksperymentów. Może ujawnić, na przykład, że AI preferuje cytowanie źródeł, które są nowsze lub bardziej autorytatywne. Szukalibyśmy najsilniejszych predyktorów – tych atrybutów, które najbardziej zwiększają szansę na cytowanie. Kwantyfikując to, zasadniczo „inżynierujemy wstecz” zasady cytowania: dowiadujemy się, czego asystent wydaje się szukać.
Podejście to jest inspirowane przez SourceBench i inne badania, które oceniają źródła pod kątem metryk takich jak aktualność i autorytet (papers.cool). Stosując modelowanie statystyczne, przechodzimy od anegdot do mierzalnych trendów. Pomaga to nam zrozumieć, czy AI ma tendencje do preferowania pewnych źródeł (na przykład, zawsze cytując Wikipedię lub cytując tylko czołowe strony).
Benchmark open-source i ciągłe monitorowanie
Po stworzeniu tego benchmarku udostępnimy go jako open-source – publikując zapytania, kod i analizy online dla każdego. Benchmarki open-source są powszechne w badaniach AI, ponieważ pozwalają innym korzystać z testów i je ulepszać. Na przykład, wiele dużych zbiorów danych, takich jak te do tłumaczenia języków czy odpowiadania na pytania, jest udostępnianych publicznie. Planujemy umieścić nasz zestaw zapytań i wyniki na platformie takiej jak GitHub. Umożliwi to innym badaczom i programistom sprawdzenie ich własnych asystentów AI w porównaniu z naszym benchmarkiem.
Zalecamy również ciągłe monitorowanie. Asystenci AI często się zmieniają (są aktualizowani, pojawiają się nowe wersje itp.). Sugerujemy regularny harmonogram ponownego uruchamiania testów. Na przykład, za każdym razem, gdy AI otrzymuje dużą aktualizację lub w ustalonym cyklu (np. co miesiąc). Jest to podobne do idei „benchmarków na całe życie”, które rozszerzają i aktualizują zestawy testowe w czasie, aby uniknąć stagnacji (huggingface.co). Poprzez ciągłe dodawanie nowych pytań i ponowne uruchamianie testów, możemy wychwycić wszelkie zmiany w zachowaniu dotyczącym cytowania. Jeśli AI nagle zacznie cytować więcej przestarzałych stron, lub jeśli nauczy się cytować lepsze źródła, zauważymy to.
Automatyzacja tego monitorowania oznacza, że możemy śledzić trendy. Zespoły mogą otrzymywać alerty, jeśli coś dramatycznie się zmieni. Jest to podobne do monitorowania dryfu modelu w uczeniu maszynowym, ale skupione na cytowaniach. Połączenie naszego benchmarku z regularnymi uruchomieniami zapewnia, że asystenci AI pozostają na właściwej ścieżce w sposobie podawania źródeł.
Podsumowanie
Podsumowując, proponujemy kompleksowy plan badania zasad cytowania asystentów AI. Poprzez zaprojektowanie dużego i zróżnicowanego zestawu pytań testowych, automatyczne ich przepuszczanie przez systemy AI oraz staranne etykietowanie cytowanych źródeł według atrybutów takich jak aktualność i autorytet, możemy wykorzystać statystyki do odkrycia czynników wpływających na cytowanie. Nasza metoda jest wspierana przez najnowsze badania, które podkreślają znaczenie weryfikowalności (www.axios.com) (doaj.org) oraz innowacyjne benchmarki badające jakość źródeł (papers.cool) i danych syntetycznych (papers.cool) (research.google). Poprzez udostępnienie benchmarku jako open-source i regularne monitorowanie wyników, pomagamy stworzyć przejrzysty sposób na zapewnienie, że asystenci AI cytują wiarygodne informacje. Ta praca może zwiększyć zaufanie do AI, rzucając światło na ukryte zasady cytowania i prowadząc programistów do tworzenia lepszych, bardziej odpowiedzialnych systemów.
