Auto
Giriş
Modern Yapay Zeka asistanları (ChatGPT veya Bing Chat gibi sohbet robotları) genellikle kullanıcı sorularını yanıtlamaya çalışır ve kaynakları alıntılayarak “çalışmalarını gösterir”. Ancak çalışmalar, birçok yanıtın kötü veya eksik atıflara sahip olduğunu göstermektedir. Örneğin, Stanford araştırmacıları, yapay zeka sohbet yanıtlarının yaklaşık yarısının desteksiz ifadeler veya yanlış atıflar içerdiğini bulmuştur (www.axios.com). Tıbbi testlerde, yeni yapay zeka araçları genellikle alıntıladıkları kaynaklar tarafından desteklenmeyen yanıtlar vermiştir (doaj.org). Bu sorunlar, yapay zeka asistanlarının atıf davranışlarını test etmek için daha iyi yollara ihtiyacımız olduğu anlamına gelmektedir.
Bir yapay zekanın neyi alıntılayacağını nasıl seçtiğini anlamak için geniş ölçekli bir test planı öneriyoruz. Farklı konu alanlarını ve soru türlerini kapsayan birçok sentetik sorgu (uydurma sorular) oluşturacağız. Bunları otomatik olarak yapay zeka asistanları aracılığıyla çalıştıracak, yanıtlarını ve atıflarını toplayacak ve her bir alıntılanan kaynağı güncelliği (ne kadar yeni olduğu), otoritesi (ne kadar güvenilir olduğu) ve yapısı (türü veya formatı) açısından etiketleyeceğiz. Ardından, bir yapay zekanın bir kaynağı alıntılamasını daha olası kılan faktörleri görmek için basit istatistikler kullanacağız. Tüm verilerimizi ve araçlarımızı açıkça paylaşacağız. Bu şekilde, iyileştirmeleri kitle kaynak kullanarak sağlayabilir ve zaman içinde yapay zeka atıf davranışını izlemeye devam edebiliriz.
Sentetik Sorgu Kıyaslama Kriteri Tasarlama
Yapay zekada atıf kurallarını test etmek için sentetik bir sorgu kümesi kullanacağız. Bu, gerçek kullanıcı sorgularını toplamak yerine, bilgisayarlar kullanarak çok sayıda örnek soru (istem) oluşturacağımız anlamına gelir. Sentetik istemler kullanmak araştırmalarda yaygındır. Örneğin, Google araştırmacıları, veri toplamanın zor olduğu durumlarda soru oluşturmak için yapay zeka sistemlerini kullanmışlardır (research.google). Başka bir çalışma, yapay zeka tarafından oluşturulan soru-cevap verilerinin, bazı ayarlarda gerçek test verilerinin iyi bir yedeği olabileceğini göstermiştir (papers.cool).
Sorgularımız birçok konuyu (vertikal) ve kullanıcı amacını kapsayacaktır. Bilim, tarih, sağlık, finans ve günlük görevler gibi geniş bir konu yelpazesi seçeceğiz. Her konuda farklı amaçları – sorunun amacını – ele alacağız. Örneğin, bazı sorgular olgusal olacak (örneğin, “Güneş sistemimizdeki en büyük gezegen hangisidir?”), bazıları nasıl yapılır talimatları isteyecek (“Araba lastiği nasıl değiştirilir?”), bazıları ise ucu açık tavsiye isteyecek (“Üniversiteye başvururken neye dikkat etmeliyim?”) vb. Bilgilendirici, olgusal, tartışmacı ve sosyal soru türlerini karıştırarak (papers.cool), testimizin birçok gerçek dünya kullanımını kapsamasını sağlıyoruz.
Bu sorgu kümesini oluşturmaya yardımcı olmak için büyük dil modellerinin kendilerini kullanabiliriz. Her konu ve amaç için bir yapay zeka birçok soru üretebilir. Daha sonra bunları gözden geçirebilir ve filtreleyebiliriz. Nihai küme, bize iyi bir istatistiksel güç sağlamak için binlerce soru içerebilir.
Testleri Çalıştırma ve Atıfları Yakalama
Sorgu kümelerimizi elde ettikten sonra testi otomatikleştiriyoruz. Bir betik veya program, her sentetik soruyu yapay zeka asistanına (bir API veya arayüz aracılığıyla) gönderecek ve yanıtı kaydedecektir. Her yanıt için, alıntılanan tüm kaynakları ayrıştırıp çıkaracağız. Yapay zeka asistanları genellikle referansları bağlantılar, dipnotlar veya gömülü atıflar olarak sağlar. Her bir kaynağı (örneğin, bir web bağlantısı veya makale başlığı) soru ve yanıtla birlikte kaydediyoruz.
Bu otomasyon, verileri büyük ölçekte toplamamızı sağlar. Her soruyu manuel olarak sormak yerine, betik yüzlerce veya binlerce sorgunun tamamını bir yığın halinde çalıştırabilir. Bunu bir veya birden fazla yapay zeka sistemi için yapabiliriz. Çıktı, (soru, yanıt, alıntılanan kaynaklar) şeklinde bir veri kümesidir. Ayrıca kaynakların ne sıklıkla ve hangi formatta alıntılandığını da not ediyoruz.
Kaynak Niteliklerini Etiketleme
Atıfları topladıktan sonra, her bir kaynağı temel niteliklerine göre etiketliyoruz. Bu nitelikler, bir kaynağın alıntılanma olasılığını neyin artırdığını test etmemize yardımcı olur. Başlıca nitelikler şunlardır:
- Güncellik: Kaynak ne kadar yeni veya güncel? Örneğin, geçen haftaki bir haber makalesi çok güncelken, 20 yıl önceki bir ders kitabı değildir. Daha yeni bilgiler daha alakalı olabileceğinden güncellik önemlidir. Önceki kıyaslama kriterleri, atıflar için bir kalite sinyali olarak güncelliği ölçmüştür (papers.cool).
- Otorite: Kaynak ne kadar güvenilir veya yetkili? Bu, kimin yayınladığına dayanabilir. Örneğin, bir üniversite çalışması veya bir devlet web sitesi genellikle yüksek otoriteye sahipken, bilinmeyen bir blog düşük otoriteye sahip olabilir. Yakın tarihli bir çalışma olan SourceBench, "otoriteyi" sayfa düzeyinde önemli bir kalite sinyali olarak listelemiştir (papers.cool).
- Yapı: Kaynağın türü veya formatı nedir? Örneğin, bir kaynak bir araştırma makalesi, bir haber makalesi, bir çevrimiçi forum gönderisi veya bir resmi rapor olabilir. Yapı, bir yapay zekanın onu nasıl kullandığını etkileyebilir. (İstemimiz belirli yapı örnekleri sağlamasa bile, bunu belge türü veya yazımın netliği olarak tanımlıyoruz. SourceBench ayrıca "netlikten" de bahsetmiştir (papers.cool), bu da ilişkilidir.)
Bu nitelikleri otomatik kontrollerle veya kaynağı araştırarak açıklayabiliriz. Güncellik için yayın tarihini kaydedebiliriz. Otorite için, bilinen güvenilir alan adları listelerini veya sitenin açıklamasını kullanabiliriz (örneğin, .gov veya .edu gibi resmi alan adları daha yetkili olma eğilimindedir). Bu etiketleme manuel veya otomatik olabilir, ancak her kaynak için "güncellik = yeni/eski" ve "otorite = yüksek/düşük" gibi değerler verir.
Atıf Desenlerini Analiz Etme ve Modelleme
Birçok (soru, yanıt, kaynak nitelikleri) örneği içeren bir veri kümesiyle, desenleri bulmak için verileri analiz ederiz. Şunu soruyoruz: Hangi özellikler, bir yapay zekanın belirli bir kaynağı alıntılayacağını en iyi şekilde tahmin eder?
Bunu basit istatistiksel analiz veya makine öğrenimi ile yapabiliriz. Örneğin, yüksek güncelliğe veya yüksek otoriteye sahip kaynakların daha sık alıntılandığını görebiliriz. "Alıntıla vs. alıntılama" sonucunu modellemek için bir lojistik regresyon veya karar ağacı kullanabiliriz. Bu bize hangi özelliklerin (güncellik veya konu veya soru türü gibi) en güçlü etkiye sahip olduğunu söyler.
Bu adım, araştırmacıların anket veya deneysel verileri analiz etmesine benzer. Örneğin, yapay zekanın daha yeni veya daha yetkili kaynakları alıntılamayı tercih ettiğini ortaya çıkarabilir. En güçlü tahmin edicileri – yani bir atıf olasılığını en çok artıran nitelikleri – arayacağız. Bunu nicelikselleştirerek, esasen atıf kurallarını "tersine mühendislikle" çözüyoruz: asistanın ne aradığını buluyoruz.
Bu yaklaşım, SourceBench ve kaynakları güncellik ve otorite gibi metriklerle puanlayan diğer çalışmalardan ilham almıştır (papers.cool). İstatistiksel modellemeyi uygulayarak, anekdotların ötesine geçerek ölçülen trendlere ulaşıyoruz. Bu, yapay zekanın belirli kaynaklara karşı bir ön yargısı olup olmadığını (örneğin, her zaman Wikipedia'yı alıntılama veya yalnızca en iyi siteleri alıntılama) anlamamıza yardımcı olur.
Açık Kaynak Kıyaslama Kriteri ve Sürekli İzleme
Bu kıyaslama kriterini oluşturduktan sonra, onu açık kaynak olarak yayınlayacağız – sorguları, kodu ve analizi herkes için çevrimiçi olarak yayınlayacağız. Açık kaynak kıyaslama kriterleri, yapay zeka araştırmalarında yaygındır çünkü diğerlerinin testleri kullanmasına ve geliştirmesine olanak tanır. Örneğin, dil çevirisi veya soru yanıtlama gibi birçok büyük ölçekli veri kümesi herkese açık olarak paylaşılmaktadır. Sorgu kümelerimizi ve sonuçlarımızı GitHub gibi bir platforma koymayı planlıyoruz. Bu, diğer araştırmacıların ve geliştiricilerin kendi yapay zeka asistanlarını kıyaslama kriterimize göre kontrol etmelerini sağlar.
Sürekli izleme de öneriyoruz. Yapay zeka asistanları sık sık değişir (güncellenir, yeni sürümleri çıkar vb.). Testleri düzenli olarak yeniden çalıştırmak için bir program öneriyoruz. Örneğin, yapay zeka büyük bir güncelleme aldığında veya sabit bir döngüde (aylık gibi). Bu, durgunluğu önlemek için test kümelerini zaman içinde genişleten ve güncelleyen "yaşam boyu kıyaslama kriterleri" fikrine benzer (huggingface.co). Sürekli olarak yeni sorular ekleyerek ve yeniden çalıştırarak, atıf davranışındaki herhangi bir değişikliği yakalayabiliriz. Eğer yapay zeka aniden daha eski siteleri alıntılamaya başlarsa veya daha iyi kaynakları alıntılamayı öğrenirse, bunu göreceğiz.
Bu izlemeyi otomatikleştirmek, trendleri takip edebileceğimiz anlamına gelir. Bir şey önemli ölçüde değişirse ekipler uyarı alabilir. Bu, makine öğrenimindeki model kayması izlemeye benzer, ancak atıflara odaklanmıştır. Kıyaslama kriterimizi düzenli çalıştırmalarla birleştirmek, yapay zeka asistanlarının kaynakları verme biçiminde doğru yolda kalmasını sağlar.
Sonuç
Özetle, yapay zeka asistanlarının atıf kurallarını incelemek için kapsamlı bir plan öneriyoruz. Geniş ve çeşitli bir test sorusu kümesi tasarlayarak, bunları otomatik olarak yapay zeka sistemleri aracılığıyla çalıştırarak ve alıntılanan kaynakları güncellik ve otorite gibi niteliklere göre dikkatlice etiketleyerek, atıfı etkileyen faktörleri ortaya çıkarmak için istatistikleri kullanabiliriz. Yöntemimiz, doğrulanabilirliğin önemini vurgulayan (www.axios.com) (doaj.org) ve kaynak kalitesini (papers.cool) ve sentetik verileri (papers.cool) (research.google) inceleyen yenilikçi kıyaslama kriterleri gibi güncel araştırmalarla desteklenmektedir. Kıyaslama kriterini açık kaynak yaparak ve sonuçları düzenli olarak izleyerek, yapay zeka asistanlarının güvenilir bilgileri alıntılamasını sağlamak için şeffaf bir yol yaratmaya yardımcı oluyoruz. Bu çalışma, atıfların gizli kurallarına ışık tutarak ve geliştiricilere daha iyi, daha hesap verebilir sistemler yapmaları için rehberlik ederek yapay zekaya olan güveni artırabilir.
