Auto
Εισαγωγή
Οι σύγχρονοι βοηθοί τεχνητής νοημοσύνης (chatbots όπως το ChatGPT ή το Bing Chat) συχνά προσπαθούν να απαντήσουν σε ερωτήσεις χρηστών και να «δείξουν την εργασία τους» παραθέτοντας πηγές. Ωστόσο, μελέτες δείχνουν ότι πολλές απαντήσεις έχουν κακές ή ελλιπείς παραπομπές. Για παράδειγμα, ερευνητές του Stanford διαπίστωσαν ότι περίπου οι μισές απαντήσεις των AI chats περιείχαν μη υποστηριζόμενες δηλώσεις ή λάθος παραπομπές (www.axios.com). Σε ιατρικές δοκιμές, νέα εργαλεία ΤΝ συχνά έδιναν απαντήσεις μη υποστηριζόμενες από τις πηγές που παρέθεταν (doaj.org). Αυτά τα προβλήματα σημαίνουν ότι χρειαζόμαστε καλύτερους τρόπους για να δοκιμάσουμε τη συμπεριφορά παραπομπών των βοηθών ΤΝ.
Για να κατανοήσουμε πώς επιλέγει μια ΤΝ τι να παραθέσει, προτείνουμε ένα σχέδιο δοκιμών μεγάλης κλίμακας. Θα δημιουργήσουμε πολλά συνθετικά ερωτήματα (ερωτήσεις φαντασίας) που καλύπτουν διαφορετικούς θεματικούς τομείς και τύπους ερωτήσεων. Θα τις εκτελέσουμε αυτόματα μέσω βοηθών ΤΝ, θα συλλέξουμε τις απαντήσεις και τις παραπομπές τους και θα επισημάνουμε κάθε παρατιθέμενη πηγή με βάση την επικαιρότητα (πόσο πρόσφατη), την αξιοπιστία (πόσο αξιόπιστη) και τη δομή (τύπος ή μορφή) της. Στη συνέχεια, χρησιμοποιούμε απλά στατιστικά στοιχεία για να δούμε ποιοι παράγοντες καθιστούν πιο πιθανό μια ΤΝ να παραθέσει μια πηγή. Θα μοιραστούμε όλα τα δεδομένα και τα εργαλεία μας ανοιχτά. Με αυτόν τον τρόπο, μπορούμε να συλλέξουμε βελτιώσεις από το κοινό και να παρακολουθούμε τη συμπεριφορά παραπομπών της ΤΝ με την πάροδο του χρόνου.
Σχεδιασμός ενός Προτύπου Συνθετικών Ερωτημάτων
Για να δοκιμάσουμε τους κανόνες παραπομπών στην ΤΝ, θα χρησιμοποιήσουμε ένα σύνολο συνθετικών ερωτημάτων. Αυτό σημαίνει ότι δημιουργούμε έναν μεγάλο αριθμό παραδειγμάτων ερωτήσεων (προτροπών) χρησιμοποιώντας υπολογιστές, αντί να συλλέγουμε απλώς πραγματικά ερωτήματα χρηστών. Η χρήση συνθετικών προτροπών είναι συνηθισμένη στην έρευνα. Για παράδειγμα, ερευνητές της Google χρησιμοποίησαν συστήματα ΤΝ για να δημιουργήσουν ερωτήσεις όταν τα δεδομένα είναι δύσκολο να συλλεχθούν (research.google). Μια άλλη μελέτη έδειξε ότι τα δεδομένα ερωτήσεων-απαντήσεων που παράγονται από ΤΝ μπορούν να αποτελέσουν μια καλή αντικατάσταση για πραγματικά δεδομένα δοκιμών σε ορισμένες ρυθμίσεις (papers.cool).
Τα ερωτήματά μας θα καλύπτουν πολλά θέματα (τομείς) και στόχους χρηστών. Επιλέγουμε ένα ευρύ φάσμα θεμάτων όπως επιστήμη, ιστορία, υγεία, οικονομικά και καθημερινές εργασίες. Σε κάθε θέμα, καλύπτουμε διαφορετικές προθέσεις – τον σκοπό της ερώτησης. Για παράδειγμα, ορισμένα ερωτήματα θα είναι πραγματικά (όπως «Ποιος είναι ο μεγαλύτερος πλανήτης στο ηλιακό μας σύστημα;»), ορισμένα θα ζητούν οδηγίες («Πώς αλλάζω ένα λάστιχο αυτοκινήτου;»), ορισμένα θα ζητούν ανοιχτές συμβουλές («Τι πρέπει να λάβω υπόψη όταν κάνω αίτηση για πανεπιστήμιο;»), και ούτω καθεξής. Αναμιγνύοντας πληροφοριακούς, πραγματικούς, επιχειρηματολογικούς και κοινωνικούς τύπους ερωτήσεων (papers.cool), διασφαλίζουμε ότι η δοκιμή μας καλύπτει πολλές πραγματικές χρήσεις.
Μπορεί να χρησιμοποιήσουμε τα ίδια τα μεγάλα γλωσσικά μοντέλα για να βοηθήσουμε στη δημιουργία αυτού του συνόλου ερωτημάτων. Για κάθε θέμα και πρόθεση, μια ΤΝ μπορεί να παράγει πολλές ερωτήσεις. Στη συνέχεια μπορούμε να τις αναθεωρήσουμε και να τις φιλτράρουμε. Το τελικό σύνολο μπορεί να περιέχει χιλιάδες ερωτήσεις για να μας δώσει καλή στατιστική ισχύ.
Εκτέλεση Δοκιμών και Καταγραφή Παραπομπών
Μόλις έχουμε το σύνολο ερωτημάτων μας, αυτοματοποιούμε τις δοκιμές. Ένα script ή πρόγραμμα θα στέλνει κάθε συνθετική ερώτηση στον βοηθό ΤΝ (μέσω API ή διεπαφής) και θα αποθηκεύει την απάντηση. Για κάθε απάντηση, αναλύουμε και εξάγουμε τυχόν παρατιθέμενες πηγές. Οι βοηθοί ΤΝ συχνά παρέχουν παραπομπές ως συνδέσμους, υποσημειώσεις ή ενσωματωμένες παραπομπές. Καταγράφουμε κάθε πηγή (για παράδειγμα, έναν σύνδεσμο ιστού ή τίτλο άρθρου) μαζί με την ερώτηση και την απάντηση.
Αυτή η αυτοματοποίηση μας επιτρέπει να συλλέγουμε δεδομένα σε μεγάλη κλίμακα. Αντί να θέτουμε χειροκίνητα κάθε ερώτηση, το script μπορεί να εκτελέσει όλα τα εκατοντάδες ή χιλιάδες ερωτήματα μαζικά. Μπορεί να το κάνουμε αυτό για ένα ή περισσότερα συστήματα ΤΝ. Η έξοδος είναι ένα σύνολο δεδομένων (ερώτηση, απάντηση, παρατιθέμενες πηγές). Σημειώνουμε επίσης πόσο συχνά παρατίθενται οι πηγές και σε ποια μορφή.
Καταγραφή Χαρακτηριστικών Πηγών
Μετά τη συλλογή των παραπομπών, επισημαίνουμε κάθε πηγή με τα βασικά χαρακτηριστικά της. Αυτά τα χαρακτηριστικά μας βοηθούν να δοκιμάσουμε τι καθιστά μια πηγή πιθανό να παρατεθεί. Τα κύρια χαρακτηριστικά είναι:
- Επικαιρότητα: Πόσο πρόσφατη ή ενημερωμένη είναι η πηγή; Για παράδειγμα, ένα ειδησεογραφικό άρθρο από την περασμένη εβδομάδα είναι πολύ επίκαιρο, ενώ ένα σχολικό βιβλίο από πριν από 20 χρόνια δεν είναι. Η επικαιρότητα είναι σημαντική επειδή οι νεότερες πληροφορίες μπορεί να είναι πιο σχετικές. Προηγούμενα πρότυπα έχουν μετρήσει την επικαιρότητα ως σήμα ποιότητας για τις παραπομπές (papers.cool).
- Αξιοπιστία: Πόσο αξιόπιστη ή έγκυρη είναι η πηγή; Αυτό θα μπορούσε να βασίζεται στο ποιος την δημοσίευσε. Για παράδειγμα, μια πανεπιστημιακή μελέτη ή ένας κυβερνητικός ιστότοπος έχει συνήθως υψηλή αξιοπιστία, ενώ ένα άγνωστο blog μπορεί να έχει χαμηλή αξιοπιστία. Το SourceBench, μια πρόσφατη μελέτη, ανέφερε την «αξιοπιστία» ως βασικό σήμα ποιότητας σε επίπεδο σελίδας (papers.cool).
- Δομή: Τι τύπου ή μορφής είναι η πηγή; Για παράδειγμα, μια πηγή μπορεί να είναι ένα ερευνητικό άρθρο, ένα ειδησεογραφικό άρθρο, μια ανάρτηση σε διαδικτυακό φόρουμ, ή μια επίσημη έκθεση. Η δομή μπορεί να επηρεάσει τον τρόπο που μια ΤΝ τη χρησιμοποιεί. (Ακόμα κι αν η προτροπή μας δεν παρέχει συγκεκριμένα παραδείγματα δομής, την ορίζουμε ως τον τύπο εγγράφου ή την σαφήνεια της γραφής. Το SourceBench ανέφερε επίσης την «σαφήνεια» ως σήμα (papers.cool), η οποία σχετίζεται.)
Μπορούμε να σχολιάσουμε αυτά τα χαρακτηριστικά με αυτοματοποιημένους ελέγχους ή αναζητώντας την πηγή. Για την επικαιρότητα, μπορεί να καταγράψουμε την ημερομηνία δημοσίευσης. Για την αξιοπιστία, θα μπορούσαμε να χρησιμοποιήσουμε γνωστές λίστες αξιόπιστων τομέων ή την περιγραφή του ιστότοπου (για παράδειγμα, επίσημοι τομείς όπως .gov ή .edu τείνουν να είναι πιο έγκυροι). Αυτή η επισήμανση μπορεί να είναι χειροκίνητη ή αυτοματοποιημένη, αλλά μας δίνει τιμές όπως «επικαιρότητα = νέα/παλιά» και «αξιοπιστία = υψηλή/χαμηλή» για κάθε πηγή.
Ανάλυση και Μοντελοποίηση Προτύπων Παραπομπών
Με ένα σύνολο δεδομένων πολλών παραδειγμάτων (ερώτηση, απάντηση, χαρακτηριστικά πηγής), αναλύουμε τα δεδομένα για να βρούμε πρότυπα. Ρωτάμε: ποια χαρακτηριστικά προβλέπουν καλύτερα αν μια ΤΝ θα παραπέμψει σε μια δεδομένη πηγή;
Μπορεί να το κάνουμε αυτό με απλή στατιστική ανάλυση ή μηχανική μάθηση. Για παράδειγμα, μπορούμε να δούμε αν πηγές με υψηλή επικαιρότητα ή υψηλή αξιοπιστία αναφέρονται συχνότερα. Θα μπορούσαμε να χρησιμοποιήσουμε μια λογιστική παλινδρόμηση ή ένα δέντρο απόφασης για να μοντελοποιήσουμε το «παραπομπή έναντι μη παραπομπής» ως αποτέλεσμα. Αυτό μας δείχνει ποια χαρακτηριστικά (όπως η επικαιρότητα ή το θέμα ή ο τύπος ερώτησης) έχουν την ισχυρότερη επίδραση.
Αυτό το βήμα είναι παρόμοιο με τον τρόπο που οι ερευνητές αναλύουν δεδομένα έρευνας ή πειραμάτων. Μπορεί να αποκαλύψει, για παράδειγμα, ότι η ΤΝ προτιμά να παραθέτει πηγές που είναι νεότερες ή πιο έγκυρες. Θα αναζητούσαμε τους ισχυρότερους προγνωστικούς παράγοντες – εκείνα τα χαρακτηριστικά που αυξάνουν περισσότερο την πιθανότητα παραπομπής. Ποσοτικοποιώντας αυτό, ουσιαστικά «αντιστρέφουμε τη μηχανική» των κανόνων παραπομπών: ανακαλύπτουμε τι φαίνεται να αναζητά ο βοηθός.
Αυτή η προσέγγιση εμπνέεται από το SourceBench και άλλες μελέτες που βαθμολογούν πηγές με βάση μετρήσεις όπως η επικαιρότητα και η αξιοπιστία (papers.cool). Εφαρμόζοντας στατιστική μοντελοποίηση, υπερβαίνουμε τα ανέκδοτα και φτάνουμε σε μετρημένες τάσεις. Αυτό μας βοηθά να κατανοήσουμε αν η ΤΝ έχει προκατάληψη προς ορισμένες πηγές (για παράδειγμα, παραθέτοντας πάντα τη Wikipedia ή μόνο κορυφαίους ιστότοπους).
Ανοιχτού Κώδικα Πρότυπο και Συνεχής Παρακολούθηση
Αφού δημιουργήσουμε αυτό το πρότυπο, θα το διαθέσουμε ως ανοιχτού κώδικα – δημοσιεύοντας τα ερωτήματα, τον κώδικα και την ανάλυση στο διαδίκτυο για όλους. Τα πρότυπα ανοιχτού κώδικα είναι κοινά στην έρευνα ΤΝ επειδή επιτρέπουν σε άλλους να χρησιμοποιούν και να βελτιώνουν τις δοκιμές. Για παράδειγμα, πολλά μεγάλης κλίμακας σύνολα δεδομένων, όπως αυτά για τη μετάφραση γλωσσών ή την απάντηση ερωτήσεων, κοινοποιούνται δημόσια. Σχεδιάζουμε να ανεβάσουμε το σύνολο ερωτημάτων και τα αποτελέσματά μας σε μια πλατφόρμα όπως το GitHub. Αυτό επιτρέπει σε άλλους ερευνητές και προγραμματιστές να ελέγχουν τους δικούς τους βοηθούς ΤΝ έναντι του προτύπου μας.
Συνιστούμε επίσης τη συνεχή παρακολούθηση. Οι βοηθοί ΤΝ αλλάζουν συχνά (ενημερώνονται, βγαίνουν νέες εκδόσεις κ.λπ.). Προτείνουμε ένα τακτικό πρόγραμμα για την επανεκτέλεση των δοκιμών. Για παράδειγμα, κάθε φορά που η ΤΝ λαμβάνει μια μεγάλη ενημέρωση ή σε έναν σταθερό κύκλο (όπως μηνιαίως). Αυτό είναι παρόμοιο με την ιδέα των «δια βίου προτύπων», τα οποία επεκτείνουν και ενημερώνουν τα σύνολα δοκιμών με την πάροδο του χρόνου για να αποφύγουν τη στασιμότητα (huggingface.co). Συνεχίζοντας να προσθέτουμε νέες ερωτήσεις και να επανεκτελούμε τις δοκιμές, μπορούμε να εντοπίσουμε τυχόν αλλαγές στη συμπεριφορά παραπομπών. Αν η ΤΝ αρχίσει ξαφνικά να παραθέτει περισσότερους παρωχημένους ιστότοπους, ή αν μάθει να παραθέτει καλύτερες πηγές, θα το δούμε.
Η αυτοματοποίηση αυτής της παρακολούθησης σημαίνει ότι μπορούμε να παρακολουθούμε τις τάσεις. Οι ομάδες μπορούν να λαμβάνουν ειδοποιήσεις αν κάτι αλλάξει δραματικά. Αυτό είναι σαν την παρακολούθηση της μετατόπισης μοντέλου στη μηχανική μάθηση, αλλά εστιάζει στις παραπομπές. Ο συνδυασμός του προτύπου μας με τακτικές εκτελέσεις διασφαλίζει ότι οι βοηθοί ΤΝ παραμένουν σε σωστή πορεία ως προς τον τρόπο που παρέχουν πηγές.
Συμπέρασμα
Συνοψίζοντας, προτείνουμε ένα ολοκληρωμένο σχέδιο για τη διερεύνηση των κανόνων παραπομπών των βοηθών ΤΝ. Σχεδιάζοντας ένα μεγάλο και ποικίλο σύνολο ερωτήσεων δοκιμής, εκτελώντας τις αυτόματα μέσω συστημάτων ΤΝ και επισημαίνοντας προσεκτικά τις παρατιθέμενες πηγές με χαρακτηριστικά όπως η επικαιρότητα και η αξιοπιστία, μπορούμε να χρησιμοποιήσουμε στατιστικά στοιχεία για να αποκαλύψουμε τους παράγοντες που επηρεάζουν την παραπομπή. Η μέθοδός μας υποστηρίζεται από πρόσφατη έρευνα που τονίζει τη σημασία της επαληθευσιμότητας (www.axios.com) (doaj.org) και καινοτόμα πρότυπα που μελετούν την ποιότητα των πηγών (papers.cool) και τα συνθετικά δεδομένα (papers.cool) (research.google). Διαθέτοντας το πρότυπο ως ανοιχτού κώδικα και παρακολουθώντας τακτικά τα αποτελέσματα, συμβάλλουμε στη δημιουργία ενός διαφανούς τρόπου για να διασφαλίσουμε ότι οι βοηθοί ΤΝ παραθέτουν αξιόπιστες πληροφορίες. Αυτή η εργασία μπορεί να βελτιώσει την εμπιστοσύνη στην ΤΝ ρίχνοντας φως στους κρυμμένους κανόνες των παραπομπών και καθοδηγώντας τους προγραμματιστές να δημιουργήσουν καλύτερα, πιο υπεύθυνα συστήματα.
