Τι Είναι το Grounding στην AI; Πώς τα Μοντέλα Παραμένουν Ακριβή, με Απλά Λόγια

Το grounding είναι ο τρόπος με τον οποίο σταματάτε ένα μοντέλο AI από το να εφευρίσκει γεγονότα. Αντί να απαντά μόνο από τη μνήμη του, ένα μοντέλο με grounding αντλεί πραγματικό υλικό πηγής (τα έγγραφά σας, μια βάση δεδομένων, ένα ζωντανό API) και απαντά από αυτό. Είναι ο μεγαλύτερος μοχλός για να κάνετε την AI αρκετά αξιόπιστη ώστε να την τοποθετήσετε μπροστά στους πελάτες. Το RAG είναι ο πιο συνηθισμένος τρόπος να το πετύχετε, όχι ο μοναδικός. 

Παρακάτω: τι είναι το grounding, πώς διαφέρει από το RAG και το fine-tuning, οι πέντε μέθοδοι που χρησιμοποιούν οι ομάδες, πώς να το υλοποιήσετε, πώς να το μετρήσετε και γιατί γίνεται δυσκολότερο σε μια ζωντανή τηλεφωνική κλήση.

Τι σημαίνει grounding στην AI, και οι δύο ορισμοί που ο κόσμος συνεχώς μπερδεύει

Δύο διαφορετικές έννοιες μοιράζονται τη λέξη grounding, και η σύγχυση εμφανίζεται όπου κι αν κοιτάξετε.

Η πρώτη είναι η παλαιότερη, από τη γνωσιακή επιστήμη: το πρόβλημα αγκύρωσης συμβόλων. Ρωτά πώς ένα σύμβολο, η λέξη μήλο, συνδέεται με το πραγματικό αντικείμενο στο οποίο δείχνει, αντί να δείχνει μόνο σε άλλα σύμβολα. Αυτό το ερώτημα έχει σημασία για τη ρομποτική και την ενσωματωμένη AI, όπου ένα σύστημα πρέπει να συνδέσει τη γλώσσα με αισθητήρες και τον φυσικό κόσμο.

Η δεύτερη είναι αυτή για την οποία σχεδόν σίγουρα ήρθατε εδώ. Στην AI παραγωγής, το grounding σημαίνει την αγκύρωση της εξόδου ενός μοντέλου σε επαληθεύσιμο υλικό πηγής, ώστε οι απαντήσεις του να ανάγονται σε πραγματικές, συγκεκριμένες πληροφορίες και όχι σε μοτίβα που έμαθε κατά την εκπαίδευση. Μια απάντηση με grounding μπορεί να ελεγχθεί. Μια απάντηση χωρίς grounding είναι μια σίγουρη εικασία.

Αυτό το κείμενο αφορά τον δεύτερο τύπο. Όταν ένας μηχανικός λέει κάναμε grounding στον πράκτορα, εννοεί ότι το μοντέλο απαντά από μια γνωστή πηγή αλήθειας, όχι από ό,τι απορρόφησε κατά την εκπαίδευση.

Γιατί ένα μοντέλο χωρίς grounding ακούγεται σίγουρο και παρ' όλα αυτά λέει λάθος γεγονότα

Ένα γλωσσικό μοντέλο είναι μια μηχανή πρόβλεψης. Εκπαιδεύτηκε να μαντεύει την επόμενη λέξη σε μια ακολουθία, ξανά και ξανά, μέχρι να γίνει καλό στην παραγωγή κειμένου που διαβάζεται ως ευχερές και εύλογο. Κανείς δεν το εκπαίδευσε να έχει δίκιο. Το εκπαίδευσαν να ακούγεται σωστό.

Αυτό το κενό είναι εκεί όπου γεννιούνται οι παραισθήσεις. Ρωτήστε ένα μοντέλο κάτι που ξέρει μισό, ή κάτι μετά την ημερομηνία λήξης της εκπαίδευσής του, ή κάτι συγκεκριμένο για την επιχείρησή σας, και θα απαντήσει έτσι κι αλλιώς. Γεμίζει το κενό με τις πιο πιθανές λέξεις που ακούγονται σωστές. Η έξοδος είναι γραμματικά σωστή, σίγουρη και μερικές φορές λανθασμένη.

Για μια χαλαρή συνομιλία, μια λανθασμένη απάντηση είναι ενοχλητική. Για έναν πράκτορα που παραθέτει μια πολιτική επιστροφής χρημάτων, επιβεβαιώνει μια δόση ή ενημερώνει έναν καλούντα για το υπόλοιπό του, μια λανθασμένη απάντηση είναι ευθύνη. Το grounding κλείνει το κενό παραδίδοντας τα γεγονότα στο μοντέλο τη στιγμή που απαντά, και έπειτα τηρώντας το σε αυτά.

Με grounding vs χωρίς grounding: η ίδια ερώτηση, δύο διαφορετικές απαντήσεις

Φανταστείτε έναν πελάτη να ρωτά, τι μου έχει απομείνει στο υπόλοιπο, και πότε είναι η ημερομηνία αυτόματης πληρωμής;

Χωρίς grounding, το μοντέλο δεν έχει πρόσβαση σε αυτόν τον λογαριασμό. Έτσι παράγει κάτι που έχει τη μορφή απάντησης: το υπόλοιπό σας είναι $42.50 και η αυτόματη πληρωμή γίνεται στις 15. Εύλογο. Επίσης επινοημένο. Οι αριθμοί προήλθαν από το πουθενά.

Με grounding, ο πράκτορας καλεί πρώτα το σύστημα χρέωσής σας, αντλεί την πραγματική εγγραφή και απαντά από αυτήν: σας έχουν απομείνει $128.40, και η αυτόματη πληρωμή είναι ρυθμισμένη για τις 22. Ίδια ερώτηση, αλλά τώρα η απάντηση είναι δεμένη σε ένα σύστημα εγγραφής. Αν κάποιος ρωτήσει από πού προήλθε ο αριθμός, μπορείτε να δείξετε την ακριβή πηγή.

Αυτό είναι όλο το παιχνίδι. Το grounding μετατρέπει το ακούγεται σωστό σε είναι σωστό, και να γιατί.

Grounding vs RAG vs fine-tuning: ποιο είναι ο στόχος και ποιο η μέθοδος

Αυτά τα τρία χρησιμοποιούνται εναλλακτικά, και δεν θα έπρεπε. Το grounding είναι ο στόχος: έξοδοι αγκυρωμένες στην αλήθεια. Το RAG και το fine-tuning είναι μέθοδοι που χρησιμοποιείτε για να τον φτάσετε. 

Το μπέρδεμά τους οδηγεί ομάδες στο να κάνουν fine-tuning σε ένα μοντέλο και να αναρωτιούνται γιατί εξακολουθεί να εφευρίσκει γεγονότα.

‍

‍

Η σύντομη εκδοχή: το fine-tuning αλλάζει τον τρόπο που μιλά ένα μοντέλο και σε ποιον τομέα είναι άνετο, αλλά ψήνει τη γνώση μέσα στα βάρη κατά την εκπαίδευση, οπότε παλιώνει και εξακολουθεί να μην μπορεί να αναφέρει πηγή. Το RAG εισάγει νέα, συγκεκριμένα γεγονότα τη στιγμή της ερώτησης. Αν το πρόβλημά σας είναι το μοντέλο κάνει λάθος σχετικά με τα δεδομένα μας, το fine-tuning σπάνια το διορθώνει. Το grounding το κάνει.

Οι πέντε τρόποι με τους οποίους οι ομάδες κάνουν grounding σε ένα σύστημα AI στην πράξη

Το RAG τραβά όλη την προσοχή, αλλά είναι μία επιλογή. Τα περισσότερα συστήματα παραγωγής συνδυάζουν μερικά από αυτά.

1. Ανάκτηση (RAG): Αναζητήστε σε μια βάση γνώσεων τα κομμάτια που είναι σχετικά με την ερώτηση, τοποθετήστε τα στο prompt, και ζητήστε από το μοντέλο να απαντήσει από αυτά. Ιδανικό όταν η αλήθεια βρίσκεται σε πολλά έγγραφα που αλλάζουν συχνά.
2. Κλήση εργαλείων και συναρτήσεων: Επιτρέψτε στο μοντέλο να καλέσει ένα API ή να ερωτήσει μια βάση δεδομένων στη μέση της απάντησης: κατάσταση παραγγελίας, απόθεμα, ημερολόγιο, εγγραφή λογαριασμού. Το σύστημα εγγραφής είναι η βασική αλήθεια, οπότε η απάντηση είναι τόσο τρέχουσα όσο τα δεδομένα σας.
3. Αναζητήσεις δομημένων δεδομένων: Αντί για αναζήτηση ελεύθερου κειμένου, αντλήστε ένα συγκεκριμένο πεδίο από μια βάση δεδομένων, έναν αριθμό εντοπισμού, μια τιμή, ένα όριο πολιτικής. Πιο σφιχτό και πιο αξιόπιστο από την ανάκτηση όταν ξέρετε ακριβώς τι χρειάζεστε.
4. Επιβολή αναφορών (citation): Δώστε οδηγία στο μοντέλο να απαντά μόνο από τις παρεχόμενες πηγές και να επισυνάπτει από πού προήλθε κάθε ισχυρισμός. Αν δεν μπορεί να υποστηρίξει μια δήλωση, το λέει αντί να μαντεύει. Αυτό είναι που κάνει μια απάντηση ελέγξιμη.
5. Γράφοι γνώσης: Συνδέστε οντότητες και τις σχέσεις τους σε έναν δομημένο γράφο ώστε το μοντέλο να συλλογίζεται πάνω σε γεγονότα που είναι ρητά συνδεδεμένα, όχι συναγόμενα. Χρήσιμο όταν οι σχέσεις μεταξύ οντοτήτων έχουν τόση σημασία όση και οι ίδιες οι οντότητες.

Πώς να κάνετε grounding στο δικό σας σύστημα AI, βήμα βήμα

Μια εφαρμόσιμη ακολουθία, με τη σειρά:

1. Ονομάστε την πηγή αλήθειάς σας: Αποφασίστε ποια έγγραφα, βάσεις δεδομένων και API είναι έγκυρα. Το grounding σε μια ακατάστατη ή απαρχαιωμένη πηγή παράγει σίγουρες λανθασμένες απαντήσεις, οπότε αυτό είναι το βήμα στο οποίο οι περισσότερες ομάδες επενδύουν λιγότερο.
2. Κάντε την ανακτήσιμη: Τεμαχίστε και ευρετηριάστε τα έγγραφά σας, ή εκθέστε τα δεδομένα σας ως καθαρά API που μπορεί να καλέσει το μοντέλο. Η ποιότητα της ανάκτησης ξεκινά εδώ.
3. Αντλήστε το σωστό πλαίσιο τη στιγμή της ερώτησης: Ανακτήστε τα λίγα πιο σχετικά κομμάτια, όχι τα πάντα. Περισσότερο πλαίσιο δεν είναι καλύτερο. Το σωστό πλαίσιο είναι.
4. Περιορίστε το μοντέλο: Στο system prompt, πείτε του να απαντά μόνο από το ανακτημένο υλικό και να λέει δεν γνωρίζω όταν η απάντηση δεν βρίσκεται εκεί. Ένα μοντέλο που επιτρέπεται να καταφύγει στη μνήμη του, θα το κάνει.
5. Απαιτήστε ιχνηλασιμότητα: Ζητήστε από τον πράκτορα να διατηρεί, και ιδανικά να αναδεικνύει, την πηγή πίσω από κάθε απάντηση. Θέλετε να μπορείτε να ανασυνθέσετε οποιαδήποτε απάντηση αργότερα.
6. Δημιουργήστε ένα fallback: Όταν ο πράκτορας δεν μπορεί να κάνει grounding σε μια απάντηση, δρομολογήστε την κάπου: μια διευκρινιστική ερώτηση, ή έναν άνθρωπο. Η σιωπή και το μάντεμα είναι και τα δύο χειρότερα.
7. Αξιολογήστε και παρακολουθήστε το: Το grounding δεν είναι ρύθμισε το και ξέχνα το. Οι πηγές παρεκκλίνουν και η ανάκτηση αστοχεί. Μετρήστε το, που μας φέρνει στο επόμενο μέρος.

Πώς να ξέρετε ότι το grounding σας λειτουργεί

Το φαίνεται καλύτερο δεν είναι μετρική. Μερικές που είναι:

• Groundedness, ή πιστότητα: ανάγεται κάθε ισχυρισμός στην απάντηση πίσω στην ανακτημένη πηγή; Μπορείτε να το βαθμολογήσετε με ένα σύνολο με ετικέτες ή μια διάταξη LLM ως κριτή.
• Κάλυψη αναφορών: ποιο ποσοστό απαντήσεων περιλαμβάνει μια πραγματική, σωστή πηγή. Χαμηλή κάλυψη σημαίνει ότι το μοντέλο ακόμη αυτοσχεδιάζει.
• Ποιότητα ανάκτησης: όταν η σωστή απάντηση υπάρχει στη βάση γνώσεών σας, την αναδεικνύει ο ανακτητής; Ένα εξαιρετικό μοντέλο πάνω σε κακή ανάκτηση εξακολουθεί να αποτυγχάνει.
• Ακρίβεια απάντησης: εκτελέστε ένα σταθερό σύνολο δοκιμών με πραγματικές ερωτήσεις με γνωστές απαντήσεις και παρακολουθήστε το σκορ καθώς αλλάζετε τη διάταξη.

Στην παραγωγή, δύο ακόμη σήματα έχουν σημασία: πόσο συχνά ο πράκτορας λέει δεν γνωρίζω, ένας υγιής ρυθμός σημαίνει ότι σέβεται τις πηγές του, και πόσο συχνά κλιμακώνει. Η αναθεώρηση των απομαγνητοφωνήσεων σε τακτική βάση εντοπίζει τις αστοχίες που χάνουν οι μετρικές σας.

Το δυσκολότερο μέρος για να κάνετε grounding σε μια AI: οι ζωντανοί φωνητικοί πράκτορες

Όλα τα παραπάνω είναι αρκετά δύσκολα σε ένα παράθυρο συνομιλίας. Σε μια τηλεφωνική κλήση γίνονται δυσκολότερα, για λόγους ειδικούς για τη φωνή.

Η καθυστέρηση (latency) είναι ο πρώτος. Στο κείμενο, ένας αναγνώστης θα περιμένει ένα δευτερόλεπτο για ένα ταξίδι μετ' επιστροφής ανάκτησης. Σε μια κλήση, ένα κενό ενός δευτερολέπτου νιώθεται σαν να έπεσε η γραμμή. Πρέπει να ανακτήσετε, να κάνετε grounding και να αρχίσετε να μιλάτε μέσα στον ρυθμό της φυσικής συνομιλίας, ξεκινώντας συχνά την πρόταση πριν υπολογιστεί η πλήρης απάντηση.

Η απομαγνητοφώνηση είναι ο δεύτερος. Το μοντέλο κάνει grounding σε ό,τι άκουσε ο αναγνωριστής ομιλίας, και αν άκουσε πενήντα αντί για δεκαπέντε, ή παραμόρφωσε έναν αριθμό λογαριασμού, ο πράκτορας κάνει grounding με σιγουριά πάνω σε μια λανθασμένη προϋπόθεση. Η καθαρότερη ανάκτηση στον κόσμο δεν μπορεί να διορθώσει μια κακή απομαγνητοφώνηση.

Οι αναφορές είναι ο τρίτος. Ένας καλών δεν μπορεί να κάνει κλικ σε έναν σύνδεσμο πηγής. Η εμπιστοσύνη πρέπει να προέλθει από τον πράκτορα που αντλεί τη σωστή εγγραφή και τη δηλώνει καθαρά, συν μια εύκολη διαδρομή προς έναν άνθρωπο όταν δεν μπορεί.

Εδώ είναι που μια φωνητική πλατφόρμα αποδεικνύει την αξία της. Με τη Retell AI, η βάση γνώσεων τρέχει streaming RAG που συγχρονίζεται αυτόματα από τον ιστότοπο και τα έγγραφά σας, ώστε οι πράκτορες να απαντούν από τρέχουσες πληροφορίες αντί για απαρχαιωμένα δεδομένα εκπαίδευσης. Η κλήση συναρτήσεων σε πραγματικό χρόνο επιτρέπει σε έναν φωνητικό πράκτορα AI να αντλεί ζωντανά δεδομένα από τα συστήματά σας στη μέση της κλήσης, κάνοντας grounding στις απαντήσεις με βάση την πραγματική εγγραφή. Όταν ο πράκτορας δεν μπορεί να κάνει grounding σε κάτι με ασφάλεια, η μεταβίβαση κλήσης το παραδίδει σε ένα άτομο με το πλήρες πλαίσιο επισυναπτόμενο. Και η ανάλυση μετά την κλήση σας δίνει τις απομαγνητοφωνήσεις και τη βαθμολόγηση για να εντοπίσετε τις αστοχίες grounding εκ των υστέρων, που είναι το βήμα παρακολούθησης από νωρίτερα. Αν αξιολογείτε οποιαδήποτε πλατφόρμα συνομιλιακού AI για τηλεφωνική υποστήριξη, η συμπεριφορά grounding υπό πραγματικές συνθήκες κλήσης είναι αυτό που πρέπει να δοκιμάσετε, όχι το demo.

Πού το grounding υστερεί ακόμη, και τι να κάνετε γι' αυτό

Το grounding μειώνει τις παραισθήσεις. Δεν τις τελειώνει, και το να προσποιείστε το αντίθετο σας ετοιμάζει για να καείτε.

• Αστοχίες ανάκτησης: Η απάντηση βρίσκεται στη βάση γνώσεών σας, αλλά ο ανακτητής δεν την αναδεικνύει, οπότε το μοντέλο είτε λέει δεν γνωρίζω είτε, χειρότερα, καταφεύγει σε μια εικασία. Διορθώστε το μετρώντας απευθείας την ποιότητα ανάκτησης, όχι μόνο τις τελικές απαντήσεις.
• Απαρχαιωμένες ή αντικρουόμενες πηγές: Αν η βάση γνώσεών σας είναι απαρχαιωμένη, ο πράκτορας κάνει grounding στη λάθος αλήθεια, με απόλυτη σιγουριά. Κρατήστε τις πηγές φρέσκες και επιλύστε τις συγκρούσεις πριν φτάσουν στο μοντέλο.
• Υπερβολικός περιορισμός: Κλειδώστε το μοντέλο υπερβολικά σφιχτά και γίνεται ρομποτικό, αρνούμενο λογικά συμπεράσματα και διαβάζοντας σαν εγχειρίδιο. Η ακρίβεια του grounding και η φυσική συνομιλία τραβούν η μία εναντίον της άλλης, και ρυθμίζετε για την ισορροπία.
• Παρανάγνωση καλού πλαισίου: Ακόμη κι όταν του δοθεί η σωστή πηγή, ένα μοντέλο μπορεί να την παραθέσει ή να την αποδώσει λανθασμένα. Για απαντήσεις υψηλού ρίσκου στην ιατρική, το δίκαιο ή τα οικονομικά, κρατήστε έναν άνθρωπο στη διαδικασία.

Κανένα από αυτά δεν είναι λόγος να παραλείψετε το grounding. Είναι λόγοι να το μετρήσετε και να σχεδιάσετε ένα ειλικρινές fallback. Ένας πράκτορας που λέει ας φέρω κάποιον που μπορεί να το επιβεβαιώσει αυτό υπερτερεί έναντι ενός που εφευρίσκει μια απάντηση κάθε φορά.

Συχνές Ερωτήσεις για το Grounding στην AI

Είναι το grounding το ίδιο με το RAG;

Όχι. Το grounding είναι ο στόχος, απαντήσεις αγκυρωμένες σε πραγματικές πηγές. Το RAG είναι η πιο συνηθισμένη μέθοδος για να φτάσετε εκεί, αλλά μπορείτε επίσης να κάνετε grounding μέσω κλήσεων συναρτήσεων, αναζητήσεων σε βάση δεδομένων ή επιβολής αναφορών.

Εξαλείφει το grounding τις παραισθήσεις;

Τις μειώνει απότομα, όχι στο μηδέν. Ένα μοντέλο μπορεί ακόμη να παρανοήσει μια πηγή ή να απαντήσει από μια απαρχαιωμένη. Το grounding συν μέτρηση συν ένα fallback είναι αυτό που σας φέρνει σε αξιοπιστία επιπέδου παραγωγής.

Μπορείτε να κάνετε grounding σε ένα μοντέλο χωρίς RAG;

Ναι. Η κλήση εργαλείων και συναρτήσεων κάνει grounding στις απαντήσεις με ζωντανά δεδομένα συστήματος, οι δομημένες αναζητήσεις αντλούν συγκεκριμένα πεδία, και η επιβολή αναφορών τηρεί το μοντέλο στις παρεχόμενες πηγές. Το RAG είναι ένα εργαλείο στην εργαλειοθήκη.

Είναι το grounding καλύτερο από το fine-tuning;

Λύνουν διαφορετικά προβλήματα. Το fine-tuning διαμορφώνει τον τόνο και τη συμπεριφορά τομέα αλλά παγώνει τη γνώση κατά την εκπαίδευση. Το grounding παρέχει τρέχοντα, συγκεκριμένα γεγονότα τη στιγμή της απάντησης. Για το το μοντέλο κάνει λάθος σχετικά με τα δεδομένα μας, το grounding είναι η λύση.

Πώς παραμένουν με grounding οι φωνητικοί πράκτορες AI σε μια ζωντανή κλήση;

Ανακτούν από μια βάση γνώσεων σε πραγματικό χρόνο, καλούν τα συστήματα εγγραφής σας για ζωντανά δεδομένα, και κλιμακώνουν σε έναν άνθρωπο όταν δεν μπορούν να επιβεβαιώσουν μια απάντηση, όλα μέσα στον προϋπολογισμό καθυστέρησης της φυσικής ομιλίας.

Χρειάζομαι ακόμη grounding αν χρησιμοποιώ ένα κορυφαίο μοντέλο;

Ναι. Ένα ισχυρότερο μοντέλο είναι πιο ευχερές και συχνά πιο ακριβές, αλλά εξακολουθεί να μην έχει ενσωματωμένη πρόσβαση στα ιδιωτικά ή τρέχοντα δεδομένα σας. Το grounding είναι αυτό που συνδέει οποιοδήποτε μοντέλο με την αλήθειά σας.