Η συνάφεια συνεδρίας (session affinity), γνωστή και ως sticky sessions ή διατήρηση συνεδρίας (session persistence), είναι μια τεχνική εξισορρόπησης φορτίου που στέλνει κάθε αίτημα από τον ίδιο πελάτη ή την ίδια συνεδρία στον ίδιο backend διακομιστή, ώστε η κατάσταση που διατηρείται στη μνήμη αυτού του διακομιστή να παραμένει προσβάσιμη.
Χωρίς αυτήν, κάθε αίτημα δρομολογείται μεμονωμένα. Η AWS αναφέρει ότι ένας Application Load Balancer από προεπιλογή «δρομολογεί κάθε αίτημα ανεξάρτητα σε έναν καταχωρισμένο στόχο» και ότι η λειτουργία sticky session του επιτρέπει να «δεσμεύει τη συνεδρία ενός χρήστη σε συγκεκριμένο στόχο». Αυτό έχει σημασία όταν ένας διακομιστής διατηρεί τοπικά κάτι που χρειάζεται το επόμενο αίτημα: μια συνεδρία σύνδεσης, ένα καλάθι αγορών ή μια cache.
Ένας εξισορροπητής φορτίου χρειάζεται έναν τρόπο να αναγνωρίζει τη συνεδρία και έναν κανόνα που την αντιστοιχίζει σε έναν διακομιστή. Τρεις μέθοδοι καλύπτουν τα περισσότερα προϊόντα.
Cookie. Ο εξισορροπητής φορτίου ορίζει ένα cookie στην πρώτη απόκριση και το διαβάζει στα επόμενα αιτήματα. Η προσκόλληση βάσει διάρκειας της AWS χρησιμοποιεί ένα cookie με όνομα AWSALB, με διάρκεια ζωής που ορίζετε από 1 δευτερόλεπτο έως 7 ημέρες. Το HAProxy χρησιμοποιεί ένα cookie για να «θυμάται σε ποιον διακομιστή είχε δρομολογηθεί προηγουμένως ο πελάτης». Ο πελάτης πρέπει να υποστηρίζει cookies.
IP hash. Η διεύθυνση IP του πελάτη επιλέγει τον διακομιστή. Το ip_hash του NGINX χρησιμοποιεί «τις τρεις πρώτες οκτάδες της διεύθυνσης IPv4 του πελάτη ή ολόκληρη τη διεύθυνση IPv6» ως κλειδί κατακερματισμού. Ένα Kubernetes Service προσφέρει την ίδια ιδέα ως sessionAffinity: ClientIP, με προεπιλεγμένο χρονικό όριο 3 ωρών. Καμία από τις δύο δεν χρειάζεται cookie, αλλά οι πελάτες πίσω από μία κοινή διεύθυνση καταλήγουν στον ίδιο διακομιστή, και με το NGINX το ίδιο ισχύει για όλους όσοι μοιράζονται αυτές τις τρεις οκτάδες.
Συνεπής κατακερματισμός (consistent hashing). Ο εξισορροπητής φορτίου κατακερματίζει μια ιδιότητα του αιτήματος, όπως μια κεφαλίδα ή ένα session ID, πάνω σε έναν δακτύλιο διακομιστών. Το Envoy αναφέρει ότι, με έναν σωστά διαμερισμένο δακτύλιο, η προσθήκη ή αφαίρεση ενός host από ένα σύνολο N «θα επηρεάσει μόνο το 1/N των αιτημάτων». Η οδηγία hash του NGINX διαθέτει την επιλογή consistent που, σύμφωνα με την τεκμηρίωσή του, «βοηθά στην επίτευξη υψηλότερου ποσοστού επιτυχίας cache για διακομιστές caching».
| Μέθοδος | Τι αναγνωρίζει τη συνεδρία | Τεκμηριωμένο παράδειγμα | Κύριος περιορισμός |
|---|---|---|---|
| Cookie | Ένα cookie που ορίζεται από τον εξισορροπητή φορτίου ή την εφαρμογή | AWS Application Load Balancer, HAProxy | Ο πελάτης πρέπει να υποστηρίζει cookies |
| IP hash | Η διεύθυνση IP του πελάτη | NGINX ip_hash, Kubernetes ClientIP | Οι πελάτες πίσω από κοινή διεύθυνση συσσωρεύονται σε έναν διακομιστή |
| Συνεπής κατακερματισμός | Οποιαδήποτε ιδιότητα του αιτήματος επιλέξετε | Envoy ring hash και Maglev, NGINX hash ... consistent | Κάθε αίτημα πρέπει να φέρει σταθερό κλειδί |
| Δρομολόγηση με επίγνωση προθέματος | Τα αρχικά tokens ενός prompt LLM | OpenAI prompt caching, Ray Serve | Το φορτίο εξακολουθεί να μετράει, οπότε ένας φορτωμένος διακομιστής μπορεί να χάσει το αίτημα |
Η συνάφεια συνεδρίας θυσιάζει μέρος της ισορροπίας και της ανθεκτικότητας με αντάλλαγμα τη διατήρηση της κατάστασης κοντά.
Η τεκμηρίωση του HAProxy δίνει την καθιερωμένη συμβουλή: «Συχνά, το βέλτιστο είναι να αποφεύγετε εντελώς τη διατήρηση συνεδρίας, σχεδιάζοντας τις υπηρεσίες σας ώστε να είναι stateless», για παράδειγμα αποθηκεύοντας την κατάσταση σε μια κοινόχρηστη βάση δεδομένων. Η συνάφεια προορίζεται για την κατάσταση που δεν μπορείτε να μετακινήσετε με χαμηλό κόστος. Η cache είναι η συνηθέστερη περίπτωση.
Έχει σημασία επειδή η cache που κάνει φθηνό ένα επαναλαμβανόμενο prompt βρίσκεται σε ένα μόνο μηχάνημα. Ένας διακομιστής μοντέλου διατηρεί στη μνήμη την υπολογισμένη κατάσταση ενός prompt, την KV cache. Το vLLM την επαναχρησιμοποιεί όταν ένα νέο ερώτημα «μοιράζεται το ίδιο πρόθεμα με ένα από τα υπάρχοντα ερωτήματα, επιτρέποντας στο νέο ερώτημα να παραλείψει τον υπολογισμό του κοινού τμήματος».
Αυτό λειτουργεί μόνο αν το επόμενο αίτημα φτάσει στο ίδιο μηχάνημα. Ο οδηγός prompt caching της OpenAI το δηλώνει ευθέως: «Οι αποθηκευμένες καταστάσεις βρίσκονται σε μεμονωμένα μηχανήματα» και «ένα αίτημα μπορεί να επαναχρησιμοποιήσει ένα αποθηκευμένο πρόθεμα μόνο αν φτάσει σε μηχάνημα που διαθέτει αντίστοιχη εγγραφή που δεν έχει λήξει». Η OpenAI δρομολογεί με βάση το φορτίο του μηχανήματος, ένα hash των αρχικών tokens του prompt και, στα παλαιότερα μοντέλα, ένα κλειδί cache που παρέχετε εσείς. Για μοντέλα που φιλοξενείτε μόνοι σας, το Ray Serve περιλαμβάνει έναν router που «δρομολογεί αιτήματα με παρόμοια προθέματα στα ίδια αντίγραφα, μεγιστοποιώντας τα ποσοστά επιτυχίας της KV cache», και επιστρέφει σε απλή εξισορρόπηση φορτίου όταν οι ουρές είναι άνισες.
Οι τηλεφωνικές κλήσεις ταιριάζουν πολύ σε αυτό το μοτίβο. Σε κάθε γύρο μιας συνομιλίας πολλαπλών γύρων, ένας φωνητικός πράκτορας AI στέλνει στο μεγάλο γλωσσικό μοντέλο τις οδηγίες του μαζί με τη μέχρι τότε απομαγνητοφώνηση, επειδή το μοντέλο δεν διατηρεί την κλήση μεταξύ των αιτημάτων. Κάθε αίτημα επαναλαμβάνει το μεγαλύτερο μέρος του προηγούμενου. Επομένως, η κλήση είναι η συνεδρία και το call ID είναι ένα φυσικό κλειδί. Ένας γύρος που καταλήγει σε διαφορετικό διακομιστή επεξεργάζεται ξανά ολόκληρο το prompt, κάτι που αυξάνει την καθυστέρηση (latency).

Το Tell-1, το δικό LLM της Retell, εξυπηρετείται με αυτόν τον τρόπο. Η τεχνική ανάρτηση για το LLM της Retell την ονομάζει δρομολόγηση με επίγνωση κλήσης: κάθε γύρος αποστέλλει ξανά ολόκληρη τη συνομιλία, οπότε κάθε κλήση διατηρείται στις GPU που ήδη την έχουν στην cache. Σύμφωνα με την ανάρτηση, αυτό αύξησε το ποσοστό των tokens του prompt που εξυπηρετούνται από την cache από 36% σε 69%.
Εμφανίζεται όταν εκτελείτε τον δικό σας διακομιστή μοντέλου. Με ένα προσαρμοσμένο LLM, η Retell «ανοίγει ένα WebSocket προς τον διακομιστή σας για κάθε κλήση», με το call ID ως τελευταίο τμήμα της διαδρομής του URL. Η AWS σημειώνει ότι «οι συνδέσεις WebSocket είναι εγγενώς sticky», οπότε μια κλήση παραμένει σε έναν από τους διακομιστές σας όσο το socket της είναι ανοιχτό.
Οι βέλτιστες πρακτικές της Retell συνιστούν να διατηρείτε «ρητή κατάσταση ανά κλήση στον διακομιστή σας, με κλειδί το call ID από το URL του WebSocket». Η Retell επίσης αποκαθιστά μια σύνδεση που διακόπτεται κατά τη διάρκεια της κλήσης, και αν εκτελείτε πολλούς διακομιστές πίσω από έναν εξισορροπητή φορτίου, το νέο socket μπορεί να καταλήξει σε διαφορετικό διακομιστή. Για να παραμένει η κατάσταση προσβάσιμη, δρομολογήστε με βάση το call ID στη διαδρομή ή διατηρήστε αυτή την κατάσταση σε κοινόχρηστο χώρο αποθήκευσης. Το IP hash δεν θα κατανείμει το φορτίο εδώ: ο οδηγός ρύθμισης αναφέρει μία μόνο εξερχόμενη διεύθυνση IP για αυτή τη σύνδεση, οπότε κάθε κλήση κατακερματίζεται στον ίδιο διακομιστή.
Ναι. Η AWS περιγράφει τη λειτουργία sticky session ως «γνωστή και ως session affinity». Η διατήρηση συνεδρίας (session persistence) είναι μια τρίτη ονομασία για το ίδιο πράγμα.
Ο εξισορροπητής φορτίου επιλέγει έναν άλλο υγιή διακομιστή και η συνεδρία προσκολλάται εκεί. Η κατάσταση που υπήρχε μόνο στη μνήμη του διακομιστή που αστόχησε χάνεται, εκτός αν είχε αποθηκευτεί και σε κάποιον κοινόχρηστο χώρο.
Όχι όσο η σύνδεση είναι ανοιχτή, επειδή κάθε μήνυμα ταξιδεύει μέσω της ίδιας σύνδεσης προς τον ίδιο διακομιστή. Η συνάφεια αποκτά ξανά σημασία όταν ο πελάτης επανασυνδέεται.
Μια prompt cache βρίσκεται στη μνήμη του μηχανήματος που τη δημιούργησε. Ένα επόμενο αίτημα λαμβάνει το αποθηκευμένο πρόθεμα μόνο αν δρομολογηθεί σε εκείνο το μηχάνημα.
Η Retell AI είναι μια πλατφόρμα φωνητικών πρακτόρων AI για κέντρα επικοινωνίας. Η Retell διαχειρίζεται την τηλεφωνία, τη μεταγραφή, την εναλλαγή σειράς ομιλίας και τη φωνή, ενώ η ενσωμάτωση Προσαρμοσμένου LLM συνδέει τον διακομιστή του μοντέλου σας μέσω ενός WebSocket ανά κλήση.
How Retell handles audits, data retention and access control.
Table of contents