セッションアフィニティ(スティッキーセッションまたはセッション永続性とも呼ばれます)は、同じクライアントまたはセッションからのすべてのリクエストを同じバックエンドサーバーに送るロードバランシングの手法です。これにより、そのサーバーのメモリに保持された状態に引き続きアクセスできます。
セッションアフィニティがない場合、各リクエストは個別に振り分けられます。AWSによると、Application Load Balancerはデフォルトで「各リクエストを登録済みターゲットに個別にルーティング」し、スティッキーセッション機能を使うと「ユーザーのセッションを特定のターゲットにバインド」できます。これが重要になるのは、ログインセッション、ショッピングカート、キャッシュなど、次のリクエストが必要とするものをサーバーがローカルに保持している場合です。
ロードバランサーには、セッションを識別する方法と、それをサーバーに対応付けるルールが必要です。ほとんどの製品は次の3つの方法でカバーされます。
Cookie。ロードバランサーは最初のレスポンスでCookieを設定し、以降のリクエストでそれを読み取ります。AWSの期間ベースのスティッキーセッションでは、AWSALBという名前のCookieを使用し、その有効期間は1秒から7日の範囲で設定できます。HAProxyはCookieを使って「クライアントが以前どのサーバーにルーティングされたかを記憶」します。クライアントはCookieに対応している必要があります。
IPハッシュ。クライアントのIPアドレスによってサーバーが決まります。NGINXのip_hashは「クライアントのIPv4アドレスの最初の3オクテット、またはIPv6アドレス全体」をハッシュキーとして使用します。Kubernetes Serviceも同じ考え方をsessionAffinity: ClientIPとして提供しており、デフォルトのタイムアウトは3時間です。どちらもCookieは不要ですが、1つの共有アドレスの背後にあるクライアントは同じサーバーに振り分けられます。NGINXの場合は、その3オクテットを共有するすべてのクライアントも同様です。
コンシステントハッシュ。ロードバランサーは、ヘッダーやセッションIDなどリクエストのプロパティをハッシュし、サーバーのリング上に割り当てます。Envoyによると、適切に分割されたリングでは、N台のホストのセットから1台を追加または削除しても「影響を受けるのは1/Nのリクエストのみ」です。NGINXのhashディレクティブにはconsistentオプションがあり、ドキュメントによれば「キャッシュサーバーのキャッシュヒット率を高めるのに役立ちます」。
| 方法 | セッションを識別するもの | ドキュメントに記載された例 | 主な制約 |
|---|---|---|---|
| Cookie | ロードバランサーまたはアプリケーションが設定するCookie | AWS Application Load Balancer、HAProxy | クライアントがCookieに対応している必要がある |
| IPハッシュ | クライアントのIPアドレス | NGINX ip_hash、Kubernetes ClientIP | 共有アドレスの背後にあるクライアントが1台のサーバーに集中する |
| コンシステントハッシュ | 任意に選んだリクエストのプロパティ | EnvoyのリングハッシュとMaglev、NGINX hash ... consistent | すべてのリクエストが安定したキーを持つ必要がある |
| プレフィックス認識ルーティング | LLMのpromptの先頭トークン | OpenAIのprompt caching、Ray Serve | 負荷も考慮されるため、混雑しているサーバーにはリクエストが届かないことがある |
セッションアフィニティは、状態を近くに保つ代わりに、負荷分散の均等性と耐障害性をある程度犠牲にします。
HAProxyのドキュメントは標準的なアドバイスとして「多くの場合、サービスをステートレスに構築してセッション永続性を完全に避けるのが最適です」と述べています。たとえば、状態を共有データベースに保存する方法です。アフィニティは、低コストで移動できない状態のためのものであり、その典型例がキャッシュです。
繰り返されるpromptを低コストにするキャッシュが、1台のマシン上に存在するためです。モデルサーバーは、promptの計算済みの状態であるKVキャッシュをメモリに保持します。vLLMは、新しいクエリが「既存のクエリのいずれかと同じプレフィックスを共有している場合」にこれを再利用し、「新しいクエリは共有部分の計算をスキップできます」。
これは、次のリクエストが同じマシンに届く場合にのみ機能します。OpenAIのprompt cachingガイドは、「キャッシュされた状態は個々のマシン上に存在し」、「リクエストがキャッシュされたプレフィックスを再利用できるのは、期限切れになっていない一致するエントリを保持するマシンに到達した場合のみ」と明言しています。OpenAIは、マシンの負荷、promptの先頭トークンのハッシュ、そして古いモデルではユーザーが指定するキャッシュキーに基づいてルーティングします。セルフホスト型モデル向けには、Ray Serveが「類似したプレフィックスを持つリクエストを同じレプリカにルーティングし、KVキャッシュのヒット率を最大化する」ルーターを提供しており、キューが不均一な場合は通常のロードバランシングにフォールバックします。
電話はこのパターンによく当てはまります。マルチターン会話の各ターンで、音声エージェントは指示とそれまでの文字起こしを大規模言語モデルに送信します。モデルはリクエスト間で通話を保持しないためです。各リクエストは、直前のリクエストの大部分を繰り返します。つまり、通話がセッションであり、通話IDが自然なキーになります。別のサーバーに届いたターンはprompt全体を再処理するため、レイテンシが増加します。

Retell独自のLLMであるTell-1は、この方法で提供されています。Retell LLMの技術記事では、これを通話認識ルーティング(call-aware routing)と呼んでいます。各ターンで会話全体が再送信されるため、各通話はそれをすでにキャッシュに保持しているGPU上に維持されます。記事によると、これによりキャッシュから提供されるpromptトークンの割合が36%から69%に向上しました。
独自のモデルサーバーを運用する場合に関係します。カスタムLLMを使用すると、Retellは「通話ごとにお客様のサーバーへのWebSocketを開き」、URLのパスの最後のセグメントに通話IDを含めます。AWSは「WebSocket接続は本質的にスティッキー」であると説明しているため、ソケットが開いている間、通話はお客様のサーバーのうち1台にとどまります。
Retellのベストプラクティスでは、「WebSocket URLの通話IDをキーとして、通話ごとの明示的な状態をサーバー上に保持する」ことを推奨しています。また、Retellは通話中に切断された接続を再確立しますが、ロードバランサーの背後で複数のサーバーを運用している場合、新しいソケットが別のサーバーに到達する可能性があります。状態にアクセスできるようにするには、パス内の通話IDに基づいてルーティングするか、その状態を共有ストアに保持してください。ここではIPハッシュでは負荷が分散されません。セットアップガイドには、この接続の送信元IPアドレスとして単一のアドレスが記載されているため、すべての通話が同じサーバーにハッシュされます。
はい。AWSはスティッキーセッション機能を「セッションアフィニティとも呼ばれる」と説明しています。セッション永続性も、同じものを指す3つ目の名称です。
ロードバランサーは別の正常なサーバーを選択し、セッションはそのサーバーに固定されます。障害が発生したサーバーのメモリにのみ存在していた状態は、共有の場所にも保存されていない限り失われます。
接続が開いている間は必要ありません。すべてのメッセージが同じ接続を通じて同じサーバーに送られるためです。クライアントが再接続する際には、再びアフィニティが重要になります。
promptキャッシュは、それを構築したマシンのメモリ上にあります。後続のリクエストがキャッシュされたプレフィックスを利用できるのは、そのマシンにルーティングされた場合のみです。
Retell AIは、コンタクトセンター向けのAI音声エージェントプラットフォームです。Retellは電話回線、文字起こし、ターンテイキング、音声合成を処理し、カスタムLLM連携により、通話ごとに1つのWebSocketでお客様のモデルサーバーに接続します。
How Retell handles audits, data retention and access control.
Table of contents