Home

/

Glossary

/

セッションアフィニティ(スティッキーセッション)とは?

セッションアフィニティは各クライアントのリクエストを同じサーバーに送る仕組みです。Cookie、IPハッシュ、コンシステントハッシュによる実装方法、トレードオフ、LLMキャッシュとの関係を解説します。

セッションアフィニティ(スティッキーセッションまたはセッション永続性とも呼ばれます)は、同じクライアントまたはセッションからのすべてのリクエストを同じバックエンドサーバーに送るロードバランシングの手法です。これにより、そのサーバーのメモリに保持された状態に引き続きアクセスできます。

セッションアフィニティがない場合、各リクエストは個別に振り分けられます。AWSによると、Application Load Balancerはデフォルトで「各リクエストを登録済みターゲットに個別にルーティング」し、スティッキーセッション機能を使うと「ユーザーのセッションを特定のターゲットにバインド」できます。これが重要になるのは、ログインセッション、ショッピングカート、キャッシュなど、次のリクエストが必要とするものをサーバーがローカルに保持している場合です。

ロードバランサーはセッションアフィニティをどのように実装するのか?

ロードバランサーには、セッションを識別する方法と、それをサーバーに対応付けるルールが必要です。ほとんどの製品は次の3つの方法でカバーされます。

Cookie。ロードバランサーは最初のレスポンスでCookieを設定し、以降のリクエストでそれを読み取ります。AWSの期間ベースのスティッキーセッションでは、AWSALBという名前のCookieを使用し、その有効期間は1秒から7日の範囲で設定できます。HAProxyはCookieを使って「クライアントが以前どのサーバーにルーティングされたかを記憶」します。クライアントはCookieに対応している必要があります。

IPハッシュ。クライアントのIPアドレスによってサーバーが決まります。NGINXのip_hashは「クライアントのIPv4アドレスの最初の3オクテット、またはIPv6アドレス全体」をハッシュキーとして使用します。Kubernetes Serviceも同じ考え方をsessionAffinity: ClientIPとして提供しており、デフォルトのタイムアウトは3時間です。どちらもCookieは不要ですが、1つの共有アドレスの背後にあるクライアントは同じサーバーに振り分けられます。NGINXの場合は、その3オクテットを共有するすべてのクライアントも同様です。

コンシステントハッシュ。ロードバランサーは、ヘッダーやセッションIDなどリクエストのプロパティをハッシュし、サーバーのリング上に割り当てます。Envoyによると、適切に分割されたリングでは、N台のホストのセットから1台を追加または削除しても「影響を受けるのは1/Nのリクエストのみ」です。NGINXのhashディレクティブにはconsistentオプションがあり、ドキュメントによれば「キャッシュサーバーのキャッシュヒット率を高めるのに役立ちます」。

方法セッションを識別するものドキュメントに記載された例主な制約
Cookieロードバランサーまたはアプリケーションが設定するCookieAWS Application Load Balancer、HAProxyクライアントがCookieに対応している必要がある
IPハッシュクライアントのIPアドレスNGINX ip_hash、Kubernetes ClientIP共有アドレスの背後にあるクライアントが1台のサーバーに集中する
コンシステントハッシュ任意に選んだリクエストのプロパティEnvoyのリングハッシュとMaglev、NGINX hash ... consistentすべてのリクエストが安定したキーを持つ必要がある
プレフィックス認識ルーティングLLMのpromptの先頭トークンOpenAIのprompt caching、Ray Serve負荷も考慮されるため、混雑しているサーバーにはリクエストが届かないことがある

スティッキーセッションのトレードオフとは?

セッションアフィニティは、状態を近くに保つ代わりに、負荷分散の均等性と耐障害性をある程度犠牲にします。

  • 負荷が偏る可能性があります。Google Cloudによると、アフィニティは「一意の接続が十分に多く分散している場合にうまく機能します」。セッション数が少ない、または不均一な場合は一部のサーバーの負荷が大きくなり、スケーラビリティを損ないます。
  • サーバーに障害が発生するとアフィニティは終了します。AWSでは、ターゲットに障害が発生すると、ロードバランサーは「新しい正常なターゲットを選択」し、「障害が発生したターゲットが復帰した後も」セッションをそこに維持します。古いサーバーのメモリにのみ保持されていたものは再構築する必要があります。
  • ベストエフォートです。Google Cloudはセッションアフィニティを「ベストエフォートベースで」提供しており、ヘルスチェックの変化、バックエンドの追加・削除、バックエンドの容量の逼迫を、アフィニティが崩れる要因として挙げています。

HAProxyのドキュメントは標準的なアドバイスとして「多くの場合、サービスをステートレスに構築してセッション永続性を完全に避けるのが最適です」と述べています。たとえば、状態を共有データベースに保存する方法です。アフィニティは、低コストで移動できない状態のためのものであり、その典型例がキャッシュです。

LLMのサービングでセッションアフィニティが重要な理由

繰り返されるpromptを低コストにするキャッシュが、1台のマシン上に存在するためです。モデルサーバーは、promptの計算済みの状態であるKVキャッシュをメモリに保持します。vLLMは、新しいクエリが「既存のクエリのいずれかと同じプレフィックスを共有している場合」にこれを再利用し、「新しいクエリは共有部分の計算をスキップできます」。

これは、次のリクエストが同じマシンに届く場合にのみ機能します。OpenAIのprompt cachingガイドは、「キャッシュされた状態は個々のマシン上に存在し」、「リクエストがキャッシュされたプレフィックスを再利用できるのは、期限切れになっていない一致するエントリを保持するマシンに到達した場合のみ」と明言しています。OpenAIは、マシンの負荷、promptの先頭トークンのハッシュ、そして古いモデルではユーザーが指定するキャッシュキーに基づいてルーティングします。セルフホスト型モデル向けには、Ray Serveが「類似したプレフィックスを持つリクエストを同じレプリカにルーティングし、KVキャッシュのヒット率を最大化する」ルーターを提供しており、キューが不均一な場合は通常のロードバランシングにフォールバックします。

電話はこのパターンによく当てはまります。マルチターン会話の各ターンで、音声エージェントは指示とそれまでの文字起こしを大規模言語モデルに送信します。モデルはリクエスト間で通話を保持しないためです。各リクエストは、直前のリクエストの大部分を繰り返します。つまり、通話がセッションであり、通話IDが自然なキーになります。別のサーバーに届いたターンはprompt全体を再処理するため、レイテンシが増加します。

1件の通話の3つのターンを3台のモデルサーバーにルーティングする2つの方法を比較した図。負荷のみに基づくルーティングでは、ターン1はサーバーA、ターン2はサーバーC、ターン3はサーバーBに送られるため、各サーバーがprompt全体を読み込み、何も再利用されません。通話IDをキーとするセッションアフィニティでは、3つのターンすべてがサーバーBに送られるため、ターン2と3はキャッシュされたプレフィックスを再利用し、promptの新しい部分のみが読み込まれます。
セッションアフィニティにより、通話のすべてのターンが、そのpromptキャッシュをすでに保持しているサーバー上で処理されます。図:Retell AI、2026年11月。

Retell独自のLLMであるTell-1は、この方法で提供されています。Retell LLMの技術記事では、これを通話認識ルーティング(call-aware routing)と呼んでいます。各ターンで会話全体が再送信されるため、各通話はそれをすでにキャッシュに保持しているGPU上に維持されます。記事によると、これによりキャッシュから提供されるpromptトークンの割合が36%から69%に向上しました。

Retellでセッションアフィニティが関係する場面

独自のモデルサーバーを運用する場合に関係します。カスタムLLMを使用すると、Retellは「通話ごとにお客様のサーバーへのWebSocketを開き」、URLのパスの最後のセグメントに通話IDを含めます。AWSは「WebSocket接続は本質的にスティッキー」であると説明しているため、ソケットが開いている間、通話はお客様のサーバーのうち1台にとどまります。

Retellのベストプラクティスでは、「WebSocket URLの通話IDをキーとして、通話ごとの明示的な状態をサーバー上に保持する」ことを推奨しています。また、Retellは通話中に切断された接続を再確立しますが、ロードバランサーの背後で複数のサーバーを運用している場合、新しいソケットが別のサーバーに到達する可能性があります。状態にアクセスできるようにするには、パス内の通話IDに基づいてルーティングするか、その状態を共有ストアに保持してください。ここではIPハッシュでは負荷が分散されません。セットアップガイドには、この接続の送信元IPアドレスとして単一のアドレスが記載されているため、すべての通話が同じサーバーにハッシュされます。

セッションアフィニティに関するよくある質問

セッションアフィニティとスティッキーセッションは同じですか?

はい。AWSはスティッキーセッション機能を「セッションアフィニティとも呼ばれる」と説明しています。セッション永続性も、同じものを指す3つ目の名称です。

サーバーに障害が発生した場合、スティッキーセッションはどうなりますか?

ロードバランサーは別の正常なサーバーを選択し、セッションはそのサーバーに固定されます。障害が発生したサーバーのメモリにのみ存在していた状態は、共有の場所にも保存されていない限り失われます。

WebSocket接続にスティッキーセッションは必要ですか?

接続が開いている間は必要ありません。すべてのメッセージが同じ接続を通じて同じサーバーに送られるためです。クライアントが再接続する際には、再びアフィニティが重要になります。

prompt cachingでセッションアフィニティが重要なのはなぜですか?

promptキャッシュは、それを構築したマシンのメモリ上にあります。後続のリクエストがキャッシュされたプレフィックスを利用できるのは、そのマシンにルーティングされた場合のみです。

独自のモデルをライブ通話に活用

Retell AIは、コンタクトセンター向けのAI音声エージェントプラットフォームです。Retellは電話回線、文字起こし、ターンテイキング、音声合成を処理し、カスタムLLM連携により、通話ごとに1つのWebSocketでお客様のモデルサーバーに接続します。

Security & compliance for regulated deployments

How Retell handles audits, data retention and access control.

Add Retell AI as a preferred source on Google

Further Reading

Related terms

No items found.

Table of contents

Retellで通話業務に革新を