Home

/

Glossary

/

Hvad er prompt caching?

Prompt caching genbruger modellens arbejde på starten af en prompt. Forholdet til prefix caching og KV-cachen, og hvorfor opkald har brug for det.

Prompt caching er en teknik, der lader en stor sprogmodel springe arbejde over, som den allerede har udført. Når en ny forespørgsel starter med de samme tokens som en tidligere, genbruger modellen den gemte beregning for den fælles start og behandler kun det nye. Resultatet er et hurtigere første token og på de fleste API'er en lavere pris for de genbrugte tokens.

Den genbrugte del kaldes præfikset. OpenAIs guide definerer det som "de uændrede tokens i begyndelsen af en prompt". Instruktioner, værktøjsdefinitioner og tidligere ture i samtalen ligger typisk dér.

Hvordan fungerer prompt caching?

Anthropics dokumentation beskriver forløbet: Systemet tjekker, om et promptpræfiks allerede er cachet fra en nylig forespørgsel. Hvis det er, bruges den cachede version. Ellers behandles hele prompten, og præfikset caches.

Tre regler følger af det design:

  • Matchet skal være eksakt. Anthropic oplyser, at cache-hits kræver "100 procent identiske promptsegmenter". Ét ændret tegn tidligt i prompten betyder, at alt efter det behandles igen.
  • Rækkefølgen betyder noget. Stabilt indhold kommer først, og indhold, der ændrer sig, kommer sidst.
  • Poster udløber. Anthropics standardlevetid for cachen er 5 minutter og fornyes, hver gang det cachede indhold bruges. OpenAIs levetider afhænger af modellen.

Hvordan hænger prompt caching, prefix caching og KV-cachen sammen?

De er tre lag af den samme idé. KV-cachen er dataene, prefix caching er genbrugen af de data på tværs af forespørgsler, og prompt caching er det navn, API-udbydere giver funktionen.

BegrebHvad det erOmfangHvor du ser begrebet
KV-cacheDe key- og value-tilstande, en model beregner for hvert token, den har læst, gemt så de ikke skal genberegnes for hvert nyt tokenInden for én forespørgselModellens interne opbygning, inferensmotorer
Prefix cachingAt beholde KV-cachen, efter en forespørgsel slutter, og genbruge den til en senere forespørgsel, der starter med de samme tokensPå tværs af forespørgsler på samme serverInferensmotorer som vLLM
Prompt cachingPrefix caching tilbudt som en API-funktion med regler for levetid, minimumslængde og prisPå tværs af API-kaldModeludbyderes dokumentation og prissider

En forklaring fra Hugging Face beskriver KV-cachen enkelt: "I stedet for at genberegne alt fra bunden genbruger modellen det, den allerede har beregnet". vLLM-dokumentationen siger, at dens automatiske prefix caching "cacher KV-cachen for eksisterende forespørgsler, så en ny forespørgsel direkte kan genbruge KV-cachen, hvis den deler samme præfiks". OpenAI bekræfter sammenhængen fra API-siden: "Promptcachen gemmer key-value (KV)-tensorer, ikke selve tokens."

Hvorfor betyder prompt caching noget i et telefonopkald med flere ture?

En stemmeagent kalder modellen én gang pr. tur, og hver forespørgsel indeholder instruktionerne, værktøjsdefinitionerne og samtalen indtil nu. I en samtale med flere ture er næsten alt det identisk med forespørgslen fra den forrige tur. Kun den seneste udveksling er ny. Uden caching læser modellen de samme instruktioner igen i hver tur.

Gennemregnet eksempel (illustrative tal). En agent har 2.500 tokens med instruktioner og værktøjer, hver tur tilføjer 100 tokens samtale, og hver tur efter den første finder sit præfiks i cachen:

TurPrompt-tokensGenbrugt fra cachenNye tokens at læse
12.60002.600
22.7002.600100
53.0002.900100
103.5003.400100
Alle 10 ture30.50027.0003.500

Over hele opkaldet kommer 27.000 af 30.500 prompt-tokens (ca. 89 %) fra cachen. Fra anden tur læser modellen 100 nye tokens i stedet for mere end 2.600.

Søjlediagram over prompt-tokens i hver af 10 ture i et illustrativt telefonopkald med prompt caching. Tur 1 læser alle 2.600 tokens. I tur 2 til 10 vokser prompten fra 2.700 til 3.500 tokens, men kun 100 tokens pr. tur er nye, og resten genbruges fra cachen. Over hele opkaldet genbruges 27.000 af 30.500 prompt-tokens, ca. 89 procent, og 3.500 læses.
I et opkald med 10 ture sender hver forespørgsel hele samtalen igen, men ved et cache-hit læses kun de nyeste 100 tokens (illustrative tal). Diagram af Retell AI, november 2026.

Det betyder noget af to grunde. Tid til første token er en del af den latens, som den, der ringer, hører som stilhed, og det tager tid at læse en lang prompt. Den anden grund er pris: Anthropic prissætter cache-læsninger til 0,1 gange basisprisen for input-tokens, mens cache-skrivninger koster 1,25 gange ved levetiden på 5 minutter.

Hvad forhindrer et cache-hit?

  • Et ændret præfiks. Et tidsstempel, navnet på den, der ringer, eller en omrokeret værktøjsliste øverst i prompten ændrer alle tokens efter det.
  • En pause, der er længere end cachens levetid.
  • At forespørgslen rammer en anden maskine. OpenAIs guide bemærker, at "cachede tilstande ligger på individuelle maskiner", og at en forespørgsel kun kan genbruge et præfiks, "hvis den rammer en maskine, der har en matchende post, som ikke er udløbet".

Routing kan lukke det sidste hul. Tell-1, Retells egen LLM, holder hvert opkald på de GPU'er, der allerede har det i cachen, ved hjælp af session affinity. Ifølge det tekniske indlæg om Retell LLM fordobler det næsten andelen af prompt-tokens, der leveres fra cachen, fra 36 % til 69 %, så hver tur har mindre at læse ind, og svarene starter hurtigere.

Caching ændrer ikke svaret. vLLM's designnoter siger, at prefix caching "ikke ændrer modellens output".

Hvor AI-stemmeagenter passer ind

Retells guide til fejlfinding af latens siger direkte, hvad promptlængde koster: "Hvert token i din prompt øger tiden til første token, og den pris betales i hver tur af samtalen."

Hvis du forbinder din egen model via Retells LLM WebSocket, ankommer hver svarforespørgsel med den "komplette live-transskription indsamlet i opkaldet indtil nu". Din server bygger prompten, så cachens adfærd afhænger af, hvordan du bygger den, og af din modeludbyder: Hold instruktioner og værktøjer først og uændrede, og tilføj transskriptionen efter dem. Se hele den vej, en tur tager, i sådan fungerer stemme-AI i realtid.

Ofte stillede spørgsmål om prompt caching

Hvad er forskellen på prompt caching og KV-cachen?

KV-cachen er den gemte attention-tilstand, en model opbygger, mens den læser tokens. Prompt caching beholder den tilstand, efter en forespørgsel slutter, så en senere forespørgsel med de samme indledende tokens kan genbruge den.

Er prefix caching det samme som prompt caching?

Det er den samme mekanisme. Prefix caching er det begreb, inferensmotorer bruger. Prompt caching er det produktnavn, modeludbydere bruger om det i deres API'er.

Ændrer prompt caching modellens svar?

Nej. Det springer kun genberegningen af det fælles præfiks over.

Hvor længe holder en promptcache?

Det afhænger af udbyderen. Anthropics standard er 5 minutter, fornyet ved hver brug, med en mulighed for 1 time til en højere skrivepris. OpenAIs levetider afhænger af modellen.

Hvorfor betyder prompt caching noget for stemmeagenter?

Hver tur i et opkald sender instruktionerne og samtalen indtil nu igen. Ved et cache-hit læser modellen kun den nyeste udveksling.

Hør forskellen i dine egne opkald

Retell AI er en platform for AI-stemmeagenter til kontaktcentre. Tell-1 er dens egen LLM, bygget til telefonopkald. Dokumentationen viser, hvordan du tjekker latensen for hvert opkald fordelt på komponenter, så du kan se, hvor meget af ventetiden der skyldes modellen. Tal med Retell-teamet.

Security & compliance for regulated deployments

How Retell handles audits, data retention and access control.

Add Retell AI as a preferred source on Google

Further Reading

Related terms

No items found.

Table of contents

Revolutioner din opkaldsdrift med Retell