Barren for køb af stemme-AI har flyttet sig: Fra naturlig tale til hurtig og sikker iteration

Evalueringskriterier for stemme-AI er de test, en køber bruger til at afgøre, om en platform til stemmeagenter holder på virksomhedens egne telefonlinjer. Naturligt klingende tale plejede at være den afgørende test. Nu er det adgangsbarren. Når alle leverandører på shortlisten lyder godt i et opkald, er det afgørende spørgsmål, hvor hurtigt dit team kan ændre agenten – og hvor sikkert.

Et mønster går igen i købssamtaler. Første evalueringsrunde sammenligner stemmer, latens og afbrydelser. Anden runde spørger, hvad der sker på dag 40, når en politik ændres, en udgående kampagne skal have et nyt manuskript, eller en nyere model udkommer. En leverandør, der ikke kan besvare de spørgsmål med en live demo af ændringsprocessen, sælger lanceringen og overlader driften til dig.

Retell AI udgiver denne guide og sælger en platform til stemmeagenter. Spørgsmålene virker for enhver leverandør, også os, og vi siger, hvor vores egne dokumenterede svar har begrænsninger.

Hvorfor er naturlig tale ikke længere nok til at vælge en leverandør?

Fordi stemmekvaliteten afgør agentens første uge, og ændringer afgør resten. Du skal stadig tjekke, at agenten lyder rigtigt i dine opkald: sådan evaluerer du en platform til stemmeagenter før go-live dækker latens, afbrydelser, transskription og viderestilling af opkald i en pilot. Men en stemmeagent bliver aldrig færdig. Opkaldere formulerer sig på måder, dine manuskripter ikke forventede, priser og politikker ændres, og nye opkaldstyper dukker op.

Hver eneste af de ændringer er en produktionsrelease på en telefonlinje, hvor en dårlig sætning når en live opkalder, før nogen har læst transskriptionen. Derfor har barren to dele, hastighed og sikkerhed, og derfor bør du score begge.

Softwareteams måler allerede levering på denne måde. DORA, et forskningsprogram drevet af Google Cloud, opdeler softwareleveringens performance i gennemløb og ustabilitet: hvor hurtigt ændringer når produktion, og hvor ofte de kræver en rollback eller et hotfix. DORA rapporterer, at "hastighed og stabilitet er ikke modsætninger", og at målingerne hænger sammen for de fleste teams. En leverandør bør ikke bede dig vælge mellem at ændre agenten hurtigt og at ændre den sikkert.

Hvilke ændringer bør du score en leverandør på?

Score de ændringer, du faktisk kommer til at foretage, ikke en generisk vurdering af "brugervenlighed". Hver type ændring har sin egen risiko, så spørg til hver enkelt for sig.

Resten af denne guide omsætter tabellen til spørgsmål. Den praktiske releaseproces, når du har valgt en platform, finder du i sådan tester og releaser du ændringer i stemmeagenter.

Hvad bør du spørge om iterationshastighed?

Spørg, hvem der kan foretage en ændring, og hvor lang tid en reel rettelse tager – og få så leverandøren til at vise det.

• Hvem i vores team kan ændre agenten, og har de brug for en udvikler? Svaret bør nævne en rolle hos jer, ikke leverandørens serviceteam. Hos Retell adskiller adgangskontrol roller, der kan bygge, teste og redigere agenter, fra en skrivebeskyttet Member-rolle.
• Hvor lang tid går der fra et mislykket opkald til en rettelse i live opkald? Accepter ikke et estimat. Vælg et mislykket pilotopkald, gerne et, der viser en kendt fejltype for stemmeagenter, og lad jeres egen ansvarlige rette det, tjekke det og release det, mens du ser på.
• Kan vi afprøve mere end én rettelse ad gangen? Med agentversioner hos Retell kan du oprette et udkast fra enhver tidligere version og have flere udkast på én gang for at afprøve forskellige tilgange.
• Kan et mislykket opkald blive til en testcase, uden at den skal skrives i hånden? Hos Retell kan Conductor omdanne et opkald fra Call History eller AI QA til en simuleringstestcase og udarbejde persona og succeskriterier. Dokumentationen advarer om, at du stadig bør gennemgå hver case og mocke enhver funktion, der når et live endpoint.
• Kan regressionssuiten køre fra vores egen pipeline? Hos Retell starter batch test-API'et en batch og returnerer, når det polles, antallet af beståede, mislykkede og fejlede tests, så et CI-job kan tjekke resultaterne, før du implementerer.
• Betyder et modelskift en omskrivning? For single- og multi-prompt-agenter siger dokumentationen hos Retell, at du kan skifte model senere uden at omskrive din prompt.
• Hvad koster iteration? Hos Retell afregnes test til produktionspriser, pr. besked for teksttest og pr. minut for web- og telefontest. Sæt budget af til det, for en suite, du ikke har råd til at køre igen, bliver ikke kørt igen.

Hvad bør du spørge om iterationssikkerhed?

Spørg, hvordan en ændring afgrænses før release, hvordan den eksponeres efter release, og hvor hurtigt den kan rulles tilbage.

• Er hver ændring en fast version, du kan vende tilbage til? Hos Retell bliver en udkast-agentversion skrivebeskyttet, når den publiceres, "så du har en fast konfiguration, du kan vende tilbage til senere." Konceptet forklares i prompt-versionering.
• Kan vi se præcis, hvad der er ændret? Versionssammenligning hos Retell viser to versioner side om side med diffs på ordniveau for lange prompttekster samt ændringer i tilknyttede vidensbaser og funktioner.
• Kan en ændring nå nogle få opkaldere før dem alle? Googles SRE-workbook definerer canarying som "en delvis og tidsbegrænset implementering af en ændring i en tjeneste og evalueringen af den." Hos Retell fordeler A/B-test et nummers indgående eller udgående trafik mellem agenter efter procent. Hver agent starter også med miljøtagsene prod og staging, så du kan pege staging på en ny version og ringe til den på et testnummer først.
• Hvordan ruller vi tilbage, og følger alle numre med? Hos Retell flytter du prod-tagget tilbage til den forrige version, og numre på tagget følger med. Numre, der er tildelt direkte til en version, bliver på den version, så spørg, hvordan du tjekker, hvilke numre der bruger tagget.
• Hvad fortæller os, at en ændring har gjort tingene værre? Analysedashboardet hos Retell opdeler målinger efter agentversion, alarmregler kan begrænses til miljøtags og sammenlignes med den seneste cyklus, og AI QA scorer et udsnit af opkald for problemer som hallucinationer.

Stil derefter det spørgsmål, de fleste evalueringer springer over: hvilke ændringer går uden om releasevejen? Alle platforme har nogle. En leverandør, der nævner sine egne, er lettere at drive sikkert end en, der påstår, at der ikke er nogen. Her er dem, der gælder for Retell, ifølge dokumentationen:

• Delte subflows. Et biblioteks-subflow deles på tværs af agenter, og en redigering når alle agenter, der bruger det, også publicerede versioner. Dokumentationen siger, at du skal konvertere det til et lokalt subflow før publicering, hvis du vil undgå det.
• Automatisk opdateret viden. Med automatisk opdatering slået til henter en vidensbase sine URL-kilder igen og synkroniserer ændrede tilknyttede filer hver 24. time, så en redigering af en kildeside kan nå svarene ved næste opdatering i stedet for gennem en ny agentversion.
• Kampagner sat til det seneste udkast. Et kampagnetrin kan bruge en fast version, den senest publicerede version, et tag eller den senest oprettede version. Dialer-dokumentationen advarer mod Latest Created, fordi et udkast, du stadig redigerer, når live opkald ved næste opringning.

Kræver udgående kampagner og modelskift andre spørgsmål?

Ja, fordi begge ændrer live opkald på måder, en promptredigering ikke gør.

Kampagner. En kørende udgående kampagne er mange fremtidige opkald i kø mod én agent. Spørg, hvilken version hver opringning bruger, og hvad du kan ændre, når kampagnen kører. Dialer hos Retell fastlægger agentversionen ved hver opringning, ikke ved lancering, så en fast version holder agenten stabil gennem hele kampagnen, mens Latest Published ruller publicerede ændringer ind i den. Sekvensen og kontaktlisten låses ved lancering, og hvis du vil ændre dem, skal kampagnen duplikeres. En pause stopper nye opringninger inden for cirka et minut, mens opkald, der allerede er foretaget, afsluttes.

Modeller. Et modelskift kan ændre formulering, tool calls og timing på én gang. Spørg, om den samme testsuite kan køre på den gamle og den nye model, og om du kan køre en hurtig backupmodel. For stemmeagenter på modeller, der administreres af Retell, tilbyder LLM-indstillingerne en hurtig fallback-model, der kører side om side med den primære, og dokumentationen siger, at du skal tjekke, at begge modeller følger instruktionerne og kalder værktøjer korrekt, før du implementerer. Den siger også, at du skal teste instruktioner og tool calls igen efter ændring af temperaturen.

Hvordan scorer du leverandører på hurtig og sikker iteration?

Kør de samme fire øvelser på hver platform på shortlisten under piloten, med den person, der skal eje agenten, til at udføre arbejdet, og tag tid på hver enkelt.

Score hastighed og sikkerhed hver for sig, fra et til fem, og lad ikke en høj score på den ene skjule en lav score på den anden. En platform, hvor rettelser udrulles på en time, men ikke kan rulles tilbage, dumper. Det samme gør en, hvor alle ændringer er sikre, men kræver en supportsag hos leverandøren. DORAs eget råd til at forbedre begge på én gang er at holde hver ændring lille: "Mindre ændringer er også lettere at komme sig over, hvis der opstår en fejl."

To andre sider dækker tilstødende beslutninger. Om du skal bygge, købe eller bruge en managed service, afgør, hvem der overhovedet kører disse øvelser; se byg eller køb AI-stemmeagenter. Den økonomiske begrundelse for programmet finder du i ROI for AI-stemmeagenter. Dette scorecard forudsætter, at begge er afgjort, og spørger kun, om dit team kan blive ved med at forbedre agenten. Hvilke opkald du skal automatisere først, er en beslutning for sig, som dækkes i sådan vælger du use cases for stemme-AI.

Ofte stillede spørgsmål

Hvad er de vigtigste kriterier, når man evaluerer en stemme-AI-platform?

Start med, om den gennemfører dit workflow i dine egne opkald, passer til dine telefon- og datasystemer og lyder naturlig. Når leverandørerne på shortlisten består det, er det kriterium, der adskiller dem, iteration: hvor hurtigt dit team kan ændre prompts, viden, flows, kampagner og modeller, og hvor sikkert de ændringer når live opkaldere.

Hvordan tester du, hvor hurtigt en leverandør lader dig ændre en stemmeagent?

Vælg et mislykket opkald fra piloten, og bed den person, der skal eje agenten, om at rette det, tjekke det, release det til et testnummer og rulle det tilbage, mens du tager tid. Gentag med en vidensændring og et modelskift på et udkast. En optaget demo udført af leverandørens egne medarbejdere tæller ikke.

Hvad gør en ændring i en stemmeagent sikker?

En sikker ændring er en fast version med en synlig diff, består en gemt testsuite før release, når en lille andel af opkaldene først og kan rulles tilbage i ét træk. Du skal også vide, hvilke ændringer der springer den vej over, fx delte komponenter eller automatisk opdateret viden.

Hvem bør køre iterationsøvelserne under en pilot?

Den person, der skal eje agenten efter lancering, ikke leverandørens team. Nogle teams giver den opgave til en CX automation engineer, den interne ansvarlige, der finder dårligt håndterede opkald, bygger rettelser, tjekker dem og implementerer dem.

Kan du skifte sprogmodellen bag en stemmeagent uden at bygge den om?

Mange platforme giver dig mulighed for det, men du bør ikke skifte i blinde. Kør den samme testsuite på begge modeller, sammenlign resultaterne, og release den nye model til en andel af opkaldene først. For single- og multi-prompt-agenter hos Retell siger dokumentationen, at du kan skifte model senere uden at omskrive din prompt, og at du skal tjekke, at en fallback-model følger dine instruktioner, og teste tool calls igen efter ændring af temperaturen.

Sæt iteration på dit evaluerings-scorecard

Købsbarren for stemme-AI har flyttet sig fra "lyder den menneskelig" til "kan vi ændre den hurtigt uden at ødelægge opkald". Retell er en platform til AI-stemmeagenter for kontaktcentre med udkastversioner, versionssammenligning, miljøtags, simulering og batchtest, A/B-trafikfordeling og AI QA, så den person, der ejer agenten, kan teste, release og rulle en ændring tilbage uden at vente på en leverandør. Prisen er betal efter forbrug fra $0.07 pr. minut på prissiden. Tag din sværeste ændring med til piloten, og tag tid på den.