Nyt i Conductor: observabilitet for stemmeagenter på hver side

TL;DR: Conductor is Everywhere findes nu på alle sider, ikke kun på agentsiden. Den ved, hvilken side du åbnede den fra, og kan stadig nå resten af workspacet derfra. Stil et spørgsmål i almindeligt sprog, så anvender den filtrene, læser det, du vedhæfter, og forklarer, hvad den fandt. Den kan bygge et Analytics-diagram og placere den godkendte version på et dashboard. Du har nu markant mere frihed til at søge og stille spørgsmål inde i Retell.

‍

‍

En vigtig leder i organisationen spørger, hvorfor sidste uges andel af "call successful" faldt. De tilgængelige analysedata viser faldet, men mangler værdifuld kontekst.

For at finde de opkald, der ligger bag, skal du:

• Åbne Call History og filtrere til sidste uge.
• Finde de opkald, der sluttede uden en løsning.
• Læse transskriptionerne. Du leder efter det øjeblik, hvor agenten gav et forkert svar, viderestillede et opkald, den selv burde have håndteret, eller aldrig foretog et nødvendigt opslag.
• Tjekke, hvad der er ændret på agenten. Måske har nogen redigeret prompten, eller en funktion er begyndt at time out.
• Åbne AI QA også. Den holder sine scorer på en separat skærm, så hvert opklad, den har bedømt, kræver, at du åbner den også.

De fleste teams har én person, der kan arbejde sig igennem alt dette, men det betyder, at alle spørgsmål om agentens performance venter på vedkommende.

Men en bedre måde er kommet: vores Conductor is Everywhere kører nu på alle sider i Retell, ikke kun på agentsiden. Den læser den side, du har åbnet, så agenten, opkaldslisten eller diagrammet foran dig allerede er en del af samtalen. Den er målrettet buildere, driftsteams, QA-ansvarlige og alle, der gennemgår opkald i stor skala.

Det spørgsmål, en bruger starter med, kan være et helt almindeligt forretningsspørgsmål. Svaret kræver ikke, at du ved, hvilken fane eller hvilket filter du skal bruge.

Hvorfor ændrer en metrik for en stemmeagent sig uden forklaring?

De fleste agentfejl ender i et gennemført opkald. Den, der ringer, lægger på, og transskriptionen gemmes. Derfra registrerer platformen opkaldet som normalt.

Retell AI's vCX-Hard-benchmark bedømte 27 modeller på de sværeste ture fra rigtige opkald i kontaktcentre. Af de 1.514 tool-calling-tilfælde i datasættet:

• 897 var kald, agenten burde have foretaget, men sprang over.
• Yderligere 520 var kald, ingen havde bedt om.
• Kun to handlede om at vælge det forkerte værktøj.

Næsten hver eneste fejl var en vurdering af, hvornår et værktøj skulle bruges. Et oversprunget opslag afbryder ikke opkaldet. Agenten taler videre, og den, der ringer, hører en helt normal samtale, indtil svaret kommer.

Prompten, modellen, funktionslisten og vidensbasen er identiske på det opkald, der lykkedes, og det opkald, der mislykkedes. Intet fejlede, hvilket betyder, at intet blev logget som en fejl. Den eneste registrering af beslutningen er transskriptionen af det opkald, hvor agenten traf den.

Når budgettet skal lægges, vil nogen sandsynligvis spørge:

• hvor meget forretning agenten håndterede sidste kvartal
• hvad den fik galt
• hvad der er rettet siden

De svar kommer typisk ud af den samme manuelle gennemgang. Conductor is Everywhere flytter organisationer forbi disse manuelle processer og lader brugerne problemfrit undersøge problemer med agenten og implementere de foreslåede løsninger.

Hvordan går du fra manuel gennemgang til driftseffektivitet i stor skala?

Åbn Conductor i Analytics og spørg, hvorfor et bestemt tal, for eksempel "call successful rate", har ændret sig. Analytics sparer dig for at skulle navngive det dashboard, du vil kigge på. Det samme spørgsmål kan stilles fra enhver anden side i Retell.

Med andre ord kan du skrive "Hvorfor faldt min call successful rate denne måned?" og stoppe der.

Du kan også markere en label på dashboardet, og så tager Conductor den med som en del af spørgsmålet. Conductor henter de data, der ligger bag siden, og bygger et diagram, der besvarer spørgsmålet, samtidig med at den forklarer, hvad diagrammet viser. Godkend diagrammet, så ryger det på dashboardet.

Du kan også bygge et dashboard helt fra bunden på denne måde. Beskriv den visning, dit team har brug for, godkend det diagram, Conductor foreslår, og gentag, indtil dashboardet indeholder det, folk tjekker hver uge. Ingen behøver at vide, hvilke felter der skal bruges som opdelinger.Beskrivelsen fungerer som specifikationen.

Hvordan laver du en rodårsagsanalyse af mislykkede opkald med Conductor is Everywhere?

Du kan starte i Call History eller spørge fra der, hvor du allerede er.

• Bed om sidste uges opkald, så anvender Conductor filteret.
• Vælg dem, der mislykkedes, og spørg, hvad der gik galt på tværs af dem.
• Vælg opkald, der allerede har noget til fælles, for eksempel alle opkald, der endte med en viderestilling.

Conductor læser de opkald og fortæller dig derefter, hvad de har til fælles, og navngiver de sandsynlige årsager. Den anbefaler også et næste skridt.

Et navigationskort åbner den agent, der håndterede de opkald, og opkaldene forbliver vedhæftet samtalen. Du kan læse agentens prompt og indstillinger, mens beviserne på problemet stadig står foran dig.

Hvad gør jeg med det, Conductor finder?

Hvert af afsnittene ovenfor slutter med at give brugeren noget at gøre som det næste. Diagramforslaget, rodårsagsanalysen og kohortesammenfatningen afsluttes hver især med et anbefalet skridt, og et navigationskort fører dig til den rigtige skærm, hvor du kan udføre det. Blandt det, du kan spørge om, er:

• Spørg "Hvad gør jeg med dette mønster i opkaldshistorikken?", så giver Conductor dig en anbefaling.
• Spørg "Hvad bør jeg vide fra denne uges opkald?", så får du en gennemgang af, hvad der har ændret sig, hvilke agenter der står bag det, og hvad du skal kigge på først.
• En QA-ansvarlig kan spørge, hvad der skal rettes, inden den næste kohorte kører.
• En builder kan spørge, hvilken node i flowet der producerer viderestillingerne.\

Hvad gør Conductor med en AI QA-kohorte?

AI QA scorer live-opkald op imod kriterier, som dit team fastlægger. En kohorte er et sæt af disse opkald sammen med den konfiguration, der blev brugt til at score dem. Conductor læser begge dele.

Åbn en kohorte og spørg, hvad den fandt. Conductor giver dig en sammenfatning i almindeligt sprog med rangordnede fund og lister derefter, hvad du skal kigge på næste gang.

En QA-ansvarlig, der gør dette manuelt, skal åbne hvert scoret opkald, læse det og huske det godt nok til at sammenligne med det næste. Til sammenligning gennemgår Conductor hele kohorten og rapporterer, hvad de lavtscorende opkald har til fælles, uden at ændre kohorten eller score noget om. Kriterierne er dine at skrive og redigere.

Kan Conductor guide dig gennem en funktion, du aldrig har åbnet?

Conductor ved, hvilken side du er på. Spørg den, hvordan du gør noget bestemt, for eksempel opsætter en AI-kohorte, og den kører en fremhævet gennemgang, der peger på hvert trin i rækkefølge.

Gennemgange kan starte fra enhver side. Spørg fra Analytics, og den begynder med de trin, der fører dig til AI QA, og fortsætter derefter gennem selve funktionen.

Navigationskort kan flytte dig til en agent, en filtreret opkaldsliste, et dashboard eller en QA-kohorte uden at lukke samtalen.

‍

Gennemgangen kører som et overlay på selve den aktive side. En QA-ansvarlig, der åbner AI QA for første gang, kigger på sine egne kohorter, mens Conductor peger på de relevante kontrolelementer. Dermed kan den QA-ansvarlige lære en ny funktion at kende dér, hvor arbejdet foregår.

‍

En samtale, der startede i Call History, har stadig kontekst om de opkald, efter du er gået videre til Analytics. Du kan vælge mislykkede opkald på én skærm og spørge om dem på en anden uden at skulle vælge dem igen.

‍

Hvordan bringer buildere et conversation flow ind i Conductor?

En builder, der arbejder i et conversation flow, kan multi-vælge noderne og bruge Conductor til at bringe dem ind som kontekst. At hente disse noder ind sparer dig for at skrive ud, hvad den del af grafen gør. Spørgsmålet kan derefter handle om den gren, der ses på skærmen, i stedet for om agenten som helhed.

‍

Der er flere måder at bringe kontekst ind på:

• Agenter, vidensbaser og sæt af opkald vedhæftes samtalen som chips, du kan se og fjerne.
• Filer trækkes ind.
• Markeret dashboardtekst kommer ind på samme måde.

Inline-links i Conductors svar peger tilbage på de enkelte opkald, chats og noder, den henviste til. I en lang samtale er de links måden, du finder ud af, hvilket opkald den mente. Med Conductor is Everywhere er alt, hvad du har brug for, lige der, hvor du kan finde det.

‍

Hvad gør Conductor is Everywhere ikke?

Conductor ændrer ikke produktionsagenter på egen hånd. Den læser det, du har vedhæftet, og foreslår en ændring. Nogen på dit team godkender den ændring eller afviser den.

Conductor vil heller ikke:

• skrive til vidensbasen
• generere simuleringstests, medmindre den bliver bedt om det
• planlægge arbejde

Denne udgivelse dækker analyse, vejledning og gennemgang. Løbende forbedring er en mere langsigtet retning for produktet.

Hvor passer Conductor ind sammen med resten af Retell?

• Analyse efter opkald producerer registreringen for hvert enkelt opkald.
• AI QA scorer kohorter af live-opkald op imod kriterier, som dit team definerer.
• Vidensbasen indeholder det, agenten må sige.

Conductor is Everywhere læser alle tre fra den side, du startede på, uden et eksporttrin imellem.

Vi byggede den første version af Conductor som en copilot til at bygge agenter. Den skriver prompten, indstiller stemme og model, håndterer indstillinger for afbrydelser og konverterer en single-prompt-agent til et conversation flow. Vores anden version læser opkald, forklarer hvorfor en metrik har ændret sig, og rapporterer, hvad en QA-kohorte fandt.

Åbn Conductor fra enhver side i Retell. Start gratis eller tal med vores team om en udrulning på tværs af dit agentteam. Resultaterne fra vCX-Hard-benchmarken indeholder modeldataene bag nogle af de fejlmønstre, der er nævnt ovenfor.

‍