Nieuw in Conductor: observability voor stemagenten op elke pagina

TL;DR: Conductor is Everywhere is nu op elke pagina beschikbaar, niet alleen op de agentpagina. Het weet vanaf welke pagina je het hebt geopend en kan van daaruit nog steeds bij de rest van de workspace. Stel een vraag in gewone taal en het past de filters toe, leest wat je toevoegt en legt uit wat het heeft gevonden. Het kan een Analytics-grafiek maken en de goedgekeurde versie op een dashboard zetten. Je hebt nu veel meer vrijheid om binnen Retell te zoeken en vragen te stellen.

‍

‍

Een belangrijke bestuurder binnen de organisatie vraagt waarom het percentage "call successful" vorige week is gedaald. De beschikbare analytics laten de daling zien, maar missen waardevolle context.

Om de gesprekken erachter te vinden, doe je het volgende:

• Je opent Call History en filtert op vorige week.
• Je selecteert de gesprekken die zonder oplossing eindigden.
• Je leest de transcripten. Je zoekt het moment waarop de agent een verkeerd antwoord gaf, een gesprek doorverbond dat hij zelf had moeten afhandelen, of een benodigde lookup nooit uitvoerde.
• Je controleert wat er aan de agent is veranderd. Misschien heeft iemand de prompt aangepast of begon een functie te timen out.
• Je opent ook AI QA. Die bewaart de scores op een apart scherm, dus voor elk beoordeeld gesprek moet je dat scherm ook openen.

Bij de meeste teams is er één persoon die dit hele traject kan doorlopen, maar dat betekent dat elke vraag over de prestaties van een agent op die persoon wacht.

Er is nu een betere manier: onze Conductor is Everywhere werkt nu op elke pagina in Retell, niet alleen op de agentpagina. Conductor leest de pagina die je hebt geopend, dus de agent, de gesprekslijst of de chart die je voor je hebt, maakt al deel uit van het gesprek. Het is bedoeld voor builders, operations-teams, QA-leads en iedereen die gesprekken in grote hoeveelheden beoordeelt.

De vraag waarmee een gebruiker begint, kan een gewone businessvraag zijn. Voor het antwoord hoef je niet te weten welk tabblad of filter je moet gebruiken.

Waarom verandert een metric van een stemagent zonder uitleg?

De meeste fouten van agents eindigen in een voltooid gesprek. De beller hangt op en het transcript wordt opgeslagen. Vanaf daar registreert het platform het gesprek als normaal.

De vCX-Hard-benchmark van Retell AI beoordeelde 27 modellen op de moeilijkste gespreksbeurten uit echte contactcentergesprekken. Van de 1.514 tool-calling-gevallen in de set:

• 897 waren calls die de agent had moeten doen, maar oversloeg.
• Nog eens 520 waren calls waar niemand om had gevraagd.
• Slechts twee betroffen het kiezen van de verkeerde tool.

Vrijwel elke fout was een beoordelingskwestie over wanneer je een tool inzet. Een overgeslagen lookup onderbreekt het gesprek niet. De agent praat verder en de beller hoort een normaal gesprek totdat het antwoord komt.

De prompt, het model, de functielijst en de kennisbank zijn identiek bij het gesprek dat goed ging en het gesprek dat misging. Er ging niets fout, dus werd er ook niets als fout gelogd. De enige vastlegging van de beslissing is het transcript van het gesprek waarin de agent die nam.

Bij de budgetronde zal iemand waarschijnlijk vragen:

• hoeveel werk de agent afgelopen kwartaal heeft afgehandeld
• wat er misging
• wat er sindsdien is opgelost

Die antwoorden komen doorgaans uit dezelfde handmatige review. Conductor is Everywhere brengt organisaties voorbij die handmatige processen, zodat gebruikers problemen met de agent soepel kunnen onderzoeken en voorgestelde oplossingen kunnen uitrollen.

Hoe ga je van handmatige review naar operationele efficiëntie op schaal?

Open Conductor in Analytics en vraag waarom een bepaald getal, zoals het "call successful rate", is veranderd. Analytics voorkomt dat je moet benoemen naar welk dashboard je wilt kijken. Dezelfde vraag kun je vanaf elke andere pagina in Retell stellen.

Met andere woorden: je kunt "Waarom is mijn call successful rate deze maand gedaald?" typen en daar stoppen.

Je kunt ook een label op het dashboard markeren; Conductor neemt dat mee als onderdeel van de vraag. Conductor haalt de data achter de pagina op en bouwt een chart die de vraag beantwoordt, met een uitleg van wat de chart laat zien. Keur de chart goed en hij komt op het dashboard.

Je kunt op deze manier ook vanaf nul een dashboard bouwen. Beschrijf de weergave die je team nodig heeft, keur de chart goed die Conductor voorstelt, en herhaal tot het dashboard bevat wat mensen elke week bekijken. Niemand hoeft te weten welke velden je als breakdowns moet gebruiken.De beschrijving fungeert als de specificatie.

Hoe voer je met Conductor is Everywhere een root-cause-analyse uit op mislukte gesprekken?

Je kunt beginnen in Call History, of het vragen vanaf de plek waar je al bent.

• Vraag om de gesprekken van vorige week en Conductor past het filter toe.
• Selecteer de gesprekken die misgingen en vraag wat er in die gesprekken fout is gegaan.
• Kies gesprekken die al iets gemeen hebben, zoals elk gesprek dat eindigde in een gespreksoverdracht.

Conductor leest die gesprekken en vertelt je vervolgens wat ze gemeen hebben en benoemt de waarschijnlijke oorzaken. Het beveelt ook een volgende stap aan.

Een navigatiekaart opent de agent die deze gesprekken afhandelde, en de gesprekken blijven aan het gesprek met Conductor gekoppeld. Je kunt de prompt en instellingen van de agent lezen terwijl het bewijs van het probleem nog voor je staat.

Wat doe ik met wat Conductor vindt?

Elk van de bovenstaande onderdelen eindigt met iets wat de gebruiker daarna kan doen. Het chartvoorstel, de root-cause-analyse en de cohortsamenvatting sluiten elk af met een aanbevolen stap, en een navigatiekaart brengt je naar het juiste scherm om die uit te voeren. Je kunt onder andere het volgende vragen:

• Vraag "Wat doe ik met dit patroon in de call history?" en Conductor geeft je een aanbeveling.
• Vraag "Wat moet ik weten uit de gesprekken van deze week?" en je krijgt een overzicht van wat er is veranderd, welke agents daarvoor verantwoordelijk zijn en waar je eerst naar moet kijken.
• Een QA-lead kan vragen wat er opgelost moet worden voordat het volgende cohort loopt.
• Een builder kan vragen welke node in de flow de gespreksoverdrachten veroorzaakt.\

Wat doet Conductor met een AI QA-cohort?

AI QA beoordeelt live gesprekken op criteria die je team opstelt. Een cohort is een set van die gesprekken samen met de configuratie waarmee ze zijn beoordeeld. Conductor leest beide.

Open een cohort en vraag wat het heeft gevonden. Conductor geeft je een samenvatting in gewone taal met gerangschikte bevindingen en somt vervolgens op waar je daarna naar moet kijken.

Een QA-lead die dit handmatig doet, moet elk beoordeeld gesprek openen, lezen en goed genoeg onthouden om het met het volgende te vergelijken. Conductor gaat daarentegen het hele cohort door en rapporteert wat de laagscorende gesprekken gemeen hebben, zonder het cohort te wijzigen of iets opnieuw te beoordelen. De criteria schrijf en bewerk je zelf.

Kan Conductor je door een functie leiden die je nog nooit hebt geopend?

Conductor weet op welke pagina je bent. Vraag hoe je iets doet, bijvoorbeeld een AI-cohort opzetten, en het start een walkthrough met highlights die je stap voor stap de weg wijst.

Walkthroughs werken vanaf elke pagina. Vraag het vanuit Analytics en Conductor begint met de stappen die je naar AI QA brengen, en loopt daarna door de functie zelf.

Navigatiekaarten kunnen je naar een agent, een gefilterde gesprekslijst, een dashboard of een QA-cohort brengen zonder het gesprek te sluiten.

‍

De walkthrough loopt als een overlay op de live pagina zelf. Een QA-lead die AI QA voor het eerst opent, kijkt naar zijn eigen cohorten terwijl Conductor de juiste bedieningselementen aanwijst. Daardoor kan de QA-lead een nieuwe functie leren op de plek waar hij zijn werk doet.

‍

Een gesprek dat in Call History is begonnen, heeft nog steeds context over die gesprekken nadat je naar Analytics gaat. Je kunt op het ene scherm mislukte gesprekken selecteren en er op een ander scherm vragen over stellen, zonder ze opnieuw te hoeven selecteren.

‍

Hoe brengen builders een conversation flow in Conductor?

Een builder die in een conversation flow werkt, kan de nodes met multi-select selecteren en ze via Conductor binnenhalen om context toe te voegen. Door die nodes binnen te halen hoef je niet uit te schrijven wat dat deel van de graph doet. De vraag kan dan over de branch op het scherm gaan in plaats van over de agent als geheel.

‍

Er zijn verschillende manieren om context binnen te halen:

• Agents, kennisbanken en sets gesprekken koppelen zich aan het gesprek als chips die je kunt zien en verwijderen.
• Bestanden sleep je erin.
• Gemarkeerde dashboardtekst gaat op dezelfde manier mee.

Inline links in de antwoorden van Conductor verwijzen terug naar de individuele gesprekken, chats en nodes waarnaar het verwees. In een lang gesprek zijn die links de manier om te vinden welk gesprek werd bedoeld. Met Conductor is Everywhere staat alles wat je nodig hebt precies waar je het kunt vinden.

‍

Wat doet Conductor is Everywhere niet?

Conductor wijzigt productieagents niet op eigen initiatief. Het leest wat je hebt bijgevoegd en stelt een wijziging voor. Iemand in je team keurt die wijziging goed of wijst hem af.

Conductor doet ook het volgende niet:

• naar de kennisbank schrijven
• simulatietests genereren, tenzij je daar om vraagt
• werk inplannen

Deze release gaat over analyse, begeleiding en review. Continue verbetering is een richting voor het product op langere termijn.

Hoe past Conductor bij de rest van Retell?

• Analyse na het gesprek levert het overzicht per gesprek.
• AI QA beoordeelt cohorten van live gesprekken op criteria die je team bepaalt.
• De kennisbank bevat wat de agent mag zeggen.

Conductor is Everywhere leest alle drie vanaf de pagina waarop je bent begonnen, zonder exportstap tussendoor.

We bouwden de eerste versie van Conductor als copilot voor het bouwen van agents. Die schrijft de prompt, stelt stem en model in, regelt de interruptie-instellingen en zet een single-prompt-agent om in een conversation flow. Onze tweede versie leest gesprekken, legt uit waarom een metric is veranderd en rapporteert wat een QA-cohort heeft gevonden.

Open Conductor vanaf elke pagina in Retell. Begin gratis of praat met ons team over een uitrol binnen je agentteam. De resultaten van de vCX-Hard-benchmark bevatten de modeldata achter een aantal van de hierboven genoemde faalpatronen.

‍