Neu in Conductor: Observability für Sprachagenten auf jeder Seite

TL;DR: Conductor is Everywhere ist jetzt auf jeder Seite verfügbar, nicht nur auf der Agent-Seite. Es weiß, von welcher Seite aus Sie es geöffnet haben, und erreicht von dort weiterhin den Rest des Workspace. Stellen Sie eine Frage in natürlicher Sprache, und es setzt die Filter, liest die angehängten Inhalte und erklärt, was es gefunden hat. Es kann ein Analytics-Diagramm erstellen und die freigegebene Version auf einem Dashboard ablegen. Sie haben jetzt deutlich mehr Freiheit, innerhalb von Retell zu suchen und Fragen zu stellen.

‍

‍

Eine wichtige Führungskraft im Unternehmen fragt, warum die Quote „call successful“ in der vergangenen Woche gesunken ist. Die verfügbaren Analysen zeigen den Rückgang, liefern aber keinen wertvollen Kontext.

Um die dahinterliegenden Anrufe zu finden, gehen Sie so vor:

• Sie öffnen Call History und filtern auf die vergangene Woche.
• Sie suchen die Anrufe heraus, die ohne Lösung endeten.
• Sie lesen die Transkripte. Sie suchen nach dem Moment, in dem der Agent eine falsche Antwort gab, einen Anruf weiterleitete, den er selbst hätte bearbeiten sollen, oder eine notwendige Abfrage nie ausgeführt hat.
• Sie prüfen, was sich am Agenten geändert hat. Vielleicht hat jemand den Prompt bearbeitet oder eine Funktion läuft in einen Timeout.
• Sie öffnen zusätzlich AI QA. Die Bewertungen liegen dort auf einem separaten Bildschirm – für jeden dort bewerteten Anruf müssen Sie also auch diesen öffnen.

In den meisten Teams gibt es eine Person, die sich durch all das arbeiten kann, aber das bedeutet: Jede Frage zur Agentenleistung wartet auf diese Person.

Doch es gibt jetzt einen besseren Weg: Unser Conductor is Everywhere läuft ab sofort auf jeder Seite in Retell, nicht nur auf der Agentenseite. Er liest die Seite, die Sie geöffnet haben – der Agent, die Anrufliste oder das Diagramm vor Ihnen ist also bereits Teil der Konversation. Gedacht ist er für Builder, Operations-Teams, QA-Verantwortliche und alle, die Anrufe in großem Umfang prüfen.

Die Frage, mit der Nutzerinnen und Nutzer starten, kann eine ganz normale geschäftliche Frage sein. Für die Antwort muss niemand wissen, welcher Tab oder Filter der richtige ist.

Warum verändert sich eine Kennzahl eines Sprachagenten ohne Erklärung?

Die meisten Fehler eines Agenten enden in einem abgeschlossenen Anruf. Der Anrufer legt auf und das Transkript wird gespeichert. Ab da protokolliert die Plattform den Anruf als normal.

Der vCX-Hard-Benchmark von Retell AI hat 27 Modelle anhand der schwierigsten Gesprächszüge aus echten Contact-Center-Anrufen bewertet. Von den 1.514 Tool-Calling-Fällen im Datensatz gilt:

• 897 waren Aufrufe, die der Agent hätte ausführen sollen und übersprungen hat.
• Weitere 520 waren Aufrufe, nach denen niemand gefragt hatte.
• Nur zwei betrafen die Wahl des falschen Tools.

Nahezu jeder Fehler war eine Ermessensentscheidung darüber, wann ein Tool einzusetzen ist. Eine übersprungene Abfrage unterbricht den Anruf nicht. Der Agent spricht weiter und der Anrufer hört eine ganz normale Konversation, bis die Antwort kommt.

Prompt, Modell, Funktionsliste und Wissensdatenbank sind beim erfolgreichen und beim fehlgeschlagenen Anruf identisch. Es ist kein Fehler aufgetreten, also wurde auch kein Fehler protokolliert. Der einzige Nachweis der Entscheidung ist das Transkript des Anrufs, in dem der Agent sie getroffen hat.

Zur Budgetplanung wird vermutlich jemand fragen:

• wie viel Geschäft der Agent im letzten Quartal abgewickelt hat
• was er falsch gemacht hat
• was seitdem behoben wurde

Diese Antworten stammen typischerweise aus derselben manuellen Prüfung. Conductor is Everywhere führt Organisationen über diese manuellen Prozesse hinaus und ermöglicht es Nutzern, Probleme mit dem Agenten nahtlos zu untersuchen und vorgeschlagene Lösungen bereitzustellen.

Wie kommen Sie von der manuellen Prüfung zu skalierbarer operativer Effizienz?

Öffnen Sie Conductor in Analytics und fragen Sie, warum sich eine bestimmte Zahl verändert hat, etwa die Quote „call successful“. In Analytics müssen Sie nicht angeben, welches Dashboard Sie betrachten möchten. Dieselbe Frage lässt sich von jeder anderen Seite in Retell aus stellen.

Mit anderen Worten: Sie können „Warum ist meine Call-successful-Quote diesen Monat gesunken?“ eintippen und es dabei belassen.

Sie können außerdem eine Beschriftung im Dashboard markieren, und Conductor übernimmt sie als Teil der Frage. Conductor ruft die Daten hinter der Seite ab und erstellt ein Diagramm, das die Frage beantwortet, und erklärt zugleich, was das Diagramm zeigt. Geben Sie das Diagramm frei, landet es im Dashboard.

Auf diese Weise können Sie auch ein Dashboard komplett von Grund auf aufbauen. Beschreiben Sie die Ansicht, die Ihr Team braucht, geben Sie das von Conductor vorgeschlagene Diagramm frei und wiederholen Sie das, bis das Dashboard enthält, was die Beteiligten jede Woche prüfen. Niemand muss wissen, welche Felder als Aufschlüsselung dienen sollen.Die Beschreibung ist die Spezifikation.

Wie führen Sie mit Conductor is Everywhere eine Ursachenanalyse fehlgeschlagener Anrufe durch?

Sie können in Call History starten oder von dort fragen, wo Sie ohnehin gerade sind.

• Fragen Sie nach den Anrufen der vergangenen Woche, und Conductor setzt den Filter.
• Wählen Sie die fehlgeschlagenen aus und fragen Sie, was bei ihnen schiefgelaufen ist.
• Wählen Sie Anrufe, die bereits etwas gemeinsam haben, etwa alle Anrufe, die in einer Weiterleitung endeten.

Conductor liest diese Anrufe, nennt Ihnen dann die Gemeinsamkeiten und benennt die wahrscheinlichen Ursachen. Er empfiehlt außerdem einen nächsten Schritt.

Eine Navigationskarte öffnet den Agenten, der diese Anrufe bearbeitet hat, und die Anrufe bleiben an die Konversation angehängt. Sie können Prompt und Einstellungen des Agenten lesen, während die Belege für das Problem weiterhin vor Ihnen liegen.

Was mache ich mit dem, was Conductor findet?

Jeder der obigen Abschnitte endet damit, dass Nutzern etwas an die Hand gegeben wird, das sie als Nächstes tun können. Der Diagrammvorschlag, die Ursachenanalyse und die Kohortenzusammenfassung schließen jeweils mit einem empfohlenen Schritt ab, und eine Navigationskarte bringt Sie zum passenden Bildschirm, um ihn auszuführen. Fragen können zum Beispiel lauten:

• Fragen Sie „Was mache ich mit diesem Muster in der Call History?“ und Conductor gibt Ihnen eine Empfehlung.
• Fragen Sie „Was sollte ich aus den Anrufen dieser Woche wissen?“ und Sie erhalten einen Überblick darüber, was sich geändert hat, welche Agenten dafür verantwortlich sind und was Sie zuerst ansehen sollten.
• Eine QA-Verantwortliche kann fragen, was vor dem nächsten Kohortenlauf zu beheben ist.
• Ein Builder kann fragen, welcher Node im Flow die Weiterleitungen erzeugt.\

Was macht Conductor mit einer AI-QA-Kohorte?

AI QA bewertet Live-Anrufe anhand von Kriterien, die Ihr Team festlegt. Eine Kohorte ist eine Menge dieser Anrufe zusammen mit der Konfiguration, mit der sie bewertet wurden. Conductor liest beides.

Öffnen Sie eine Kohorte und fragen Sie, was Conductor gefunden hat. Sie erhalten eine Zusammenfassung in klarer Sprache mit priorisierten Befunden und anschließend eine Liste dessen, was Sie sich als Nächstes ansehen sollten.

Eine QA-Verantwortliche, die das manuell macht, muss jeden bewerteten Anruf öffnen, lesen und so gut im Kopf behalten, dass sie ihn mit dem nächsten vergleichen kann. Conductor hingegen geht die gesamte Kohorte durch und berichtet, was die schlecht bewerteten Anrufe gemeinsam haben, ohne die Kohorte zu verändern oder etwas neu zu bewerten. Die Kriterien schreiben und bearbeiten allein Sie.

Kann Conductor Sie durch eine Funktion führen, die Sie noch nie geöffnet haben?

Conductor weiß, auf welcher Seite Sie sich befinden. Fragen Sie ihn, wie etwas geht – zum Beispiel, wie Sie eine AI-Kohorte einrichten – und er startet eine hervorgehobene Schritt-für-Schritt-Führung, die der Reihe nach auf jeden Schritt zeigt.

Diese Führungen funktionieren von jeder Seite aus. Fragen Sie aus Analytics heraus, beginnt sie mit den Schritten, die Sie zu AI QA bringen, und führt dann durch die Funktion selbst.

Navigationskarten bringen Sie zu einem Agenten, einer gefilterten Anrufliste, einem Dashboard oder einer QA-Kohorte, ohne die Konversation zu schließen.

‍

Die Führung läuft als Overlay direkt auf der aktiven Seite. Eine QA-Verantwortliche, die AI QA zum ersten Mal öffnet, sieht dabei ihre eigenen Kohorten, während Conductor auf die passenden Bedienelemente zeigt. So lernt sie eine neue Funktion genau dort kennen, wo sie arbeitet.

‍

Eine Konversation, die in Call History begonnen hat, verfügt auch nach dem Wechsel zu Analytics weiterhin über den Kontext dieser Anrufe. Sie können auf einem Bildschirm fehlgeschlagene Anrufe auswählen und auf einem anderen dazu Fragen stellen, ohne sie erneut auswählen zu müssen.

‍

Wie bringen Builder einen Conversation Flow in Conductor ein?

Ein Builder, der in einem Conversation Flow arbeitet, kann mehrere Nodes gleichzeitig auswählen und sie über Conductor als Kontext einbinden. Das erspart es, auszuformulieren, was dieser Teil des Graphen tut. Die Frage kann sich dann auf den auf dem Bildschirm sichtbaren Branch beziehen statt auf den Agenten als Ganzes.

‍

Es gibt mehrere Wege, Kontext einzubringen:

• Agenten, Wissensdatenbanken und Anrufmengen werden als sichtbare und entfernbare Chips an die Konversation angehängt.
• Dateien ziehen Sie per Drag-and-drop hinein.
• Markierter Dashboard-Text wird auf dieselbe Weise übernommen.

Inline-Links in den Antworten von Conductor verweisen zurück auf die einzelnen Anrufe, Chats und Nodes, auf die er sich bezogen hat. In einer langen Konversation finden Sie über diese Links heraus, welcher Anruf gemeint war. Mit Conductor is Everywhere ist alles, was Sie brauchen, genau dort, wo Sie es finden.

‍

Was macht Conductor is Everywhere nicht?

Conductor ändert keine Produktivagenten eigenmächtig. Er liest, was Sie angehängt haben, und schlägt eine Änderung vor. Jemand aus Ihrem Team gibt diese Änderung frei oder lehnt sie ab.

Conductor wird außerdem nicht:

• in die Wissensdatenbank schreiben
• Simulationstests erzeugen, sofern nicht ausdrücklich darum gebeten
• Arbeiten terminieren

Dieses Release umfasst Analyse, Anleitung und Prüfung. Kontinuierliche Verbesserung ist eine längerfristige Ausrichtung des Produkts.

Wie fügt sich Conductor in den Rest von Retell ein?

• Die Post-Call-Analyse erzeugt den Datensatz pro Anruf.
• AI QA bewertet Kohorten von Live-Anrufen anhand der von Ihrem Team definierten Kriterien.
• Die Wissensdatenbank enthält, was der Agent sagen darf.

Conductor is Everywhere liest alle drei – von welcher Seite aus Sie auch gestartet sind, ganz ohne Export-Schritt dazwischen.

Wir haben die erste Version von Conductor als Copilot für den Aufbau von Agenten entwickelt. Sie schreibt den Prompt, legt Stimme und Modell fest, kümmert sich um die Einstellungen für Unterbrechungen und wandelt einen Single-Prompt-Agenten in einen Conversation Flow um. Unsere zweite Version liest Anrufe, erklärt, warum sich eine Kennzahl verändert hat, und berichtet, was eine QA-Kohorte ergeben hat.

Öffnen Sie Conductor von jeder Seite in Retell aus. Kostenlos starten oder sprechen Sie mit unserem Team über einen Rollout in Ihrem gesamten Agententeam. Die Ergebnisse des vCX-Hard-Benchmarks enthalten die Modelldaten hinter einigen der oben genannten Fehlermuster.

‍