Die Kaufkriterien für Sprach-KI haben sich verschoben: Von natürlicher Sprache zu schneller, sicherer Iteration

Bewertungskriterien für Sprach-KI sind die Tests, mit denen Käufer entscheiden, ob eine Plattform für Sprachagenten auf den eigenen Telefonleitungen standhält. Früher war natürlich klingende Sprache der entscheidende Test. Heute ist sie die Eintrittshürde. Sobald jeder Anbieter auf der Shortlist am Telefon gut klingt, lautet die entscheidende Frage, wie schnell Ihr Team den Agenten ändern kann – und wie sicher.

In Kaufgesprächen zeigt sich ein Muster. Die erste Bewertungsrunde vergleicht Stimmen, Latenz und Unterbrechungen. Die zweite fragt, was an Tag 40 passiert, wenn sich eine Richtlinie ändert, eine Outbound-Kampagne ein neues Skript braucht oder ein neueres Modell erscheint. Ein Anbieter, der diese Fragen nicht mit einer Live-Demo des Änderungsprozesses beantworten kann, verkauft Ihnen den Launch und überlässt den Betrieb Ihnen.

Die Retell AI veröffentlicht diesen Leitfaden und vertreibt eine Plattform für Sprachagenten. Die Fragen funktionieren für jeden Anbieter, auch für uns, und wir sagen, wo unsere eigenen dokumentierten Antworten Grenzen haben.

Warum reicht natürliche Sprache nicht mehr aus, um einen Anbieter auszuwählen?

Weil die Sprachqualität über die erste Woche im Leben eines Agenten entscheidet und Änderungen über den Rest. Sie müssen weiterhin prüfen, ob der Agent bei Ihren Anrufen richtig klingt: wie Sie eine Plattform für Sprachagenten vor dem Go-live bewerten behandelt Latenz, Unterbrechungen, Transkription und Weiterleitungen in einem Pilotprojekt. Doch ein Sprachagent ist nie fertig. Anrufer formulieren Dinge, die Ihre Skripte nicht vorhergesehen haben, Preise und Richtlinien ändern sich, und neue Anrufarten kommen hinzu.

Jede dieser Änderungen ist ein Produktions-Release auf einer Telefonleitung, bei dem ein fehlerhafter Satz einen echten Anrufer erreicht, bevor jemand das Transkript liest. Deshalb hat die Messlatte zwei Teile, Geschwindigkeit und Sicherheit, und deshalb sollten Sie beide bewerten.

Softwareteams messen Delivery bereits auf diese Weise. DORA, ein von Google Cloud betriebenes Forschungsprogramm, unterteilt die Software-Delivery-Performance in Durchsatz und Instabilität: wie schnell Änderungen in die Produktion gelangen und wie oft sie einen Rollback oder Hotfix erfordern. DORA berichtet, dass „Geschwindigkeit und Stabilität keine Zielkonflikte sind“ und dass die Kennzahlen bei den meisten Teams korrelieren. Ein Anbieter sollte Sie nicht zwingen, zwischen schneller und sicherer Änderung des Agenten zu wählen.

Bei welchen Änderungen sollten Sie einen Anbieter bewerten?

Bewerten Sie die Änderungen, die Sie tatsächlich vornehmen werden, nicht eine generische Bewertung der „Benutzerfreundlichkeit“. Jede Art von Änderung birgt ein anderes Risiko, fragen Sie also zu jeder einzeln nach.

Der Rest dieses Leitfadens macht aus dieser Tabelle Fragen. Für den praktischen Release-Prozess nach der Plattformwahl lesen Sie wie Sie Änderungen an Sprachagenten testen und veröffentlichen.

Was sollten Sie zur Iterationsgeschwindigkeit fragen?

Fragen Sie, wer eine Änderung vornehmen kann und wie lange ein echter Fix dauert – und lassen Sie es sich vom Anbieter zeigen.

• Wer in unserem Team kann den Agenten ändern, und braucht diese Person dafür einen Entwickler? Die Antwort sollte eine Rolle auf Ihrer Seite nennen, nicht das Serviceteam des Anbieters. Die Zugriffskontrolle von Retell trennt Rollen, die Agenten erstellen, testen und bearbeiten können, von einer schreibgeschützten Member-Rolle.
• Wie lange dauert es von einem fehlgeschlagenen Anruf bis zum Fix in Live-Anrufen? Akzeptieren Sie keine Schätzung. Wählen Sie einen fehlgeschlagenen Pilotanruf, idealerweise einen mit einem bekannten Fehlermuster von Sprachagenten, und lassen Sie Ihren eigenen Verantwortlichen ihn beheben, prüfen und veröffentlichen, während Sie zusehen.
• Können wir mehrere Fixes gleichzeitig ausprobieren? Mit den Agentenversionen von Retell können Sie aus jeder früheren Version einen Entwurf erstellen und mehrere Entwürfe parallel führen, um unterschiedliche Ansätze zu testen.
• Kann ein fehlgeschlagener Anruf zu einem Testfall werden, ohne dass man ihn von Hand schreibt? Bei Retell kann Conductor einen Anruf aus der Call History oder aus AI QA in einen Simulationstestfall umwandeln und dabei Persona und Erfolgskriterien entwerfen. Die Dokumentation weist darauf hin, dass Sie jeden Fall trotzdem prüfen und jede Funktion mocken sollten, die einen Live-Endpoint erreicht.
• Kann die Regressionssuite aus unserer eigenen Pipeline laufen? Die Batch-Test-API von Retell startet einen Batch und liefert bei Abfrage die Anzahl der bestandenen, fehlgeschlagenen und fehlerhaften Tests, sodass ein CI-Job die Ergebnisse vor dem Bereitstellen prüfen kann.
• Bedeutet ein Modellwechsel ein Umschreiben? Für Single- und Multi-Prompt-Agenten heißt es in der Dokumentation von Retell, dass Sie später das Modell wechseln können, ohne Ihren Prompt umzuschreiben.
• Was kostet Iteration? Bei Retell werden Tests zu Produktionstarifen abgerechnet, pro Nachricht bei Texttests und pro Minute bei Web- und Telefontests. Planen Sie dafür Budget ein, denn eine Suite, deren erneute Ausführung Sie sich nicht leisten können, wird auch nicht erneut ausgeführt.

Was sollten Sie zur Iterationssicherheit fragen?

Fragen Sie, wie eine Änderung vor dem Release eingegrenzt wird, wie sie nach dem Release ausgerollt wird und wie schnell sie sich rückgängig machen lässt.

• Ist jede Änderung eine feste Version, zu der Sie zurückkehren können? Bei Retell wird ein Entwurf einer Agentenversion durch das Veröffentlichen schreibgeschützt und liefert Ihnen so „eine feste Konfiguration, zu der Sie später zurückkehren können“. Das Konzept wird unter Prompt-Versionierung erklärt.
• Können wir genau sehen, was sich geändert hat? Der Versionsvergleich von Retell zeigt zwei Versionen nebeneinander, mit Diffs auf Wortebene für lange Prompt-Texte sowie Änderungen an verknüpften Wissensdatenbanken und Funktionen.
• Kann eine Änderung zuerst einige wenige Anrufer erreichen, bevor sie alle erreicht? Das SRE-Workbook von Google definiert Canarying als „ein partielles und zeitlich begrenztes Deployment einer Änderung in einem Service und deren Evaluierung“. Bei Retell verteilt A/B-Testing den eingehenden oder ausgehenden Traffic einer Nummer prozentual auf Agenten. Jeder Agent startet außerdem mit den Umgebungs-Tags prod und staging, sodass Sie staging auf eine neue Version richten und diese zuerst über eine Testnummer anrufen können.
• Wie führen wir einen Rollback durch, und folgt jede Nummer? Bei Retell verschieben Sie den prod-Tag zurück auf die vorherige Version, und die Nummern am Tag folgen ihm. Nummern, die direkt einer Version zugewiesen sind, bleiben auf dieser Version. Fragen Sie also, wie Sie prüfen können, welche Nummern den Tag verwenden.
• Woran erkennen wir, dass eine Änderung etwas verschlechtert hat? Das Analytics-Dashboard von Retell schlüsselt Kennzahlen nach Agentenversion auf, Alert-Regeln lassen sich auf Umgebungs-Tags beschränken und mit dem letzten Zyklus vergleichen, und AI QA bewertet eine Stichprobe von Anrufen auf Probleme wie Halluzinationen.

Stellen Sie dann die Frage, die die meisten Bewertungen auslassen: Welche Änderungen umgehen den Release-Pfad? Jede Plattform hat solche. Ein Anbieter, der seine eigenen benennt, lässt sich sicherer betreiben als einer, der behauptet, es gebe keine. Hier sind die von Retell, laut Dokumentation:

• Gemeinsam genutzte Subflows. Ein Library-Subflow wird von mehreren Agenten gemeinsam genutzt, und eine Bearbeitung erreicht jeden Agenten, der ihn verwendet – einschließlich veröffentlichter Versionen. Laut Dokumentation sollten Sie ihn vor dem Veröffentlichen in einen lokalen Subflow umwandeln, wenn Sie das verhindern möchten.
• Automatisch aktualisiertes Wissen. Bei aktivierter automatischer Aktualisierung ruft eine Wissensdatenbank ihre URL-Quellen alle 24 Stunden erneut ab und synchronisiert geänderte verbundene Dateien, sodass eine Bearbeitung einer Quellseite die Antworten bei der nächsten Aktualisierung erreichen kann statt über eine neue Agentenversion.
• Kampagnen, die auf den neuesten Entwurf eingestellt sind. Ein Kampagnenschritt kann eine feste Version, die neueste veröffentlichte Version, einen Tag oder die zuletzt erstellte Version verwenden. Die Dialer-Dokumentation warnt vor Latest Created, weil ein Entwurf, den Sie noch bearbeiten, beim nächsten Wählvorgang Live-Anrufe erreicht.

Brauchen Outbound-Kampagnen und Modellwechsel andere Fragen?

Ja, denn beide verändern Live-Anrufe auf eine Weise, wie es eine Prompt-Bearbeitung nicht tut.

Kampagnen. Eine laufende Outbound-Kampagne besteht aus vielen künftigen Anrufen, die für einen Agenten in der Warteschlange stehen. Fragen Sie, welche Version jeder Wählvorgang verwendet und was Sie ändern können, sobald die Kampagne läuft. Der Dialer von Retell ermittelt die Agentenversion bei jedem Wählvorgang, nicht beim Start. Eine feste Version hält den Agenten also für die gesamte Kampagne stabil, während Latest Published veröffentlichte Änderungen einfließen lässt. Sequenz und Kontaktliste werden beim Start gesperrt; um sie zu ändern, müssen Sie die Kampagne duplizieren. Eine Pause stoppt neue Wählvorgänge innerhalb von etwa einer Minute, während bereits getätigte Anrufe zu Ende laufen.

Modelle. Ein Modellwechsel kann Formulierungen, Tool-Aufrufe und Timing gleichzeitig verändern. Fragen Sie, ob dieselbe Testsuite auf dem alten und dem neuen Modell laufen kann und ob Sie ein schnelles Backup-Modell betreiben können. Für Sprachagenten auf von Retell verwalteten Modellen bieten die LLM-Einstellungen von Retell ein schnelles Fallback-Modell, das parallel zum primären Modell läuft. Laut Dokumentation sollten Sie vor dem Bereitstellen prüfen, ob beide Modelle die Anweisungen befolgen und Tools korrekt aufrufen. Außerdem sollten Sie Anweisungen und Tool-Aufrufe nach einer Änderung der Temperatur erneut testen.

Wie bewerten Sie Anbieter nach schneller, sicherer Iteration?

Führen Sie während des Pilotprojekts auf jeder Plattform der Shortlist dieselben vier Übungen durch – mit der Person, die den Agenten künftig verantworten wird – und stoppen Sie bei jeder die Zeit.

Bewerten Sie Geschwindigkeit und Sicherheit getrennt, jeweils auf einer Skala von eins bis fünf, und lassen Sie nicht zu, dass eine hohe Punktzahl in einem Bereich eine niedrige im anderen verdeckt. Eine Plattform, auf der Fixes in einer Stunde live gehen, sich aber nicht zurückrollen lassen, fällt durch. Ebenso eine, bei der jede Änderung sicher ist, aber ein Ticket beim Anbieter erfordert. DORAs eigener Rat, um beides gleichzeitig zu verbessern, lautet, jede Änderung klein zu halten: „Kleinere Änderungen lassen sich bei einem Fehler auch leichter wiederherstellen.“

Zwei weitere Seiten behandeln angrenzende Entscheidungen. Ob Sie selbst entwickeln, kaufen oder einen Managed Service nutzen, entscheidet darüber, wer diese Übungen überhaupt durchführt; siehe Build vs. Buy bei KI-Sprachagenten. Die wirtschaftliche Begründung für das Programm finden Sie im Beitrag Der ROI von KI-Sprachagenten. Diese Scorecard setzt voraus, dass beides geklärt ist, und fragt nur, ob Ihr Team den Agenten kontinuierlich verbessern kann. Welche Anrufe Sie zuerst automatisieren, ist eine eigene Entscheidung, die in wie Sie Anwendungsfälle für Sprach-KI auswählen behandelt wird.

Häufig gestellte Fragen

Was sind die wichtigsten Kriterien bei der Bewertung einer Sprach-KI-Plattform?

Prüfen Sie zuerst, ob sie Ihren Workflow bei Ihren eigenen Anrufen vollständig abwickelt, zu Ihren Telefon- und Datensystemen passt und natürlich klingt. Sobald die Anbieter auf der Shortlist das erfüllen, ist Iteration das Kriterium, das sie unterscheidet: wie schnell Ihr Team Prompts, Wissen, Abläufe, Kampagnen und Modelle ändern kann und wie sicher diese Änderungen echte Anrufer erreichen.

Wie testen Sie, wie schnell ein Anbieter Ihnen das Ändern eines Sprachagenten ermöglicht?

Wählen Sie einen fehlgeschlagenen Anruf aus dem Pilotprojekt und bitten Sie die Person, die den Agenten verantworten wird, ihn zu beheben, zu prüfen, auf einer Testnummer zu veröffentlichen und zurückzurollen, während Sie die Zeit stoppen. Wiederholen Sie das mit einer Wissensänderung und einem Modellwechsel in einem Entwurf. Eine aufgezeichnete Demo durch die Mitarbeitenden des Anbieters zählt nicht.

Was macht eine Änderung an einem Sprachagenten sicher?

Eine sichere Änderung ist eine feste Version mit sichtbarem Diff, besteht vor dem Release eine gespeicherte Testsuite, erreicht zuerst einen kleinen Teil der Anrufe und lässt sich in einem Schritt zurückrollen. Sie müssen außerdem wissen, welche Änderungen diesen Pfad umgehen, etwa gemeinsam genutzte Komponenten oder automatisch aktualisiertes Wissen.

Wer sollte die Iterationsübungen während eines Pilotprojekts durchführen?

Die Person, die den Agenten nach dem Launch verantworten wird, nicht das Team des Anbieters. Manche Teams übertragen diese Aufgabe einem CX Automation Engineer, dem internen Verantwortlichen, der schlecht abgewickelte Anrufe findet, Fixes entwickelt, sie prüft und bereitstellt.

Können Sie das Sprachmodell hinter einem Sprachagenten wechseln, ohne ihn neu aufzubauen?

Viele Plattformen erlauben das, aber Sie sollten nicht blind wechseln. Führen Sie dieselbe Testsuite auf beiden Modellen aus, vergleichen Sie die Ergebnisse und geben Sie das neue Modell zuerst für einen Teil der Anrufe frei. Für die Single- und Multi-Prompt-Agenten von Retell heißt es in der Dokumentation, dass Sie später das Modell wechseln können, ohne Ihren Prompt umzuschreiben. Außerdem sollten Sie laut Dokumentation prüfen, ob ein Fallback-Modell Ihre Anweisungen befolgt, und Tool-Aufrufe nach einer Änderung der Temperatur erneut testen.

Nehmen Sie Iteration in Ihre Bewertungs-Scorecard auf

Die Kaufkriterien für Sprach-KI haben sich von „Klingt es menschlich?“ zu „Können wir es schnell ändern, ohne Anrufe zu beeinträchtigen?“ verschoben. Die Retell AI ist eine Plattform für KI-Sprachagenten für Contact Center – mit Entwurfsversionen, Versionsvergleich, Umgebungs-Tags, Simulations- und Batch-Tests, A/B-Traffic-Aufteilung und AI QA –, sodass die Person, die den Agenten verantwortet, eine Änderung testen, veröffentlichen und zurückrollen kann, ohne auf einen Anbieter zu warten. Die Preise basieren auf nutzungsbasierter Abrechnung ab 0,07 $ pro Minute, siehe Preisseite. Bringen Sie Ihre schwierigste Änderung in das Pilotprojekt mit und stoppen Sie die Zeit.