Sprach-KI-Benchmark: Retell auf Platz 1 bei Medicare-Workflow-Genauigkeit

Ein neuer Sprach-KI-Benchmark nahm einen einzigen Medicare-Versicherungsagenten, setzte ihn ohne eine einzige Änderung auf sechs verschiedenen Plattformen ein und maß, welche davon den Workflow tatsächlich einhielt. Retell belegte den ersten Platz.

Der Test stammt von Cekura, einem unabhängigen Unternehmen, das Evaluierungs-Frameworks für Sprachagenten entwickelt. Das Medicare-Experiment umfasste insgesamt 414 Anrufe und bewertete jede Plattform danach, wie zuverlässig sie ein reguliertes Versicherungsgespräch bewältigte.

Retell führte das Feld mit 95,7 % Workflow-Genauigkeit an und bestand 22 der 23 Prüfungen. Alle anderen Plattformen lagen zwischen 65,2 % und 95,7 %, obwohl überall derselbe Agent lief.

Kurzfassung

• Cekura setzte einen byte-identischen Medicare-Agenten auf sechs Sprachplattformen ein und führte 414 Anrufe durch.

• Retell belegte Platz 1 mit 95,7 % Workflow-Genauigkeit und bestand 22 von 23 Evaluatoren.

• Die Ergebnisse im Feld reichten von 65,2 % bis 95,7 % — den Unterschied machte also die Plattform, nicht der Agent.

• Auch bei der strengen End-to-End-Bewertung, die Laufzeitfehler mitzählt, lag Retell mit erneut 95,7 % auf Platz 1.

• Bei einem regulierten Medicare-Anruf entscheidet diese Lücke darüber, ob eine Übergabe rechtskonform erfolgt oder abgebrochen bzw. nicht regelkonform verläuft.

Was Cekuras Sprach-KI-Benchmark geprüft hat

Cekura entwickelte einen einzigen Medicare-TPMO-Agenten und stellte eine byte-identische Kopie auf jeder der sechs Plattformen bereit. Gleicher Prompt, gleiche Tools, gleiche Stimme. Die einzige Variable war die Plattform darunter.

Ein TPMO ist eine Third-Party Marketing Organization, also die Art von lizenzierter Agentur, die Medicare-Advantage- und Part-D-Tarife verkauft. Diese Anrufe sind streng reguliert, der Agent muss also vieles richtig machen — und das in einer festen Reihenfolge.

Der Benchmark verwendete 23 Evaluatoren, von denen jeder auf einen Punkt zielt, an dem Versicherungsanrufe typischerweise scheitern. Sie verteilten sich auf vier Gruppen: Gesprächseröffnung und Einholen der Zustimmung, Ermittlung des tatsächlichen Anliegens, Qualifizierung und Erfassung des Leads sowie Einhaltung der Verbraucherschutzgrenzen.

Jeder Evaluator lief auf jeder Plattform dreimal, und eine Plattform erhielt nur dann einen Punkt, wenn alle drei Durchläufe bestanden wurden — ein Maß, das Cekura pass^3 nennt. 23 Evaluatoren, jeweils drei Durchläufe, auf sechs Plattformen ergeben genau die 414 Anrufe. Die Methodik und die Durchläufe pro Plattform finden Sie auf Cekuras Benchmark-Seite.

Die Ergebnisse: Retell auf Platz 1 mit 95,7 %

So schnitten die sechs Plattformen ab, sortiert nach Workflow-Genauigkeit:

Retell war die einzige Plattform, die bei der Workflow-Genauigkeit die 95-Prozent-Marke überschritt — und dieses Ergebnis hielt auch beim strengeren Maßstab, der unten erklärt wird.

Zwei Wege, Zuverlässigkeit zu messen

Cekura berichtete zwei Werte, denn ein Sprachagent kann auf zwei verschiedene Arten scheitern.

Workflow pass^3 fragt, ob der Agent die richtige Aktion gewählt und seine Tools korrekt aufgerufen hat. Dafür werden zwei Signale herangezogen, die Cekura Expected Outcome und Mock Tool Accuracy nennt.

Strenges End-to-End pass^3 stellt eine zweite Frage: Ist der Anrufer tatsächlich ans Ziel gekommen? Hier zählen auch Infrastrukturfehler mit, etwa wenn der Agent mitten im Anruf hängen bleibt und der Anrufer die Aufgabe nicht abschließen kann, obwohl die beabsichtigte Aktion richtig war.

Retell erreichte in beiden Kategorien 95,7 % und verlor durch Laufzeitprobleme also keinen Boden. Bei anderen Plattformen war das anders. Synthflow bestand 16 von 23 Evaluatoren bei der Workflow-Genauigkeit, aber nur 2 von 23 bei der strengen Bewertung, weil Anrufer während der Tool-Nutzung oft lange Stille erlebten, ohne jeden Hinweis darauf, dass der Agent noch arbeitete.

Warum Workflow-Genauigkeit bei Medicare-Anrufen zählt

Bei einem Medicare-Verkaufsgespräch beantwortet der Agent nicht einfach nur Fragen. Er muss den vorgeschriebenen Hinweis vorlesen, die Zustimmung einholen, bevor Tarife besprochen werden, individuelle Beratung vermeiden und den Anrufer zum richtigen Zeitpunkt an eine lizenzierte Person weiterleiten.

Diese Schritte sind durch bundesrechtliche TPMO-Vorgaben festgelegt, und einen davon auszulassen ist ein Compliance-Verstoß, keine Kleinigkeit.

Genau das prüften die 23 Evaluatoren. Ein Anrufer unterbricht den Pflichthinweis und verlangt Tarifdetails. Ein Familienmitglied ruft im Namen eines Versicherten an. Ein Anrufer verlangt vom Agenten die Zusage, dass ein Tarif sein Medikament abdeckt. Der richtige Schritt ist in jedem Fall genau definiert — und eine Plattform, die stockt oder improvisiert, lässt den Anrufer und zugleich die Compliance-Dokumentation im Stich.

Der Benchmark zeigt: Denselben Agenten zu betreiben, reicht nicht aus. Die Plattform darunter entscheidet, ob dieser Agent bei den risikoreichsten Anrufen standhält.

Wo Retell einzuordnen ist

Retell ist eine Plattform, um KI-Sprachagenten zu entwickeln, zu testen, bereitzustellen und zu überwachen — Agenten, die Anrufe tätigen und entgegennehmen. Der Benchmark belohnte zwei Dinge, auf die die Retell AI ausgelegt ist: einen mehrstufigen Workflow einzuhalten und Tools auch unter Druck korrekt aufzurufen.

• Betreute Weiterleitung an eine lizenzierte Person: Wenn ein Anrufer einen Menschen braucht, übergibt der Agent mit dem bereits gesammelten Kontext — per Anrufweiterleitung.

• Antworten aus einer Wissensdatenbank statt Beratung außerhalb des Skripts: Der Agent zieht sachliche Antworten aus einer angebundenen Wissensdatenbank und bleibt innerhalb dessen, was er sagen darf.

• Jeder Anruf wird im Nachgang geprüft: Teams nutzen die Post-Call-Analyse und die KI-Qualitätssicherung, um zu sehen, wo ein Ablauf gehalten hat und wo er ins Rutschen kam.

• Für regulierte Branchen gebaut: Die Retell AI betreibt Sprachagenten für Teams im Gesundheitswesen und in der Versicherung, wo die Reihenfolge der Schritte in einem Anruf nicht optional ist.

Dies ist ein unabhängiger Test zu einem einzigen Workflow, und die Ergebnisse variieren je nachdem, wie ein Agent aufgebaut und gepflegt wird. Dennoch: Bei einer anspruchsvollen, regulierten Aufgabe setzte sich Retell an die Spitze des Feldes.

Häufig gestellte Fragen

Was ist ein Sprach-KI-Benchmark?

Ein Sprach-KI-Benchmark ist ein kontrollierter Test, der dieselbe Aufgabe auf verschiedenen Sprachagenten-Plattformen ausführt und bewertet, wie gut jede damit umgeht. Cekuras Variante nutzt wiederholte Anrufe und feste Evaluatoren, damit der Vergleich fair bleibt.

Wer hat diesen Benchmark durchgeführt?

Cekura, ein unabhängiges Unternehmen, das Evaluierungswerkzeuge für Sprachagenten entwickelt. Retell hat den Test weder durchgeführt noch sich selbst bewertet.

Was bedeutet pass^3?

Eine Plattform musste einen Evaluator in drei separaten Durchläufen bestehen, um dafür einen Punkt zu erhalten. Ein einzelner Glückstreffer zählt nicht — damit misst der Wert Konsistenz statt eines einzelnen guten Anrufs.

Lief auf allen Plattformen derselbe Agent?

Ja. Cekura stellte einen byte-identischen Medicare-Agenten auf allen sechs Plattformen bereit, mit demselben Prompt, denselben Tools und derselben Stimme. Jeder Unterschied im Ergebnis geht also auf die Plattform zurück, nicht auf den Agenten.

Wo kann ich die vollständigen Ergebnisse einsehen?

Cekura veröffentlicht die Durchläufe pro Plattform und die vollständige Methodik auf seiner Benchmark-Seite, einschließlich einer Aufschlüsselung jedes einzelnen Evaluators im Medicare-Experiment.

Entwickeln Sie einen Sprachagenten, der auch bei schwierigen Anrufen standhält.

Mit Retell entwickeln, testen und starten Sie einen KI-Sprachagenten und beobachten anschließend, wie er bei jedem Anruf abschneidet. Retell kostenlos testen oder Vertrieb kontaktieren.