vCX-Hard: Benchmarking führender KI-Modelle bei echten Contact-Center-Anrufen

Wir stellen vCX-Hard vor, einen Retell-Benchmark, der führende Modelle bei echten Contact-Center-Anrufen einstuft und dabei zwei Fähigkeiten misst, die darüber entscheiden, ob ein Sprachagent erfolgreich ist: bei der Wahrheit zu bleiben und die richtige Aktion auszuführen. Aufgebaut auf proprietären Anrufdaten aus der Produktion, bewertet vCX-Hard die Modellleistung dort, wo es am meisten zählt. Selbst das beste Modell schafft heute nur etwa 88 % bei den schwierigsten Gesprächsmomenten, und genau deshalb ist die Modellwahl entscheidend.

Warum wir dies entwickelt haben

Kunden stellen uns eine Frage häufiger als jede andere: Welches Modell sollte ich für meinen Sprachagenten verwenden? Lange Zeit war die ehrliche interne Antwort ein Name und ein Achselzucken. Für eine Plattform, die Millionen echter Kundenanrufe abwickelt, ist das nicht gut genug.

Ein Callcenter-Agent steht und fällt mit zwei Fähigkeiten, und nur diesen beiden:

• Bei der Wahrheit bleiben. Auf Basis der tatsächlichen Richtlinien und des Wissens des Unternehmens antworten. Niemals eine Gebühr, eine Regel oder ein Versprechen erfinden.
• Korrekt handeln. Das richtige Tool mit den richtigen Argumenten zum richtigen Zeitpunkt aufrufen. Keinen notwendigen Schritt überspringen und keine Aktion ausführen, um die niemand gebeten hat.

Öffentliche Benchmarks testen selten beides zugleich und fast nie unter den Bedingungen eines echten Telefonanrufs. Die Daten, die das könnten, sind schwer zu bekommen. Die eigenen Anrufprotokolle eines einzelnen Unternehmens sind nicht vielfältig genug, um Modelle mit Zuversicht einzustufen. Retell verfügt über echten, vielfältigen Produktionsverkehr aus vielen Branchen und Bereitstellungen, in einem Volumen, das nötig ist, um ein Modell vom anderen zu unterscheiden. Das ist die eine Zutat, die ein vertrauenswürdiger Callcenter-Benchmark braucht, und es ist die eine, die die meisten Teams nicht zusammentragen können.

Wir stellen vCX-Hard vor

Der Name sagt, worum es geht. Das kleine v steht für voice (Stimme). CX ist Customer Experience, die alltägliche Arbeit eines Callcenter-Agenten. Hard ist die Methode: Wir bewerten nur die schwierigsten Gesprächsmomente aus echtem Produktionsverkehr, die Momente, in denen Modelle tatsächlich auseinandergehen. Über die gesamte Verteilung der Produktionsanrufe schaffen die meisten Frontier-Modelle bereits 90 Prozent, was Ihnen nichts Nützliches sagt. Der schwierige Ausschnitt ist es, wo ein Benchmark seinen Wert beweist.

Jeder Fall stammt aus echten Produktionsanrufen, nicht von Hand geschrieben oder synthetisch erzeugt. Wir bewerten Modelle anhand der beiden Achsen, die über einen Anruf entscheiden:

• Non-Hallucination-Rate. Wie zuverlässig der Agent bei der Wahrheit bleibt und sich weigert, Dinge zu erfinden.
• Tool-Call-Korrektheitsrate. Wie zuverlässig der Agent die richtigen Aktionen auswählt und ausführt.

Wir haben 50 Konfigurationen über 27 Modelle hinweg ausgewertet. Da Sprachagenten in der Produktion mit ausgeschaltetem Reasoning laufen, um die Latenz gering zu halten, berichten wir durchgängig zwei Sichtweisen: Produktion (Reasoning aus, was bei Live-Anrufen läuft) und Best (mittleres Reasoning, eine Obergrenze dafür, wie viel Reasoning bringen würde). GPT-5.5 führt in beiden und erreicht 84,8 Prozent Non-Hallucination in der Produktion und 88,0 Prozent im besten Fall. Kein Modell ist auch nur annähernd gelöst, was genau der Punkt ist.

Wie wir den Datensatz aufgebaut haben

Wir haben Produktions-Anrufverkehr zwischen dem 6. Februar und dem 1. Mai 2026 in 30-Minuten-Fenstern etwa alle 15 Tage gesampelt, gezogen aus Organisationen mit mehr als 1.000 Anrufen in den vorangegangenen drei Monaten. Entscheidend ist, dass wir auf Organisationsebene gesampelt haben, sodass einige wenige Organisationen mit hohem Volumen den Satz nicht dominieren. Das ist es, was die Verteilung breit über reale Bereitstellungen hält, anstatt sie zu einem einzelnen Kunden hin zu verzerren.

Aus diesem Verkehr haben wir zwei Sätze schwieriger Fälle kuratiert: einen Halluzinationssatz von 2.075 Fällen und einen Tool-Calling-Satz von 1.514 Fällen. Jeder Fall wird durch eine mehrstufige Pipeline gewonnen. Leichtgewichtige Vorklassifizierer markieren Kandidaten-Gesprächsmomente (numerische Aussagen, Momente vor einer Weiterleitung, Tool-Fehler, wiederholte oder fehlende Aufrufe), ein LLM-Klassifizierer bestätigt dann, ob ein echter Fehler aufgetreten ist, und kennzeichnet dessen Kategorie und Schweregrad, ein zweiter Durchgang überprüft den konkreten Gesprächsmoment erneut, und schließlich wird eine korrekte Referenzlösung für die Bewertung erzeugt.

Die Fehlertaxonomie selbst ist aufschlussreich. Auf der Halluzinationsseite ist das vorherrschende Problem nicht exotisch. Agenten erfinden oder geben Richtlinien weit häufiger falsch wieder als alles andere.

‍

Tool-Calling-Fehler gruppieren sich ebenso eng. Von 1.514 Fällen sind die zwei größten Kategorien das Auslassen eines notwendigen Aufrufs (897) und das Auslösen eines unnötigen (520). Die Auswahl des falschen Tools ist nahezu nicht vorhanden (2 Fälle). Mit anderen Worten: Modelle wählen selten das falsche Tool. Sie scheitern am Urteilsvermögen: zu wissen, wann sie handeln und wann sie sich zurückhalten sollten.

Wie wir bewerten

Die Bewertung nutzt einen LLM-Rat: ein Gremium führender Frontier-Modelle, das jeden Fall anhand eines beschreibenden Bewertungsrasters und einer erzeugten Referenzlösung bewertet. Mehrere starke Bewerter statt eines einzigen zu verwenden, bewahrt die Auswertung davor, die blinden Flecken eines einzelnen Modells zu erben, und Meinungsverschiedenheiten werden innerhalb des Gremiums beigelegt.

Da sich absolute Werte mit dem Bewertungsraster und den Bewertern verschieben, behandeln wir die Rangfolge, nicht die exakte Zahl, als das Signal.

Warum wir die schwierigsten Gesprächsmomente bewerten

Der Spitzenwert liegt bei etwa 88 Prozent, und das ist beabsichtigt. Würden wir über die gesamte Produktionsverteilung bewerten, läge fast jedes Frontier-Modell über 90 Prozent, und das Leaderboard würde Ihnen nichts sagen. Einfache Anrufe sind für alle einfach.

Daher ist vCX-Hard aus den schwierigsten Gesprächsmomenten aufgebaut, den Momenten, in denen Modelle tatsächlich auseinandergehen. So funktioniert jeder ernsthafte Benchmark. Ein Mathematik-Benchmark verwendet Wettbewerbsaufgaben, nicht die Arithmetik, die ein typischer Nutzer eintippt. Das Ziel ist keine schmeichelhafte Zahl. Das Ziel ist eine Zahl, die Sie über Modelle hinweg vergleichen können, und im Zeitverlauf, wenn neue Modelle erscheinen.

Ergebnisse

Wir zeigen jedes Leaderboard auf zwei Arten: Produktion, mit ausgeschaltetem Reasoning, was bei Live-Anrufen läuft, und Best, jedes Modell in seiner stärksten Reasoning-Einstellung, was die Obergrenze zeigt. Bei der Non-Hallucination führt GPT-5.5 in beiden. In der Produktion liegen die GPT-5-Reihe und gemini-3.1-pro an der Spitze; das Einschalten von Reasoning hebt dieselben Namen um einige Punkte an und mischt das Verfolgerfeld dahinter neu.

‍

Die Tool-Call-Korrektheit ist der Punkt, an dem die beiden Sichtweisen am stärksten auseinandergehen. Mit eingeschaltetem Reasoning führt GPT-5.5. Doch in der Produktion, wo es tatsächlich läuft, fällt das Tool-Calling von GPT-5.5 von 88,3 auf 75,6 Prozent, und gemini-3.1-pro wird mit deutlichem Abstand zum besten Tool-Caller und hält 85,7 Prozent bei ausgeschaltetem Reasoning. Wenn Ihr Agent mit ausgeschaltetem Reasoning läuft, ist das stärkste Modell nicht dasselbe.

‍

Drei Muster stechen über den gesamten Satz hinweg hervor.

1. Reasoning ist der Unterschied zwischen den beiden Sichtweisen. Das Einschalten von Reasoning hebt die Werte bei nahezu jedem Modell an, im Durchschnitt um etwa 5 Punkte bei der Non-Hallucination. GPT-5.5 klettert von 84,8 auf 88,0 Prozent, sobald es nachdenkt, bevor es spricht. Der Preis ist Latenz, weshalb die meisten Agenten in der Produktion es ausgeschaltet lassen, und weshalb die Produktionssicht diejenige ist, mit der man planen sollte.

‍

2. Bei der Wahrheit bleiben und handeln sind unterschiedliche Fähigkeiten. Die beiden Achsen ordnen sich nicht gleich. Ein Modell, das beim Bei-der-Wahrheit-Bleiben stark ist, kann beim Tool-Calling mittelmäßig sein und umgekehrt. GPT-5.4 rangiert beim Bei-der-Wahrheit-Bleiben nahe der Spitze, aber beim Tool-Calling außerhalb der Top Ten, während claude-4.5-sonnet das Gegenteil ist. Die Wahl eines Modells ist eigentlich eine Frage danach, welchen Fehler Ihre Kunden am wenigsten verkraften können.

3. Kein Modell ist schon sicher. Selbst im besten Fall verfehlt der Spitzenreiter noch etwa einen von acht der schwierigsten Gesprächsmomente auf jeder Achse, und in der Produktion verfehlt er mehr. Die Lücke zwischen einem Benchmark-Wert und einer Bereitstellung, der Sie vertrauen können, ist genau die Arbeit, die die Plattform zusätzlich zum Modell leistet.

Über die Modellgenerationen hinweg betrachtet bewegt sich die Frontier in die richtige Richtung. Von GPT-4o zu GPT-5.5 stieg die Non-Hallucination von 72,8 auf 88,0 Prozent, wobei sich das Tool-Calling auf einer ähnlichen Kurve verbesserte.

Vollständiges Leaderboard

Produktion (Reasoning aus, was live läuft) und Best (stärkste Reasoning-Einstellung) für jedes Modell, sortiert nach Produktions-Non-Hallucination. Höher ist besser.

‍

Prod ist jedes Modell mit ausgeschaltetem Reasoning oder seiner niedrigsten verfügbaren Einstellung. Best ist seine stärkste Reasoning-Einstellung. Modelle mit übereinstimmenden Spalten (gpt-4o, gpt-4.1, kimi-k2.6, o4-mini, o3-mini) wurden mit einer einzigen Einstellung ausgewertet.

‍

Von den Erkenntnissen zur Produktion

Ein Benchmark ist nur dann nützlich, wenn er verändert, wie Sie bauen. Die Lücken, die vCX-Hard aufdeckt, bilden sich direkt auf Funktionen der Retell-Plattform ab, sodass Sie sie nicht selbst entwickeln müssen.

• Per-Node-LLM: kein Modell gewinnt überall. Bei der Wahrheit bleiben und handeln sind unterschiedliche Fähigkeiten, und das beste Modell für einen schwierigen Gesprächsmoment ist bei einem einfachen überdimensioniert. Per-Node-LLM ermöglicht es Ihnen, jeden Schritt eines Gesprächs an das richtige Modell zu leiten: Ihr stärkstes Modell bei den schwierigsten Gesprächsmomenten mit höchstem Einsatz, ein schnelleres und günstigeres bei Begrüßungen und Bestätigungen. Sie zahlen nur dort für erstklassige Genauigkeit, wo es darauf ankommt.‍
• Talk while waiting: Tool-Aufrufe brauchen Zeit. Wenn ein Agent mitten im Anruf eine API ansprechen oder etwas nachschlagen muss, kann dieser Hin- und Rückweg tote Stille auf der Leitung hinterlassen. Talk while waiting hält den Anrufer mit natürlicher Sprache eingebunden, während der Tool-Aufruf läuft, sodass sich die Pause nie wie ein Abreißen der Leitung anfühlt.‍
• Wissensdatenbank-Grounding: der häufigste Fehler überhaupt. Das Erfinden von Richtlinien und falsche Zitate aus der Wissensdatenbank sind die zwei größten Halluzinationskategorien im Benchmark. Den Agenten in Ihrer eigenen Wissensdatenbank zu verankern, hält die Antworten an Ihre tatsächlichen Richtlinien gebunden, statt an die beste Vermutung des Modells.‍
• Simulationstests: die Fälle, die dieser Benchmark nicht sehen kann. vCX-Hard läuft auf unserem Produktionsverkehr. Ihre schwierigsten Anrufe sind Ihre eigenen. Simulationstests ermöglichen es Ihnen, dieselbe Art von Auswertung auf Ihre Szenarien anzuwenden, sodass Sie ein Modell anhand der Anrufe auswählen und feinabstimmen können, die Sie tatsächlich erhalten.‍
• AI QA: der Benchmark bewertet Modelle, AI QA bewertet Ihre Anrufe. vCX-Hard läuft auf einem festen Satz; Ihre Produktion ändert sich ständig. AI QA bewertet kontinuierlich eine Stichprobe Ihrer Live-Anrufe anhand derselben Achsen, die hier wichtig sind, Halluzination, Wissensdatenbank-Recall und Tool-Call-Genauigkeit, sowie anhand benutzerdefinierter Metriken, die Sie dafür definieren, was als guter Anruf zählt.

Die Modellwahl ist Schritt eins. Die Plattform rund um das Modell ist es, die einen Benchmark-Wert in eine Bereitstellung verwandelt, der Sie vertrauen können.

Grenzen und was als Nächstes kommt

vCX-Hard ist eine frühe Version und hat echte Grenzen. Die Bewertung beruht auf einem LLM-Bewertergremium, das seine eigenen Verzerrungen mitbringt. Die Fälle werden nach Schwierigkeit ausgewählt, sodass die Werte die schwierigsten Gesprächsmomente widerspiegeln und nicht die durchschnittliche Anrufqualität. Und der Benchmark misst zwei spezifische Fehlermodi, nicht das gesamte Erlebnis eines Anrufs, etwa Tonfall, Latenz oder den Umgang mit Unterbrechungen.

Wir werden vCX-Hard aktualisieren, sobald neue Modelle erscheinen. Jeder Launch löst in jedem Team, das Sprachagenten betreibt, dieselbe Frage aus: Ein neues Modell ist da, steigen wir um? vCX-Hard ist darauf ausgelegt, das mit aktuellen Daten statt mit einer Vermutung zu beantworten.

Warum wir dies teilen

Benchmarks dienen nicht dazu, Zahlen gut aussehen zu lassen. Sie dienen dem ehrlichen Vergleich. Wenn einer gesättigt ist, baut das Feld einen schwierigeren. vCX-Hard ist die Art, wie wir intern Modelle auswählen, und wie wir nun die Frage beantworten, die Kunden tatsächlich stellen, mit Belegen statt mit einem Markennamen. Wir werden die Messlatte weiter höher legen, so wie es die Modelle tun.

‍