LLM som domare är en utvärderingsmetod där en stor språkmodell poängsätter eller rangordnar utdata från ett annat AI-system mot skrivna kriterier, i stället för en mänsklig granskare. Team använder metoden för att bedöma öppna uppgifter som saknar ett enda rätt svar, till exempel ett telefonsamtal.
Namnet kommer från en artikel från 2023, Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. Författarna rapporterade att starka domare som GPT-4 matchade mänskliga preferenser med "över 80 % överensstämmelse, samma nivå av överensstämmelse som mellan människor". De listade även metodens begränsningar: positionsbias, ordrikedomsbias och självförstärkningsbias.
En LLM-domare läser samtalet och en uppsättning instruktioner och returnerar sedan ett utlåtande i en av tre former.
| Metod | Vad domaren gör | Vad som returneras | Var metoden passar |
|---|---|---|---|
| Bedömning med mall | Läser en transkription mot skrivna kriterier | Godkänt eller underkänt, eller en poäng, med motivering | QA i produktion och regressionstester |
| Parvis rangordning | Jämför två eller fler svar på samma replik | En vinnare eller en rangordning | Val mellan prompter eller modeller |
| Domarpanel | Flera domarmodeller bedömer samma objekt och utlåtandena slås samman | En sammanslagen poäng | Poäng som en enskild modells bias skulle kunna snedvrida |
Bedömning med mall. I G-Eval-artikeln fick domaren resonera sig igenom kriterierna och sedan fylla i ett poängformulär. Vid sammanfattning korrelerade poängen bättre med mänskliga bedömningar än tidigare metoder.
Parvis rangordning. Att fråga vilket av två svar som är bäst passar egenskaper som ton, där en skillnad är lättare att se än att poängsätta.
Domarpaneler. I Replacing Judges with Juries "överträffar" en panel av mindre modeller från olika modellfamiljer "en enskild stor domare, uppvisar mindre bias inom modellen" och var "över sju gånger billigare".

QA för röstagenter använder en LLM-domare för de delar av ett samtal som bara kan avgöras genom att läsa transkriptionen: om agenten följde sina regler, höll sig till sina källor och löste ärendet.
Dokumentationen från Retell visar båda de vanliga uppläggen. I AI QA är ett AI-utvärderat villkor "en kvalitativ kontroll som AI:n kör mot varje samtals transkription och kontext", formulerat som "den prompt som AI:n använder för att bedöma om villkoret är uppfyllt". I simuleringstester spelar en AI den som ringer, och "varje körning bedöms som godkänd eller underkänd med en skriftlig förklaring".
Benchmarks rapporterar samma typ av utlåtande i stor skala. Retell vCX Benchmark publicerar varje testsvits poäng som en andel godkända, "andelen testade scenarier som hanterades korrekt", inom instruktionsföljning, grundning, verktygsanrop och vardagligt tal (läst 13 november 2026).
Om du vill omvandla utlåtanden till en veckovis genomgång, se QA-poängkortet för röstagenter.
En LLM-domare brister på fyra dokumenterade sätt. Vart och ett har en känd motåtgärd.
Domare är inte heller deterministiska. Simuleringsdokumentationen från Retell rekommenderar: "Bedöm ett scenario utifrån dess andel godkända över flera körningar, inte utifrån en enskild körning."
Kodkontroller är bättre än en LLM-domare när svaret kan verifieras i stället för läsas. Anthropics guide till utvärderingar av agenter rekommenderar att "välja deterministiska bedömare där det är möjligt och LLM-bedömare där det är nödvändigt". Guiden beskriver kodbaserade bedömare som snabba, billiga, objektiva och reproducerbara, och modellbaserade bedömare som icke-deterministiska.
I ett samtal kan kod kontrollera att verktyget som agenten anropade finns, att dess argument är giltiga och att svarstiden låg under ett tröskelvärde. tau-bench bedömer hela samtal på det här sättet genom att jämföra "databasens tillstånd i slutet av ett samtal med det annoterade måltillståndet".
AI QA från Retell håller isär de två: prestandamått är kvantitativa tröskelvärden, och AI-utvärderade villkor står för de kvalitativa kontrollerna. Så testar och släpper du ändringar i röstagenter beskriver var var och en körs.
Tell-1, den egna LLM:en från Retell, använde LLM-domare i två av sina tre träningssteg, enligt det tekniska inlägget om Retell LLM. Steget för preferensjustering lärde sig av "preferenspar rangordnade av en panel av LLM-domare".
I steget för förstärkningsinlärning "skriver modellen åtta svar och vart och ett poängsätts", enligt inlägget. Kod körs först: anrop till verktyg utanför agentens verktygslåda, felaktigt formaterade utdata och andra kritiska fel "fångas i kod innan någon domare ser dem". För korrekthet "bedömer flera domarmodeller korrekta verktygsanrop, hallucinationer och instruktionsföljning, och deras utlåtanden slås samman till en enda belöningssignal". För naturlighet rangordnar en enda domare alla åtta svar sida vid sida mot en bedömningsmall, eftersom "naturlighet är lättare att jämföra än att poängsätta".
Det är just det mönster som den här sidan beskriver: kodkontroller för det som kan verifieras, en domarpanel för korrekthet och rangordning för ton.
Den läser utdata, till exempel en samtalstranskription, tillsammans med bedömningsinstruktioner och returnerar ett utlåtande: godkänt eller underkänt, en poäng eller en preferens mellan två alternativ.
Det beror på domarmodellen och uppgiften. En studie fann över 80 % överensstämmelse med mänskliga preferenser; en annan fann att endast de största domarna var rimligt samstämmiga med människor. Kontrollera först en domare mot manuellt bedömda samtal.
En domarpanel består av flera domarmodeller som bedömer samma utdata och vars utlåtanden slås samman. Det minskar effekten av en enskild modells bias.
Bedömning med mall poängsätter en utdata mot skrivna kriterier. Parvis rangordning visar domaren två utdata och frågar vilken som är bäst.
Ja, utifrån transkriptionen och verktygsanropen. Egenskaper som finns i ljudet kräver även ljudet: dokumentationen från Retell anger att Agent Naturalness "utvärderas med både ljudet och transkriptionen".
Retell AI är en plattform för AI-röstagenter för kontaktcenter. AI QA utvärderar ett urval av dina samtal mot de villkor och tröskelvärden du anger, med belägg från transkriptionen för varje resultat.
How Retell handles audits, data retention and access control.
Table of contents