Hvordan AccioJob så en 70 % reduktion i falsk-positive vurderinger med Retell AI
Neeraj Sharma
Head of Engineering at AccioJob
COMPANY SIZE
101-250
INDUSTRY
Software training institute
LOCATION
India
USE CASE
FEATURES
AccioJob er en Edtech-virksomhed, der hjælper håbefulde softwareingeniører og dataloger med at lande førsteklasses jobmuligheder ved at tilbyde strukturerede læringsforløb, mock-tests og mentorordninger. Platformen indeholder også et tilpasset, AI-drevet vurderingsværktøj, der forbedrer ansættelsesprocessen og sikrer bedre nøjagtighed og effektivitet i kandidatevalueringer, hvilket i sidste ende hjælper både kandidater og arbejdsgivere med at finde det bedste match.Ved at integrere Retell AI i deres innovative vurderingsværktøjer har AccioJob drastisk reduceret falsk-positive vurderingsscorer, forbedret ansættelsesnøjagtigheden og strømlinet kandidatevalueringer, hvilket hjælper deres partnere med at identificere toptalent til en lavere omkostning.
Ved at bruge Retell AI til at bygge en AI-invigilator leverer AccioJob nøjagtige, effektive og omkostningseffektive talentvurderingsløsninger
Reduktion i falsk-positive vurderinger: 70 %
Dage brugt på at integrere Retell AI i deres platform: <2
Kundeomkostningsbesparelser sammenlignet med andre løsninger*: 40 %
*Baseret på den pris, som AccioJob opkræver for AI-invigilation versus et traditionelt outsourcet interview
“Retell AI er fyldt med funktioner, der kan opfylde vores case, og det er ret let at integrere.” --Neeraj Sharma, Head of Engineering hos AccioJob.
AccioJob omdefinerer, hvordan virksomheder identificerer toptalent på Indiens konkurrenceprægede jobmarked. Ud over at tilbyde kurser og certificeringer i full-stack-udvikling og datavidenskab integrerer virksomheden banebrydende AI-teknologi i ansættelses- og evalueringsprocessen for ingeniørroller.
For at strømline en enorm mængde jobansøgninger udviklede AccioJob innovative vurderingsværktøjer til at strømline evalueringsprocessen. Det voksende antal sofistikerede snydeværktøjer truede dog deres evne til at identificere de rette kandidater til deres partnervirksomheder. Ved problemfrit at integrere Retell AI med deres eksisterende talent management-system er AccioJob i stand til at evaluere kandidater i stor skala med personaliserede tests og holde sig foran innovationer designet til at slå deres vurderinger.
Som Head of Engineering hos AccioJob oplevede Neeraj Sharma på første hånd kompleksiteten ved at identificere og ansætte toptalent på Indiens konkurrenceprægede jobmarked. “I Indien, når vi slår en softwareingeniør-rolle op på LinkedIn, får vi mere end 1.000 ansøgninger,” forklarer Sharma. For at imødegå dette udviklede hans team et AI-drevet vurderingsværktøj, der genererer tilpassede tests baseret på rollekrav, hvilket markant strømliner evalueringsprocessen. “Efter at have tilføjet dette lag indsnævrede vi det til 100 kandidater. Derefter, efter yderligere to eller tre filtreringslag, til 10 eller 20 mennesker.”
I dag stoler over 20 virksomheder i hele Indien på AccioJobs værktøjer til at identificere toptalent med lethed. AccioJob stod dog over for betydelige udfordringer med at følge med innovationer i værktøjer designet til at slå deres tests:
På trods af at de implementerede robuste AI-genererede vurderinger og proctoring-systemer, fandt AccioJob, at sofistikerede snydemetoder førte til en falsk-positiv-rate så høj som 50 %. Dette underminerede pålideligheden af deres vurderinger. “Vi kunne ikke imødekomme vores kunders behov, fordi vi ikke var i stand til at identificere det rette talent,” forklarer Sharma.
Når AccioJob frigav nye vurderinger, var de meget effektive og nøjagtige til at identificere talent. Kandidater fandt dog hurtigt smutveje til at snyde til tests. Dette kat-og-mus-spil tvang AccioJob til løbende at innovere og iterere på deres platform hver par måneder for at bekæmpe udviklende snydemetoder.
Med kandidater, der allerede brugte over en time på at gennemføre vurderinger, havde AccioJob brug for en hurtig, problemfri måde at detektere snydere på. Den mest ligetil tilgang var at introducere korte opfølgende spørgsmål rettet mod kandidaternes højest scorende svar.
AccioJob besluttede at bygge en AI-baseret invigilator ind i deres vurdering. Sharmas team indså dog hurtigt, at det at bygge dette internt ville kræve betydelig tid og betydelige ressourcer.
Ved at integrere Retell AI i deres vurderingsværktøj er AccioJob i stand til at bekæmpe snyd og reducere falsk-positive på tests. Retell AI tilbød AccioJob flere fordele med hensyn til at forbedre pålideligheden af deres evalueringer:
Retell AI's simple og effektive API gjorde det muligt for AccioJob hurtigt at integrere en AI-invigilator i deres vurderingsplatform. Umiddelbart efter at kandidaten afslutter sin test, ringer AI'en til kandidaten for at stille opfølgende spørgsmål i 5-6 minutter. Dette forbedrer drastisk pålideligheden af vurderingen, samtidig med at det tilføjer minimal tid til kundeinterviewet.
“Opkaldsbookingdelen var bare et par API-kald. Vores team var i stand til at integrere på næppe to dage.”
AI'en er i stand til at identificere kandidaternes højest scorende spørgsmål og stille målrettede, sværere opfølgende spørgsmål. Ved hjælp af data fra opfølgningsopkaldet genererer AccioJob en autenticitetsscore, en nøglemåling til at identificere, om kandidater har snydt. De data, der genereres under disse opkald, reducerede falsk-positive scorer med 70 %.
“Vi ser 15 % falsk-positive sammenlignet med 50 % før. Dette er kun begyndelsen. Vi forsøger at reducere det yderligere.”
Ved at forbedre pålideligheden af deres evalueringer leverer AccioJob betydelige omkostningsbesparelser til deres kunder til en brøkdel af prisen for at outsource interviews. Endnu bedre leverer AI'en pålidelig, konsekvent indsigt i den interviewedes svar.
“Dette er en omkostningsbesparelse på 30-40 % sammenlignet med en menneskelig interviewer, og vi ser en massiv forskel i kvaliteten af feedback.”
Problemfri, selvoptimerende integration med talent management-systemer
AccioJob har set en overvældende positiv respons på denne vurdering fra deres kunder. Selvom det stadig er for tidligt at sige over tid, antyder tidlig feedback, at falsk-positiv-scoren falder over tid. Dette står i total kontrast til AccioJobs tidligere vurderinger, hvor snydere konsekvent fandt måder at omgå systemet på inden for blot få måneder.
“Vores partnervirksomheder er virkelig, virkelig tilfredse med disse kandidater.”
At bygge til fremtiden: AI-invigilatoren er kun begyndelsen for AccioJob: Dette produkt har skabt en efterspørgsel efter yderligere stemme-AI-integration i interviewprocessen. “Dette sparer små startups så meget kapacitet.”
Konsistens og nøjagtighed: AccioJob har et netværk af mentorer, der kan interviewe kandidater, men de ser mere upartisk og konsekvent vurdering fra AI-invigilatoren. “Feedbacken fra AI-invigilatoren er virkelig nøjagtig.”
Fordelene ved en API: Ved at arbejde med Retell drager AccioJob fordel af ekstern infrastrukturstyring og hurtig funktionsudvikling. “Vi valgte Retell, fordi vi ville have de bedste funktioner til at komme til os meget hurtigt.”