Een sollicitatiegesprek zonder recruiter aan de andere kant van het scherm wordt steeds gewoner. Kandidaten nemen hun antwoorden op wanneer het hen uitkomt, waarna software de video beoordeelt en een eerste selectie maakt. Dat kan het recruitmentproces versnellen, maar heeft ook een onverwacht effect: zodra sollicitanten weten dat een AI-systeem hen beoordeelt, gaan ze zich anders gedragen. Ze ervaren meer stress en blijken vaker hun kwaliteiten aan te dikken. Juist meer uitleg over wat de AI doet, kan dat effect verminderen.
Een kandidaat zit voor zijn webcam en krijgt de bekende vragen voorgeschoteld. Waarom wil je deze baan? Wat zijn je sterke punten? Kun je een voorbeeld geven van goed teamwork? Alleen ontbreekt er iets wat normaal gesproken vanzelfsprekend is: aan de andere kant zit niemand.
Bij zogenoemde asynchrone video-interviews neemt de kandidaat de antwoorden op. De werkgever kan de opnamen later bekijken, maar steeds vaker wordt ook AI ingezet om kandidaten te beoordelen of te rangschikken. Daarmee kunnen werkgevers grote aantallen sollicitaties verwerken zonder voor iedere kandidaat meteen een recruiter vrij te maken.
Onderzoekers van de University of Georgia, Arizona State University, Indiana University en National Taiwan Normal University onderzochten wat zo’n geautomatiseerde beoordeling doet met de persoon die wordt beoordeeld. Hun studie, From Opacity to Transparency: User Behavior and Downstream Effects in Algorithmic Evaluation, verscheen in het wetenschappelijke tijdschrift Information Systems Research. Het onderzoek omvat acht afzonderlijke studies, waaronder twee experimenten en een quasi-field replication.
De uitkomst laat zien dat de technologie niet alleen het selectieproces verandert. Ook de sollicitant verandert.
Wat wil het algoritme van mij?
Volgens onderzoeker Akshat Lakhiwal ontstond het onderzoek mede uit gesprekken met mensen die daadwerkelijk met AI-gestuurde sollicitatieprocedures te maken hadden. Kandidaten bleken moeite te hebben met een systeem waarvan ze niet precies begrepen hoe het naar hen keek.
Bij een gesprek met een recruiter bestaan allerlei bekende sociale signalen. Een kandidaat kan zien hoe iemand reageert, een antwoord toelichten en inschatten of een gesprek goed verloopt. Bij een eenrichtingsinterview valt die terugkoppeling weg. Wanneer kandidaten bovendien weten dat een algoritme de opname analyseert, ontstaat een extra vraag: waarop word ik eigenlijk beoordeeld?
Volgens de onderzoekers vergroot die onzekerheid de stress. In het eerste hoofdexperiment vertoonden deelnemers die door AI werden beoordeeld bovendien meer wat de onderzoekers deceptive impression management noemen: gedrag waarbij iemand zichzelf bewust gunstiger voorstelt dan gerechtvaardigd is. Dat kan variëren van het aandikken van vaardigheden tot het sterker maken van voorbeelden uit eerdere banen. Bij menselijke beoordeling kwam dit gedrag minder voor.
De kandidaten lijken daarmee niet noodzakelijk te proberen een specifiek algoritme te misleiden. Ze weten juist niet wat het systeem zoekt en proberen dat gebrek aan informatie te compenseren door zoveel mogelijk positieve signalen af te geven.
Lakhiwal omschrijft het in de toelichting van de University of Georgia als kandidaten die min of meer „alles uit de kast halen” om de evaluator te geven wat die mogelijk zoekt.
AI ziet het verschil niet
Voor werkgevers ontstaat daarmee een tweede probleem. Het in het onderzoek gebruikte AI-beoordelingssysteem bleek niet goed in staat onderscheid te maken tussen kandidaten die hun kwalificaties eerlijk beschreven en kandidaten die deze aandikten.
Menselijke beoordelaars reageerden anders. Wanneer zij de video’s bekeken, beoordeelden zij kandidaten die authentieker overkwamen gemiddeld gunstiger en konden zij misleidend presentatiegedrag beter meewegen. De AI-scores maakten dat onderscheid niet op dezelfde manier.
Dat wordt vooral relevant wanneer bedrijven AI niet volledig zelfstandig laten beslissen, maar de scores aan recruiters tonen als hulpmiddel. Dit wordt vaak gezien als een compromis: de computer analyseert, maar de mens neemt uiteindelijk de beslissing.
Ook daar vonden de onderzoekers een risico.
In een tweede experiment werden verschillende vormen van beoordeling onderzocht: alleen door mensen, door mensen ondersteund met AI-scores en volledig geautomatiseerd. Zodra menselijke beoordelaars een AI-score te zien kregen, bleken ze zich daar relatief sterk op te richten. Hun eigen oordeel kreeg daardoor minder gewicht. Dat gebeurde terwijl het algoritme zelf niet goed onderscheid maakte tussen eerlijk en overdreven presentatiegedrag.
Het probleem zit daarmee niet alleen in een mogelijk tekortschietend algoritme. Een score die objectief oogt, kan ook invloed krijgen op degene die hem gebruikt.
Meer uitleg zorgt juist voor minder manipulatie
Een opvallende uitkomst van het onderzoek is dat een relatief eenvoudige ingreep een deel van het probleem verminderde: vertel kandidaten beter hoe de beoordeling werkt.
In een van de experimenten kreeg een groep deelnemers vooraf meer informatie over de automatische analyse. De kandidaten hoorden onder meer dat het systeem keek naar gezichtsuitdrukkingen, sentiment en bepaalde woorden en dat kenmerken als teamwork, werkgerelateerde vaardigheden, werkstijl en persoonlijkheid in de beoordeling werden meegenomen.
Daarna kwam hun gedrag veel dichter in de buurt van dat van kandidaten die dachten door een mens beoordeeld te worden. Zowel de stress als het misleidende presentatiegedrag nam af.
Dat is opmerkelijk omdat werkgevers traditioneel juist terughoudend kunnen zijn met informatie over selectiecriteria. De gedachte daarachter is dat sollicitanten anders precies kunnen zeggen of doen wat nodig is om hoog te scoren.
In deze studie gebeurde in zekere zin het omgekeerde. Wanneer het systeem ondoorzichtig bleef, gingen kandidaten zelf raden wat het algoritme wilde zien en pasten zij hun gedrag sterker aan. Meer transparantie gaf hen houvast en verminderde de noodzaak om te overcompenseren.
Daarvoor hoeven bedrijven volgens Lakhiwal niet hun complete algoritme openbaar te maken. Voor een kandidaat is het vooral van belang om te begrijpen wat er tijdens de beoordeling gebeurt en welke eigenschappen of gedragingen worden meegewogen.
Efficiënter selecteren is niet automatisch beter selecteren
De onderzoekers keren zich daarmee niet tegen het gebruik van AI bij recruitment. Asynchrone interviews en automatische beoordeling kunnen praktische voordelen hebben, zeker wanneer werkgevers grote aantallen sollicitaties moeten verwerken. De studie maakt echter duidelijk dat een AI-systeem niet als een neutrale laag boven op een bestaand sollicitatieproces kan worden geplaatst.
De wetenschap dat een algoritme meekijkt, verandert het gedrag dat vervolgens door datzelfde algoritme moet worden beoordeeld.
Daar komt bij dat menselijke recruiters zich op hun beurt weer door de uitkomst van het systeem kunnen laten beïnvloeden. Daarmee ontstaat een wisselwerking tussen kandidaat, algoritme en recruiter. De onderzoekers plaatsen het onderwerp dan ook nadrukkelijk binnen zogenoemde socio-technische systemen: de prestaties van AI kunnen niet los worden gezien van de manier waarop mensen erop reageren.
Voor werkgevers ligt daar waarschijnlijk de belangrijkste uitkomst van het onderzoek. De vraag is niet alleen hoe nauwkeurig een recruitmentalgoritme kandidaten kan scoren. Ook moet worden gekeken naar wat het bestaan van die score doet met de mensen aan beide kanten van het proces.
Een systeem dat sneller kandidaten kan beoordelen, levert immers weinig op wanneer sollicitanten daardoor minder authentiek gaan antwoorden en recruiters vervolgens te veel vertrouwen op een score die dat verschil niet herkent.
