Nous avons testé des outils d'entretien IA. Voici ce que nous avons trouvé.

Après plus d'un an de pandémie de covid-19, des millions de personnes sont à la recherche d'un emploi aux États-Unis. Un logiciel d'entretien basé sur l'IA prétend aider les employeurs à passer au crible les candidatures pour trouver les meilleures personnes pour le poste. Les entreprises spécialisées dans cette technologie ont déclaré un essor des affaires pendant la pandémie.

Mais à mesure que la demande pour ces technologies augmente, il en va de même des questions sur leur exactitude et leur fiabilité . Dans le dernier épisode du podcast In Machines We Trust de MIT Technology Review, nous avons testé les logiciels de deux entreprises spécialisées dans les entretiens d'embauche en IA, MonEntretien et Chose curieuse . Et nous avons trouvé des variations dans les prédictions et les scores d'appariement des emplois qui soulèvent des inquiétudes quant à ce que ces algorithmes évaluent exactement.

Apprendre à vous connaître

MyInterview mesure les traits pris en compte dans le test de personnalité Big Five, une évaluation psychométrique souvent utilisée dans le processus d'embauche. Ces traits incluent l'ouverture, la conscience, l'extraversion, l'agréabilité et la stabilité émotionnelle. Curious Thing mesure également les traits liés à la personnalité, mais au lieu des Big Five, les candidats sont évalués sur d'autres paramètres, comme l'humilité et la résilience.

Cette capture d'écran montre le score de correspondance et l'analyse de personnalité de notre candidat sur MyInterview après avoir répondu à toutes les questions de l'entretien en allemand au lieu de l'anglais.

HELKE SCHELLMANN

Les algorithmes analysent les réponses des candidats pour déterminer les traits de personnalité. MyInterview compile également des scores indiquant dans quelle mesure un candidat correspond aux caractéristiques identifiées par les responsables du recrutement comme idéales pour le poste.

Pour terminer nos tests, nous avons d'abord paramétré le logiciel. Nous avons mis en ligne une fausse offre d'emploi pour un administrateur de bureau/chercheur sur MyInterview et Curious Thing. Ensuite, nous avons construit notre candidat idéal en choisissant des traits liés à la personnalité lorsque le système nous y invite.

Sur MyInterview, nous avons sélectionné des caractéristiques telles que le souci du détail et les avons classées par niveau d'importance. Nous avons également sélectionné des questions d'entretien, qui s'affichent à l'écran pendant que le candidat enregistre les réponses vidéo. Sur Curious Thing, nous avons sélectionné des caractéristiques telles que l'humilité, l'adaptabilité et la résilience.

L'un de nous, Hilke, a ensuite postulé pour le poste et a passé des entretiens pour le rôle à la fois sur MyInterview et Curious Thing.

Notre candidat a passé un entretien téléphonique avec Curious Thing. Elle a d'abord passé un entretien d'embauche régulier et a reçu une note de 8,5 sur 9 pour ses compétences en anglais. Lors d'un deuxième essai, l'intervieweur automatisé a posé les mêmes questions, et elle a répondu à chacune en lisant l'entrée de Wikipedia pour la psychométrie en allemand.

Pourtant, Curious Thing lui a décerné une note de 6 sur 9 pour ses compétences en anglais. Elle a de nouveau terminé l'entretien et a obtenu le même score.

Une capture d'écran montre le score de compétence en anglais de notre candidate dans le logiciel de Curious Thing après avoir répondu à toutes les questions en allemand.

HELKE SCHELLMANN

Notre candidat s'est tourné vers MyInterview et a répété l'expérience. Elle a lu la même entrée de Wikipedia à haute voix en allemand. L'algorithme a non seulement renvoyé une évaluation de la personnalité, mais il a également prédit que notre candidate correspondrait à 73 % au faux emploi, la plaçant dans la première moitié de tous les candidats auxquels nous avions demandé de postuler.

MyInterview fournit aux recruteurs une transcription de leurs entretiens. Lorsque nous avons inspecté le relevé de notes de notre candidate, nous avons constaté que le système interprétait ses mots allemands comme des mots anglais. Mais la transcription n'avait aucun sens. Les premières lignes, qui correspondent à la réponse fournie ci-dessus, se lisent :

|__+_|

Dépareillé

Au lieu de noter notre candidate sur le contenu de ses réponses, l'algorithme a extrait des traits de personnalité de sa voix, explique Clayton Donnelly , psychologue industriel et organisationnel travaillant avec MyInterview.

Mais l'intonation n'est pas un indicateur fiable des traits de personnalité, dit Fred Oswald , professeur de psychologie organisationnelle industrielle à Université du riz . Nous ne pouvons vraiment pas utiliser l'intonation comme données pour l'embauche, dit-il. Cela ne semble tout simplement pas juste, ni fiable, ni valable.

L'utilisation de questions ouvertes pour déterminer les traits de personnalité pose également des défis importants, même lorsque - ou peut-être surtout lorsque - ce processus est automatisé. C'est pourquoi de nombreux tests de personnalité, tels que les Big Five, offrent aux gens des options parmi lesquelles choisir.

Le point essentiel est que la personnalité est difficile à découvrir dans ce sens ouvert, dit Oswald. Il existe des opportunités pour l'IA ou les algorithmes et la façon dont les questions sont posées pour être plus structurées et standardisées. Mais je ne pense pas que nous soyons nécessairement là en termes de données, en termes de conceptions qui nous fournissent les données.

Le cofondateur et directeur de la technologie de Curious Thing, Han Xu , a répondu à nos conclusions dans un e-mail, en disant : C'est la toute première fois que notre système est testé en allemand, donc un point de données extrêmement précieux pour nous de rechercher et de voir s'il dévoile quelque chose dans notre système.

Le paradoxe du biais

La performance des entretiens basés sur l'IA n'est souvent pas la seule mesure que les employeurs potentiels utilisent pour évaluer un candidat. Et ces systèmes peuvent en fait réduire les préjugés et trouver de meilleurs candidats que les enquêteurs humains. Mais bon nombre de ces outils ne sont pas testés de manière indépendante, et les entreprises qui les ont construits hésitent à partager les détails de leur fonctionnement, ce qui rend difficile pour les candidats ou les employeurs de savoir si les algorithmes sont exacts ou quelle influence ils devraient avoir sur l'embauche. les décisions.

Marc Gray , qui travaille sur une plateforme de gestion immobilière danoise appelée Correct , a commencé à utiliser des interviews vidéo d'IA lors de son précédent rôle dans les ressources humaines de l'entreprise d'électronique Apprivoiser . Il dit avoir à l'origine intégré le logiciel, produit par une société allemande appelée Rhétorique , en entretiens pour aider à réduire le biais humain qui se développe souvent lorsque les responsables du recrutement discutent avec les candidats.

Bien que Gray ne fonde pas ses décisions d'embauche uniquement sur l'évaluation de Retorio, qui s'appuie également sur les traits des Big Five, il en tient compte comme l'un des nombreux points de données lors du choix des candidats. Je ne pense pas que ce soit une solution miracle pour trouver comment embaucher la bonne personne, dit-il.

Le processus d'embauche habituel de Gray comprend un appel de présélection et un entretien Retorio, auquel il invite la plupart des candidats à participer, quelle que soit l'impression qu'ils ont faite lors de la présélection. Les candidats retenus passeront ensuite un test de compétences professionnelles, suivi d'un entretien en direct avec d'autres membres de l'équipe.

Histoire connexe

L'IA de jumelage d'emplois de LinkedIn était biaisée. La solution de l'entreprise ? Plus d'IA.

ZipRecruiter, CareerBuilder, LinkedIn—la plupart des plus grands sites de recherche d'emploi au monde utilisent l'IA pour faire correspondre les personnes aux offres d'emploi. Mais les algorithmes ne jouent pas toujours juste.

Avec le temps, des produits comme Retorio et Retorio lui-même - chaque entreprise devrait l'utiliser car cela vous donne tellement d'informations, dit Gray. Bien qu'il y ait des points d'interrogation et des controverses dans la sphère de l'IA en général, je pense que la plus grande question est, sommes-nous un meilleur ou un pire juge de caractère ?

Gray reconnaît les critiques entourant les outils d'entretien d'IA. Une enquête publié en février par Bavarian Public Broadcasting a constaté que l'algorithme de Retorio évaluait les candidats différemment lorsqu'ils utilisaient différents arrière-plans vidéo et accessoires, comme des lunettes, pendant l'entretien.

Co-fondateur et directeur général de Retorio, Christophe Hohenberger , dit que même s'il n'est pas au courant des spécificités des méthodes de test des journalistes, l'entreprise n'a pas l'intention que son logiciel soit le facteur décisif lors de l'embauche de candidats. Nous sommes un outil d'assistance, et il est utilisé dans la pratique également avec des personnes humaines de l'autre côté. Ce n'est pas un filtre automatique, dit-il.

Pourtant, les enjeux sont si élevés pour les demandeurs d'emploi qui tentent de naviguer dans ces outils qu'une plus grande prudence est certainement justifiée. Pour la plupart, après tout, trouver un emploi n'est pas seulement un nouveau défi ou un nouvel environnement - trouver un emploi est crucial pour leur survie économique.

cacher