Un algorithme médical biaisé a favorisé les Blancs pour les programmes de soins de santé

Catégorie: Intelligence artificielle Posté 25 octobre

Une étude a mis en évidence les risques inhérents à l'utilisation de données historiques pour entraîner des algorithmes d'apprentissage automatique à faire des prédictions.

Les nouvelles: Selon des chercheurs de l'UC Berkeley, dont l'étude a été publié dans Sciences . En fait, cela a poussé les Blancs dans la file d'attente pour des traitements spéciaux pour des conditions complexes comme les problèmes rénaux ou le diabète.

L'étude: Les chercheurs ont fouillé près de 50 000 dossiers d'un grand hôpital universitaire non divulgué. Ils ont constaté que les patients blancs recevaient des scores de risque plus élevés et étaient donc plus susceptibles d'être sélectionnés pour des soins supplémentaires (comme plus de soins infirmiers ou des rendez-vous dédiés) que les patients noirs qui étaient en fait également malades. Les chercheurs ont calculé que le biais réduisait de plus de moitié la proportion de patients noirs qui recevaient une aide supplémentaire.

C'était quel logiciel ? Les chercheurs ne l'ont pas dit, mais le Poste de Washington l'identifie comme Optum, propriété de l'assureur UnitedHealth. Il affirme que son produit est utilisé pour gérer plus de 70 millions de vies. Bien que les chercheurs se soient concentrés uniquement sur un outil particulier, ils ont identifié le même défaut parmi les 10 algorithmes les plus utilisés dans l'industrie. Chaque année, ces outils sont appliqués collectivement à environ 150 à 200 millions de personnes aux États-Unis.

Comment la partialité s'est glissée dans : La race n'était pas un facteur dans la prise de décision de l'algorithme (ce serait illégal); il a utilisé les antécédents médicaux des patients pour prédire combien ils étaient susceptibles de coûter au système de santé. Mais le coût n'est pas une mesure aveugle à la race : pour des raisons socio-économiques et autres, les patients noirs ont toujours encouru des coûts de soins de santé inférieurs à ceux des patients blancs souffrant des mêmes conditions. En conséquence, l'algorithme a donné aux patients blancs les mêmes scores que les patients noirs qui étaient significativement plus malades.

Une petite grâce salvatrice : Les chercheurs ont travaillé avec Optum pour corriger le problème. Ils ont réduit la disparité de plus de 80 % en créant une version qui prédit à la fois les coûts futurs d'un patient et le nombre de fois où une maladie chronique pourrait éclater au cours de l'année à venir. Ainsi, le biais algorithmique peut être corrigé, si - et malheureusement, c'est un gros si - vous pouvez l'attraper.

Pourquoi est-ce important: L'étude est la dernière à montrer les pièges de l'allocation de ressources importantes selon la recommandation d'algorithmes. Ces types de défis se posent non seulement dans les soins de santé, mais aussi dans l'embauche, la notation du crédit, les assurances et la justice pénale.

Lire ensuite : notre explicateur interactif sur la façon dont le biais de l'IA affecte le système judiciaire pénal et pourquoi il est si difficile à éliminer.