Comment un outil d'IA pour lutter contre les décès à l'hôpital a réellement fonctionné dans le monde réel

Getty

En novembre 2018, un nouvel outil d'apprentissage en profondeur a été mis en ligne au service des urgences du Duke University Health System. Appelé Sepsis Watch, il a été conçu pour aider les médecins à détecter les premiers signes de l'une des principales causes de décès à l'hôpital dans le monde.

La septicémie survient lorsqu'une infection déclenche une inflammation de tout le corps et provoque finalement la fermeture des organes. Il peut être traité s'il est diagnostiqué suffisamment tôt, mais c'est une tâche notoirement difficile car ses symptômes sont facilement confondus avec des signes d'autre chose.

Sepsis Watch a promis de changer cela. Le produit de trois ans et demi de développement (qui comprenait la numérisation des dossiers de santé, l'analyse de 32 millions de points de données et la conception d'une interface simple sous la forme d'une application iPad), il note les patients sur une base horaire pour leur probabilité de développer le état. Il signale ensuite ceux qui présentent un risque moyen ou élevé et ceux qui répondent déjà aux critères. Une fois qu'un médecin a confirmé le diagnostic, les patients reçoivent une attention immédiate.

Au cours des deux années qui ont suivi l'introduction de l'outil, des preuves anecdotiques des gestionnaires d'hôpitaux et des cliniciens de Duke Health ont suggéré que Sepsis Watch fonctionne vraiment. Il a considérablement réduit le nombre de décès de patients induits par la septicémie et fait désormais partie d'un essai clinique enregistré au niveau fédéral qui devrait partager ses résultats en 2021.

À première vue, il s'agit d'un exemple de victoire technique majeure. Grâce à un développement et à des tests minutieux, un modèle d'IA a réussi à augmenter la capacité des médecins à diagnostiquer la maladie. Mais un nouveau rapport de l'institut de recherche Data & Society dit que ce n'est que la moitié de l'histoire. L'autre moitié est la quantité de travail social qualifié que les cliniciens à la tête du projet devaient effectuer afin d'intégrer l'outil dans leurs flux de travail quotidiens. Cela comprenait non seulement la conception de nouveaux protocoles de communication et la création de nouveaux supports de formation, mais également la navigation dans la politique du lieu de travail et la dynamique du pouvoir.

L'étude de cas est un reflet honnête de ce qu'il faut vraiment pour que les outils d'IA réussissent dans le monde réel. C'était vraiment complexe, explique la coauteure Madeleine Clare Elish, une anthropologue culturelle qui examine l'impact de l'IA.

Innovation réparatrice

L'innovation est censée être disruptive. Il bouscule les anciennes façons de faire pour obtenir de meilleurs résultats. Mais rarement, dans les conversations sur la rupture technologique, est-il reconnu que la rupture est aussi une forme de rupture. Les protocoles existants deviennent obsolètes ; les hiérarchies sociales se brouillent. Faire fonctionner les innovations dans les systèmes existants nécessite ce qu'Elish et sa coauteure Elizabeth Anne Watkins appellent un travail de réparation.

Au cours de l'étude de deux ans menée par les chercheurs sur Sepsis Watch chez Duke Health, ils ont documenté de nombreux exemples de cette perturbation et de cette réparation. L'un des principaux problèmes était la façon dont l'outil remettait en question la dynamique de pouvoir profondément enracinée dans le monde médical entre les médecins et les infirmières.

Aux premières étapes de la conception de l'outil, il est devenu clair que les infirmières de l'équipe d'intervention rapide (RRT) devraient être les principales utilisatrices. Bien que les médecins traitants soient généralement chargés d'évaluer les patients et de poser des diagnostics de septicémie, ils n'ont pas le temps de surveiller en permanence une autre application en plus de leurs tâches existantes au service des urgences. En revanche, la principale responsabilité d'une infirmière RRT est pour surveiller en permanence le bien-être du patient et fournir une assistance supplémentaire si nécessaire. La vérification de l'application Sepsis Watch s'est naturellement intégrée à leur flux de travail.

Mais voici venu le défi. Une fois que l'application a signalé qu'un patient était à haut risque, une infirmière devait appeler le médecin traitant (connu en langage médical sous le nom d'assistants à l'urgence). Non seulement ces infirmières et assistantes n'avaient souvent aucune relation préalable parce qu'elles passaient leurs journées dans des sections entièrement différentes de l'hôpital, mais le protocole représentait un renversement complet de la chaîne de commandement typique dans n'importe quel hôpital. Vous plaisantez j'espère? une infirmière se souvient avoir pensé après avoir appris comment les choses fonctionneraient. Nous allons appeler Participation à l'ED ?

Mais c'était bien la meilleure solution. L'équipe du projet a donc entrepris de réparer la perturbation de différentes manières, grandes et petites. Les infirmières en chef ont organisé des soirées pizza informelles pour susciter l'enthousiasme et la confiance envers Sepsis Watch parmi leurs collègues infirmières. Ils ont également développé des tactiques de communication pour faciliter leurs appels avec les participants. Par exemple, ils ont décidé de ne passer qu'un seul appel par jour pour discuter de plusieurs patients à haut risque à la fois, au moment où les médecins étaient le moins occupés.

En plus de cela, les chefs de projet ont commencé à rendre compte régulièrement de l'impact de Sepsis Watch à la direction clinique. L'équipe du projet a découvert que tous les membres du personnel hospitalier ne pensaient pas que la mort induite par la septicémie était un problème à Duke Health. Les médecins, en particulier, qui n'avaient pas une vue d'ensemble des statistiques de l'hôpital, étaient beaucoup plus occupés par les urgences auxquelles ils étaient confrontés au jour le jour, comme les fractures et les maladies mentales graves. En conséquence, certains ont trouvé que Sepsis Watch était une nuisance. Mais pour la direction clinique, la septicémie était une énorme priorité, et plus ils voyaient Sepsis Watch fonctionner, plus ils contribuaient à graisser les engrenages de l'opération.

Changer les normes

Elish identifie deux facteurs principaux qui ont finalement contribué au succès de Sepsis Watch. Premièrement, l'outil a été adapté à un contexte hyper-local, hyper-spécifique : il a été développé pour le service des urgences de Duke Health et nulle part ailleurs. Ce développement vraiment sur mesure a été la clé du succès, dit-elle. Cela va à l'encontre des normes typiques de l'IA.

Deuxièmement, tout au long du processus de développement, l'équipe a régulièrement sollicité les commentaires des infirmières, des médecins et d'autres membres du personnel de haut en bas de la hiérarchie hospitalière. Cela a non seulement rendu l'outil plus convivial, mais a également formé un petit groupe de membres du personnel engagés pour aider à défendre son succès. Cela a également fait une différence que le projet ait été dirigé par les propres cliniciens de Duke Health, dit Elish, plutôt que par des technologues qui avaient parachuté d'une société de logiciels. Si vous n'avez pas d'algorithme explicable, dit-elle, vous devez instaurer la confiance par d'autres moyens.

Ces leçons sont très familières à Marzyeh Ghassemi, professeure adjointe entrante au MIT qui étudie les applications d'apprentissage automatique pour les soins de santé. Tous les systèmes d'apprentissage automatique destinés à être évalués ou utilisés par des humains doivent avoir à l'esprit des contraintes socio-techniques, dit-elle. Surtout dans les milieux cliniques, qui sont dirigés par des décideurs humains et impliquent de prendre soin des humains les plus vulnérables, les contraintes dont les gens doivent être conscients sont vraiment des contraintes humaines et logistiques, ajoute-t-elle.

Elish espère que son étude de cas sur Sepsis Watch convaincra les chercheurs de repenser la façon d'aborder la recherche médicale sur l'IA et le développement de l'IA en général. Une grande partie du travail en cours se concentre actuellement sur ce que l'IA pourrait être ou pourrait faire en théorie , elle dit. Il y a trop peu d'informations sur ce qui se passe réellement sur le terrain. Mais pour que l'IA tienne ses promesses, les gens doivent penser autant à l'intégration sociale qu'au développement technique.

Son travail soulève également de sérieuses questions. Une IA responsable doit exiger une attention au contexte local et spécifique, dit-elle. Mes lectures et ma formation m'ont appris qu'on ne peut pas simplement développer une chose à un endroit et ensuite la déployer ailleurs.

Le défi consiste donc en fait à comprendre comment nous gardons cette spécificité locale tout en essayant de travailler à grande échelle, ajoute-t-elle. C'est la prochaine frontière pour la recherche en IA.

cacher