L'IA médicale de Google était super précise dans un laboratoire. La vraie vie était une autre histoire.

Wikimédia Commons

La pandémie de covid-19 épuise les ressources hospitalières jusqu'au point de rupture dans de nombreux pays du monde. Il n'est pas surprenant que de nombreuses personnes espèrent que l'IA pourrait accélérer le dépistage des patients et alléger la pression sur le personnel clinique. Mais une étude de Google Health—la premier à examiner l'impact d'un outil d'apprentissage en profondeur dans des contextes cliniques réels — révèle que même les IA les plus précises peuvent en fait aggraver les choses si elles ne sont pas adaptées aux environnements cliniques dans lesquels elles travailleront.

Les règles existantes pour le déploiement de l'IA dans les environnements cliniques, telles que les normes d'autorisation de la FDA aux États-Unis ou un marquage CE en Europe, se concentrent principalement sur la précision. Il n'y a pas d'exigences explicites selon lesquelles une IA doit améliorer les résultats pour les patients, en grande partie parce que de tels essais n'ont pas encore été menés. Mais cela doit changer, déclare Emma Beede, chercheuse UX chez Google Health : Nous devons comprendre comment les outils d'IA vont fonctionner pour les gens en contexte, en particulier dans les soins de santé, avant qu'ils ne soient largement déployés.

La première occasion pour Google de tester l'outil dans un environnement réel est venue de Thaïlande. Le ministère de la Santé du pays s'est fixé pour objectif annuel de dépister 60 % des personnes atteintes de diabète pour la rétinopathie diabétique, qui peut entraîner la cécité si elle n'est pas détectée tôt. Mais avec environ 4,5 millions de patients pour seulement 200 spécialistes de la rétine, soit environ le double du ratio aux États-Unis, les cliniques ont du mal à atteindre l'objectif. Google a obtenu l'autorisation de marquage CE, qui couvre la Thaïlande, mais il attend toujours l'approbation de la FDA. Donc, pour voir si l'IA pouvait aider, Beede et ses collègues ont équipé 11 cliniques à travers le pays d'un système d'apprentissage en profondeur formé pour détecter les signes de maladie oculaire chez les patients atteints de diabète.

Dans le système utilisé par la Thaïlande, les infirmières prennent des photos des yeux des patients lors des contrôles et les envoient pour être examinées par un spécialiste ailleurs, un processus qui peut prendre jusqu'à 10 semaines. L'IA développée par Google Health peut identifier les signes de rétinopathie diabétique à partir d'un scanner oculaire avec une précision de plus de 90 % - ce que l'équipe appelle le niveau de spécialiste humain - et, en principe, donner un résultat en moins de 10 minutes. Le système analyse les images à la recherche d'indicateurs révélateurs de l'état, tels que des vaisseaux sanguins bloqués ou qui fuient.

En savoir plus sur le coronavirus

• Notre couverture la plus essentielle de covid-19 est gratuite, y compris :

  Qu'est-ce que l'immunité collective ?

  Qu'est-ce qu'un test sérologique ?

  
  
  

  Comment fonctionne le coronavirus ?

  Quels sont les traitements potentiels ?

  Quels médicaments fonctionnent le mieux?

  
  
  

  Quelle est la bonne façon de faire de la distanciation sociale ?

  Autres questions fréquemment posées sur le coronavirus

  ---

  
  
  

  Newsletter : Rapport technique sur le coronavirus

  Émission Zoom : Radio Corona

• Voir également:

  Toute notre couverture covid-19

  Le numéro spécial covid-19

• Veuillez cliquer ici pour vous abonner et soutenir notre journalisme à but non lucratif.

Des sons Impressionant. Mais une évaluation de la précision d'un laboratoire ne va que jusqu'à présent. Cela ne dit rien de la façon dont l'IA fonctionnera dans le chaos d'un environnement réel, et c'est ce que l'équipe de Google Health voulait découvrir. Pendant plusieurs mois, ils ont observé des infirmières effectuant des scans oculaires et les ont interrogées sur leurs expériences d'utilisation du nouveau système. Les retours n'étaient pas entièrement positifs.

Quand cela fonctionnait bien, l'IA accélérait les choses. Mais il n'a parfois pas donné de résultat du tout. Comme la plupart des systèmes de reconnaissance d'images, le modèle d'apprentissage en profondeur avait été entraîné sur des numérisations de haute qualité ; pour assurer la précision, il a été conçu pour rejeter les images qui tombaient en dessous d'un certain seuil de qualité. Avec des infirmières scannant des dizaines de patients par heure et prenant souvent les photos dans de mauvaises conditions d'éclairage, plus d'un cinquième des images ont été rejetées.

Les patients dont les images ont été expulsées du système ont été informés qu'ils devraient consulter un spécialiste dans une autre clinique un autre jour. S'ils avaient du mal à s'absenter du travail ou s'ils n'avaient pas de voiture, c'était évidemment gênant. Les infirmières se sentaient frustrées, surtout lorsqu'elles pensaient que les analyses rejetées ne montraient aucun signe de maladie et que les rendez-vous de suivi étaient inutiles. Ils perdaient parfois du temps à essayer de reprendre ou de retoucher une image que l'IA avait rejetée.

Une infirmière utilise le scanner rétinien, prenant des images de l'arrière de l'œil d'un patient. (Google)

Étant donné que le système devait télécharger des images sur le cloud pour le traitement, de mauvaises connexions Internet dans plusieurs cliniques ont également entraîné des retards. Les patients aiment les résultats instantanés, mais Internet est lent et les patients se plaignent ensuite, a déclaré une infirmière. Ils attendent ici depuis 6 heures du matin, et pendant les deux premières heures, nous n'avons pu dépister que 10 patients.

L'équipe Google Health travaille actuellement avec le personnel médical local pour concevoir de nouveaux flux de travail. Par exemple, les infirmières pourraient être formées à utiliser leur propre jugement dans les cas limites. Le modèle lui-même pourrait également être modifié pour mieux gérer les images imparfaites.

Risquer un contrecoup

Il s'agit d'une étude cruciale pour quiconque souhaite se salir les mains et mettre en œuvre des solutions d'IA dans des contextes réels, déclare Hamid Tizhoosh de l'Université de Waterloo au Canada, qui travaille sur l'IA pour l'imagerie médicale. Tizhoosh est très critique de ce qu'il considère comme une ruée vers l'annonce de nouveaux outils d'IA en réponse au covid-19. Dans certains cas, des outils sont développés et des modèles publiés par des équipes sans expertise en soins de santé, dit-il. Il considère l'étude de Google comme un rappel opportun que l'établissement de la précision dans un laboratoire n'est que la première étape.

Michael Abramoff, ophtalmologiste et informaticien aux hôpitaux et cliniques de l'Université de l'Iowa, développe depuis plusieurs années une IA pour diagnostiquer les maladies de la rétine et est PDG d'une startup dérivée appelée IDx Technologies, qui a collaboré avec IBM Watson. Abramoff a été une pom-pom girl de l'IA dans le domaine de la santé dans le passé, mais il met également en garde contre une précipitation, avertissant d'un contrecoup si les gens ont de mauvaises expériences avec l'IA. Je suis tellement content que Google montre qu'ils sont prêts à se pencher sur le flux de travail réel dans les cliniques, dit-il. Les soins de santé ne se limitent pas aux algorithmes.

Abramoff remet également en question l'utilité de comparer les outils d'IA avec des spécialistes humains en matière de précision. Bien sûr, nous ne voulons pas qu'une IA fasse un mauvais appel. Mais les médecins humains sont tout le temps en désaccord, dit-il, et c'est très bien. Un système d'IA doit s'intégrer dans un processus où les sources d'incertitude sont discutées plutôt que simplement rejetées.

Faites-le bien et le les avantages pourraient être énormes . Lorsque cela fonctionnait bien, Beede et ses collègues ont vu comment l'IA rendait encore meilleurs les gens qui faisaient bien leur travail. Il y avait une infirmière qui a examiné 1 000 patients par elle-même, et avec cet outil, elle est imparable, dit-elle. Les patients ne se souciaient pas vraiment que ce soit une IA plutôt qu'un humain lisant leurs images. Ils se souciaient davantage de ce que leur expérience allait être.

Correction : la ligne d'ouverture a été modifiée pour indiquer clairement que tous les pays ne sont pas dépassés.

cacher