De nouvelles normes pour les essais cliniques sur l'IA aideront à repérer l'huile de serpent et le battage médiatique

Kyle McDonald/Flickr

Les nouvelles: Un consortium international d'experts médicaux a introduit les premières normes officielles pour les essais cliniques impliquant l'intelligence artificielle. Cette décision intervient à un moment où le battage médiatique autour de l'IA médicale est à son apogée, avec des affirmations exagérées et non vérifiées sur l'efficacité de certains outils menaçant de saper la confiance des gens dans l'IA en général.

Ce que cela veut dire: Annoncé en Médecine naturelle , le British Medical Journal et le Lancet, les nouvelles normes étendent deux ensembles de lignes directrices sur la manière dont les essais cliniques sont menés et rapportés qui sont déjà utilisés dans le monde pour le développement de médicaments, les tests de diagnostic et d'autres interventions médicales. Les chercheurs en IA devront désormais décrire les compétences nécessaires pour utiliser un outil d'IA, le cadre dans lequel l'IA est évaluée, des détails sur comment les humains interagissent avec l'IA , l'analyse des cas d'erreur, etc.

Pourquoi est-ce important: Les essais contrôlés randomisés sont le moyen le plus fiable de démontrer l'efficacité et l'innocuité d'un traitement ou d'une technique clinique. Ils sous-tendent à la fois la pratique médicale et la politique de santé. Mais leur fiabilité dépend du respect par les chercheurs de directives strictes sur la manière dont leurs essais sont menés et rapportés. Au cours des dernières années, de nombreux nouveaux outils d'IA ont été développés et décrits dans des revues médicales, mais leur efficacité a été difficile à comparer et à évaluer car la qualité des modèles d'essais varie. En mars, une étude au BMJ a averti que des recherches médiocres et des affirmations exagérées sur la qualité de l'IA dans l'analyse d'images médicales représentaient un risque pour des millions de patients.

Pic de battage publicitaire : L'absence de normes communes a également permis aux entreprises privées de se vanter de l'efficacité de leur IA sans faire face à l'examen minutieux appliqué à d'autres types d'interventions ou de diagnostics médicaux. Par exemple, la société de santé numérique basée au Royaume-Uni Babylon Santé a été critiqué en 2018 pour avoir annoncé que son chatbot de diagnostic était à égalité avec les médecins humains, sur la base d'un test que les critiques ont soutenu était trompeur.

Babylon Health est loin d'être seul. Les développeurs affirment que les IA médicales surpassent ou égalent les capacités humaines depuis un certain temps, et la pandémie a accéléré cette tendance alors que les entreprises se font concurrence pour faire remarquer leurs outils. Dans la plupart des cas, l'évaluation de ces IA se fait en interne et dans des conditions favorables.

Promesse future : Cela ne veut pas dire que l'IA ne peut pas battre les médecins humains. En fait, la première évaluation indépendante d'un outil de diagnostic d'IA qui a surpassé les humains dans la détection du cancer sur les mammographies a été publié seulement le mois dernier . L'étude a révélé qu'un outil fabriqué par Lunit AI et utilisé dans certains hôpitaux de Corée du Sud s'est classé au milieu du peloton de radiologues contre lequel il a été testé. Il était encore plus précis lorsqu'il était associé à un médecin humain. En séparant le bien du mal, les nouvelles normes faciliteront ce type d'évaluation indépendante, ce qui conduira finalement à une IA médicale meilleure et plus fiable.

cacher