L'IA dans les hôpitaux: solution miracle ou surcharge numérique?
Un peu plus de deux ans après le lancement à grande échelle de ChatGPT, les premières dispositions du règlement européen sur l'intelligence artificielle (AI Act) sont entrées en vigueur. Dès qu'un employé est amené à toucher à l'IA pour son travail, son entreprise est concernée par ces obligations. L'hôpital n'y échappe pas.
9 Quels systèmes d'IA sont interdits en hôpital?
Applicable depuis le 2 février 2025, la première nouveauté apportée par le règlement veut que toute entreprise doit s'assurer que son personnel, ainsi que toute personne exploitant ou utilisant des systèmes d'IA en son nom, possède une maître suffisante de l'IA. "Cet instrument juridique vise à garantir la sécurité des travailleurs et des employeurs, mais également le respect des droits fondamentaux", explique Laura Couchard, experte juridique chez Acerta. "Ce que le règlement invite implicitement à faire, c'est de cartographier les besoins en matière d'intelligence artificielle et les formations ou l'accompagnement nécessaires en fonction de ceux-ci. L'attention de l'UE sur le respect des droits fondamentaux transparait également dans la catégorisation que le règlement opère en termes de risques posés par l'IA."
Les risques inacceptables interdits
Ces catégories de risques, c'est ce qui permet de classer un système d'IA en fonction de sa dangerosité au regard des normes et valeurs européennes fondamentales. On distingue les "risques inacceptables" et les "hauts risques". Les applications d'IA faisant courir des risques inacceptables aux citoyens européens sont purement et simplement interdits. On cite par exemple les systèmes d'IA qui évaluent les personnes sur base de leur comportement social ou de leurs caractéristiques personnelles (procédé qualifié de "scoring social").
Si ces applications peuvent sembler relever d'une série dystopique, on peut pourtant imaginer des cas très concrets dans le monde du travail. "Le screening de CV est déjà facilité par l'IA", relève Laura Couchard. "On pourrait imaginer qu'un employeur utilise l'IA pour systématiser une recherche à propos des candidats sur le web et sur leurs réseaux sociaux dans le but de déduire ses comportements et de lui attribuer un score social. Ce serait tomber dans la portée de ces systèmes d'IA interdits."
Le tri par IA aux urgences, très balisé
Concernant les systèmes d'IA à haut risque, l'Union se veut également vigilante. Dans les considérants de son règlement, elle reconnait un domaine dans lequel l'utilisation de l'IA mérite une attention particulière: les services de soins de santé. Les personnes physiques qui demandent à bénéficier de ces services en sont généralement tributaires et se trouvent dans une situation vulnérable par rapport aux autorités compétentes. "Lorsqu'ils sont utilisés pour déterminer si ces prestations et services devraient être accordés, refusés, réduits, révoqués ou récupérés par les autorités, y compris pour déterminer si les bénéficiaires y ont légitimement droit, les systèmes d'IA peuvent avoir une grande incidence sur les moyens de subsistance des personnes", précise le règlement.
Chose rare, le texte mentionne un exemple concret qui intéressera directement les hôpitaux: les "systèmes d'IA destinés à évaluer et hiérarchiser les appels d'urgence émanant de personnes physiques ou à être utilisés pour envoyer ou établir des priorités dans l'envoi des services d'intervention d'urgence, y compris par la police, les pompiers et l'assistance médicale, ainsi que pour les systèmes de tri des patients admis dans les services de santé d'urgence" figurent en bonne position dans la liste des systèmes automatiquement considérés à haut risque par l'UE (point 5, d, de l'Annexe III au règlement IA).
Une mention sur la liste de cette "Annexe III" ne vaut pas interdiction d'office. Mais, compte tenu de ses enjeux sur le droit fondamental à la santé et la situation vulnérable des patients qui contactent les urgences, l'usage d'un tel système d'IA est fortement encadré (entendez presque "dissuadé", vu le nombre d'obligations liées). Ce système de tri des urgences par IA sera ainsi soumis au respect d'obligations variées, y compris, mais pas uniquement: l'établissement d'un système de gestion des risques, la qualité des jeux de données d'entraînement, l'enregistrement des événements pendant toute la durée de vie du système d'IA, la possibilité d'un contrôle humain effectif pendant son utilisation... Une bonne équipe juridique est donc recommandée si le déploiement d'un tel système est envisagé!