Risques de l’IA en santé : les angles morts des hôpitaux

Les risques de l’IA en santé restent largement sous-estimés dans nos hôpitaux. Pourtant, je les observe chaque semaine depuis le lancement de JuliaShift en juin dernier. En effet, j’ai passé 17 ans au Service de Santé des Armées, puis 8 ans en MedTech comme PMO et Data PO. Ce parcours m’a appris à repérer ce qui fragilise un système avant qu’il ne cède.

Par ailleurs, j’ai démarré en pleine crise sectorielle. D’après l’état des lieux financier publié par France Biotech, 72 % des HealthTech françaises déclaraient des difficultés de trésorerie en juillet 2025, contre 63 % un an plus tôt. Ce n’était donc pas le moment idéal pour se lancer en solo. Ou, au contraire, c’était le moment où le besoin de conseil stratégique et opérationnel devenait criant.

Six mois plus tard, trois fragilités structurelles se dessinent. Elles concernent directement les DSI hospitaliers, les directions de l’innovation et les décideurs ministériels. Voici donc mon retour d’expérience, sans filtre.

Qui gère les risques de l’IA en santé à l’hôpital ?

Les grands éditeurs déploient déjà l’IA à grande échelle dans nos établissements. Par exemple, Doctolib annonce des fonctionnalités d’IA pour fluidifier les parcours patients¹. De même, Synapse Medicine intègre l’analyse prédictive dans ses outils d’aide à la prescription². Les investissements sont massifs et les promesses ambitieuses.

Cependant, une question persiste : où sont les « risk managers IA santé » dans les organigrammes hospitaliers ?

Un poste qui n’existe pas encore

Je ne cherche pas à faire une critique facile. En réalité, le problème est structurel, car ce poste n’existe tout simplement pas. Les agences publiques publient bien des guides sur l’innovation hospitalière. Elles y détaillent la culture collaborative, les structures organisationnelles et le soutien opérationnel. En revanche, elles restent silencieuses sur la gouvernance des risques algorithmiques.

Concrètement, vos équipes achètent donc des solutions d’IA sans grille d’analyse standardisée des vulnérabilités. Qui audite les protocoles de gestion des biais ? Qui évalue en interne les garanties médico-légales ? Et qui teste la robustesse des algorithmes face à des données inhabituelles ?

Ce que la finance a compris avant la santé

La comparaison avec la finance est édifiante. Là-bas, chaque grande structure nomme un directeur des risques. À l’hôpital, en revanche, la case reste vide. Ainsi, industrialiser un projet pilote d’IA réussi devient le vrai défi. Je l’ai d’ailleurs souligné sur LinkedIn après une publication de l’ANAP³ : l’innovation la plus difficile à gérer est celle qui fonctionne, puisqu’il faut ensuite la déployer à grande échelle et en toute sécurité.

Mon observation de terrain va dans le même sens. En six mois, je n’ai trouvé aucune offre d’emploi « risk manager IA santé » sur LinkedIn, alors que j’en comptais plus de 150 pour « chef de projet digital santé ». Les CHU recrutent certes des data scientists et des ingénieurs IA. Pourtant, ils ne recrutent pas de profils hybrides, capables d’évaluer à la fois la conformité réglementaire et la pertinence clinique des algorithmes.

Former à ChatGPT ne suffit pas à maîtriser les risques

ChatGPT a démocratisé l’IA générative. C’est d’abord une bonne nouvelle, puisque l’acculturation progresse et que les barrières psychologiques tombent. En revanche, les formations express du type « devenez expert IA santé en un jour » se multiplient.

Des « experts » formés sur YouTube

J’observe un phénomène précis. Certains formateurs ont eux-mêmes appris via des supports gratuits, comme YouTube, des webinaires ou la documentation publique. Or, ils facturent désormais des prestations « expert ». La question devient donc légitime : quelle valeur ajoutent-ils par rapport à ces ressources accessibles à tous ?

De plus, un autre schéma revient souvent. Certains republient des rapports institutionnels de l’ANSM, de la HAS ou de la CNIL sans analyse critique ni mise en contexte opérationnelle⁴. Ces profils connaissent souvent le monde de la santé. Toutefois, leur vision de la technologie reste biaisée, car ils maîtrisent mal son intégration dans les contraintes hospitalières réelles. Cet opportunisme se comprend dans un marché porteur. Néanmoins, il pénalise les décideurs qui investissent leurs budgets de formation.

Utiliser un outil ou gouverner un risque

Il existe en effet une différence critique entre deux compétences. D’un côté, maîtriser un prompt ChatGPT relève de l’usage et s’apprend en quelques heures. De l’autre, évaluer l’explicabilité d’une décision médicale assistée par IA demande des années de pratique réglementaire, clinique et technique.

Le manque de temps des soignants rend pourtant l’IA très séduisante. Selon une enquête Odoxa, 62 % des médecins hospitaliers déclarent manquer souvent ou toujours de temps, et les tâches administratives arrivent en tête des pertes de temps⁵. L’IA apparaît alors comme une solution miracle.

Mais former vos agents à ChatGPT ne les prépare pas à gérer les risques de l’IA en santé. Par exemple, ils ne sauront pas réaliser une analyse d’impact RGPD conforme, telle que la CNIL la décrit dans son guide sur l’AIPD. Ils ne sauront pas non plus auditer un hébergement HDS face à des traitements algorithmiques. Enfin, ils ne pourront ni corriger les biais d’un jeu de données d’entraînement, ni garantir la traçabilité des décisions en cas de contentieux médico-légal.

Vers un référentiel de compétences reconnu

Pour les décideurs publics, la question devient donc concrète. Comment choisir un prestataire de formation fiable ? Et quels critères distinguent l’acculturation technique de l’expertise réglementaire ?

C’est pourquoi l’écosystème a besoin d’un référentiel de compétences « expert IA santé », validé par une autorité comme la HAS ou l’ANSM⁶. Sans ce cadre, le marché restera une jungle où cohabitent experts chevronnés et certifications express.

Que faire si une IA médicale tombe en panne ?

La résilience désigne la capacité d’un système à absorber un choc tout en maintenant ses fonctions critiques. Or, c’est la grande absente des projets d’IA en santé.

Des projets sans plan B

Aujourd’hui, trop de projets misent sur l’innovation sans plan de continuité. Ils n’anticipent ni une défaillance algorithmique, ni un retrait réglementaire brutal. Par ailleurs, les modèles économiques dopés aux subventions publiques amplifient cette fragilité.

La crise MedTech actuelle en offre d’ailleurs un premier symptôme. Selon France Biotech, 29 % des HealthTech disposaient de moins de trois mois de trésorerie en juillet 2025, contre 24 % un an plus tôt. Autrement dit, un fournisseur d’IA peut disparaître du jour au lendemain, alors même que vos services dépendent de lui.

Le scénario que personne n’anticipe

Imaginons maintenant un cas concret. Une IA de diagnostic perd son marquage CE au titre du règlement MDR. Ou bien elle fait l’objet d’un rappel après la détection de biais discriminatoires. Votre établissement dispose-t-il alors d’un protocole dégradé validé ? Et vos équipes savent-elles basculer en mode manuel de secours ?

De plus, le règlement européen sur l’intelligence artificielle (AI Act) renforce progressivement les exigences pour les systèmes d’IA à haut risque, dont font partie de nombreux outils médicaux. Pourtant, combien d’établissements anticipent dès aujourd’hui ces contraintes ? C’est précisément là que les risques de l’IA en santé deviennent un sujet de direction, et pas seulement un sujet technique.

Les signaux faibles d’une crise annoncée

Vingt-cinq ans d’expérience m’ont appris une chose : j’ai souvent repéré des signaux précurseurs qui se sont ensuite confirmés. Je n’ai pourtant pas de boule de cristal. Simplement, je regarde les structures fragiles plutôt que les discours rassurants.

Toujours le même schéma

Que ce soit en milieu militaire, dans des projets MedTech sous-financés ou lors de déploiements d’IA mal préparés, les effondrements suivent le même schéma. D’abord, on ignore les signaux faibles. Ensuite, on compense par l’urgence et l’optimisme forcé. Enfin, survient l’incident qu’on qualifie d’« inattendu », alors que tous les ingrédients étaient visibles six mois plus tôt.

Trois signaux déjà visibles

Pour l’IA en santé publique, ces signaux sont déjà là. D’une part, aucun métier de gestion des risques n’existe vraiment. D’autre part, la formation se massifie sans montée en compétences réglementaires. Enfin, des modèles économiques fragiles restent masqués par les subventions publiques.

La vraie question n’est donc pas de savoir si les risques de l’IA en santé vont provoquer des crises. La question est plutôt de savoir quand. Et surtout, préparez-vous vos organisations dès maintenant ?

Comment préparer son établissement d’ici 2030 ?

Pour réduire les risques de l’IA en santé, l’écosystème doit d’abord se professionnaliser. Concrètement, cela passe par de nouveaux métiers, une checklist de résilience et des décisions institutionnelles.

Trois nouveaux métiers à créer

Le premier métier serait celui de risk manager IA santé. Il évaluerait les vulnérabilités et anticiperait la conformité. Ensuite, un auditeur de l’explicabilité des algorithmes garantirait la traçabilité des décisions médicales et leur solidité médico-légale. Enfin, un éthicien embarqué veillerait à la gouvernance des données, au consentement des patients et à la déontologie clinique.

La checklist de résilience minimale pour les DSI et DIM

Tout d’abord, formalisez un plan de continuité en cas de panne de l’IA. Ensuite, programmez des audits trimestriels sur l’explicabilité et les biais. Puis formez vos équipes au mode dégradé manuel, afin qu’elles sachent travailler sans l’outil. Enfin, évaluez dans vos contrats la propriété intellectuelle et le risque de dépendance à un fournisseur unique.

Ma conviction : compétences et efficience vont ensemble

Chez JuliaShift, je pense que la transformation de l’IA en santé publique exige à la fois une montée en compétences collective et une efficience financière. C’est pourquoi je propose des formations pour les décideurs et un accompagnement stratégique au déploiement e-santé (lien interne à compléter). L’objectif est simple : transformer ces angles morts en leviers de performance. Pas de théorie hors-sol, donc, mais du conseil opérationnel ancré dans les contraintes budgétaires réelles des établissements.

Trois décisions à prendre dès maintenant

J’appelle enfin les institutions à agir sur trois fronts. Premièrement, elles doivent créer des référentiels métiers de l’IA en santé, validés officiellement. Deuxièmement, elles doivent intégrer des grilles d’évaluation des risques dans les cahiers des charges des marchés publics hospitaliers. Troisièmement, il faut former massivement les décideurs, et pas seulement les utilisateurs finaux. Car c’est bien à ce niveau que se jouera la maîtrise des risques de l’IA en santé.

Notes et sources

¹ Doctolib, site officiel

² Synapse Medicine, site officiel

³ ANAP, Agence nationale de la performance sanitaire et médico-sociale

⁴ Haute Autorité de santé (HAS)

⁵ Le Quotidien du Médecin, « Comment traiter le manque de temps à l’hôpital ? », enquête Odoxa pour la MNH

⁶ Agence nationale de sécurité du médicament (ANSM)

Sources citées dans le texte : France Biotech, état des lieux financier des HealthTech, septembre 2025 · CNIL, analyse d’impact relative à la protection des données · Règlement (UE) 2024/1689 sur l’intelligence artificielle, EUR-Lex

On a financé la construction des entrepôts de données de santé. Pas leur usage.

Tout DSI hospitalier connaît la scène. Un appel à projets finance un équipement, puis l’équipe l’installe, le rend conforme et opérationnel. Pourtant, son usage réel ne ressemble jamais tout à fait à ce que la candidature annonçait. On l’impute en général à la conduite du changement ou au manque de temps médical.

Pour les entrepôts de données de santé, cependant, l’explication est plus simple. Et l’administration l’a elle-même écrite il y a trois ans et demi.

Ce que dit la note du 21 mars 2023

Ce jour-là, le groupe de travail Financement adresse une note au Comité stratégique du Système national des données de santé ¹. Elle constate que les établissements ne peuvent pas toujours analyser leurs données, faute de les avoir organisées en entrepôts. De plus, elle estime que l’absence de financement dédié peut expliquer cette sous-exploitation.

Le coût d’un entrepôt de données de santé

La note chiffre ensuite ce qu’il faudrait. Elle prévoit deux millions d’euros par an de développement pendant cinq ans, puis trois millions par an de fonctionnement. Ce modèle concerne une trentaine d’entrepôts de taille critique, soit soixante à quatre-vingt-dix millions d’euros par an.

Par ailleurs, une enquête auprès de six CHU situe le coût de fonctionnement annuel, hors mise en place, entre 707 000 et 1 940 000 euros. La médiane s’établit à 974 000 euros. Enfin, la note qualifie l’appel à projets alors en cours de financement d’amorçage considérable, mais sans perspective pérenne pour les établissements qui s’engagent.

Ce qui a été financé : 75 millions pour construire

L’appel à projets « Accompagnement et soutien à la constitution d’entrepôts de données de santé hospitaliers » démarre en juillet 2022. La DGOS le pilote et Bpifrance l’opère. Au total, il retient seize lauréats en deux vagues. Comme le précise le communiqué du gouvernement sur les lauréats, son enveloppe réunit quarante millions de France 2030 et trente-cinq millions de l’ONDAM. Elle passe ainsi de cinquante à soixante-quinze millions d’euros en mars 2023 ².

L’objet du financement figure dans son intitulé : constituer. Il s’agit donc d’acquérir l’infrastructure, de bâtir les chaînes d’extraction et de pseudonymisation, d’installer une gouvernance et d’homologuer la sécurité. En revanche, les documents publics de l’appel à projets ne conditionnent l’aide à aucun volume de réutilisation ultérieur.

Le résultat est donc conforme à l’intention. En effet, la cartographie du LINC, le laboratoire d’innovation numérique de la CNIL, recense cent vingt-cinq entrepôts au 1er septembre 2025. Les entrepôts existent.

Ce que l’on mesure de leur usage

Presque rien, et c’est le cœur du problème. Aucune instance ne publie d’indicateur national d’usage des entrepôts autorisés. Il n’existe ni suivi de leur activité, ni recensement des publications qui en sont issues, ni chiffrage des coûts de maintien que les établissements supportent sur fonds propres après la fin des subventions. Autrement dit, on sait combien d’entrepôts ont vu le jour. Mais on ne sait pas ce qu’ils produisent.

L’exception de l’entrepôt de l’AP-HP

Sauf en un endroit. La note de 2023 détaille en effet le cas de l’entrepôt de l’AP-HP, le premier autorisé et le plus doté. On y compte deux cent quarante et un projets déposés au comité scientifique et éthique et trente-quatre publications, dont neuf de rang A. Pourtant, seuls six pour cent des projets sont terminés.

Le premier chiffre circule volontiers, le dernier jamais. Ce chiffre n’accuse personne, toutefois. Il décrit simplement ce qui arrive quand on dote une infrastructure pour exister et non pour produire.

Un ralentissement des créations

Un second signal vient du LINC lui-même : trente et un entrepôts nouveaux en 2024, puis quatorze sur les huit premiers mois de 2025. Ainsi, la création ralentit au moment où l’amorçage s’épuise.

La correction : financer l’usage avec DAtAE

L’administration a vu le problème. C’est pourquoi le programme DAtAE finance l’usage plutôt que la construction. D’après le communiqué de juin 2024 du Health Data Hub, sa première campagne dote quinze projets dans neuf établissements pour 3,5 millions d’euros. Deux campagnes ont suivi depuis. De plus, la plus récente conditionne la recevabilité à une attestation de conformité de l’entrepôt hôte.

Graphique comparant le financement des entrepôts de données de santé : 75 millions d’euros pour les constituer contre 3,5 millions pour exploiter les données

Soixante-quinze millions pour bâtir, trois millions et demi pour la première campagne d’exploitation. Les deux dispositifs n’ont ni la même durée ni le même objet : la comparaison porte sur l’intention du financeur, pas sur un rendement.

Ce qu’il resterait à faire pour les entrepôts de données de santé

Il ne s’agit pas de regretter la dépense. Les entrepôts sont utiles, l’amorçage était nécessaire, et la France dispose d’un maillage qu’elle n’avait pas il y a cinq ans. Il s’agit plutôt de constater qu’un instrument conçu pour financer une construction ne produit pas, par lui-même, un usage. Pour approfondir ce sujet, lisez aussi notre article sur la gouvernance des données hospitalières.

D’ailleurs, l’administration a écrit le correctif en même temps que le diagnostic. La note de 2023 proposait en effet une part fixe couvrant le fonctionnement, sous des conditions vérifiables. Elle y ajoutait une part variable indexée sur l’activité : projets réalisés, publications, bases partagées au catalogue, délai d’accès, qualité des données. Or, aucun de ces indicateurs ne fait aujourd’hui l’objet d’une publication.

C’est donc la seule chose à demander : non pas davantage de crédits, mais des crédits de fonctionnement assortis d’une obligation de rendre compte. Car un entrepôt est un lieu de flux, il existe pour que quelque chose en sorte. Un entrepôt dont rien ne sort n’est pas un entrepôt, c’est un stock. Et au prochain arbitrage budgétaire, un stock ne se défend pas.

Vous voulez mieux comprendre les obstacles au financement ? Alors, découvrez nos autres articles consacrés au financement des startups et à l’innovation en santé. 

Sources

Health Data Hub, groupe de travail Financement, Note au Comité stratégique du Système national des données de santé : financement des entrepôts de données de santé au sein des CHU, 21 mars 2023. 

Ministère de l’Enseignement supérieur et de la Recherche, France 2030 : six premiers lauréats pour constituer et consolider des entrepôts de données de santé hospitaliers, 3 avril 2023. 

G_NIUS, page des lauréats de l’appel à projets Entrepôts de données de santé hospitaliers. 

LINC, CNIL, cartographie des entrepôts de données de santé, mise à jour 2025 (données au 1er septembre 2025). 

DGOS et Health Data Hub, Développer la recherche grâce aux entrepôts de données de santé hospitaliers : résultats du programme DAtAE, juin 2024. 

DGOS, note d’information n° DGOS/RI1/2025/150 du 16 octobre 2025 relative à l’appel à projets de recherche « Données de santé et Applications » pour l’année 2025. 

https://juliashift.eu

Consultant senior, gouvernance et gestion des risques de l'IA en santé | Fondateur de JuliaShift | Évaluateur Bpifrance (santé numérique) et Commission européenne (Horizon Europe) | Concepteur du module IA & santé, Université de Picardie Jules Verne (2IS)