Contrats de santé

Le système sera accompagné d’informations précises sur son fonctionnement, ses limites, la manière dont il parvient à un résultat donné et dont il contribue à une décision clinique, ainsi que sur l’identité et les coordonnées du fournisseur ou de ses représentants.

Il convient de s’assurer que le processus de génération des résultats du système est conforme aux exigences suivantes :

• Il est bien documenté dans un langage compréhensible et accessible afin que les utilisateurs cliniques puissent détecter les problèmes futurs.
• Il utilise le modèle le plus simple et le plus intelligent possible, dans un souci de transparence.
• Il tient compte des compétences et des connaissances de tous les utilisateurs en matière d’intelligence artificielle.
• Il effectue des enregistrements automatiques de son fonctionnement.
• Il est reproductible.

Le système d’IA sera accompagné de documents supplémentaires, si nécessaire, afin de permettre aux utilisateurs cliniques de comprendre son fonctionnement et de l’expliquer aux patients.

Les informations suivantes relatives au système seront documentées et rendues publiques:

• Son processus de développement et les personnes qui y ont participé.
• Les informations techniques nécessaires à son utilisation.
• Des instructions concises et claires, rédigées dans un langage accessible, sur son fonctionnement.
• Le processus par lequel le système parvient à un résultat donné et les résultats attendus.
• Les limites éventuelles du système.
• Les informations relatives à l’échange et à la cession de données, ainsi que les moyens et mécanismes permettant aux parties intéressées d’exercer leurs droits.

Le système sera doté d’un mécanisme permettant d’identifier le contenu généré à la suite de sa création.

Le système sera doté d’un mécanisme permettant d’identifier les variables cliniques les plus pertinentes utilisées lors de la réalisation d’une prédiction.

L’organisme de santé et les utilisateurs cliniques seront informés des indicateurs utilisés pour optimiser et valider le système d’IA, ainsi que de la méthodologie de validation utilisée pour développer le système.

Des mesures seront prises pour garantir que le niveau de transparence et d’explicabilité du système ne présente aucun risque pour la vie privée des personnes ou la sécurité du système lui-même.

ll sera garanti que le système a été validé en milieu clinique par des professionnels du domaine dans lequel il est destiné à être utilisé, que les résultats qu’il fournit sont bien expliqués et compréhensibles, qu’ils sont appropriés et qu’ils facilitent la tâche à accomplir.

Le système disposera des outils de communication suivants:

• Une fonction permettant aux utilisateurs cliniques et aux patients de commenter ses performances.
• Un système de notification en cas d’incident grave ou d’erreur.

Une procédure sera mise en place pour communiquer régulièrement des informations sur les décisions cliniques pour lesquelles les participants sont assistés par un système d’IA.

En ce qui concerne les données utilisées par le système, les exigences suivantes seront garanties:

• Le système sera accompagné d’une documentation concernant le type de données utilisées, leur origine et les modifications qu’elles ont subies à chaque étape de leur cycle de vie.
• Des mesures seront prises pour vérifier la représentativité et l’adéquation des données utilisées par rapport à la population à laquelle elles s’appliquent.
• Le système sera doté de mesures de protection permettant de vérifier l’âge des personnes.

Une politique de participation des différents groupes d’intérêt (parties prenantes) sera mise en place, y compris les utilisateurs cliniques et les patients.

Le système sera doté de mesures et de mécanismes permettant de détecter, de corriger et d’atténuer les erreurs éventuelles tout au long de son cycle de vie.

En particulier, les mesures viseront les niveaux inférieurs présents dans :

• La phase de conception ou de mise en œuvre.
• Les données de formation et post-formation.
• Catégories modifiées ou inadéquates.
• Les biais cognitifs (par exemple, le biais d’automaticité et le biais de confirmation).

Avant sa commercialisation/utilisation, le système sera soumis à une évaluation de l’impact de ses variations possibles, en particulier celles qui pourraient affecter les droits, la santé ou la sécurité des personnes.

Le système sera conforme aux normes de classification qui traitent des biais liés à l’âge, à l’origine ethnique, à la race, au sexe ou au handicap, conformément à la réglementation applicable.

Le système d’évaluation d’impact comprendra des mesures d’inclusion et d’équité, notamment en ce qui concerne les aspects suivants:

• Test des résultats du système pour différents groupes concernés.
• Mesures visant à améliorer l’accessibilité.
• Mesures visant à encourager son utilisation par les personnes en situation de vulnérabilité.

Mesures visant à garantir que le système s’adapte à un large éventail de préférences et de capacités individuelles.

Le groupe chargé du développement du système d’IA devrait inclure des personnes non masculines, issues de milieux ou de cultures divers et de différentes disciplines (au-delà des sciences des données, de l’ingénierie et des sciences de la santé).

Le système sera accompagné des informations suivantes:

• Le niveau de précision et de sécurité du système.
• La manière et le degré d’influence que les actions des utilisateurs peuvent avoir sur les performances du système.
• Les comportements et scénarios possibles qui ne doivent jamais être transgressés afin de garantir la sécurité et de préserver la non-malfaisance du système.
• Les mécanismes de supervision et de contrôle du système (tant internes qu’externes).
• Les guides d’utilisation et les meilleures pratiques pour les systèmes d’IA rédigés dans un langage accessible aux utilisateurs cliniques.

Le système disposera de mécanismes clairs et définis permettant aux utilisateurs cliniques de contacter les développeurs du système d’IA lorsque cela est nécessaire.

Le système doit disposer de mécanismes garantissant la mise à jour périodique des informations disponibles sur les performances du système d’IA.

Avant sa commercialisation/utilisation, le système sera soumis à une évaluation qui tiendra compte des aspects suivants:

• Les impacts possibles du système sur la santé, la sécurité et les droits des personnes concernées.
• Le risque que les données collectées, générées ou utilisées par le système soient utilisées pour discriminer les personnes de manière négative.
• Les risques et dommages potentiels que le système pourrait causer en cas de prévisions inexactes dans les scénarios prévus.
• Les risques liés à l’utilisation du système au-delà de ses utilisations prévues.
• Les risques éventuels découlant du fait que des personnes issues d’une spécialité clinique différente de celle de l’acteur principal sont impliquées dans le déploiement de la solution.

Le système comprendra les mesures suivantes :

• Mesures de résistance contre les erreurs résultant de l’interaction avec d’autres systèmes ou personnes.
• Mesures de résistance et d’atténuation des erreurs résultant de tentatives de manipulation par des personnes non autorisées.
• Méthodologies d’évaluation périodique ou d’auto-évaluation reconnues pour garantir le bon fonctionnement du système et prévoir d’éventuels dysfonctionnements.

Il sera garanti qu’avant sa commercialisation/utilisation, le système aura été soumis à des évaluations qui corroborent sa conformité aux exigences légales applicables.

Le système disposera de moyens permettant les fonctions suivantes :

• Identifier, évaluer et adopter des mesures concernant les risques découlant de son utilisation et des données collectées après sa mise en service.
• Signaler les risques résiduels du système qui n’ont pas été corrigés ou atténués.

Le système sera équipé d’outils permettant de valider et de comparer cliniquement les résultats.

Avant l’utilisation/la commercialisation du système, il sera déterminé :

• Quelle sera la contribution du système dans la prise de décision clinique.
• Le degré de responsabilité des personnes impliquées dans le contrôle, le fonctionnement et la supervision humaine du système.

Les personnes responsables de la mise à jour du système.

Il fournira aux personnes impliquées dans le contrôle des décisions prises par le système, en particulier les utilisateurs cliniques, une formation adéquate afin qu’elles aient une compréhension suffisante de son fonctionnement et disposent de la formation nécessaire pour exercer cette fonction

Le système disposera des outils qui permettront aux personnes chargées de son contrôle :

• d’intervenir, de modifier, d’éliminer ou d’annuler les décisions prises par le système.
• d’apporter des modifications au protocole clinique pour le traitement des données et l’utilisation du système.
• De limiter l’utilisation du système à des groupes de patients ou à des contextes cliniques spécifiques lorsque ses performances sont inacceptables.

Le système sera accompagné d’informations et de documentation relatives aux aspects suivants :

• Les limites des mécanismes de contrôle du système.
• Les mesures de supervision humaine disponibles dans le système.

Il sera garanti que des experts cliniques ont participé au développement du système dans le contexte de la solution, afin que le développeur en ait eu connaissance.

Avant l’utilisation/la commercialisation du système, il sera déterminé :

• La personne légalement responsable des actions et/ou décisions prises tout au long du cycle de vie, en particulier le degré de responsabilité attribué à l’utilisateur clinique, à l’organisme de santé auquel il appartient et au créateur du système.
• Les mécanismes de révision périodique de la responsabilité et de vérification des comptes avec les différents agents impliqués dans le développement et l’utilisation du système d’IA.

Avant la commercialisation/l’utilisation du système, les mesures suivantes seront prises :

• Faciliter la démonstration de la conformité à la législation en vigueur.
• Déterminer les formes de réparation ou d’indemnisation en cas de dommages causés par le système, qui incluront la responsabilité des personnes ayant créé le système, le cas échéant.
• Déterminer les chiffres de protection pour les utilisateurs et les personnes concernées par le système.
• Déterminer si le système d’IA peut être considéré comme un dispositif médical au sens du règlement sur les dispositifs médicaux (MDR) ou un dispositif de diagnostic in vitro (IVDR) et comment il serait classé selon ces règlements.

Le système sera doté de mécanismes de protection des données tout au long de son cycle de vie afin de garantir les aspects suivants :

• Que les données à caractère personnel soient traitées conformément au niveau de protection légalement requis afin d’éviter toute utilisation abusive, altération, perte ou élimination par des tiers.
• Que les données fournies par la personne concernée ne soient pas vendues, enregistrées ou transférées sans son consentement.
• Que le système dispose de processus permettant de maintenir ou d’améliorer la confidentialité et la protection des données tout au long de son cycle de vie.
• Que des techniques d’anonymisation, de cryptage et d’agrégation soient utilisées.
• Qu’il existe un protocole pour obtenir le consentement des personnes concernées avant d’initier tout traitement de données par le système, et que les informations relatives à ces actions soient compréhensibles et accessibles à tous les utilisateurs potentiels, y compris ceux ayant des besoins particuliers.
• Qu’il existe un mécanisme permettant à la personne concernée de demander la suppression de ses informations.

Le système conservera un enregistrement des informations relatives à l’accès aux données qui identifiera clairement qui accède aux données, quand et dans quel but.

Des mesures seront prises pour garantir que les personnes chargées du traitement et de la gestion des données possèdent les compétences nécessaires pour exercer ces fonctions et disposent de connaissances actualisées en la matière.

Afin de garantir l’adéquation et la réutilisabilité des données utilisées par le système, les mesures suivantes seront prises :

• Une procédure sera mise en place pour garantir que les ensembles de données utilisés sont adéquats et pertinents par rapport aux performances et aux résultats attendus du système et qu’ils sont adaptés au contexte dans lequel le système sera utilisé.
• Le processus de collecte et de préparation des données utilisées sera documenté.
• Le système utilisera des mesures de protection de la vie privée (telles que la pseudonymisation des données) et limitera la réutilisation des données personnelles sensibles.

Le système est/a été conçu de manière à garantir qu’il respecte les principes de minimisation et de protection des données dès la conception et par défaut.

Le système sera accompagné d’un processus d’évaluation visant à garantir qu’il ne réduit pas le nombre de choix possibles et ne les oblige ni ne les contraint à prendre certaines décisions en général ou à un stade quelconque de leur cycle de vie.

Le système sera accompagné d’une procédure qui permettra aux patients de s’interroger sur :

• Les résultats et l’utilisation prévue du système.
• Les aspects spécifiques liés à l’utilisation de leurs données.
• Les lacunes existantes, les processus de validation et les performances attendues du système d’IA.
• La répartition de la contribution à la prise de décision entre le système d’IA et l’utilisateur clinique.

Le système sera accompagné d’un protocole de vérification afin de certifier qu’il aide les personnes à prendre des décisions plus éclairées et de meilleure qualité.

Le système comprendra des mécanismes garantissant les aspects suivants :

• Que les utilisateurs cliniques soient conscients qu’ils interagissent avec une intelligence artificielle et qu’ils soient suffisamment formés et informés pour le faire.
• Que les patients soient informés de leur exposition au système d’IA et de son fonctionnement.
• Il ne compromet pas les niveaux d’autonomie des utilisateurs cliniques ou des patients et s’adapte aux différentes préférences et besoins.

Le système disposera des mécanismes suivants :

• Des mesures de supervision humaine permettant de gérer leur degré d’autonomie et d’adaptabilité.
• Mécanisme permettant de limiter le degré d’autonomie du système afin d’éviter tout comportement indésirable ou à haut risque.
• S’adapter et apprendre de son environnement sans compromettre la sécurité et les normes éthiques.

Elle garantira que la conception, la mise en œuvre et l’utilisation du système tiennent compte des limites et des obstacles découlant de la fracture numérique et de l’inégalité d’accès social.

Avant sa commercialisation et/ou son utilisation, le système fera l’objet d’une évaluation de son impact sur les droits de l’homme, la sécurité, la santé et l’environnement.

Cette évaluation prendra particulièrement en considération les domaines suivants :

• Impact sur les droits du travail du personnel de l’organisme de santé.
• Impact et risques liés au développement durable.
• Mesures de rémunération équitable et de traitement éthique des personnes impliquées dans toutes les phases du cycle de vie du système et celles affectées par sa mise en œuvre et son utilisation.

Le système sera doté de mécanismes lui permettant d’enregistrer sa consommation d’énergie et son impact environnemental tout au long de son cycle de vie.

Avant sa commercialisation et/ou son utilisation, le système sera soumis à une évaluation portant au minimum sur les aspects suivants :

• L’efficacité énergétique du système.
• L’exploration de l’utilisation de sources d’énergie renouvelables et de pratiques informatiques écologiques.