Questionnaire

Évaluation de la conformité

La AI Act impose aux fournisseurs de systèmes à haut risque de soumettre leur IA à une évaluation de conformité (art. 16). Celle-ci consiste à démontrer que le système en question est conforme aux exigences imposées par la AI Act.
Le règlement prévoit différentes modalités d’évaluation en fonction de l’objectif visé par le système à haut risque.

1. Procédure d’évaluation interne visée à l’annexe VI de la AI Act.

Quels sont les systèmes qui doivent faire l’objet de cette évaluation ?

• Catégorisation ou systèmes d’identification biométrique et de reconnaissance des émotions.
• Systèmes utilisés dans les infrastructures critiques.
• Systèmes utilisés dans le domaine de l’enseignement et de la formation professionnels.
• Systèmes utilisés dans le domaine de l’emploi, de la gestion des travailleurs et de l’accès au travail indépendant.
• Systèmes utilisés dans le domaine de l’accès et de l’utilisation des services et prestations essentiels (publics ou privés).
• Systèmes utilisés dans le domaine de l’application de la loi.
• Systèmes utilisés dans le domaine de la migration, de l’asile et du contrôle des frontières.
• Systèmes utilisés dans le domaine de l’administration de la justice et des processus démocratiques.

Comment fonctionne cette procédure ?

Il s’agit d’une évaluation interne, c’est-à-dire réalisée par le fournisseur du système, au cours de laquelle les aspects suivants doivent être vérifiés :

• Qu’un système de gestion de la qualité conforme aux exigences de l’article 17 de la loi sur l’AI a été mis en place.
• Que les informations contenues dans la documentation technique ont été examinées pour vérifier leur conformité avec les exigences applicables aux systèmes à haut risque.
• Que le processus de conception et de développement du système, ainsi que sa surveillance après commercialisation, sont cohérents avec les informations contenues dans la documentation technique.

2. Procédure d’évaluation externe, basée sur l’évaluation du système de gestion de la qualité et de la documentation technique, avec la participation d’un organisme notifié, tel que visé à l’annexe VII de la AI Act sur les inspections internes.

Quels sont les systèmes qui doivent faire l’objet de cette évaluation ?

Ce mode d’évaluation est obligatoire pour les systèmes de catégorisation ou d’identification biométrique et de reconnaissance des émotions dans les circonstances suivantes :

• Lorsque l’Union Européenne n’a pas établi de normes harmonisées ou de spécifications communes applicables.
• Lorsque ces normes harmonisées ou spécifications communes existent, mais que le fournisseur ne les a pas mises en œuvre.
• Lorsque l’une des normes harmonisées visées au point a) a été publiée avec une restriction (c’est-à-dire qu’elle ne couvre pas tous les éléments à évaluer), les questions couvertes par la restriction doivent faire l’objet de cette option d’évaluation.

Même si les circonstances susmentionnées ne s’appliquent pas, les fournisseurs de systèmes de catégorisation ou d’identification biométrique et de reconnaissance des émotions peuvent, s’ils le souhaitent, se soumettre volontairement à cette procédure d’évaluation en lieu et place de la procédure interne prévue à l’annexe VI.

Comment fonctionne cette procédure ?

L’évaluation sera effectuée par un organisme externe appelé « organisme notifié ». Il s’agit d’organisations indépendantes des fournisseurs, désignées par l’autorité compétente de chaque État membre pour effectuer des tâches d’évaluation.

L’évaluation de la conformité comprend les parties suivantes :

• Évaluation du système de gestion de la qualité :
  • Le fournisseur doit introduire une demande d’évaluation du système de gestion de la qualité de son système auprès de l’organisme notifié de son choix.
  • La demande doit comprendre les informations détaillées au point 3 de l’annexe VII de la AI Act.
  • L’organisme notifié notifie au fournisseur les conclusions de l’évaluation et sa décision motivée.
  • Toute modification envisagée du système de gestion de la qualité doit être notifiée à l’organisme notifié, qui décide si le système reste conforme aux exigences légales ou s’il doit être réévalué.

• Contrôle de la documentation technique :
  • Le fournisseur doit envoyer une demande d’évaluation de la documentation technique du système à l’organisme notifié de son choix.
  • La demande doit comprendre les informations détaillées au point 4 de l’annexe VII de la AI Act.
  • L’organisme notifié peut exiger un accès complet aux données de formation, de validation et d’essai utilisées et/ou demander des preuves supplémentaires. Si ces moyens sont insuffisants, il peut également demander en dernier recours l’accès aux modèles de formation du système.
  • L’organisme notifié transmet les conclusions de l’évaluation et sa décision motivée.
  • Si l’évaluation est positive, l’organisme notifié délivre un certificat.
  • Toute modification susceptible d’affecter la conformité aux exigences légales ou la destination du système doit être signalée à l’organisme notifié, qui décide si le système doit être réévalué ou s’il est possible de traiter les modifications de manière isolée. Dans ce dernier cas, l’organisme délivre un complément au certificat.

• Surveillance du système de gestion de la qualité approuvé :
  • Après approbation du système de gestion de la qualité, l’organisme notifié contrôle sa bonne mise en œuvre.
  • Le fournisseur permet à l’organisme notifié d’accéder aux installations où le système est conçu, mis au point et testé et partage toutes les informations nécessaires.
  • L’organisme notifié effectue des audits périodiques et fournit au fournisseur les rapports qui en résultent. Dans le cadre de ces audits, l’organisme notifié peut effectuer des essais complémentaires.

3. Procédure d’évaluation spécifique pour certains systèmes :

Quels sont les systèmes qui doivent faire l’objet de cette évaluation ?

Systèmes soumis aux réglementations énumérées à l’annexe I, section A, de la loi sur l’analyse d’impact. Il s’agit notamment des systèmes suivants

• Jouets ;
• Bateaux de plaisance et jet skis ;
• Ascenseurs ;
• Appareils et systèmes de protection utilisés dans des atmosphères potentiellement explosives ;
• Équipement radio ;
• Équipements sous pression ;
• Installations de téléphérique ;
• Équipement de protection individuelle, équipement de protection des combustibles gazeux ;
• Dispositifs médicaux et produits de diagnostic in vitro ;
• Machines répondant à la définition de la directive 2006/42/CE). 

Comment fonctionne cette procédure ?

• Les systèmes d’IA sont soumis aux évaluations de conformité prévues par les règlements énumérés à l’annexe I, section A, de la AI Act (ceux mentionnés ci-dessus) auxquels ils sont soumis.
• Lors de la réalisation des évaluations susmentionnées, il sera nécessaire d’intégrer l’examen du respect des obligations imposées par la loi sur l’analyse d’impact aux systèmes d’analyse d’impact à haut risque. Dans certains cas, les organismes ayant le statut d’organismes notifiés en vertu des actes juridiques susmentionnés seront en mesure d’effectuer cette partie de l’évaluation, lorsque certaines exigences de l’article 31 de la loi sur l’inspection interne ont été prises en compte pour acquérir le statut d’organismes notifiés.
• En outre, dans le cadre de l’évaluation de la conformité, le contrôle de la documentation technique qui fait partie de la procédure d’évaluation externe décrite à l’annexe VII de la loi sur les inspections internes (et qui a été expliquée dans la section précédente) doit également être effectué dans le cadre de l’évaluation de la conformité.
• Dans les cas où ces autres règles permettent au fournisseur de ne pas se soumettre à l’évaluation externe, le fournisseur peut également choisir cette option en ce qui concerne les normes de la loi sur l’analyse d’impact, à condition que l’Union européenne ait créé des normes harmonisées relatives à ces questions et que le fournisseur les ait mises en œuvre.

Indépendamment de la procédure applicable, si le système est modifié de manière substantielle après avoir passé l’évaluation, il doit faire l’objet d’une nouvelle évaluation de la conformité.

À cette fin, les changements apportés aux systèmes qui continuent à apprendre après leur développement ne constituent pas une modification substantielle, à condition qu’ils aient été prédéterminés avant l’évaluation initiale de la conformité et qu’ils soient couverts par la documentation technique.

Évaluation de l’impact sur les droits fondamentaux

L’article 27 de la loi sur l’AI exigé que certains systèmes fassent l’objet, avant leur développement, d’une évaluation de l’impact que leur utilisation peut avoir sur les droits fondamentaux.

Cette évaluation est obligatoire dans les cas suivants :

• Lorsqu’un organisme public ou un organisme privé fournissant des services publics déploie un système d’AI pour l’un des domaines suivants :
  • Identification ou catégorisation biométrique et reconnaissance des émotions.
  • Éducation et formation professionnelle.
  • L’emploi, la gestion des employés et l’accès à l’emploi indépendant.
  • Accès et jouissance des services et avantages essentiels (publics ou privés).
  • Application de la loi.
  • Migration, asile et contrôle des frontières.
  • Administration de la justice et processus démocratiques.

• En tout état de cause, lorsqu’un système d’IA est développé à l’une des fins suivantes :
  • Évaluer la solvabilité des personnes physiques ou établir leur cote de crédit, à l’exception des systèmes d’IA utilisés pour détecter les fraudes financières.
  • Évaluer les risques et la tarification en fonction des individus dans le cas de l’assurance vie et de l’assurance maladie.

L’évaluation de l’impact sur les droits fondamentaux doit inclure les aspects suivants :

• Une description des processus dans lesquels le développeur utilisera le système d’IA conformément à l’objectif visé par le système d’IA.
• Une description de la période et de la fréquence d’utilisation du système.
• Les catégories d’individus et de groupes susceptibles d’être affectés par l’utilisation du système dans le contexte spécifique dans lequel il sera utilisé.
• Les risques spécifiques de préjudice susceptibles d’affecter les catégories de personnes ou les groupes de personnes identifiés.
• Une description des mesures de surveillance humaine à appliquer conformément au mode d’emploi du système.
• Les mesures envisagées en cas de matérialisation de ces risques, y compris les mécanismes de gouvernance interne et de dénonciation.
• Lorsque certains des éléments susmentionnés font également l’objet de l’analyse d’impact relative à la protection des données prévue à l’article 35 du règlement (UE) 2016/679 ou à l’article 27 de la directive (UE) 2016/680, les deux évaluations sont effectuées conjointement.

Une fois l’évaluation effectuée, il faudra remplir le formulaire qui sera élaboré par l’Office AI de l’UE (pas encore disponible). Il devra être soumis à l’autorité de surveillance du marché compétente.

L’évaluation ne doit être effectuée qu’avant la première utilisation du système. Lors des utilisations ultérieures du système dans des circonstances similaires, il est possible de s’appuyer sur les évaluations effectuées précédemment, voire sur celles qui ont été réalisées par le fournisseur.

En cas de changement affectant les questions évaluées, les informations devront être mises à jour.

Obligations de transparence

Parmi les nombreuses règles établies par la AI Act., il existe des obligations de transparence qui sont disséminées dans les articles du règlement et ses annexes.

Pour faciliter la compréhension de ces exigences, voici un schéma qui résume les règles de transparence établies par la loi.

Obligations de transparence pour les systèmes à haut risque :

Selon l’article 13, les systèmes à haut risque doivent être conçus et développés de manière à ce que leur fonctionnement soit suffisamment transparent pour permettre aux développeurs d’interpréter leurs résultats et de les utiliser correctement.

À cette fin, et afin de satisfaire aux exigences de la AI Act. pour les systèmes à haut risque, les systèmes doivent être accompagnés de la documentation technique prévue à l’article 11 et à l’annexe IV de la loi. Cette documentation technique comprend les instructions d’utilisation du système. En bref, le contenu minimum requis par ces documents est le suivant :

• Une vue d’ensemble du système. Elle comprend
  • L’identité et les coordonnées du fournisseur et de son représentant autorisé, le cas échéant.
  • Description de la version du système reflétant sa relation avec les versions précédentes.
  • Informations permettant aux développeurs d’interpréter les réponses du système et de l’utiliser de manière appropriée.
  • Les ressources informatiques et matérielles requises, la durée de vie prévue du système d’IA à haut risque et toute mesure de maintenance et d’entretien nécessaire pour garantir le bon fonctionnement du système.
  • Une description des mécanismes inclus dans le système d’AI pour permettre aux utilisateurs de collecter, de stocker et d’interpréter correctement les enregistrements de son fonctionnement.
  • La façon dont le système peut interagir avec du matériel ou des logiciels qui ne font pas partie du système d’IA lui-même.
  • Les versions du logiciel ou du microprogramme concernées et toutes les exigences liées à la mise à niveau de la version.
  • La description de toutes les manières dont le système d’IA est mis sur le marché ou mis en service.
  • Lorsque le système d’IA est un composant de produits, des photographies ou des illustrations montrant les caractéristiques extérieures, le marquage et la disposition intérieure de ces produits.

• Une description détaillée des éléments du système d’IA et du processus de son développement. Il s’agit notamment de :
  • Les méthodes et les étapes suivies pour le développement du système d’IA, et compris l’utilisation éventuelle d’autres systèmes déjà formés.
  • La description de la conception du système, qui comprend la logique générale du système d’IA et des algorithmes, ainsi que les choix clés en matière de conception.
  • La description de l’architecture du système.
  • Fiches décrivant les méthodologies et techniques de formation et les ensembles de données de formation utilisés, compris une description générale de ces ensembles de données, des informations sur leur provenance, leur portée, leur traitement et leurs principales caractéristiques.
  • Évaluation des mesures de surveillance humaine prévues.
  • Les modifications du système qui ont été prédéterminées par le fournisseur au moment de l’évaluation initiale de la conformité, le cas échéant.
  • Les procédures de validation et de test utilisées, et compris des informations sur les données de validation et de test utilisées, les paramètres utilisés pour mesurer la précision et la robustesse, ainsi que les impacts potentiellement discriminatoires.
  • Registres d’essais et tous les rapports d’essais datés et signés par les personnes responsables.
  • Mesures de cybersécurité en place.

• Informations sur la surveillance, le fonctionnement et le contrôle du système. Il s’agit notamment des éléments suivants
  • Leurs capacités et leurs limites, ainsi que le degré de précision attendu, à la fois globalement et pour des individus ou des groupes d’individus spécifiques.
  • Les résultats imprévisibles et les sources de risque pour la santé et la sécurité, les droits fondamentaux et la discrimination, conformément à l’objectif visé.
  • Spécifications des données d’entrée.
  • Une description détaillée du système de gestion des risques.
  • Une description des modifications pertinentes apportées par le fournisseur au système tout au long de son cycle de vie.
  • Une liste des normes harmonisées publiées au Journal officiel de l’UE appliquées, les solutions adoptées pour répondre aux exigences énoncées dans la AI Act et une liste des autres normes et spécifications techniques pertinentes appliquées.

• Une copie de la déclaration de conformité de l’UE.

• Une description détaillée du système de surveillance après la mise sur le marché adopté.

Obligations de transparence pour les modèles à usage général :

Outre les obligations applicables aux systèmes à haut risque, la loi sur l’analyse d’impact prévoit des obligations de transparence spécifiques pour les systèmes à usage général dans les articles 50 à 53 et les annexes XI et XII. Il est possible qu’un système à usage général puisse également être qualifié de système à haut risque. Dans ce cas, les obligations relatives aux systèmes à haut risque et celles concernant uniquement les systèmes à usage général s’appliqueraient.

Les obligations de transparence pour les modèles d’usage général sont les suivantes :

• Les systèmes interagissant avec des personnes physiques doivent être conçus et développés de manière à ce que les personnes soient informées qu’elles interagissent avec une IA.
• Les résultats des systèmes générant des contenus synthétiques audio, image, vidéo ou texte doivent être marqués dans un format lisible par une machine et détectables comme étant générés ou manipulés artificiellement.
• Les développeurs de systèmes qui génèrent ou manipulent un contenu image, audio ou vidéo constituant un deepfake doivent divulguer que le contenu a été généré ou manipulé artificiellement.
• Si l’IA est un système de reconnaissance des émotions ou de catégorisation biométrique, les personnes physiques qui y sont exposées doivent être informées de son fonctionnement.
• Les développeurs d’un système d’IA qui génère ou manipule un texte publié dans le but d’informer le public sur des questions d’intérêt public doivent indiquer que le texte a été généré ou manipulé par une IA. Cette obligation ne s’applique pas lorsque le contenu a été soumis à un processus d’examen humain ou de contrôle éditorial, à condition qu’il ait été déterminé qui est responsable du contenu publié.
• Élaborer et mettre à la disposition du public un résumé suffisamment détaillé du contenu utilisé pour la formation du modèle d’AI à usage général, selon un modèle fourni par l’Office AI (pas encore disponible).
• Élaborer et tenir à jour la documentation technique du modèle, qui contient au moins les éléments suivants :
  • Une description générale du modèle. Elle comprend :
    • Les tâches que le modèle est censé accomplir et le type et la nature des systèmes d’intelligence artificielle dans lesquels il peut être intégré ;
    • Politiques d’utilisation acceptables applicables ;
    • La date de sortie et les méthodes de distribution ;
    • L’architecture et le nombre de paramètres ;
    • Le mode et le format des entrées et des sorties (texte, images, etc.) ;
    • La licence.
  • Une description détaillée des éléments du modèle et des informations pertinentes sur le processus d’élaboration. Il s’agit notamment de :
    • Les moyens techniques nécessaires pour que le modèle s’intègre à d’autres systèmes d’intelligence artificielle.
    • Les spécifications de conception du modèle et le processus de formation.
    • Informations sur les données utilisées pour l’entraînement, le test et la validation du modèle, leur origine, le traitement qu’elles ont subi, les principales caractéristiques et les méthodes appliquées pour identifier les biais.
    • Les ressources informatiques utilisées pour former le modèle.
    • La consommation d’énergie connue ou estimée du modèle.
• Lorsque le modèle doit être classé comme modèle de risque systémique à usage général conformément à l’article 51 de la loi sur l’information financière, les informations supplémentaires suivantes doivent être fournies :
  • Une description détaillée des stratégies d’évaluation utilisées pour identifier et atténuer les risques systémiques potentiels découlant de l’utilisation du modèle.
  • Une description des mesures prises pour effectuer des tests contradictoires (internes ou externes) ainsi que l’adaptation et l’ajustement du modèle.
• Élaborer et mettre à la disposition des ournisseurs qui ont l’intention d’intégrer le modèle à usage général dans leur système d’AI une documentation et des informations qui comprennent, au minimum, les éléments suivants :
  • Une vue d’ensemble du modèle d’IA à usage général. Cela comprend :
    • Les tâches que le modèle est censé accomplir et le type et la nature des systèmes d’intelligence artificielle dans lesquels il peut être intégré.
    • Politiques d’utilisation acceptables applicables.
    • La date de sortie et les méthodes de distribution.
    • La façon dont le modèle interagit ou peut être utilisé pour interagir avec du matériel ou des logiciels qui ne font pas partie du modèle lui-même.
    • Versions logicielles pertinentes liées à l’utilisation du modèle d’IA à usage général.
    • L’architecture et le nombre de paramètres.
    • Le mode et le format des entrées et des sorties (texte, images, etc.).
    • Le modèle de licence.
  • Une description des éléments du modèle et du processus de développement. Cela comprend :
    • Les moyens techniques nécessaires pour que le modèle s’intègre à d’autres systèmes d’intelligence artificielle.
    • Le mode et le format des entrées et sorties et leur taille maximale (texte, images, etc.).
    • Informations sur les données utilisées pour la formation, les essais et la validation, et compris le type et la provenance des données et la manière dont elles ont été traitées.