Avaluacions

Avaluació de conformitat:

Proporcionem informació sobre les característiques principals que han de garantir els sistemes d’IA d’alt risc per assegurar que compleixen els requisits obligatoris d’acord amb la AI Act per tal de ser una IA fiable.  Es tractarà com a tal, sempre que la qualitat de les dades, la documentació i la traçabilitat, la transparència, la supervisió humana, la precisió, la ciberseguretat i la robustesa estiguin garantides i s’adeqüi a les exigències legals.

La AI Act exigeix que les persones proveïdores dels sistemes d’alt risc sotmetin la seva IA a una avaluació de conformitat (art.16) i remet als annexos de la Llei  per a la seva especificitat. Aquesta consisteix a demostrar que el sistema en qüestió compleix amb els requisits que li són imposats per la AI Act.

La regulació preveu diferents modalitats d’avaluació en funció de la finalitat prevista del sistema d’alt risc. 

1. Procediment d’avaluació intern contemplat a l’annex VI de la AI Act.

Quins sistemes han de ser sotmesos a aquesta avaluació?

  • Sistemes de categorització o d’identificació biomètrica i de reconeixement d’emocions.
  • Sistemes utilitzats en infraestructures crítiques.
  • Sistemes utilitzats en l’àmbit de l’educació i formació professional.
  • Sistemes utilitzats en l’àmbit de l’ocupació, gestió dels treballadors i accés a l’autoocupació. 
  • Sistemes utilitzats en l’àmbit de l’accés i gaudi de serveis i prestacions essencials (públiques o privades).
  • Sistemes utilitzats en l’àmbit del compliment de la llei.
  • Sistemes utilitzats en l’àmbit de la migració, l’asil i el control de fronteres.
  • Sistemes utilitzats en l’àmbit de l’administració de justícia i processos democràtics.

Com funciona aquest procediment?

Es tracta d’una avaluació interna, és a dir, que la porta a terme el proveïdor del sistema, en la qual s’hauran de verificar els següents aspectes:

  • Que s’ha establert un sistema de gestió de qualitat que compleix amb els requisits de l’art. 17 de la AI Act.
  • Que s’ha examinat que la informació continguda en la documentació tècnica compleix amb els requisits aplicables als sistemes d’alt risc.
  • Que el disseny i el procés de desenvolupament del sistema, així com el seu monitoratge de postcomercialització, és coherent amb la informació continguda en la documentació tècnica.

2. Procediment d’avaluació extern, basat en l’avaluació del sistema de gestió de la qualitat i de la documentació tècnica, amb la participació d’un organisme notificat, contemplat a l’annex VII de la AI Act.

Quins sistemes han de ser sotmesos a aquesta avaluació?

Aquesta modalitat d’avaluació és obligatòria respecte als sistemes de categorització o d’identificació biomètrica i de reconeixement d’emocions quan es doni alguna de les següents circumstàncies:

  • Quan la Unió Europea no hagi creat normes harmonitzades o especificacions comunes aplicables. 
  • Quan aquestes normes harmonitzades o especificacions comunes si existeixen, però el proveïdor no les ha aplicat.
  • Quan alguna les normes harmonitzades a què es refereix la lletra a) s’hagi publicat amb una restricció (és a dir, que no cobreixen tots els elements que han de ser objecte d’avaluació), les qüestions a les quals es refereix la restricció han de ser sotmeses a aquesta opció d’avaluació.

Tot i que no concorrin les circumstàncies anteriors, els proveïdors dels sistemes de categorització o d’identificació biomètrica i reconeixement d’emocions poden sotmetre’s voluntàriament a aquest procediment d’avaluació de manera alternativa al procediment intern previst a l’annex VI si així ho desitgen.

Com funciona aquest procediment?

L’avaluació la portarà a terme un organisme extern anomenat organisme notificat. Aquests es tracten d’organitzacions independents dels proveïdors, designades per l’autoritat competent de cada estat membre, per tal de portar a terme tasques d’avaluació.

L’avaluació de conformitat constarà de les següents parts:

  • Avaluació del sistema de gestió de qualitat:
    • El proveïdor ha d’enviar una sol·licitud d’avaluació del sistema de gestió de qualitat del seu sistema a l’organisme notificat de la seva elecció.
    • La sol·licitud ha d’incloure la informació detallada al punt 3 de l’annex VII de la AI Act.
    • L’organisme notificat enviarà al proveïdor una notificació amb les conclusions de l’avaluació i la seva decisió justificada.
    • Qualsevol canvi previst per al sistema de gestió de qualitat ha de ser informat l’organisme notificat, qui haurà de decidir si el sistema continua complint amb els requisits legals o si ha de ser reavaluat.
  • Control de la documentació tècnica:
    • El proveïdor ha d’enviar una sol·licitud d’avaluació de la documentació tècnica del sistema a l’organisme notificat de la seva elecció. 
    • La sol·licitud ha d’incloure la informació detallada al punt 4 de l’annex VII de la AI Act.
    • L’organisme notificat pot exigir l’accés complet a les dades de formació, validació i proves utilitzades i/o demanar proves addicionals. Si aquests mitjans són insuficients, també pot sol·licitar accés als models de formació del sistema com a últim recurs.
    • L’organisme notificat enviarà les conclusions de l’avaluació i la seva decisió justificada.
    • Si l’avaluació se supera positivament, l’organisme notificat emetrà un certificat.
    • Qualsevol canvi que pugui afectar el compliment dels requisits legals o la finalitat prevista del sistema ha de ser informat a l’organisme notificat, el qual haurà de decidir si el sistema ha de ser reavaluat o si és possible abordar els canvis de manera aïllada. En aquest últim cas, l’organisme emetrà un suplement al certificat.
  • Vigilància del sistema de gestió de qualitat aprovat:
    • Un cop aprovat el sistema de gestió de qualitat l’organisme notificat vigilarà que aquest és degudament aplicat.
    • El proveïdor ha de permetre que l’organisme notificat accedeixi a les instal·lacions on es dissenya, desenvolupa i prova el sistema i compartirà tota la informació necessària.
    • L’organisme notificat realitzarà auditories periòdiques i lliurarà al proveïdor els informes que en siguin resultants. Com a part d’aquestes auditories l’organisme notificat pot portar a terme proves addicionals.

3. Procediment d’avaluació específic per a alguns sistemes:

Quins sistemes han de ser sotmesos a aquesta avaluació?

Sistemes subjectes per les regulacions enumerades a l’annex I, secció A, de la AI Act. Aquests comprenen:

  • Joguines;
  • Embarcacions d’esbarjo i motos d’aigua;
  • Ascensors;
  • Equips i sistemes de protecció utilitzats en atmosferes potencialment explosives.
  • Equips radioelèctrics;
  • Equips a pressió;
  • Instal·lacions de telefèric;
  • Equips de protecció individual, aparells de protecció de combustibles gasosos;
  • Productes sanitaris i de diagnòstic in vitro;
  • Màquines que coincideixen amb la definició de la directiva 2006/42/CE). 

Com funciona aquest procediment?

  • Els sistemes d’IA hauran de ser sotmesos a les avaluacions de conformitat que es preveuen a les regulacions enumerades a l’annex I, secció A, de la AI Act (les que han estat esmentades anteriorment) a les que estiguin subjectes.
  • En portar a terme les avaluacions esmentades, serà necessari incorporar l’examen del compliment de les obligacions que la AI Act imposa als sistemes d’IA d’alt risc. En alguns casos, els organismes que tinguin la condició d’organismes notificats en virtut dels actes jurídics esmentats podran portar a terme aquesta part de l’avaluació, per a adquirir la condició d’organismes notificats s’hagin tingut en compte alguns requisits contemplats a l’art. 31 de la AI Act. 
  • Així mateix, com a part de l’avaluació de conformitat també s’haurà de portar a terme el control de la documentació tècnica que forma part del procediment d’avaluació extern descrit a l’annex VII de la AI Act (i que ha estat explicat en el punt anterior).
  • En els casos en què aquestes altres regles permetin al proveïdor no sotmetre’s a l’avaluació externa, el proveïdor també pot optar per aquesta opció en relació amb les normes de la AI Act, sempre que la Unió Europea hagi creat normes harmonitzades relatives a aquestes qüestions i que el proveïdor les hagi aplicat.

Independentment del procediment aplicable, en cas que el sistema sigui modificat substancialment després d’haver aprovat l’avaluació caldrà que sigui sotmès a una nova avaluació de conformitat. 

A aquests efectes no suposarà una modificació substancial els canvis dels sistemes que continuen aprenent després del seu desplegament, sempre que aquests hagin estat predeterminats abans de l’avaluació de conformitat inicial i es contemplin en la documentació tècnica.

Avaluació d’impacte sobre drets fonamentals:

Proporcionem informació sobre les característiques principals que han de garantir els sistemes d’IA d’alt risc per tal d’avaluar i demostrar l’impacte que tenen vers els drets fonamentals i posteriorment notificar els resultats a l’autoritat corresponent.

L’article 27 de la AI Act exigeix que, prèviament al seu desplegament, alguns sistemes siguin sotmesos a una avaluació sobre l’impacte que el seu ús pot suposar per als drets fonamentals. 

Aquesta avaluació serà obligatòria en els següents casos:

  • Quan un organisme públic o un organisme privat que presta serveis públics desplegui un sistema d’IA destinat a algun dels següents àmbits:
    • Identificació o categorització biomètrica i reconeixement d’emocions
    • Educació i formació professional 
    • Ocupació, gestió dels treballadors i accés a l’autoocupació. 
    • Accés i gaudi de serveis i prestacions essencials (públiques o privades).
    • Compliment de la llei.
    • Migració, asil i control de fronteres.
    • Administració de justícia i processos democràtics.
  • En tot cas, quan es desplegui un sistema d’IA destinat a alguna de les següents finalitats:
    • Avaluar la solvència de les persones físiques o establir la seva puntuació creditícia, amb l’excepció dels sistemes d’IA utilitzats amb la finalitat de detectar fraus financers.
    • Avaluar els riscos i la fixació de preus en relació amb persones físiques en el cas d’assegurances de vida i salut.

L’avaluació d’impacte sobre drets fonamentals ha d’incloure els següents aspectes:

  • Una descripció dels processos en què el desplegador utilitzarà el sistema d’IA d’acord amb la finalitat prevista d’aquest.
  • Una descripció del període de temps i freqüència en què es pretén utilitzar el sistema.
  • Les categories de persones físiques i grups susceptibles de veure’s afectats per la utilització del sistema en el context específic en el qual serà utilitzat.
  • Els riscos específics de dany susceptibles d’afectar les categories de persones o grups de persones identificades.
  • Una descripció de les mesures de supervisió humana que seran aplicades d’acord amb les instruccions d’ús del sistema.
  • Les mesures que es preveu adoptar en cas de materialització d’aquests riscos, inclosos els  mecanismes de govern intern i denúncia.
  • Quan alguns dels elements mencionats també sigui objecte de l’avaluació d’impacte relativa a la protecció de dades establerta a l’article 35 del Reglament (UE) 2016/679 o l’article 27 de la Directiva (UE) 2016/680, ambdues avaluacions es realitzaran de manera conjunta.

Un cop realitzada l’avaluació, caldrà omplir el formulari que serà desenvolupat per l’Oficina d’IA de la UE (encara no disponible). Aquest haurà de ser remès a l’autoritat de vigilància de mercat competent. 

L’avaluació només s’ha de portar a terme abans d’utilitzar el sistema per primer cop. Les posteriors vegades en què es vulgui fer servir el sistema en circumstàncies similars és possible basar-se en les avaluacions dutes a terme prèviament o, fins i tot, aquelles que poden haver estat realitzades pel proveïdor. 

En cas de produir-se algun canvi que afecti les qüestions avaluades, serà necessari actualitzar la informació.  

Obligacions de transparència:

Proporcionem informació sobre les característiques principals que han de garantir tots els sistemes d’IA, independentment del risc que tenen associat, ja que es tracta d’una informació que consta en diferents articles i annexos de la AI ACT.

Entre les moltes regles establertes per la AI Act, s’estableixen obligacions de transparència que estan disperses entre l’articulat de la regulació i els seus annexos. 

Per facilitar la comprensió d’aquests requisits, us deixem un esquema que sintetitza les normes de transparència establertes per la llei. 

Obligacions de transparència per als sistemes d’alt risc:

D’acord amb l’article 13, recollim les obligacions específiques per als sistemes d’alt risc han de ser dissenyats i desenvolupats de manera que el seu funcionament sigui prou transparent per permetre als desplegadors interpretar els seus resultats i utilitzar-ho correctament. 

Amb aquest propòsit, i amb la finalitat de complir els requisits que la AI Act preveu per als sistemes d’alt risc, els sistemes han d’anar acompanyats de la documentació tècnica prevista a l’article 11 i l’annex IV de la llei. Dins d’aquesta documentació tècnica s’inclouen les instruccions d’ús del sistema.  De manera sintètica, el contingut mínim exigit per aquests documents és el següent: 

  • Una descripció general del sistema. Aquesta inclou:
    • La identitat i les dades de contacte del proveïdor i del seu representant autoritzat, si n’hi ha.
    • La descripció de la versió del sistema que reflecteixi la seva relació amb versions anteriors;
    • Informació que permeti als desplegadors interpretar les respostes del sistema i usar-la adequadament.
    • Els recursos computacionals i de maquinari necessaris, la vida útil prevista del sistema d’IA d’alt risc i qualsevol mesura de manteniment i cura necessària per garantir el bon funcionament del sistema.
    • Una descripció dels mecanismes inclosos en el sistema IA que permeti als usuaris recollir, emmagatzemar i interpretar correctament els registres del seu funcionament.
    • Com el sistema pot interactuar amb maquinari o programari que no formen part del mateix sistema d’IA.
    • Les versions del programari o microprogramari rellevants i qualsevol requisit relacionat amb l’actualització de la versió.
    • La descripció de totes les formes en què el sistema d’IA es posa al mercat o es posa en servei.
    • Quan el sistema d’IA sigui un component de productes, fotografies o il·lustracions que mostrin característiques externes, marcatge i disposició interna d’aquests productes.
  • Una descripció detallada dels elements del sistema d’IA i del procés per al seu desenvolupament. Aquesta inclou:
    • Els mètodes i passos realitzats per al desenvolupament del sistema d’IA, incloent-hi si s’han utilitzat altres sistemes prèviament entrenats.
    • La descripció del disseny del sistema, això inclou la lògica general del sistema d’IA i dels algorismes, i les eleccions clau de disseny
    • La descripció de l’arquitectura del sistema.
    • Fitxes que descriguin les metodologies i tècniques d’entrenament i els conjunts de dades d’entrenament utilitzats, inclosa una descripció general d’aquests conjunts de dades, informació sobre la seva procedència, abast, tractament i característiques principals
    • Avaluació de les mesures de supervisió humana previstes. 
    • Els canvis del sistema que hagin estat predeterminats pel proveïdor en el moment de l’avaluació de la conformitat inicial, si escau.
    • Els procediments de validació i assaig utilitzats, inclosa informació sobre les dades de validació i assaig utilitzades, les mètriques utilitzades per mesurar la precisió i la robustesa, així com els impactes potencialment discriminatoris.
    • Els registres de proves i tots els informes de proves datats i signats per les persones responsables.
    • Mesures de ciberseguretat implantades.
  • Informació sobre el seguiment, funcionament i control del sistema. Aquesta inclou:
    • Les seves capacitats i limitacions i el grau de precisió previst, tan global com per a persones o grups de persones específics.
    • Els resultats no desitjats previsibles i les fonts de riscos per a la salut i la seguretat, els drets fonamentals i la discriminació d’acord amb la seva finalitat prevista.
    • Especificacions sobre les dades d’entrada.
    • Una descripció detallada del sistema de gestió de riscos.
    • Una descripció dels canvis rellevants fets pel proveïdor al sistema al llarg del seu cicle de vida.
    • Una llista de les normes harmonitzades publicades al Diari Oficial de la UE aplicades, les solucions adoptades per complir els requisits establerts a la AI Act, i una llista d’altres normes i especificacions tècniques pertinents aplicades.
  • Una còpia de la declaració de conformitat UE.
  • Una descripció detallada del sistema de vigilància postcomercialització adoptat.

Obligacions de transparència per als models de propòsit general:

A part de les obligacions contemplades per als sistemes d’alt risc, la AI Act preveu unes obligacions de transparència determinades per als sistemes de propòsit general en els articles 50 a 53 i els annexos XI i XII. És possible que un sistema de propòsit general també reuneixi les característiques per ser considerat d’alt risc. En aquest cas, resultarien aplicables tant les obligacions previstes per als sistemes d’alt risc com aquelles únicament plantejades per als sistemes de propòsit general. 

Les obligacions de transparència dels models de propòsit general són les següents:

  • Els sistemes que interactuïn amb persones físiques s’han de dissenyar i desenvolupar de manera que les persones siguin informades que estan interactuant amb una d’IA
  • Les sortides dels sistemes que generin contingut sintètic d’àudio, imatge, vídeo o text, han d’estar marcades en un format llegible per màquina i detectables com a generades o manipulades artificialment.
  • Els desplegadors de sistemes que generin o manipulin contingut d’imatge, àudio o vídeo que constitueixi un deepfake, han de revelar que el contingut ha estat generat o manipulat artificialment.
  • Si la IA es tracta d’un sistema de reconeixement d’emocions o categorització biomètrica, s’haurà d’informar a les persones físiques exposades al mateix del seu funcionament. 
  • Els desplegadors d’un sistema d’IA que generi o manipuli text que es publica amb la finalitat d’informar el públic sobre qüestions d’interès públic han de revelar que el text ha estat generat o manipulat per una IA. Aquesta obligació no s’aplicarà quan el contingut hagi estat sotmès a un procés de revisió humana o control editorial, sempre que s’hagi determinat qui és la persona responsable del contingut publicat.
  • Elaborar i posar a disposició del públic un resum prou detallat sobre el contingut utilitzat per a la formació del model d’IA de propòsit general, d’acord amb una plantilla proporcionada per l’Oficina d’IA (encara no disponible).
  • Elaborar i mantenir actualitzada la documentació tècnica del model, que contindrà com a mínim els següents elements:
    • Una descripció general del model. Aquesta inclou:
      • Les tasques que pretén realitzar el model i el tipus i naturalesa dels sistemes d’IA en què es pot integrar;
      • Les polítiques d’ús acceptable aplicables;
      • La data de llançament i els mètodes de distribució;
      • L’arquitectura i el nombre de paràmetres;
      • La modalitat i el format de les entrades i sortides (textos, imatges, etc).
      • La llicència.
    • Una descripció detallada dels elements del model i informació rellevant del procés per al seu desenvolupament. Aquesta inclou:
      • Els mitjans tècnics necessaris perquè el model s’integri a altres sistemes d’IA.
      • Les especificacions de disseny del model i del procés de formació.
      • Informació sobre les dades utilitzades per a la formació, les proves i la validació del model, a més de la seva procedència, el tractament al qual han estat sotmeses, les característiques principals i els mètodes aplicats per identificar biaixos.
      • Els recursos computacionals utilitzats per entrenar el model.
      • El consum energètic conegut o estimat del model.
  • Quan el model hagi de ser classificat com a un model de propòsit general de risc sistèmic d’acord amb l’article 51 de la AI Act, s’haurà d’aportar la següent informació addicional:
    • Una descripció detallada de les estratègies d’avaluació utilitzades per identificar i mitigar els possibles riscos sistèmics originats per l’ús del model. 
    • Una descripció de les mesures adoptades per portar a terme proves contradictòries (internes o externes) així com l’adaptació i ajustament de model.
  • Elaborar i posar a disposició dels proveïdors que pretenguin integrar el model de propòsit general en el seu sistema d’IA, documentació i informació la qual inclourà, com a mínim, el següent contingut:
    • Una descripció general del model d’IA de propòsit general. Aquesta inclou:
      • Les tasques que es pretén realitzar el model i el tipus i naturalesa dels sistemes d’IA en què es pot integrar.
      • Les polítiques d’ús acceptable aplicables.
      • La data de llançament i els mètodes de distribució.
      • Com el model interactua o es pot utilitzar per interactuar amb maquinari o programari que no forma part del mateix model.
      • Les versions del programari rellevant relacionades amb l’ús del model d’IA de propòsit general.
      • L’arquitectura i nombre de paràmetres.
      • La modalitat i el format de les entrades i sortides (textos, imatges, etc).
      • La llicència del model.
    • Una descripció dels elements del model i del procés per al seu desenvolupament. Aquesta inclou:
      • Els mitjans tècnics necessaris perquè el model s’integri altres sistemes d’IA.
      • La modalitat i format de les entrades i sortides i la seva mida màxima (textos, imatges, etc).
      • Informació sobre les dades utilitzades per a la formació, proves i validació, incloent-hi el tipus i la procedència de les dades i com aquestes han estat tractades.