Contractes Salut

El sistema anirà acompanyat d’informació precisa sobre el seu funcionament, les seves limitacions, com arriba a un resultat determinat i com aquest contribueix a la presa d’una decisió clínica, així com la identitat i les dades de contacte de la persona proveïdora o representants.

Es garantirà que el procés de generació de resultats del sistema compleix amb els següents requisits:

• Està ben documentat en un llenguatge comprensible i accessible per a les persones usuàries clíniques per a detectar futurs problemes.
• Utilitza el model més simple i intel·ligible en favor de la transparència.
• Pren en consideració les competències i alfabetització en matèria d’intel·ligència artificial de totes les persones usuàries.
• Realitza registres automàtics sobre el seu funcionament.
• És reproduïble.

El sistema d’IA anirà acompanyat dels materials addicionals que siguin necessaris perquè les persones usuàries clíniques puguin entendre el funcionament del sistema d’IA i explicar-ho a les persones pacients.

Es documentarà i es farà pública la següent informació relativa al sistema:

• El seu procés de desenvolupament i les persones que hi han estat implicades.
• La informació tècnica necessària per al seu ús.
• Instruccions concises, clares i escrites en un llenguatge accessible, sobre el seu funcionament.
• El procés pel qual el sistema arriba a un resultat determinat i els resultats previstos.
• Les possibles limitacions del sistema.
• Informació relativa a l’intercanvi i cessió de dades així com les vies i mecanismes que permeten a les persones interessades exercir els seus drets.

El sistema comptarà amb un mecanisme que permeti identificar el contingut que genera com a creació d’aquest.

El sistema comptarà amb un mecanisme que permeti identificar el quines són les variables clíniques més rellevants que utilitza quan fa una predicció.

S’informarà l’organització sanitària i les persones usuàries clíniques sobre les mètriques que s’han utilitzat per optimitzar i validar el sistema d’IA així com la metodologia de validació per desenvolupar el sistema.

Es prendran mesures per tal que el nivell de transparència i explicabilitat del sistema no suposi un risc per a la privacitat de les persones ni la mateixa seguretat del sistema.

Es garantirà que s’ha validat en l’àmbit clínic, per part de professionals de l’àmbit en el qual està previst que es faci servir el sistema, que els resultats que dona estan ben explicats i són comprensibles, són adequats i ajuden en la tasca a realitzar.

El sistema disposarà de les següents eines de comunicació:

• Una funció que permetí a les persones usuàries clíniques i les pacients realitzar comentaris sobre el seu funcionament.
• Un sistema de notificacions en cas d’incident greu o error.

S’establirà un procediment per comunicar de manera regular informació sobre en quines decisions clíniques les persones participants són assistides per un sistema d’IA.

En relació amb les dades utilitzades pel sistema, s’assegurarà el compliment dels següents requisits:

• El sistema anirà acompanyat de documentació relativa al tipus de dades utilitzades, la seva procedència, i els canvis que han patit en cada fase del seu cicle de vida.
• Es prendran mesures per verificar la representativitat i adequació de les dades utilitzades amb relació a la població a la qual s’aplicarà.
• El sistema comptarà amb salvaguardes per verificar l’edat de les persones.

S’establirà una política de participació de diferents grups d’interès (stakeholders) on s’inclogui a les persones usuàries clíniques i les pacients.

El sistema comptarà amb mesures i mecanismes per a detectar, corregir i mitigar possibles biaixos durant tot el seu cicle de vida.

Especialment, les mesures aniran adreçades als baixos presents en:

• La fase de disseny o implementació.
• Les dades d’entrenament i posteriors.
• Categories canviants o inadequades.
• Biaixos cognitius (ex. biaix d’automatització i biaix de confirmació).

Abans de la seva comercialització/utilització el sistema serà sotmès a una avaluació sobre l’impacte dels seus possibles biaixos, especialment aquells que podrien afectar els drets, salut o seguretat de les persones.

El sistema complirà amb els estàndards de classificació que tracten els biaixos relacionats amb l’edat, l’ètnica, la raça, el sexe o la discapacitat d’acord amb la normativa aplicable.

El sistema d’IA comptarà amb mesures d’inclusió i equitat, especialment en relació amb els següents aspectes:

• Testatge dels resultats del sistema per a diferents grups afectats.
• Mesures d’augment de l’accessibilitat.
• Mesures que recolzin el seu ús per part de persones en situació de vulnerabilitat.

Mesures per a garantir que el sistema s’adapta a un ampli espectre de preferències i habilitats individuals.

El grup de desenvolupament del sistema d’IA ha d’incloure persones de gènere no masculí, persones de diversos orígens o cultures i de diverses disciplines de coneixement (més enllà de la ciència de dades, l’enginyeria i les ciències de la salut).

El sistema anirà acompanyat de la següent informació:

• El nivell de precisió i seguretat del sistema.
• La manera i el grau d’influència que les accions de les persones usuàries poden tenir sobre el rendiment del sistema.
• Els possibles comportaments i escenaris que mai hauria de transgredir per garantir la seguretat i preservar la no maleficència del sistema.
• Els mecanismes de supervisió i control del sistema (tant intern com extern).
• Guies d’utilització i bones pràctiques dels sistemes d’IA redactades en un llenguatge accessible a les persones usuàries clíniques.

El sistema comptarà amb mecanismes clars i definits perquè les persones usuàries clíniques puguin contactar amb els desenvolupadors del sistema d’IA quan sigui necessari.

El sistema comptarà amb mecanismes que garanteixin l’actualització periòdica de la informació disponible sobre el rendiment del sistema periòdicament la informació disponible sobre el rendiment del sistema d’IA.

Prèviament a la seva comercialització/utilització el sistema serà sotmès a una avaluació que incorpori els següents aspectes:

• Els possibles impactes del sistema sobre la salut, la seguretat i els drets de les persones afectades.
• El risc que les dades recollides, generades o utilitzades pel sistema siguin emprades per discriminar a persones de manera negativa.
• Els possibles riscos i danys que provocaria el sistema en cas de realitzar prediccions inexactes en els escenaris previstos.
• Els riscos que comportaria utilitzar el sistema més enllà dels usos previstos.
• Els possibles riscos derivats del fet que s’involucrin persones d’una especialitat clínica diferent de l’actora principal durant el context de desplegament de la solució.

El sistema comptarà amb les següents mesures:

• Mesures de resistència davant errors sorgits per la seva interacció amb altres sistemes o persones.
• Mesures de resistència i mitigació d’errors sorgits d’intents de manipulació per persones no autoritzats.
• Metodologies d’avaluació o autoavaluació periòdica reconeguda per vetllar per al bon funcionament del sistema i preveure possibles funcionaments erronis.

Es garantirà que prèviament a la seva comercialització/utilització el sistema haurà estat sotmès a les avaluacions que corroboren la seva conformitat respecte als requisits legals que li són aplicables.

El sistema comptarà amb mitjans que permetin les següents funcions:

• Identificar, avaluar i adoptar mesures respecte als riscos sorgits del seu ús i de les dades recollides després d’entrar en funcionament.
• Informar sobre els riscos residuals del sistema que no hagin pogut ser corregits ni mitigats.

El sistema comptarà amb eines que permetin validar i contrastar clínicament els seus resultats.

Prèviament a la utilització/comercialització del sistema es determinarà:

• Quina serà la contribució del sistema en la presa de decisions clínica.
• El grau de responsabilitat de les persones involucrades en el control, operació i vigilància humana del sistema.
• Les persones responsables d’actualitzar el sistema.

Es proporcionarà les persones involucrades en el control de les decisions preses pel sistema, en especial de les persones usuàries clíniques, formació adequada perquè tinguin una comprensió adequada sobre el seu funcionament i comptin amb la capacitació necessària per exercir aquesta funció.

El sistema comptarà amb les eines que permetin a les persones encarregades del seu control:

• Intervenir, modificar, eliminar o revertir les decisions preses pel sistema.
• Habilitar modificacions en el protocol clínic de processament de dades i ús del sistema.
• Limitar l’ús del sistema per grups de pacients o contextos clínics específics quan el rendiment sigui inacceptable.

El sistema anirà acompanyat d’informació i documentació relativa als següents aspectes:

• Els límits dels mecanismes de control del sistema.
• Les mesures de supervisió humana amb les que compta el sistema.

Es garantirà que en el desenvolupament del sistema han participat persones expertes clíniques en el context de la solució, de manera que la desenvolupadora ha tingut coneixement d’aquest.

Prèviament a la utilització/comercialització del sistema es determinarà:

• La persona legalment responsable de les accions i/o decisions que pren durant tot el seu cicle de vida, particularment, quin és el grau de responsabilitat atribuït a la persona usuària clínica, l’organització sanitària a la qual pertany, i la creadora del sistema.
• Els mecanismes de revisió periòdica sobre responsabilitat i retiment de comptes amb els diferents agents involucrats en el desenvolupament i l’ús del sistema d’IA.

Prèviament a la comercialització/ús del sistema es prendran les següents mesures:

• Facilitar la demostració del compliment de la legislació vigent.
• Determinar formes de reparació o compensació en cas de perjudicis causats pel sistema, les quals inclouran la responsabilitat de les persones que han creat al sistema quan sigui pertinent.
• Determinar figures de protecció envers les persones usuàries i les persones afectades pel sistema.
• Determinar si el sistema d’IA pot ser considerat com a producte sanitari d’acord amb la regulació sobre productes sanitaris (MDR) o de diagnòstic in vitro (IVDR) i quina seria la seva classificació d’acord amb aquestes normes.

El sistema comptarà amb mecanismes de protecció de dades presents durant tot el seu cicle de vida encaminats a garantir els següents aspectes:

• Que les dades de caràcter personal siguin tractades d’acord amb el grau de protecció legalment requerit per tal d’evitar-ne el mal ús, l’alternació, la pèrdua, o la sostracció per part de tercers.
• Que les dades subministrades per la persona interessada no siguin venudes, llogades, ni cedides sense el seu consentiment.
• Que el sistema compta amb processos per a mantenir o millorar la privacitat i protecció de les dades durant tot el seu cicle de vida.
• Que es fan servir tècniques d’anonimat, xifratge i agregació.
• Que existeix un protocol per a obtenir el consentiment de les persones afectades abans d’iniciar qualsevol processament de dades a través del sistema, i la informació relativa a aquestes accions és comprensible i accessible per a totes les possibles persones usuàries, inclosos aquelles amb necessitats especials.
• Que existeix un mecanisme a través del qual la persona interessada pot sol·licitar que la seva informació sigui eliminada.

El sistema comptarà amb un registre de la informació d’accés a les dades que permeti identificar clarament qui, quan i amb quin propòsit hi accedeix.

Es prendran mesures per garantir que les persones responsables del processament i gestió de dades disposin de les competències necessàries per a realitzar aquestes funcions i coneixements actualitzats sobre la matèria.

De cara a garantir l’adequació i l’ús reposable de les dades utilitzades pel sistema es prendran les següents mesures:

• S’establirà un procediment per assegurar que els conjunts de dades usats siguin adients i rellevants pel rendiment i resultat previst del sistema i que siguin adequades pel context en el qual s’utilitzarà el sistema.
• El procés de recopilació i preparació de les dades usades serà documentat.
• El sistema utilitzarà mesures de privadesa (com per exemple la pseudonimització de les dades) i limitarà la reutilització de les dades personals sensibles.

El sistema està/ha estat dissenyat de manera es que pugui garantir que s’adhereix als principis de minimització de dades i protecció de dades des del disseny i per defecte.

El sistema anirà acompanyat d’un procés d’avaluació per a garantir que no disminueix el nombre d’eleccions possibles i no obliga o força a prendre unes determinades decisions en general ni en cap fase del seu cicle de vida.

El sistema anirà acompanyat d’un procediment que permeti a les persones pacients qüestionar:

• Els resultats i l’ús previst del sistema.
• Els aspectes concrets sobre l’ús de llurs dades.
• Els biaixos existents, els processos de validació i el rendiment esperat del sistema d’IA.
• La divisió en la contribució a la presa de decisions entre el sistema d’IA i la persona usuària clínica.

El sistema anirà acompanyat d’un protocol de comprovació que permeti certificar que ajuda les persones a prendre decisions millors i més informades.

El sistema comptarà amb mecanismes que garanteixin els següents aspectes:

• Que les persones usuàries clíniques siguin conscients que interactuen amb una intel·ligència artificial i estan prou capacitades i informades per a fer-ho.
• Que s’informa les persones pacients sobre la seva exposició al sistema d’IA i com aquest funciona.
• Que no posa en risc els nivells d’autonomia de les persones usuàries clíniques ni de les pacients i s’adapta a diferents preferències i necessitats.

El sistema comptarà amb els següents mecanismes:

• Mesures de supervisió humana que possibilitin gestionar el seu grau d’autonomia i adaptabilitat.
• Mecanisme de limitació del grau d’autonomia del sistema per a evitar comportaments no desitjats o d’alt risc.
• Adaptar-se i aprendre del seu entorn sense comprometre la seguretat ni estàndards ètics.

Es garantirà que en el disseny, la implementació i l’ús el sistema s’han pres en consideració les limitacions i obstacles derivats de la bretxa digital i l’accés social no igualitari.

Abans de la seva comercialització i/o utilització, el sistema serà sotmès a una avaluació sobre els seus impactes als drets de les persones, la seguretat, la salut i el medi ambient.

Aquesta avaluació pren especialment en consideració els següents àmbits:

• Impacte sobre els drets laborals del personal de l’organització sanitària.
• Impacte i riscos relatius al desenvolupament sostenible.
• Mesures de compensació justa i tracte ètic a les persones implicades en totes les fases del cicle de vida del sistema i dels afectats per la seva implementació i ús.

El sistema comptarà amb mecanismes que li permetin enregistrar el seu consum d’energia i impacte ambiental durant tot el seu cicle de vida.

Abans de la seva comercialització i/o utilització, el sistema serà sotmès a una avaluació en la qual s’adreci, com a mínim, els següents aspectes:

• L’eficiència energètica del sistema.
• Explorar l’ús de fonts d’energia renovables i pràctiques d’informàtica verda.