Contratos Salud

El sistema irá acompañado de información precisa sobre su funcionamiento, sus limitaciones, cómo llega a un resultado determinado y cómo éste contribuye a la toma de una decisión clínica, así como la identidad y los datos de contacto de la persona proveedora o representantes.

Se garantizará que el proceso de generación de resultados del sistema cumple con los siguientes requisitos:

• Está bien documentado en un lenguaje comprensible y accesible para las personas usuarias clínicas para detectar futuros problemas.
• Utiliza el modelo más simple e inteligible en favor de la transparencia.
• Toma en consideración las competencias y alfabetización en materia de inteligencia artificial de todas las personas usuarias.
• Realiza registros automáticos sobre su funcionamiento.
• Es reproducible.

El sistema de IA irá acompañado de los materiales adicionales que sean necesarios para que las personas usuarias clínicas puedan entender el funcionamiento del sistema de IA y explicarlo a las personas pacientes.

Se documentará y se hará pública la siguiente información relativa al sistema:

• Su proceso de desarrollo y las personas que han estado implicadas.
• La información técnica necesaria para su uso.
• Instrucciones concisas, claras y escritas en un lenguaje accesible, sobre su funcionamiento.
• El proceso por el que el sistema llega a un resultado determinado y los resultados previstos.
• Las posibles limitaciones del sistema.
• Información relativa al intercambio y cesión de datos así como las vías y mecanismos que permiten a las personas interesadas ejercer sus derechos.

El sistema contará con un mecanismo que permita identificar el contenido que genera como creación del mismo.

El sistema contará con un mecanismo que permita identificar cuáles son las variables clínicas más relevantes que utiliza cuando hace una predicción.

Se informará a la organización sanitaria y a las personas usuarias clínicas sobre las métricas que se han utilizado para optimizar y validar el sistema de IA así como la metodología de validación para desarrollar el sistema.

Se tomarán medidas para que el nivel de transparencia y explicabilidad del sistema no suponga un riesgo para la privacidad de las personas ni la propia seguridad del sistema.

Se garantizará que se ha validado en el ámbito clínico, por parte de profesionales del ámbito en el que está previsto que se utilice el sistema, que los resultados que da están bien explicados y son comprensibles, son adecuados y ayudan en la tarea a realizar.

El sistema dispondrá de las siguientes herramientas de comunicación:

• Una función que permitió a las personas usuarias clínicas y las pacientes realizar comentarios sobre su funcionamiento.
• Un sistema de notificaciones en caso de incidente grave o error.

Se establecerá un procedimiento para comunicar de manera regular información sobre en qué decisiones clínicas las personas participantes son asistidas por un sistema de IA.

En relación con los datos utilizados por el sistema, se asegurará el cumplimiento de los siguientes requisitos:

• El sistema irá acompañado de documentación relativa al tipo de datos utilizados, su procedencia, y los cambios que han sufrido en cada fase de su ciclo de vida.
• Se tomarán medidas para verificar la representatividad y adecuación de los datos utilizados con relación a la población a la que se aplicará.
• El sistema contará con salvaguardas para verificar la edad de las personas.

Se establecerá una política de participación de diferentes grupos de interés (stakeholders) donde se incluya a las personas usuarias clínicas y las pacientes.

El sistema contará con medidas y mecanismos para detectar, corregir y mitigar posibles sesgos durante todo su ciclo de vida.

Especialmente, las medidas irán dirigidas a los bajos presentes en:

• La fase de diseño o implementación.

• Los datos de entrenamiento y posteriores.

• Categorías cambiantes o inadecuadas.
• Sesgos cognitivos (ej. sesgo de automatización y sesgo de confirmación).

Antes de su comercialización/utilización el sistema será sometido a una evaluación sobre el impacto de sus posibles sesgos, especialmente aquellos que podrían afectar los derechos, salud o seguridad de las personas.

El sistema cumplirá con los estándares de clasificación que tratan los sesgos relacionados con la edad, la étnica, la raza, el sexo o la discapacidad de acuerdo con la normativa aplicable.

El sistema de IA contará con medidas de inclusión y equidad, especialmente en relación con los siguientes aspectos:

• Testeo de los resultados del sistema para diferentes grupos afectados.
• Medidas de aumento de la accesibilidad.
• Medidas que apoyen su uso por parte de personas en situación de vulnerabilidad.
• Medidas para garantizar que el sistema se adapta a un amplio espectro de preferencias y habilidades individuales.

El grupo de desarrollo del sistema de IA debe incluir personas de género no masculino, personas de diversos orígenes o culturas y de diversas disciplinas de conocimiento (más allá de la ciencia de datos, la ingeniería y las ciencias de la salud).

El sistema irá acompañado de la siguiente información:

• El nivel de precisión y seguridad del sistema.
• La manera y el grado de influencia que las acciones de las personas usuarias pueden tener sobre el rendimiento del sistema.
• Los posibles comportamientos y escenarios que nunca debería transgredir para garantizar la seguridad y preservar la no maleficencia del sistema.
• Los mecanismos de supervisión y control del sistema (tanto interno como externo).
• Guías de utilización y buenas prácticas de los sistemas de IA redactadas en un lenguaje accesible a las personas usuarias clínicas.

El sistema contará con mecanismos claros y definidos para que las personas usuarias clínicas puedan contactar con los desarrolladores del sistema de IA cuando sea necesario.

El sistema contará con mecanismos que garanticen la actualización periódica de la información disponible sobre el rendimiento del sistema periódicamente la información disponible sobre el rendimiento del sistema de IA.

Previamente a su comercialización/utilización el sistema será sometido a una evaluación que incorpore los siguientes aspectos:

• Los posibles impactos del sistema sobre la salud, la seguridad y los derechos de las personas afectadas.
• El riesgo de que los datos recogidos, generados o utilizados por el sistema sean utilizados para discriminar a personas de manera negativa.
• Los posibles riesgos y daños que provocaría el sistema en caso de realizar predicciones inexactas en los escenarios previstos.
• Los riesgos que comportaría utilizar el sistema más allá de los usos previstos.
• Los posibles riesgos derivados de que se involucren personas de una especialidad clínica diferente de la actora principal durante el contexto de desarrollo de la solución.

El sistema contará con las siguientes medidas:

• Medidas de resistencia ante errores surgidos por su interacción con otros sistemas o personas.
• Medidas de resistencia y mitigación de errores surgidos de intentos de manipulación por personas no autorizados.
• Metodologías de evaluación o autoevaluación periódica reconocida para velar por el buen funcionamiento del sistema y prever posibles funcionamientos erróneos.

Se garantizará que previamente a su comercialización/utilización el sistema habrá sido sometido a las evaluaciones que corroboran su conformidad respecto a los requisitos legales que le son aplicables.

El sistema contará con medios que permitan las siguientes funciones:

• Identificar, evaluar y adoptar medidas respecto a los riesgos surgidos de su uso y de los datos recogidos después de entrar en funcionamiento.
• Informar sobre los riesgos residuales del sistema que no hayan podido ser corregidos ni mitigados.

El sistema contará con herramientas que permitan validar y contrastar clínicamente sus resultados.

Previamente a la utilización/comercialización del sistema se determinará:

• Cuál será la contribución del sistema en la toma de decisiones clínica.
• El grado de responsabilidad de las personas involucradas en el control, operación y vigilancia humana del sistema.
• Las personas responsables de actualizar el sistema.

Se proporcionará a las personas involucradas en el control de las decisiones tomadas por el sistema, en especial de las personas usuarias clínicas, formación adecuada para que tengan una comprensión adecuada sobre su funcionamiento y cuenten con la capacitación necesaria para ejercer esta función.

El sistema contará con las herramientas que permitan a las personas encargadas de su control:

• Intervenir, modificar, eliminar o revertir las decisiones tomadas por el sistema.
• Habilitar modificaciones en el protocolo clínico de proceso de datos y uso del sistema.
• Limitar el uso del sistema por grupos de pacientes o contextos clínicos específicos cuando el rendimiento sea inaceptable.

El sistema irá acompañado de información y documentación relativa a los siguientes aspectos:

• Los límites de los mecanismos de control del sistema.
• Las medidas de supervisión humana con las que cuenta el sistema.

Se garantizará que en el desarrollo del sistema han participado personas expertas clínicas en el contexto de la solución, de manera que la desarrolladora ha tenido conocimiento del mismo.

Previamente a la utilización/comercialización del sistema se determinará:

• La persona legalmente responsable de las acciones y/o decisiones que toma durante todo su ciclo de vida, particularmente, cuál es el grado de responsabilidad atribuido a la persona usuaria clínica, la organización sanitaria a la que pertenece, y la creadora del sistema.
• Los mecanismos de revisión periódica sobre responsabilidad y retimento de cuentas con los diferentes agentes involucrados en el desarrollo y el uso del sistema de IA.

Previamente a la comercialización/uso del sistema se tomarán las siguientes medidas:

• Facilitar la demostración del cumplimiento de la legislación vigente.
• Determinar formas de reparación o compensación en caso de perjuicios causados por el sistema, las cuales incluirán la responsabilidad de las personas que han creado en el sistema cuando sea pertinente.
• Determinar figuras de protección hacia las personas usuarias y las personas afectadas por el sistema.
• Determinar si el sistema de IA puede ser considerado como producto sanitario de acuerdo con la regulación sobre productos sanitarios (MDR) o de diagnóstico in vitro (IVDR) y cuál sería su clasificación de acuerdo con estas normas.

El sistema contará con mecanismos de protección de datos presentes durante todo su ciclo de vida encaminados a garantizar los siguientes aspectos:

• Que los datos de carácter personal sean tratados de acuerdo con el grado de protección legalmente requerido para evitar su mal uso, alternación, pérdida, o sustracción por parte de terceros.
• Que los datos suministrados por la persona interesada no sean vendidos, alquilados, ni cedidos sin su consentimiento.
• Que el sistema cuenta con procesos para mantener o mejorar la privacidad y protección de los datos durante todo su ciclo de vida.
• Que se utilizan técnicas de anonimato, cifrado y agregación.
• Que existe un protocolo para obtener el consentimiento de las personas afectadas antes de iniciar cualquier procesamiento de datos a través del sistema, y la información relativa a estas acciones es comprensible y accesible para todas las posibles personas usuarias, incluidas aquellas con necesidades especiales.
• Que existe un mecanismo a través del cual la persona interesada puede solicitar que su información sea eliminada.

El sistema contará con un registro de la información de acceso a los datos que permita identificar claramente quién, cuándo y con qué propósito accede.

Se tomarán medidas para garantizar que las personas responsables del procesamiento y gestión de datos dispongan de las competencias necesarias para realizar estas funciones y conocimientos actualizados sobre la materia.

De cara a garantizar la adecuación y el uso reposable de los datos utilizados por el sistema se tomarán las siguientes medidas:

• Se establecerá un procedimiento para asegurar que los conjuntos de datos usados sean adecuados y relevantes para el rendimiento y resultado previsto del sistema y que sean adecuadas para el contexto en el que se utilizará el sistema.
• El proceso de recopilación y preparación de los datos usados será documentado.
• El sistema utilizará medidas de privacidad (como por ejemplo la pseudonimización de los datos) y limitará la reutilización de los datos personales sensibles.

El sistema está/ha sido diseñado de manera es que pueda garantizar que se adhiere a los principios de minimización de datos y protección de datos desde el diseño y por defecto.

El sistema irá acompañado de un proceso de evaluación para garantizar que no disminuye el número de elecciones posibles y no obliga o fuerza a tomar unas determinadas decisiones en general ni en ninguna fase de su ciclo de vida.

El sistema irá acompañado de un procedimiento que permita a las personas pacientes cuestionar:

• Los resultados y el uso previsto del sistema.
• Los aspectos concretos sobre el uso de sus datos.
• Los sesgos existentes, los procesos de validación y el rendimiento esperado del sistema de IA.
• La división en la contribución a la toma de decisiones entre el sistema de IA y la persona usuaria clínica.

El sistema irá acompañado de un protocolo de comprobación que permita certificar que ayuda a las personas a tomar decisiones mejores y más informadas.

El sistema contará con mecanismos que garanticen los siguientes aspectos:

• Que las personas usuarias clínicas sean conscientes de que interactúan con una inteligencia artificial y están suficientemente capacitadas e informadas para hacerlo.
• Que se informa a las personas pacientes sobre su exposición al sistema de IA y cómo este funciona.
• Que no pone en riesgo los niveles de autonomía de las personas usuarias clínicas ni de las pacientes y se adapta a diferentes preferencias y necesidades.

El sistema contará con los siguientes mecanismos:

• Medidas de supervisión humana que posibiliten gestionar su grado de autonomía y adaptabilidad.
• Mecanismo de limitación del grado de autonomía del sistema para evitar comportamientos no deseados o de alto riesgo.
• Adaptarse y aprender de su entorno sin comprometer la seguridad ni estándares éticos.

Se garantizará que en el diseño, la implementación y el uso el sistema se han tomado en consideración las limitaciones y obstáculos derivados de la brecha digital y el acceso social no igualitario.

Antes de su comercialización y/o utilización, el sistema será sometido a una evaluación sobre sus impactos a los derechos de las personas, la seguridad, la salud y el medio ambiente.

Esta evaluación toma especialmente en consideración los siguientes ámbitos:

• Impacto sobre los derechos laborales del personal de la organización sanitaria.
• Impacto y riesgos relativos al desarrollo sostenible.
• Medidas de compensación justa y trato ético a las personas implicadas en todas las fases del ciclo de vida del sistema y de los afectados por su implementación y uso.

El sistema contará con mecanismos que le permitan registrar su consumo de energía e impacto ambiental durante todo su ciclo de vida.

Antes de su comercialización y/o utilización, el sistema será sometido a una evaluación en la que se dirija, como mínimo, los siguientes aspectos:

• La eficiencia energética del sistema.
• Explorar el uso de fuentes de energía renovables y prácticas de informática verde.