Contratos

El sistema irá acompañado de información precisa sobre para qué se utiliza, así como la identidad y los datos de contacto de la persona proveedora o representantes.

Se garantizará que el proceso de generación de resultados del sistema cumple con los siguientes requisitos:

• Está bien documentado y reproducible para detectar futuros problemas.
• Utiliza el modelo más simple e inteligible en favor de la transparencia.
• Toma en consideración las competencias y alfabetización en materia de inteligencia artificial de todas las personas.
• Realiza registros automáticos sobre su funcionamiento.

Se documentará y se hará pública la siguiente información relativa al sistema:

• Su proceso de desarrollo y las personas que han estado implicadas.
• La información técnica necesaria para su uso.
• Instrucciones concisas, claras y escritas en un lenguaje accesible, sobre su funcionamiento.
• El proceso por el que el sistema llega a un resultado determinado y los resultados previstos.
• Las posibles limitaciones del sistema.
• Información relativa al intercambio y cesión de datos, así como las vías y mecanismos que permiten a las personas interesadas ejercer sus derechos.

El sistema contará con un mecanismo que permita identificar el contenido que genera como creación de este.

Se tomarán medidas para que el nivel de transparencia y explicabilidad del sistema no suponga un riesgo para la privacidad de las personas ni la propia seguridad del sistema.

En relación con los datos utilizados por el sistema, se asegurará el cumplimiento de los siguientes requisitos:

• El sistema irá acompañado de documentación relativa al tipo de datos utilizados, su procedencia, y los cambios que han sufrido en cada fase de su ciclo de vida.
• Se tomarán medidas para verificar la representatividad y adecuación de los datos utilizados.
• El sistema contará con salvaguardas para verificar la edad de las personas.

El registro de archivos que genera el sistema de IA será conservado durante un plazo mínimo de seis meses.

El sistema dispondrá de las siguientes herramientas de comunicación:

• Una función que permita a los usuarios realizar comentarios sobre su funcionamiento.
• Un sistema de notificaciones en caso de incidente grave o error.

Se establecerá una política de participación de diferentes grupos de interés (stakeholders) donde se incluya a las personas usuarias finales y/o receptoras.

El sistema de IA contará con medidas de inclusión y equidad, especialmente en relación con los siguientes aspectos:

• Testeo de los resultados del sistema para diferentes grupos afectados.
• Medidas de aumento de la accesibilidad.
• Medidas que apoyen su uso por parte de personas en situación de vulnerabilidad.
• Medidas para garantizar que el sistema se adapta a un amplio espectro de preferencias y habilidades individuales.

El sistema será sometido a una evaluación con la finalidad de verificar que no utiliza variables o proxies injustamente discriminatorias antes de su comercialización/utilización.

El grupo de desarrollo del sistema de IA debe incluir personas de género no masculino, personas de diversos orígenes o culturas y de diversas disciplinas de conocimiento (más allá de la informática y la ingeniería).

La organización promoverá una política organizativa que tenga como prioridad la diversidad, la equidad y la inclusión.

El sistema contará con medidas y mecanismos para detectar, corregir y mitigar posibles sesgos durante todo su ciclo de vida.

Especialmente, las medidas irán dirigidas a los sesgos presentes en:

• La fase de diseño o implementación.
• Los datos de entrenamiento y posteriores.
• Categorías cambiantes o inadecuadas.

Antes de su comercialización/utilización el sistema será sometido a una evaluación sobre el impacto de sus posibles sesgos, especialmente aquellos que podrían afectar los derechos, salud o seguridad de las personas.

El sistema cumplirá con los estándares de clasificación que tratan los sesgos relacionados con la edad, la etnia, la raza, el sexo o discapacitades de acuerdo con la normativa aplicable.

El sistema incluirá mecanismos de seguridad con el fin de prevenir los siguientes incidentes:

• Anomalías o acciones fuera de los límites predeterminados.
• Salidas sesgadas y bucles de retroalimentación.

Las medidas para la detección, corrección y mitigación de sesgos cumplirán con la normativa aplicable en materia de protección de datos. En específico, se garantizará el cumplimiento del Reglamento (UE) 2016/679, la Directiva (UE) 2016/ 680, y el Reglamento (UE) 2018/1725.

Se proporcionará información detallada sobre los datos y los recursos utilizados para prevenir y detectar la inadecuación o los sesgos de los datos, así como el riesgo del sesgo de automatización.

El sistema irá acompañado de la siguiente información:

• El nivel de precisión y seguridad del sistema.
• La manera y el grado de influencia que las acciones de las personas usuarias pueden tener sobre el rendimiento del sistema.
• Los posibles comportamientos y escenarios que nunca debería transgredir para garantizar la seguridad y preservar la no maleficencia del sistema.
• Los mecanismos de supervisión y control del sistema (tanto interno como externo).

Las personas que han diseñado/diseñarán el sistema proporcionarán orientación sobre cómo interpretar y responder las métricas que genere.

Previamente a su comercialización/utilización el sistema será sometido a una evaluación que incorpore los siguientes aspectos:

• Los posibles impactos del sistema sobre la salud, la seguridad y los derechos de las personas afectadas.
• El riesgo de que los datos recogidos, generados o utilizados por el sistema sean utilizados para discriminar a personas de manera negativa.
• Los posibles riesgos y daños que provocaría el sistema en caso de realizar predicciones inexactas en los escenarios previstos.
• Los riesgos que comportaría utilizar el sistema más allá de los usos previstos.

El sistema contará con un protocolo general sobre trazabilidad de los datos para la gestión del riesgo.

El sistema contará con medios que permitan las siguientes funciones:

• Identificar, evaluar y adoptar medidas respecto a los riesgos surgidos de su uso y de los datos recogidos después de entrar en funcionamiento.
• Informar sobre los riesgos residuales del sistema que no hayan podido ser corregidos ni mitigados.

El sistema contará con las siguientes medidas:

• Medidas de resistencia ante errores surgidos por su interacción con otros sistemas o personas.
• Medidas de resistencia y mitigación de errores surgidos de intentos de manipulación por personas no autorizadas.
• Medidas de examen continuo sobre la precisión de las decisiones tomadas por el sistema.

Las personas usuarias del sistema de IA podrán controlar hasta qué punto están expuestas al mismo y revocar su consentimiento en cualquier momento sin que ello comprometa su rendimiento.

Previamente a su comercialización/utilización el sistema será sometido a una evaluación para garantizar su seguridad, integridad y resiliencia ante diferentes formas de ataque.

Previamente a su comercialización/utilización los conjuntos de datos utilizados por el sistema serán sometidos a una evaluación para verificar que no han sido previamente comprometidos o pirateados.

Se tomarán medidas para garantizar que las personas involucradas en el control de las decisiones tomadas por el sistema tengan una comprensión adecuada sobre su funcionamiento y cuenten con la capacitación necesaria para ejercer esta función.

El sistema contará con las herramientas que permitan a las personas encargadas de su control intervenir, modificar, eliminar o revertir las decisiones tomadas por el sistema.

El sistema irá acompañado de información y documentación relativa a los siguientes aspectos:

• Los límites de los mecanismos de control del sistema.
• Las medidas de supervisión humana con las que cuenta el sistema.

Previamente a la utilización/comercialización del sistema se determinará:

• La persona legalmente responsable de las acciones y/o decisiones que toma durante todo su ciclo de vida.
• La persona responsable de las medidas de vigilancia humana del sistema.

La organización adoptará las siguientes medidas:

• Llevará a cabo una evaluación de cara a determinar la influencia que el sistema supone en la toma de decisiones de la organización.
• Establecerá mecanismos de revisión periódica sobre la responsabilidad y la rendición de cuentas con los diferentes agentes involucrados en su desarrollo y uso.

La organización tomará las siguientes medidas:

• Facilitar la demostración del cumplimiento de la legislación vigente.
• Formas de reparación o compensación en caso de perjuicios causados por el sistema.
• Determinar figuras de protección hacia las personas usuarias y las personas afectadas por el sistema.

La organización se compromete a no realizar ninguna afirmación que pueda conducir a sobrestimar las capacidades del sistema y que no sea demostrable compartiendo datos y el código de este.

La organización desarrollará un código ético para el uso responsable de la inteligencia artificial.

Incluirá los siguientes puntos:

• Promoción del uso responsable de la inteligencia artificial por parte del personal de la organización.
• Llevar a cabo la determinación de los objetivos del sistema y la revisión de su funcionamiento partiendo de la perspectiva del uso responsable de la inteligencia artificial.
• Adoptar medidas para asegurar que el sistema, en el proceso de generar decisiones, toma en consideración las implicaciones sobre los derechos y el bienestar de las personas.

El sistema contará con mecanismos de protección de datos presentes durante todo su ciclo de vida encaminados a garantizar los siguientes aspectos:

• Que los datos de carácter personal sean tratados de acuerdo con el grado de protección legalmente requerido para evitar su mal uso, alternación, pérdida, o sustracción por parte de terceros.
• Que los datos suministrados por la persona interesada no sean vendidos, alquilados, ni cedidos sin su consentimiento.
• Que el sistema cuente con procesos para mantener o mejorar la privacidad y protección de los datos durante todo su ciclo de vida.
• Que se utilicen técnicas de anonimato, cifrado y agregación.
• Que exista un protocolo para obtener el consentimiento de las personas afectadas antes de iniciar cualquier procesamiento de datos a través del sistema, y la información relativa a estas acciones es comprensible y accesible para todas las posibles personas usuarias, incluidas aquellas con necesidades especiales.
• Que exista un mecanismo a través del cual la persona interesada pueda solicitar que su información sea eliminada.

El sistema garantizará el acceso igualitario para personas con discapacidad y en situación vulnerable respetando su privacidad y dignidad.

El sistema contará con un registro de la información de acceso a los datos que permita identificar claramente quién, cuándo y con qué propósito accede.

Se tomarán medidas para garantizar que las personas responsables del procesamiento y gestión de datos cuenten con las competencias necesarias para realizar estas funciones y conocimientos actualizados sobre la materia.

De cara a garantizar la adecuación y el uso responsable de los datos utilizados por el sistema se tomarán las siguientes medidas:

• Se establecerá un procedimiento para asegurar que los conjuntos de datos usados sean adecuados y relevantes para el rendimiento y resultado previsto del sistema, y que sean adecuados para el contexto en el que se utilizará.
• El proceso de recopilación y preparación de los datos usados será documentado.
• El sistema utilizará medidas de privacidad (como por ejemplo la pseudominización de los datos) y limitará la reutilización de los datos personales sensibles.

El sistema está/estará sido diseñado de manera que se puedan garantizar las siguientes cuestiones:

• El sistema se adhiere a los principios de minimización de datos y protección de datos desde el diseño y por defecto.
• El sistema puede ser entrenado sin la necesidad de transmitir o copiar datos en bruto o estructurados.

El sistema incluirá un proceso de evaluación para garantizar que no disminuye el número de elecciones posibles y no obliga o fuerza a tomar unas determinadas decisiones en general ni en ninguna fase de su ciclo de vida.

El sistema irá acompañado de un protocolo de comprobación que permita certificar que ayuda a las personas a tomar decisiones mejores y más informadas.

El sistema contará con mecanismos que garanticen los siguientes aspectos:

• Que las personas usuarias finales sean conscientes de que interactúan con una inteligencia artificial y estén suficientemente capacitadas e informadas para hacerlo.
• Que los resultados que genere sean etiquetados de alguna manera que permita a las personas identificar que este contenido ha sido generado por una inteligencia artificial.
• Que no pone en riesgo los niveles de autonomía de las personas usuarias finales, evitando el uso de técnicas manipulativas o subliminales y adaptándose a las preferencias y necesidades de la persona.

El sistema contará con mecanismos que garanticen que sus operaciones sean transparentes, claras, sinceras y no alientarán a las personas usuarias a sobreestimar sus capacidades.

El sistema contará con los siguientes mecanismos:

• Medidas de supervisión humana que posibiliten gestionar su grado de autonomía y adaptabilidad.
• Mecanismo de limitación del grado de autonomía del sistema para evitar comportamientos no deseados o de alto riesgo.
• Adaptarse y aprender de su entorno sin comprometer la seguridad ni estándares éticos.

El sistema será sometido a una evaluación para identificar y mitigar los riesgos de sus capacidades y su grado de autonomía, así como su adaptabilidad a nuevas tareas.

Se garantizará que, en el diseño, la implementación y el uso el sistema se han tomado en consideración las limitaciones y obstáculos derivados de la brecha digital y el acceso social no igualitario.

Antes de su comercialización y/o utilización, el sistema será sometido a una evaluación sobre sus impactos a los derechos de las personas, la seguridad, la salud y el medio ambiente.

Esta evaluación tomará especialmente en consideración los siguientes ámbitos:

• Impacto sobre los derechos laborales.
• Impacto sobre la calidad de vida de las personas.
• Impacto y riesgos relativos al desarrollo sostenible.
• Medidas de compensación justa y trato ético a las personas implicadas en todas las fases del ciclo de vida del sistema y de los afectados por su implementación y uso.

El sistema contará con medidas que garanticen el respeto y uso ético de los datos protegidos por la propiedad intelectual.  Entre estas medidas se incluirá hacer pública la información relativa a los datos protegidos por la legislación sobre propiedad intelectual utilizados por el sistema.

En el desarrollo, la comercialización, la implementación y/o la utilización del sistema se compactará con la participación de partes interesadas relevantes.

La organización colaborará activamente con la representación laboral de su personal con el fin de identificar, corregir y mitigar los posibles riesgos que la adquisición, implementación y/o uso del sistema puedan conllevar para el bienestar y los derechos laborales de las personas trabajadoras.

El sistema contará con mecanismos que le permitan registrar su consumo de energía e impacto ambiental durante todo su ciclo de vida.

La organización implementará mecanismos y estrategias dirigidas a mejorar la eficiencia energética del sistema y reducir su huella ambiental, especialmente cuando se utilizan conjuntos de datos extensos.

Antes de su comercialización y/o utilización, el sistema será sometido a una evaluación en la que se dirija, como mínimo, los siguientes aspectos:

• La eficiencia energética del sistema.
• Explorar el uso de fuentes de energía renovables y prácticas de informática verde.