Contratos Educación
En este apartado encontraréis contenido recomendado para la redacción de cláusulas de contratos relativos a sistemas de IA. Este contenido organizado a través de los principios del Modelo PIO, es relevante para muchos casos de uso y para determinar la aplicación de la legislación europea sobre inteligencia artificial (AI Act) así como el cumplimiento de los más altos estándares de responsabilidad, seguridad y respeto por los derechos humanos.
1.1. Análisis preliminar del uso del sistema
Recomendación de cláusula
Nº
El sistema de IA irá acompañado de información precisa sobre para qué se utiliza, la identidad y los datos de contacto de la persona proveedora o representantes.
1.1.1
Garantizar que el proceso de generación de resultados del sistema de IA cumple con los siguientes requisitos:
- Bien documentado y reproducible para detectar problemas futuros.
- Utilizar el modelo más sencillo e inteligible en favor de la transparencia.
- Tener en cuenta las competencias y la alfabetización en materia de inteligencia artificial de todos los usuarios.
1.1.2
1.2. Explicabilidad
Recomendación de cláusula
Nº
Se documentará y se hará pública la siguiente información del sistema de IA:
- El proceso de desarrollo y las personas que han participado en él.
- Instrucciones concisas, claras y redactadas en un lenguaje accesible sobre su funcionamiento.
- El proceso a través del cual se llega a un resultado determinado y los resultados previstos.
- Las posibles limitaciones.
1.2.1
El sistema de IA identifica que la información es proporcionada por una IA.
1.2.2
Se tomarán medidas para que el nivel de transparencia y explicabilidad del sistema de IA no suponga un riesgo para la privacidad de las personas ni para la propia seguridad del sistema.
1.2.3
1.3. Trazabilidad y representatividad
Recomendación de cláusula
Nº
En relación con los datos utilizados por el sistema de IA, se garantizará el cumplimiento de los siguientes requisitos:
- Documentación sobre el tipo de datos utilizados, su procedencia y los cambios que han sufrido en cada fase de su ciclo de vida.
- Se tomarán medidas para verificar la representatividad y adecuación de los datos utilizados.
- Salvaguardias para verificar la edad de los usuarios.
- Conocimiento de los sesgos algorítmicos.
1.3.1
1.4. Protocolos de comunicación
Recomendación de cláusula
Nº
El sistema d’IA disposarà de les següents eines de comunicació:
- Garantir el consentiment informat.
- Notificacions en cas d’incident greu o error.
1.4.1
Política de participació de diferents grups d’interès de la comunitat educativa.
1.4.2
Xarxa amb altres centres educatius que utilitzen un sistema d’IA similar.
1.4.3
2.1. Inclusión y diversidad
Recomendación de cláusula
Nº
El sistema de IA contará con medidas de inclusión y equidad, especialmente en relación con los siguientes aspectos:
- Evaluación de los resultados para diferentes grupos de alumnos.
- Medidas para aumentar la accesibilidad.
- Medidas para respaldar su uso por parte de personas en situación de vulnerabilidad.
- Medidas para garantizar que el sistema se adapta a un amplio espectro de preferencias y habilidades individuales.
2.1.1
El grupo de desarrollo del sistema de IA debe incluir personas que no sean de género masculino, personas de diversos orígenes o culturas y de diversas disciplinas del conocimiento (más allá de la informática y la ingeniería).
2.1.2
El centro educativo promoverá una política organizativa que tenga como prioridad la diversidad, la equidad y la inclusión.
2.1.3
2.2. Identificación y mitigación de sesgos
Recomendación de cláusula
Nº
El sistema de IA contará con medidas y mecanismos para detectar, corregir y mitigar posibles sesgos durante todo su ciclo de vida.
En especial, los presentes en:
- La fase de diseño o implementación.
- Los datos de entrenamiento y posteriores.
- Categorías cambiantes o inadecuadas.
2.2.1
El sistema de IA incluirá mecanismos de seguridad para prevenir los siguientes incidentes:
- Anomalías o acciones fuera de los límites predeterminados.
- Salidas desviadas y bucles de retroalimentación.
2.2.2
Las medidas para la detección, corrección y mitigación de riesgos cumplirán con la normativa aplicable en materia de protección de datos. En concreto, el Reglamento (UE) 2016/679, la Directiva (UE) 2016/680 y el Reglamento (UE) 2018/1725.
2.2.3
3.1. Funcionamiento del sistema
Recomendación de cláusula
Nº
El sistema irá acompañado de la siguiente información:
- El nivel de precisión y seguridad.
- Los posibles comportamientos y escenarios que nunca se deben infringir para garantizar la seguridad y preservar la no maleficencia.
- Los mecanismos de supervisión y control (tanto internos como externos).
3.1.1
Los alumnos utilizan el sistema de IA como una herramienta de aprendizaje que mejora su experiencia educativa.
3.1.2
3.2. Trazabilidad por la gestión del riesgo
Recomendación de cláusula
Nº
Antes de su comercialización/utilización, el sistema de IA será sometido a una evaluación que incluya los siguientes aspectos:
- Los posibles impactos en la salud, la seguridad y los derechos de las personas afectadas.
- El riesgo de que los datos recopilados, generados o utilizados no se empleen para discriminar negativamente a las personas.
- Los posibles riesgos y daños que provocaría en caso de realizar predicciones inexactas en los escenarios previstos.
- Los riesgos que supondría utilizar el sistema más allá de los usos previstos.
3.2.1
El sistema de IA contará con medios que permitan identificar, evaluar y adoptar medidas con respecto a los riesgos derivados de su uso y de los datos recopilados tras su puesta en funcionamiento.
3.2.2
El sistema de IA contará con un protocolo general sobre trazabilidad de los datos para la gestión del riesgo.
3.2.3
3.3. Mecanismos de seguretat
Recomendación de cláusula
Nº
El sistema de IA contará con las siguientes medidas:
- Medidas de mitigación de sesgos o intentos de manipulación.
- Revocación del consentimiento sin comprometer el funcionamiento del sistema.
- Medidas de resistencia frente a efectos negativos.
- Medidas de examen continuo sobre la precisión de las decisiones tomadas por el sistema.
3.3.1
3.4. Protección enfrente de ataques
Recomendación de cláusula
Nº
Antes de su comercialización/utilización, el sistema de IA se someterá a:
- Evaluación para garantizar su seguridad, integridad y resiliencia frente a diferentes formas de ataque.
- Evaluación para verificar que no ha sido comprometido o pirateado.
3.4.1
4.1. Control
Recomendación de cláusula
Nº
Medidas destinadas a garantizar la comprensión y la formación de las personas que participan en el control de las decisiones tomadas por el sistema de IA con el fin de ejercer dicha función.
4.1.1
El sistema de IA irá acompañado de información y documentación relativa a los siguientes aspectos:
- Los límites de los mecanismos de control.
- Las medidas de supervisión humana.
4.1.2
4.2. Retimiento de cuentas
Recomendación de cláusula
Nº
Antes de la comercialización/utilización del sistema de IA se determinará:
- La persona legalmente responsable de las acciones y/o decisiones que tome durante todo su ciclo de vida.
- La persona responsable de las medidas de vigilancia humana.
4.2.1
El centro educativo adoptará las siguientes medidas:
- Llevará a cabo una evaluación para determinar la influencia del sistema en la toma de decisiones.
- Establecerá mecanismos de revisión periódica sobre la responsabilidad y la rendición de cuentas con los diferentes miembros de la comunidad educativa que interactúan en él.
- Garantizará la mejora de la educación y los resultados del alumnado sin comprometer su participación ni la calidad de la enseñanza.
4.2.2
4.3. Figuras de protección
Recomendación de cláusula
Nº
El centro educativo adoptará las siguientes medidas:
- Facilitar la demostración del cumplimiento de la legislación vigente.
- Formas de reparación o compensación en caso de daños causados por el sistema de IA.
- Determinar figuras de protección frente a los usuarios y personas afectadas por el sistema de IA.
4.3.1
4.4. Capacitación
Recomendación de cláusula
Nº
El centro educativo se compromete a no realizar ninguna afirmación que pueda llevar a subestimar las capacidades del sistema de IA y que no sea demostrable compartiendo datos y el código de este.
4.4.1
4.5. Promoción de una cultura de la ética y responsabilidad relacionada con la IA
Recomendación de cláusula
Nº
El centro educativo desarrollará un código ético para el uso responsable de la IA con los siguientes puntos:
- Promoción del uso responsable.
- La determinación de los objetivos del sistema y la revisión de su funcionamiento con esta perspectiva.
- Medidas que garanticen los derechos y el bienestar de las personas en el proceso de toma de decisiones.
4.5.1
5.1. Protección de la privacidad
Recomendación de cláusula
Nº
Mecanismos de protección de datos presentes durante todo su ciclo de vida garantizando:
- Tratar los datos de carácter personal de acuerdo con la protección legalmente requerida.
- Los datos facilitados por el interesado no serán vendidos, alquilados ni cedidos sin su consentimiento.
- Mantener o mejorar la privacidad y protección durante todo su ciclo de vida.
- Técnicas de anonimato, cifrado y agregación.
- La persona interesada puede solicitar su eliminación.
- Un lenguaje comprensible y accesible para todos los posibles usuarios, incluidos aquellos con necesidades especiales.
5.1.1
Un protocolo para obtener el consentimiento de las personas afectadas antes de iniciar cualquier tratamiento de datos a través del sistema de IA.
5.1.2
El diseño y despliegue del sistema garantiza el acceso igualitario y la no discriminación sin comprometer sus datos privados y dignidad.
5.1.3
5.2. Gobernanza de datos
Recomendación de cláusula
Nº
El sistema de IA contará con un registro de la información de acceso a los datos que permita identificar claramente quién, cuándo y con qué propósito se accede a ellos.
5.2.1
Se tomarán medidas para garantizar que las personas responsables del tratamiento y la gestión de datos tengan las competencias necesarias para desempeñar estas funciones y conocimientos actualizados sobre la materia.
5.2.2
La adecuación y el uso responsable de los datos utilizados por el sistema de IA tomarán las siguientes medidas:
- Procedimiento que garantice el respeto del contexto de uso, el rendimiento y el resultado.
- Documentación de la recopilación y preparación.
- Medidas avanzadas de seguridad y privacidad, como la seudonimización.
- Adecuación a las necesidades de todos los usuarios.
- Conocimiento de las medidas éticas y legales.
5.2.3
El sistema de IA está diseñado para garantizar los principios de minimización y protección de datos desde la fase de diseño.
5.2.4
6.1. Impacto en les capacidades de las personas usuaries
Recomendación de cláusula
Nº
El sistema de IA incluirá un proceso de evaluación para garantizar que no disminuya el número de opciones posibles y no obligue ni fuerce a tomar determinadas decisiones.
6.1.1
El sistema de IA contará con mecanismos para garantizar:
- La adaptabilidad a la autonomía en función de las preferencias y requisitos de cada alumno.
- No utilizar técnicas manipulativas o subliminales ni poner en riesgo la autonomía del alumnado.
- Identificar que el contenido ha sido generado por un sistema de IA.
- La conciencia de la interacción con un sistema de IA.
6.1.2
6.2. Percepción del sistema
Recomendación de cláusula
Nº
El sistema de IA contará con los siguientes mecanismos:
- Medidas de supervisión humana que permitan gestionar su grado de autonomía y adaptabilidad.
- Mecanismo para limitar el grado de autonomía evitando comportamientos no deseados o de alto riesgo.
- Medidas para adaptarse y aprender de su entorno sin comprometer la seguridad ni los estándares éticos.
6.2.1
El sistema de IA garantiza que sus operaciones son transparentes, claras, sinceras y no incitan a los alumnos a sobreestimar sus capacidades.
6.2.2
7.1. Desarrollo sostenible
Recomendación de cláusula
Nº
Antes de su comercialización o utilización, el sistema de IA será sometido a una evaluación sobre sus impactos en los derechos de las personas, la seguridad, la salud y el medio ambiente. Se tendrán especialmente en cuenta los siguientes ámbitos:
- La calidad de vida de las personas.
- Desarrollo sostenible.
- Derechos de autor y propiedad intelectual.
- Acceso social y brecha digital.
7.1.1
El centro educativo garantizará la protección, las condiciones laborales y una remuneración justa a las personas que trabajen en el sistema de IA adquirido.
7.1.2
7.2. Impacto mediambiental
Recomendación de cláusula
Nº
El sistema contará con mecanismos que le permitirán registrar su consumo energético y su impacto medioambiental durante todo su ciclo de vida.
7.2.1
El desplegador o el proveedor implementarán mecanismos y estrategias dirigidos a mejorar la eficiencia energética del sistema y reducir su huella ambiental.
7.2.2
Antes de su comercialización o utilización, el sistema de IA será sometido a una evaluación en la que se abordarán, como mínimo, los siguientes aspectos:
- La eficiencia energética.
- Explorar el uso de fuentes de energía renovables y prácticas de informática verde.
7.2.3
Con el soporte de
El OEIAC contribuye al despliegue de la Estrategia Cataluña IA 2030 para convertirse en un territorio líder en innovación digital responsable.
