Contractes Educació
En aquest apartat trobareu contingut recomanat per a la redacció de clàusules de contractes relatius a sistemes d’IA. Aquest contingut organitzat a través dels principis del Model PIO, és rellevant per a molts casos d’ús i per determinar l’aplicació de la legislació europea sobre intel·ligència artificial (AI Act) així com el compliment dels més alts estàndards de responsabilitat, seguretat i respecte pels drets humans.
1.1. Anàlisi preliminar de l’ús del sistema
Recomanació de clàusula
Nº
El sistema d’IA anirà acompanyat d’informació precisa sobre per a què s’utilitza, la identitat i les dades de contacte de la persona proveïdora o representants.
1.1.1
Garantir que el procés de generar resultats del sistema d’IA compleixi amb els següents requisits:
- Ben documentat i reproduïble per a detectar futurs problemes.
- Utilitzar el model més simple i intel·ligible en favor de la transparència.
- Pren en consideració les competències i alfabetització en matèria d’intel·ligència artificial de totes les persones usuàries.
1.1.2
1.2. Explicabilitat
Recomanació de clàusula
Nº
Es documentarà i es farà pública la següent informació del sistema d’IA:
- El procés de desenvolupament i les persones que hi han estat implicades.
- Instruccions concises, clares i escrites en un llenguatge accessible sobre el seu funcionament.
- El procés a través del qual arriba a un resultat determinat i els resultats previstos.
- Les possibles limitacions.
1.2.1
El sistema d’IA identifica que la informació la proporciona una IA.
1.2.2
Es prendran mesures per tal que el nivell de transparència i explicabilitat del sistema d’IA no suposi un risc per a la privacitat de les persones ni la mateixa seguretat del sistema.
1.2.3
1.3. Traçabilitat i representativitat
Recomanació de clàusula
Nº
En relació amb les dades utilitzades pel sistema d’IA, s’assegurarà el compliment dels següents requisits:
- Documentació sobre el tipus de dades utilitzades, llur procedència i els canvis que han patit en cada fase del seu cicle de vida.
- Es prendran mesures per verificar la representativitat i adequació de les dades utilitzades.
- Salvaguardes per verificar l’edat de les persones usuàries.
- Coneixement dels biaixos algorítmics.
1.3.1
1.4. Protocols de comunicació
Recomanació de clàusula
Nº
El sistema d’IA disposarà de les següents eines de comunicació:
- Garantir el consentiment informat.
- Notificacions en cas d’incident greu o error.
1.4.1
Política de participació de diferents grups d’interès de la comunitat educativa.
1.4.2
Xarxa amb altres centres educatius que utilitzen un sistema d’IA similar.
1.4.3
2.1. Inclusió i diversitat
Recomanació de clàusula
Nº
El sistema d’IA comptarà amb mesures d’inclusió i equitat, especialment en relació amb els següents aspectes:
- Testatge dels resultats per a diferents grups d’alumnat.
- Mesures per a augmentar l’accessibilitat.
- Mesures per a recolzar el seu ús per part de persones en situació de vulnerabilitat.
Mesures per a garantir que el sistema s’adapta a un ampli espectre de preferències i habilitats individuals.
2.1.1
El grup de desenvolupament del sistema d’IA ha d’incloure persones de gènere no masculí, persones de diversos orígens o cultures i de diverses disciplines de coneixement (més enllà de la informàtica i l’enginyeria).
2.1.2
El centre educatiu promourà una política organitzativa que tingui com a prioritat la diversitat, l’equitat i la inclusió.
2.1.3
2.2. Identificació i mitigació de biaixos
Recomanació de clàusula
Nº
El sistema d’IA comptarà amb mesures i mecanismes per a detectar, corregir i mitigar possibles biaixos durant tot el seu cicle de vida.
Especialment, els presents en:
- La fase de disseny o implementació.
- Les dades d’entrenament i posteriors.
- Categories canviants o inadequades.
2.2.1
El sistema d’IA inclourà mecanismes de seguretat per tal de prevenir els següents incidents:
- Anomalies o accions fora dels límits predeterminats.
- Sortides esbiaixades i bucles de retroalimentació.
2.2.2
Les mesures per a la detecció, correcció i mitigació de biaixos compliran amb la normativa aplicable en matèria de protecció de dades. Concretament, el Reglament (UE) 2016/679, la Directiva (UE) 2016/ 680, i el Reglament (UE) 2018/1725.
2.2.3
3.1. Funcionament del sistema
Recomanació de clàusula
Nº
El sistema anirà acompanyat de la següent informació:
- El nivell de precisió i seguretat.
- Els possibles comportaments i escenaris que mai hauria de transgredir per garantir la seguretat i preservar la no maleficència.
- Els mecanismes de supervisió i control (tant intern com extern).
3.1.1
L’alumnat utilitza el sistema d’IA com una eina d’aprenentatge que millora llur experiència educativa.
3.1.2
3.2. Traçabilitat per a la gestió del risc
Recomanació de clàusula
Nº
Prèviament a la seva comercialització/utilització el sistema d’IA serà sotmès a una avaluació que incorpori els següents aspectes:
- Els possibles impactes a la salut, la seguretat i els drets de les persones afectades.
- El risc que les dades recollides, generades o utilitzades no siguin emprades per discriminar a persones de manera negativa.
- Els possibles riscos i danys que provocaria en cas de realitzar prediccions inexactes en els escenaris previstos.
- Els riscos que comportaria utilitzar el sistema més enllà dels usos previstos.
3.2.1
El sistema d’IA comptarà amb mitjans que permetin identificar, avaluar i adoptar mesures respecte als riscos sorgits del seu ús i de les dades recollides després d’entrar en funcionament.
3.2.2
El sistema d’IA comptarà amb un protocol general sobre traçabilitat de les dades per a la gestió del risc.
3.2.3
3.3. Mecanismes de seguretat
Recomanació de clàusula
Nº
El sistema d’IA comptarà amb les següents mesures:
- Mesures de mitigació de biaixos o intents de manipulació.
- Revocació de consentiment sense comprometre el funcionament del sistema.
- Mesures de resistència davant d’efectes negatius.
Mesures d’examen continuat sobre la precisió de les decisions preses pel sistema.
3.3.1
3.4. Protecció enfront d’atacs
Recomanació de clàusula
Nº
Prèviament a la seva comercialització/utilització el sistema d’IA serà sotmès a:
- Avaluació per a garantir la seva seguretat, integritat i resiliència davant de diferents formes d’atac.
Avaluació per verificar que no ha estat compromès o piratejat.
3.4.1
4.1. Control
Recomanació de clàusula
Nº
Mesures garants de comprensió i capacitació per a les persones involucrades en el control de les decisions preses pel sistema d’IA per tal d’exercir aquesta funció.
4.1.1
El sistema d’IA anirà acompanyat d’informació i documentació relativa als següents aspectes:
- Els límits dels mecanismes de control.
Les mesures de supervisió humana.
4.1.2
4.2. Retiment de comptes
Recomanació de clàusula
Nº
Prèviament a la comercialització/utilització del sistema d’IA es determinarà:
- La persona legalment responsable de les accions i/o decisions que pren durant tot el seu cicle de vida.
- La persona responsable de les mesures de vigilància humana.
4.2.1
El centre educatiu adoptarà les següents mesures:
- Portarà a terme una avaluació per a determinar la influència del sistema a la presa de decisions.
- Establirà mecanismes de revisió periòdica sobre la responsabilitat i el retiment de comptes amb els diferents membres de la comunitat educativa que hi interactuen.
Garantirà que millora l’educació i els resultats de l’alumnat sense comprometre llur participació ni qualitat de la docència.
4.2.2
4.3. Figures de protecció
Recomanació de clàusula
Nº
El centre educatiu adoptarà les següents mesures:
- Facilitar la demostració del compliment de la legislació vigent.
- Formes de reparació o compensació en cas de perjudicis causats pel sistema d’IA.
Determinar figures de protecció envers les persones usuàries i les persones afectades pel sistema d’IA.
4.3.1
4.4. Capacitació
Recomanació de clàusula
Nº
El centre educatiu es compromet a no realitzar cap afirmació que pugui conduir a subestimar les capacitats del sistema d’IA i que no sigui demostrable compartint dades i el codi d’aquest.
4.4.1
4.5. Promoció d’una cultura de l'ètica i responsabilitat relacionada amb la IA
Recomanació de clàusula
Nº
El centre educatiu desenvoluparà un codi ètic per a l’ús responsable de la IA amb els següents punts:
- Promoció de l’ús responsable.
- La determinació dels objectius del sistema i la revisió del seu funcionament amb aquesta perspectiva.
Mesures garants de drets i benestar de les persones en el procés de presa de decisions.
4.5.1
5.1. Protecció de la privacitat
Recomanació de clàusula
Nº
Mecanismes de protecció de dades presents durant tot el seu cicle de vida garantint:
- Tractar les de caràcter personal d’acord amb la tutela legalment requerida.
- Les subministrades per la persona interessada no són venudes, llogades ni cedides sense el seu consentiment.
- Mantenir o millorar la privacitat i protecció durant tot el seu cicle de vida.
- Tècniques d’anonimat, xifratge i agregació.
- La persona interessada pot sol·licitar-ne l’eliminació.
- Un llenguatge comprensible i accessible per a totes les possibles persones usuàries, inclosos aquelles amb necessitats especials.
5.1.1
Un protocol per a obtenir el consentiment de les persones afectades abans d’iniciar qualsevol processament de les dades a través del sistema d’IA.
5.1.2
El disseny i desplegament del sistema garanteix l’accés igualitari i la no discriminació sense comprometre llurs dades privades i dignitat.
5.1.3
5.2. Governança de dades
Recomanació de clàusula
Nº
El sistema d’IA comptarà amb un registre de la informació d’accés a les dades que permeti identificar clarament qui, quan i amb quin propòsit hi accedeix.
5.2.1
Es prendran mesures per garantir que les persones responsables del processament i gestió de dades tinguin les competències necessàries per a realitzar aquestes funcions i coneixements actualitzats sobre la matèria.
5.2.2
L’adequació i l’ús reposable de les dades utilitzades pel sistema d’IA prendran les següents mesures:
- Procediment que asseguri el respecte del context d’ús, el rendiment i resultat.
- Documentació de la recopilació i preparació.
- Mesures avançades de seguretat i privadesa com la pseudonimització.
- Adequació a les necessitats de totes les persones usuàries.
- Coneixement de les mesures ètiques i legals.
5.2.3
El sistema d’IA està dissenyat per a garantir els principis de minimització i protecció de les dades des de la fase del disseny.
5.2.4
6.1. Impacte en les capacitats de les persones usuàries
Recomanació de clàusula
Nº
El sistema d’IA inclourà un procés d’avaluació per a garantir que no disminueix el nombre d’eleccions possibles i no obliga o força a prendre unes determinades decisions.
6.1.1
El sistema d’IA comptarà amb mecanismes per tal de garantir:
- L’adaptabilitat a l’autonomia en funció de les preferències i requisits de cada alumne.
- No utilitzar tècniques manipulatives o subliminars ni posar en risc l’autonomia de l’alumnat.
- Identificar que el contingut ha estat general per un sistema d’IA.
- La consciència d’interacció amb un sistema d’IA.
6.1.2
6.2. Percepció del sistema
Recomanació de clàusula
Nº
El sistema d’IA comptarà amb els següents mecanismes:
- Mesures de supervisió humana que possibilitin gestionar el seu grau d’autonomia i adaptabilitat.
- Mecanisme per a limitar el grau d’autonomia evitant comportaments no desitjats o d’alt risc.
- Mesures per adaptar-se i aprendre del seu entorn sense comprometre la seguretat ni estàndards ètics.
6.2.1
El sistema d’IA garanteix que les seves operacions són transparents, clares, sinceres i no encoratgen a l’alumnat a sobreestimar llurs capacitats.
6.2.2
7.1. Desenvolupament sostenible
Recomanació de clàusula
Nº
Abans de la seva comercialització o utilització, el sistema d’IA serà sotmès a una avaluació sobre els seus impactes als drets de les persones, la seguretat, la salut i el medi ambient. Pren especial consideració els següents àmbits:
- La qualitat de vida de les persones.
- Desenvolupament sostenible.
- Drets d’autoria i propietat intel·lectual.
- Accés social i escletxa digital.
7.1.1
El centre educatiu vetllarà per la tutela, les condicions laborals i una remuneració justa de les persones treballadores del sistema d’IA adquirit.
7.1.2
7.2. Impacte mediambiental
Recomanació de clàusula
Nº
El sistema comptarà amb mecanismes que li permetin enregistrar el seu consum d’energia i impacte ambiental durant tot el seu cicle de vida.
7.2.1
El desplegador o el proveïdor implementaran mecanismes i estratègies adreçades a millorar l’eficiència energètica del sistema i reduir la seva petjada ambiental.
7.2.2
Abans de la seva comercialització o utilització, el sistema d’IA serà sotmès a una avaluació en la qual s’adreci, com a mínim, els següents aspectes:
- L’eficiència energètica.
- Explorar l’ús de fonts d’energia renovables i pràctiques d’informàtica verda.
7.2.3
Amb el suport de:
L’OEIAC contribueix al desplegament de l’Estratègia Catalunya IA 2030 per esdevenir un territori capdavanter en innovació digital responsable.
