Guies educació professorat
El professorat ha de poder respondre les següents preguntes de manera binària sense l’opció de “no aplica”. A més a més, per tal que la valoració del sistema d’IA sigui ètic i legal, les preguntes han de ser respostes de manera afirmativa.
Guia ràpida de preguntes
El principi de transparència i explicabilitat serveix de base per a la confiança i la responsabilitat dins de la comunitat escolar. Engloba la comunicació clara i la comprensió de com funcionen les eines d'IA, com s'utilitzen en entorns educatius i les implicacions del seu ús per a totes les parts interessades, inclosos professorat, alumnat, famílies o tutors.
Preguntes
Nº
Saps com les persones desenvolupadores i propietàries entrenen els sistemes d’IA generativa?
1.1
Tens garanties per a protegir-vos de la informació inexacta o interaccions que poden ser perjudicials?
1.2
Has tingut en compte les capacitats, competències i l’alfabetització en matèria d’IA de tot l’alumnat?
1.3
L’ús del sistema d’IA és transparent i fomenta la confiança i comprensió?
1.4
Coneixes les possibles limitacions del sistema d’IA i les has comunicat a l’alumnat?
1.5
Per tal de protegir les dades de l’alumnat menor d’edat, utilitzes mecanismes per tutelar llurs dades?
1.6
Coneixes els biaixos algorítmics del sistema d’IA i ets conscient de llurs efectes al procés educatiu?
1.7
Estàs en contacte amb centres educatius que usin un sistema d’IA similar per a conèixer antecedents i compartir experiències?
1.8
L’ús del sistema d’IA requereix el consentiment informat de les persones de la comunitat educativa?
1.9
El principi de justícia i equitat posa èmfasi en la inclusió i els resultats equitatius per a tots els membres de la comunitat educativa i requereix que les tecnologies d’IA es dissenyin, implementin i s’utilitzin de manera que tinguin en compte i respectin la diversitat d’orígens, identitats i necessitats dins de l’entorn escolar.
Preguntes
Nº
Coneixes les proteccions per a la possible difusió de contingut inexacte o discriminatori dels sistemes d’IA generativa?
2.1
Garanteixes que el sistema d’IA no reprodueix biaixos injustos i discriminacions?
2.2
Durant l’ús del sistema d’IA garanteixes que és adequat per a una diversitat de perfils sent inclusiu i equitatiu entre l’alumnat?
2.3
El sistema d’IA té mesures que els fan accessible i sostenen l’ús per a tot l’alumnat?
2.4
Coneixes la informació detallada de les dades i llur procedència que alimenten el sistema d’IA?
2.5
El sistema d’IA té mecanismes de seguretat en cas d’anomalies que amenacin la seguretat i els drets fonamentals?
2.6
El teu centre educatiu té coneixement o forma part d’associacions o entitats que fomenten la DEI per avançar en polítiques d’IA responsable?
2.7
El principi de seguretat i no maleficència de la IA en l’educació requereix que el desplegament i l'ús dels sistemes d’IA no afectin negativament el benestar de l’alumnat, professorat i la comunitat educativa més àmplia. Principalment, això implica una consideració acurada de com aquests poden tenir una afectació en la salut mental i prendre mesures proactives per mitigar els possibles efectes negatius.
Preguntes
Nº
L’alumnat coneix el nivell de precisió i seguretat del sistema d’IA?
3.1
Has establert mecanismes de supervisió i control (intern o extern) per tal que el sistema d’IA funcioni tal com preténs?
3.2
L’ús del sistema d’IA millora l’experiència educativa de l’alumnat recolzant el pensament crític i la creativitat?
3.3
Has avaluat els possibles impactes sobre la salut, la seguretat i els drets de les persones del sistema d’IA?
3.4
El sistema d’IA no afecta negativament la salut mental de l’alumnat, el professorat ni la comunitat educativa en general?
3.5
Si el sistema d’IA s’utilitzés per a altres usos més enllà dels previstos provocaria danys?
3.6
La comunitat educativa controla llur exposició i pot revocar-ne el consentiment sense comprometre el rendiment del sistema d’IA?
3.7
El sistema d’IA pot tenir riscos i vulnerabilitats que no garanteixin llur seguretat, integritat i resiliència davant de diferents formes d’atac?
3.8
El principi de responsabilitat i retiment de comptes en l’ús de la IA en l’educació implica garantir que totes les parts interessades en el seu desplegament tinguin coneixement sobre el seu ús ètic i hagin adquirit una condició reflexiva de l'impacte de les eines d'IA en l'ensenyament, l'aprenentatge i el benestar de la comunitat escolar, així com de la gestió activa dels possibles riscos associats a aquestes tecnologies.
Preguntes
Nº
Heu designat la persona responsable, en general, del sistema d’IA d’entre el claustre de professorat?
4.1
Heu designat la persona responsable legalment del sistema d’IA d’entre el claustre de professorat?
4.2
La persona responsable està capacitada i formada per a exercir aquestes funcions?
4.3
Els límits del nivell de control i participació humana vers el sistema d’IA estan definits?
4.4
Coneixes la teva responsabilitat quan integres el sistema d’IA amb l’objectiu de millorar l’educació i resultats de l’alumnat?
4.5
Has avaluat com i de quina manera el sistema d’IA influeix en la presa de decisions de l’alumnat?
4.6
Has contractat pòlisses d’assegurances per si ocorre un mal o impacte advers poder reparar-lo o compensar-lo?
4.7
Estàs exagerant el que pot fer el vostre sistema d’IA?
4.8
Fomentes l’ús del sistema d’IA com a eina de suport i no n’atribueixes funcions primordials del professorat?
4.9
Has elaborat el codi ètic per l’ús responsable de la IA?
4.10
El principi de privacitat referent a la IA en l’educació implica garantir que es respecti i protegeixi la informació personal i el dret a la confidencialitat de les dades de totes les persones de l'ecosistema educatiu. Això suposa implementar mesures sòlides de protecció de dades, polítiques transparents d'ús de dades i donar a les persones control sobre la seva pròpia informació.
Preguntes
Nº
D’entre el claustre de professorat heu designat la persona responsable de les dades?
5.1
La persona responsable està capacitada i formada per a exercir aquestes funcions?
5.2
Controleu la traçabilitat i l’accés a les dades de l’alumnat?
5.3
Les dades personals de l’alumnat compten amb mecanismes de protecció d’acord amb la legalitat?
5.4
Has establert mecanismes per sol·licitar l’eliminació de les dades personals?
5.5
La informació sobre el consentiment i la revocació és comprensible i accessible per a tot l’alumnat?
5.6
Fas servir tècniques d’anonimat i xifratge per garantir la privadesa i la protecció de les dades personals al sistema d’IA?
5.7
La consulta de les dades consta d’un registre d’accés?
5.8
Comptes amb estratègies per a garantir la privacitat i protecció de les dades per tal de donar suport als col·lectius més desfavorits?
5.9
El principi d’autonomia aplicat a la IA en l’educació fa referència al fet que les eines d'IA respectin i promoguin la independència en la presa de decisions de totes les persones de l'ecosistema educatiu. Això vol dir que les tecnologies d'IA haurien de donar suport a la capacitat del professorat i l’alumnat per a prendre decisions informades sobre els seus processos d'ensenyament i aprenentatge.
Preguntes
Nº
El sistema d’IA respecta i promou la independència de la presa de decisions de tota la comunitat educativa que l’utilitza?
6.1
El sistema d’IA no disminueix el nombre d’eleccions ni obliga o força a prendre decisions?
6.2
Has pres mesures per a garantir que l’alumnat és conscient que interactua amb una IA?
6.3
Tot l’alumnat que interactua amb el sistema d’IA té prou capacitat i informació del funcionament per a poder-s’hi relacionar?
6.4
El sistema d’IA suposa una amenaça per al desenvolupament acadèmic i personal de l’alumnat?
6.5
Hi ha supervisió humana al funcionament del sistema d’IA?
6.6
El sistema d’IA generativa s’adapta i aprèn del seu entorn sense comprometre la seguretat i els estàndards ètics?
6.7
El principi de sostenibilitat en l’ús de la IA en l’educació implica garantir que el seu desplegament es realitzi d'una manera ambientalment responsable, econòmicament viable i socialment equitativa. Des d'una perspectiva mediambiental, la sostenibilitat de la IA a l'educació requereix atenció al consum d'energia i les emissions de carboni associades a la formació i al funcionament de models d'IA. El professorat i les institucions haurien de defensar i triar solucions d'IA dissenyades tenint en compte l'eficiència energètica i que prioritzin l'ús de fonts d'energia renovables.
Preguntes
Nº
Coneixes com es materialitza la sostenibilitat per als sistemes d’IA?
7.1
Has tingut en compte l’accés social, incloent-hi l’escletxa digital, en l’ús i implantació del sistema d’IA?
7.2
El sistema d’IA tutela els drets d’autoria i propietat intel·lectual en el conjunt de dades utilitzades?
7.3
Prens mesures per a incrementar l’eficiència energètica del sistema d’IA?
7.4
Saps quina és la mitjana de la vida útil del sistema d’IA?
7.5
Has explorat l’ús de fonts d’energia renovables i pràctiques d’informàtica verda en l’ús del sistema d’IA?
7.6
Saps que l’impacte energètic i d’aigua de les eines d’IA generativa cada cop és més gran?
7.7
Recomanacions
Recomanacions
Nº
Has de conèixer i saber en que consisteix és l’entrenament del sistema d’IA generativa.
1
Prioritzar la tutela de la transparència del sistema i no acceptar la informació inexacte o les interaccions perjudicials per a l’alumnat.
2
L’alfabetització i les capacitats informàtiques i tecnològiques no poden ser un motiu de desigualtat. Cal que es parteixi d’una formació en IA abans d’introduir l’ús del sistema.
3
La transparència sobre el funcionament i ús del sistema permet la comprensió de la comunitat educativa i es tradueix amb confiança en els sistemes d’IA.
4
El sistema d’IA us ha d’avisar amb una notificació de tota limitació que tingui o pugui experimentar perquè pugueu interpretar els resultats d’acord amb la realitat.
5
Quan el sistema interactuï amb persones menors d’edat cal que verifiqui llur edat i en conseqüència reforceu els mecanismes de tutela previstos.
6
Els algoritmes que constitueixen el sistema d’IA inclouen biaixos procedents de diversos orígens (les grans bases de dades de les quals s’alimenten, la ingerència humana en la programació i la dificultat de traçar els elements programàtics del mateix algoritme) els quals impacten en el procés educatiu.
7
Establiu espais de relació i trobada amb altres centres educatius que utilitzin el mateix sistema d’IA o similars per poder intercanviar experiències i evolucions, a més, preveure futures accions.
8
El consentiment informat de l’alumnat consisteix a explicar-los què és el sistema d’IA, com funciona i el resultat que produeix; i en base aquesta informació decidir lliurement si s’hi volen sotmetre.
9
Recomanacions
Nº
El contingut generat per un sistema d’IA generativa sempre s’ha de comprovar i verificar per què utilitza un gran nombre de dades de difícil traçabilitat i provinents de fonts desconegudes o confuses.
1
Sempre ha d’existir una tutela envers la discriminació que pot patir l’alumnat produït pels sistemes d’IA amb l’objectiu de garantir la inclusió i l’equitat.
2
El sistema d’IA ha de ser accessible per a tothom i s’ha de poder entendre’l i adaptar-lo a totes les necessitats sol·licitades.
3
Les dades que utilitza el sistema d’IA han d’estar documentades amb l’objectiu:
- Evitar biaixos.
- Obtenir resultats adequat al context.
- Respecten els drets d’autoria.
4
El sistema d’IA ha de proporcionar un mecanisme de seguretat clar respecte al risc que pot ocasionar als drets fonamentals.
5
Recomanacions
Nº
Cal conèixer bé el sistema d’IA que es vol o feu servir. Això vol dir:
- Saber la precisió.
- Saber la seguretat que requereix.
- Conèixer els danys o riscos més enllà dels previstos.
- L’impacte a la seguretat i la integritat.
- La resiliència que experimentarà en vers als atacs.
1
El sistema d’IA ha de definir clarament quin és el mecanisme de supervisió i control de llur funcionament i resultats.
2
L’objectiu d’introduir sistemes d’IA en l’àmbit educatiu és millorar el procés d’aprenentatge. Si no és així o no es té clar, no s’ha d’introduir.
3
L’ús del sistema d’IA no pot afectar negativament:
- La salut, ja sigui física o, especialment, mental.
- Els drets de l’alumnat.
- La seguretat del sistema.
4
L’alumnat ha de poder controlar llur exposició al sistema d’IA i revocar llur consentiment sempre que ho desitgi sense que pugui comprometre el funcionament del sistema.
5
Recomanacions
Nº
Establiu la figura de la persona responsable del sistema d’IA i la responsable legal, pot ser la mateixa o no, i determinar:
- La designació.
- La durada del càrrec.
- Delimitar-ne les funcions.
1
Ha de ser molt clar:
- Els límits del sistema d’IA.
- La participació humana al mateix (com, quan i de quina manera).
2
Incloure en la formació anual del professorat una d’específica en matèria d’intel·ligència artificial per garantir-ne la capacitació i l’ús responsable.
3
La vostra responsabilitat en la introducció i ús dels sistemes d’IA es tradueix en no comprometre llur participació o qualitat de la docència.
4
Has de saber quin és l’impacte d’introduir sistemes d’IA en l’aprenentatge i evolució de l’alumnat. Es pot dur a terme analitzant els resultats abans i després de llur integració en l’educació.
5
Contracteu pòlisses d’assegurances per fer front a la responsabilitat civil que es pugui derivar de l’ús del sistema d’IA.
6
No exagereu la hipèrbole dels sistemes d’IA sumant-vos als discursos que els hi atribueixen capacitats màgiques amb funcions il·limitades, ja que en cap cas podran substituir les vostres funcions essencials ni aptituds.
7
Abans de l’ús del sistema d’IA, elaboreu un codi ètic on participin representants de tota la comunitat educativa.
8
Recomanacions
Nº
Establiu qui serà la persona responsable de les dades introduïdes al sistema i llur responsabilitat legal. En aquest sentit:
- La manera de designar-la.
- La durada del càrrec.
- Les funcions.
1
Les dades es tracten mitjançant la tècnica del xifratge o l’anonimització, entre altres opcions.
2
Segons la normativa, la tutela de les dades ha de consistir en:
- Fixar el control, la traçabilitat i l’accés.
- Garantir la comprensió d’aquest procés.
- Establir el dret de modificació i supressió.
- Comptar amb un registre d’accés sobre qui ha accedit, quan i amb quin propòsit.
3
Les dades de les persones menors d’edat, d’acord amb la normativa vigent, han de disposar d’una tutela reforçada.
4
Recomanacions
Nº
L’ús del sistema d’IA no pot:
- Minvar en la independència de l’alumnat en la presa de decisions.
- Suposar una disminució de les eleccions possibles.
- Obligar o forçar a prendre decisions determinades.
1
En tot moment l’alumnat ha de ser conscient que interactua amb un sistema d’IA i se l’ha d’informar amb mecanismes que assegurin la seva consciència i comprensió.
2
Si tens dubtes, desconfiança o, fins i tot, consideres una amenaça l’impacte del sistema d’IA al desenvolupament acadèmic de l’alumnat ho has de traslladar a tota la comunitat educativa.
3
El sistema d’IA requereix supervisió humana per tal de garantir:
- L’autonomia de l’alumnat.
- L’adaptabilitat al sistema.
- Funcionament segur i controlat per a tota la comunitat educativa.
4
La introducció de la IA generativa no pot comprometre ni posar en risc la seguretat ni els estàndards ètics.
5
Recomanació de clàusula
Nº
Per introduir un sistema d’IA en l’àmbit educatiu heu d’analitzar i garantir l’accés social de tot l’alumnat a la tecnologia.
1
El sistema d’IA ha de respectar els drets d’autoria de les dades que utilitza per alimentar-se.
2
El sistema d’IA ha de preveure mesures que incrementin l’eficiència energètica
3
Has de saber:
- La durada de la vida útil del sistema d’IA.
- El cost econòmic.
- L’impacte ambiental de llur manteniment.
4
En l’alimentació del sistema d’IA heu d’explorar energies renovables i informàtica verda.
5
Preneu consciència de l’impacte mediambiental dels sistemes d’IA generativa.
6
Amb el suport de:
L’OEIAC contribueix al desplegament de l’Estratègia Catalunya IA 2030 per esdevenir un territori capdavanter en innovació digital responsable.
