Evaluaciones

Evaluación de conformidad:

La AI Act exige que los proveedores de los sistemas de alto riesgo sometan su IA a una evaluación de conformidad (art.16). Esta consiste en demostrar que el sistema en cuestión cumple con los requisitos que le son impuestos por la AI Act.

La regulación contempla diferentes modalidades de evaluación en función de la finalidad prevista del sistema de alto riesgo. 

Procedimiento de evaluación interno contemplado en el anexo VI de la AI Act.

¿Qué sistemas deben ser sometidos a esta evaluación?

• Sistemas de categorización o de identificación biométrica y de reconocimiento de emociones.
• Sistemas utilizados en infraestructuras críticas.
• Sistemas utilizados en el ámbito de la educación y formación profesional.
• Sistemas utilizados en el ámbito del empleo, gestión de los trabajadores y acceso al autoempleo. 
• Sistemas utilizados en el ámbito del acceso y disfrute de servicios y prestaciones esenciales (públicas o privadas).
• Sistemas utilizados en el ámbito del cumplimiento de la ley.
• Sistemas utilizados en el ámbito de la migración, el asilo y el control de fronteras.
• Sistemas utilizados en el ámbito de la administración de justicia y procesos democráticos.

¿Cómo funciona este procedimiento?

Se trata de una evaluación interna, es decir, que la lleva a cabo el proveedor del sistema, en la que se deberán verificar los siguientes aspectos:

• Que se ha establecido un sistema de gestión de calidad que cumple con los requisitos del art. 17 de la AI Act.
• Que se ha examinado que la información contenida en la documentación técnica cumple con los requisitos aplicables a los sistemas de alto riesgo.
• Que el diseño y el proceso de desarrollo del sistema, así como su monitorización de postcomercialización, es coherente con la información contenida en la documentación técnica.

Procedimiento de evaluación externo, basado en la evaluación del sistema de gestión de la calidad y de la documentación técnica, con la participación de un organismo notificado, contemplado en el anexo VII de la AI Act.

¿Qué sistemas deben ser sometidos a esta evaluación?

Esta modalidad de evaluación es obligatoria respecto a los sistemas de categorización o de identificación biométrica y de reconocimiento de emociones cuando se dé alguna de las siguientes circunstancias:

• Cuando la Unión Europea no haya creado normas armonizadas o especificaciones comunes aplicables. 
• Cuando estas normas armonizadas o especificaciones comunes si existen, pero el proveedor no las ha aplicado.
• Cuando alguna las normas armonizadas a que se refiere la letra a) se haya publicado con una restricción (es decir, que no cubren todos los elementos que deben ser objeto de evaluación), las cuestiones a las que se refiere la restricción deben ser sometidas a esta opción de evaluación.

Aunque no concurran las circunstancias anteriores, los proveedores de los sistemas de categorización o de identificación biométrica y reconocimiento de emociones pueden someterse voluntariamente a este procedimiento de evaluación de manera alternativa al procedimiento interno previsto en el anexo VI si así lo desean.

¿Cómo funciona este procedimiento?

La evaluación la llevará a cabo un organismo externo llamado organismo notificado. Estos se tratan de organizaciones independientes de los proveedores, designadas por la autoridad competente de cada estado miembro, con el fin de llevar a cabo tareas de evaluación.

La evaluación de conformidad constará de las siguientes partes:

• Evaluación del sistema de gestión de calidad:
  • El proveedor debe enviar una solicitud de evaluación del sistema de gestión de calidad de su sistema al organismo notificado de su elección.
  • La solicitud debe incluir la información detallada en el punto 3 del anexo VII de la AI Act.
  • El organismo notificado enviará al proveedor una notificación con las conclusiones de la evaluación y su decisión justificada.
  • Cualquier cambio previsto para el sistema de gestión de calidad debe ser informado el organismo notificado, quien deberá decidir si el sistema continúa cumpliendo con los requisitos legales o si debe ser reevaluado.

• Control de la documentación técnica:
  • El proveedor debe enviar una solicitud de evaluación de la documentación técnica del sistema al organismo notificado de su elección. 
  • La solicitud debe incluir la información detallada en el punto 4 del anexo VII de la AI Act.
  • El organismo notificado puede exigir el acceso completo a los datos de formación, validación y pruebas utilizadas y/o solicitar pruebas adicionales. Si estos medios son insuficientes, también puede solicitar acceso a los modelos de formación del sistema como último recurso.
  • El organismo notificado enviará las conclusiones de la evaluación y su decisión justificada.
  • Si la evaluación se supera positivamente, el organismo notificado emitirá un certificado.
  • Cualquier cambio que pueda afectar al cumplimiento de los requisitos legales o la finalidad prevista del sistema debe ser informado al organismo notificado, el cual deberá decidir si el sistema debe ser reevaluado o si es posible abordar los cambios de manera aislada. En este último caso, el organismo emitirá un suplemento al certificado.

• Vigilancia del sistema de gestión de calidad aprobado:
  • Una vez aprobado el sistema de gestión de calidad el organismo notificado vigilará que éste es debidamente aplicado.
  • El proveedor debe permitir que el organismo notificado acceda a las instalaciones donde se diseña, desarrolla y prueba el sistema y compartirá toda la información necesaria.
  • El organismo notificado realizará auditorías periódicas y entregará al proveedor los informes que sean resultantes. Como parte de estas auditorías el organismo notificado puede llevar a cabo pruebas adicionales.

Procedimiento de evaluación específico para algunos sistemas:

¿Qué sistemas deben ser sometidos a esta evaluación?

Sistemas sujetos por las regulaciones enumeradas en el anexo I, sección A, del AI Act. Estos comprenden:

• Juguetes;
• Embarcaciones de recreo y motos de agua;
• Ascensores;
• Equipos y sistemas de protección utilizados en atmósferas potencialmente explosivas.
• Equipos radioeléctricos;
• Equipos a presión;
• Instalaciones de teleférico;
• Equipos de protección individual, aparatos de protección de combustibles gaseosos;
• Productos sanitarios y de diagnóstico in vitro;
• Máquinas que coinciden con la definición de la directiva 2006/42/CE). 

¿Cómo funciona este procedimiento?

• Los sistemas de IA deberán ser sometidos a las evaluaciones de conformidad que se prevén en las regulaciones enumeradas en el anexo I, sección A, del AI Act (las que han sido mencionadas anteriormente) a las que estén sujetas.
• Al llevar a cabo las evaluaciones mencionadas, será necesario incorporar el examen del cumplimiento de las obligaciones que la AI Act impone a los sistemas de IA de alto riesgo. En algunos casos, los organismos que tengan la condición de organismos notificados en virtud de los actos jurídicos mencionados podrán llevar a cabo esta parte de la evaluación, para adquirir la condición de organismos notificados se hayan tenido en cuenta algunos requisitos contemplados en el art. 31 de la AI Act. 
• Asimismo, como parte de la evaluación de conformidad también se deberá llevar a cabo el control de la documentación técnica que forma parte del procedimiento de evaluación externo descrito en el anexo VII de la AI Act (y que ha sido explicado en el punto anterior).
• En los casos en que estas otras reglas permitan al proveedor no someterse a la evaluación externa, el proveedor también puede optar por esta opción en relación con las normas de la AI Act, siempre que la Unión Europea haya creado normas armonizadas relativas a estas cuestiones y que el proveedor las haya aplicado.

Independientemente del procedimiento aplicable, en caso de que el sistema sea modificado sustancialmente después de haber aprobado la evaluación será necesario que sea sometido a una nueva evaluación de conformidad. 

A estos efectos no supondrá una modificación sustancial los cambios de los sistemas que continúan aprendiendo después de su desarrollo, siempre que éstos hayan sido predeterminados antes de la evaluación de conformidad inicial y se contemplen en la documentación técnica. hagin estat predeterminats abans de l’avaluació de conformitat inicial i es contemplin en la documentació tècnica.

Evaluación de impacto sobre derechos fundamentales.

El artículo 27 de la AI Act exige que, previamente a su desarrollo, algunos sistemas sean sometidos a una evaluación sobre el impacto que su uso puede suponer para los derechos fundamentales. 

Esta evaluación será obligatoria en los siguientes casos:

• Cuando un organismo público o un organismo privado que presta servicios públicos despliegue un sistema de IA destinado a alguno de los siguientes ámbitos:
  • Identificación o categorización biométrica y reconocimiento de emociones
  • Educación y formación profesional 
  • Empleo, gestión de los trabajadores y acceso al autoempleo. 
  • Acceso y disfrute de servicios y prestaciones esenciales (públicas o privadas).
  • Cumplimiento de la ley.
  • Migración, asilo y control de fronteras.
  • Administración de justicia y procesos democráticos.

• En todo caso, cuando se desarrolle un sistema de IA destinado a alguna de las siguientes finalidades:
  • Evaluar la solvencia de las personas físicas o establecer su puntuación crediticia, con la excepción de los sistemas de IA utilizados con la finalidad de detectar fraudes financieros.
  • Evaluar los riesgos y la fijación de precios en relación con personas físicas en el caso de seguros de vida y salud.

La evaluación de impacto sobre derechos fundamentales debe incluir los siguientes aspectos:

• Una descripción de los procesos en los que el desarrollador utilizará el sistema de IA de acuerdo con la finalidad prevista del mismo.
• Una descripción del periodo de tiempo y frecuencia en que se pretende utilizar el sistema.
• Las categorías de personas físicas y grupos susceptibles de verse afectados por la utilización del sistema en el contexto específico en el que será utilizado.
• Los riesgos específicos de daño susceptibles de afectar a las categorías de personas o grupos de personas identificadas.
• Una descripción de las medidas de supervisión humana que serán aplicadas de acuerdo con las instrucciones de uso del sistema.
• Las medidas que se prevé adoptar en caso de materialización de estos riesgos, incluidos los mecanismos de gobierno interno y denuncia.
• Cuando algunos de los elementos mencionados también sea objeto de la evaluación de impacto relativa a la protección de datos establecida en el artículo 35 del Reglamento (UE) 2016/679 o el artículo 27 de la Directiva (UE) 2016/680, ambas evaluaciones se realizarán de manera conjunta.

Una vez realizada la evaluación, habrá que rellenar el formulario que será desarrollado por la Oficina de IA de la UE (aún no disponible). Este deberá ser remitido a la autoridad de vigilancia de mercado competente. 

La evaluación solo debe llevarse a cabo antes de utilizar el sistema por primera vez. Las posteriores veces en que se quiera utilizar el sistema en circunstancias similares es posible basarse en las evaluaciones llevadas a cabo previamente o, incluso, aquellas que pueden haber sido realizadas por el proveedor. 

En caso de producirse algún cambio que afecte a las cuestiones evaluadas, será necesario actualizar la información.   

Obligaciones de transparencia:

Entre las muchas reglas establecidas por la AI Act, se establecen obligaciones de transparencia que están dispersas entre el articulado de la regulación y sus anexos. 

Para facilitar la comprensión de estos requisitos, os dejamos un esquema que sintetiza las normas de transparencia establecidas por la ley. 

Obligaciones de transparencia para los sistemas de alto riesgo:

De acuerdo con el artículo 13, los sistemas de alto riesgo deben ser diseñados y desarrollados de manera que su funcionamiento sea lo suficientemente transparente para permitir a los desarrolladores interpretar sus resultados y utilizarlo correctamente. 

Con este propósito, y con la finalidad de cumplir los requisitos que la AI Act prevé para los sistemas de alto riesgo, los sistemas deben ir acompañados de la documentación técnica prevista en el artículo 11 y el anexo IV de la ley. Dentro de esta documentación técnica se incluyen las instrucciones de uso del sistema.  De manera sintética, el contenido mínimo exigido por estos documentos es el siguiente: 

• Una descripción general del sistema. Ésta incluye:
  • La identidad y los datos de contacto del proveedor y de su representante autorizado, si los hay.
  • La descripción de la versión del sistema que refleje su relación con versiones anteriores;
  • Información que permita a los desarrolladores interpretar las respuestas del sistema y usarla adecuadamente. 
  • Los recursos computacionales y de hardware necesarios, la vida útil prevista del sistema de IA de alto riesgo y cualquier medida de mantenimiento y cuidado necesario para garantizar el buen funcionamiento del sistema. 
  • Una descripción de los mecanismos incluidos en el sistema IA que permita a los usuarios recoger, almacenar e interpretar correctamente los registros de su funcionamiento. 
  • Cómo el sistema puede interactuar con hardware o software que no forman parte del mismo sistema de IA.
  • Las versiones del software o microprogramario relevantes y cualquier requisito relacionado con la actualización de la versión.
  • La descripción de todas las formas en que el sistema de IA se pone en el mercado o se pone en servicio.
  • Cuando el sistema de IA sea un componente de productos, fotografías o ilustraciones que muestren características externas, marcaje y disposición interna de estos productos.

• Una descripción detallada de los elementos del sistema de IA y del proceso para su desarrollo. Ésta incluye:
  • Los métodos y pasos realizados para el desarrollo del sistema de IA, incluyendo si se han utilizado otros sistemas previamente entrenados.
  • La descripción del diseño del sistema, esto incluye la lógica general del sistema de IA y de los algoritmos, y las elecciones clave de diseño
  • La descripción de la arquitectura del sistema.
  • Fichas que describan las metodologías y técnicas de entrenamiento y los conjuntos de datos de entrenamiento utilizados, incluida una descripción general de estos conjuntos de datos, información sobre su procedencia, alcance, tratamiento y características principales
  • Evaluación de las medidas de supervisión humana previstas. 
  • Los cambios del sistema que hayan sido predeterminados por el proveedor en el momento de la evaluación de la conformidad inicial, en su caso.
  • Los procedimientos de validación y ensayo utilizados, incluida información sobre los datos de validación y ensayo utilizados, las métricas utilizadas para medir la precisión y la robustez, así como los impactos potencialmente discriminatorios.
  • Los registros de pruebas y todos los informes de pruebas fechados y firmados por las personas responsables.
  • Medidas de ciberseguridad implantadas.

• Información sobre el seguimiento, funcionamiento y control del sistema. Ésta incluye:
  • Sus capacidades y limitaciones y el grado de precisión previsto, tanto global como para personas o grupos de personas específicos.
  • Los resultados no deseados previsibles y las fuentes de riesgos para la salud y la seguridad, los derechos fundamentales y la discriminación de acuerdo con su finalidad prevista.
  • Especificaciones sobre los datos de entrada.
  • Una descripción detallada del sistema de gestión de riesgos.
  • Una descripción de los cambios relevantes hechos por el proveedor al sistema a lo largo de su ciclo de vida.
  • Una lista de las normas armonizadas publicadas en el Diario Oficial de la UE aplicadas, las soluciones adoptadas para cumplir los requisitos establecidos en la AI Act, y una lista de otras normas y especificaciones técnicas pertinentes aplicadas.

• Una copia de la declaración de conformidad UE.

• Una descripción detallada del sistema de vigilancia postcomercialización adoptado.

Obligaciones de transparencia para los modelos de propósito general:

Aparte de las obligaciones contempladas para los sistemas de alto riesgo, la AI Act prevé unas obligaciones de transparencia determinadas para los sistemas de propósito general en los artículos 50 a 53 y los anexos XI y XII. Es posible que un sistema de propósito general también reúna las características para ser considerado de alto riesgo. En este caso, resultarían aplicables tanto las obligaciones previstas para los sistemas de alto riesgo como aquellas únicamente planteadas para los sistemas de propósito general. 

Las obligaciones de transparencia de los modelos de propósito general son las siguientes:

• Los sistemas que interactúen con personas físicas deben diseñarse y desarrollarse de manera que las personas sean informadas de que están interactuando con una de IA
• Las salidas de los sistemas que generen contenido sintético de audio, imagen, vídeo o texto, deben estar marcadas en un formato legible por máquina y detectables como generadas o manipuladas artificialmente.
• Los desarrolladores de sistemas que generen o manipulen contenido de imagen, audio o vídeo que constituya un deepfake, deben revelar que el contenido ha sido generado o manipulado artificialmente.
• Si la IA se trata de un sistema de reconocimiento de emociones o categorización biométrica, se deberá informar a las personas físicas expuestas al mismo de su funcionamiento. 
• Los desarrolladores de un sistema de IA que genere o manipule texto que se publica con la finalidad de informar al público sobre cuestiones de interés público deben revelar que el texto ha sido generado o manipulado por una IA. Esta obligación no se aplicará cuando el contenido haya sido sometido a un proceso de revisión humana o control editorial, siempre que se haya determinado quién es la persona responsable del contenido publicado.
• Elaborar y poner a disposición del público un resumen suficientemente detallado sobre el contenido utilizado para la formación del modelo de IA de propósito general, de acuerdo con una plantilla proporcionada por la Oficina de IA (aún no disponible).
• Elaborar y mantener actualizada la documentación técnica del modelo, que contendrá como mínimo los siguientes elementos:
  • Una descripción general del modelo. Ésta incluye:
    • Las tareas que pretende realizar el modelo y el tipo y naturaleza de los sistemas de IA en que se puede integrar;
    • Las políticas de uso aceptable aplicables;
    • La fecha de lanzamiento y los métodos de distribución;
    • La arquitectura y el número de parámetros;
    • La modalidad y el formato de las entradas y salidas (textos, imágenes, etc).
    • La licencia.
  • Una descripción detallada de los elementos del modelo e información relevante del proceso para su desarrollo. Ésta incluye:
    • Los medios técnicos necesarios para que el modelo se integre a otros sistemas de IA.
    • Las especificaciones de diseño del modelo y del proceso de formación.
    • Información sobre los datos utilizados para la formación, las pruebas y la validación del modelo, además de su procedencia, el tratamiento al que han sido sometidas, las características principales y los métodos aplicados para identificar sesgos.
    • Los recursos computacionales utilizados para entrenar el modelo.
    • El consumo energético conocido o estimado del modelo.
• Cuando el modelo deba ser clasificado como un modelo de propósito general de riesgo sistémico de acuerdo con el artículo 51 de la AI Act, se deberá aportar la siguiente información adicional:
  • Una descripción detallada de las estrategias de evaluación utilizadas para identificar y mitigar los posibles riesgos sistémicos originados por el uso del modelo. 
  • Una descripción de las medidas adoptadas para llevar a cabo pruebas contradictorias (internas o externas) así como la adaptación y ajuste de modelo.
• Elaborar y poner a disposición de los proveedores que pretendan integrar el modelo de propósito general en su sistema de IA documentación e información la cual incluirá, como mínimo, el siguiente contenido:
  • Una descripción general del modelo de IA de propósito general. Ésta incluye:
    • Las tareas que se pretende realizar el modelo y el tipo y naturaleza de los sistemas de IA en los que se puede integrar.
    • Las políticas de uso aceptable aplicables.
    • La fecha de lanzamiento y los métodos de distribución.
    • Como el modelo interactúa o se puede utilizar para interactuar con hardware o software que no forma parte del propio modelo.
    • Las versiones del software relevante relacionadas con el uso del modelo de IA de propósito general.
    • La arquitectura y número de parámetros.
    • La modalidad y el formato de las entradas y salidas (textos, imágenes, etc).
    • La licencia del modelo.
  • Una descripción de los elementos del modelo y del proceso para su desarrollo. Ésta incluye:
    • Los medios técnicos necesarios para que el modelo se integre otros sistemas de IA.
    • La modalidad y formato de las entradas y salidas y su tamaño máximo (textos, imágenes, etc).
    • Información sobre los datos utilizados para la formación, pruebas y validación, incluyendo el tipo y la procedencia de los datos y cómo estos han sido tratados.