Preevaluación

En este apartado podéis realizar una preevaluación de vuestro sistema de IA en función de una aproximación de riesgo inicial que está basada en la legislación europea sobre inteligencia artificial (AI Act). En ésta se determinan diferentes obligaciones teniendo en cuenta una aproximación de riesgo (que significa la mayor o menor probabilidad de que ocurra un daño y la gravedad de este daño) según cuatro categorías:

Riesgo inaceptable:

Este hace referencia a un conjunto muy limitado de usos que son especialmente nocivos de la IA y que contravienen los valores de la UE, ya que violan los derechos fundamentales y, por tanto, están prohibidos.

Riesgo alto

Este hace referencia a un número limitado de sistemas de IA que pueden generar un impacto adverso en la seguridad de las personas o sus derechos fundamentales según la Carta de los Derechos Fundamentales de la UE y, por tanto, se consideran de alto riesgo.

Riesgo limitado

Este hace referencia a los riesgos asociados a la falta de transparencia en el uso de la IA y, por tanto, a la necesidad de obligaciones específicas de transparencia para garantizar que los humanos estén informados cuando sea necesario, fomentando la confianza.

Riesgo mínimo

Este hace referencia a todos los demás sistemas de IA que se pueden desarrollar y utilizar de acuerdo con la legislación vigente sin obligaciones legales adicionales. Voluntariamente, los proveedores de estos sistemas pueden optar por aplicar principios éticos como los del Modelo PIO.

Establecimiento de riesgo inaceptable o usos prohibidos

La legislación europea sobre inteligencia artificial contempla en su artículo 5 un conjunto de prácticas consideradas de riesgo inaceptable porque inciden en los derechos fundamentales y la seguridad humana de manera tan grave que su uso no puede ser permitido. Por este motivo, cualquier sistema de IA que coincida con alguna de estas prácticas no podrá ser comercializado, desarrollado ni utilizado dentro del territorio de la UE.  

A continuación, encontraréis un listado de los usos inaceptables. Si alguno de ellos se aplica a vuestro sistema, no es necesario que completéis las preguntas del Modelo, ya que éste ha sido pensado para evaluar sistemas que podrán ser efectivamente utilizados de acuerdo con la legislación.

Usos prohibidos

Seleccionar riesgo

Esta tabla contiene las prácticas consideradas de usos prohibidos por el artículo 5 del Reglamento 2024/1689 del Parlamento y del Consejo sobre inteligencia artificial (AI Act).

Sistemas que desplieguen técnicas subliminales, engañosas o manipuladoras que alteren el comportamiento de una persona o grupo de personas para que tomen una decisión que cause perjuicios significativos a ella misma o a otras personas..

Sistemas de IA que explotan las vulnerabilidades de una persona o grupo de personas (por ejemplo, la edad, la situación social o económica o la capacidad mental) alterando su comportamiento de manera que cause perjuicios significativos a ella misma o a otras personas.

?

Sistemas de IA que evalúan o clasifican personas físicas o grupos de personas durante un periodo de tiempo determinado en función de su comportamiento social o sus características personales u otras conocidas, deducidas o previstas con los siguientes efectos:

  1. Trato perjudicial o desfavorable de determinadas personas físicas o grupos de personas en contextos sociales que no guardan relación con los contextos en los que los datos fueron recogidos o generados originalmente. 
  2. Trato perjudicial o desfavorable a determinadas personas físicas o grupos de personas que sea injustificado o desproporcionado con respecto a su comportamiento social o a su gravedad.

Sistemas de IA que llevan a cabo evaluaciones de riesgos de personas físicas con el fin de evaluar o predecir el riesgo de que una persona cometa un delito basándose únicamente en la elaboración de perfiles y la evaluación de sus rasgos y características de personalidad.

?

Sistemas de IA que crean o amplían las bases de datos de reconocimiento facial mediante el vertido no selectivo de imágenes faciales de internet o grabaciones de cámaras de videovigilancia.

Sistemas de IA que infieren en las emociones de una persona física en los ámbitos del puesto de trabajo y las instituciones educativas.

?

Sistemas de categorización biométrica que categorizan individualmente a personas físicas a partir de sus datos biométricos para deducir o inferir su raza, opiniones políticas, afiliación sindical, creencias religiosas o filosóficas, vida sexual u orientación sexual.

?

Sistemas de identificación biométrica remota en tiempo real en espacios de público acceso con fines policiales.

?

Establecimiento de riesgo alto, riesgo limitado o riesgo bajo

En este apartado encontraréis las cuestiones que os permitirán saber el nivel de riesgo asociado a vuestro sistema más allá del riesgo inaceptable o usos prohibidos. Para completar la preevaluación, por favor, seguid el siguiente circuito.

Riesgo alto

Seleccionar riesgo

Esta tabla contiene las practicas consideradas de alto riesgo por el artículo 6 del Reglamento 2024/1689 del Parlamento y del Consejo sobre inteligencia artificial (AI Act).

Si contestáis de manera afirmativa a una o más de las siguientes preguntas, podréis considerar que vuestro sistema está considerado de este grupo de riesgo.

Excepciones

¿Vuestro sistema es utilizado por autoridades judiciales o en su nombre para investigar, interpretar hechos y normas jurídicas o aplicar la ley; usarse de manera similar en la resolución alternativa de conflictos (por ejemplo, en un proceso de mediación); o para influenciar los resultados de procesos democráticos o en el comportamiento de los votantes?

?

¿Vuestro sistema de IA es un producto, o se trata de un componente de seguridad de un producto, sujeto a la normativa europea contenida en el Anexo I de la AI Act?

¿Vuestro sistema de IA es un producto, o se trata de un componente de seguridad de un producto, que debe ser sometido a una evaluación de conformidad por terceros antes de poder ser comercializado o puesto en servicio de acuerdo con la normativa europea contenida en el Anexo I de la IA Act?

¿Vuestro sistema se utiliza para la identificación biométrica y categorización de personas físicas en base a datos sensibles o el reconocimiento de emociones (sin incluir sistemas que únicamente confirman la identidad de la persona física)?

¿Vuestro sistema se utiliza por las Administraciones públicas para gestionar y explotar infraestructuras críticas, tráfico en tiempo real o suministro de gas, agua, calefacción o electricidad?

¿Vuestro sistema se utiliza en el ámbito educativo o de formación profesional para determinar la admisión o el acceso de alumnado; para evaluar resultados, o el nivel de educación adecuado; o para monitorear y detectar comportamientos prohibidos?

¿Vuestro sistema se utiliza en el ámbito del acceso al empleo, al autoempleo y la gestión de personas trabajadoras (por ejemplo, selección de personal, modificación de las relaciones laborales o evaluación del rendimiento)?

¿Vuestro sistema es utilizado por entidades, públicas o privadas, que prestan servicios esenciales (por ejemplo, un sistema que determine qué personas podrá beneficiarse de ayudas económicas públicas o bien, de su admisión a programas sociales de entidades privadas)?

¿Vuestro sistema es utilizado en el ámbito jurídico por parte de las autoridades policiales, agencias, administraciones o instituciones con el fin de evaluar los riesgos que tiene una persona de ser víctima de infracciones penales; en el uso de polígrafos o herramientas parecidas; evaluar las pruebas usadas durante las investigaciones; o evaluar las probabilidades de delinquir o reincidir, más allá de la elaboración de perfiles?

¿Vuestro sistema es utilizado en materia de migración, asilo y control de fronteras en herramientas como el polígrafo o similares para evaluar riesgos (en la seguridad, sanidad y migración irregular) de que una persona entre en el territorio de un estado; examinar solicitudes de asilo, visado o permisos de residencia, así como reclamaciones ante la resolución de las mismas; o detectar, reconocer o identificar personas (excepto para la verificación de documentos de viaje)?

Riesgo limitado

Seleccionar riesgo

Esta tabla contiene las prácticas consideradas de riesgo limitado relativas a los sistemas de IA generativa y a los sistemas de reconocimiento de emociones e identificación biométrica no incluidos como sistemas prohibidos o de alto riesgo, según el artículo 50, y las prácticas relativas a los sistemas de propósito general, según el artículo 51 del Reglamento 2024/1689 del Parlamento y del Consejo sobre inteligencia artificial (AI Act). Si contestáis de forma afirmativa a una o más de las siguientes preguntas, entonces podéis considerar que vuestro sistema está considerado de este grupo de riesgo.
Si contestáis de forma afirmativa a una o más de las siguientes preguntas, entonces podéis considerar que vuestro sistema está considerado de este grupo de riesgo.

¿Su sistema tiene la capacidad de servir para una variedad de propósitos, tanto para el uso directo como para la integración en otros sistemas de IA?

¿Vuestro sistema es utilizado para crear contenido de texto, sonido, imagen o vídeo?

?

¿Vuestro sistema se trata de una herramienta de reconocimiento de emociones o categorización biométrica?

?

¿Vuestro sistema de IA está pensado para interactuar con personas físicas?

?

¿Vuestro sistema se trata de un modelo de propósito general?

?

Riesgo mínimo

Seleccionar riesgo

En el caso de que vuestro sistema no recaiga en ninguna de las categorías anteriores, podrá ser considerado de riesgo mínimo. Si bien el Reglamento 2024/1689 del Parlamento y del Consejo sobre inteligencia artificial (AI Act) puede requerir algunos requisitos de transparencia para determinados sistemas de IA de este tipo, no impone obligaciones adicionales a los sistemas considerados de riesgo mínimo, pero invita a comprometerse con códigos de conducta o una evaluación ética de forma voluntaria.

Una vez sepáis la categoría de riesgo asociada con vuestro sistema de IA, podéis iniciar el cuestionario de evaluación.

Iniciar Model PIO

Ejemplos prácticos de aplicación de la AI Act

En el caso de que no tengáis claro si la legislación europea de inteligencia artificial (AI Act) es aplicable en vuestro caso, así como la posible categoría de riesgo aplicable, os proporcionamos 50 ejemplos prácticos de aplicación de la AI Act según el nivel de riesgo. Evidentemente, se trata de ejemplos orientativos y, en todos los casos, estos sólo sirven como una guía referencia y, por lo tanto, no es exhaustiva y siempre hay que contextualizarlos.

Una empresa del sector de la salud utiliza una aplicación propulsada por IA para el triaje de pacientes.

Una empresa implementa un sistema de vigilancia con cámaras dotadas de reconocimiento facial para la seguridad de sus instalaciones.

Una institución pública utiliza tecnología de reconocimiento de voz para analizar la prioridad en la atención de llamadas telefónicas.

Una institución educativa utiliza un sistema de IA para hacer seguimiento del rendimiento académico de los estudiantes y predecir posibles abandonos.

Un hospital utiliza un sistema de IA para analizar imágenes médicas y ayudar en el diagnóstico de enfermedades.

Un centro de salud utiliza un sistema de IA para la gestión de las citas y la organización de las listas de espera.

Una oficina de servicios sociales utiliza IA para identificar familias con riesgo de sufrir situaciones de vulnerabilidad y ofrecer apoyo proactivo.

Una empresa utiliza IA para la selección de personal, analizando los currículos de los candidatos y prediciendo su rendimiento potencial.

Un banco utiliza IA para analizar las solicitudes de crédito y evaluar la solvencia de los solicitantes.

Una aseguradora utiliza IA para evaluar las cuotas mensuales a pagar por la persona que contrata un seguro de vida.

Una empresa de energía utiliza IA para predecir posibles incidencias en el suministro de electricidad.

Una empresa de transporte dispone de camiones que cuentan con un sistema de conducción automática.

Un sistema de IA que se utiliza para identificar la autenticidad de los documentos utilizados como prueba en el marco de la investigación de un delito.

Las autoridades ferroviarias de dos países fronterizos utilizan un sistema IA para optimizar la programación de los trenes y gestionar el tráfico transfronterizo.

Una empresa de transporte instala un sistema IA en sus vehículos para optimizar las rutas de entrega y reducir los tiempos de transporte.

Una universidad utiliza IA para analizar los datos de inscripción y determinar los criterios de acceso para el futuro curso académico.

Una empresa que se dedica a los servicios jurídicos utiliza ChatGPT o Copilot para redactar la documentación relativa a las solicitudes de residencia de sus clientes y analizar las probabilidades de éxito las mismas.

Una empresa utiliza un sistema biométrico para el control de acceso a sus oficinas basado en huellas digitales.

Una organización de ayuda humanitaria contrata un modelo de IA de propósito general para analizar las necesidades de las comunidades afectadas por desastres naturales y planificar la distribución de ayuda.

Una empresa utiliza un modelo de IA de propósito general para personalizar la publicidad en línea basándose en el comportamiento de navegación de los usuarios.

Una empresa proporciona a sus empleados un servicio de ChatGPT para generar correos electrónicos y otros textos.

Una empresa ha desarrollado una herramienta de imágenes sintéticas basada en un LLM y la utiliza para generar imágenes por sus documentos de trabajo.

Una empresa cuenta con un chatbot en su sitio web para responder a consultas generales sobre la empresa.

Una institución pública utiliza un modelo de propósito general para predecir aglomeraciones como manifestaciones o actos similares basándose en datos de redes sociales.

Una plataforma de comercio electrónico utiliza IA proveída por una bigtech entrenada con conjuntos de datos masivos para recomendar productos a los clientes basándose en sus preferencias de compra.

Una empresa utiliza un sistema de IA que genera propuestas de contratos personalizados.

Una empresa de logística utiliza una IA de propósito general para predecir los cuellos de botella en la cadena de suministro y evitar retrasos.

Una empresa de telecomunicaciones utiliza IA para optimizar la red, mejorar la calidad del servicio y ejecutar autónomamente modificaciones en el suministro individual de sus clientes.

Un servicio meteorológico utiliza IA para hacer predicciones del tiempo y alertar a la población sobre fenómenos meteorológicos extremos y elaborar informes.

Una empresa de energía de alcance nacional utiliza IA para predecir la demanda, optimizar la distribución de electricidad y analizar los hábitos de consumo de la seca clientela.

Una empresa de arquitectura utiliza IA para generar diseños innovadores basándose en las preferencias de los clientes y las tendencias del mercado.

En un sistema de riego de cultivos se instala una IA de propósito general para que determine la cantidad de agua necesaria y la frecuencia de riego en función de las condiciones meteorológicas y la estación del año.

Una clínica veterinaria encarga una IA entrenada con sus propios datos para diagnosticar enfermedades en animales de compañía basándose en los síntomas descritos por los propietarios.

Una empresa implementa sensores inteligentes en sus fábricas y almacén para controlar su stock.

Una farmacia utiliza IA para gestionar las existencias de medicamentos y advertir cuando queden pocas unidades de uno.

Un supermercado utiliza IA para analizar los patrones de compra de los clientes y optimizar el inventario.

Un restaurante ha adquirido una de IA entrenada con sus datos históricos para analizar las preferencias de los clientes y ajustar el menú según la demanda.

Una biblioteca utiliza IA para gestionar el catálogo de libros y ordenar el catálogo de lecturas situando las más solicitadas en primer lugar.

Un servicio meteorológico utiliza IA para crear una recopilación de precipitaciones durante todo el siglo pasado en una zona geográfica concreta.

Una empresa que fabrica libretas utiliza IA para detectar defectos en la producción y mejorar la calidad de los productos.

Una empresa alimentaria utiliza IA para controlar la calidad de los productos durante el proceso de producción.

Un restaurante ha adquirido una de IA entrenada con sus datos históricos para analizar las preferencias de los clientes y ajustar el menú según la demanda.

Una empresa utiliza un sistema de IA para filtrar los correos que recibe y detectar los que contienen comentarios negativos sobre su marca para luego hacer mejoras.

Una empresa de recursos humanos utiliza IA para analizar los datos de satisfacción de los empleados y mejorar el ambiente laboral.

Una empresa utiliza un sistema de IA que organiza automáticamente sus ficheros electrónicos.

Un sistema de IA que corrija actividades de cálculo mental del alumnado.

Una piscina municipal utiliza una IA para regular el nivel de cloro y la temperatura del agua.

En un invernadero se instala un sistema de IA que activa la acequia cuando detecta una bajada de la humedad.

Una casa de turismo rural utiliza un sistema de IA para regular la temperatura interior en relación con la temperatura exterior siempre y cuando esté alquilada.

Una peluquería utiliza un sistema de IA para proveer el estoc de colores de tintes según la demanda de su clientela mensualmente.

Resumen de privacidad

Esta web utiliza cookies para que podamos ofrecerte la mejor experiencia de usuario posible. La información de las cookies se almacena en tu navegador y realiza funciones tales como reconocerte cuando vuelves a nuestra web o ayudar a nuestro equipo a comprender qué secciones de la web encuentras más interesantes y útiles.

Cookies estrictamente necesarias

Las cookies estrictamente necesarias tiene que activarse siempre para que podamos guardar tus preferencias de ajustes de cookies.