English
Русский
No todos los usos de la inteligencia artificial generan los mismos riesgos. No es lo mismo utilizar una herramienta para redactar un documento, resumir información o facilitar tareas internas que emplear un sistema de IA para seleccionar candidatos, evaluar la solvencia de un cliente o tomar decisiones que puedan afectar a una persona.
Por este motivo, el AI Act clasifica los sistemas de inteligencia artificial según el nivel de riesgo que pueden generar. Entre ellos, los sistemas de alto riesgo reciben una atención especial, ya que están sujetos a obligaciones más estrictas para garantizar su seguridad, transparencia y control.
Para las empresas, identificar si las herramientas que utilizan pueden considerarse de alto riesgo es un primer paso esencial para conocer qué obligaciones deben cumplir y qué medidas deben adoptar.
¿Qué es un sistema de inteligencia artificial de alto riesgo?
Un sistema de inteligencia artificial de alto riesgo es aquel que, por su finalidad y contexto de utilización, puede generar un impacto significativo sobre la seguridad, la salud o los derechos fundamentales de las personas.
El AI Act no considera que un sistema sea de alto riesgo únicamente por utilizar inteligencia artificial. Lo determinante es para qué se utiliza esa tecnología y qué consecuencias puede tener sobre las personas afectadas.
Por ejemplo, una empresa puede utilizar inteligencia artificial para organizar documentos internos sin que ello implique un riesgo elevado. Sin embargo, si utiliza esa misma tecnología para decidir qué candidatos pasan una fase de selección laboral, el análisis jurídico será completamente diferente.
¿Cómo determina el AI Act si un sistema es de alto riesgo?
El Reglamento establece determinados criterios para identificar estos sistemas. Principalmente, se consideran de alto riesgo aquellos sistemas de inteligencia artificial que:
- están destinados a utilizarse como componentes de seguridad de determinados productos regulados;
- aparecen incluidos en ámbitos específicos recogidos por el Reglamento;
- pueden afectar de manera relevante a los derechos o intereses de las personas.
Por tanto, la clasificación no depende únicamente de la herramienta utilizada, sino de la combinación entre la tecnología, el sector y la finalidad concreta.
¿Qué ejemplos de sistemas de alto riesgo existen?
El AI Act identifica diferentes ámbitos en los que el uso de inteligencia artificial puede generar riesgos importantes.
Entre otros, se incluyen:
Selección y gestión de personal
Este es uno de los ámbitos con mayor relevancia práctica para las empresas. Son ejemplos de posibles usos de alto riesgo:
- herramientas que analizan currículums automáticamente;
- sistemas que clasifican candidatos;
- aplicaciones que evalúan el rendimiento de empleados;
- herramientas utilizadas para tomar decisiones sobre contratación o promoción.
El uso de inteligencia artificial en el ámbito de los recursos humanos requiere especial atención, ya que las decisiones basadas en estas herramientas pueden influir directamente en el acceso al empleo, la promoción profesional o la evaluación de los trabajadores. Además, un uso no adecuado puede generar riesgos de discriminación si los sistemas no cuentan con los controles adecuados.
Educación y formación
Existen sistemas de inteligencia artificial que se utilizan en el ámbito educativo, por ejemplo, para evaluar estudiantes, asignar recursos o apoyar decisiones relevantes sobre su formación, pueden estar sujetos a obligaciones adicionales debido al impacto que pueden tener sobre las personas.
Acceso a servicios esenciales
Algunos sistemas de inteligencia artificial utilizados para decidir si una persona puede acceder a determinados servicios esenciales pueden considerarse de alto riesgo.
Por ejemplo, las herramientas que analizan solicitudes asignan prioridades o ayudan a tomar decisiones sobre el acceso a determinados servicios pueden tener un impacto relevante sobre los derechos e intereses de las personas afectadas.
Evaluación de solvencia y acceso a crédito
Los sistemas utilizados para analizar la solvencia de personas físicas o determinar su acceso a determinados productos financieros pueden estar sujetos a requisitos específicos.
Sistemas biométricos
Algunos usos de tecnologías biométricas, especialmente aquellos que permiten identificar o clasificar personas, están sometidos a controles reforzados.
¿Qué obligaciones existen para los sistemas de alto riesgo?
Cuando una empresa utiliza un sistema de inteligencia artificial de alto riesgo, las obligaciones son más exigentes que en otros usos menos sensibles. Entre otras cuestiones, pueden resultar necesarias medidas relacionadas con:
- gestión de riesgos: identificar y controlar los posibles impactos negativos;
- calidad de los datos: garantizar que la información utilizada sea adecuada y fiable;
- documentación: mantener información suficiente sobre el funcionamiento del sistema;
- supervisión humana: asegurar que una persona pueda intervenir y controlar el funcionamiento de la herramienta;
- precisión y seguridad: garantizar un funcionamiento adecuado y reducir errores;
- registro y trazabilidad: conservar información sobre el uso del sistema.
Estas obligaciones buscan evitar que decisiones relevantes para las personas queden condicionadas por procesos automatizados sin control suficiente.
¿Cómo saber si mi empresa utiliza un sistema de alto riesgo?
Esta es una de las principales dudas de las empresas. La respuesta no depende de si la herramienta se vende como «inteligencia artificial avanzada» o de si utiliza una tecnología concreta.
La pregunta clave es: ¿Para qué utiliza la empresa la inteligencia artificial y qué consecuencias puede tener esa utilización?
Algunas preguntas que conviene plantearse son:
- ¿La herramienta afecta a trabajadores, clientes o candidatos?
- ¿Se utiliza para tomar decisiones o únicamente como apoyo?
- ¿Puede influir en el acceso de una persona a un empleo, servicio o financiación?
- ¿Existe supervisión humana sobre los resultados generados?
Responder a estas preguntas permite realizar una primera valoración del nivel de riesgo.
¿Qué deben hacer las empresas antes de utilizar inteligencia artificial de alto riesgo?
Antes de implantar una herramienta de inteligencia artificial en un ámbito sensible, es recomendable realizar una revisión previa que permita:
- definir claramente para qué se utilizará el sistema;
- identificar los posibles riesgos;
- revisar qué información utilizará la herramienta;
- analizar las garantías ofrecidas por el proveedor;
- establecer mecanismos de supervisión;
- formar a las personas encargadas de su utilización.
La inteligencia artificial puede aportar importantes ventajas a las empresas, pero su uso en áreas sensibles requiere una planificación adecuada para evitar riesgos legales y garantizar un funcionamiento seguro y responsable.
¿Cuándo serán exigibles estas obligaciones?
Las obligaciones relacionadas con determinados sistemas de alto riesgo cuentan con un calendario específico dentro del AI Act. Por ello, aunque algunas exigencias no sean todavía aplicables a todos los sistemas, las empresas que utilizan inteligencia artificial en ámbitos sensibles deberían comenzar su revisión con antelación.
Esperar al último momento puede dificultar la adaptación de procesos internos, contratos y sistemas tecnológicos.
Conclusión
Los sistemas de inteligencia artificial de alto riesgo son una de las categorías más importantes del AI Act, ya que se refieren a aquellos usos de la inteligencia artificial que pueden tener un mayor impacto sobre las personas.
Para las empresas, la cuestión principal no es únicamente conocer qué herramientas de IA utilizan, sino entender para qué se emplean, qué decisiones pueden influir y qué consecuencias pueden generar.
Identificar correctamente si un sistema puede considerarse de alto riesgo permite a las organizaciones anticiparse a sus obligaciones, reducir posibles problemas legales y utilizar la inteligencia artificial de forma más segura y responsable.
En nuestro despacho ayudamos a empresas a analizar sus sistemas de inteligencia artificial, identificar posibles riesgos y adaptar sus procesos al nuevo marco regulatorio europeo.
