Impacto e implicaciones del Reglamento de la Unión Europea sobre Inteligencia Artificial

La rápida evolución de la tecnología de Inteligencia Artificial (IA) ha generado una creciente preocupación por sus posibles repercusiones en la sociedad, la economía y los derechos humanos. En este contexto, la Unión Europea (UE) ha tomado la iniciativa de desarrollar el primer marco jurídico global del mundo en materia de IA, la Ley de IA de la UE, destinada a garantizar la salud, la seguridad y los derechos fundamentales de las personas, al tiempo que proporciona seguridad jurídica a las empresas de sus 27 Estados miembros.

 

1 . introducción

Entre los objetivos del Reglamento destacan el establecimiento de normas armonizadas para la comercialización y uso de sistemas de inteligencia artificial; la prohibición de determinadas prácticas, así como el establecimiento de requisitos específicos para los sistemas de IA de alto riesgo y obligaciones para los operadores de estos sistemas.

Y para una mejor comprensión, creemos necesario aclarar algunos de los términos específicos utilizados en el Reglamento. El término <<OPERADOR>>Se trata, por ejemplo, de un proveedor, un usuario, un representante autorizado, un importador o un distribuidor, entendidos así por el reglamento:

“proveedor”: una persona física o jurídica, autoridad pública, agencia u otro organismo que desarrolle o haga desarrollar un sistema de IA con vistas a su comercialización o puesta en servicio bajo su propio nombre o marca, ya sea a título oneroso o gratuito;

“usuario”: una persona física o jurídica, autoridad pública, agencia u otro organismo que utilice un sistema de IA bajo su autoridad, a menos que el sistema de IA se utilice en el contexto de una actividad personal y no profesional;

representante autorizado”: una persona física o jurídica establecida en la Unión que ha recibido un mandato escrito de un proveedor de sistemas de IA para, respectivamente, ejecutar y cumplir en su nombre las obligaciones y procedimientos previstos en el presente Reglamento;

importador”: una persona física o jurídica establecida en la Unión que comercialice o ponga en servicio un sistema de IA que lleve el nombre o la marca comercial de una persona física o jurídica establecida fuera de la Unión;

distribuidor”: una persona física o jurídica de la cadena de suministro, distinta del proveedor y del importador, que comercializa un sistema de IA en el mercado de la Unión sin modificar sus propiedades;”

 

2. Enfoque basado en el riesgo

Una de las principales características de la Ley de IA de la UE es su enfoque basado en el riesgo, que define cuatro niveles de riesgo para los sistemas de IA: Riesgos Inaceptables, Riesgos Elevados (alto riesgo), Riesgos Limitados y Riesgos Mínimos (o inexistentes).

 

a) Sistemas de IA de riesgo inaceptable

El Reglamento prohíbe la comercialización de sistemas de IA clasificados como Riesgos Inaceptables, entre los que se incluyen:

– Sistemas de IA que emplean técnicas subliminales para eludir la consciencia de una persona, distorsionando sustancialmente su comportamiento de forma que cause o pueda causar daños físicos o psicológicos a esa persona o a otras.

– Sistemas de IA que explotan las vulnerabilidades de un grupo específico de personas asociadas a su edad o discapacidad física o mental con el fin de distorsionar sustancialmente el comportamiento de una persona perteneciente a ese grupo de forma que le cause o pueda causarle daños físicos o psicológicos a ella o a otros.

– Sistemas de IA utilizados por las autoridades públicas para evaluar o clasificar la credibilidad de las personas en función de su comportamiento social, personalidad o características personales, cuando esta clasificación social conlleve un trato perjudicial o desfavorable de determinadas personas o grupos enteros de personas en contextos sociales no relacionados o injustificados y desproporcionados en relación con el comportamiento social o la gravedad.

El uso de
sistemas de identificación biométrica a distancia
“en tiempo real” en espacios públicos para mantener el orden público está regulada y debe cumplir ciertas condiciones, como la estricta necesidad de alcanzar objetivos específicos, como investigar delitos o prevenir amenazas contra la vida o la seguridad física, y requiere la autorización previa de una autoridad judicial o administrativa independiente.

 

b) Sistemas de IA de alto riesgo

Estos sistemas están sujetos a estrictas obligaciones antes de su comercialización. La lista de sistemas de IA de alto riesgo incluye un número limitado de sistemas de IA cuyos riesgos ya se han materializado o es probable que se materialicen en un futuro próximo, y podrían ajustarse en el futuro. Se consideran de alto riesgo:

– los sistemas de IA utilizados como componentes de seguridad de productos o que sean productos por derecho propio, siempre que el producto al que se destine el sistema de IA esté sujeto a una evaluación de conformidad por terceros para su comercialización o puesta en servicio, tal como establece la legislación de armonización de la Unión Europea.

– Infraestructuras críticas: Por ejemplo, sistemas aplicados en el transporte que pueden poner en peligro la vida de las personas o su integridad física.

– Educación o formación profesional: sistemas que pueden restringir el acceso a la educación y el desarrollo profesional de una persona, como la corrección de exámenes.

– Componentes de seguridad del producto: incluye los sistemas utilizados en cirugía asistida por robot.

– Empleo, gestión de trabajadores y acceso al autoempleo: por ejemplo, análisis del CV en los procesos de selección.

– Servicios públicos y privados esenciales: como la calificación crediticia para la concesión de préstamos.

– Aplicación coercitiva de la ley: Sistemas que pueden interferir en los derechos fundamentales de las personas, como la evaluación de la fiabilidad de las pruebas.

– Gestión de la migración y control de fronteras: por ejemplo, comprobación de la autenticidad de los documentos de viaje.

– Administración de Justicia y Procesos Democráticos: Incluye la aplicación de la ley en casos concretos.

– Representan un riesgo de daño para la salud y la seguridad o un riesgo de impacto adverso sobre los derechos fundamentales, cuya gravedad y probabilidad de ocurrencia son equivalentes o superiores a los riesgos representados por los sistemas de IA de alto riesgo ya mencionados en el anexo III del Reglamento.

c) Riesgo limitado

Se refiere a los riesgos asociados a la falta de transparencia en el uso de la IA. El Reglamento impone obligaciones específicas de transparencia para garantizar que los seres humanos estén adecuadamente informados cuando interactúen con sistemas de IA, fomentando la confianza y el entendimiento.

d) Riesgo mínimo o nulo

Cubre el uso de la IA con un riesgo mínimo, como los videojuegos con IA o los filtros de spam. La gran mayoría de los sistemas de IA utilizados actualmente en la UE entran en esta categoría.

 

3. Requisitos generales de los sistemas de IA

Obligaciones de transparencia de los sistemas de inteligencia artificial

Los proveedores deben garantizar que los sistemas de IA diseñados para interactuar con humanos indiquen claramente que están interactuando con un sistema de IA, a menos que sea obvio dado el contexto. Se aplican excepciones a los sistemas de IA autorizados para actividades específicas relacionadas con la seguridad pública.

Los usuarios de sistemas de reconocimiento emocional o categorización biométrica deben informar a los afectados sobre el funcionamiento de estos sistemas. Se aplican excepciones a los sistemas de IA utilizados con fines de seguridad pública.

Los usuarios de sistemas de IA que generen o manipulen contenidos mediáticos para crear deep fakes deberán revelar que el contenido ha sido generado o manipulado artificialmente, salvo que esté legalmente autorizado o amparado por el derecho a la libertad de expresión y a la libertad artística, siempre que se respeten debidamente los derechos de terceros.

Además, el reglamento establece obligaciones de transparencia para todos los modelos de IA de uso general, con vistas a una mejor comprensión y confianza en los sistemas. Estas obligaciones incluyen la autoevaluación, la mitigación de riesgos sistémicos, la notificación de incidentes graves, las evaluaciones de pruebas y modelos, así como requisitos de ciberseguridad.

 

4. Requisitos de los sistemas de alto riesgo

El Reglamento europeo sobre IA establece una serie de disposiciones específicas para la gestión de riesgos en relación con los sistemas de IA considerados de alto riesgo. Estas disposiciones pretenden garantizar que estos sistemas se desarrollen, apliquen y utilicen de forma segura y ética, minimizando los riesgos para los usuarios y la sociedad en general.

 

a) Gestión de riesgos en sistemas de IA de alto riesgo

Los sistemas de IA considerados de alto riesgo deben contar con un sistema de gestión de riesgos que abarque todas las fases de su ciclo de vida, con actualizaciones periódicas. Esto implica identificar y analizar los riesgos, estimar y evaluar los riesgos, evaluar continuamente los riesgos basándose en datos posteriores a la comercialización, adoptar medidas adecuadas de gestión de riesgos y realizar pruebas para garantizar un rendimiento coherente. Deben realizarse pruebas durante el desarrollo y antes de la comercialización, con consideraciones especiales si el sistema afecta a niños.

 

b) Gobernanza de datos en sistemas de IA de alto riesgo

Los sistemas de IA de alto riesgo que utilizan técnicas de entrenamiento de modelos basadas en datos deben construirse sobre conjuntos de datos de entrenamiento, validación y prueba que cumplan criterios de calidad específicos. Estos conjuntos de datos deben gestionarse con arreglo a prácticas adecuadas de gobernanza de datos, que abarquen las opciones de diseño, la recogida, preparación y procesamiento de datos, la evaluación de sesgos y la identificación de lagunas o deficiencias en los datos.

El conjunto de datos debe ser pertinente, representativo, sin errores y completo, teniendo en cuenta las características estadísticas adecuadas al contexto de uso del sistema de IA.

Los proveedores de sistemas de IA de alto riesgo pueden tratar categorías especiales de datos personales, siempre que garanticen salvaguardias adecuadas de los derechos individuales, como la seudonimización o el cifrado.

Incluso los sistemas de IA de alto riesgo que no implican modelos de formación deben seguir prácticas de gobernanza de datos para garantizar el cumplimiento de estos requisitos.

 

c) Transparencia en los sistemas de IA de alto riesgo

Los sistemas de IA de alto riesgo deben ser transparentes para que los usuarios puedan interpretar y utilizar correctamente sus resultados. Deben ir acompañados de instrucciones de uso concisas, completas, correctas y claras, que informen sobre el proveedor, las características, las prestaciones, los posibles riesgos, la supervisión humana, la vida útil prevista y el mantenimiento necesario.

La información debe incluir detalles sobre la finalidad del sistema, su precisión, solidez, ciberseguridad, rendimiento en diferentes grupos de usuarios y requisitos de datos. Además, debe facilitarse información sobre cualquier cambio previsto en el sistema y las medidas técnicas para facilitar a los usuarios la interpretación de los resultados.

 

d) Supervisión humana en sistemas de IA de alto riesgo

Los sistemas de IA de alto riesgo deben diseñarse para que sean supervisados eficazmente por humanos durante su uso. Esta supervisión tiene por objeto prevenir o minimizar los riesgos para la salud, la seguridad o los derechos fundamentales.

Puede garantizarse mediante medidas integradas por el proveedor en el sistema antes de su comercialización o mediante medidas aplicadas por el usuario. Las medidas deben permitir a los supervisores comprender plenamente las capacidades y limitaciones del sistema, ser conscientes de los sesgos de la automatización, interpretar correctamente los resultados, decidir sobre su uso e intervenir o detener el sistema en caso necesario. Para los sistemas específicos enumerados, las medidas deben garantizar que no se tome ninguna acción o decisión sobre la base de la identificación del sistema a menos que sea verificada y confirmada por al menos dos personas.

 

e) Precisión y seguridad en los sistemas de IA de alto riesgo

Los sistemas de IA de alto riesgo deben desarrollarse para alcanzar niveles adecuados de precisión, solidez y ciberseguridad, manteniendo al mismo tiempo un rendimiento constante a lo largo de su ciclo de vida. Las instrucciones de uso deben indicar los niveles de precisión.

Deben ser resistentes a errores y fallos, con soluciones técnicas de redundancia, sobre todo para sistemas que aprenden continuamente.

Además, deben estar protegidos contra los intentos no autorizados de alterar o explotar las vulnerabilidades. Las soluciones de ciberseguridad deben adecuarse al contexto específico, y deben tomarse medidas adicionales para prevenir y controlar los ataques, como la contaminación de datos y los ejemplos antagónicos.

 

5. El sistema de calidad como obligación para los proveedores de sistemas de inteligencia artificial de alto riesgo

Los proveedores de sistemas de inteligencia artificial (IA) clasificados como de alto riesgo tienen una serie de responsabilidades que cumplir. Esto incluye garantizar que sus sistemas cumplen los requisitos establecidos en el reglamento, implantar un sistema de gestión de la calidad, elaborar la documentación técnica del sistema de IA, conservar los registros generados automáticamente por los sistemas siempre que sea posible y someter el sistema al procedimiento de evaluación de la conformidad antes de comercializarlo o prestarlo.

Además, deben cumplir las obligaciones de registro, adoptar medidas correctoras en caso necesario, informar a las autoridades competentes sobre la disponibilidad del sistema, aplicar el marcado CE a los sistemas de IA para indicar su conformidad con el reglamento y demostrar la conformidad del sistema cuando lo solicite una autoridad competente.

Además, es crucial que estos proveedores establezcan un sistema de gestión de la calidad que garantice el cumplimiento de la normativa sobre IA. Esto implica un
Sistema de gestión de la calidad

La normativa europea estipula que los proveedores de IA deben establecer un sistema de gestión de la calidad de forma organizada y sistemática, utilizando políticas, procedimientos e instrucciones por escrito que cubran al menos los siguientes aspectos:

  • Desarrollo de una estrategia para garantizar el cumplimiento de la normativa, incluidos los procedimientos de evaluación de la conformidad y la gestión de las modificaciones del sistema de IA de alto riesgo;
  • Aplicación de métodos, procedimientos y acciones sistemáticas para el diseño, control y verificación del sistema de IA;
  • Establecimiento de procedimientos sistemáticos para el desarrollo, el control de calidad y la garantía de calidad del sistema de IA;
  • Realización de procedimientos de examen, prueba y validación antes, durante y después del desarrollo del sistema, definiendo la frecuencia de estas actividades;
  • Definición de las especificaciones técnicas, incluidas las normas que deben seguirse y los medios para garantizar el cumplimiento de los requisitos reglamentarios si no se aplican plenamente las normas armonizadas;
  • Implantación de sistemas y procedimientos de gestión de datos, desde la recogida hasta la comercialización de sistemas de IA;
  • Establecimiento de un sistema de gestión de riesgos según lo establecido en el reglamento;
  • Establecimiento, aplicación y mantenimiento de un sistema de seguimiento postcomercialización;
  • Elaboración de procedimientos de notificación de incidentes graves y anomalías de conformidad con las disposiciones reglamentarias;
  • Gestión de la comunicación con las autoridades competentes, los organismos notificados, los clientes y otras partes interesadas;
  • Establecimiento de sistemas y procedimientos para mantener registros de toda la documentación e información pertinentes;
  • Gestión de recursos, incluidas medidas relacionadas con la seguridad del suministro;
  • Definición de las responsabilidades del personal directivo y otros empleados en relación con todos los aspectos mencionados.

6. Conclusión

Aplicar en Brasil las recomendaciones esbozadas en el Reglamento sobre Inteligencia Artificial de la Unión Europea no sólo es una medida necesaria, sino también una oportunidad para promover la adopción ética y responsable de la IA en Brasil. Cuando observamos la rápida evolución de la tecnología de IA y sus posibles repercusiones en la sociedad, la economía y los derechos humanos, queda claro que las medidas reguladoras son esenciales para garantizar la seguridad y los derechos fundamentales de los ciudadanos brasileños.

Inspirarse en la Ley de IA de la UE proporcionaría a los empresarios que operan en Brasil un marco jurídico completo y actualizado para hacer frente a los nuevos retos relacionados con la IA. El enfoque basado en el riesgo, el énfasis en la transparencia, la gobernanza de los datos y la supervisión humana, así como los estrictos requisitos para los sistemas de alto riesgo, ofrecen un modelo sólido para la regulación de la IA en el país.

Además, adoptando normas internacionales de seguridad y ética, Brasil podría reforzar su posición en la escena mundial, fomentando la confianza de los inversores y colaborando más eficazmente con otros países y organizaciones.

La aplicación de las recomendaciones de la UE en Brasil no sólo garantizaría el cumplimiento de las normas internacionales más estrictas, sino que también estimularía la innovación responsable y sostenible en el campo de la IA. Al establecer un entorno normativo claro y previsible, Brasil podría atraer inversiones y fomentar el desarrollo de soluciones tecnológicas innovadoras que beneficien a toda la sociedad.

Mais
Insights