Auditoría de TI

Por: CP Iván Rodríguez. Colaborador de Auditool.

En marzo del presente año, 2024, el Parlamento Europeo aprobó la Ley de Inteligencia Artificial, una regulación ambiciosa y pionera, dirigida a establecer un marco legal integral para el desarrollo y uso de la inteligencia artificial (IA) y cuyo objetivo es regular la tecnología en función de su capacidad para causar daño, con un enfoque basado en el riesgo: esto es, cuanto mayor es el riesgo, más estrictas son las reglas. En ese sentido proporciona a los desarrolladores y usuarios requisitos y obligaciones claros con respecto a los usos específicos de la tecnología y los datos empleados. La clasificación basada en el riesgo, de acuerdo con la ley es la siguiente:

Riesgo inaceptable:

Estos sistemas de IA están prohibidos bajo la ley. Incluyen aplicaciones de IA que atentan gravemente contra los derechos fundamentales o afectan la seguridad y la libertad de las personas, tales como el uso de tecnologías para manipular el comportamiento de las personas a través de técnicas subliminales o sistemas de "puntuación social", aplicaciones de IA en infraestructuras críticas, como transporte y energía o extracción no selectiva de datos públicos de Internet o de circuitos cerrados de televisión para crear bases de datos de reconocimiento facial, por ejemplo.

Riesgo alto:

Esta categoría incluye sistemas de IA que pudieran afectar significativamente la seguridad, salud, los derechos y las libertades de las personas. Entre ellos se cuentan sistemas que influyan en el acceso a la educación y la vida profesional, herramientas de contratación automatizada, y tecnologías biométricas como el reconocimiento facial en espacios públicos. Estos sistemas están sujetos a estrictos requisitos regulatorios, como evaluaciones previas a su implementación y auditorías regulares para garantizar su seguridad y equidad.

Los sistemas de IA clasificados como de alto riesgo deben cumplir con varios requisitos, entre los que se cuentan: evaluaciones de conformidad antes de que puedan ser comercializados, supervisión humana sobre decisiones críticas, transparencia y posibilidad de explicar el sistema y garantías de seguridad y privacidad.

Riesgo limitado:

Si bien estos sistemas no presentan un riesgo elevado, si requieren un cierto nivel de transparencia. Por ejemplo, un chatbot que interactúa con usuarios en un servicio al cliente. En este caso, los usuarios deben ser informados de que están interactuando con una IA para que puedan tomar decisiones informadas.

Riesgo mínimo o nulo:

La mayoría de los sistemas de IA, tales como videojuegos o filtros de correo no deseado, caen en esta categoría y están sujetos a una regulación mínima o ninguna, puesto que presentan poco o ningún riesgo para los usuarios. La ley no pretende sobrecargar a estos sistemas con reglas innecesarias que podrían frenar la innovación.

De acuerdo con lo mencionado en el artículo “need to know how ai act sets tone for ai regulation”^[1], las sanciones por incumplimiento pueden ser elevadas. El uso de aplicaciones de IA prohibidas puede dar lugar a multas que alcancen los 35 millones de euros (38 millones de dólares) o el 7% de los ingresos globales, lo que sea mayor. Las violaciones de las obligaciones de la ley pueden originar multas por valor de hasta 15 millones de euros (16 millones de dólares estadounidenses) o el 3% de la facturación. Por su parte, los sistemas de IA que suministren información incorrecta pueden dar lugar a multas de hasta 7,5 millones de euros (8,1 millones de dólares) o el 1,5% de los ingresos globales.

Otros de los temas de interés en la ley son:

• Modelos de IA de propósito general (GPAI), los cuales son entrenados con grandes cantidades de datos y son capaces realizar diversas tareas, independientemente de su comercialización.
• Sistemas GPAI, que se refieren a sistemas basados en modelos de IA de propósito general y que pueden servir para múltiples propósitos o ser integrados en otros sistemas de IA de alto riesgo.

La ley también prevé diferentes obligaciones para las organizaciones que operen como proveedores de GPAI, entre las que se cuentan:

• Documentación técnica del proceso de formación y pruebas.
• Proporcionar información a los proveedores que integren el modelo en sus sistemas, detallando capacidades y limitaciones.
• Publicar un resumen del contenido utilizado para entrenar el modelo y respetar la Directiva sobre derechos de autor.

La auditoría en la ley de IA

La auditoría se constituye en un factor clave para garantizar que los sistemas de IA que implican riesgo cumplan con los requisitos establecidos por la ley. En ese sentido, se prevé que haya auditorías que pueden ser realizadas tanto por autoridades regulatorias designadas como por terceros independientes, para evaluar la conformidad con los criterios previstos en la ley. Algunas consideraciones al respecto son las siguientes:

• Las empresas que desarrollen o implementen sistemas de IA de alto riesgo estarían obligadas a realizar auditorías internas periódicas para garantizar el cumplimiento de la ley.
• La ley prevé la participación de auditores externos independientes que pueden verificar si los sistemas de IA cumplen con los estándares de seguridad, equidad y transparencia.
• En cuanto a la documentación y trazabilidad, la ley dispone que las organizaciones deberán mantener documentos y registros detallados sobre el desarrollo, entrenamiento y funcionamiento de los sistemas de IA, para que las auditorías sean más precisas y efectivas.
• Las auditorías buscan garantizar que los sistemas cumplan con los requisitos de la ley antes de estar en funcionamiento y también durante su uso, lo que contribuye a una mayor confianza y seguridad en la adopción de la IA.

Tal como se aprecia, la ley de inteligencia artificial de Europa busca una regulación proactiva y preventiva con el propósito de evitar riesgos a los derechos fundamentales y fomentar la transparencia y la seguridad en el uso de nuevas tecnologías.

Por su parte la auditoría desempeña un papel vital, al evaluar si los sistemas de IA cumplen con los más altos estándares éticos y técnicos, lo que contribuye a una implementación más segura y confiable de la IA, en particular en Europa. De ahí la importancia de que los auditores estén capacitados en las nuevas tecnologías para atender debidamente los compromisos derivados de las nuevas normas y leyes.

^[1] Disponible en: Need to know: How AI Act sets tone for AI regulation

CP Iván Rodríguez - CIE AF

Auditor y consultor, diplomado en Alta Gerencia de Seguros y Derecho de Seguros. Especialista en Dirección Financiera y Desarrollo Organizacional, diplomado en Gerencia de la Calidad. Contador público (CP) de la Pontificia Universidad Javeriana con 20 años de experiencia en diversas empresas. Tiene amplia experiencia en la elaboración y ejecución de auditorías y revisorías fiscales. Dirección y ejecución de asesorías, consultorías y capacitaciones. Colaborador de Auditool.

Bogotá D.C., Colombia.