Por: CP Iván Rodríguez. Colaborador de Auditool
En los Consejos y Juntas Directivas, así como en la alta administración de algunas organizaciones, se piensa que el control de la IA se logra con un marco de gobierno y la implementación de salvaguardas tecnológicas. Sin embargo, estas medidas suelen ignorar a los empleados, quienes suelen ser un control útil para la IA. Por su parte, la auditoría de sistemas de IA se ha centrado en verificar la existencia y el funcionamiento de controles: políticas documentadas, evaluaciones de impacto, registros de decisiones algorítmicas, mecanismos de supervisión humana. Sin embargo, parece no ser suficiente comprobar el cumplimiento formal de un marco de gobernanza, pues se está auditando una parte del sistema, no el sistema completo. Es necesario tener en cuenta el papel del empleado como primera línea de defensa y su relación con los marcos de gobernanza, el impacto emocional del cambio tecnológico y cómo afecta su comportamiento ético.
Los marcos de gobernanza operan sobre situaciones previsibles, documentables y estandarizables. La conducta de la IA, por su parte, puede alucinar, fabricar, engañar, romper normas y carecer de control.
Los marcos de gobernanza de la IA cumplen una función válida: establecen responsabilidades, definen procesos de aprobación, exigen documentación y crean mecanismos de rendición de cuentas. Sin embargo, estos marcos pueden dar a las Juntas o Consejos la impresión de que el riesgo está bajo control sin que ello sea cierto. La razón es sencilla, los marcos operan sobre situaciones previsibles, documentables y estandarizables. La conducta de la IA, por su parte, puede alucinar, fabricar, engañar, romper normas y carecer de control. El auditor que ha trabajado con sistemas complejos conoce bien esta situación. Un modelo puede superar todas las pruebas de validación y, aun así, producir resultados nocivos o incorrectos en producción. Un agente de IA puede cumplir con las políticas de uso aceptable y, aun así, encontrar atajos no previstos para alcanzar sus objetivos. Si bien la gobernanza formal reduce la probabilidad de ciertos fallos, no elimina la exposición residual. Y esa exposición residual recae, en última instancia, sobre las personas que interactúan con los sistemas: los empleados.
🛡️ La primera línea de defensa ante la IA
En el ámbito de la auditoría, la primera línea de defensa es la que gestiona el riesgo en el día a día. En el contexto de la IA, esa primera línea no está formada únicamente por los equipos de tecnología o cumplimiento, sino por todos los empleados que usan, supervisan o se ven afectados por los sistemas de IA. Son ellos quienes detectan anomalías, quienes cuestionan resultados sospechosos, quienes se niegan a ejecutar instrucciones que violan normas éticas, quienes reportan incidentes.
Sin embargo, para que esa primera línea funcione, los empleados deben estar vigilantes, selectivos y dispuestos a hacer lo correcto. Y acá hay un elemento que la auditoría tradicional suele ignorar: los recursos emocionales y cognitivos que sostienen esa vigilancia. La incertidumbre, la inseguridad laboral y el miedo a la irrelevancia no solo generan sufrimiento; reducen la capacidad de los empleados para actuar como defensa. El auditor que evalúa la gobernanza de la IA debería preguntarse:
🔍 Preguntas clave para el auditor
¿Los controles diseñados dependen de que los empleados actúen de una determinada manera?
¿Se ha evaluado si los empleados tienen los recursos emocionales y cognitivos para sostener esos comportamientos?
¿Existen mecanismos para detectar cuándo la primera línea de defensa se está debilitando por agotamiento, miedo o cinismo?
🚨 Advertencia clave
La existencia de un control no garantiza su eficacia si las personas que deben ejecutarlo están emocionalmente agotadas o cognitivamente sobrecargadas.
En un reciente artículo sobre el tema[1] se identifican tres factores que erosionan la capacidad de los empleados para mantener un compromiso ético:
❓
Incertidumbre
La falta de claridad sobre cómo la IA transformará sus empleos y su entorno laboral.
⚠️
Inseguridad laboral
El miedo a perder el empleo o a volverse empleable.
👤
Miedo a la irrelevancia
La percepción de que sus habilidades y experiencia pierden valor.
Estos factores no actúan de forma aislada. Se refuerzan mutuamente y se desarrollan en un contexto de cambios geopolíticos, económicos y sociales más amplios. El resultado es un estado de ansiedad generalizada que consume los recursos emocionales que las personas necesitan para mantenerse vigilantes y honestas.
A medida que la IA se integra en el ámbito empresarial, los riesgos cognitivos del uso continuo y sostenido presentan a las organizaciones un dilema tanto ético como de talento.
🧠 Riesgos cognitivos del uso continuo de la IA
Alucinaciones
La IA genera información falsa o engañosa con apariencia de veracidad.
Descarga cognitiva
Los usuarios delegan en la IA procesos de pensamiento que antes realizaban por sí mismos.
Homogeneidad lingüística
La IA tiende a uniformar el lenguaje y el estilo, lo que puede adormecer la atención al lenguaje y al comportamiento.
El auditor que quiera abordar los riesgos cognitivos de la IA debería:
1. Evaluar si los procesos de trabajo están diseñados para preservar la capacidad de pensamiento crítico de los empleados.
2. Verificar si existen mecanismos para detectar y corregir alucinaciones antes de que causen daño.
3. Preguntarse si la organización está midiendo el impacto cognitivo de la IA y si esos datos se utilizan para mejorar los controles.
⚠️ Riesgo de certificar un sistema erosionado
En ausencia de estas evaluaciones, el auditor corre el riesgo de certificar un sistema que está erosionando silenciosamente la capacidad de la organización para detectar y responder a riesgos.
Para que su trabajo pueda contribuir a visibilizar las dimensiones emocionales y cognitivas de la gobernanza de la IA y contribuir a una adopción ética y auditable de la IA, el auditor debería ampliar el alcance de la auditoría para incluir indicadores de bienestar emocional, percepción de justicia y compromiso ético. Adicionalmente:
✅ Recomendaciones para una gobernanza integral de la IA
Evaluar si los marcos de gobernanza están diseñados para adaptarse a un entorno cambiante o si son rígidos y desconectados de la realidad de los empleados.
Verificar si la organización está gestionando activamente los riesgos cognitivos de la IA.
Cuestionar las promesas que la organización hace a sus empleados y evaluar si son creíbles y sostenibles.
Promover la transparencia y el diálogo como mecanismos de control, no solo como valores deseables.
No basta con verificar que existen políticas, controles y mecanismos de supervisión. Hay que evaluar si las personas que deben ejecutarlos tienen la capacidad, la motivación y el apoyo emocional para hacerlo.
No basta con verificar que existen políticas, controles y mecanismos de supervisión. Hay que evaluar si las personas que deben ejecutarlos tienen la capacidad, la motivación y el apoyo emocional para hacerlo. El auditor que ignore este hecho estará auditando una parte del sistema mientras la organización queda expuesta a riesgos que ningún marco puede capturar. En cambio, el auditor que la incorpore estará contribuyendo a construir una gobernanza de la IA que, además de cumplir con las normas, sostiene la capacidad humana de detectar, cuestionar y corregir lo que las máquinas no pueden ver.
CP Iván Rodríguez - CIE AF
Colaborador de Auditool
Auditor y consultor, diplomado en Alta Gerencia de Seguros y Derecho de Seguros. Especialista en Dirección Financiera y Desarrollo Organizacional, diplomado en Gerencia de la Calidad. Contador público (CP) de la Pontificia Universidad Javeriana con 20 años de experiencia en diversas empresas. Tiene amplia experiencia en la elaboración y ejecución de auditorías y revisorías fiscales. Dirección y ejecución de asesorías, consultorías y capacitaciones. Colaborador de Auditool.
Y luego Agregar a la pantalla de inicio.
Escribir un comentario