Por: CP Iván Rodríguez. Colaborador de Auditool
En el mundo actual la inteligencia artificial se ha venido convirtiendo en un componente central en la toma de decisiones empresariales. Sin embargo, existe un riesgo silencioso, progresivo y muchas veces invisible: el desvío de los modelos de IA (model drift). Este fenómeno ocurre cuando un modelo continúa operando aparentemente con normalidad, pero sus resultados comienzan a deteriorarse sin alertas claras, generando decisiones erróneas que pueden impactar significativamente a la organización[1]. Este riesgo no solo es técnico; es, ante todo, un problema de gobernanza, control y aseguramiento, por lo que se convierte en un tema prioritario para la auditoría.
El desvío de modelos no es un evento puntual, sino un proceso gradual que puede adoptar diferentes formas. Su principal peligro radica en que no genera fallos evidentes, sino una degradación progresiva del desempeño dificultando su detección oportuna. Se destacan los siguientes tipos:
📊 Desvío de datos
Ocurre cuando cambian las características de los datos de entrada. Por ejemplo, un modelo entrenado antes de un hecho como la pandemia puede volverse menos efectivo en un contexto dominado por el comercio electrónico y pagos digitales.
🔄 Desvío de concepto
Se presenta cuando cambia la relación entre las variables y el resultado esperado. Un patrón que antes indicaba fraude puede convertirse en comportamiento normal con el tiempo.
📉 Desvío de salida
Se detecta cuando cambia la distribución de los resultados del modelo, incluso si los datos de entrada parecen estables. Es muchas veces la señal más temprana de un problema.
Tradicionalmente, la gestión de modelos ha sido considerada responsabilidad de áreas técnicas. Sin embargo, esta visión es limitada. La realidad es que, en la mayoría de los casos la validación inicial suele estar cubierta. Sin embargo, el monitoreo continuo y la gobernanza quedan fragmentadas entre negocio, TI y analítica. Es en este escenario en que la auditoría interna tiene un rol clave, puesto que:
Rol clave de la auditoría interna
• Evalúa si existen controles efectivos post-implementación
• Verifica la claridad en la asignación de responsabilidades
• Asegura que los riesgos estén siendo escalados adecuadamente
Desde la óptica del modelo de las tres líneas, una gestión efectiva del desvío de un modelo de IA requiere claridad en las responsabilidades:
1ª Línea
Negocio
monitorea el rendimiento y detecta desviaciones
2ª Línea
Riesgo
valida metodologías y define umbrales
3ª Línea
Auditoría interna
proporciona aseguramiento independiente
Este enfoque permite cerrar brechas entre desarrollo, operación y supervisión. Esto representa un desafío para la auditoría, puesto que debe auditar el desvío de modelos. Si bien los auditores no necesitan ser expertos en ciencia de datos, sí deben contar con un marco estructurado de evaluación, que puede verse así:
📋 Inventario de modelos
Verificar que la organización tenga un registro completo de modelos en producción, incluyendo su propósito, datos utilizados y riesgos asociados.
📊 Evaluación del monitoreo
Revisar que existan métricas clave tales como distribución de datos de entrada, distribución de resultados e indicadores de desempeño. Además, los umbrales deben estar alineados con impacto de negocio y revisarse periódicamente.
🔬 Pruebas estadísticas clave
• PSI (Population Stability Index): detecta cambios en datos
• KS (Kolmogorov-Smirnov): identifica cambios en resultados
🚨 Evaluación del escalamiento
Determinar si las alertas generan acciones claras, ¿Quién recibe la alerta? ¿Qué decisiones se toman? ¿En qué plazo?
⚖️ Monitoreo de equidad
Un modelo puede mantener precisión global, pero deteriorar su desempeño en grupos específicos, generando riesgos regulatorios.
Falla estructural de control
De otra parte, muchas organizaciones cuentan con herramientas de monitoreo, pero carecen de:
• políticas claras sobre qué constituye un desvío material,
• procesos formales de reentrenamiento,
• criterios de retiro de modelos y
• reportes periódicos a la Alta Dirección,
lo cual permite que modelos obsoletos sigan operando indefinidamente, lo que constituye una falla estructural de control.
🏢 Reto adicional: modelos de terceros
A este hecho se suma un reto adicional para los auditores, que es el uso de modelos de terceros, lo cual introduce nuevos riesgos entre los que se cuentan la falta de visibilidad sobre su funcionamiento, la dependencia de proveedores, la ausencia de validación independiente entre otros.
Por ello, la auditoría debe verificar las cláusulas contractuales sobre monitoreo, la validación previa al uso y el seguimiento continuo del desempeño.
Otro tema que los auditores deben tener en cuenta en sus evaluaciones de modelos de IA son los desvíos de la IA generativa, que exigen nuevos enfoques de control y evaluación, más allá de los métodos tradicionales. Entre ellos se cuentan:
💬 Desvíos de prompts
Ocurre cuando el modelo, a lo largo de una conversación o múltiples interacciones, se aleja gradualmente de las instrucciones originales del prompt. Esto ocurre por ejemplo, cuando el usuario introduce variaciones sutiles o el modelo empieza a "asumir" un nuevo rol o estilo o acumulación de ruido en el historial. Como consecuencia, las respuestas pierden fidelidad a las instrucciones iniciales.
🔗 Desvíos en sistemas RAG
En sistemas Retrieval-Augmented Generation (que combinan recuperación de documentos externos + generación), se produce un desvío cuando el sistema pierde progresivamente la capacidad de recuperar o utilizar información relevante y actual. Por tanto, las respuestas se vuelven cada vez más genéricas, alucinatorias o basadas en conocimiento interno obsoleto en lugar de los documentos recuperados.
🌍 Desalineación con la realidad
Es la tendencia de los modelos a generar contenido que se separa de los hechos reales, ya sea por alucinaciones, sesgos de entrenamiento o falta de enfoque, como consecuencia de entrenamiento con datos que contienen errores, sesgos o ficción.
El mayor riesgo no es que los modelos se desvíen, lo que parece inevitable, sino que la organización no lo detecte a tiempo, no tenga claridad sobre quién responde o no informe adecuadamente a la Alta Dirección.
Por ello, es crítico el papel de la auditoría de proporcionar confianza de que los sistemas de IA están bajo control. En ese sentido, debe evaluar si se efectúa un monitoreo proactivo, hay claras definiciones de responsabilidad y existe una gobernanza continua y sólida. Todo esto incrementa y fortalece la madurez del gobierno corporativo en un momento en que se usa cada vez más la inteligencia artificial y posiciona al auditor como un profesional competente y valioso para la organización.
[1] Algunos contenidos están basados en: Model Drift: When AI Models Lie and What Internal Audit Must Do about It
CP Iván Rodríguez - CIE AF
Colaborador de Auditool
Auditor y consultor, diplomado en Alta Gerencia de Seguros y Derecho de Seguros. Especialista en Dirección Financiera y Desarrollo Organizacional, diplomado en Gerencia de la Calidad. Contador público (CP) de la Pontificia Universidad Javeriana con 20 años de experiencia en diversas empresas. Tiene amplia experiencia en la elaboración y ejecución de auditorías y revisorías fiscales. Dirección y ejecución de asesorías, consultorías y capacitaciones. Colaborador de Auditool.
Y luego Agregar a la pantalla de inicio.
Escribir un comentario