Por: CP Iván Rodríguez. Colaborador de Auditool
Una expresión que empieza a usarse con frecuencia por parte de ciertas organizaciones es la gestión del riesgo de modelos. Es un marco de trabajo que utilizan principalmente ciertas entidades del sector financiero para asegurarse de que las decisiones basadas en modelos matemáticos o de Inteligencia Artificial no causen pérdidas económicas o errores operativos graves. Es como un "control de calidad" permanente para las fórmulas y algoritmos que mueven el negocio.
Antes de abordar la gestión del riesgo, es conveniente ver que se entiende por "Modelo". Es un sistema que utiliza datos de entrada para generar una estimación o predicción. Por ejemplo:
Ahora bien ¿por qué existe el riesgo de modelo? Surge principalmente de dos fuentes:
⚠ Datos o diseño incorrectos
El modelo se construyó mal o con información sesgada. Errores conceptuales, supuestos irreales, datos malos o insuficientes, variables que ya no funcionan.
⚠ Uso inapropiado
Se utiliza un modelo para clientes/productos/situaciones para las que no fue diseñado (como usar un termómetro para medir la presión arterial).
⚠ No se actualiza
No se tuvieron en cuenta los efectos de cambios regulatorios, nuevo comportamiento de clientes, crisis inesperadas.
De ahí la necesidad de gestionar este riesgo. Habitualmente se sigue un proceso estándar que puede dividirse en tres componentes:
El papel del auditor en la Gestión del Riesgo de Modelos (MRM) es fundamental, ya que actúa como la "tercera línea de defensa". Su enfoque, más que matemático, es de cumplimiento, proceso y gobernanza.
Frente a este nuevo panorama, el papel del auditor en la Gestión del Riesgo de Modelos (MRM) es fundamental, ya que actúa como la "tercera línea de defensa". Mientras que los desarrolladores crean el modelo y los validadores lo ponen a prueba, el auditor se asegura de que todo ese sistema de control funcione realmente. Su enfoque, más que matemático, es de cumplimiento, proceso y gobernanza.
Las actuaciones que desarrolla (o debe desarrollar) el auditor frente a este tema son:
Evaluación del Marco de Gobierno (Governance)
El auditor no empieza revisando el código del modelo, sino las reglas del juego. Debe verificar:
• Políticas y procedimientos: ¿Existe un manual de MRM aprobado por la alta dirección?
• Inventario de modelos: ¿La empresa tiene una lista completa y actualizada de todos los modelos en uso, o hay "modelos en la sombra" (hojas de cálculo complejas no declaradas)?
• Asignación de responsabilidades: ¿Está clara la separación de funciones entre quien construye el modelo y quien lo valida?
Auditoría de la Validación Independiente
Esta es una de las tareas más críticas. El auditor debe confirmar que la validación no fue un simple "trámite" para cumplir.
• Objetividad: ¿El equipo de validación es realmente independiente o depende jerárquicamente de los desarrolladores?
• Rigor técnico: ¿Se aplicaron pruebas de estrés y análisis de sensibilidad adecuados?
• Resolución de hallazgos: Si el validador encontró errores, ¿se corrigieron antes de poner el modelo en producción?
Integridad y Calidad de los Datos
El auditor debe rastrear el flujo de información:
• Pruebas de recorrido (Walkthroughs): Seguir el rastro de un dato desde su origen hasta que entra al modelo.
• Controles de entrada: Verificar que existan filtros para evitar que datos erróneos o duplicados corrompan los resultados.
Otras consideraciones que debería tener en cuenta el auditor son la explicabilidad; esto es ¿Puede el auditor (o un regulador) entender por qué el modelo tomó una decisión específica, o es una "caja negra"? y el tema de los sesgos, es decir, verificar si se han realizado pruebas para asegurar que el modelo no discrimine por género, etnia o ubicación.
También es importante que el auditor evalúe los siguientes temas:
📊 Pruebas de estrés
Más que ver si el software soporta muchas visitas, se estudia su comportamiento en escenarios extremos pero posibles. Por ejemplo, si ocurre una crisis económica, una pandemia o una caída drástica del mercado, ¿qué tan erróneas serían las predicciones del modelo? También se efectúan análisis de sensibilidad, esto es, se cambian variables una por una (por ejemplo, subir la tasa de interés un 5%) para ver qué tanto impacto tiene en el resultado final.
🗄️ Gobierno de Datos (Data Governance)
Es el conjunto de reglas y procesos que aseguran que ese combustible sea de alta calidad. Se debe garantizar que:
• No falten valores importantes y que los que existan sean correctos.
• Se debe conocer exactamente de dónde viene el dato, quién lo modificó y cómo llegó al modelo. Es el "rastreo de origen".
• Debe haber un diccionario de Datos, que cuente con definiciones claras para que todos entiendan lo mismo por términos como "ingreso neto" o "cliente activo".
• Así mismo, se debe controlar quién tiene acceso a la información sensible utilizada por el algoritmo.
El producto final del auditor es un informe que comunica de forma clara los riesgos residuales. No se trata solo de decir "el modelo falla", sino de explicar el impacto financiero o reputacional si ese fallo ocurre.
El producto final del auditor es un informe que comunica de forma clara los riesgos residuales. No se trata solo de decir "el modelo falla", sino de explicar el impacto financiero o reputacional si ese fallo ocurre. De ahí la importancia de conocer acerca de estas nuevas tecnologías y de las metodologías para su evaluación y análisis.
CP Iván Rodríguez - CIE AF
Colaborador de Auditool
Auditor y consultor, diplomado en Alta Gerencia de Seguros y Derecho de Seguros. Especialista en Dirección Financiera y Desarrollo Organizacional, diplomado en Gerencia de la Calidad. Contador público (CP) de la Pontificia Universidad Javeriana con 20 años de experiencia en diversas empresas. Tiene amplia experiencia en la elaboración y ejecución de auditorías y revisorías fiscales. Dirección y ejecución de asesorías, consultorías y capacitaciones. Colaborador de Auditool.
Y luego Agregar a la pantalla de inicio.
Escribir un comentario