Auditoría de TI

Por: Ignacio J. Dominguez C.

“La Planeación a largo plazo no es pensar en decisiones futuras,

sino en el futuro de las decisiones presentes”

(Peter Druker).

Sabemos que la función de la Auditoría al Desempeño consiste en evaluar la actuación de una entidad considerando preponderantemente los factores críticos para cumplir con su misión. Igualmente, identificamos que estos factores críticos incluyen la eficacia, eficiencia y economía en el logro de metas y objetivos.  Adicionalmente, mide el desempeño mediante indicadores cuantitativos y cualitativos, y evalúa si los recursos utilizados son razonables. Esta evaluación puede aplicarse tanto a empresas privadas como gubernamentales y del sector social. Todos queremos tener certeza del óptimo funcionamiento de nuestros negocios, empresas o unidades de trabajo.

En términos más sencillos, la auditoría al desempeño busca responder preguntas como: ¿La entidad está cumpliendo con sus objetivos y metas? ¿Los recursos se utilizan de manera eficiente? ¿Los resultados obtenidos son efectivos?

En resumen, es un proceso crítico para evaluar cómo una entidad está funcionando y si está logrando sus metas de manera efectiva/eficiente, tal como lo refiere la Academia Mexicana de Auditoría al Desempeño (AMDAD ©).

La tecnología, mas allá de ostentar un celular de última generación o de usar una computadora portátil con luces en el teclado, o de portar un “smartwatch”; es una heramienta útil que debe potenciar las actividades de los seres humanos. Con la nueva tecnología, los profesionales buscan fortalecer su desempeño, esto es, hacer más con menos; obtener mayor calidad en sus resultados, y ser mas rentables en los tiempos de actuación, en general, hacer de la tecnología una extensión potenciada de las capacidades del profesional.

Con lo anterior en mente, a continuación comparto 2 reflexiones:  La Primera, se refiere al uso de herramientas inteligentes (Inteligencia Artificial generativa – “IA”), de analítica de “Big data”, y de “Machine learning”, como herramientas del Auditor; y La Segunda, a la función del Auditor que audita la implementación de sistemas, de procesos y a la propia Evaluación del Desempeño de Sistemas Inteligentes (¿Es rentable? ¿Funciona? ¿Se logró el objetivo? ¿Tuvo impactos colaterales?, etc.).

Herramientas inteligentes para uso de la Auditoría

La inteligencia artificial tiene varias aplicaciones en el ámbito de la auditoría, incluyendo:

• Detección de fraudes: La IA puede analizar datos transaccionales y de comunicaciones, incluso textos, imágenes y audios, para identificar comportamientos sospechosos o patrones irregulares que podrían indicar actividades fraudulentas.
• Análisis de riesgos: La IA puede ayudar a los auditores a evaluar los riesgos asociados con una empresa o un proceso en particular, identificando áreas de vulnerabilidad y proponiendo estrategias de mitigación; incluidos entre éstos, de manera importante, la ciberseguridad.
• Automatización de tareas rutinarias: El análisis de datos (Big Data Analytics) puede realizar tareas repetitivas y de baja complejidad, que requiere precisión y detalle, tales como la revisión de documentos o comprobacion de gastos/pagos, liberando tiempo para que los auditores se centren en actividades de mayor valor agregado. Analiza grandes volúmenes de datos de manera más rápida y precisa que los auditores humanos, lo que permite una mayor eficiencia en la realización de auditorías.

En general, la incorporación de la inteligencia artificial en la auditoría puede generar varios beneficios, entre ellos:

• Mayor eficiencia: La automatización de tareas y la capacidad de análisis rápido permiten que los procesos de auditoría se realicen de manera más eficaz y eficiente.
• Mayor precisión: Con el Machine Learning se puede identificar patrones y tendencias que pueden pasar desapercibidos para los auditores humanos, lo que mejora la calidad de los resultados y reduce la posibilidad de errores.
• Mayor capacidad analítica: Los procesos de Big Data Analytics y Machine Learning pueden procesar grandes volúmenes de datos y realizar análisis complejos en un corto período de tiempo, brindando a los auditores información más detallada y análisis más profundos.

Auditoría a la implementación de Sistemas Inteligentes

Por otro lado, la auditoría de aplicativos o de implementaciones de plataformas de inteligencia artificial es un proceso que tiene como objetivo evaluar de manera crítica y exhaustiva la implementación de los sistemas y algoritmos de inteligencia artificial (IA), con el fin de garantizar la transparencia, equidad, ética y eficacia de su funcionamiento. A través de esta práctica, se busca identificar cualquier sesgo, error o riesgo que pueda afectar el desempeño de los sistemas de Inteligencia Artificial y tomar medidas correctivas para mejorar su funcionamiento. Es importante subrayar que no se requiere ser ingeniero o tecnólogo para conducir una auditoría al desempeño de aplicaciones de inteligencia artificial, en tanto se conozca la operación del negocio; aunque tener conocimiento de estas tecnologías favorece la lógica y deducción aplicada en los distintos procesos.

Así pues, hoy, la auditoría de aplicaciones/implementaciones de inteligencia artificial enfrenta diversos desafíos. Algunos de estos, son:

• Opacidad del algoritmo: En muchos casos, los algoritmos de inteligencia artificial son cajas negras, lo que dificulta la evaluación y explicación de sus resultados.
• Dificultad para auditar el proceso de toma de decisiones: Los sistemas de IA toman decisiones basadas en la interpretación de grandes volúmenes de datos, lo que complica la identificación de los factores específicos que influyen en dichas decisiones.
• Sesgos y discriminación implícitos: Los algoritmos de IA pueden verse influenciados por sesgos implícitos (presentes en los datos de entrenamiento), lo que puede resultar en decisiones discriminatorias o injustas.
• Rápida evolución tecnológica: Los sistemas de IA y los algoritmos asociados están en constante evolución, lo que implica que las metodologías y herramientas utilizadas para auditarlos deben adaptarse rápidamente a estos cambios.

Existen diferentes metodologías y enfoques utilizados para llevar a cabo la auditoría de sistemas de inteligencia artificial. Entre las más comunes se encuentran las siguientes:

• Análisis de sesgo y equidad: Se evalúa si los resultados de los sistemas de IA presentan sesgos o discriminación indeseada.
• Análisis de transparencia: Se analiza la explicabilidad y comprensión de las decisiones tomadas por los sistemas de IA, con el objetivo de identificar justificaciones para los resultados obtenidos.
• Evaluación de riesgos y seguridad: Se busca identificar los posibles riesgos asociados con el uso de los sistemas de IA y asegurar que los datos utilizados y los procesos sean de calidad, seguros y confiables.
• Auditoría de cumplimiento: Se verifica si los sistemas de IA cumplen con los requisitos legales, éticos y regulatorios establecidos (“AI Compliance Audit”).
• Auditoría de Desempeño: Se valida que los sistemas de IA cumplen con los alcances, propósitos, intenciones, y tienen utilidad real y de aplicación inmediata; así como el beneficio de su eficacia y eficiencia para el mejoramiento y posicionamiento del negocio.

Técnicas de auditoría en sistemas de inteligencia artificial

La auditoría de sistemas de inteligencia artificial juega un papel crucial en la era digital actual, es fundamental garantizar la transparencia, la equidad y la responsabilidad en el uso de esta tecnología, y para lograrlo, es necesario realizar auditorías, utilizando diversas técnicas y enfoques que permitan evaluar su desempeño y detectar posibles sesgos o problemas éticos, tales como:

• Análisis de datos. Se debe recopilar y analizar una amplia gama de datos utilizados en el entrenamiento del modelo de inteligencia artificial. Esto implica evaluar aspectos como la calidad de los datos, la representatividad de las muestras, la existencia de sesgos y la privacidad de la información recopilada. El análisis de datos también implica verificar la integridad y consistencia de los datos utilizados. Esto se puede lograr mediante técnicas de auditoría como la verificación cruzada o el análisis de anomalías, que permiten identificar inconsistencias o errores.
• Evaluación del modelo. Esto implica examinar detenidamente las métricas utilizadas para medir su desempeño, como la precisión, el F1-score o la tasa de falsos positivos y falsos negativos. Es importante evaluar si estas métricas son apropiadas y si reflejan realmente la eficacia del modelo en el contexto en el que se utiliza.
• Evaluación de sesgos y ética. Los sistemas de inteligencia artificial pueden verse influenciados por sesgos inherentes en los datos de entrenamiento, lo que puede llevar a decisiones injustas o discriminatorias. Además, se deben considerar aspectos éticos, como la privacidad de los datos y la transparencia en las decisiones del sistema.

Conclusión. La Auditoría al Desempeño y la implementación de nuevas tecnologías van de la mano y a la vanguardia. La evaluación de riesgos y la ética son componentes cruciales en la auditoría de inteligencia artificial. La identificación y mitigación de riesgos, junto con la aplicación de principios éticos, garantizan la confiabilidad y justicia de los sistemas de IA en su funcionamiento y toma de decisiones. La evaluación continua de los riesgos y la ética en la auditoría de inteligencia artificial es esencial para adaptarse a los cambios y desafíos en la vertiginosa y actual constante evolución.

Por: Ignacio Dominguez Castillo

CEO en Yakatiak, Consultores y Asesores. Egresado de la EBC, Harvard, MIT, Berkeley y la Universidad de Texas. Master en Business Administration & Doctorado en Educación con Doctorado Honoris Causa por la Organización Mundial de Líderes. Especializado por el Confederation College, de Canadá, en Negocios Internacionales. Estudios en Harvard, Berkeley, Cambridge, Texas, el MIT, la EBC y la Universidad de Estudios de Posgrado en Derecho, Ha sido Director de Administración y Finanzas en el Gobierno Federal en México a nivel nacional.

LinkedIn: Ignacio Dominguez Castillo