Por: CP Iván Rodríguez. Colaborador de Auditool.
Recientemente, el Instituto de Auditores Internos (The Institute of Internal Auditors - IIA), publicó un documento[1] sobre la aplicación de ChatGPT para auditores internos. Inicialmente se hace una breve explicación acerca del procesamiento de lenguaje natural, luego se presentan algunos riesgos comunes asociados con el uso de herramientas de IA y finalmente se presentan ejemplos de comandos (prompts) que pueden ayudar al trabajo de los auditores, así como las respuestas que ofrece ChatGPT.
En cuanto al procesamiento de lenguaje natural (natural language processing -NLP por sus siglas en inglés), puede decirse que es un campo de la inteligencia artificial (IA) que se enfoca en la interacción entre las computadoras y el lenguaje humano. Tiene como objetivo permitir que las máquinas sean capaces de comprender, interpretar, generar y responder al lenguaje natural de manera útil y efectiva.
Los principales componentes del PLN (o NLP) son los siguientes análisis:
- Análisis léxico: Procesar el texto para dividirlo en palabras, frases o símbolos.
- Análisis sintáctico: Examinar la estructura gramatical para entender cómo las palabras se relacionan entre sí.
- Análisis semántico: Comprender el significado del texto y las relaciones entre los conceptos.
- Análisis pragmático: Interpretar el contexto más amplio para entender el propósito o intención detrás del lenguaje.
A partir de allí, se tienen diversos usos entre los que se cuentan chatbots y asistentes virtuales, traducción automática entre idiomas, reconocimiento y generación de voz, resumen automático de textos y extracción de información en grandes volúmenes de datos, entre otros. Para el efecto, el NLP utiliza métodos como el aprendizaje automático y redes neuronales para procesar datos lingüísticos. Actualmente está en constante evolución, con el propósito de mejorar su precisión en tareas complejas.
Respecto de los riesgos asociados al uso de herramientas de IA, el documento del IIA efectúa una síntesis ilustrativa, la cual se presenta a continuación:
“(…)
|
RIESGO |
EXPLICACIÓN |
EJEMPLOS DE ACCIONES DE MITIGACIÓN |
|
Los datos son inexactos debido a sesgos en un algoritmo. |
El algoritmo ha sido entrenado con datos que fueron recopilados, clasificados o sometidos a sesgos. |
No aceptes las respuestas generadas por IA como completamente precisas; aplica escepticismo profesional y verifica toda la información de salida por parte de la IA. |
|
Los datos han sido "envenenados" |
A una herramienta de IA se le ha dado deliberadamente información inexacta, sesgada o incorrecta, que luego utiliza para desarrollar respuestas. |
|
|
Confianza desmedida por parte de los usuarios en el contenido generado por IA |
Los auditores internos u otros empleados copian y pegan información del sistema sin verificarla. |
|
|
Se proporciona información confidencial en los prompts |
Los usuarios introducen en el chat información confidencial o que no debería ser de acceso público. |
Elimina de los prompts toda información con el potencial de identificar cualquier aspecto de la organización. |
(…)”
Una parte interesante del documento son los ejemplos de comandos (prompts) y consideraciones clave al utilizar herramientas de procesamiento de lenguaje natural. Uno de los ejemplos que presenta es el siguiente:
“(…)Prompt: Dados los estándares definidos por el Instituto de Auditores Internos (IIA), ¿qué recomendarías que un Director Ejecutivo de Auditoría (DEA) incluya en un plan de auditoría diseñado para auditar el uso adecuado de la IA dentro de su organización? (…)”
La respuesta, al emplear ChatGPT 4.0 es:
|
|
|
|
|
|
|
|
|
|
|
Adicionalmente, se presenta una breve descripción de cada aspecto. Ahora bien, al emplear de nuevo el mismo comando por parte del autor del presente artículo, se obtienen resultados similares (también con una breve explicación), pero con algunas diferencias:
- Establecer objetivos del plan de auditoría
- Alcance del plan de auditoría
- Identificación y evaluación de riesgos
- Evaluación de controles internos
- Enfoque en la gobernanza
- Metodología de auditoría
- Informes y recomendaciones
- Capacitación y actualización
- Revisión continua del plan
Además de las respuestas obtenidas, con base en la experiencia es posible enriquecer el contenido, considerando entre otros temas, los siguientes contenidos:
Gobernanza y estrategia de IA
- ¿Existe una estrategia formal para el uso de IA?
- ¿Se asignaron roles y responsabilidades claros para la gestión de IA?
- ¿Se están siguiendo principios éticos en el diseño y uso de la IA?
Cumplimiento normativo
- ¿Cumple la IA con las leyes y regulaciones aplicables (por ejemplo RGPD)?
- ¿Se evalúan los riesgos legales antes de implementar soluciones de IA?
Transparencia y rendición de cuentas
- ¿Se documentan los procesos de decisión de los sistemas de IA?
- ¿Los usuarios pueden comprender cómo y por qué una IA toma decisiones?
Gestión de sesgos
- ¿Se realizan pruebas para identificar sesgos en los modelos de IA?
- ¿Existen mecanismos para mitigar el sesgo en los datos y algoritmos?
Seguridad y privacidad
- ¿Se protegen adecuadamente los datos utilizados y generados por la IA?
- ¿Se implementan medidas de ciberseguridad para evitar el mal uso o ataques a los sistemas de IA?
Desempeño y calidad
- ¿Se evalúa regularmente la precisión y la efectividad de la IA?
- ¿Se revisan los modelos para garantizar que sigan siendo relevantes y válidos?
Impacto social y organizacional
- ¿La implementación de la IA afecta negativamente a los empleados, clientes o terceros?
- ¿Se evalúa el impacto ambiental de los sistemas de IA?
Metodología de ejecución
- Revisión de documentos, tales como políticas internas, procedimientos, y reportes relacionados con IA, así como contratos y acuerdos con proveedores de tecnología de IA.
- Entrevistas a líderes de proyectos de IA, equipos técnicos y usuarios clave. También a los responsables de cumplimiento y gobernanza de TI.
- Pruebas de campo que permitan una evaluación de datos de entrada y salida, así como una simulación de decisiones tomadas por los sistemas de IA.
Como se aprecia, las respuestas generadas por la IA tienen semejanzas y diferencias, siendo sus contenidos incluso complementarios. (Seguramente un nuevo uso del comando arrojará otros resultados) que sin embargo pueden enriquecerse con el conocimiento del auditor y su experiencia. Estas respuestas pueden ayudar en gran medida a facilitar el trabajo del auditor, en este caso para hacer un plan de auditoría para el uso de IA, aunque deben evaluarse con escepticismo y a partir de un conocimiento debidamente fundamentado.
Las herramientas de IA no sustituyen la experiencia, el conocimiento ni el criterio del auditor a pesar de lo completas y estructuradas que parezcan sus respuestas, pero sí pueden constituirse en un punto de partida al ejecutar ciertas labores. De allí la importancia de conocer las posibilidades de la IA y también de fortalecer los conocimientos técnicos, para efectuar evaluaciones objetivas y debidamente sustentadas, contrastar resultados y lograr el mejor aprovechamiento de los recursos tecnológicos.
[1] Disponible en: Serie Inteligencia Artificial 101: ChatGPT para Auditores Internos
CP Iván Rodríguez - CIE AF
Auditor y consultor, diplomado en Alta Gerencia de Seguros y Derecho de Seguros. Especialista en Dirección Financiera y Desarrollo Organizacional, diplomado en Gerencia de la Calidad. Contador público (CP) de la Pontificia Universidad Javeriana con 20 años de experiencia en diversas empresas. Tiene amplia experiencia en la elaboración y ejecución de auditorías y revisorías fiscales. Dirección y ejecución de asesorías, consultorías y capacitaciones. Colaborador de Auditool.
Bogotá DC, Colombia.
Y luego Agregar a la pantalla de inicio.