Auditoría de TI

Por: CP Iván Rodríguez. Colaborador de Auditool.

En una reciente encuesta a ejecutivos de riesgo en 249 organizaciones realizada por la firma estadounidense de investigación y consultoría tecnológica Gartner, los modelos generativos de inteligencia artificial (IA) como ChatGPT de OpenAI fueron nombrados el segundo mayor riesgo emergente para las empresas^[1]. Dicho lo anterior, estos modelos representan una fuente de diversas causas de riesgo.

Ahora, la inteligencia artificial generativa (IAG) se refiere a sistemas de IA diseñados para crear contenido original y realista como imágenes, texto, música y otro tipo de contenidos. Sin embargo, junto con los beneficios y las posibilidades creativas que presenta, la IA también plantea ciertos riesgos emergentes que deben ser abordados. Algunos de estos riesgos incluyen:

• Desinformación

Aunque haya precaución al seleccionar la procedencia de los datos con los cuales se alimentan las herramientas de IA, no es posible controlarlos del todo y, por tanto, se podría afectar el comportamiento de un modelo de una manera imprevista. No hay que olvidar que la IAG puede ser utilizada para crear contenido falso que puede ser convincente, como es el caso de las imágenes manipuladas y las noticias falsas generadas automáticamente. Este hecho puede tener graves implicaciones en la difusión de información veraz y en la confianza pública.

• Fraude y suplantación de identidad

Aunado al riesgo anterior, un mal uso de un sistema originado en IAG podría ser utilizado para crear documentos, imágenes y otros medios con la intención de facilitar el fraude y la suplantación de identidad en línea. La IAG también podría ser utilizada para crear contenido ofensivo, discriminatorio o incluso ilegal, lo que podría tener un impacto negativo en la sociedad y la convivencia en línea.

• Interpretación errónea

Más allá del problema del sesgo que puede haber en algunos resultados, hay un problema llamado "alucinaciones" de la IA. Este particular término se refiere al extraño fenómeno de que ciertas respuestas de la IA son completamente inexplicables en función de los datos sobre los que ha sido entrenada. La IA crea resultados que no son reales, no coinciden con ningún dato con el que se haya entrenado o no siguen patrón alguno^[2].

• Seguridad de la información

La forma de obtener mejores respuestas en una aplicación informática es emplear datos de entrada de la mejor calidad. No obstante, esto plantea más preocupaciones, especialmente en el área de la seguridad de la información. Por ejemplo, The Guardian informó sobre una mujer en San Francisco que se dio cuenta que su rostro fue utilizado para entrenar una IAG a partir de datos de su historia clínica que fueron filtrados, esto fue descubierto gracias a una aplicación llamada "¿He sido entrenado?"^[3].

• Pérdida de control sobre el contenido

A medida que los sistemas de IAG se vuelven más sofisticados, puede resultar más difícil distinguir entre el contenido generado por humanos y el generado por máquinas, lo que podría socavar la integridad de la información y dificultar la identificación de lo que es auténtico. Un efecto de ello es que se podría afectar a actividades como la escritura, el diseño gráfico y la música lo que reduciría la demanda de trabajo humano en estas áreas.

Frente a este panorama de riesgos, es labor de la alta administración de las organizaciones que emplean esta tecnología, así como de los auditores saber cómo abordar estos riesgos, de manera que se garantice una actuación empresarial ética y segura. Algunas estrategias para abordar los riesgos de la IAG son las siguientes^[4]:

• Crear y aplicar una política de uso de IA

Ya sea que ya se esté utilizando IAG o simplemente se estén considerando sus beneficios, es una buena idea plantear y aplicar una política de IA que considere:

• • ¿Qué departamentos y roles pueden usar modelos generativos como parte de su trabajo?
  • ¿Qué partes del flujo de trabajo se pueden automatizar o complementar con IAG?
  • ¿Qué datos internos y aplicaciones están y no pueden ser expuestos a estos modelos?

• Utilizar datos de origen y obtener datos de terceros de manera responsable

Al utilizar un modelo generativo en un entorno empresarial, siempre hay que saber de dónde provienen los datos de entrada. En cuanto sea posible, se deben utilizar los datos de origen que posea su empresa, pues esto facilita las labores de seguimiento y control. También, es útil investigar cómo los proveedores de IAG obtienen sus datos de entrenamiento.

• Capacitar a los empleados sobre el uso apropiado de datos y modelos generativos

Es importante capacitar a los empleados, de manera que la organización procure mantener niveles óptimos de seguridad y cumplimiento al evitar errores individuales. Los empleados que trabajan con sus datos y aplicaciones más confidenciales deben recibir capacitación más detallada y frecuente.

• Invertir en herramientas de ciberseguridad que aborden los riesgos de seguridad de la IA

Los modelos de IAG y las herramientas de IA en general requieren fuertes protecciones de ciberseguridad para resguardar toda la información que contienen. Es conveniente, por tanto, emplear herramientas de ciberseguridad robustas para proteger a la organización.

Si bien los anteriores riesgos y estrategias de mitigación no constituyen una lista exhaustiva, si permiten a la alta administración y a la auditoría, tener un panorama general del tema y proteger a la organización frente a estos nuevos riesgos emergentes.

^[1] Ver: https://decrypt.co/152161/generative-ai-a-top-emerging-risk-for-organizations-gartner-survey

^[2] Tomado de: https://www.techtarget.com/whatis/definition/AI-hallucination

^[3] Ver: https://blog.grantmcgregor.co.uk/what-are-the-risks-of-chatgpt-and-large-language-models-llms-and-what-should-you-do-about-them

^[4] Adaptado de: https://www.eweek.com/artificial-intelligence/generative-ai-risks/

CP Iván Rodríguez - CIE AF

Auditor y consultor, diplomado en Alta Gerencia de Seguros y Derecho de Seguros. Especialista en Dirección Financiera y Desarrollo Organizacional, diplomado en Gerencia de la Calidad. Contador público (CP) de la Pontificia Universidad Javeriana con 20 años de experiencia en diversas empresas. Tiene amplia experiencia en la elaboración y ejecución de auditorías y revisorías fiscales. Dirección y ejecución de asesorías, consultorías y capacitaciones. Colaborador de Auditool.

Bogotá D.C., Colombia.