Gestión del riesgo de modelo de IA en las entidades financieras: Buenas prácticas de cumplimiento y gobernanza

La inteligencia artificial (IA) y el aprendizaje automático (AM) han pasado a ocupar un lugar destacado en los sistemas y modelos Ley de Secreto Bancario/Antilavado de dinero (BSA; Ley de Secreto Bancario (BSA)/AML; Reglamento Antilavado de Dinero (AML)) y Oficina de Control de Activos Extranjeros (OFAC) de las instituciones financieras. Los modelos basados en IA/ML brindan la oportunidad de mejorar la eficiencia y eficacia de los sistemas de supervisión, pero la complejidad de estas tecnologías ha elevado las exigencias de la gestión de riesgo de los modelos.

Una gestión de riesgo de modelo inadecuada o insuficiente puede tener consecuencias importantes, como la erosión de la confianza de los entes reguladores, acciones reguladoras formales o informales, incluida la posibilidad de costosas revisiones y correcciones y multas reguladoras, reputación dañada, pérdidas financieras e ineficiencias internas.

El riesgo de modelo aumenta con la complejidad inherente de un modelo, y los modelos de terceros basados en IA/ML presentan retos particulares para que las instituciones financieras comprendan y sean capaces de explicar cómo funcionan. No obstante, los entes reguladores responsabilizan a las instituciones de mitigar el riesgo y garantizar la solidez conceptual de cualquier modelo o algoritmo que utilicen sus sistemas. Como señala la Declaración Interinstitucional del 9 de abril de 2021 sobre la Gestión del Riesgo de Modelo para los Sistemas Bancarios que Respaldan el Cumplimiento de Ley de Secreto Bancario/Antilavado de dinero, "Los bancos son los responsables últimos de cumplir los requisitos de BSA; Ley de Secreto Bancario (BSA)/AML; Reglamento Antilavado de Dinero (AML), incluso si deciden utilizar modelos de terceros". Las instituciones financieras deben comprender sus sistemas basados en IA y cómo funcionan.

Unos datos y una gobernanza adecuados son fundamentales para el éxito de la implantación y el uso continuado de modelos complejos basados en IA/ML. Las instituciones financieras deben mitigar el riesgo de los modelos mediante controles destinados a que los sistemas funcionen según lo previsto, centrándose en evitar entradas de datos o conjuntos de datos de entrenamiento inadecuados o incompletos, modelos sesgados, modelos inseguros o propensos a errores, y violaciones de la privacidad. Todo modelo debe probarse antes de su aplicación, y los resultados deben evaluarse y documentarse minuciosamente.

Comprender los riesgos de los modelos de IA

En primer lugar, cuando el sector bancario habla de modelos de IA, normalmente se refiere a modelos que utilizan ML, que es un subconjunto de la IA que proporciona a los sistemas la capacidad de aprender y mejorar automáticamente sin ser programados explícitamente. Pocas instituciones financieras, si es que hay alguna, aprovechan actualmente la IA completa. Muy pocos proveedores ofrecen siquiera modelos de IA completa. Dichos modelos no han sido validados ampliamente, si es que lo han sido, y aún no cuentan con la confianza de las instituciones ni de sus entes reguladores.

La mitigación del riesgo de los modelos de IA/ML no es fundamentalmente diferente de la mitigación del riesgo de otros modelos de terceros. Como señala la Declaración Interinstitucional de 2021, "las buenas prácticas de gestión de riesgos incluyen obtener información suficiente del tercero para comprender cómo funciona y se comporta el modelo, asegurarse de que funciona como se espera y adaptar su uso al perfil de riesgo único del banco".

Al igual que con cualquier modelo, la comprensión del riesgo de modelo comienza con la evaluación de la solidez conceptual del modelo mediante el examen de la integridad/representatividad de los datos, el sesgo, la documentación/explicabilidad del modelo, la selección de parámetros y métodos, y la curación del conjunto de entrenamiento. Sin embargo, los modelos de IA/ML pueden requerir una atención adicional, ya que muchos son "cajas negras" que utilizan algoritmos patentados y pueden carecer de transparencia; las instituciones pueden no conocer o comprender el funcionamiento interno del software o cómo se calcula su modelo. Además, el gran volumen de datos estructurados y no estructurados utilizados para entrenar los modelos de IA/ML puede dar lugar a problemas de integridad y sesgo de los datos. Es crucial obtener documentación del proveedor que explique cómo funciona el modelo y disponer de un proceso para validar que el modelo funciona correctamente basándose en esa documentación y en cómo está configurado para tu institución.

Mitigar el riesgo de los modelos AI/ML con una documentación eficaz

Los modelos IA/ML presentan dos fuentes principales de riesgo de modelo:

• Errores fundamentales que producen resultados inexactos o incompletos en comparación con los objetivos de diseño y el uso previsto de un sistema o proceso.
• Uso incorrecto o limitaciones o supuestos mal entendidos

Los entes reguladores suelen evaluar los modelos de terceros a través de la documentación de gestión de riesgo del modelo de la entidad, que debe ser exhaustiva y detallada para que un tercero con conocimientos pueda recrear el modelo sin acceso al código de desarrollo del modelo.

Además de cumplir los requisitos normativos, una buena documentación puede mejorar la comunicación con los auditores y la dirección del banco y demostrar al consejo de administración de la institución la eficacia del modelo para mitigar el riesgo BSA; Ley de Secreto Bancario (BSA)/AML; Reglamento Antilavado de Dinero (AML) o OFAC.

La documentación adecuada demuestra la propiedad del modelo:

• Justificación: Por qué la institución eligió este modelo en lugar de otros, y los factores impulsores en términos de implantación.
• Supuestos: Qué supuestos se hicieron durante el diseño y despliegue del modelo, incluidos los principios subyacentes, las fuentes de datos, las variables y las metodologías
• Pruebas realizadas: Detalles de las pruebas previas a la implantación y la validación del modelo con los datos de la institución, incluidas las metodologías, los resultados y los ajustes realizados en función de los resultados de las pruebas.
• Toma de decisiones: Por qué se implementó y validó el modelo de esta manera y cómo se llegó a esas decisiones, incluyendo un análisis de corte apropiado y pruebas de aceptación del usuario.

Las instituciones pueden enfrentarse a barreras únicas a la hora de documentar los modelos de IA/ML, como el uso de supuestos no válidos o inadecuados, la falta de conocimientos tecnológicos y la falta de experiencia con modelos complejos. A menudo, sin embargo, una de las barreras más importantes es que la información sobre el modelo debe proceder del proveedor, que puede ser reacio a compartir información o tener dificultades para compartirla de forma que las instituciones y los entes reguladores puedan entenderla.

En última instancia, la documentación adecuada de los modelos de IA/ML -al igual que la selección, el diseño y la implantación- requiere transparencia entre el proveedor y la institución. Esta transparencia debe ser bidireccional y puede mejorarse trabajando con un consultor experimentado que pueda aclarar la información necesaria para una documentación eficaz y "traducir" entre el proveedor de software y la institución.

La institución debe compartir claramente sus:

• Perfil de riesgo
• Modelo de negocio
• Capacidades tecnológicas
• Necesidades y expectativas con el vendedor

El vendedor debe tenerlo claro:

• Cómo funciona su modelo
• Cómo se adaptan los supuestos subyacentes a la institución concreta
• Cualquier limitación que tenga el modelo
• Cómo funciona su plataforma tecnológica, y
• Buenas prácticas para probar, implantar, utilizar y ajustar el sistema

Como en cualquier modelo, la documentación es sólo una parte de la mitigación del riesgo

Las pruebas previas a la implantación, la correcta implantación y la validación del sistema también son importantes y deben documentarse. Debe prestarse especial atención a las pruebas previas a la implantación, ya que es mucho más fácil y menos costoso solucionar los problemas antes de la puesta en marcha que después.

Las pruebas previas a la implantación deben incluir la comparación del número de falsos positivos y avisos omitidos en la nueva plataforma con el de la plataforma actual. Una plataforma IA/ML eficaz debe tener menos falsos positivos y un índice de eficacia global más alto.

Una vez que el sistema está en funcionamiento, la supervisión, el mantenimiento, el ajuste y las pruebas continuas son importantes tanto para la gestión de riesgos como para el cumplimiento de normativas de entidades reguladoras. Debido al ritmo al que sigue evolucionando la IA y a los mayores riesgos que a veces conllevan estos modelos, es especialmente importante una validación periódica independiente. Como mínimo, la institución, o un consultor externo, debe realizar revisiones anuales de cada uno de sus modelos para evaluar si siguen ajustándose a los riesgos, expectativas, productos o servicios actuales, tipos de clientes y actividades empresariales de la institución. Las revisiones anuales también deben considerar si se han producido cambios significativos en los modelos que puedan requerir validación y si se justifica la realización de nuevas pruebas.

Los modelos de IA más complejos requerirán un enfoque diferente de la validación

Aunque los modelos basados en IA/ML pueden funcionar mejor que los tradicionales en los sistemas de supervisión BSA; Ley de Secreto Bancario (BSA)/AML; Reglamento Antilavado de Dinero (AML) y OFAC, su falta de explicabilidad puede causar bloqueos en su uso eficaz. La comprensión de los riesgos exclusivos de los modelos IA/ML, la comunicación transparente entre el proveedor y la institución, así como la documentación eficaz de los modelos, su validación y comprobación, y su aplicación, pueden mejorar tanto la eficacia como la aceptación de estas herramientas.

De cara al futuro, cabe esperar que los modelos basados en IA se vuelvan más complejos, incluido el uso de IA generativa. Esto requerirá un enfoque diferente de la validación y el riesgo de los modelos, incluidos los riesgos asociados a la fuente y el uso de los datos, el acceso de terceros a los datos institucionales para entrenar la IA generativa, los resultados sesgados o discriminatorios y los problemas de explicabilidad más profundos, junto con los nuevos riesgos de esta nueva tecnología.

Es probable que la validación de modelos incluya examinar más de cerca aspectos como la integridad de los datos y el posible sesgo de los algoritmos. Las futuras normas de certificación, como la ISO/IEC 42001 (Sistemas de Gestión de la Inteligencia Artificial) permitirán una mejor gobernanza de los sistemas de IA y ayudarán a satisfacer las necesidades de auditores, validadores y entes reguladores.

Un profesional de asesoría de riesgos puede proporcionar una ayuda inestimable con el riesgo y la validación de modelos, así como con la comprensión de cómo cumplir los requisitos de los auditores y entes reguladores, mejorando al mismo tiempo la eficacia y eficiencia operativas institucionales.