Modelo de gestión de riesgo para los sistemas empleados en delitos financieros y cumplimiento del reglamento AML

La dirección de la gestión de riesgos de modelos se ha convertido en una pieza fundamental de un programa efectivo contra los delitos financieros que, como cualquier otro delito, requieren que se considere debidamente la materialidad del riesgo asociado con cada modelo.

Los modelos se definen como "…un método, sistema o abordaje cuantitativo que aplica teorías, técnicas y supuestos estadísticos, económicos, financieros o matemáticos para procesar datos ingresados y obtener estimaciones cuantitativas…" (www.federalreserve.gov/supervisionreg/srletters/sr1107.htm). Los sistemas anti-fraude, de monitoreo de transacciones y de filtrado de listas de observación que están disponibles comercialmente y que se utilizan para garantizar el cumplimiento diario, así como los sistemas internos de diseño similar, son algunos de los ejemplos más comunes de "modelos". Por el contrario, las "metodologías" o aquellas funciones, prácticas, procedimientos o actividades que no califiquen como "modelos" quedan fuera del alcance de este artículo.

El riesgo del modelo aumenta con su complejidad inherente (p. ej., mayor incertidumbre sobre los ingresos y los supuestos o mayor complejidad de los métodos cuantitativos) y con su uso (p. ej., mayor amplitud del uso del modelo o mayor impacto posible de errores causados por resultados imprecisos del modelo).

El riesgo del modelo puede mitigarse mediante una asignación efectiva de las responsabilidades, supervisión, controles, documentación y validación. Estos métodos de mitigación siempre deben aplicarse de manera proporcional al riesgo subyacente del modelo.

El riesgo del modelo se identifica, gestiona, monitorea y mitiga por medio de marcos de gestión de riesgo que establecen estructuras de dirección del modelo para garantizar la supervisión y controles apropiados para lo siguiente:
Identificación del modelo;

• Desarrollo del modelo;
• Uso e implementación del modelo;
• Validación del modelo;
• Monitoreo del modelo, incluida la revisión anual y la gestión de cambios;
• Documentación del modelo, y
• Aprobación del modelo.

A medida que los modelos anti-fraude y los modelos de sanciones y de antilavado de dinero (AML) se hacen más complejos, examinar y poner a prueba los procesos de validación de modelos se está haciendo cada vez más fundamental para las inspecciones que supervisan las prácticas de AML de los bancos. Los modelos erróneos o con especificaciones inexactas pueden derivar en revisiones costosas u otras multas regulatorias, además de ineficiencias internas. Es fundamental que los bancos evalúen sus modelos regularmente para validar si están funcionando como deben, confirmar su solidez conceptual, documentar los modelos correctamente, y ajustarlos según sea necesario para dar alertas más significativas a los analistas de la Ley de Secreto Bancario (BSA).

Guías regulatorias

Los entes reguladores prevén el cumplimiento de las normas establecidas en la guía de gestión de riesgos de modelos (MRMG) (Carta SR 11-7 de la Reserva Federal, Boletín de OCC 2011-12, Cartas a instituciones financieras (FIL) de la Corporación Federal de Seguro de Depósitos (FDIC) 22-2017), así como la Declaración interagencias sobre gestión de riesgo de modelos para sistemas bancarios que respalden el cumplimiento de la Ley de Secreto Bancario/anti-lavado de dinero del 9 de abril de 2021 en relación con sistemas o modelos utilizados por los bancos para asistir en el cumplimiento de los requisitos y regulaciones de la Ley de Secreto Bancario.

Asimismo, los entes reguladores bancarios estatales, como el Departamento de Servicios Financieros del Estado de Nueva York (NYDFS), han establecido otras normas relativas a la certificación y validación de modelos (govt.westlaw.com/nycrr/Document/If190167b58ac11e6806bc9321b10fb4e?viewType=FullText&origi nationContext=documenttoc&transition-Type=CategoryPageItem&contextData=(sc.Default&bhcp=1).

Modelos de cumplimiento

Los bancos utilizan una amplia variedad de soluciones tecnológicas automatizadas para apoyar sus esfuerzos de cumplimiento, las cuales ofrecen filtros para el monitoreo de transacciones, lucha contra el fraude, y sanciones, y aprovechan modelos desarrollados para cada programa de detección. Los sistemas con modelos desarrollados pueden comprarse a proveedores externos o se pueden desarrollar modelos de manera interna. Que los bancos confíen en modelos para garantizar situaciones de detección adecuadas no es algo ajeno a riesgos. Los modelos con información inexacta, mal implementados, mal ajustados, desalineados o mal utilizados pueden tener consecuencias desastrosas para una institución financiera, ya sea por una erosión de la confianza de los entes reguladores, el daño de su reputación y pérdidas financieras. Sigue siendo clave que los bancos utilicen los modelos correctamente para que estos prevengan exitosamente el uso indebido del sistema financiero.

Fijar expectativas

Los entes reguladores prevén que los bancos desarrollen prácticas sólidas de gestión de riesgo de modelos. Lo principal es la identificación de "modelos" que funcionen dentro de cualquier entorno bancario. Una vez identificado, los modelos se califican según el impacto que tengan a partir de las posibles consecuencias adversas derivadas de su uso incorrecto. Los modelos típicamente dan calificaciones de riesgo (alto, moderado, bajo) basado en el impacto de sus fallas o la posibilidad de consecuencias indeseadas que deriven del desarrollo de modelos, lo que se les ingrese o lo que produzcan. Según el riesgo percibido, los modelos deben validarse y "desafiarse eficazmente" de manera periódica y recurrente. Los modelos de riesgo más alto deberían validarse de forma independiente cada 12 a 18 meses. Las validaciones fuera de ciclo del modelo deben hacerse cuando se produzcan cambios significativos de las bases del modelo en sí o del entorno en el cual se lo creó. "Últimamente, existe una expectativa de que los modelos sean validados "independientemente" por individuos ajenos a los desarrolladores o los propietarios del modelo. Los validadores deben ser suficientemente expertos para llevar a cabo sus obligaciones.

Validación de los modelos

Los modelos se distinguen por tres componentes distintivos: el ingreso de información, el procesamiento y los informes. Dicho en términos simples: ingreso, producción y resultado. Los entes reguladores esperan que cualquier validación independiente de un modelo se ocupe de cinco áreas clave:

1. Model Input: Ingreso del modelo: un análisis de los datos que nutren el modelo.
2. Model Processing: Procesamiento del modelo: un análisis de cómo se están interpretando (procesando) los datos incorporados al modelo según un conjunto de parámetros, configuraciones o supuestos predeterminados.
3. Model Output: Resultado del modelo: un análisis de cómo el modelo responde a los datos incorporados según los parámetros, configuraciones o supuestos predeterminados.
4. Model Governance: Dirección del modelo: un conjunto de actividades, políticas y procedimientos que formalizan el modelo y las actividades de gestión de riesgos del modelo para su implementación.
5. Conceptual Soundness: Solidez conceptual: una evaluación de la calidad del diseño y la construcción del modelo, así como una revisión de la documentación y de la evidencia empírica que apoya los métodos utilizados y las variables seleccionadas para el modelo.

(Consulte www.federalreserve.gov/supervisionreg/srletters/sr1107.htm, www.occ.treas.gov/news- issuances/bulletins/2011/bulletin-2011-12a.pdf and www.fdic.gov/news/financial-institution- letters/2017/fil17022a.pdf.)

Enfoque regulatorio

Los entes reguladores se enfocan principalmente en tres áreas al revisar las validaciones independientes del modelo: solidez conceptual, integridad y exactitud de los datos, y dirección.

Al revisar la solidez conceptual, los entes reguladores evalúan la calidad del diseño del modelo de acuerdo con una revisión de la evidencia que avala los métodos utilizados y las variables seleccionadas para el modelo. En el caso de los modelos de AML, sanciones y fraude, los entes reguladores buscan evidencia de los desarrolladores del modelo referida a las evaluaciones específicas de riesgo de fraude y AML de la institución, así como comparaciones con indicadores de alarma publicados, con el fin de evaluar la efectividad del modelo. Los entes reguladores buscan sesgos algorítmicos o desalineaciones con los perfiles de riesgo, documentación o explicabilidad inadecuadas del modelo, y la determinación infundada de parámetros de alerta o situaciones de detección. Los propietarios y desarrolladores de los modelos a menudo pasan por alto o subestiman la documentación que sostiene la "solidez conceptual" de un modelo.

El segundo aspecto que enfatizaron los entes reguladores son los datos. Si bien pocos reguladores son analistas cuantitativos, reconocen que la calidad de lo producido por el modelo depende de la calidad de los datos y supuestos ingresados, y que los errores en los ingresos o los supuestos incorrectos ocasionarán resultados imprecisos. Buscan evidencia de una evaluación de la calidad y la relevancia de los datos, así como la documentación apropiada.

La evidencia de un marco adecuado para la dirección del riesgo de los modelos es la más fácil de evaluar y a menudo es limitada según el entorno del modelado. Los entes reguladores buscan políticas escritas aprobadas por el Directorio que se ocupen de la supervisión de modelos, prácticas de control de modelos y validación de modelos.

Ajuste de modelos

Casi todos los sistemas de monitoreo de sanciones y fraude y los sistemas de vigilancia de AML suministrados por proveedores implican el uso de modelados. Es necesario ajustar los modelos para que tengan un rendimiento óptimo. Las reglas o situaciones individuales deben calibrarse utilizando pruebas por encima y por debajo de la línea del umbral. Hay que ajustar los modelos antifraude y los modelos de sanciones y AML para optimizar los resultados del programa de monitoreo enfocado en la detección adecuada de actividades sospechosas. Con frecuencia vemos sistemas de monitoreo de AML y delitos financieros con una eficiencia general de la relación alerta a SAR (informe de actividad sospechosa) inferior al uno por ciento. Deben darse de baja las situaciones, reglas o agentes de monitoreo de actividades sospechosas que produzcan pocos o ningún SAR. El propietario del modelo debe corroborar por escrito los fundamentos para dicha baja. Cuando se modifiquen, los parámetros de cualquier situación, regla o agente de monitoreo deben establecerse utilizando periodos apropiados de datos (para dar cuenta de la estacionalidad) con el apoyo de pruebas por encima y debajo de la línea del umbral.

Dificultades al validar los modelos de aprendizaje automático

Si bien el aprendizaje automático (ML) está a la vanguardia del aumento de la eficiencia en los modelos contra fraudes y AML, los entes reguladores esperan que los modelos de aprendizaje automático cumplan con las normas enumeradas en la MRMG que guían el desarrollo y la validación tradicionales de los modelos. La validación de los modelos de ML tiene sus propios desafíos. Como muchos modelos de ML funcionan con algoritmos patentados, a menudo se los percibe como "cajas negras" plagadas de complejidades y de falta de transparencia o de "explicabilidad". Al usar datos estructurados y no estructurados, los modelos de ML crean sus propias dificultades durante los ejercicios de validación de datos. Los sesgos en los datos (causados por malas decisiones humanas) pueden ser perjudiciales para la efectividad de los modelos de ML.

Consideraciones finales

No todos los modelos tienen el mismo riesgo. La supervisión de modelos, las prácticas de control de modelos y la validación de modelos siguen siendo los componentes clave de cualquier programa de gestión de riesgo de modelos. Hay que identificar los modelos, calificar su riesgo, monitorearlos y gestionarlos según la materialidad que se perciba y cuán críticos sean para una institución.