GRCreal // expediente: academia curso: ISO 42001 Lead Auditor
CLÁUSULA 9 · MÉTRICAS IA · AUDITORÍA INTERNA · REVISIÓN DIRECCIÓN
Módulo 8

Evaluación del Desempeño del SGIA

No basta con implementar controles.
Hay que medir si funcionan y decidir cómo mejorar.

MÓDULO 08 / 10ISO 42001 · Lead Auditor IA
FOCOEvaluación del Desempeño del SGIA

Conecta este módulo con el anterior y busca qué evidencia cambiaría tu conclusión.

Cláusula 9.1
Monitoreo, medición, análisis y evaluación
La organización debe determinar qué necesita ser monitoreado y medido, los métodos para asegurar resultados válidos, y cuándo realizar el monitoreo y la medición.
“Medir lo fácil no es gestionar lo importante. El auditor verifica que se mide el riesgo real, no solo lo medible.”
Criterio auditor
📊Qué debe medirse · Eficacia de los controles, cumplimiento de objetivos de IA, desempeño de los sistemas IA (precisión, sesgo, deriva), satisfacción de partes interesadas.
📋Métodos válidos: El auditor verifica que los métodos de medición sean consistentes, reproducibles y estén documentados. Una métrica sin método definido no es evidencia confiable.
⏰Frecuencia · Los intervalos de medición deben ser planificados y acordes al riesgo. Sistemas de alto impacto requieren monitoreo continuo o muy frecuente.
Métricas IA
Qué métricas de IA debe auditar el evaluador
ISO 42001 no prescribe métricas específicas, pero el auditor debe verificar que la organización ha definido métricas apropiadas para sus riesgos de IA.
🎯Precisión (Accuracy) · ¿Se mide en datos reales de producción? ¿Hay umbrales definidos? ¿Se detecta degradación?
⚖️Sesgo (Bias): ¿Se mide por subgrupos relevantes (género, edad, etnia)? ¿Hay umbrales de aceptación? ¿Se toman acciones cuando se superan?
📈Deriva (Drift) · ¿Se monitoriza la deriva de datos y del modelo? ¿Hay alertas? ¿Qué acciones se activan ante deriva?
🔍Explicabilidad (Explainability): ¿Se puede explicar cada decisión relevante? ¿Hay registro de las explicaciones entregadas?
🛡️Robustez (Robustness) · ¿Se prueban escenarios adversarios? ¿Hay controles ante entradas anómalas?
C5
Validación de métodos y datos
El auditor debe evaluar si las métricas son válidas (miden lo que dicen medir) y fiables (consistentes en el tiempo).
✅Validez · ¿La métrica refleja el fenómeno relevante? Ejemplo: "Precisión global" puede ser inválida si oculta mal rendimiento en subgrupos minoritarios.
🔄Fiabilidad: ¿El resultado es consistente bajo el mismo método? ¿Está documentado el método de cálculo? ¿Hay control de versiones del código de medición?
📋Trazabilidad del dato · ¿Se puede seguir el camino desde el dato origen hasta la métrica reportada? ¿Hay logs, custodios documentados?
C6
Verificación de intervalos planificados
La organización debe definir cuándo medir y con qué frecuencia. El auditor verifica el cumplimiento de los intervalos planificados.
📅Qué verificar · ¿Existe un calendario de mediciones? ¿Se cumplen las fechas planificadas? ¿Hay registros de ejecución?
⚠️Brechas: Si los intervalos no se cumplen, el auditor evalúa impacto: ¿qué decisión se retrasó? ¿qué riesgo aumentó? ¿es un hecho aislado o sistémico?
Cláusula 9.2
Auditoría interna del SGIA
La organización debe realizar auditorías internas a intervalos planificados para determinar si el SGIA cumple con los requisitos y está implementado eficazmente.
“La auditoría interna es el 'Check' del PDCA. Sin ella, el SGIA no aprende.”
ISO 19011 aplicada a SGIA
📋Qué verificar · ¿Existe un programa de auditoría interna? ¿Se auditan los procesos críticos? ¿Los auditores son independientes? ¿Los hallazgos se cierran?
⚠️Error típico: Auditorías internas que solo verifican documentos, no la operación real. O auditores que auditan su propio trabajo.
Cláusula 9.3
Revisión por la dirección
La alta dirección debe revisar el SGIA a intervalos planificados para asegurar su conveniencia, adecuación y eficacia continuas.
📥Entradas obligatorias · Resultados de medición, resultados de auditorías, no conformidades y acciones correctivas, cambios en contexto, desempeño de proveedores, estado de riesgos.
📤Salidas esperadas: Decisiones sobre mejora continua, cambios en el SGIA, asignación de recursos, acciones para abordar riesgos.
📋Evidencias · Acta de la reunión, análisis presentados, decisiones documentadas, seguimiento de acciones.
C7
Integración de evidencias para concluir eficacia
El auditor debe integrar múltiples fuentes de evidencia para emitir un juicio sobre la eficacia global del SGIA.
🔗Fuentes a integrar · Métricas (9.1), resultados de auditorías internas (9.2), no conformidades y acciones correctivas (10.2), revisión por dirección (9.3), incidentes y quejas.
📊Tendencias: El auditor analiza si hay mejora sostenida o deterioro. Una foto no muestra aprendizaje; una tendencia sí.
✅Conclusión global · Eficaz, parcialmente eficaz o ineficaz. Debe estar trazada a evidencias específicas y justificada.
Caso auditor
Métricas "buenas" pero gobierno débil
Escenario: Una organización reporta métricas de IA positivas: precisión alta y estable. Sin embargo: - No miden sesgo por subgrupos. - La frecuencia real de medición de deriva es trimestral, no mensual como indica el plan. - Las auditorías internas se retrasan sistemáticamente. - La revisión por dirección solo recibe un resumen sin análisis de brechas. - Incidentes recientes de sesgo no se discutieron en dirección.
“Buen rendimiento técnico puede ocultar riesgo no gobernado. El SGIA es parcialmente eficaz: mide, pero no gobierna ni mejora.”
Conclusión del auditor
Clasificación: No Conformidad Menor (métricas) + Oportunidades de Mejora (gobierno). Si persiste, puede escalar a Mayor. Cláusulas afectadas: 9.1 (Métricas incompletas), 9.2 (Auditorías retrasadas), 9.3 (Revisión superficial).
Resumen del módulo
Lo que debes llevarte de aquí
1La organización debe medir eficacia de controles, cumplimiento de objetivos y métricas específicas de IA (sesgo, deriva, precisión, explicabilidad).
2El auditor valida que los métodos de medición sean válidos, fiables y trazables (C5).
3Los intervalos de medición deben cumplirse. Las brechas sistemáticas son hallazgo (C6).
4Las auditorías internas (9.2) y la revisión por dirección (9.3) son controles de alto nivel que el auditor debe verificar.
5El juicio de eficacia global (C7) integra métricas, auditorías, NC y revisión por dirección. Una conclusión debe estar justificada.
APLICACIÓN PRÁCTICA

Cómo llevar el contenido del módulo a una organización real

Este módulo debe utilizarse dentro de auditoría del sistema de gestión de IA, riesgos, impactos, ciclo de vida y supervisión. Su valor no está en repetir definiciones, sino en decidir qué debe ocurrir, quién participa y cómo se demuestra.

Para trabajar «Evaluación del Desempeño del SGIA», comienza delimitando finalidad, origen de datos, versión, pruebas, supervisión y cambio. Después conecta el requisito o principio con los procesos, sistemas, terceros y decisiones que realmente existen en la organización.

Los actores habituales serán Equipo auditor, Dirección, responsables de IA, Datos, Producto, Riesgos, Legal y Seguridad. No todos ejecutan el control, pero cada uno puede aportar una parte del contexto, la evidencia o la decisión.

  1. Define el objeto y el alcance antes de discutir controles.
  2. Identifica propietario, ejecutor, revisor y autoridad de excepción.
  3. Distingue diseño, implantación, operación y eficacia.
  4. Comprueba cambios, incidencias y excepciones, no solo el estado ideal.
  5. Cierra con una decisión y una acción verificable.
EXPEDIENTE DEL MÓDULO

Documentación y evidencia que debería existir

La documentación no debería ser una colección de archivos aislados. Debe permitir seguir una relación lógica entre criterio, decisión, actividad y resultado.

Cada evidencia necesita contexto: sistema o proceso al que pertenece, periodo cubierto, fuente, responsable y estado. Sin esos datos, una captura o un documento pueden ser auténticos pero insuficientes.

  • alcance del AIMS e inventario de sistemas de IA
  • riesgos e impactos evaluados
  • roles, responsabilidades y criterios de uso
  • documentación del ciclo de vida, pruebas y cambios
  • monitorización, incidentes, revisión y mejora
CASO DE REVISIÓN

Aplicación de «Evaluación del Desempeño del SGIA»

Escenario: un sistema de IA cambia de modelo y datos, pero la organización mantiene la evaluación y documentación de la versión anterior. El objetivo no es memorizar una respuesta, sino reconstruir qué debería verificarse y con qué evidencia.

1 · Delimitar

Define el alcance y concreta finalidad, origen de datos, versión, pruebas, supervisión y cambio.

2 · Corroborar

Contrasta entrevistas con documentos, registros y observación de la operación.

3 · Concluir

Separa hechos, criterio aplicable, impacto y acción necesaria.

ERRORES FRECUENTES

Dónde suele fallar la aplicación

  • auditar solo el modelo y olvidar el sistema completo
  • tratar la evaluación de impacto como documento único
  • ignorar cambios de versión, datos o finalidad
  • tratar una excepción permanente como si fuera temporal
  • cerrar acciones por actividad realizada, sin validar su eficacia
COMPROBACIÓN

Preguntas que deberías poder responder

  • ¿Qué decisión concreta cambia después de comprender «Evaluación del Desempeño del SGIA»?
  • ¿Qué evidencia pedirías primero y qué necesitarías corroborar?
  • ¿Qué parte depende del diseño y cuál de la operación diaria?
  • ¿Qué excepción sería aceptable y quién tendría autoridad para aprobarla?
  • ¿Cómo comprobarías dentro de tres meses que sigue funcionando?
EJEMPLO GUIADO

Caso práctico: Evaluación del Desempeño del SGIA

El modelo mantiene precisión media, pero falla de forma desproporcionada en un grupo minoritario.

CONTEXTO TÉCNICO

Métricas segmentadas, drift y feedback.

DECISIÓN

  • Analizar desempeño por población.
  • Asignar responsable y fecha de revisión.
  • Definir prueba de eficacia.

EVIDENCIA

  • Métricas, muestras, umbrales y acciones.
  • Corroborar con una segunda fuente.
  • Conservar periodo, población y propietario.

ERROR A EVITAR

  • Mirar solo el promedio global.
  • Aceptar afirmaciones sin prueba.
  • Cerrar acciones sin verificación.
MINI EJERCICIO RESUELTO

¿Qué oculta la precisión media?

Respuesta orientativa: Rendimientos desiguales entre grupos.

¿QUÉ CAMBIARÍA SI…?

el grupo minoritario representa solo el 2 % de casos?

Revisa cómo cambian alcance, riesgo, responsabilidad, evidencia y decisión.

PÁRATE AQUÍNo sigas por inercia

Estás auditando «Evaluación del Desempeño del SGIA» y todo parece razonable. ¿Qué evidencia te faltaría para defender la conclusión ante otro auditor?

Piensa en criterio, población, muestra y corroboración. La pregunta no es si te convence, sino si puede reconstruirse.

No hay botón ni respuesta oculta. Explica tu criterio antes de continuar.
ANTES DE SEGUIR

Deberías poder explicar estas tres ideas sin volver arriba

Esto no desbloquea el módulo siguiente ni modifica tu progreso. Es una autocomprobación antes de pulsar Continuar.

  1. 01

    Monitoreo, medición, análisis y evaluación

  2. 02

    Qué métricas de IA debe auditar el evaluador

  3. 03

    Validación de métodos y datos

El siguiente paso es auditar
la mejora y las no conformidades
Siguiente módulo: Mejora y No Conformidades (Cláusula 10)
← Anterior Continuar →