Los sistemas de IA pueden discriminar sin que nadie lo haya diseñado así.
Y eso tiene consecuencias legales y reputacionales.
Más allá del concepto técnico. Delimita el problema antes de elegir una respuesta.
Dónde aparece el problema. Busca una práctica observable, no solo una declaración.
Lo que ISO 42001 exige y lo que funciona en la práctica. La decisión y su revisión deben dejar trazabilidad.
| Ref. | Capa de evidencia | Qué debería permitir comprobar |
|---|---|---|
| EV-01 | Inventario y responsables | Quién es responsable, qué alcance se ha definido y qué decisión se ha tomado. |
| EV-02 | Evaluaciones de impacto y riesgo | Que el control o proceso se aplica sobre casos reales y no existe únicamente en la documentación. |
| EV-03 | Monitorización y revisión del AIMS | Que las desviaciones se detectan, se corrigen y vuelven a revisarse con una frecuencia razonable. |
El error habitual al abordar este tema es convertirlo demasiado pronto en un documento o en una lista de tareas. En ISO/IEC 42001, yo lo llevaría primero a un modelo operativo verificable: qué queda dentro del alcance, quién puede decidir, qué condiciones activan una revisión y qué rastro queda después de cada actuación.
Para este caso partiría de criterios y apetito de riesgo. No porque sea el único punto importante, sino porque permite fijar el contexto antes de discutir controles. A partir de ahí conectaría escenarios, impacto y probabilidad con la realidad del sistema de gestión de IA y cerraría el ciclo con tratamiento, aceptación y riesgo residual.
La pregunta que utilizaría para probar la madurez sería sencilla: ¿puede una persona que no participó en el proyecto reconstruir la decisión, entender el riesgo y localizar la evidencia sin depender de una explicación oral? Si la respuesta es no, existe conocimiento, pero el gobierno todavía depende de personas concretas.
No intentaría implantar todo de una vez. Seleccionaría un caso representativo, documentaría la cadena contexto, riesgo, impacto, control y mejora y comprobaría dónde se pierde la trazabilidad.
El primer objetivo no sería «tener más documentación», sino conseguir que el responsable del AIMS y dirección pueda demostrar qué decidió, por qué lo decidió y cómo sabe que el control sigue funcionando.
| Plano de revisión | Qué comprobaría | Señal de debilidad | Evidencia útil |
|---|---|---|---|
| Contexto | Criterios y apetito de riesgo; límites, dependencias y supuestos. | El alcance cambia según quién lo explique. | Ficha de alcance, inventario o mapa de dependencias vigente. |
| Gobierno | Propietario, capacidad de decisión, escalado y excepciones. | IT ejecuta, pero nadie de negocio acepta el riesgo. | RACI, acta, ticket de decisión o registro de aceptación. |
| Control | Escenarios, impacto y probabilidad; diseño, cobertura y operación real. | Se describe el control, pero no su población ni frecuencia. | Configuración, procedimiento, muestra de ejecución y resultado. |
| Supervisión | Tratamiento, aceptación y riesgo residual; umbrales, desviaciones y revisión. | Solo se revisa cuando llega una auditoría o un incidente. | KPI/KRI, revisión periódica, hallazgo y acción de mejora. |
Utilizar «Más allá del concepto técnico» como punto de entrada para describir la realidad actual, incluidas excepciones y dependencias que no aparecen en el procedimiento.
Tomar «Dónde aparece el problema» y comprobarlo con una muestra real. La documentación debe coincidir con usuarios, activos, configuraciones, decisiones o registros.
Relacionar «Por qué es un riesgo de negocio» con un responsable, una fecha y una evidencia de revisión. Una desviación sin seguimiento es información, no gobierno.
Estas preguntas no sustituyen una auditoría ni una evaluación formal. Sirven como prueba rápida de coherencia: si varias respuestas dependen de «creo», «normalmente» o «lo lleva otra persona», ya existe una línea de trabajo.
Si mañana la persona que domina este tema deja la organización, ¿el sistema seguiría funcionando y podríamos demostrar por qué se tomaron las decisiones? Esa respuesta suele revelar el nivel real de institucionalización.
La cantidad de documentación no es una medida de madurez. Para «Sesgos en la IA empresarial: el riesgo que nadie mide» prefiero una cadena corta de evidencias conectadas a la operación. Cada pieza debe responder a una pregunta distinta: qué decidimos, qué hicimos, qué ocurrió y qué revisamos después.
La siguiente matriz es el paquete mínimo que intentaría localizar en una revisión. El formato puede ser un acta, un ticket, una exportación, una configuración o un registro de una herramienta; lo importante es la trazabilidad y la coherencia entre las piezas.
| Ref. | Evidencia | Qué debería demostrar | Qué revisaría |
|---|---|---|---|
| EV-01 | Alcance y propietario | Qué cubre el control y quién responde por él. | Vigencia, exclusiones, dependencias y aceptación del propietario. |
| EV-02 | Criterio de riesgo | Por qué se ha priorizado o diseñado de una forma concreta. | Criterios y apetito de riesgo, escenario, impacto y supuestos utilizados. |
| EV-03 | Diseño del control | Qué debe ocurrir, sobre qué población y con qué frecuencia. | Escenarios, impacto y probabilidad, responsables, entradas, salidas y excepciones. |
| EV-04 | Muestra de ejecución | Que el control opera fuera del documento. | Fecha, población, resultado, anomalías y trazabilidad técnica u operativa. |
| EV-05 | Desviación y tratamiento | Cómo responde la organización cuando el control falla. | Causa, riesgo residual, responsable, plazo y medida compensatoria. |
| EV-06 | Revisión y mejora | Que tratamiento, aceptación y riesgo residual se evalúa y puede cambiar. | Indicadores, tendencia, decisiones, cambios aprobados y seguimiento. |
Yo intentaría seguir una sola muestra de extremo a extremo. Si EV-01 dice una cosa, EV-03 otra y EV-04 no permite identificar la población afectada, el problema no es «falta de un PDF»: es una ruptura de trazabilidad.
La forma más útil de trabajar este tema es convertirlo en una cadena verificable de decisiones, responsables y evidencias. No basta con afirmar que existe un control: hay que poder reconstruir qué se decidió, con qué información, quién lo ejecutó y cómo se comprobó después.
En Sesgos en la IA empresarial: el riesgo que nadie mide, el análisis debería cubrir al menos alcance del AIMS, sistemas de IA, riesgos, impactos, roles, ciclo de vida, transparencia y monitorización. Esto exige coordinar a Dirección, responsables de IA, Riesgos, Datos, Seguridad, Legal, Producto y usuarios y trabajar sobre sistemas de IA, finalidades, datos, modelos, impactos, proveedores, controles y registros. Cuando cada área conserva una parte distinta de la información, se retrasan decisiones, se duplican controles y se aceptan excepciones sin una visión completa.
Una forma práctica de evitarlo es utilizar un expediente único por servicio, sistema, proceso o decisión relevante. Puede ser una herramienta GRC, un repositorio documental controlado o un registro estructurado. Lo importante es conectar alcance, propietario, riesgo, control, evidencia, excepción y acción, con fecha, fuente y estado.
Ese expediente debe mantenerse durante la operación ordinaria. Si solo se completa antes de una auditoría, la organización obtiene una fotografía preparada, pero no una visión fiable del control. La actualización debería activarse ante cambios de arquitectura, proveedor, alcance, responsables, requisitos, incidentes o resultados de pruebas. También conviene definir una revisión periódica para detectar documentación formalmente vigente pero materialmente obsoleta.
La revisión debe separar cuatro preguntas: si el control está bien diseñado, si se ha implantado en todo el alcance, si funciona de forma sostenida y si reduce realmente el riesgo o cumple el objetivo. Mezclar estas preguntas lleva a conclusiones débiles: una política aprobada puede no haberse desplegado, una herramienta instalada puede no cubrir toda la población y una actividad ejecutada puede no producir el efecto esperado.
| Dimensión | Qué debe quedar definido | Evidencia esperada |
|---|---|---|
| Alcance | Procesos, servicios, sistemas y terceros incluidos en «Sesgos en la IA empresarial: el riesgo que nadie mide». | Alcance aprobado, inventario y exclusiones justificadas. |
| Responsabilidad | Quién decide, ejecuta, valida y acepta desviaciones. | RACI, actas, aprobaciones y propietarios nominativos. |
| Operación | Actividades repetibles, entradas, salidas, plazos y escalados. | Procedimiento, tickets, registros, alertas y métricas. |
| Eficacia | Cómo se comprueba que el control cambia el riesgo o el resultado. | Pruebas, tendencias, incidencias, muestreo y acciones. |
Una captura demuestra un estado puntual. Un expediente completo demuestra el proceso, el criterio, la trazabilidad y la capacidad de corregir.
El objetivo no es generar más documentación, sino conservar la documentación que permite gobernar, operar y demostrar. La madurez aparece cuando las evidencias nacen del proceso ordinario y no de una campaña previa a la auditoría.