Los LLMs inventan con total confianza.
Y hay empresas que están tomando decisiones basadas en esas invenciones.
| Legal y compliance | Un informe generado con IA que cita normativa incorrecta o jurisprudencia inexistente. Si el revisor no detecta el error antes de enviarlo, las consecuencias pueden ser graves. |
| Medicina y salud | Protocolos clínicos, interacciones farmacológicas, criterios diagnósticos. Aquí una alucinación puede tener consecuencias directas en pacientes. |
| Análisis financiero | Ratios incorrectos, datos de mercado inventados, proyecciones basadas en cifras que el modelo generó sin fuente. Las decisiones de inversión basadas en esto son un riesgo real. |
| Soporte técnico y documentación | Procedimientos de configuración incorrectos aplicados en producción. Comandos que no existen pero suenan plausibles. El impacto puede ser inmediato. |
Cuando el modelo inventa con absoluta seguridad. Delimita el problema antes de elegir una respuesta.
Casos de uso donde una alucinación puede costar caro. Busca una práctica observable, no solo una declaración.
El error del modelo no exime a quien lo usó. La decisión y su revisión deben dejar trazabilidad.
Cuando la IA entra en un proceso profesional, la revisión no puede quedarse en aceptar las condiciones del proveedor. Hay que entender qué información se envía, dónde queda, quién puede reutilizarla y qué dependencia genera la salida del sistema.
Separaría claramente experimentación y producción. En la primera pueden tolerarse pruebas controladas; en la segunda exigiría propietario, reglas de uso, validación humana cuando proceda, gestión de incidentes y un mecanismo para retirar o limitar el sistema si empieza a comportarse fuera de lo esperado.
La gobernanza útil no pretende frenar la IA. Pretende evitar que la organización descubra sus dependencias, datos expuestos y decisiones automatizadas durante un incidente o una auditoría.
| Ref. | Capa de evidencia | Qué debería permitir comprobar |
|---|---|---|
| EV-01 | Caso de uso y datos tratados | Quién es responsable, qué alcance se ha definido y qué decisión se ha tomado. |
| EV-02 | Reglas de uso y validación | Que el control o proceso se aplica sobre casos reales y no existe únicamente en la documentación. |
| EV-03 | Incidentes, revisiones y retirada | Que las desviaciones se detectan, se corrigen y vuelven a revisarse con una frecuencia razonable. |
El error habitual al abordar este tema es convertirlo demasiado pronto en un documento o en una lista de tareas. En Gobierno de IA, yo lo llevaría primero a un modelo operativo verificable: qué queda dentro del alcance, quién puede decidir, qué condiciones activan una revisión y qué rastro queda después de cada actuación.
Para este caso partiría de casos donde el error importa. No porque sea el único punto importante, sino porque permite fijar el contexto antes de discutir controles. A partir de ahí conectaría validación y fuentes con la realidad del sistema de IA en producción y cerraría el ciclo con registro de fallos y límites de uso.
La pregunta que utilizaría para probar la madurez sería sencilla: ¿puede una persona que no participó en el proyecto reconstruir la decisión, entender el riesgo y localizar la evidencia sin depender de una explicación oral? Si la respuesta es no, existe conocimiento, pero el gobierno todavía depende de personas concretas.
No intentaría implantar todo de una vez. Seleccionaría un caso representativo, documentaría la cadena inventario, reglas de uso y supervisión y comprobaría dónde se pierde la trazabilidad.
El primer objetivo no sería «tener más documentación», sino conseguir que el responsable del servicio y negocio pueda demostrar qué decidió, por qué lo decidió y cómo sabe que el control sigue funcionando.
| Plano de revisión | Qué comprobaría | Señal de debilidad | Evidencia útil |
|---|---|---|---|
| Contexto | Casos donde el error importa; límites, dependencias y supuestos. | El alcance cambia según quién lo explique. | Ficha de alcance, inventario o mapa de dependencias vigente. |
| Gobierno | Propietario, capacidad de decisión, escalado y excepciones. | IT ejecuta, pero nadie de negocio acepta el riesgo. | RACI, acta, ticket de decisión o registro de aceptación. |
| Control | Validación y fuentes; diseño, cobertura y operación real. | Se describe el control, pero no su población ni frecuencia. | Configuración, procedimiento, muestra de ejecución y resultado. |
| Supervisión | Registro de fallos y límites de uso; umbrales, desviaciones y revisión. | Solo se revisa cuando llega una auditoría o un incidente. | KPI/KRI, revisión periódica, hallazgo y acción de mejora. |
Utilizar «Cuando el modelo inventa con absoluta seguridad» como punto de entrada para describir la realidad actual, incluidas excepciones y dependencias que no aparecen en el procedimiento.
Tomar «Casos de uso donde una alucinación puede costar caro» y comprobarlo con una muestra real. La documentación debe coincidir con usuarios, activos, configuraciones, decisiones o registros.
Relacionar «No es no usar IA. Es usarla con controles.» con un responsable, una fecha y una evidencia de revisión. Una desviación sin seguimiento es información, no gobierno.
Estas preguntas no sustituyen una auditoría ni una evaluación formal. Sirven como prueba rápida de coherencia: si varias respuestas dependen de «creo», «normalmente» o «lo lleva otra persona», ya existe una línea de trabajo.
Si mañana la persona que domina este tema deja la organización, ¿el sistema seguiría funcionando y podríamos demostrar por qué se tomaron las decisiones? Esa respuesta suele revelar el nivel real de institucionalización.
La cantidad de documentación no es una medida de madurez. Para «Las alucinaciones de la IA no son un bug. Son una característica que hay que gestionar.» prefiero una cadena corta de evidencias conectadas a la operación. Cada pieza debe responder a una pregunta distinta: qué decidimos, qué hicimos, qué ocurrió y qué revisamos después.
La siguiente matriz es el paquete mínimo que intentaría localizar en una revisión. El formato puede ser un acta, un ticket, una exportación, una configuración o un registro de una herramienta; lo importante es la trazabilidad y la coherencia entre las piezas.
| Ref. | Evidencia | Qué debería demostrar | Qué revisaría |
|---|---|---|---|
| EV-01 | Alcance y propietario | Qué cubre el control y quién responde por él. | Vigencia, exclusiones, dependencias y aceptación del propietario. |
| EV-02 | Criterio de riesgo | Por qué se ha priorizado o diseñado de una forma concreta. | Casos donde el error importa, escenario, impacto y supuestos utilizados. |
| EV-03 | Diseño del control | Qué debe ocurrir, sobre qué población y con qué frecuencia. | Validación y fuentes, responsables, entradas, salidas y excepciones. |
| EV-04 | Muestra de ejecución | Que el control opera fuera del documento. | Fecha, población, resultado, anomalías y trazabilidad técnica u operativa. |
| EV-05 | Desviación y tratamiento | Cómo responde la organización cuando el control falla. | Causa, riesgo residual, responsable, plazo y medida compensatoria. |
| EV-06 | Revisión y mejora | Que registro de fallos y límites de uso se evalúa y puede cambiar. | Indicadores, tendencia, decisiones, cambios aprobados y seguimiento. |
Yo intentaría seguir una sola muestra de extremo a extremo. Si EV-01 dice una cosa, EV-03 otra y EV-04 no permite identificar la población afectada, el problema no es «falta de un PDF»: es una ruptura de trazabilidad.
La forma más útil de trabajar este tema es convertirlo en una cadena verificable de decisiones, responsables y evidencias. No basta con afirmar que existe un control: hay que poder reconstruir qué se decidió, con qué información, quién lo ejecutó y cómo se comprobó después.
En Las alucinaciones de la IA no son un bug. Son una característica que hay que gestionar., el análisis debería cubrir al menos finalidad, datos, modelo, pipeline, seguridad, evaluación, supervisión, cambios y monitorización. Esto exige coordinar a Producto, Datos, MLOps, Seguridad, Riesgos, Legal y responsables de negocio y trabajar sobre modelos, datasets, pipelines, endpoints, repositorios, secretos, evaluaciones y telemetría. Cuando cada área conserva una parte distinta de la información, se retrasan decisiones, se duplican controles y se aceptan excepciones sin una visión completa.
Una forma práctica de evitarlo es utilizar un expediente único por servicio, sistema, proceso o decisión relevante. Puede ser una herramienta GRC, un repositorio documental controlado o un registro estructurado. Lo importante es conectar alcance, propietario, riesgo, control, evidencia, excepción y acción, con fecha, fuente y estado.
Ese expediente debe mantenerse durante la operación ordinaria. Si solo se completa antes de una auditoría, la organización obtiene una fotografía preparada, pero no una visión fiable del control. La actualización debería activarse ante cambios de arquitectura, proveedor, alcance, responsables, requisitos, incidentes o resultados de pruebas. También conviene definir una revisión periódica para detectar documentación formalmente vigente pero materialmente obsoleta.
La revisión debe separar cuatro preguntas: si el control está bien diseñado, si se ha implantado en todo el alcance, si funciona de forma sostenida y si reduce realmente el riesgo o cumple el objetivo. Mezclar estas preguntas lleva a conclusiones débiles: una política aprobada puede no haberse desplegado, una herramienta instalada puede no cubrir toda la población y una actividad ejecutada puede no producir el efecto esperado.
| Dimensión | Qué debe quedar definido | Evidencia esperada |
|---|---|---|
| Alcance | Procesos, servicios, sistemas y terceros incluidos en «Las alucinaciones de la IA no son un bug. Son una característica que hay que gestionar.». | Alcance aprobado, inventario y exclusiones justificadas. |
| Responsabilidad | Quién decide, ejecuta, valida y acepta desviaciones. | RACI, actas, aprobaciones y propietarios nominativos. |
| Operación | Actividades repetibles, entradas, salidas, plazos y escalados. | Procedimiento, tickets, registros, alertas y métricas. |
| Eficacia | Cómo se comprueba que el control cambia el riesgo o el resultado. | Pruebas, tendencias, incidencias, muestreo y acciones. |
Una captura demuestra un estado puntual. Un expediente completo demuestra el proceso, el criterio, la trazabilidad y la capacidad de corregir.
El objetivo no es generar más documentación, sino conservar la documentación que permite gobernar, operar y demostrar. La madurez aparece cuando las evidencias nacen del proceso ordinario y no de una campaña previa a la auditoría.