Un sistema de IA deniega una solicitud, clasifica un pedido como fraudulento o rechaza el currículum de un candidato. Alguien pregunta por qué. Si la única respuesta posible es "lo ha decidido el modelo", la empresa tiene un problema que no es técnico: es de responsabilidad, de confianza interna y, cada vez más, de cumplimiento normativo.
La IA explicativa —XAI, por sus siglas en inglés, explainable artificial intelligence— es el conjunto de técnicas y prácticas que permiten entender por qué un sistema de inteligencia artificial ha producido un resultado concreto. No es un lujo académico. Es lo que separa un sistema que se puede auditar, corregir y defender de uno que hay que aceptar por fe.
¿Qué es exactamente la IA explicativa (XAI)?
La IA explicativa agrupa métodos que hacen comprensible el comportamiento de un modelo para una persona que necesita entenderlo: el equipo que lo opera, el cliente afectado por la decisión, el auditor o el regulador. No consiste en abrir el modelo y leer sus parámetros, algo inviable en modelos con miles de millones de ellos, sino en producir explicaciones útiles y fieles a lo que el sistema hace realmente.
Hay dos niveles que conviene distinguir. La explicabilidad global responde a "¿en qué se fija este sistema en general?": qué variables pesan más, qué patrones ha aprendido, en qué tipos de caso acierta menos. La explicabilidad local responde a "¿por qué este caso concreto ha salido así?": qué factores empujaron esta decisión específica en una dirección u otra. Las auditorías y las reclamaciones de clientes casi siempre necesitan la segunda.
Una advertencia importante: explicable no es lo mismo que correcto. Un sistema puede dar una explicación perfectamente clara de una decisión perfectamente equivocada. La XAI sirve precisamente para detectar eso.
Técnicas de explicabilidad que se usan en la práctica
Según el tipo de modelo, las herramientas cambian.
En modelos tabulares y predictivos (scoring, previsión de demanda, detección de fraude), las técnicas más asentadas son la atribución de importancia por variable —SHAP y LIME son las más extendidas— que estiman cuánto ha contribuido cada dato de entrada al resultado. También se usan modelos subrogados: entrenar un árbol de decisión sencillo que imite al modelo complejo para poder leer sus reglas.
En modelos de lenguaje y agentes de IA, el enfoque es distinto. Aquí la explicabilidad se construye por diseño:
- Citación de fuentes. Si el agente responde a partir de documentos de la empresa, debe indicar de qué documento y de qué fragmento ha salido cada afirmación. Es la forma más práctica y verificable de explicabilidad en sistemas de consulta documental.
- Trazas de ejecución. Registro de qué herramientas ha invocado el agente, con qué parámetros y qué le ha devuelto cada una. Cuando un agente consulta el ERP, calcula un precio y redacta una propuesta, la traza permite reconstruir el razonamiento paso a paso.
- Registro de decisiones y umbrales. Qué regla se aplicó, qué nivel de confianza tenía el sistema y por qué derivó o no a revisión humana.
Conviene ser honestos sobre un punto: cuando se pide a un modelo de lenguaje que explique su propia respuesta, lo que devuelve es una justificación plausible, no necesariamente el proceso real que siguió. Por eso la explicabilidad fiable en agentes se apoya en trazas y citaciones verificables, no en autoexplicaciones.
¿Obliga la normativa europea a explicar las decisiones de la IA?
En determinados supuestos, sí, y en varios frentes a la vez. El RGPD ya establece desde hace años derechos frente a las decisiones basadas únicamente en tratamiento automatizado que produzcan efectos jurídicos o afecten significativamente a una persona: entre ellos, el derecho a obtener información significativa sobre la lógica aplicada y a solicitar intervención humana. Eso, en la práctica, exige poder explicar la decisión.
El Reglamento europeo de inteligencia artificial añade una capa por nivel de riesgo. Los sistemas clasificados como de alto riesgo —entre ellos usos en selección de personal, evaluación crediticia, acceso a servicios esenciales o determinados ámbitos educativos— quedan sujetos a obligaciones reforzadas de transparencia, documentación técnica, registro de eventos y supervisión humana efectiva. Además, existen obligaciones generales de transparencia cuando una persona interactúa con un sistema de IA o cuando se genera contenido sintético.
La lectura práctica para una empresa: si tu sistema toma o condiciona decisiones sobre personas, la explicabilidad no es una buena práctica opcional, es un requisito que hay que poder demostrar documentalmente. Si tu sistema automatiza procesos internos sin impacto directo sobre personas, las obligaciones son mucho menores, pero conviene documentar esa clasificación en lugar de darla por supuesta.
¿Cómo se aplica la explicabilidad a un agente de IA de empresa?
Con decisiones de diseño concretas, tomadas antes de construir. Estas son las que marcan la diferencia en proyectos reales.
Primero, fundamentar las respuestas en fuentes internas verificables en lugar de dejar que el modelo responda de memoria. Un agente que responde consultando documentos y citándolos permite comprobar cada afirmación; uno que responde por conocimiento general no permite comprobar nada.
Segundo, registrar todo lo que hace el agente: entrada recibida, documentos consultados, herramientas llamadas, salida producida, y qué persona validó el resultado si hubo validación. Ese registro es simultáneamente la herramienta de depuración, la evidencia de auditoría y la base para mejorar el sistema.
Tercero, definir umbrales de confianza y rutas de escalado. El agente resuelve solo los casos claros y deriva a una persona los dudosos, dejando constancia del motivo. Un sistema que nunca deriva nada es un sistema que no sabe cuándo no sabe.
Cuarto, mostrar la explicación en el sitio donde se usa el resultado, no en un informe técnico que nadie abre. Si el agente propone clasificar una factura en una cuenta contable, junto a la propuesta debe aparecer en qué se ha basado. Ahí es donde la explicabilidad se convierte en confianza del equipo.
El beneficio operativo que casi nadie menciona
La explicabilidad se justifica normalmente por cumplimiento, pero su retorno más inmediato es operativo. Un sistema explicable se depura mucho más rápido: cuando un resultado es incorrecto, ver por qué lo es permite corregir la causa en horas en lugar de ajustar a ciegas durante semanas.
También acelera la adopción. Los equipos aceptan mucho antes un sistema cuyas propuestas pueden verificar en un clic que uno que exige confiar sin más. En proyectos de automatización, esa diferencia de adopción suele pesar más en el resultado final que cualquier mejora de precisión del modelo.
Y facilita la mejora continua: con trazas y explicaciones registradas se puede analizar de forma sistemática dónde falla el sistema, agrupar los errores por causa y priorizar qué corregir primero con datos en lugar de con anécdotas.
Qué pedirle a un proveedor de IA en materia de explicabilidad
Cuatro preguntas concretas que conviene hacer antes de firmar:
- ¿El sistema registra las trazas de cada decisión y durante cuánto tiempo se conservan?
- ¿Puedo exportar esos registros para una auditoría sin depender del proveedor?
- ¿Las respuestas incluyen referencia a las fuentes en las que se basan?
- ¿Cómo se define y se configura el umbral a partir del cual el sistema deriva a una persona?
Si un proveedor no puede responder con concreción a estas cuatro, el sistema puede funcionar bien, pero no será defendible el día que alguien pregunte por qué tomó una decisión determinada.
Conclusión
La IA explicativa (XAI) es la capa que convierte un sistema de inteligencia artificial en algo auditable, corregible y adoptable. En modelos predictivos se apoya en técnicas de atribución; en agentes de IA se construye por diseño con citación de fuentes, trazas de ejecución y umbrales de escalado explícitos. Y en el marco europeo actual, en determinados usos, es directamente exigible.
En MG Solutions diseñamos los agentes con trazabilidad y explicabilidad desde el primer día, porque es lo que permite auditarlos, mejorarlos y que tu equipo confíe en ellos. Habla con nosotros aquí y revisamos cómo aplicarlo a tus sistemas.