Estás en la reunión final con un proveedor de IA, el sistema hace exactamente lo que necesitas en la demo, y el precio encaja. Antes de firmar, hay una pregunta que casi ninguna pyme hace y que puede ahorrarte un disgusto serio meses después: cuando este sistema tome una decisión que afecte a un cliente o a un empleado, ¿podrás saber por qué la ha tomado? Si el proveedor no tiene una respuesta clara, acabas de descubrir un riesgo que la demo no te iba a enseñar nunca.
Ya hemos explicado en detalle qué es la IA explicable y por qué importa desde un punto de vista conceptual. Este artículo va por otro lado: qué debes exigir en concreto a un proveedor antes de contratarlo, y qué respuestas son señal de alarma.
Por qué esto no es un capricho técnico
Exigir explicabilidad no es pedirle a tu proveedor que te enseñe el código fuente del modelo, ni entender matemáticas complejas de redes neuronales. Es pedirle algo mucho más simple y mucho más razonable desde el punto de vista de negocio: que, cuando el sistema rechace una solicitud, prioridad un caso o recomiende una acción, pueda explicarte con claridad qué factores ha tenido en cuenta. Si no puede, tú tampoco vas a poder explicárselo a un cliente que reclama, a un empleado afectado o, si tu sector está regulado, a un supervisor que te lo pida.
Esto tiene una consecuencia práctica que muchas pymes descubren tarde: cuando algo sale mal con un sistema de IA sin explicabilidad, la única respuesta disponible es "el sistema lo decidió así", y esa respuesta no convence a nadie.
Qué preguntar antes de firmar cualquier contrato
Estas son las preguntas concretas que recomendamos plantear a cualquier proveedor de IA, especialmente si el sistema va a tomar decisiones que afectan a personas:
¿Puede el sistema explicar una decisión concreta, no solo su funcionamiento general? Muchos proveedores explican bien cómo funciona su tecnología "en general" pero se quedan cortos cuando les pides que expliquen por qué, en un caso concreto, el sistema ha llegado a esa conclusión. La explicación general no sirve de nada cuando un cliente concreto pregunta por su caso concreto.
¿En qué formato se entrega esa explicación, y para quién está pensada? Una explicación técnica llena de coeficientes y variables puede ser correcta y a la vez inútil si quien la necesita es un empleado de atención al cliente sin formación técnica. Pide ver un ejemplo real de cómo se vería esa explicación en la pantalla de quien la va a usar.
¿Qué pasa cuando el sistema no está seguro? Un proveedor honesto reconoce que hay casos donde el nivel de confianza de una decisión es bajo, y debería poder mostrarte cómo señala esos casos para que pasen a revisión humana en lugar de presentarlos con la misma seguridad que un caso claro.
¿Puedes auditar decisiones pasadas? Pide que te muestren cómo reconstruirían, dentro de seis meses, por qué el sistema tomó una decisión concreta en una fecha concreta. Si la respuesta implica "eso no se guarda" o "habría que revisarlo con el equipo técnico del proveedor", es una señal de que la trazabilidad no está bien resuelta.
¿La explicación refleja el proceso real, o es una narrativa generada a posteriori? Esta es la pregunta más técnica pero también una de las más importantes: algunos sistemas generan una explicación que "suena lógica" pero no corresponde exactamente a los factores que realmente pesaron en la decisión. Un proveedor serio debería poder distinguir entre ambas cosas cuando se lo preguntas directamente, aunque sea con un lenguaje sencillo.
Respuestas que deberían hacerte sospechar
Hay respuestas típicas que suenan tranquilizadoras pero que, miradas de cerca, no dicen nada. "Nuestro sistema es transparente" sin más detalle no es una respuesta, es un eslogan. "Eso lo puede hacer el equipo técnico si hace falta" traduce, en la práctica, a que la explicabilidad no está integrada en el producto sino que depende de una intervención manual cada vez que surge un problema, lo cual no es sostenible cuando el volumen de casos crece. "No hemos tenido ningún problema hasta ahora" no responde a la pregunta de qué pasaría si lo hubiera.
Frente a esto, un buen proveedor te enseña con naturalidad un ejemplo real de explicación de una decisión, sin que tengas que insistir demasiado, y es capaz de decirte con honestidad en qué casos su sistema explica mejor y en cuáles peor.
No todos los usos necesitan el mismo nivel de exigencia
Exigir explicabilidad no significa aplicar el mismo estándar a cualquier uso de IA en tu empresa. Un asistente que redacta borradores de correos internos no necesita el mismo nivel de justificación que un sistema que decide si aprobar o rechazar una solicitud de un cliente, o que participa en decisiones de recursos humanos, un terreno especialmente sensible que tratamos en IA y recursos humanos: qué pasa con la IA en despidos y evaluación de desempeño. Lo razonable es exigir el nivel de explicabilidad proporcional al impacto real de cada decisión, no el máximo posible en todos los casos, lo que encarecería sin necesidad procesos de bajo riesgo.
Cómo llevar esto a la negociación
Un consejo práctico: pide que la capacidad de explicar decisiones concretas, en el formato que necesita tu equipo, quede recogida por escrito en el contrato o en el pliego de condiciones técnicas, no solo como una promesa verbal en la demo. Esto no es desconfianza gratuita hacia el proveedor, es la misma diligencia que aplicarías al negociar cualquier cláusula relevante de un contrato de software, y conecta con la misma lógica de fondo que exponemos en red flags de proveedores de IA poco fiables: las señales de alarma se detectan mejor antes de firmar que después.
Conclusión
Exigir IA explicable a tu proveedor no es un requisito técnico exótico, es una condición básica para poder responder con solvencia cuando algo salga mal. Un proveedor que puede mostrarte con naturalidad cómo explica sus decisiones concretas te está dando una garantía real; uno que se refugia en generalidades te está pidiendo un acto de fe que puede salir caro.
En MG Solutions diseñamos e implementamos sistemas de IA que pueden justificar sus decisiones desde el primer día, no como un añadido posterior. Si quieres una segunda opinión antes de firmar con un proveedor, reserva tu primera reunión.