Has visto la demo: el agente responde perfecto, encadena tres pasos sin fallar y cierra con una frase que suena a guion de anuncio. Sales de la reunión convencido, y días después, cuando lo pruebas con tu propio caso, el agente se atasca en la primera pregunta rara que le hace un cliente real. No es que te hayan mentido necesariamente; es que casi ninguna demo comercial muestra el sistema en las condiciones en las que de verdad vas a usarlo. Saber distinguir una demo realista de una demo preparada para impresionar es, sencillamente, la habilidad que más dinero te ahorra antes de firmar un contrato de IA.
Por qué una demo bonita no garantiza nada
Toda demo comercial está, por definición, optimizada para salir bien. El proveedor elige el ejemplo que mejor funciona, el dataset que ya ha probado cien veces y el orden de preguntas que sabe que el sistema resuelve sin fallos. Esto no es necesariamente mala fe: es marketing normal, igual que un coche de exposición está mejor cuidado que el que sale de fábrica cada día. El problema aparece cuando tú, como comprador, confundes "funciona en la demo" con "funcionará en mi empresa", que son dos afirmaciones completamente distintas.
La demo te dice qué es capaz de hacer el sistema en el mejor de los casos. Lo que necesitas saber es qué hace en el caso normal, con tus datos reales, tus clientes reales y las excepciones que aparecen cada semana en tu negocio concreto. Eso casi nunca se ve en una presentación de veinte minutos preparada de antemano.
Pide que pruebe con un caso tuyo, no con el dataset de la casa
La prueba más reveladora, con diferencia, es llevar tú mismo un caso real a la demo: un correo de cliente auténtico, un pedido con una particularidad rara, una pregunta que sueles recibir y que no tiene una respuesta simple. Un proveedor serio acepta esto sin problema, porque confía en su producto. Un proveedor que rechaza la petición, o que la aplaza siempre "para la siguiente reunión", te está diciendo algo importante sin decirlo con palabras.
Si el proveedor accede, presta atención no solo a si acierta, sino a cómo reacciona cuando el caso no encaja perfectamente en lo esperado. Ahí está la información que de verdad importa.
Lánzale las preguntas que no están en el guion
Una demo preparada sigue un guion, literal o mental, que el comercial conoce de memoria. Para salir de ese guion, prueba con preguntas deliberadamente incómodas:
- Una pregunta ambigua, que admita dos interpretaciones razonables.
- Un dato incompleto, como pediría un cliente despistado de verdad.
- Una petición que está claramente fuera del alcance del agente, para ver si lo reconoce con honestidad o inventa una respuesta.
- La misma pregunta formulada dos veces, de forma distinta, para comprobar si responde igual las dos veces.
Un buen sistema no necesita acertar siempre; necesita saber cuándo no sabe algo y decirlo con claridad, en lugar de rellenar el hueco con una respuesta que suena bien pero no es correcta.
Mira qué pasa cuando el agente no sabe la respuesta
Este es, probablemente, el indicador más fiable de todos. Un agente bien construido, ante una pregunta fuera de su alcance o sin información suficiente, lo reconoce y escala a una persona o pide una aclaración. Un agente mal construido, o una demo maquillada para parecer más capaz de lo que es, inventa una respuesta plausible antes que admitir que no lo sabe. Esto se llama alucinación, y en producción es mucho más caro que una demo que se queda corta: una alucinación convence a un cliente de algo falso antes de que nadie se dé cuenta del error.
Pregunta directamente: "¿qué pasa si el sistema no tiene la respuesta?" Si la respuesta es vaga o el proveedor no puede enseñarte ese comportamiento en vivo, es una señal de alarma seria.
Comprueba el comportamiento en vivo, no el vídeo editado
Muchos proveedores, especialmente los que venden a distancia, prefieren enseñar un vídeo grabado en lugar de una sesión en vivo, con la excusa de "problemas técnicos" o "para ahorrar tiempo". Un vídeo se puede editar, recortar y repetir hasta que sale perfecto; una sesión en vivo, no. Insiste siempre en ver el sistema funcionando en tiempo real, aunque sea más lento o menos pulido que el vídeo. La latencia real, las pausas antes de responder y el comportamiento ante un fallo de conexión también forman parte de la experiencia que vas a comprar.
Señales de que la demo está preparada, no real
Algunas pistas que, combinadas, deberían hacerte sospechar:
- El comercial insiste en seguir un guion fijo y evita desviarse cuando le propones un caso distinto.
- Todas las respuestas son perfectas, sin ningún matiz, duda o límite reconocido.
- No puedes ver el sistema con datos parecidos a los tuyos, solo con un dataset de ejemplo genérico.
- Se resisten a que hables con un cliente actual que use el producto en producción, no en demo.
Repasar bien qué preguntar antes de contratar un proveedor de IA y las red flags de proveedores de IA poco fiables antes de la reunión te da munición concreta para llevar la conversación a terreno incómodo, que es exactamente donde se distingue un producto real de una demo bien ensayada.
Conclusión
Una demo realista no es la que sale perfecta, es la que aguanta bien cuando la sacas del guion: tu caso, tus excepciones, tus preguntas incómodas. Pide siempre probar con datos parecidos a los tuyos, observa qué hace el sistema cuando no sabe la respuesta y desconfía de cualquier demo que solo funciona en vídeo o con un dataset preparado. Esa media hora de escepticismo activo vale más que cualquier folleto comercial.
Si tienes una demo sobre la mesa y quieres una segunda opinión antes de decidir, en MG Solutions te ayudamos a evaluarla con criterio técnico, no comercial. Reserva tu primera reunión.