La IA se inventa datos porque no consulta una fuente: escribe la respuesta que le parece más verosímil a partir de lo que ha aprendido, y cuando le falta información rellena el hueco con algo que suena bien. No lo hace por malicia ni por descuido; es la forma en que funciona. Por eso puede contestarte con total seguridad un plazo de pago, un teléfono o una condición de contrato que no existen.
Para el dueño de una pyme, la consecuencia es práctica. Una gran empresa conecta sus sistemas a las fuentes de datos y pone controles; tú puedes hacer lo mismo con tus clientes y proveedores, pero conviene entender primero de dónde sale el problema para decidir con criterio cuánto margen le das a un agente.
¿Por qué la IA se inventa datos de tus clientes y proveedores?
Los programas de IA que escriben texto (los que están detrás de los asistentes y de muchos agentes) han aprendido a partir de enormes cantidades de escritos. Con eso saben cómo suele continuar una frase, pero no tienen una base de datos con "la verdad" a la que acudir. Cuando les preguntas "¿qué plazo de pago tenemos con este proveedor?", no lo buscan: construyen una respuesta que se parezca a las respuestas que suelen darse a esa pregunta.
Si la información real no está a su alcance, el resultado es un texto bien redactado, con tono profesional y una cifra concreta, pero inventado. A este fenómeno se le llama a veces "alucinación". Lo delicado es que la forma de la respuesta no cambia: suena igual de segura cuando acierta que cuando se equivoca. Puedes ampliar el concepto en alucinaciones de la IA: qué son y cómo evitarlas.
¿Cuándo es más probable que se invente algo?
No ocurre al azar. Hay situaciones en las que el riesgo sube de forma clara:
- Datos ausentes. Le preguntas por un cliente o un proveedor y el agente no tiene acceso a su ficha. Es el caso más común y el más peligroso.
- Datos desactualizados. Tiene acceso a una versión vieja (una tarifa del año pasado, un contacto que ya no trabaja allí) y responde con ella como si fuera la actual.
- Preguntas fuera de tema. Se le ha configurado para atender pedidos y alguien le pregunta por una condición legal o por un asunto que no le corresponde. Intentará contestar en lugar de decir que no sabe.
- Datos muy exactos. Importes, fechas, referencias, números de pedido, direcciones: justo lo que no admite una respuesta "aproximada".
- Preguntas que dan por hecho algo falso. "¿Cuándo nos entregó el proveedor X el pedido que no llegó?" puede hacer que el agente construya una fecha para un hecho que nunca ocurrió.
- Presión por responder. Si el agente está pensado para dar siempre una respuesta, nunca dirá "no lo sé".
Todas estas situaciones tienen algo en común: falta una fuente fiable delante del agente en el momento de contestar.
Cómo se ve en una pyme: dos escenas
Imaginemos una distribuidora de material eléctrico con un asistente que atiende a los clientes por correo. Un cliente pregunta si su pedido de la semana pasada ya ha salido. Si el asistente no está conectado al programa de pedidos, es probable que conteste que "ya está en reparto", porque es lo que suele responderse. La respuesta suena bien y puede ser falsa.
Otra escena, esta vez con proveedores. Un responsable de compras pide al asistente un resumen de las condiciones pactadas con un proveedor. Si el asistente no tiene los contratos delante, redactará unas condiciones plausibles, con un plazo, un descuento y una forma de pago. Todas inventadas, pero con el aspecto de un resumen serio.
Ninguna de las dos escenas es un fallo del programa. Son el resultado de pedirle una respuesta a quien no tiene la información.
¿Qué decide el dueño: dar acceso a datos reales o limitar lo que responde?
Esta es la decisión de fondo, y no es técnica sino de negocio. Hay dos caminos, que además se combinan.
Dar acceso a los datos reales. El agente consulta tu programa de pedidos, tu hoja de proveedores o tus contratos y responde a partir de lo que ve, indicando de dónde lo ha sacado ("según la ficha del proveedor, actualizada el mes pasado"). Es lo que más reduce las invenciones, pero exige cuidar tres cosas: que los datos estén al día y ordenados, que el agente solo vea lo que necesita para su trabajo y que, si hay datos personales de clientes, el tratamiento sea conforme al RGPD y esté acordado con tu asesor. Un dato mal escrito en origen se repetirá con la misma seguridad que uno correcto.
Limitar lo que responde. Se le indica al agente que conteste solo con lo que tiene delante, que diga "no tengo ese dato" cuando no lo tenga y que pase la consulta a una persona. Hay respuestas que nunca debería dar por su cuenta: importes, plazos, condiciones contractuales o compromisos con un cliente. Un agente que dice "no lo sé, te lo confirma Marta" resulta menos brillante que uno que siempre contesta, pero es mucho más fiable.
En la práctica se combinan: acceso a lo imprescindible, límites claros en lo delicado y una persona que revisa lo importante.
Cómo comprobar que tu agente no se inventa nada
Antes de ponerlo a trabajar con clientes, hazle una prueba con preguntas trampa. Es sencillo:
- Pregúntale por un cliente o proveedor que no existe y comprueba que dice que no lo conoce.
- Pídele un dato que sabes que no tiene (por ejemplo, el plazo de pago de un contrato que no le has dado) y comprueba que lo reconoce.
- Hazle una pregunta con una premisa falsa y observa si la corrige o la acepta.
- Cuando acierte, pídele de dónde sacó el dato y comprueba que la fuente existe.
- Repite la prueba cada vez que cambies sus instrucciones o sus fuentes de datos.
Hacer esto con regularidad forma parte de revisar la calidad de las respuestas, tema que se desarrolla en cómo evaluar la calidad de las respuestas de una IA. Y mientras el agente no pase la prueba, lo prudente es que las respuestas con importes, fechas o compromisos las revise una persona antes de salir.
Conclusión
La IA se inventa datos porque genera texto verosímil en lugar de consultar una verdad, y lo hace sobre todo cuando le faltan datos, cuando está desactualizada o cuando se le pregunta fuera de su tema. No se arregla con buenos deseos, sino con una decisión de negocio: qué datos reales ve el agente, qué se le prohíbe contestar por su cuenta y qué revisa una persona.
En MG Solutions construimos agentes de IA específicos para cada empresa, adaptados a tu forma de trabajar y a tus herramientas, no una plantilla genérica. Antes de ponerlos a trabajar con tus clientes y proveedores, definimos contigo qué pueden consultar y cuándo deben decir que no lo saben.
Si quieres ver cómo encajaría en tu empresa, escríbenos y lo hablamos.