Los casos de prueba de un agente de IA de atención al cliente se arman con tu equipo en tres tandas: consultas reales del último mes, casos difíciles que a tu gente le han dado quebraderos de cabeza y casos que el agente debe rechazar o pasar a una persona. Para cada caso se anota qué respuesta sería buena y quién de la empresa la valida. Con ese material, el visto bueno al agente deja de ser una sensación y pasa a ser una comprobación.
Una gran empresa tiene un departamento de calidad que fija esos criterios. En una pyme, quien sabe qué es una buena respuesta es la gente que lleva años hablando con clientes: la persona de atención, la de administración, el encargado del taller o de la tienda. El proveedor conoce la tecnología, pero no sabe cómo responderías tú a una duda sobre una garantía. Esa parte solo la pueden aportar ellos, y por eso este trabajo no se delega del todo.
¿Quién en tu empresa sabe qué es una buena respuesta?
Lo sabe quien resuelve esas consultas a diario y conoce las excepciones: qué se le dice a un cliente antiguo que pide algo fuera de política, cuándo se hace un favor y cuándo no, qué frases evitas porque generaron problemas. No siempre es la gerencia. Suele ser alguien de atención o de administración que nunca ha escrito esas reglas, porque las lleva en la cabeza.
Conviene involucrar al menos a dos personas:
- Quien atiende a clientes de verdad, que aporta los casos reales y el tono con que se contesta.
- Quien responde de la política de la empresa, normalmente la gerencia o un responsable, que dice qué se puede prometer y qué no: plazos, devoluciones, precios, garantías.
Si hay temas legales, fiscales o de salud, añade a la persona o al asesor profesional que los decide. El agente puede tener un buen tono, pero no es quien fija lo que la empresa se compromete a hacer.
¿Qué casos hay que reunir para probar un agente de atención al cliente?
Reúne tres tipos, porque cada uno prueba una cosa distinta. No hace falta un número exacto: lo importante es que haya variedad y que cubran lo que de verdad ocurre en tu negocio.
1. Consultas reales del último mes. Son las preguntas del día a día: horarios, estado de un pedido, precios, cómo se pide una cita, qué documentos se necesitan. Cógelas tal como llegaron, con las faltas de ortografía, los mensajes confusos y las frases a medias, porque así las escribirán los clientes. Elige también algunas de cada canal que uses: correo, WhatsApp, teléfono transcrito, formulario web.
2. Casos difíciles. Los que a tu equipo le cuestan: el cliente enfadado que mezcla tres problemas, la consulta que parece sencilla pero depende de una excepción, la petición ambigua, la pregunta que combina dos temas, el mensaje con ironía. Pregunta a tu gente: «¿cuáles son los cinco casos que más os cuesta contestar?». Esas respuestas valen oro.
3. Casos que el agente debe rechazar o pasar a una persona. Son los más olvidados y los más importantes. Incluye:
- Peticiones que exigen una decisión humana: una devolución fuera de plazo, un descuento especial, una reclamación formal.
- Preguntas fuera del ámbito de la empresa, a las que el agente no debe inventar respuesta.
- Intentos de sacar información que no debe dar: datos de otros clientes, precios internos, condiciones pactadas con terceros.
- Mensajes con datos delicados, como salud o situación económica, que el agente debe tratar con especial cuidado y derivar.
- Temas legales, fiscales o médicos sobre los que solo puede orientar con prudencia y derivar a un profesional.
Con esos tres grupos pruebas lo que el agente sabe hacer, lo que le cuesta y lo que no debe hacer nunca.
¿Cómo se anota cada caso para que sirva de prueba?
Cada caso lleva una ficha corta que cualquiera del equipo pueda entender. Basta con cuatro campos:
- Qué pregunta el cliente, tal cual.
- Qué debe hacer el agente: responder, pedir más datos, rechazar o pasar a una persona.
- Qué debe contener la respuesta (por ejemplo: el plazo correcto, el enlace a la política, un tono amable) y qué no debe contener (por ejemplo: promesas de reembolso, cifras inventadas, opiniones).
- Quién valida este caso, con nombre.
Fíjate en que no se escribe «la respuesta exacta». Un agente puede decir lo mismo con otras palabras y estar igual de bien. Lo que se anota es el contenido que debe aparecer y lo que no debe aparecer. A este conjunto de casos de referencia se le suele llamar a veces «dataset de referencia»; si quieres entender la idea con más detalle, tienes qué es un dataset de referencia (golden dataset) en IA.
Una precaución importante antes de empezar: las consultas reales traen datos personales de clientes, como nombres, teléfonos, direcciones o números de pedido. Antes de pasárselas a nadie, quítalos o sustitúyelos por datos inventados, salvo que sean imprescindibles y estés seguro de que el tratamiento está cubierto. Ante dudas, consulta con tu asesor de protección de datos.
¿Quién valida las respuestas antes de dar el visto bueno?
Valida cada respuesta la persona que en la empresa tiene autoridad sobre ese tema, no quien programó el agente. Un buen reparto es asignar los casos por materia: atención y trato para la persona de clientes, plazos y precios para quien los controla, garantías y devoluciones para quien las decide. Si dos personas discrepan, eso es información valiosa: significa que la empresa no tenía clara su propia política y es mejor descubrirlo ahora que delante de un cliente.
Define también el criterio de aprobación antes de probar, para no ajustarlo a posteriori según salgan los resultados:
- Qué errores son inaceptables, aunque sean pocos. Por ejemplo, inventar un precio o prometer un reembolso. Un solo caso de este tipo bloquea el visto bueno.
- Qué errores son tolerables y corregibles, como un tono algo seco o una respuesta más larga de lo necesario.
- Cuántos casos revisa cada validador y en qué plazo.
La decisión final de lanzar el agente corresponde a la gerencia. Para el conjunto del proceso de prueba, mira cómo se prueba un agente de IA antes de lanzarlo, y para hacerlo en pequeño al principio, cómo hacer un piloto de IA sin comprometer toda la empresa.
¿Qué hace el agente y qué hace tu equipo en estas pruebas?
El agente, o más bien el proveedor, ejecuta todos los casos, recoge las respuestas, las compara con lo que se esperaba y te presenta un informe con lo que ha salido bien, lo que ha fallado y los casos dudosos. Eso le ahorra a tu equipo la parte mecánica. Tu equipo mantiene lo esencial: aportar los casos, decidir qué es una buena respuesta, validar los resultados y decidir si se lanza.
Ten presente que las pruebas no demuestran que el agente nunca fallará. Demuestran que, con los casos que tenías, se comporta como esperas. Por eso los casos de prueba no se tiran después del lanzamiento: se guardan y se amplían con cada fallo real que aparezca.
Cuándo repetir las pruebas
Repite el conjunto cuando cambie algo que el agente usa: precios, horarios, condiciones de devolución, un producto nuevo, una instrucción ajustada o una actualización del proveedor. Es una comprobación de unos minutos que evita descubrir el cambio por la queja de un cliente. Si ya tienes una rutina semanal de revisión, como la de revisar en 15 minutos lo que hizo el agente esta semana, añade ahí una muestra de los casos.
Conclusión
Armar los casos de prueba con tu equipo es lo que convierte «parece que funciona» en «sabemos que funciona para lo que probamos». Reúne consultas reales, casos difíciles y casos que el agente debe rechazar, anota qué se espera de cada uno, asigna a una persona que valide, y guarda todo para repetirlo cuando algo cambie. El conocimiento de qué es una buena respuesta lo tiene tu equipo, y ningún proveedor lo puede sustituir.
En MG Solutions construimos agentes de IA específicos para cada empresa, adaptados a tu forma de trabajar y a tus herramientas, no una plantilla genérica.
Si quieres ver cómo encajaría en tu empresa, escríbenos y lo hablamos.