Para vigilar a un agente de IA no hace falta leer todas sus conversaciones: basta con revisar cada semana un puñado elegido al azar, con una hoja de pocos criterios, y dedicarle media hora a un día fijo. Con eso detectas los errores que se repiten antes de que lleguen a muchos clientes.
Es la misma lógica que usan las grandes empresas en sus centros de atención: nadie escucha todas las llamadas, pero un supervisor revisa algunas cada semana y da una opinión por escrito. Una pyme puede hacerlo con una hoja de cálculo y una persona que conozca bien el negocio.
¿Cuántas conversaciones hay que mirar y cómo se eligen?
Para empezar, una muestra pequeña y constante es mejor que una revisión enorme de la que te cansas a las dos semanas. Un número razonable es una docena de conversaciones, o menos si el agente atiende pocas. Lo importante es que la muestra sea regular y que no la elijas tú a mano.
Cómo elegirlas bien:
- Al azar, no a la carta. Si solo revisas las que te llegan porque un cliente se quejó, ves los fallos que ya han dado la cara, no los que pasan desapercibidos. Si solo miras las que parecen buenas, te llevas una imagen falsa.
- De distintos días y canales. Mezcla conversaciones de la mañana y de la tarde, de WhatsApp y de la web, de entre semana y de fin de semana.
- Con algunas «marcadas». Añade a la muestra las que el propio agente marcó como dudosas o pasó a una persona, porque ahí suelen estar las lecciones más útiles.
- Con un método simple. El agente puede extraer la muestra al azar y presentártela en una lista, o puedes numerar las conversaciones de la semana y tomar una de cada cierto número.
Si quieres entender la idea de fondo, está explicada en cómo controlar la calidad sin revisar todo: inspección por muestreo.
La hoja de criterios: seis preguntas por conversación
Una hoja demasiado larga se abandona. Con seis preguntas tienes suficiente para sacar conclusiones útiles. Para cada conversación, responde sí, a medias o no:
- ¿Entendió lo que el cliente pedía? Incluso con mensajes confusos o con faltas.
- ¿La información era correcta? Precios, horarios, plazos y condiciones, comprobados con tus datos reales.
- ¿El tono era el de tu empresa? Cercano, claro, ni seco ni exageradamente efusivo.
- ¿Pasó a una persona cuando debía? Reclamaciones, dudas sobre dinero, casos que están fuera de lo que el agente puede hacer.
- ¿Pidió o mostró datos personales de más? Más allá de lo que hacía falta para resolver el asunto.
- ¿Prometió algo que tu empresa no ofrece? Un descuento, una fecha, una condición inventada.
Añade una columna de comentario libre, con una línea. Y marca con un color los errores graves (una información equivocada que podría perjudicar al cliente, una promesa falsa), para no perderlos entre las notas menores.
¿Quién debe hacerlo y cuánto tiempo lleva?
Lo ideal es que lo haga una persona que conoce cómo atiende tu empresa de verdad: quien lleva la atención al cliente, la encargada del local, el responsable de administración. Debe ser alguien que sepa cuál es la respuesta correcta sin tener que buscarla. Si es posible, que no sea la misma persona que configuró el agente, porque quien lo ha preparado tiende a leer con buenos ojos lo que ha hecho. Si el equipo es muy pequeño, puede alternarse entre dos personas.
En cuanto al tiempo, con una docena de conversaciones cortas y una hoja de seis preguntas, media hora a la semana es un objetivo realista. Elige un día y una hora fija y ponlo en el calendario como cualquier otra reunión, porque lo que no tiene hueco no se hace. El agente puede ayudar preparando la lista de conversaciones y un resumen de las que contienen palabras de alarma, pero no se evalúa a sí mismo: la opinión que cuenta es la de la persona.
Un aviso sobre datos personales: esas conversaciones contienen nombres, teléfonos y a veces información delicada. Limita el acceso a las personas que de verdad necesitan revisarlas, úsalas solo para este fin y no las copies en otros lugares. Si hace falta comentar un caso con el proveedor, mejor ocultar los datos identificativos. Y recuerda que el cliente debe saber que está hablando con un agente de IA.
¿Qué hacer con lo que encuentres?
Revisar sin actuar no sirve de nada. Para cada fallo, decide en qué categoría cae y qué se hace:
- Un dato mal cargado (un precio viejo, un horario cambiado). Se corrige el documento o la información que usa el agente.
- Una instrucción ambigua (el agente interpretó mal lo que se le pidió). Se aclara la instrucción con el proveedor o con quien administra el agente.
- Un caso que debía pasar a una persona. Se añade o se afina la regla de cuándo debe hacerlo.
- Un error grave que afectó a un cliente. Se contacta con ese cliente para corregirlo y se avisa al proveedor el mismo día.
- Un fallo puntual sin patrón. Se anota y se vigila. Si se repite, pasa a una de las categorías anteriores.
Mantén un registro sencillo con la fecha, el tipo de fallo, qué se hizo y quién lo hizo. Al cabo de un mes, la lista se convierte en una fotografía honesta del agente: si los fallos bajan, si siempre son del mismo tipo o si coinciden con algún cambio reciente en tu negocio. Para ampliar esa vista mensual, tienes cómo medir la calidad del trabajo de un agente de IA.
Límites del método y cómo completarlo
Un método de muestreo tiene límites, y conviene tenerlos presentes sin dramatizar. Una muestra pequeña no detecta un fallo raro que ocurre una vez de cada muchas conversaciones. Tampoco sustituye a las pruebas que se hacen antes de cambiar algo importante en el agente. Por eso se combina con otras medidas:
- Avisos automáticos para conversaciones con palabras de queja, de baja o de reclamación, que el agente reenvía a una persona.
- Revisión ampliada durante unas semanas después de cualquier cambio, como un nuevo catálogo, una nueva tarifa o un cambio de modelo. Si te interesa ese último punto, lo trata modelo barato para lo fácil, modelo caro para lo difícil.
- Canal fácil para el cliente que quiera hablar con una persona o decir que algo ha salido mal.
La supervisión humana no se delega del todo. Hay más ideas para organizarla en cómo mantener supervisión humana en procesos con IA.
Conclusión
La revisión semanal de un puñado de conversaciones, elegidas al azar y puntuadas con seis preguntas, es una forma barata y constante de saber cómo trabaja tu agente de IA. No lo ve todo, pero detecta lo que se repite, y lo que encuentres sirve para ajustar datos, instrucciones y reglas de derivación a una persona.
En MG Solutions construimos agentes de IA específicos para cada empresa, adaptados a tu forma de trabajar y a tus herramientas, no una plantilla genérica, y los dejamos preparados para que revisar su trabajo cada semana sea rápido y claro.
Si quieres ver cómo encajaría en tu empresa, escríbenos y lo hablamos.