Un agente de IA lleva tres meses funcionando y nadie en la empresa sabría decir, con datos, si está haciendo bien su trabajo o si simplemente "no ha dado ningún problema grave todavía". Esa diferencia importa: la ausencia de quejas no es lo mismo que la evidencia de que el agente está resolviendo bien lo que tiene que resolver. Este artículo trata sobre el marco de métricas que conviene revisar mes a mes, sea cual sea el proveedor que gestione tus agentes.
Conviene separar este tema de otro relacionado: aquí hablamos de qué metodología usar para juzgar la calidad de cualquier agente de IA, no de qué documentos concretos te entrega un proveedor. Si lo que buscas es el segundo tema, tienes el desglose completo en qué informes recibo de MG Solutions sobre el trabajo de mis agentes.
Por qué "no ha habido quejas" no es una métrica de calidad
Un agente de atención al cliente puede estar cerrando conversaciones sin resolver el problema real del usuario, que simplemente se rinde y no vuelve a escribir. Un agente que redacta contenido puede estar generando textos correctos gramaticalmente pero flojos de fondo, sin que nadie lo revise línea a línea cada mes. La ausencia de reclamaciones explícitas mide, como mucho, la paciencia de tus clientes, no la calidad del trabajo del agente. Por eso hace falta un conjunto de métricas activas, no solo esperar a que algo falle de forma evidente.
Tasa de resolución y tasa de escalada, la pareja que más dice
La tasa de resolución mide qué porcentaje de las tareas o conversaciones que recibe el agente termina completándolas sin intervención humana. La tasa de escalada mide lo contrario: cuántas veces el agente necesita pasarle el caso a una persona. Ninguna de las dos cifras vale de forma aislada: una tasa de resolución muy alta puede significar que el agente resuelve bien, o puede significar que está cerrando casos de forma incorrecta sin escalar cuando debería. Lo relevante es cruzar ambas con una tercera variable, la satisfacción o el resultado real de los casos resueltos sin intervención humana, para saber si esa resolución fue buena o solo aparente.
Precisión y errores: revisar una muestra, no confiar a ciegas
Además de las tasas globales, conviene revisar de forma periódica una muestra real de las interacciones del agente, no solo las que generaron una queja. Una revisión mensual de una muestra aleatoria de conversaciones o documentos generados permite detectar patrones de error que no llegan a convertirse en una queja formal: respuestas técnicamente correctas pero poco útiles, información desactualizada que el agente sigue repitiendo, o un tono que no encaja con la marca. Este muestreo humano periódico es, probablemente, el control de calidad más infravalorado y más barato de aplicar, y detecta problemas mucho antes de que se conviertan en algo visible para el cliente.
Tiempo de respuesta y consistencia a lo largo del mes
Un agente puede funcionar bien la primera semana y degradarse después, por ejemplo si depende de una fuente de datos que deja de actualizarse, o si un cambio en el catálogo o los precios de la empresa no se ha reflejado en su configuración. Medir el tiempo de respuesta y la tasa de resolución en varios cortes dentro del mismo mes, en lugar de una sola cifra acumulada al cierre, ayuda a detectar esa degradación progresiva antes de que se note en el resultado del negocio.
Errores típicos al evaluar la calidad de un agente de IA
El error más común es medir solo lo fácil de medir (volumen de conversaciones atendidas) y no lo que de verdad importa (si esas conversaciones se resolvieron bien). El segundo error habitual es cambiar de criterio de un mes a otro sin darse cuenta, comparando peras con manzanas: si un mes se cuenta como "resuelto" cualquier conversación cerrada y al siguiente solo las que el cliente confirma como resueltas, la comparación mensual deja de tener sentido. El tercer error es no fijar de antemano qué se considera un resultado aceptable: sin un umbral de referencia acordado antes de empezar a medir, cualquier cifra puede interpretarse como buena o mala según convenga.
Cómo se traduce esto en la práctica con un proveedor externo
Si trabajas con un proveedor que gestiona tus agentes de IA, lo razonable es pedir por adelantado qué métricas concretas vas a poder ver cada mes, con qué periodicidad y con qué nivel de detalle, antes de firmar. Un proveedor que no puede explicarte con claridad cómo va a medir la calidad de su propio trabajo es una señal de alerta en sí misma, con independencia de lo bien que venda su producto. Esta trazabilidad es, precisamente, uno de los puntos que revisamos al valorar cómo se conecta un agente a los datos y herramientas reales de una empresa, algo que tratamos en agentes de IA conectados a datos y herramientas de la empresa: sin acceso a datos reales y trazables, medir la calidad de verdad es mucho más difícil.
Conclusión
Medir la calidad del trabajo de un agente de IA mes a mes exige ir más allá de contar volumen de uso o esperar quejas: hace falta cruzar tasa de resolución, tasa de escalada, muestreo humano periódico y consistencia a lo largo del tiempo, con umbrales acordados de antemano. En MG Solutions construimos ese marco de medición desde el primer día de cada proyecto, no como un informe que se improvisa al final del mes. Habla con nosotros si quieres saber cómo mediríamos la calidad en tu caso concreto.