Un agente de IA que lleva un mes trabajando en tu empresa deja un rastro enorme de entregas: borradores, resúmenes, clasificaciones, respuestas preparadas. Casi nadie las mira con método. Se revisa lo que llama la atención, se corrige lo urgente y se tiene una sensación general, «parece que va bien» o «últimamente falla más», que no sirve para decidir nada.
Esta hoja sustituye la sensación por cinco preguntas que se contestan en diez minutos a la semana. No necesitas ser técnico: necesitas coger una muestra de entregas, mirarlas con los mismos criterios cada vez y apuntar lo que ves. Al cabo de unas semanas tendrás algo más valioso que una opinión: una tendencia.
Cómo usar esta hoja
Antes de empezar, fija tres reglas de uso para que la evaluación sea comparable de una semana a otra.
- Misma muestra cada semana. Por ejemplo, diez entregas elegidas al azar y todas las que hayan tocado dinero, clientes o datos personales.
- Siempre la misma persona (o dos). Si cambia quien evalúa, cambian los criterios sin que nadie se dé cuenta.
- Siempre el mismo día. Mejor una cita fija en el calendario que una revisión «cuando haya un rato».
Cada criterio se puntúa con una nota sencilla: 1 (hay que intervenir), 2 (aceptable con ajustes) o 3 (bien). Lo importante no es la nota exacta sino que se anote el motivo.
1. Exactitud: ¿lo que dice es verdad?
Es el criterio que más cuesta ver, porque un error bien redactado parece un acierto. Comprueba contra la fuente, no contra tu intuición.
- Las cifras, fechas, nombres e importes coinciden con el documento o sistema de origen.
- Cuando cita un documento, ese documento existe y dice lo que el agente afirma.
- No ha rellenado un hueco con un dato inventado («parece razonable, pero no está en ninguna parte»).
- Cuando no tenía información, lo ha dicho en lugar de suponer.
- Las cuentas sencillas (sumas, totales, unidades) están bien hechas.
Señal de alarma: un error de exactitud en algo que toca dinero, un cliente o un dato personal pasa directamente a «hay que intervenir», aunque el resto vaya perfecto.
2. Completitud: ¿falta algo importante?
Una entrega puede ser exacta y aun así inútil porque se ha dejado cosas fuera. Es un fallo silencioso: nadie lo ve si no sabe qué debería haber.
- Recoge todos los puntos que se pidieron, no solo los primeros.
- Menciona las excepciones y condiciones relevantes, no solo la versión general.
- Si había varios documentos o archivos, ha usado todos y no solo el primero que encontró.
- Deja claro lo que queda pendiente o lo que no ha podido comprobar.
- Incluye los datos de contacto, fechas límite o referencias necesarios para actuar.
Truco: antes de abrir la entrega, escribe en una nota qué esperabas encontrar. Después compara. Es la forma más fiable de detectar lo que falta.
3. Tono: ¿suena a tu empresa?
El tono importa sobre todo cuando lo que sale llega a un cliente, un proveedor o un compañero. Un texto correcto pero frío o excesivamente solemne resta confianza.
- El registro es el adecuado para quien lo va a leer (cercano con un cliente habitual, formal con un organismo).
- Las frases son llanas y sin jerga innecesaria.
- No promete nada que la empresa no pueda cumplir («sin problema», «seguro que sí»).
- No resulta empalagoso, ni excesivamente servil, ni demasiado seco.
- Es coherente con cómo escribe el equipo, de modo que el cliente no note cambios bruscos.
Si el tono falla a menudo, casi siempre se arregla dando al agente dos o tres ejemplos de textos tuyos que te gusten y una lista de expresiones que no quieres usar.
4. Cumplimiento de límites: ¿ha hecho solo lo que debía?
Este es el criterio de seguridad. Mide si el agente respeta lo que dice su ficha de puesto, y por eso no admite medias tintas.
- No ha hecho nada que estuviera fuera de su alcance (dar un precio cerrado, prometer una fecha, responder a una queja).
- Ha parado y consultado en los casos en que debía hacerlo.
- No ha usado información a la que no debía acceder ni la ha incluido en una respuesta.
- No ha enviado nada directamente cuando el flujo exigía un borrador pendiente de revisión.
- No ha compartido datos de clientes o proveedores con quien no correspondía.
Regla: una sola vez que se salte un límite importante basta para volver a revisar todas las entregas y reforzar la ficha del puesto. No es cuestión de nota media: es cuestión de límites.
5. Tiempo de revisión: ¿cuánto esfuerzo exige a la persona?
Un agente que entrega mucho pero exige una hora de repaso por cada entrega no ahorra nada: solo ha cambiado el tipo de trabajo. Este criterio mide el coste oculto.
- Se anota cuánto tarda una persona en revisar y dejar listas las entregas de la muestra.
- Ese tiempo se compara con lo que costaría hacer la tarea a mano, sin dar por hecho que una opción es mejor.
- La revisión se vuelve más corta con las semanas, o al menos no crece.
- Los errores que se corrigen cada semana son distintos de los de la semana anterior; si se repiten, la instrucción no está bien aprendida.
- La persona que revisa sigue entendiendo lo que revisa y no se limita a dar el visto bueno por cansancio.
Ojo: el tiempo de revisión es el criterio que más tienta a engañarse. Si lo apuntas mal, la hoja entera pierde valor.
Cómo leer los resultados
Rellena una fila por semana. Puedes hacerlo en una hoja de cálculo de cinco columnas.
| Semana | Exactitud | Completitud | Tono | Límites | Revisión | Motivo principal de la nota más baja |
|---|---|---|---|---|---|---|
| 1 | ||||||
| 2 |
Con unas semanas de datos, las decisiones salen casi solas:
- Notas estables o al alza, límites respetados: puedes pasar de revisar todo a revisar una muestra, o plantearte darle más funciones.
- Una nota baja repetida en un solo criterio: ajusta la ficha del puesto o los ejemplos que le das, y vuelve a medir.
- Fallos de exactitud o de límites en temas delicados: pausa, revisa los accesos y vuelve a una revisión completa.
- Tiempo de revisión que no baja: replantea si esa tarea es la adecuada para el agente.
Si estás empezando, la guía de incorporar un agente a la plantilla: el onboarding paso a paso explica cómo montar el periodo de prueba antes de empezar a puntuar. Y para comparar su trabajo con el de una persona en paralelo, mira agente y persona en paralelo: compara antes de soltarlo.
Una última advertencia: esta hoja evalúa el trabajo del agente, no el de las personas que lo usan. Cualquier valoración sobre personas del equipo debe hacerla quien corresponda, con otros criterios y con la conversación que merecen.
Conclusión
Evaluar a un agente de IA no exige herramientas complejas, sino constancia: cinco criterios, una muestra fija, una persona que revisa y una nota con motivo cada semana. Con ese hábito pasas de «parece que va bien» a decisiones fundadas sobre ampliar, ajustar o parar.
En MG Solutions formamos a equipos de empresa en IA, por puesto y con casos reales de tu negocio, y también implantamos agentes de IA a medida.
Puedes conocer nuestra formación en IA para empresas.
Si quieres ver cómo encajaría en tu caso, escríbenos y lo hablamos.