Para revisar la actividad semanal de tu agente de IA te bastan quince minutos si lo haces siempre igual: cinco para leer el resumen, siete para abrir unos pocos casos concretos y tres para decidir si hay que cambiar algo. No necesitas leer registros enteros. Necesitas saber qué mirar, y eso es lo que te cuenta este artículo.
Una multinacional tiene a alguien cuyo trabajo es vigilar a sus sistemas automáticos: paneles, alertas, informes. En una pyme esa persona eres tú, entre una llamada con un proveedor y una visita a un cliente. La buena noticia es que el agente puede preparar casi todo el trabajo de lectura. Tu parte es la más rápida y la más importante: mirar con criterio.
¿Qué debe traer el resumen semanal que te prepara el agente?
El resumen semanal debe caber en una pantalla y responder a seis preguntas sin que tengas que buscar: cuánto trabajo hizo, qué pasó a una persona, qué salió mal, qué le consultó al equipo y no supo resolver, qué ha cambiado respecto a la semana anterior y qué decisiones te esperan a ti. Si el resumen es una lista interminable de actividad, no te sirve, porque no te ayuda a decidir nada. Si no lo recibes así, pídele a tu proveedor que lo ajuste.
Un resumen útil suele incluir:
- Volumen: cuántas consultas, pedidos o tareas gestionó, comparado con la semana anterior.
- Derivados a una persona: los casos que el agente no quiso o no pudo resolver y por qué.
- Incidencias: errores, avisos y cosas que tuvieron que corregirse a mano.
- Casos con dudas: aquellos en los que el agente indicó que no estaba seguro.
- Novedades: tipos de petición que no había visto antes.
- Pendientes tuyos: autorizaciones, excepciones o decisiones que solo tú puedes tomar.
La rutina de 15 minutos, paso a paso
Hazla siempre el mismo día y a la misma hora, aunque sea cada lunes con el café. La constancia importa más que la duración.
- Minutos 1 a 5: lee el resumen entero. Sin abrir nada todavía. Fíjate en qué números son distintos de lo normal y qué frases te llaman la atención.
- Minutos 6 a 9: abre los casos que el propio agente marcó. Los derivados y los dudosos. Lee la conversación o el trabajo original y pregúntate: ¿habría hecho yo lo mismo?
- Minutos 10 a 12: abre dos o tres casos al azar. Los que no figuran en ninguna lista. Es la única forma de detectar fallos que el agente no sabe que ha cometido.
- Minutos 13 a 15: decide y anota. Una de tres cosas: todo bien, hay que ajustar una instrucción o hay que hablar con el proveedor. Apunta en una línea qué has decidido y por qué.
Si un lunes no tienes quince minutos, es preferible hacer una versión de cinco, solo con el resumen, que saltarse la revisión. Y si el resumen te dice que hay algo raro, la revisión de ese día puede alargarse; esa es su función. Para decidir qué frecuencia te conviene según el tipo de tarea, tienes con qué frecuencia debo revisar el trabajo de mis agentes de IA.
¿Qué casos conviene abrir y cuáles se pueden dejar pasar?
Abre los casos donde un error cuesta caro o se repite, y deja pasar los rutinarios que salieron bien. Un criterio sencillo: abre un caso si toca dinero, si afecta a un cliente importante, si tiene una queja, si es la primera vez que el agente hace algo de ese tipo o si el propio agente expresó dudas. Los casos sencillos y repetidos, como una consulta de horarios o una confirmación de cita, se miran a través de la muestra al azar, no uno por uno.
Presta una atención especial a tres tipos de casos:
- Cuando el agente pasó algo a una persona. Comprueba que la persona lo recibió, que lo atendió y que el cliente no se quedó esperando.
- Cuando el agente dijo que no a algo. ¿Estaba bien rechazarlo? Un agente demasiado prudente también cuesta clientes.
- Cuando hubo una acción real, como enviar un correo, modificar un pedido o registrar un dato. Es donde conviene comprobar que lo hecho coincide con lo pedido.
Si quieres ver cómo se plantea este tipo de informe en atención al cliente, mira informe semanal de atención: lo que el dueño lee en cinco minutos.
¿Cuándo hay que preocuparse de verdad?
Hay que preocuparse cuando algo cambia de forma brusca o cuando el agente hace algo que no sabrías explicar. Un mal día aislado no es una señal; un patrón sí. Estas son las que merecen una llamada al proveedor, sin esperar al lunes siguiente:
- Cambios bruscos de volumen, hacia arriba o hacia abajo, sin una causa clara como una campaña o una festividad.
- Mucho más (o mucho menos) trabajo derivado a personas de lo habitual. Si nunca deriva nada, desconfía, porque ningún agente resuelve todo; si deriva casi todo, no está aportando.
- Respuestas repetidas casi idénticas a preguntas que deberían ser distintas.
- Quejas de clientes que mencionan al agente, aunque sean pocas.
- Datos personales en un lugar donde no corresponden, como información de un cliente que aparece en la conversación con otro. Eso se trata siempre como un incidente.
- Acciones que no entiendes, como un pedido modificado sin que nadie lo pidiera.
- Silencio: que el agente haya dejado de hacer una tarea que antes hacía.
Ante cualquiera de ellas, apunta el caso concreto, no una impresión general. Es mucho más fácil corregir un ejemplo que una sospecha.
¿Qué hace el agente y qué sigue haciendo una persona en esta revisión?
El agente prepara el resumen, ordena los casos por relevancia, avisa de lo que se sale de lo normal y deja a mano la conversación original. Lo que no puede hacer es evaluarse a sí mismo con total objetividad: igual que tú no corriges tu propio examen, un agente tiende a considerar correcto lo que hizo. Por eso la revisión es humana.
Hay tareas que siguen siendo de personas, sin excepción: decidir si un cambio de instrucciones es adecuado, autorizar excepciones, contestar a una queja, y cualquier decisión sobre personas, como contratar, evaluar o sancionar a alguien. Tampoco lo hace el agente cuando hay consecuencias legales, fiscales o financieras: prepara la información, y decide un profesional.
Conviene también que el resumen no multiplique los datos personales que circulan. Si en la revisión de lunes tu equipo ve nombres y teléfonos de clientes, que sean solo los necesarios para el caso, y que el resumen se envíe a quien debe leerlo y no a toda la empresa. Para el marco de la supervisión, cómo mantener supervisión humana en procesos con IA lo explica con más detalle.
Y si no soy yo quien lo revisa
Si la revisión pasa a otra persona del equipo, no basta con decirle «échale un vistazo». Dale por escrito la lista de qué mirar, qué casos abrir, qué señales son de alarma y a quién avisar. Quien revisa necesita permiso para parar el agente si ve algo grave. Sobre el perfil de esa persona, tienes el supervisor de agentes: funciones y perfil del responsable.
Conclusión
Una revisión semanal de quince minutos, siempre igual, es suficiente para controlar a un agente de IA sin convertirte en su vigilante: un resumen bien hecho, unos pocos casos abiertos con criterio y una decisión anotada. Lo importante es la costumbre y saber qué señales merecen una llamada inmediata.
En MG Solutions construimos agentes de IA específicos para cada empresa, adaptados a tu forma de trabajar y a tus herramientas, no una plantilla genérica.
Si quieres ver cómo encajaría en tu empresa, escríbenos y lo hablamos.