Un agente de IA ya está en marcha, funciona razonablemente bien, y llega la pregunta que casi nadie se hace antes de implantarlo pero que todos se hacen a los pocos meses: ¿cada cuánto tengo que revisar lo que está haciendo? La respuesta no es una cifra fija tipo "una vez a la semana", sino un criterio que cambia según el riesgo de la tarea, cuánto tiempo lleva funcionando el agente y qué señales de alarma hayan aparecido recientemente.
La frecuencia depende del riesgo, no de una regla universal
No es lo mismo un agente que redacta borradores de publicaciones en redes sociales que uno que aprueba reembolsos o modifica datos de facturación. Antes de fijar una cadencia de revisión, clasifica cada agente por el daño potencial de un error: bajo (una respuesta de tono poco afinado, corregible sin coste), medio (un error que genera una queja de cliente pero es reversible) o alto (un error que implica dinero, datos personales o una decisión difícil de deshacer). Esta clasificación, y no una plantilla genérica, es lo que debe determinar cuánto tiempo pasa entre revisión y revisión.
Las primeras semanas: revisión diaria o por lote, sin excepción
Independientemente del nivel de riesgo, cualquier agente recién puesto en marcha necesita una revisión frecuente durante sus primeras dos o tres semanas de funcionamiento real. No porque se espere que falle constantemente, sino porque es en este período cuando aparecen los casos límite que nadie previó al diseñarlo: la pregunta rara que un cliente formula de una forma inesperada, la excepción de negocio que nadie documentó, el dato que llega en un formato distinto al previsto. Revisar una muestra de sus respuestas cada día, o como mínimo cada lote de interacciones, permite corregir estos casos antes de que se conviertan en un patrón de error repetido.
Cuándo puedes espaciar la revisión
Una vez que el agente lleva varias semanas estable, con una tasa de error baja y sin incidencias relevantes, tiene sentido reducir la frecuencia de revisión exhaustiva y pasar a un muestreo periódico: por ejemplo, revisar un porcentaje representativo de sus interacciones cada semana en tareas de riesgo medio, o cada mes en tareas de riesgo bajo. Esto no significa dejar de supervisarlo, significa ajustar el esfuerzo de supervisión al nivel de confianza que el propio agente se ha ganado con el tiempo, igual que reducirías la frecuencia de seguimiento de un empleado que lleva meses haciendo bien su trabajo.
Señales que deben hacerte volver a revisar con más frecuencia
Hay eventos que justifican volver, de forma temporal, a una revisión mucho más intensiva, aunque el agente llevara meses estable:
- Un pico repentino de quejas o correcciones manuales relacionadas con las tareas de ese agente.
- Un cambio en el proceso de negocio que el agente gestiona (nueva política de devoluciones, nueva tarifa, nuevo producto).
- Una actualización del modelo o del proveedor subyacente, que puede cambiar sutilmente cómo responde sin que nadie lo haya solicitado.
- Un cambio brusco de volumen, como una campaña de marketing o una temporada alta, que expone al agente a un tipo de consulta que antes era minoritario.
Cualquiera de estas señales debería activar, de forma automática, una vuelta temporal a la revisión diaria hasta confirmar que el comportamiento sigue siendo el esperado.
Un calendario de referencia orientativo
A modo de punto de partida, no de norma fija: tareas de riesgo alto (pagos, datos personales, decisiones difíciles de revertir) piden una muestra revisada a diario incluso una vez maduras, con auditoría completa semanal. Tareas de riesgo medio (atención al cliente, gestión de pedidos) funcionan bien con revisión semanal de una muestra representativa una vez superadas las primeras semanas. Tareas de riesgo bajo (borradores de contenido, resúmenes internos) pueden pasar a una auditoría mensual con muestreo aleatorio, siempre que no haya señales de alarma activas.
Quién debe hacer esta revisión, no solo con qué frecuencia
Un aspecto que suele pasarse por alto es que la persona que revisa el trabajo del agente debe entender el negocio, no solo la tecnología. Es un error habitual dejar la revisión exclusivamente en manos de quien implantó técnicamente el sistema, porque puede confirmar que el agente "funciona" en el sentido técnico —responde, no da error, cumple el formato esperado— sin poder valorar si esa respuesta es la correcta desde el punto de vista del negocio o si respeta un matiz que solo conoce quien trabaja a diario con esos clientes o esos datos. Lo más eficaz suele ser combinar ambos perfiles: una revisión técnica periódica que confirme que el sistema sigue funcionando como se diseñó, y una revisión de negocio, aunque sea más espaciada, a cargo de alguien del equipo que use o reciba el resultado del agente en su trabajo diario.
Qué revisar, no solo si "salió bien"
Un error habitual es limitar la revisión a comprobar si el agente resolvió correctamente la tarea, dejando fuera aspectos igual de importantes: si mantuvo el tono adecuado, si respetó las reglas de negocio específicas de la empresa (no solo la respuesta genéricamente correcta), y cómo se comportó ante los casos límite que se salen del guion habitual. Un agente puede tener una tasa de acierto alta en el indicador que mides y, aun así, estar cometiendo errores sistemáticos en un tipo concreto de caso que ese indicador no está capturando. Este tipo de supervisión estructurada es la base de lo que llamamos supervisión humana en procesos automatizados, y se apoya en los mismos principios que human in the loop.
Conclusión
No existe una frecuencia universal de revisión para un agente de IA: depende del riesgo de la tarea, de su madurez y de si hay señales recientes que justifiquen mirar más de cerca. Lo que sí es un error en cualquier caso es fijar una cadencia al principio y no volver a tocarla nunca más, tanto si es demasiado laxa para una tarea sensible como si es innecesariamente exigente para una tarea que ya ha demostrado ser fiable. En MG Solutions ayudamos a definir, para cada agente que implantamos, el plan de supervisión que le corresponde según su riesgo real. Reserva una primera reunión y lo revisamos juntos.