Tu agente de IA ha fallado: ha dado un dato incorrecto a un cliente, ha enviado un correo que no debía o ha dejado una tarea sin hacer. Lo primero es resolver el problema del cliente. Lo segundo, y lo que más se descuida, es una revisión corta con cinco preguntas que se centran en el proceso y no en la persona: qué pasó, qué usó el agente, por qué no se detectó antes, qué cambio evita que se repita y a quién más puede haber afectado.
Cuando algo sale mal, la reacción natural es preguntar de quién ha sido la culpa. Es comprensible y casi siempre improductivo: si el que preparó el documento teme que le señalen, la próxima vez no avisará de un problema. Una revisión sin culpables no quita responsabilidad; la sitúa en el sitio correcto, que casi nunca es una persona sola, sino un proceso con huecos. Y los huecos se pueden cerrar.
¿Cuándo merece la pena hacer una revisión formal?
No hace falta convocar una reunión por cada pequeño desajuste. Merece la pena parar a analizar cuando se da alguna de estas situaciones:
- El fallo ha llegado a un cliente, a un proveedor o a otra persona de fuera.
- Ha tenido un coste, sea de dinero, de tiempo o de confianza.
- Se repite por segunda vez, aunque cada vez parezca pequeño.
- Ha afectado a datos personales o a información confidencial.
- No se entiende cómo ha podido ocurrir, que ya es motivo suficiente.
Si se han visto implicados datos de personas, por ejemplo un mensaje enviado a quien no correspondía, avisa cuanto antes a tu responsable de protección de datos o a tu asesor, porque los plazos para valorar y, en su caso, notificar el incidente son cortos y no es una decisión que debas tomar tú solo.
Las cinco preguntas
Reserva un rato con quien lleva el proceso y, si hace falta, con quien configuró el agente. Se responde por escrito, una pregunta tras otra.
1. ¿Qué ocurrió exactamente y a quién afectó?
Describe los hechos sin adjetivos: qué pidió el cliente, qué respondió o hizo el agente, a qué hora y por qué canal. Guarda la conversación o el registro tal cual. Cuanto más concreto seas, más fácil será ver el patrón. Evita frases como «el agente se volvió loco»: no explican nada.
2. ¿Qué información o instrucción estaba usando el agente?
La mayoría de los fallos se deben a lo que el agente tenía delante. Puede haber leído un documento desactualizado, haber recibido una instrucción ambigua o haberse encontrado con una situación que nadie previó. Distinguir si el fallo viene de los datos o de la configuración es el paso más útil de todos; en alucinación o dato erróneo: cómo saber de quién es el fallo hay un método para hacerlo.
3. ¿Por qué no lo detectamos antes?
Esta es la pregunta que más suele aportar y la que menos se hace. Un fallo que llega al cliente ha atravesado varias barreras sin que ninguna lo parara. ¿Había alguna revisión humana prevista? ¿Se saltó? ¿Nadie miraba las respuestas del agente? ¿Había una alerta que no avisó? La respuesta suele indicar una barrera que falta, no una persona que se equivocó. Sobre cómo vigilar los fallos que no hacen ruido, mira cuando una automatización falla en silencio.
4. ¿Qué cambio concreto evita que se repita?
Formula una acción pequeña, con responsable y con fecha: corregir el documento, añadir una regla al agente para que consulte antes de contestar sobre ese tema, pedir que una persona revise cierto tipo de respuesta, o crear una alerta. Y define cómo comprobarás que el cambio funciona. «Estar más atentos» no es un cambio; «revisar cada lunes diez respuestas sobre devoluciones» sí lo es.
5. ¿Qué otros casos pueden estar afectados y qué decimos a los afectados?
Si el fallo tuvo una causa general, probablemente haya otros casos con el mismo problema. Busca si ha ocurrido antes y a quién más le ha podido llegar. Decide quién se pone en contacto con los afectados, qué se les dice y qué se hace para compensarlos si procede. Las decisiones de compensar o de disculparse son de una persona con autoridad para ello.
Cómo dejarlo escrito en una página
Una revisión que no se escribe se olvida en una semana. Conviene un documento de una página con cinco apartados, uno por pregunta, más la fecha y quién participó. No hace falta redactarlo con solemnidad: frases cortas y acciones con nombre. Guárdalo donde lo encuentre quien lleve el agente en el futuro. Con el tiempo, esa colección de páginas se convierte en un archivo de lecciones de la empresa, y te permite ver si los fallos se repiten por la misma razón.
¿Quién participa y qué hace cada uno?
Participan quien lleva el proceso afectado, quien configura o mantiene el agente y, si hubo un cliente o un dato personal implicado, la persona responsable de esa relación o de la protección de datos. El agente puede ayudar reuniendo el historial de lo ocurrido, ordenando la línea de tiempo y buscando si el mismo problema aparece en otras conversaciones. Lo que no puede hacer es juzgar por sí mismo qué falló ni decidir qué se cambia: ese análisis y esas decisiones son de las personas.
Conviene también acordar de antemano cómo se habla en la reunión. Los hechos se describen en términos de proceso («el documento no se había actualizado») y no de personas («Fulano no lo actualizó»). Si alguien se siente juzgado, la próxima vez callará, y una empresa donde se calla lo que falla acaba pagándolo.
Errores habituales al revisar un fallo
- Detenerse en la primera causa. «Fue un error del agente» rara vez es la causa final. Pregunta por qué una vez más.
- Arreglar solo el caso. Corregir la respuesta al cliente sin tocar la causa deja la puerta abierta a que vuelva a pasar.
- Cambiar demasiadas cosas a la vez. Si modificas diez cosas, no sabrás cuál funcionó.
- No volver a mirar. Un cambio sin comprobación posterior es una suposición.
Para tener a mano un criterio con el que valorar el trabajo del agente de forma periódica, puedes usar la hoja de evaluación del trabajo de un agente de IA: cinco criterios.
Conclusión
Un fallo del agente es una información valiosa sobre un proceso que tenía un hueco. Con cinco preguntas, qué pasó, qué usó el agente, por qué no se detectó, qué cambio lo evita y a quién más afecta, conviertes un mal rato en una mejora concreta, sin perder tiempo en buscar culpables.
En MG Solutions construimos agentes de IA específicos para cada empresa, adaptados a tu forma de trabajar y a tus herramientas, no una plantilla genérica, y los diseñamos pensando en que sus fallos se puedan rastrear y corregir.
Si quieres ver cómo encajaría en tu empresa, escríbenos y lo hablamos.