Una auditoría trimestral de tus agentes de IA son doce preguntas, repartidas en cuatro bloques (accesos, errores, cambios y gasto), que respondes una vez cada tres meses en una reunión de una hora con la persona que mantiene cada agente. No es una inspección técnica: es lo que haría el dueño de cualquier negocio con un empleado nuevo, repasar qué ha hecho, a qué tiene acceso, qué se ha estropeado y cuánto cuesta.
Una gran empresa tiene un departamento de auditoría interna que revisa sus sistemas con calendario fijo. Una pyme no lo necesita entero, pero sí necesita el hábito, porque un agente que funciona bien en marzo puede estar haciendo algo distinto en septiembre sin que nadie lo haya decidido: un acceso que nadie retiró, un error que se repite, una tarifa que cambió. Con un cuestionario corto y una reunión fija, tienes la visión que le falta a quien delega bastante.
Accesos y permisos: las preguntas 1 a 3
Empieza por lo que puede salir peor: que el agente llegue donde no debe.
- ¿A qué sistemas y datos accede el agente, y los necesita todos? Pide la lista concreta: correo, hojas de cálculo, programa de facturación, carpetas. Lo que no necesite, se quita.
- ¿Quién puede cambiar su configuración, y ha cambiado algo esa lista de personas? Si ha entrado o se ha ido alguien del equipo o del proveedor, hay que revisar sus accesos.
- ¿Quedan credenciales o permisos de pruebas antiguas que ya no se usan? Las claves provisionales tienden a quedarse años.
Si el agente maneja datos de clientes o de personal, esta parte pesa más. Cualquier duda sobre cómo se tratan esos datos es consulta para tu asesor de protección de datos, no una decisión que tome la reunión.
Errores y casos que pasan a una persona: las preguntas 4 a 6
Aquí compruebas si el agente sigue haciendo bien su trabajo.
- ¿Qué errores ha habido este trimestre, y cuáles llegaron a un cliente o a una factura? Pide ejemplos, no solo el número. Un error sin ejemplo no se puede arreglar.
- ¿Cuántos casos ha pasado el agente a una persona, y son más o menos que antes? Si pasa más casos, puede que el negocio haya cambiado o que el agente pierda precisión; si no pasa ninguno, quizá no avisa cuando debería.
- ¿Se ha revisado a mano una muestra de su trabajo, y qué reveló? Una persona, con el mismo criterio cada vez, debe haber mirado una selección de resultados. Si nadie lo ha hecho, esa es la primera acción del trimestre.
Cambios: las preguntas 7 a 9
Los agentes no se estropean solos, pero cambian, y las causas suelen estar fuera.
- ¿Qué se ha modificado en el agente y quién lo aprobó? Cada cambio debería tener fecha, motivo y responsable.
- ¿Ha cambiado algo en tu negocio que el agente deba saber? Precios nuevos, productos, horarios, normas internas, una política de devoluciones. Si el agente no lo sabe, trabajará con información vieja.
- ¿Ha cambiado algo en las herramientas que usa o en el proveedor? Una actualización del programa al que se conecta o del servicio que lo sostiene puede alterar su comportamiento. Es el mismo problema que explicamos en qué es el drift de un agente de IA en producción.
Gasto y decisión: las preguntas 10 a 12
El último bloque cierra el círculo con el dinero y la decisión.
- ¿Cuánto ha costado este trimestre (cuota, uso, horas de mantenimiento) frente a lo previsto? Si hay desviación, pide el motivo antes de seguir.
- ¿Qué tarea hace ahora el agente que antes hacía una persona, y qué hace esa persona con el tiempo liberado? Si nadie sabe contestar, el agente puede estar funcionando, pero no se está aprovechando.
- ¿Seguimos como estamos, ajustamos, ampliamos o paramos? ¿Quién lo hace y para cuándo? Sin esta decisión escrita, la auditoría se queda en conversación.
¿Cómo se lleva la reunión de una hora?
La reunión funciona si tiene orden y si cada pregunta tiene una respuesta concreta, anotada. Llega con tres cosas preparadas: la lista de accesos del agente, el registro de incidencias del trimestre y las facturas o el resumen de gasto. Un reparto razonable del tiempo es dedicar un cuarto de hora a cada bloque, más unos minutos para la decisión final, pero ajusta según el peso de cada agente.
Participan, como mínimo, tú como dueño o gerente y la persona que mantiene el agente (alguien de tu equipo o del proveedor). Si es una persona externa, pide que traiga los datos antes y que explique los términos técnicos en llano: si no entiendes una respuesta, la pregunta se queda sin contestar. Y anota cada respuesta con una de tres etiquetas: en orden, a mejorar con fecha, o urgente. Para quién se ocupa de este seguimiento a diario, tienes el supervisor de agentes: funciones y perfil del responsable.
¿Qué haces con las respuestas que no te gustan?
Lo normal es que salgan algunas. Si el problema es un acceso de más, se retira esa misma semana y se anota quién lo hizo. Si el gasto se ha desviado, se pide un desglose y se decide si se acota. Si el agente falla en un tipo de caso, se pide a quien lo mantiene un plan con fecha, y se decide si mientras tanto esos casos pasan siempre a una persona.
Lo que no conviene es tratar la auditoría como un examen con culpables. Si quien mantiene el agente teme que un hallazgo le perjudique, tenderá a ocultarlo. Lo sano es que cada respuesta incómoda termine en una acción con nombre y fecha. Y si una respuesta apunta a que el agente se ha vuelto un riesgo (datos que salen donde no deben, mensajes erróneos a clientes), la decisión de pararlo es tuya y se toma en el momento, sin esperar al trimestre siguiente.
También conviene saber qué no cubre esta lista: no sustituye una revisión legal ni una auditoría de seguridad técnica. Si tu actividad está regulada o el agente interviene en decisiones que afectan a personas, pide a tu asesor una revisión específica. Y si lo que quieres repasar es el uso general de la IA en la empresa (herramientas, equipo, formación), la lista complementaria es revisión trimestral del uso de IA: 12 puntos para el responsable. Para vigilar lo que falla sin hacer ruido, lee cuándo una automatización falla en silencio: cómo vigilarla.
Conclusión
Doce preguntas, cuatro bloques y una hora cada tres meses bastan para mantener a la vista lo que un agente de IA hace en tu empresa: a qué accede, qué errores comete, qué ha cambiado y cuánto cuesta. La clave no está en el cuestionario, sino en la rutina de hacerlo con fecha fija, con la persona que lo mantiene y con decisiones escritas.
En MG Solutions construimos agentes de IA específicos para cada empresa, adaptados a tu forma de trabajar y a tus herramientas, no una plantilla genérica. Podemos dejar preparado para cada agente el material de la revisión, de modo que la reunión sea corta y útil.
Si quieres ver cómo encajaría en tu empresa, escríbenos y lo hablamos.