Las mejoras con IA rara vez se rompen de golpe. Lo habitual es que se desgasten despacio: un cambio en los datos, una norma interna que nadie actualiza, un compañero nuevo que usa la herramienta de otra manera, o un equipo que, con el tiempo, revisa menos porque «casi siempre sale bien». A los tres meses el resultado ya no es el que era, y nadie sabe cuándo empezó.
La solución no es una auditoría larga, sino un hábito corto. Esta revisión mensual lleva de veinte a treinta minutos si tienes los datos a mano, y se puede imprimir y rellenar cada mes. Sirve para que la palanca que has montado (la tarea en la que la IA te ayuda a producir más con el mismo equipo) siga haciendo lo que esperabas de ella, o para que detectes a tiempo que ya no lo hace.
Antes de empezar: ten tu línea base a mano
Todo lo que sigue se mide contra algo. Esa referencia es la línea base: cómo se hacía la tarea antes de usar la IA (tiempo, errores, quejas) y cómo salió en el primer mes de uso. Si no la anotaste entonces, reconstrúyela ahora con lo que recuerdes, márcala como estimación y empieza a registrar desde este mes. No te inventes cifras: es preferible una nota honesta, como «aproximadamente, tres horas por semana», a un número exacto que nadie puede comprobar.
- Tengo anotado cómo se hacía la tarea antes (tiempo, errores, quejas).
- Tengo anotado qué resultado se esperaba al empezar y qué se consiguió el primer mes.
- Sé quién es la persona responsable de esta revisión y cuándo la hace cada mes.
- Tengo acceso a los ejemplos del mes: una muestra de lo que ha producido la herramienta.
Calidad de los resultados (10 minutos)
Mira una muestra, no todo. Elige entre cinco y diez resultados del mes, al azar y no solo los mejores, y revísalos como lo haría el destinatario.
- ¿Son correctos los datos clave (precios, fechas, nombres, cantidades)?
- ¿El tono sigue siendo el de la empresa o suena genérico?
- ¿Hay inventos, frases que suenan bien pero no se pueden comprobar?
- ¿Se han colado datos que no deberían haberse introducido, como datos personales o información confidencial?
- ¿Se mantienen las instrucciones iniciales o alguien las ha ido cambiando sin avisar?
- ¿Hay tipos de caso en los que falla siempre? Apúntalos: son candidatos a quedarse fuera o a revisarse siempre a mano.
Si un resultado erróneo ha llegado a un cliente o a un documento oficial, no esperes a la revisión mensual: corrige y anota qué ha pasado.
Quejas y comentarios (5 minutos)
Las quejas son la señal más temprana de que algo se degrada, porque llegan de personas que no saben cómo funciona la herramienta.
- ¿Ha habido quejas de clientes, proveedores o compañeros relacionadas con la tarea? ¿Cuántas y de qué tipo?
- ¿Alguien del equipo ha dicho que la herramienta «ya no sirve», «se equivoca más» o «da más trabajo»?
- ¿Hay clientes que han pedido hablar con una persona en lugar de recibir una respuesta preparada con apoyo de IA?
- ¿He preguntado directamente a quienes la usan qué les molesta y qué cambiarían?
- ¿Se ha anotado cada queja con fecha y con la causa probable?
Una queja aislada puede ser un caso raro. Si se repite el mismo motivo dos meses seguidos, ya es un patrón y merece un ajuste.
Tiempo de revisión humana (5 minutos)
Es el indicador que más se olvida. La IA debería quitar trabajo, pero si cada resultado exige una corrección larga, la ganancia se diluye. Y si nadie revisa nada, el riesgo aumenta.
- ¿Cuánto tiempo dedica la persona a revisar y corregir lo que prepara la herramienta? ¿Más o menos que el mes pasado?
- ¿Se está revisando todo lo que debería revisarse o ha empezado a pasarse por alto?
- ¿Las correcciones se parecen cada mes, de modo que podría mejorarse la instrucción inicial en lugar de repetir el arreglo?
- ¿La revisión recae siempre en la misma persona y se está convirtiendo en una carga?
- ¿Se sigue decidiendo por una persona todo lo que afecta a personas (contratar, evaluar, sancionar) y todo asesoramiento legal, fiscal o financiero?
Ten presente que el tiempo de revisión es parte del coste real de la herramienta. Si lo ignoras, una mejora aparente puede ser solo trabajo desplazado.
Desviaciones respecto a la línea base (5 minutos)
Compara este mes con la referencia, sin dramatizar. Lo que buscas son cambios sostenidos, no oscilaciones normales.
- Tiempo total de la tarea: ¿está por encima, por debajo o igual que en la línea base?
- Errores detectados: ¿más, menos o igual?
- Volumen: ¿ha cambiado la cantidad de trabajo, de modo que la comparación ya no es justa?
- Cambios en el entorno: ¿otro proveedor, otra versión de la herramienta, otra persona a cargo, otro tipo de cliente?
- Coste: ¿se mantiene el gasto en herramientas y en tiempo de revisión?
Cuando algo se desvía, no concluyas todavía que la causa es la IA. Primero pregúntate qué más ha cambiado.
Decisión del mes: seguir, ajustar o pausar
Cierra la revisión con una decisión escrita, de una línea. Tres opciones son suficientes.
- Seguir como está, si calidad, quejas, tiempo de revisión y desviaciones están dentro de lo esperado.
- Ajustar, si hay un patrón claro: cambiar las instrucciones, limitar la tarea a ciertos casos, formar de nuevo a quien la usa o aumentar la revisión.
- Pausar, si la herramienta ha producido un error grave, se han introducido datos que no debían introducirse o la corrección cuesta más que hacerlo a mano.
- Anotar la fecha de la próxima revisión y quién la hará.
- Comunicar al equipo, en dos líneas, lo que se ha decidido y por qué.
Un registro mensual de cinco líneas
No hace falta un programa. Una hoja compartida con una fila por mes y estas columnas basta:
| Mes | Calidad (muestra revisada) | Quejas | Tiempo de revisión | Desviación respecto a la base | Decisión |
|---|---|---|---|---|---|
| Ejemplo | Revisadas ocho, dos con errores de fecha | Una, por tono | Algo más que el mes anterior | Tiempo similar, errores algo más frecuentes | Ajustar instrucción |
Con seis meses de filas verás tendencias que ninguna impresión puede darte. Para profundizar en cada indicador, cómo medir la calidad del trabajo de un agente de IA mes a mes lo desarrolla, y cómo medir el impacto real de la IA en la productividad ayuda a no confundir actividad con mejora. Cuando pasen unos meses, la revisión trimestral del uso de IA en 12 puntos amplía esta mirada.
Conclusión
Una mejora con IA necesita mantenimiento, igual que una máquina o un proceso. Con veinte o treinta minutos al mes puedes comprobar si la calidad se mantiene, si las quejas se repiten, cuánto cuesta revisar y si te estás alejando de la línea base. Así evitas que una ganancia inicial se erosione sin que nadie lo vea, y tomas decisiones con datos de tu propio negocio.
En MG Solutions construimos agentes de IA específicos para cada empresa, adaptados a tu forma de trabajar y a tus herramientas, y formamos a tu equipo para sacarles partido.
Puedes ver el planteamiento completo en cómo apalancarte en IA.
Si quieres ver cómo encajaría en tu caso, escríbenos y lo hablamos.