No existe un porcentaje de aciertos que sirva para todos los agentes de IA. El umbral aceptable depende de lo que cuesta cada error: equivocarse al clasificar un correo en la carpeta equivocada se arregla en diez segundos, mientras que equivocarse en el importe de una factura puede significar un cliente enfadado y un problema con Hacienda. Por eso la pregunta útil no es «¿cuánto acierta?», sino «¿qué pasa cuando falla y quién lo detecta?».
Esto es lo que ya hace cualquier empresa grande con sus procesos: no exige la misma perfección a quien reparte el correo interno que a quien cierra el balance. Tú puedes aplicar la misma lógica con tus agentes, sin necesidad de entender cómo funcionan por dentro.
¿Por qué no hay un porcentaje válido para todo?
Porque un porcentaje de aciertos es un promedio, y los promedios esconden lo que más importa: qué errores son y cuánto duelen. Un agente que acierta casi siempre al leer pedidos puede fallar justo en los pedidos grandes o en los de un cliente concreto, y ese fallo raro cuesta más que cien aciertos juntos.
Además, «acertar» significa cosas distintas según la tarea. En una clasificación hay una respuesta correcta clara. En un borrador de correo, la calidad es cuestión de matices. En una respuesta sobre plazos o condiciones, un error pequeño de redacción puede convertirse en una promesa que no puedes cumplir. Por eso conviene definir el umbral para cada tarea por separado y no para el agente en su conjunto.
Cómo fijar el umbral: tres preguntas antes de nada
Para cada tarea que quieras darle al agente, responde estas tres preguntas con la persona que hoy la hace:
- ¿Qué pasa si se equivoca? ¿Hay que repetir un minuto de trabajo, perder a un cliente, pagar de más, incumplir una norma?
- ¿Cómo se entera alguien del error? Un fallo que salta a la vista en cuanto aparece es mucho menos grave que uno que nadie ve hasta semanas después.
- ¿Se puede deshacer? Cambiar la etiqueta de un correo se deshace; enviar un presupuesto con un precio equivocado a un cliente, no.
Con las respuestas, la tarea cae en una de tres zonas, que te sirven para decidir cuánta supervisión necesita:
- Errores baratos y visibles: clasificar correos, etiquetar consultas, ordenar documentos. El agente puede trabajar solo y una persona revisa una muestra de vez en cuando.
- Errores que cuestan, pero se detectan a tiempo: borradores de respuestas a clientes, resúmenes de reuniones, propuestas de pedido. El agente prepara y una persona revisa antes de que salga.
- Errores caros o irreversibles: facturas, pagos, contratos, avisos legales, decisiones sobre personas. El agente prepara y organiza, pero una persona decide y firma, siempre.
La segunda y la tercera zona no mejoran con «más porcentaje»: mejoran con una revisión humana en el punto adecuado del proceso. Esa idea la desarrollamos en límites del equipo virtual: decisiones que siempre firma una persona.
¿Cómo se mide el acierto de un agente en tu empresa?
Se mide con tus propios casos reales, no con los datos que enseña quien vende la herramienta. El método es sencillo: reúne un conjunto de casos que ya resolvió una persona de tu equipo (por ejemplo, un par de cientos de correos ya clasificados o de pedidos ya procesados), haz que el agente los resuelva sin ver la solución y compara los resultados con lo que hizo la persona.
Fíjate en tres cosas, no solo en el total. Primero, qué tipo de casos falla: ¿los largos, los de un cliente concreto, los escritos con prisa? Segundo, qué tipo de error comete: uno trivial o uno que habría llegado al cliente. Tercero, si falla con aplomo, dando una respuesta segura y equivocada, o si duda y pide ayuda. Un agente que avisa «no lo tengo claro, revisa tú» es más fácil de gobernar que uno que se equivoca con seguridad.
A ese conjunto de casos de referencia se le llama a veces conjunto de pruebas, y lo explicamos en qué es un dataset de referencia para evaluar IA. Y si quieres ir más allá de los números, en cómo evaluar la calidad de las respuestas de una IA tienes criterios para valorar también los textos.
Qué errores exigen una persona, sea cual sea el resultado
Hay errores que no se aceptan, por bueno que sea el promedio, y que por tanto necesitan siempre una revisión humana antes de que salgan de la empresa:
- Cualquier importe que se cobre, se pague o se firme.
- Comunicaciones con consecuencias legales o fiscales.
- Decisiones sobre personas: contratar, despedir, evaluar, sancionar. Las toma una persona; el agente, como mucho, ordena la información.
- Respuestas sobre salud, derechos o dinero de un cliente.
- Cualquier acción que no se pueda deshacer.
En estos casos, no se trata de que el agente «llegue a un porcentaje». Se trata de que su trabajo sea un borrador bien preparado y de que una persona lo valide.
Cómo empezar: confianza por etapas
Si dudas de cuánta autonomía darle, avanza por etapas, tarea a tarea:
- Etapa de sombra: el agente trabaja, pero nada sale. Una persona compara su resultado con el suyo durante unas semanas.
- Etapa de revisión: el agente propone y una persona aprueba cada caso. Anotas qué tipos de error aparecen.
- Etapa de muestra: si los errores son pocos y baratos, el agente trabaja solo en esa tarea y se revisa una muestra periódica.
- Vuelta atrás: si una semana se complica, regresas a la etapa anterior sin drama.
Lo que cuenta no es que el agente llegue a una cifra mágica, sino que tú decidas, tarea por tarea, cuánto confías en él y puedas retirarle esa confianza cuando haga falta.
Conclusión
Un porcentaje de aciertos sin contexto no dice nada. Lo que importa es qué cuesta cada error, quién lo detecta y si se puede deshacer. Con esas tres preguntas puedes fijar un umbral distinto para cada tarea, dejar que el agente trabaje solo donde los errores son baratos y mantener a una persona en todo lo que toque dinero, obligaciones legales o decisiones sobre personas.
En MG Solutions construimos agentes de IA específicos para cada empresa, con el nivel de supervisión ajustado a cada tarea, a tu forma de trabajar y a tus herramientas, no una plantilla genérica.
Si quieres ver cómo encajaría en tu empresa, escríbenos y lo hablamos.