Usar una IA para evaluar las respuestas de otra, lo que en inglés se llama "LLM as judge" (un modelo de lenguaje que hace de juez), es una práctica real y útil para revisar muchas respuestas rápido y barato. Es fiable cuando le das criterios claros y comprobables y cuando compruebas, con una muestra revisada por personas, que sus notas se parecen a las que pondría un humano. No lo es si le dejas decidir solo.
Las grandes empresas que ponen agentes a atender clientes acumulan miles de conversaciones y no pueden leerlas todas, así que usan una IA para hacer una primera lectura. Una pyme tiene el mismo problema a menor escala: el agente atiende por la noche, el fin de semana y en agosto, y tú no puedes leerlo todo. Surge la tentación de decir "que otra IA lo revise". Funciona, con condiciones, y la decisión para ti como dueño o gerente es cuánto confiar en esa revisión.
¿Qué significa que una IA actúe de juez?
Se le da una conversación: la pregunta del cliente y la respuesta que dio el agente. Se le da también una rúbrica, que es una lista de criterios, por ejemplo: ¿responde a lo que se preguntó?, ¿usa el tono de la casa?, ¿evita prometer lo que no puede cumplir?, ¿pasó a una persona cuando debía? El juez devuelve una nota o un sí o no por criterio, con una explicación breve. Es lo que haría un supervisor con una hoja de revisión, pero a mucha más velocidad. Lo importante es entender que el juez no sabe más que el agente: es otro modelo que lee un texto y opina sobre él.
Qué ventajas tiene
Hay razones para usarlo:
- Cubre mucho más. Una persona revisa una muestra pequeña; el juez puede mirar todas las conversaciones.
- Es rápido. Tienes el resultado el mismo día, no al cabo de unas semanas.
- Es barato por revisión, comparado con las horas de una persona dedicada a leer.
- Aplica el mismo criterio a todas horas. No se cansa ni tiene un mal día.
- Permite comparar versiones. Si cambias las instrucciones del agente, el juez puntúa las dos con la misma vara. Lo cuenta con detalle instrucciones más cortas, factura más baja en tu agente de IA.
Qué sesgos tiene
Se conocen varias tendencias que conviene tener presentes, porque pueden dar notas que no reflejan la calidad real:
- Prefiere lo largo. Tiende a puntuar mejor una respuesta extensa aunque no sea mejor que una corta.
- Se fija en el orden. Si le enseñas dos respuestas para elegir, puede inclinarse por la que ve primero.
- Se favorece a sí mismo. Si el juez y el agente son el mismo modelo, tiende a valorar bien lo que se parece a lo que él escribiría.
- Se deja impresionar por lo bien escrito. Una respuesta fluida y segura le parece correcta, aunque contenga un dato falso.
- No conoce tu negocio. No sabe si el precio, el horario o el plazo que dijo el agente son los de tu empresa, salvo que le des esos datos para comparar.
¿Cuándo es fiable un juez de IA?
Es razonable fiarse cuando se cumplen varias condiciones a la vez. Los criterios son claros y se pueden comprobar con los datos que se le entregan, como "¿el horario que dice el agente coincide con el de la ficha?". El juez se ha probado antes contra personas y se sabe que coincide con ellas en la mayoría de los casos que importan. Se usa para ordenar y priorizar, es decir, para decidir qué conversaciones mirar primero, más que para sentenciar. Es un modelo distinto al del agente. Y el riesgo de equivocarse es bajo: un tono mejorable o una respuesta algo larga, no una promesa que compromete a la empresa.
¿Cuándo no es fiable?
En estos casos, la última palabra tiene que ser de una persona:
- Decisiones con consecuencias para personas o dinero: devoluciones, reclamaciones, asuntos laborales, legales, médicos o fiscales.
- Casos ambiguos o delicados, como la queja de un cliente enfadado, donde importa el matiz.
- Cuando nadie ha comparado al juez con una persona. Sin esa comparación, no sabes si acierta.
- Cuando se le pide una nota global ("del uno al diez") sin criterios concretos.
- Cuando juez y agente son el mismo modelo.
Y hay un límite que no depende de la técnica: la IA no debe usarse para evaluar a las personas de tu equipo ni para tomar decisiones sobre ellas. Evaluar a un empleado es una decisión sobre personas, y la toma un responsable, con el asesoramiento laboral que corresponda.
Cómo montarlo en una pyme
No hace falta una plataforma. Estos pasos bastan para empezar:
- Escribe una rúbrica de cuatro o cinco criterios que importen de verdad a tu negocio.
- Una persona puntúa a mano una muestra de conversaciones con esa rúbrica.
- El juez puntúa las mismas. Si sus notas difieren de las humanas en algún criterio, ajusta la rúbrica o deja ese criterio fuera.
- Pon al juez a revisar todo y a marcar lo dudoso o lo que haya salido mal.
- Cada semana, una persona revisa lo que el juez marcó, una muestra aleatoria de lo que dio por bueno y lo que los clientes hayan reclamado.
- De vez en cuando, repite la comparación entre juez y persona, porque el agente y el juez cambian con el tiempo.
El reparto queda así. El juez puntúa, agrupa los fallos por tipo y avisa de lo urgente. La persona decide qué hacer con cada fallo, cambia las instrucciones del agente si hace falta y es la única que da por bueno el trabajo. Esa revisión por muestreo es una práctica que ya usan las empresas grandes; la explicamos en comprobar lo que dice la IA: el control de calidad de las grandes.
Dónde seguir
Para saber qué criterios elegir, tienes cómo evaluar la calidad de las respuestas de una IA y una hoja de evaluación del trabajo de un agente de IA con cinco criterios. Si es la primera vez que lo haces, empieza por una sola rúbrica y una muestra pequeña: lo que más aporta al principio no es automatizar la revisión, sino saber qué es una buena respuesta para tu negocio.
Conclusión
Una IA que evalúa a otra es una herramienta de cribado: lee mucho, rápido y barato, y señala lo que merece atención. No es un árbitro. Tiene sesgos conocidos, no conoce tu negocio por sí sola y solo merece confianza cuando se ha contrastado con la opinión de personas sobre una muestra. Por eso la fórmula sensata combina un juez que mira todo y una persona que revisa una muestra y decide.
En MG Solutions construimos agentes de IA específicos para cada empresa, adaptados a tu forma de trabajar y a tus herramientas, no una plantilla genérica.
Si quieres ver cómo encajaría en tu empresa, escríbenos y lo hablamos.