Si un proveedor te enseña una tabla con puntuaciones altas de su modelo de IA, esa tabla no te dice cómo se comportará con tus clientes, tus productos y tu forma de hablar. Para saberlo hay que probarlo con casos tuyos, y se puede hacer en una tarde con una hoja de cálculo y alguien del equipo que conozca el negocio.
Las grandes empresas lo tienen asumido: antes de poner una herramienta delante de sus clientes, la pasan por un periodo de pruebas con situaciones reales de la casa. No se conforman con lo que dice la ficha comercial. Una pyme puede hacer lo mismo, en pequeño, sin un equipo técnico.
¿Qué mide realmente un benchmark y qué no?
Un benchmark es un examen estándar: un conjunto fijo de preguntas, iguales para todos los modelos, que se corrige con un criterio común y da una puntuación. Sirve para comparar, en general, qué modelo razona mejor, resume mejor o programa mejor. Es como la nota media de un opositor en un examen genérico: dice algo, pero no cómo se desenvolverá en tu mostrador.
Lo que no mide es lo que a ti te importa: si entiende cómo piden las cosas tus clientes, si respeta el tono de tu empresa, si maneja bien tus tarifas, tus plazos y tus excepciones, y si sabe decir «esto no lo sé, te lo pasa una persona» en lugar de inventar. Además, el proveedor elige qué examen enseñar. Es razonable que presente aquellos en los que su modelo sale mejor, y eso no tiene nada de sospechoso: es lo que hace cualquiera con su escaparate.
Por qué tus clientes no se parecen al examen
Los exámenes públicos están hechos con textos limpios y preguntas bien formuladas. Tus clientes escriben por WhatsApp con faltas, abrevian, mezclan dos peticiones en un mensaje y usan la jerga de tu sector, que casi nunca está en ningún examen. Una gestoría habla de «modelos» y «trimestrales», un taller de «la correa» y «el cambio de aceite que me tocaba», un distribuidor de referencias internas que solo entiende su almacén.
Hay otro problema: los casos difíciles de tu negocio son raros en cualquier examen general. La clienta que pide algo que tu empresa no hace, el pedido que llega incompleto, la queja con tono agresivo, el cliente que pregunta por una oferta que ya caducó. Ahí es donde un agente se gana la confianza o la pierde, y ahí es donde un benchmark general no mira. Por eso un modelo con muy buena puntuación puede quedarse corto en tu caso y otro más modesto puede encajar mejor.
¿Cómo montar una prueba con tus propios casos sin técnicos?
Basta con una hoja de cálculo y una tarde de trabajo. Estos son los pasos, de más sencillo a más fino:
- Reúne casos reales. Entre quince y treinta consultas de verdad, sacadas de tu correo, de tu WhatsApp o de tu historial de atención. Incluye las fáciles, las raras y al menos cinco de las que más te preocupan. Antes de usarlas, quita nombres, teléfonos y cualquier dato personal: para una prueba no hacen falta.
- Escribe la respuesta que tú darías. Una línea por caso basta. Es tu referencia: lo que sería una buena respuesta en tu empresa, no una respuesta perfecta de manual.
- Pasa los mismos casos a cada candidato. Si comparas dos propuestas, que ambos reciban exactamente los mismos mensajes, y que lo haga el proveedor delante de ti o con tu acceso, no con ejemplos que él haya elegido.
- Puntúa a ciegas. Quien corrige, idealmente alguien de atención o de operaciones, no debe saber qué respuesta es de qué candidato. Una escala de tres niveles es suficiente: sirve tal cual, sirve con retoques, no sirve.
- Apunta por qué falla. Más útil que la nota es la razón: inventó un dato, no entendió la jerga, fue seco, no escaló a una persona cuando debía.
Si hace falta ayuda para preparar la hoja, es una tarea razonable para el proveedor, pero la corrección de los resultados la debe hacer alguien de tu equipo. Es quien sabe cómo suena un buen servicio en tu casa. Para ampliar el método de corrección, mira cómo evaluar la calidad de las respuestas de una IA.
Cómo leer los resultados sin engañarte
Cuando tengas la hoja corregida, fíjate en tres cosas antes de mirar la nota global.
Primero, el tipo de fallo. No es lo mismo una respuesta algo sosa que una respuesta que inventa un plazo o una condición que tu empresa no ofrece. El segundo tipo, aunque ocurra pocas veces, es el que condiciona la decisión, porque es el que te genera un problema con un cliente.
Segundo, qué pasa con lo que no sabe. Un buen agente reconoce el límite y pasa el caso a una persona con un resumen. Si en la prueba se lanza a responder cualquier cosa con total seguridad, ten cuidado: en producción hará lo mismo.
Tercero, la facilidad de corregir. Si un fallo se arregla cambiando una instrucción o añadiendo un documento tuyo, es poco preocupante. Si el fallo es de fondo y el proveedor no sabe explicar por qué ocurre, es una señal para seguir mirando otras opciones. Ten presente que una muestra pequeña no demuestra nada definitivo: te da una idea honesta, mucho mejor que ninguna, pero no una garantía.
¿Cuándo sí sirven las puntuaciones públicas?
Sirven como primer filtro, no como decisión final. Si estás eligiendo entre muchas opciones, las puntuaciones generales permiten descartar modelos claramente flojos para tu tipo de tarea, igual que un currículum sirve para decidir a quién llamas a entrevista. También ayudan a entender si un modelo es más rápido, más económico o más potente que otro, y esas diferencias pesan en el coste de uso.
Lo razonable es combinar ambas cosas: usar los benchmarks para reducir la lista a dos o tres candidatos y tus casos reales para elegir entre ellos. Si quieres profundizar en esa comparación, tienes cómo comparar modelos de IA para tu caso de uso, y para saber qué más preguntar a quien te propone el proyecto, qué preguntar antes de contratar un proveedor de IA.
Qué hace el agente, qué hace tu equipo y qué conviene cuidar
En esta prueba, el agente (el programa que responde mensajes o prepara tareas) no se evalúa a sí mismo ni decide si está listo. Esa decisión es del gerente, con la opinión de quien conoce al cliente.
- Lo que hace la herramienta de IA: responde a los casos que le pases, siempre con los mismos datos de partida.
- Lo que hace una persona de tu equipo: elige los casos, escribe la respuesta de referencia, corrige a ciegas y decide qué fallos son aceptables.
- Lo que hace el proveedor: prepara el entorno de la prueba, explica los fallos y propone ajustes. No debe puntuarse a sí mismo.
Cuida también los datos: usa casos anonimizados y no subas a una herramienta ajena información de clientes sin saber dónde se guarda ni quién puede verla. Y repite una versión corta de la prueba cuando el agente cambie de modelo o de instrucciones, porque lo que funcionaba ayer puede variar con un cambio pequeño.
Conclusión
El benchmark del proveedor te enseña cómo rinde su modelo en un examen general; tus casos te enseñan cómo rendirá en tu empresa, con tus clientes y tu jerga. Para decidir, las dos fuentes valen, pero la segunda pesa más, y se puede montar sin técnicos con una hoja de cálculo, unos cuantos casos reales y un corrector que conozca el negocio.
En MG Solutions construimos agentes de IA específicos para cada empresa, adaptados a tu forma de trabajar y a tus herramientas, no una plantilla genérica, y los probamos con casos reales tuyos antes de ponerlos delante de un cliente.
Si quieres ver cómo encajaría en tu empresa, escríbenos y lo hablamos.