Si las consultas a tu agente de IA se disparan en rebajas, casi siempre no ha pasado nada raro: es temporada. Un data drift de verdad es otra cosa: un cambio duradero en cómo preguntan, compran o escriben tus clientes, que hace que el agente deje de acertar. La forma más barata de separarlos es hacer tres comparaciones antes de tocar nada: con el mismo periodo del año pasado, con lo que ocurre cuando termina la campaña y con el acierto del agente en una muestra revisada a mano.
Un lunes de enero abres el informe y ves que las consultas sobre cambios y devoluciones han crecido mucho, y que aparecen preguntas por plazos y condiciones que en noviembre casi no existían. Alguien del equipo sugiere «reentrenarlo». Antes de gastar tiempo y dinero conviene saber si lo que ves es el calendario o es el mundo cambiando. Esa duda, que una gran empresa resuelve con un equipo de analistas, tú puedes resolverla con una hoja y un poco de método.
¿En qué se diferencia el cambio de temporada del data drift?
El cambio de temporada es un patrón que se repite y vuelve a su nivel normal: rebajas, Navidad, vuelta al cole, una campaña concreta. Sube y baja con el calendario, y un agente bien preparado, con un año completo de historia detrás, ya lo conoce. El data drift ocurre cuando los datos que llegan dejan de parecerse a los que el agente conoció y no vuelven atrás: un producto nuevo, un cambio de precios, un público distinto, una norma que cambia lo que la gente pregunta o una forma nueva de escribir.
La pregunta que los separa es sencilla: ¿esto ya ha pasado antes y se acaba solo, o es nuevo y se queda? Si necesitas la definición con calma, la tienes en qué es el data drift y cómo afecta a tus modelos de IA.
Las tres comparaciones, una a una
1. Compara con el mismo periodo del año pasado
Mira las mismas semanas del año anterior. ¿Sube la actividad de forma parecida y con el mismo tipo de consultas? Entonces es temporada. Si hoy es mucho más alta o aparecen temas que entonces no existían, hay algo más que calendario: puede ser que hayas crecido, y eso no es un problema, o que algo haya cambiado de verdad.
Si tu negocio o tu agente llevan menos de un año en marcha, no tienes ese punto de comparación. En ese caso, apóyate en las otras dos y evita conclusiones rápidas: un solo pico no dice nada.
2. Compara con lo que pasa cuando termina la campaña
Espera a que acabe el evento y mira si la actividad y el tipo de consultas vuelven a lo de antes. Si vuelven, era temporada. Si el tipo de consulta nuevo se queda, es un cambio permanente. Esta comparación exige paciencia: decidir en pleno pico es el error más habitual, porque todo parece anormal cuando hay prisa.
3. Compara el acierto, no solo el volumen
Más consultas no significan un agente peor. Lo que importa es si sigue resolviendo bien. Coge una muestra pequeña de casos de antes del pico y otra de durante el pico, y que una persona las revise con el mismo criterio. Si acierta igual, no hay deriva aunque haya mucho más trabajo. Si acierta menos, de forma sostenida y en casos del mismo tipo, esa sí es una señal que merece atención.
Qué decidir según lo que salga
Con las tres comparaciones sobre la mesa, hay cuatro situaciones habituales:
- Se parece al año pasado, vuelve a la normalidad y el acierto se mantiene. Es temporada. No toques el agente; anota lo ocurrido para el año que viene.
- Es temporada, pero el agente falla porque no conoce las condiciones de la campaña. No es deriva: es información que falta. Se resuelve cargándole las condiciones especiales, y dejándolas guardadas para la próxima.
- No se parece a otros años, no vuelve atrás y el acierto baja. Posible deriva. Es el momento de revisar el agente con quien lo mantiene.
- Cambia el tipo de consultas, pero el agente sigue acertando. Tu negocio ha cambiado y el agente lo aguanta. Conviene actualizarlo igualmente, antes de que deje de hacerlo.
¿Cuándo hay que reentrenar o ajustar el agente de verdad?
Muchas veces «reentrenar» no es lo que hace falta. En la mayoría de los casos basta con actualizar la información que el agente consulta: precios, condiciones, catálogo, plazos. Los ajustes más profundos se reservan para cuando el acierto baja de forma sostenida en casos que el agente ya debería saber resolver y no se explica por el calendario.
La decisión no es solo técnica: la toman juntos quien mantiene el agente y tú, con los datos de las tres comparaciones delante. Tú aportas lo que el agente no puede ver, como qué campañas lanzaste o si un competidor cambió sus precios. Y si el desvío es más amplio que los datos, hay más contexto en qué es el drift de un agente de IA en producción.
Qué hace el agente y qué sigue haciendo una persona
Un agente hecho a medida puede encargarse de la parte que más cansa:
- Preparar cada mes un resumen comparado: volumen, tipos de consulta y diferencia con el mismo periodo del año anterior, si hay historial.
- Señalar las desviaciones que se salen de lo esperado para la época.
- Separar y dejar lista la muestra de casos que debe revisar una persona.
Lo que sigue haciendo una persona es lo que requiere criterio: revisar la muestra, decidir si es campaña o cambio, y avisar al agente de lo que ocurre fuera de sus datos. El agente no sabe que has lanzado una promoción si nadie se lo cuenta. Y la decisión de reentrenar, ajustar o esperar la toma quien responde del negocio, no el informe.
Si quieres ver cómo se vive la temporada en general, tienes cómo la IA gestiona la estacionalidad del negocio.
Por dónde empezar con algo pequeño
No hace falta montar nada complejo para empezar a distinguir una cosa de la otra:
- Apunta en un calendario las fechas de rebajas, campañas y eventos de tu año y compártelo con quien mantiene el agente.
- Pide un informe mensual breve con el volumen y los tipos de consulta, y guárdalo cada mes para poder comparar.
- Guarda una muestra de casos de cada temporada alta. El año siguiente tendrás con qué comparar.
Con eso, a los pocos meses podrás responder con datos a la pregunta de si lo que ves es calendario o cambio.
Conclusión
Un aumento de consultas en rebajas o campaña no es una deriva del modelo: es lo normal de tu calendario. Un cambio permanente de comportamiento, que no vuelve atrás y viene con menos acierto, sí lo es. Con tres comparaciones sencillas, el mismo periodo del año anterior, el fin de la campaña y el acierto en una muestra revisada, puedes evitar reentrenar sin necesidad y actuar a tiempo cuando de verdad toca.
En MG Solutions construimos agentes de IA específicos para cada empresa, adaptados a tu forma de trabajar y a tus herramientas, no una plantilla genérica. Podemos plantear desde el principio la vigilancia del acierto junto con el calendario de tu negocio.
Si quieres ver cómo encajaría en tu empresa, escríbenos y lo hablamos.