Has formado a tu equipo en inteligencia artificial. Hubo sesiones, ejercicios y buen ambiente. Una semana después, el gerente pregunta lo que de verdad importa: "¿Y esto ha servido para algo?". En ese momento aparece el problema de casi toda formación en empresa: se organiza con cuidado, pero se evalúa con una encuesta de satisfacción y poco más.
Para ordenar esa pregunta existe un modelo clásico, asociado a Donald Kirkpatrick, que divide la evaluación de una formación en cuatro niveles: reacción, aprendizaje, conducta y resultados. No es nuevo ni específico de la IA, y por eso mismo funciona: sirve para cualquier curso y obliga a mirar más allá de si la gente salió contenta. Aquí lo traducimos a ejemplos concretos de una pyme que forma a su equipo en IA, con una advertencia desde el principio: hay un nivel que casi siempre se queda sin medir.
El modelo en dos minutos
Los cuatro niveles responden a cuatro preguntas, de la más fácil a la más difícil de contestar:
- Reacción: ¿les ha gustado y les ha parecido útil?
- Aprendizaje: ¿saben ahora hacer algo que antes no sabían?
- Conducta: ¿lo aplican de verdad en su trabajo?
- Resultados: ¿ha cambiado algo en el negocio?
Cada nivel se apoya en el anterior: si la gente no ha aprendido nada, es difícil que cambie su forma de trabajar, y si no cambia, tampoco habrá resultados. Pero la relación no es automática. Puede haber mucha satisfacción y poco aprendizaje, o buen aprendizaje que no llega a aplicarse porque el entorno no lo permite.
Un ejemplo para seguir
Para no quedarnos en la teoría, usaremos un caso hipotético. Imaginemos una pyme de servicios con quince personas, repartidas entre administración, área comercial y atención al cliente. La empresa contrata una formación en IA de dos sesiones, por puestos y con ejemplos de su propio trabajo. El gerente quiere saber si la inversión de tiempo y dinero merece la pena, sin montar un departamento de evaluación.
Veamos qué podría mirar en cada nivel.
Nivel 1: Reacción
La pregunta: ¿les ha parecido útil y aplicable?
En la pyme del ejemplo: al terminar cada sesión, se reparte una encuesta anónima de cinco preguntas. Por ejemplo: ¿lo que hemos visto se parece a tu trabajo?, ¿qué te llevarías para usar mañana?, ¿qué ha sobrado?, ¿qué ha faltado?, ¿hay algo que te preocupe y no se haya hablado?
Cómo hacerlo sin complicarlo: corta, anónima y con espacio para comentarios libres. Más que la nota media, interesan los comentarios: dicen qué ajustar en la segunda sesión.
Su límite: mide agrado, no aprendizaje. Una formación entretenida puede no enseñar nada, y una muy útil puede resultar incómoda. Es el nivel más fácil de medir y el menos concluyente por sí solo.
Nivel 2: Aprendizaje
La pregunta: ¿han adquirido conocimientos o habilidades que antes no tenían?
En la pyme del ejemplo: al final de la segunda sesión, cada persona hace un ejercicio con su propio caso. Quien trabaja en administración revisa una respuesta de IA con tres errores colocados a propósito y marca cuáles detecta. Quien trabaja en atención al cliente redacta, con ayuda de la herramienta, una respuesta a una consulta habitual y explica qué ha comprobado antes de enviarla. Si se hizo un mini ejercicio al principio, se puede comparar el antes con el después.
Cómo hacerlo sin complicarlo: un ejercicio práctico corto vale más que un test de preguntas. Lo que se evalúa es la comprensión, no la memoria: saber cuándo no fiarse de la herramienta, qué información no debe introducirse y cuándo avisar a otra persona.
Su límite: lo que se sabe hacer en el aula no siempre se hace en la oficina. Que alguien resuelva bien un ejercicio con el formador al lado no prueba que lo haga el lunes siguiente, con prisa y sin nadie delante.
Nivel 3: Conducta
La pregunta: ¿aplican lo aprendido en su trabajo diario?
En la pyme del ejemplo: pasadas unas semanas, el gerente o el responsable de cada área mira tres cosas. Primero, quién usa la herramienta y en qué tareas. Segundo, si se revisa lo que sale hacia un cliente antes de enviarlo. Tercero, si se respeta la norma sobre qué información no debe introducirse. Lo puede hacer con tres preguntas en la reunión semanal, mirando una muestra pequeña de trabajos o con una lista de comprobación que cada persona rellena de forma voluntaria.
Cómo hacerlo sin complicarlo: preguntar y observar, sin convertirlo en vigilancia. Si el equipo siente que lo evalúan a él, dejará de contar la verdad.
Su límite y sus obstáculos: este nivel no depende solo del curso. Depende de que la persona tenga tiempo, de que la herramienta esté disponible y, sobre todo, de que su responsable refuerce lo aprendido. Si el jefe no pregunta ni da ejemplo, lo aprendido se evapora. En cómo lidera el director general la adopción de IA en su equipo se ve cómo se crea ese entorno.
Nivel 4: Resultados
La pregunta: ¿ha cambiado algo en el negocio gracias a todo esto?
En la pyme del ejemplo: antes de la formación, la empresa anota uno o dos indicadores que le importan, por ejemplo el tiempo que se tarda en responder a una solicitud de presupuesto, el número de consultas que atiende cada persona o los errores detectados en documentos antes de salir. Meses después los vuelve a mirar y compara.
Cómo hacerlo sin complicarlo: elegir pocos indicadores, definirlos antes de empezar y no inventar otros después para que cuadre. Mejor un indicador modesto y bien medido que diez bonitos y vacíos.
Su límite: es difícil atribuir un resultado solo a un curso. Pueden haber influido la época del año, un cliente nuevo, otra herramienta o un cambio de organización. Por eso conviene hablar de evidencias razonables, no de pruebas, y no prometer retornos concretos. Hay más ideas sobre cómo medir el efecto de la IA en el trabajo en cómo medir el impacto real de la IA en la productividad.
Resumen en una tabla
| Nivel | Pregunta | Ejemplo en la pyme | Herramienta sencilla | Riesgo si se queda solo en este nivel |
|---|---|---|---|---|
| 1. Reacción | ¿Les ha parecido útil? | Encuesta anónima corta | Cuestionario de cinco preguntas | Confundir agrado con aprendizaje |
| 2. Aprendizaje | ¿Saben hacerlo ahora? | Ejercicio con un caso real | Tarea práctica y revisión de errores | Creer que lo que se hace en el aula se repite en la oficina |
| 3. Conducta | ¿Lo aplican? | Quién usa qué y qué se revisa | Preguntas en reunión y muestra de trabajos | No ver los obstáculos del entorno |
| 4. Resultados | ¿Ha cambiado el negocio? | Tiempos de respuesta, errores, consultas atendidas | Indicadores definidos antes de empezar | Atribuir al curso lo que se debe a otras causas |
Qué nivel suele quedarse sin medir
En la práctica, los niveles 1 y 2 se miden casi sin esfuerzo, y los niveles 3 y 4 son los que suelen quedarse sin medir. Hay razones bastante evidentes:
- Los dos primeros ocurren mientras el formador está presente. La encuesta y el ejercicio se hacen en la propia sesión, con el grupo reunido. Los dos últimos suceden semanas o meses después, en el puesto de trabajo, y nadie tiene asignado el seguimiento.
- Medirlos exige decidir qué indicador mirar antes de empezar. Si no se anotó cómo estaba la empresa antes de la formación, no hay con qué comparar después.
- Cuesta más y se ve menos. Dar una encuesta es inmediato; ir a preguntar a los equipos tres semanas después, no.
- Se teme el resultado. A veces se prefiere no mirar por si no se ve nada. Pero no mirar no significa que no se pierda tiempo, solo que no se sabe.
Dedicar un poco de esfuerzo al nivel 3 suele ser la mejor inversión, porque ahí se decide si la formación se convierte en práctica o se queda en recuerdo. Si quieres un enfoque más amplio de cómo evaluar el efecto de formar en IA, lo desarrollamos en cómo medir el impacto de la formación en IA. Y si además te preocupa poder demostrar qué formación recibió cada persona, tienes un checklist para acreditar la alfabetización en IA de tu plantilla.
Un aviso: se evalúa la formación, no a las personas
Una precaución importante. Los resultados de estas mediciones sirven para mejorar la formación y la forma de trabajar, no para puntuar a los empleados. Las decisiones sobre las personas (contratar, ascender, sancionar, evaluar el desempeño) las toman personas con criterio y con sus propios procedimientos, no una encuesta ni un ejercicio de un curso. Conviene, además, tratar los datos de forma agregada, sin exponer resultados individuales ante el resto del equipo.
Conclusión
El modelo de Kirkpatrick sirve para pasar de "les gustó el curso" a "¿cambió algo?". Reacción y aprendizaje se miden con facilidad durante la formación; conducta y resultados exigen preguntar después, con un indicador acordado de antemano, y son los que suelen quedarse sin medir. No hace falta una gran estructura: unas pocas preguntas bien elegidas, un ejercicio práctico y uno o dos indicadores sencillos bastan para tomar decisiones con más criterio.
En MG Solutions formamos a equipos de empresa en IA, por puesto y con casos reales de tu negocio, y también implantamos agentes de IA a medida.
Puedes ver cómo es el programa en formación en IA para empresas.
Si quieres ver cómo encajaría en tu caso, escríbenos y lo hablamos.