"Nuestro sistema de IA no discrimina, no usa el género ni el origen como variables." Es la respuesta más habitual cuando se pregunta a una empresa si ha auditado su sistema de IA frente a la discriminación, y también una respuesta que, por sí sola, no demuestra nada: como veremos, un modelo puede discriminar sin usar directamente ninguna característica protegida. Auditar de verdad un sistema exige un proceso más riguroso que revisar qué variables tiene en su lista de entrada.
Aviso importante: este artículo describe un proceso general de revisión técnica y organizativa, no asesoría legal. Determinar si un sistema concreto incurre en discriminación ilegal, y qué obligaciones aplican a tu empresa, requiere la valoración de un abogado especializado en la materia.
Qué significa auditar, más allá de revisar por encima
Auditar un modelo de IA frente a la discriminación no es lo mismo que preguntarle al proveedor si su sistema es "justo" y quedarse con su palabra, ni que hacer una revisión superficial de qué datos usa. Es un proceso estructurado que examina los datos de entrada, el comportamiento del sistema con distintos grupos de personas y los resultados reales que produce, con el objetivo de responder a una pregunta muy concreta: ¿trata este sistema de forma sistemáticamente distinta a personas con características equivalentes, cuando esa característica que varía está protegida por la normativa de igualdad y no discriminación?
Este artículo se centra en el proceso de auditoría en sí, como una secuencia de pasos que cualquier empresa puede exigir o poner en marcha. Si buscas entender primero qué es el sesgo algorítmico como concepto, o qué técnicas existen para mitigarlo una vez detectado, esos aspectos los desarrollamos en qué es el sesgo algorítmico y en cómo evitar sesgos en los sistemas de IA empresariales.
Quién debe estar involucrado en la auditoría
Un error frecuente es tratar esto como una tarea puramente técnica, delegada solo al equipo de datos o al proveedor del sistema. Una auditoría con garantías necesita al menos tres perspectivas: alguien con conocimiento técnico que pueda examinar datos y resultados, alguien con conocimiento del negocio y del puesto o la decisión concreta que el sistema apoya, y alguien con criterio legal que valore si una diferencia detectada tiene una justificación de negocio legítima o constituye un trato discriminatorio. Sin esta última perspectiva, una auditoría puede detectar diferencias estadísticas sin saber interpretar cuáles son relevantes desde el punto de vista normativo.
Los pasos de una auditoría de discriminación
1. Delimitar el riesgo según la decisión que toma el sistema. No todos los usos de IA requieren el mismo nivel de auditoría. Un sistema que solo prioriza el orden de atención de consultas rutinarias no tiene el mismo impacto que uno que participa en decisiones de contratación, concesión de crédito o acceso a un servicio. El primer paso es clasificar honestamente el nivel de impacto de la decisión sobre las personas afectadas.
2. Examinar los datos con los que se entrenó o se calibró el sistema. Revisar si los datos históricos reflejan ya un desequilibrio relevante entre grupos, si algún grupo está insuficientemente representado, y si existen variables que puedan actuar como sustitutos indirectos de una característica protegida (un código postal, un tipo de universidad, un patrón de horario de trabajo).
3. Hacer pruebas de comparación directa. Consiste en tomar casos equivalentes en todo salvo en la característica que se quiere comprobar, y observar si el resultado del sistema cambia. Por ejemplo, mismo perfil de currículum cambiando solo el nombre, o misma solicitud de crédito cambiando solo el código postal. Si el resultado varía de forma sistemática, hay una señal clara que investigar.
4. Desagregar los resultados reales por grupo. No basta con mirar la precisión media del sistema: hay que comprobar si esa precisión, o la tasa de resultados favorables, es distinta entre grupos relevantes (género, edad, origen, u otras características protegidas aplicables al caso). Una diferencia notable entre grupos, sin que exista una razón legítima que la explique, es la señal más directa de un problema.
5. Distinguir diferencia estadística de discriminación ilegal. Aquí es donde entra el criterio legal: no toda diferencia detectada constituye necesariamente una discriminación en el sentido jurídico del término, y no toda ausencia de diferencia visible garantiza que no exista un problema legal de fondo. Esta valoración no debe hacerla solo el equipo técnico; requiere el criterio de un profesional que conozca la normativa aplicable al sector y al tipo de decisión concreta.
6. Documentar todo el proceso y la decisión tomada. Qué se revisó, qué se encontró, qué medidas se tomaron y por qué. Esta documentación no es solo una formalidad: es lo que permite demostrar, si en algún momento se cuestiona una decisión del sistema, que la empresa actuó con diligencia razonable al implantarlo y supervisarlo.
7. Fijar una revisión periódica, no una auditoría única. Un sistema auditado y aprobado en el momento de su implantación puede desarrollar problemas con el tiempo, a medida que cambian los datos con los que sigue operando o el contexto en el que se usa. La auditoría debe repetirse con una frecuencia razonable, no tratarse como un trámite de un solo uso.
Señales de alarma que deberían adelantar una auditoría
Algunas situaciones justifican adelantar una auditoría sin esperar al ciclo de revisión habitual: un cambio notable en el perfil de las personas que solicitan un servicio o un puesto, una queja o reclamación concreta de alguien que sospecha un trato distinto, un cambio relevante en los datos de entrenamiento del sistema, o simplemente el hecho de que nunca se haya hecho una auditoría de este tipo desde que el sistema está en funcionamiento.
Qué hacer si la auditoría encuentra un problema
Encontrar una diferencia relevante entre grupos no significa necesariamente parar el sistema de inmediato en todos los casos, pero sí exige, como mínimo, reforzar la revisión humana de las decisiones afectadas mientras se investiga la causa, y valorar con el proveedor o con el equipo técnico qué ajuste corrige el problema: en los datos, en el propio modelo o en cómo se interpretan sus resultados. Lo que no es una opción razonable es descubrir el problema y seguir usando el sistema sin cambios porque "de momento no ha habido ninguna reclamación": ese argumento no protege a la empresa si el problema se hace evidente más adelante.
Conclusión
Auditar un modelo de IA frente a la discriminación es un proceso, no una casilla que se marca una vez. Exige mirar los datos, probar el comportamiento real del sistema con casos comparables, involucrar criterio legal además de técnico, y repetir la revisión con el tiempo. En MG Solutions incorporamos este tipo de revisión en los proyectos de IA que tocan decisiones sobre personas, siempre en coordinación con el asesoramiento legal que corresponda a cada empresa. Reserva una primera reunión si quieres revisar un sistema que ya tienes en marcha.