Una empresa que empieza a usar IA para filtrar currículums, priorizar solicitudes de crédito o segmentar clientes suele centrar su atención en la eficiencia que gana el proceso. Lo que muchas veces queda en segundo plano es una pregunta incómoda pero necesaria: ¿trata ese sistema a todas las personas por igual, o reproduce y amplifica desigualdades que ya existían en los datos con los que se entrenó? Esa pregunta es la que aborda el concepto de sesgo algorítmico.
Qué es el sesgo algorítmico
El sesgo algorítmico es una distorsión sistemática en las decisiones o recomendaciones de un sistema de IA, que hace que trate de forma diferente a personas o grupos en función de características como el género, el origen, la edad o el código postal, sin que exista una razón legítima para esa diferencia. No suele ser intencionado: surge, casi siempre, porque el modelo aprendió de datos históricos que ya contenían esas desigualdades, y las reproduce como si fueran un patrón válido a seguir.
Un ejemplo real y muy citado en el sector es el de sistemas de selección de personal entrenados con currículums de una empresa donde, históricamente, la mayoría de contrataciones en puestos técnicos habían sido hombres. El modelo, al aprender de ese histórico, terminó penalizando currículums que incluían palabras asociadas a candidatas mujeres, no porque nadie se lo programara así, sino porque ese patrón estaba presente en los datos de entrenamiento.
La analogía más clara es la de un aprendiz que solo ha visto un tipo de ejemplos durante su formación: si a un nuevo empleado solo se le enseña con casos de un tipo de cliente, tenderá a tratar peor —o directamente a no saber gestionar bien— a los clientes que no encajan en ese patrón. Un modelo de IA hace lo mismo, pero a una escala mucho mayor y con una apariencia de objetividad matemática que puede hacer más difícil detectar el problema.
Este tipo de sesgo no se limita a la selección de personal: aparece también en sistemas de puntuación crediticia que penalizan códigos postales asociados a barrios de renta baja, en herramientas de fijación de precios que ofrecen condiciones distintas según el dispositivo o la zona desde la que se conecta el usuario, o en asistentes de atención al cliente que responden con distinto nivel de detalle según el idioma o el acento detectado en la consulta.
Por qué importa para la decisión de negocio
El riesgo legal es directo en varios ámbitos: la normativa de igualdad y no discriminación se aplica igual si la decisión la toma una persona o un algoritmo. Una empresa que usa IA para decisiones que afectan a personas —contratación, concesión de crédito, fijación de precios, priorización de solicitudes— no queda exenta de responsabilidad por el hecho de haber delegado esa decisión en un sistema automatizado. Si el sistema discrimina, la responsabilidad legal sigue siendo de quien lo puso en marcha.
El riesgo reputacional es, si cabe, más rápido de materializarse: los casos de sesgo algorítmico son un tipo de noticia que se viraliza con facilidad, porque conecta con preocupaciones sociales muy sensibles. Una empresa señalada por usar un sistema "que discrimina" sufre un daño de imagen que puede ser mucho más costoso que el propio proyecto de IA que lo causó.
Y hay un tercer motivo, más silencioso pero igual de relevante: el sesgo algorítmico, cuando no se detecta, hace que la empresa tome peores decisiones de negocio sin saberlo. Si un sistema de scoring de clientes penaliza sistemáticamente a un segmento rentable por un sesgo en los datos históricos, la empresa está perdiendo oportunidades reales sin ser consciente de ello, algo que ninguna cifra de eficiencia del proyecto refleja.
Conviene añadir un último matiz de negocio: en sectores donde la regulación exige poder justificar decisiones automatizadas —banca, seguros, recursos humanos regulados—, no poder demostrar que el sistema ha sido evaluado frente al sesgo puede bloquear directamente la posibilidad de operar con ese sistema, más allá de cualquier sanción posterior.
Qué preguntas debe hacer tu empresa al proveedor
- ¿Con qué datos se entrenó el modelo, y se ha analizado si esos datos reflejan desequilibrios históricos relevantes para mi caso de uso?
- ¿Se han realizado pruebas de equidad (fairness testing) que comparen los resultados del sistema entre distintos grupos demográficos?
- ¿Qué variables usa el modelo para tomar decisiones, y existe el riesgo de que alguna funcione como sustituto indirecto de una característica protegida (por ejemplo, el código postal como aproximación al origen étnico)?
- ¿Existe un mecanismo de revisión humana antes de que las decisiones más sensibles del sistema —descartar un candidato, denegar una solicitud— se apliquen sin más?
- ¿Con qué frecuencia se reevalúa el modelo para detectar sesgos que puedan aparecer con el tiempo, a medida que cambian los datos reales?
Estas preguntas cobran especial relevancia porque la evaluación de sesgos es uno de los requisitos que revisa la normativa europea, y no atenderla a tiempo puede acabar entre las sanciones por incumplir el AI Act. No en vano, el sesgo algorítmico es uno de los temores recurrentes que analizamos al hablar de la seguridad de la IA en las empresas.
Qué NO es el sesgo algorítmico
Un error común es pensar que el sesgo algorítmico solo existe si alguien lo introdujo deliberadamente. En la inmensa mayoría de los casos ocurre sin ninguna intención discriminatoria: el problema está en los datos de entrenamiento o en el diseño del sistema, no en una decisión consciente de nadie. Eso no reduce la responsabilidad de la empresa que lo usa, pero sí cambia el enfoque de la solución: no se trata de buscar culpables, sino de auditar el sistema.
Tampoco es cierto que eliminar del modelo variables como el género o el origen étnico resuelva el problema por sí solo. Los modelos pueden aprender a usar variables aparentemente neutras —un código postal, una universidad, un patrón de horario— como sustitutos indirectos de esas características protegidas, así que la ausencia de la variable explícita no garantiza la ausencia de sesgo. Y, por último, no es un problema que se resuelva una sola vez: un modelo libre de sesgos detectables en el momento de su implantación puede desarrollarlos con el tiempo, a medida que se reentrena con nuevos datos, así que la revisión debe ser continua, no puntual.
Conclusión
El sesgo algorítmico no es un problema exclusivo de las grandes tecnológicas que entrenan modelos desde cero: afecta a cualquier empresa que use IA para tomar o apoyar decisiones sobre personas, incluso si solo está usando una herramienta de un proveedor externo. Detectarlo antes de que cause un problema legal o reputacional es responsabilidad de quien decide implantar el sistema, no solo de quien lo construyó.
Si tu empresa quiere revisar si un sistema de IA que usa para decisiones sobre clientes o personal puede tener sesgos sin detectar, pide un diagnóstico gratuito y lo analizamos juntos.