RRHH & IAsesgo
Sesgos de género en la inteligencia artificial: cómo detectarlos
Detecta sesgos de género en la inteligencia artificial con ejemplos de selección y marketing. Compara resultados y documenta controles sin confundir una prueba con cumplimiento legal.
- Autor: humAIns
- 9 min de lectura
índice · 7 apartados
Los sesgos de género en la inteligencia artificial aparecen cuando los datos, las etiquetas, la forma de medir o el diseño de un sistema producen resultados sistemáticamente distintos o estereotipados según el género. Para detectarlos, compara casos equivalentes y documenta tanto los resultados como sus límites; una prueba de prompt no demuestra por sí sola que una herramienta sea justa ni que cumpla la ley.
En esta guía veremos ejemplos hipotéticos para equipos de selección y marketing, cómo distinguir un problema de datos de uno de salida y una prueba sencilla que un equipo puede repetir. No son resultados de una investigación empírica: sirven para plantear controles y preguntas verificables en el sistema que realmente uses.
Qué significa sesgo: datos y salida no son lo mismo
Imagina un sistema ficticio que recomienda candidaturas usando historiales de contratación de una empresa. Si en esos historiales hubo menos mujeres en ciertos puestos, el modelo podría aprender que ciertos perfiles históricamente masculinos son una señal de éxito. Ese sesgo puede estar en los datos de entrenamiento, aunque el sistema no reciba explícitamente una variable de género.
Otra posibilidad: el conjunto de datos está razonablemente equilibrado, pero el sistema produce descripciones distintas al resumir perfiles equivalentes. Eso sería un patrón observado en la salida. La causa podría estar en el modelo, en el prompt, en el contexto o en cómo se interpreta el resultado. No conviene diagnosticar la causa antes de reunir evidencia.
| Dónde aparece | Qué revisar | Pregunta útil |
|---|---|---|
| Datos | Cobertura y representación de grupos | ¿Quién falta o aparece muy poco? |
| Etiquetas | Decisiones históricas usadas como respuesta correcta | ¿La etiqueta mide mérito o reproduce una decisión previa? |
| Medición | Métricas agregadas o umbrales | ¿Un promedio oculta errores concentrados en un grupo? |
| Salida | Recomendación, clasificación, texto o imagen | ¿Cambian las respuestas ante casos equivalentes? |
| Despliegue | Contexto y uso real | ¿Quién revisa y qué decisión se toma con el resultado? |
Un resultado distinto no prueba automáticamente discriminación: puede deberse a una diferencia legítima en los casos, a azar o a una muestra pequeña. Pero sí es una señal que merece análisis. La recomendación de ética de IA de la UNESCO plantea la diversidad, la inclusión y la supervisión humana como principios relevantes para todo el ciclo de vida de estos sistemas.
Selección, imágenes publicitarias y lenguaje: ejemplos para revisar
Los ejemplos de esta sección son hipotéticos, no hallazgos publicados. Úsalos como guion de comprobación, no como afirmaciones sobre un producto o proveedor concreto.
Selección. Un equipo pide a una herramienta que priorice perfiles para una vacante. Para comprobar consistencia, puede preparar pares de perfiles con cualificaciones iguales y cambiar únicamente un indicador de género, como el nombre, evitando incluir datos personales reales. Si las recomendaciones o explicaciones varían, registra la diferencia y repite con otros ejemplos. Esto no basta para medir todo el proceso: la herramienta puede recibir otras señales indirectas y el resultado final también depende de cómo lo use el equipo.
Imágenes de marketing. Un generador visual recibe el encargo de crear imágenes para una campaña de liderazgo o cuidados. El equipo puede revisar si, ante instrucciones equivalentes, aparecen de forma repetida roles o características estereotipadas. No concluyas que una imagen aislada demuestra un patrón: conserva varias generaciones, la misma instrucción y sus variantes, y evalúa el conjunto.
Lenguaje. Un asistente redacta ofertas de empleo, mensajes de campaña o perfiles de cliente. Compara versiones equivalentes y revisa quién aparece como agente, experto o decisor, y quién como receptor de cuidados o apoyo. La revisión debe considerar el contexto y el público: una diferencia lingüística puede ser pertinente para la tarea, pero las asociaciones repetidas e injustificadas merecen atención.
En RRHH, el uso de machine learning en selección requiere distinguir recomendación de decisión y comprobar qué variables influyen. Para cualquier tratamiento de datos de personas, consulta también la guía de privacidad al usar IA en el trabajo. En marketing, evita tratar una muestra de imágenes generadas como representación de toda la población o del comportamiento del sistema en otros idiomas y contextos.
De dónde puede proceder: muestra, etiquetas, medida y despliegue
No hay una única fuente de sesgo, ni una única prueba que la descarte. Cuatro puntos de partida ayudan a investigar:
- Muestra incompleta o poco representativa. Algunos grupos pueden estar infrarrepresentados o los datos pueden describir una población distinta de la que usará el sistema. Comprueba cobertura, origen, periodo y límites de los datos. No recojas atributos sensibles sin una base y gobernanza adecuadas.
- Etiquetas que heredan decisiones pasadas. Si la etiqueta de éxito es “a quién contratamos” o “qué anuncio obtuvo más clics”, el sistema puede aprender prácticas históricas, no una medida neutral de capacidad o calidad. Escribe qué representa cada etiqueta y quién decidió que era válida.
- Métrica que oculta diferencias. Una precisión global aceptable puede ocultar tipos de error distintos entre grupos. Decide qué errores importan en ese caso de uso y compara las métricas pertinentes por grupos cuando sea lícito y viable hacerlo. Un único indicador no resume la equidad.
- Despliegue distinto del diseño. Una recomendación que debía apoyar una revisión puede convertirse en filtro automático por presión de tiempo. Observa el flujo real, quién puede discrepar y qué pasa cuando se ignora la recomendación.
El AI Risk Management Framework del NIST es un marco voluntario para gestionar riesgos de IA en diseño, desarrollo, uso y evaluación. Puede ayudar a ordenar responsabilidades y pruebas; no certifica por sí mismo que un producto sea justo ni sustituye las obligaciones aplicables en España o la Unión Europea.
Una prueba comparativa documentada y controles de equipo
Antes de probar, define la decisión que quieres revisar y el daño que intentas evitar. Para una comprobación inicial de texto o recomendación, prepara pares de casos sintéticos: misma experiencia, requisitos y contexto, con una sola característica modificada. No uses CV, nombres ni datos reales de candidatos en una herramienta no autorizada.
Registra cada ejecución con una plantilla sencilla:
| Campo | Qué anotar |
|---|---|
| Caso de uso | Qué decisión o contenido apoya el sistema |
| Versión | Herramienta, modelo, configuración y fecha |
| Entrada | Casos sintéticos y cambios entre pares |
| Resultado | Salida completa, no solo la conclusión elegida |
| Comparación | Diferencias observadas y criterio definido antes |
| Revisión | Quién evaluó, dudas y posibles explicaciones alternativas |
| Acción | Mantener, limitar, corregir, escalar o detener; responsable y fecha |
Repite la prueba con varios casos equivalentes y, si el sistema varía entre ejecuciones, conserva esa variación. No elijas el criterio después de ver qué resultado favorece a tu hipótesis. Si detectas una diferencia, investiga posibles variables indirectas, la calidad de los casos y el contexto; pide revisión a personas con conocimiento del proceso y, cuando corresponda, a personas afectadas.
Controles mínimos para un equipo:
- Asigna una persona responsable del caso de uso y otra capaz de revisar resultados críticos.
- Separa el conjunto de pruebas del material con el que se configuró el sistema, para no evaluar con los mismos ejemplos que se usaron para ajustarlo.
- Define por adelantado qué diferencia exige investigación y qué decisiones nunca se delegan sin revisión apropiada.
- Conserva entradas, salidas y cambios de configuración según las políticas de seguridad y privacidad de la organización.
- Tras cualquier ajuste, repite las pruebas anteriores y añade casos nuevos; comprueba si la mejora introduce errores distintos.
- Establece un canal de incidencia y una forma de corregir decisiones ya tomadas cuando haya impacto sobre personas.
La AEPD publica recursos y recomendaciones sobre protección de datos e IA en su sitio oficial. Si se tratan datos personales, evalúa finalidad, minimización, base jurídica, información y riesgos con las personas responsables de privacidad. Una prueba de salida no sustituye ese análisis ni una evaluación de impacto cuando proceda. Para el marco general sobre regulación europea, consulta nuestra guía de la ley de inteligencia artificial.
Límites de la prueba y revisión por personas afectadas
Una prueba con pares mide solo los casos incluidos y la versión concreta utilizada. Un nombre no representa todas las dimensiones de género; el lenguaje, el país, la ocupación y otros factores pueden cambiar el resultado. Las categorías disponibles pueden no describir la experiencia de todas las personas, y agrupar demasiado puede ocultar diferencias importantes. Si no dispones de datos suficientes o no es apropiado recogerlos, declara esa limitación en lugar de afirmar que no hay sesgo.
También importa quién define el daño aceptable. Las personas afectadas y quienes conocen el proceso pueden identificar impactos que el equipo técnico no anticipa. Facilita una vía segura para plantear problemas, no conviertas una métrica en sustituto de escuchar experiencias y no expongas a nadie a una decisión adversa solo para completar una prueba.
El objetivo no es prometer una IA “sin sesgos”, sino tomar decisiones informadas: qué evidencia existe, qué se desconoce, quién responde y cómo se corrige un daño. Documenta las limitaciones junto a los resultados y programa una nueva revisión cuando cambien los datos, el modelo, el prompt o el contexto de uso.
Preguntas frecuentes
¿Qué es un sesgo de género en IA?
Es un patrón sistemático que relaciona género con diferencias injustificadas en datos, mediciones, recomendaciones, representaciones o decisiones de un sistema. Puede surgir sin una intención explícita de discriminar y debe analizarse en su contexto.
¿Puede afectar a la selección de personal?
Sí, por ejemplo en la priorización, clasificación o resumen de candidaturas. La comprobación con casos equivalentes es solo un control inicial: no reemplaza la revisión del proceso completo ni el análisis de las obligaciones legales aplicables.
¿Basta cambiar el prompt?
No. El prompt puede influir en la salida, pero no garantiza cambios consistentes en otras entradas o versiones, ni corrige datos y reglas del proceso. Conserva la versión y vuelve a probar tras cada ajuste.
¿Cómo registrar y corregir incidencias?
Documenta caso, herramienta y versión, entradas y salidas, diferencia observada, impacto potencial, responsable y medida correctora. Escala las incidencias relevantes, informa según los procedimientos internos y valida la corrección antes de volver al uso habitual.
Siguiente paso
Elige un solo flujo de trabajo y define una prueba segura que el equipo pueda repetir. Anota también lo que la prueba no cubre; esa honestidad evita que una comprobación pequeña se convierta en una garantía que no puede sostener.
Si quieres llevar estos controles a procesos de selección, el curso de IA para RRHH trabaja aplicaciones prácticas para el área. También puedes empezar por el test ¿Cuánto te queda? y detectar qué competencias te conviene desarrollar.