Legal & IAia racista
IA racista: ejemplos y cómo detectar el sesgo racial
Descubre cómo surge el sesgo racial en IA, qué revela NIST sobre reconocimiento facial y cómo documentar controles sin equiparar diferencias con discriminación.
- Autor: humAIns
- 8 min de lectura
índice · 5 apartados
Una IA no tiene intenciones humanas, pero puede producir resultados racistas o perjudiciales asociados al origen racial o étnico por sus datos, diseño, medición o forma de uso. Para averiguar si ocurre, no basta con una salida llamativa: hay que definir el daño, comparar casos pertinentes y registrar resultados, versiones y límites. Las diferencias observadas orientan una investigación; no prueban por sí solas una discriminación jurídica.
Esta guía se centra en sesgos raciales y étnicos para equipos de Legal, Compliance y responsables de sistemas con impacto en personas. Incluye un estudio de reconocimiento facial evaluado por NIST y un ejercicio hipotético de selección. No extrapola el estudio a todos los productos ni sustituye una evaluación jurídica o técnica del sistema concreto.
Un caso documentado: las pruebas de reconocimiento facial de NIST
El National Institute of Standards and Technology (NIST) publicó en 2019 el informe Face Recognition Vendor Test Part 3: Demographic Effects (NISTIR 8280). El análisis examinó diferencias demográficas en algoritmos de reconocimiento facial presentados a sus pruebas; la página del programa FRVT describe una evaluación de casi 200 algoritmos de cerca de 100 desarrolladores, sobre cuatro colecciones de fotografías que sumaban más de 18 millones de imágenes de más de 8 millones de personas.
El informe encontró que las diferencias demográficas dependían del algoritmo y de la tarea. En sistemas de verificación uno-a-uno, las tasas de falsos positivos podían variar entre grupos demográficos; en identificación uno-a-muchos, también importaban la composición de la galería y la calidad de las imágenes. Un falso positivo de verificación significa que dos imágenes de personas distintas se consideran una coincidencia; en identificación, un falso positivo puede devolver una identidad incorrecta desde una galería. Son errores distintos y sus consecuencias dependen del proceso en el que se utilicen.
La evaluación estudió algoritmos y colecciones concretos disponibles para el análisis de aquel momento. No es una prueba de todos los productos actuales, no describe automáticamente un despliegue en España ni permite concluir que cada sistema produzca la misma disparidad. Tampoco equivale a una conclusión jurídica de discriminación. La página FRVT de NIST ofrece contexto sobre pruebas de reconocimiento facial, sus distintos escenarios y documentación. Si un equipo evalúa un sistema actual, debe buscar evidencia de la versión y condiciones que realmente pretende utilizar, no citar un resultado antiguo como certificación del proveedor.
De dónde puede surgir una diferencia perjudicial
No atribuyas la causa antes de reunir evidencia. Una diferencia observada en la salida puede depender de más de un eslabón:
- Cobertura de los datos. Las imágenes o ejemplos de entrenamiento y evaluación pueden representar de manera desigual a las personas o condiciones de uso. Hay que revisar procedencia, periodo, criterios de inclusión y calidad, sin asumir que una colección es representativa solo por su tamaño.
- Etiquetado. Las categorías que anotadores asignan a rostros, nombres, acentos o solicitudes pueden ser incompletas o reflejar supuestos. Pregunta quién definió las etiquetas, con qué instrucciones y qué incertidumbre tenían.
- Variables indirectas. Una herramienta puede no recibir un atributo racial y aun así utilizar señales correlacionadas con el contexto, como idioma, localización, trayectoria o calidad de imagen. Retirar una columna sensible no demuestra que se hayan eliminado todos los efectos indirectos.
- Métrica y umbral. La exactitud global puede ocultar errores concentrados. El umbral elegido cambia la relación entre falsos positivos y negativos; cuál importa más depende de si el sistema identifica, recomienda, filtra o apoya una decisión.
- Uso y entorno. La iluminación, cámara, idioma, calidad de captura, instrucciones, configuración y población usuaria pueden cambiar el rendimiento. Una recomendación revisada por una persona puede convertirse en una decisión automática de facto si nadie tiene tiempo o autoridad para cuestionarla.
Estas son hipótesis que investigar, no causas demostradas para cualquier producto. Conserva separadas las observaciones —qué resultado se midió— y las explicaciones —por qué pudo ocurrir—. Cambiar el prompt o retirar un dato puede alterar una salida, pero no demuestra que la causa se haya corregido en el sistema completo.
Ejercicio ficticio: comprobar un filtro de candidaturas
Imagina que una organización utiliza una herramienta para resumir y priorizar candidaturas. El ejercicio siguiente es hipotético y no describe un producto real ni un hallazgo empírico. Sirve para preparar una prueba controlada:
- Delimita qué hace el sistema: redacta resúmenes, recomienda entrevistas o descarta perfiles. No trates esas funciones como equivalentes.
- Crea pares de perfiles sintéticos con experiencia y requisitos profesionales comparables. Varía únicamente elementos de prueba cuidadosamente definidos; no introduzcas currículos, nombres ni datos reales de candidatos en una herramienta no autorizada.
- Registra el proveedor o herramienta, versión o modelo si está disponible, configuración, instrucciones, fecha y cada entrada y salida. Si la versión no se muestra, deja constancia de esa limitación.
- Define antes qué observarás: omisiones de requisitos, orden de prioridad, recomendación y justificación. Si hay etiquetas de referencia, explica quién y cómo las estableció.
- Repite suficientes casos para evaluar si el patrón se mantiene. Anota el tamaño de la muestra, resultados discordantes y explicaciones alternativas. Una diferencia en dos ejemplos no estima por sí sola el comportamiento general.
- Escala los hallazgos con posible impacto, establece quién puede revisar o corregir el proceso y vuelve a probar tras cualquier cambio.
| Registro | Información a conservar |
|---|---|
| Finalidad y población | Decisión que apoya, personas afectadas y contexto previsto |
| Sistema | Herramienta, versión, configuración y fecha de ejecución |
| Casos de prueba | Criterio de selección, cambios entre pares y datos sintéticos o autorizados |
| Resultados | Recomendaciones, omisiones, falsos positivos o negativos según definición previa |
| Límites | Tamaño y cobertura de muestra, datos no disponibles e incertidumbre |
| Acción | Responsable, control adoptado, canal de revisión y fecha de seguimiento |
El objetivo no es etiquetar una herramienta como racista tras una sola prueba, sino descubrir fallos que merecen evaluación y decidir controles proporcionados. No publiques ejemplos identificables ni guardes datos sensibles sin necesidad y base adecuada.
Qué revisar en la Unión Europea y España
La normativa aplicable depende de la finalidad, el sistema, el papel de la organización y la fecha. El Reglamento (UE) 2024/1689, AI Act, establece categorías y obligaciones diferentes; no todo uso de IA es de alto riesgo. Identifica si la organización actúa como proveedora o responsable del despliegue, revisa las definiciones y anexos pertinentes y consulta el texto vigente y su calendario antes de tomar decisiones. La clasificación no se determina simplemente porque una herramienta sea de reconocimiento facial o se use en un departamento concreto.
Si se tratan datos personales, el RGPD requiere analizar finalidad, base jurídica, minimización, exactitud, transparencia, derechos y seguridad. Los datos que revelan origen racial o étnico son categorías especiales: el artículo 9 prohíbe en principio su tratamiento salvo que se aplique una excepción prevista y se cumplan las condiciones correspondientes, además de una base del artículo 6. No recolectes esos datos únicamente porque parezcan útiles para comparar grupos. Considera si existe una alternativa menos intrusiva y documenta la necesidad y las garantías con asesoramiento competente.
El artículo 22 del RGPD trata determinadas decisiones basadas únicamente en tratamiento automatizado que producen efectos jurídicos o afectan de modo similar y significativo. Analiza el flujo real: la presencia nominal de una persona no garantiza una intervención humana efectiva si solo confirma recomendaciones sin examinarlas.
En España, la Ley 15/2022, integral para la igualdad de trato y la no discriminación incluye la raza y el origen racial o étnico entre los motivos protegidos y contempla ámbitos de aplicación diversos. Qué disposiciones resultan pertinentes y cómo se valoran los hechos depende del caso. La AEPD publica recursos sobre protección de datos e inteligencia artificial; consulta sus materiales vigentes cuando el proyecto implique datos personales. Este resumen no constituye asesoramiento jurídico ni una conclusión de cumplimiento.
Lista de comprobación para el equipo
Antes de desplegar o ampliar un sistema, pregunta:
- ¿Cuál es la finalidad real y qué personas pueden verse afectadas, incluso indirectamente?
- ¿Qué evidencia corresponde a la versión, población, idioma y condiciones de uso previstos?
- ¿Qué tipos de error se midieron, con qué muestra y qué limitaciones permanecen?
- ¿Qué datos personales se procesan, para qué finalidad y con qué base y salvaguardas?
- ¿Puede una persona afectada pedir revisión, comunicar un error o impugnar el resultado?
- ¿Tiene quien supervisa tiempo, información y autoridad para cambiar o detener el proceso?
- ¿Quién revisará incidencias y repetirá las pruebas si cambian el modelo, los datos o el uso?
Para distinguir este enfoque específico del método transversal, consulta la guía de sesgos de la IA; para otro análisis de impacto, lee sobre sesgos de género en inteligencia artificial. La guía de la ley de inteligencia artificial resume el marco europeo para empresas. Si buscas formación aplicada a riesgos, regulación y compliance, consulta el programa de IA para Legal y confirma en la ficha sus contenidos y disponibilidad actuales.
También puedes empezar por el test gratuito ¿Cuánto te queda?.
Sigue leyendo en humAIns