Legal & IAsesgos ia
Sesgos de la IA: ejemplos y cómo detectarlos
Identifica sesgos de la IA en datos y resultados, aprende a diseñar comprobaciones proporcionadas y documenta los límites antes de implantar un sistema.
- Autor: humAIns
- 10 min de lectura
índice · 6 apartados
Los sesgos de la IA son patrones en los datos, el diseño, la evaluación o el uso que pueden producir resultados sistemáticamente inadecuados o perjudiciales para ciertas personas o contextos. Para detectarlos antes de usar un sistema, concreta el daño posible, compara casos relevantes y registra qué has medido y qué queda fuera. Una diferencia en una prueba no demuestra por sí sola discriminación, y una prueba sin diferencias tampoco demuestra que el sistema sea justo en todos los usos.
Esta guía propone un protocolo transversal para equipos de Legal, Compliance y RRHH, con ejemplos ficticios de selección, atención al cliente y crédito. No presenta resultados empíricos de productos concretos: sirve para preparar una evaluación del sistema que tu organización realmente pretenda utilizar.
Qué es un sesgo y qué no demuestra un resultado aislado
En este contexto, sesgo no significa simplemente que una respuesta individual sea incorrecta. Se refiere a patrones sistemáticos que pueden surgir a lo largo del ciclo de vida y tener efectos distintos según el grupo, el entorno o la tarea. El AI Risk Management Framework del NIST distingue, entre otras, fuentes sistémicas, estadísticas o computacionales y cognitivas humanas. El marco es voluntario y ayuda a ordenar la gestión del riesgo; no certifica que un sistema sea imparcial ni sustituye la legislación aplicable.
Una salida llamativa puede deberse a variabilidad, una instrucción ambigua, una muestra demasiado pequeña o diferencias relevantes entre casos. Antes de atribuir una causa, repite la prueba de manera controlada y conserva entradas, salidas, versión y contexto. A la inversa, un promedio satisfactorio puede ocultar errores concentrados en casos poco frecuentes o en grupos pequeños.
También conviene distinguir entre sesgo observado y discriminación en sentido jurídico. La valoración depende de hechos, contexto y normas aplicables; ni una métrica aislada determina automáticamente la conclusión jurídica ni la ausencia de una diferencia estadística la descarta.
De dónde puede venir: datos, etiquetas, medición y despliegue
- Datos históricos y cobertura. Un conjunto puede reflejar decisiones previas o no representar a la población de uso. Comprueba origen, periodo, criterios de inclusión, datos ausentes y cambios relevantes. Más datos no corrigen necesariamente una muestra mal definida.
- Etiquetas. Si se entrena o evalúa con decisiones anteriores —por ejemplo, quién fue contratado o qué solicitud se aprobó—, la etiqueta puede representar prácticas históricas, no una medida neutral de idoneidad. Pregunta quién definió la etiqueta y si sigue siendo apropiada.
- Medición. Una exactitud global puede ocultar tasas distintas de error. Elegir la métrica también implica una decisión: qué error tiene más consecuencias y para quién. La exactitud de los datos y de los resultados debe valorarse en relación con la finalidad, no como una cualidad abstracta.
- Variables indirectas. Código postal, historial, idioma o trayectoria pueden funcionar como aproximaciones de otras características. Retirar una columna sensible no basta para descartar efectos indirectos.
- Despliegue y revisión humana. Una recomendación que debía apoyar a una persona puede convertirse en filtro de facto si el equipo acepta todas las salidas. La carga de trabajo, la interfaz, los incentivos y la posibilidad real de disentir también afectan al resultado.
- Cambios en el tiempo. Pueden variar la población, los datos, la versión del modelo o la finalidad. Una evaluación inicial no describe automáticamente el comportamiento posterior.
La AEPD, en su guía sobre exactitud, idoneidad y calidad de datos en tratamientos con IA, explica que la evaluación debe considerar tanto datos de entrada como resultados y la finalidad del tratamiento. Si se usan datos personales, la calidad y la exactitud no justifican recopilar más información de la necesaria: hay que analizar también finalidad, minimización y salvaguardas.
Tres casos ficticios para pensar qué comprobar
Los siguientes ejemplos son hipotéticos, no describen empresas ni sistemas reales.
Selección de personal
Una organización prueba una herramienta que prioriza candidaturas según historiales de contratación. El equipo no debe asumir que las contrataciones pasadas equivalen a una definición objetiva de mérito. Puede preparar perfiles sintéticos equivalentes con requisitos vinculados al puesto y comprobar qué cambia al variar un elemento no pertinente. Después revisa las razones, los errores y si el flujo convierte la recomendación en descarte automático. No introduzcas currículos reales en un servicio sin autorización y revisión de privacidad.
Atención al cliente
Un asistente clasifica solicitudes para determinar su urgencia o derivación. Los mensajes breves, errores ortográficos, dialectos o necesidades de accesibilidad pueden afectar la clasificación. Compara casos equivalentes redactados de varias formas, revisa falsos negativos en asuntos urgentes y comprueba si existe una vía visible para que una persona revise una clasificación. Una diferencia requiere averiguar si es pertinente para la tarea y qué consecuencias tiene; no basta con modificar el texto de entrada hasta obtener la salida deseada.
Crédito
Un modelo ficticio estima el riesgo de impago y se utiliza para apoyar decisiones de crédito. Además de revisar si los errores y resultados difieren, el equipo debe entender las variables que contribuyen a la puntuación, posibles aproximaciones indirectas y el impacto de un error. El análisis estadístico no sustituye los requisitos de protección de datos, consumo, igualdad o regulación financiera que correspondan. No uses datos reales para una prueba exploratoria sin establecer previamente una base y salvaguardas apropiadas.
Protocolo práctico para comprobar un sistema
- Delimita el caso. Escribe la finalidad, quién recibirá o sufrirá el resultado, qué decisión apoya y qué daño quieres prevenir. Separa generación de texto, recomendación y decisión final: no tienen necesariamente el mismo impacto.
- Formula hipótesis observables. Por ejemplo: «en solicitudes equivalentes, el sistema deriva de forma distinta los casos urgentes cuando cambia el estilo lingüístico». Evita planteamientos vagos como «comprobar que no hay sesgo».
- Define casos y muestra. Usa datos sintéticos o autorizados, representativos de los escenarios previstos. Incluye variaciones pertinentes y casos límite. Anota cómo se seleccionaron y qué grupos, periodos o condiciones no están cubiertos. No hay un tamaño de muestra universal válido para todos los riesgos.
- Elige métricas adecuadas. Según el caso, compara tasas de falsos positivos y falsos negativos, omisiones, calidad por tipo de entrada o resultados de revisión. En clasificación, define claramente el evento positivo y el denominador. La paridad de resultados puede ser informativa, pero no es por sí sola una definición universal de equidad.
- Compara y contextualiza. Analiza diferencias entre casos equivalentes y, si procede, entre grupos o intersecciones. Expón incertidumbre, tamaño de muestra y posibles explicaciones alternativas. Si faltan datos o la comparación no es lícita, no inventes el resultado: documenta la limitación y busca otra vía de evaluación.
- Decide controles antes de producción. Determina qué hallazgos requieren investigación, limitar el uso o detenerlo; asigna responsables y un mecanismo de revisión humana que tenga autoridad y tiempo para actuar.
- Repite tras cambios. Programa revisiones proporcionadas al riesgo y vuelve a probar ante cambios de modelo, datos, propósito, población o proceso, y ante incidentes o quejas relevantes.
| Elemento del registro | Qué dejar documentado |
|---|---|
| Propósito y versión | Caso de uso, proveedor o sistema, configuración y fecha de prueba |
| Casos | Criterios de selección, origen y límites de datos o ejemplos |
| Medición | Métrica, definición, denominador, resultados y variabilidad observada |
| Revisión | Grupos o contextos considerados, explicaciones alternativas y asuntos pendientes |
| Acción | Control elegido, responsable, fecha de revisión y criterio para escalar |
Las métricas requieren interpretación. Por ejemplo, una tasa de falsos negativos es la proporción de casos realmente positivos que el sistema clasificó como negativos; su utilidad depende de cómo se defina «positivo» y del coste del error. Si la muestra es pequeña, informa que la estimación es incierta en vez de presentarla como una diferencia estable. Evita publicar o conservar atributos personales identificables innecesarios.
Mitigación, documentación y revisión continua
La mitigación debe responder a la causa que has investigado, no ser un ajuste cosmético. Puede incluir corregir etiquetas, mejorar cobertura de datos cuando exista base para ello, cambiar el umbral o el proceso, limitar el caso de uso, dar una alternativa manual, hacer accesible la interacción o exigir una segunda revisión. Cualquier cambio puede modificar otros errores: vuelve a medir con los mismos criterios y registra efectos secundarios.
La supervisión humana sirve si quien revisa comprende la tarea, dispone de información suficiente, puede discrepar sin penalización y tiene autoridad para detener o corregir. Añade un canal para comunicar errores y un procedimiento para investigar incidencias. Conserva la evidencia de manera compatible con políticas de seguridad, retención y protección de datos; no guardes indefinidamente datos personales solo porque podrían ser útiles en una evaluación futura.
No existe un único porcentaje que determine que un sistema está libre de sesgo. El umbral de actuación debe definirse para el contexto, atendiendo a la gravedad y distribución de los daños, la calidad de la evidencia y las obligaciones aplicables. El NIST AI RMF recomienda evaluar y documentar equidad y sesgo dentro de un proceso de gestión de riesgos, no reducirlos a una cifra descontextualizada.
Qué revisar en el AI Act y el RGPD según el caso
El Reglamento europeo de IA no impone una misma categoría u obligación a todo uso de inteligencia artificial. Identifica primero el sistema, su finalidad prevista y el papel de la organización como proveedor o responsable del despliegue; después comprueba las categorías, excepciones y obligaciones pertinentes en el texto oficial consolidado del Reglamento (UE) 2024/1689.
El anexo III incluye determinados usos relacionados con empleo y selección, así como evaluación de solvencia de personas físicas, dentro de los casos que pueden clasificarse como de alto riesgo; la clasificación concreta depende de la descripción del sistema, finalidad y condiciones previstas por el Reglamento. No concluyas que cualquier herramienta usada por RRHH o cualquier sistema de crédito tiene automáticamente esa categoría. Comprueba además fechas de aplicación vigentes y cambios normativos antes de tomar una decisión: el calendario y las obligaciones dependen de la disposición concreta.
Si hay datos personales, analiza por separado las bases, finalidad, minimización, exactitud, transparencia, derechos y medidas de seguridad conforme al RGPD. Las decisiones exclusivamente automatizadas con efectos jurídicos o efectos similares significativos tienen requisitos específicos; que una persona firme al final no convierte por sí solo una revisión en intervención humana significativa. Consulta los recursos vigentes de la AEPD y busca asesoramiento especializado para el caso concreto. Las comparaciones entre grupos y el tratamiento de categorías especiales de datos necesitan una base y salvaguardas apropiadas; no recolectes datos sensibles como atajo para medir equidad.
Este protocolo no sustituye una evaluación jurídica ni una evaluación de impacto cuando corresponda. Para ampliar el contexto, lee nuestra guía de ética de la inteligencia artificial, el artículo sobre sesgos de género en IA, derechos de autor del contenido creado con IA y la explicación de la ley de inteligencia artificial. La guía de ética aborda principios generales; el artículo de género se centra en un tipo de impacto; aquí el foco es un método transversal de comprobación.
Para formación práctica sobre riesgos, AI Act y compliance, consulta el programa de IA para Legal y comprueba en la ficha sus contenidos y disponibilidad actuales. También puedes empezar por el test gratuito ¿Cuánto te queda?.
Sigue leyendo en humAIns