Legal & IAinteligencia artificial explicable
Inteligencia artificial explicable: 5 claves para evaluar
Descubre qué puede explicar una IA, cómo interpretar LIME y SHAP y qué límites revisar antes de usar sus resultados en decisiones profesionales de tu empresa.
- Autor: humAIns
- 8 min de lectura
índice · 7 apartados
La inteligencia artificial explicable (XAI) busca hacer más comprensibles las salidas de un modelo: qué factores influyeron en una predicción concreta o cómo se comporta ante distintos ejemplos. Puede ayudar a investigar errores y tomar decisiones informadas, pero una explicación no demuestra que el resultado sea correcto, justo o causal. Para evaluar un sistema profesional, comprueba qué explica, con qué método, para qué población y con qué límites.
Qué significa que una IA sea explicable
Un modelo recibe datos y genera una salida: una clasificación, una puntuación, una recomendación o un texto. La explicabilidad comprende métodos y prácticas que permiten examinar esa relación. No convierte necesariamente el modelo en una caja totalmente abierta: a veces se utiliza una técnica posterior que aproxima el comportamiento de un sistema ya entrenado.
Conviene distinguir dos conceptos relacionados:
- Interpretabilidad: hasta qué punto una persona puede entender directamente el funcionamiento del modelo. Un árbol de decisión pequeño, por ejemplo, puede mostrar reglas legibles.
- Explicación: información producida para aclarar una salida o un comportamiento. Puede referirse a un caso concreto o a tendencias más generales y depender de una técnica adicional.
No existe una única definición operativa que garantice que cualquier explicación sea suficiente para cualquier usuario. Lo importante es especificar quién necesita entender qué aspecto y para tomar qué decisión: una persona afectada, un equipo técnico, cumplimiento o la dirección pueden necesitar información distinta.
Ejemplo: una predicción no es toda la historia
Imagina, de forma ficticia, un sistema que clasifica solicitudes de financiación para priorizar una revisión humana. Para una solicitud devuelve una puntuación baja. Una explicación local podría indicar que, según el método empleado, el historial de pagos y la antigüedad laboral contribuyeron a esa salida.
Eso no significa que esos factores sean las causas reales de la decisión en el mundo, ni que cambiar uno alteraría necesariamente la puntuación del modo sugerido. Tampoco explica por sí solo si los datos eran correctos o si el criterio de priorización es adecuado. El resultado sirve como pista de investigación, no como veredicto.
Una explicación global, en cambio, intenta resumir patrones del comportamiento del modelo en un conjunto de ejemplos: qué variables suelen influir, dónde se equivoca o cómo varían sus salidas. No debe confundirse con la explicación de la solicitud individual. Un promedio general puede ocultar errores concentrados en ciertos tipos de caso.
LIME y SHAP: qué aportan y qué no
LIME (Local Interpretable Model-agnostic Explanations) aproxima el comportamiento de un modelo alrededor de un caso mediante un modelo interpretable local. La idea es observar cómo cambian las salidas al perturbar ejemplos cercanos y resumir qué atributos parecen relevantes en esa zona. El resultado depende de cómo se generen esos ejemplos y del alcance elegido: no es una descripción completa del modelo.
SHAP utiliza valores inspirados en la teoría de juegos para atribuir contribuciones a las características de una predicción. La documentación oficial describe SHAP como un enfoque para explicar la salida de modelos de aprendizaje automático y advierte en sus materiales sobre la interpretación causal de modelos predictivos. Una atribución indica cómo se distribuye una diferencia de predicción conforme a un método y un contexto de referencia; no establece que una variable cause el resultado.
| Método o vista | Pregunta que puede ayudar a explorar | Precaución |
|---|---|---|
| Explicación local (por ejemplo, LIME o SHAP) | ¿Qué atributos contribuyeron a esta salida según el método? | No extrapolar una explicación individual a todo el sistema. |
| Análisis global | ¿Qué patrones o errores aparecen en un conjunto de casos? | Los promedios pueden ocultar subgrupos y excepciones. |
| Modelo interpretable | ¿Se pueden leer sus reglas o estructura directamente? | La sencillez no garantiza que represente bien la tarea ni que sea justo. |
Para profundizar, consulta la documentación oficial de SHAP. Elegir una biblioteca no resuelve por sí solo la evaluación: hay que comprobar que el método resulta adecuado para el modelo, los datos y la decisión examinada.
Límites que deben entrar en la evaluación
Fidelidad de la explicación
Una explicación simplificada puede ser útil para una persona, pero apartarse del comportamiento real del sistema. Pregunta qué significa «fiel» en la evaluación del proveedor, cómo se mide, sobre qué ejemplos y qué ocurre con casos atípicos. Si la explicación es una aproximación local, solicita que se identifiquen sus límites y el rango en que se considera válida.
Privacidad y seguridad
Generar o compartir explicaciones puede revelar información sobre datos personales, variables sensibles, patrones internos o la lógica del sistema. Revisa quién accede a ellas, cuánto tiempo se conservan y si se envían a un servicio externo. No introduzcas datos identificables en herramientas de análisis sin verificar previamente las condiciones, permisos y garantías aplicables.
Sesgos y resultados desiguales
Que una interfaz muestre razones comprensibles no significa que los resultados sean equitativos. Compara errores y efectos entre grupos pertinentes para el contexto, valida la calidad de los datos y examina qué variables actúan como sustitutos de otras. Una explicación puede incluso hacer más convincente una decisión problemática; por eso debe acompañarse de pruebas y revisión.
Estabilidad y contexto
Pequeños cambios en los datos, la versión del modelo o las opciones de la herramienta de explicación pueden alterar las atribuciones. Conserva la versión, configuración, fecha y ejemplos analizados. Antes de usar una explicación para justificar una decisión con consecuencias, comprueba si se mantiene bajo variaciones razonables y si una persona cualificada puede cuestionarla.
Qué preguntar al proveedor y qué documentar
Una conversación de evaluación puede empezar por estas preguntas:
- ¿Cuál es la finalidad prevista y para qué usos no se ha validado el sistema?
- ¿La explicación es local o global? ¿Qué datos y método la producen?
- ¿Cómo se mide su fidelidad y estabilidad? ¿Qué casos límite o poblaciones se evaluaron?
- ¿Qué limitaciones, errores conocidos y cambios de versión se deben tener en cuenta?
- ¿Qué datos quedan expuestos al generar, guardar o compartir explicaciones?
- ¿Cómo puede una persona responsable revisar, corregir o impugnar un resultado?
Documenta el sistema y su versión, el proceso en que se usa, el propósito de la evaluación, los datos o muestras considerados, el método de explicación, los resultados y límites detectados, quién revisó la evidencia y qué decisión tomó. Si se descarta una salida o se escala un caso, registra el motivo y el seguimiento. La documentación debe ser suficiente para reconstruir el análisis sin conservar información personal innecesaria.
Estas son buenas prácticas de gobernanza, no una lista universal de obligaciones legales. Adáptalas al riesgo, contexto, datos y papel de tu organización; consulta asesoramiento especializado cuando la decisión lo requiera.
Explicabilidad, transparencia y normativa
Explicabilidad y transparencia no son sinónimos. Una explicación técnica puede ser una parte de la información necesaria para entender un sistema, pero no sustituye información clara sobre su finalidad, límites y uso. Tampoco la existencia de una explicación implica automáticamente que se cumplan todos los requisitos aplicables.
El Reglamento europeo de inteligencia artificial, Reglamento (UE) 2024/1689, establece obligaciones distintas según el tipo de sistema, su finalidad y el papel de cada actor. Por ejemplo, sus artículos 13 y 50 tratan cuestiones de transparencia en supuestos concretos; no formulan una obligación general de explicar individualmente cada predicción de cualquier IA. El calendario y las disposiciones aplicables deben comprobarse en el texto oficial vigente y en sus modificaciones antes de tomar decisiones de cumplimiento. Consulta el Reglamento en EUR-Lex.
Como marco de gestión, el AI Risk Management Framework de NIST es una guía voluntaria para gestionar riesgos de IA, no una ley española. La página oficial señala que AI RMF 1.0 está en revisión. Puede servir para estructurar preguntas sobre fiabilidad y riesgos, pero no determina por sí sola qué exige la normativa europea a tu organización.
Si estás evaluando riesgos y controles en una empresa, consulta también nuestra guía sobre riesgos de la inteligencia artificial en empresas, el artículo sobre sesgos de género en inteligencia artificial y las claves de la ley de inteligencia artificial. Para aprender a aplicar la IA en contextos profesionales y legales, revisa el programa IA Legal y comprueba en su ficha el contenido vigente.
Preguntas frecuentes
¿Es transparente una IA explicable?
No necesariamente. Una explicación puede resumir ciertos factores asociados a una salida sin mostrar el modelo completo ni todo el proceso que la produjo. La transparencia depende también de qué información se comunica, a quién y para qué uso.
¿Qué significa una explicación local?
Es una explicación de una predicción concreta o de un entorno cercano a ese caso. No permite concluir sin más que todos los casos se resuelven por los mismos factores. Para conocer el comportamiento general hacen falta análisis globales y pruebas representativas.
¿Una explicación demuestra que una decisión es justa?
No. Hay que definir qué se entiende por justicia en el contexto, contrastar datos y resultados, examinar diferencias relevantes y considerar quién soporta los errores. La explicación ayuda a formular preguntas, pero no reemplaza esas comprobaciones.
¿Qué documentación pedir a un proveedor?
Solicita finalidad prevista, límites y errores conocidos, evaluaciones y poblaciones consideradas, versiones, método y límites de las explicaciones, controles de privacidad y sesgo, e instrucciones de revisión y escalado. Ajusta la petición al uso y a las obligaciones que efectivamente apliquen.
Sigue leyendo en humAIns