Legal & IAriesgos
Riesgos de la inteligencia artificial: mapa y controles
Identifica los riesgos de la inteligencia artificial en empresas y prepara un mapa de controles para privacidad, errores, sesgos y dependencia del proveedor.
- Autor: humAIns
- 9 min de lectura
índice · 5 apartados
Los riesgos de la inteligencia artificial en una empresa no se limitan a que el modelo se equivoque: también importan los datos que recibe, quién puede verlos, cómo se usa su respuesta y qué pasa si el proveedor cambia el servicio. Para gestionarlos, registra cada uso relevante, evalúa sus posibles daños y aplica controles proporcionales, con una persona identificada que revise las salidas antes de decisiones importantes. Este mapa es una guía operativa, no asesoramiento legal individualizado.
Mapa por dato de entrada, salida y uso
Empieza por describir el recorrido completo. La misma herramienta puede tener un riesgo bajo al resumir un texto público y uno alto cuando redacta una recomendación que afecta a una persona o incorpora datos de clientes. No clasifiques solo el modelo: clasifica la tarea concreta y su contexto.
| Etapa | Pregunta de control | Ejemplo de señal de riesgo |
|---|---|---|
| Dato de entrada | ¿Qué información se introduce y quién puede identificarla? | Un prompt incluye nombres, expedientes, credenciales o condiciones comerciales confidenciales |
| Procesamiento | ¿Qué sistema y proveedor reciben el dato? | No está claro dónde se procesa, cuánto se conserva o quién accede |
| Salida | ¿Qué afirmaciones o materiales produce y cómo se comprueban? | Un informe contiene una cifra o cita que no aparece en las fuentes |
| Uso | ¿Quién actúa a partir de la salida y a quién afecta? | Una recomendación se convierte en decisión sin revisión ni posibilidad de corregirla |
Haz el inventario por flujo de trabajo: redactar respuestas de atención al cliente, resumir contratos, filtrar candidaturas o analizar informes son usos distintos, aunque utilicen el mismo chatbot. Anota el propósito, las personas que intervienen, los datos, la herramienta, la salida esperada y la consecuencia de un fallo. Este enfoque conecta con las funciones Govern, Map, Measure y Manage del marco de gestión de riesgos de IA del NIST, que se presenta como un recurso voluntario.
Riesgos de usar IA en empresas y controles posibles
Un control útil reduce una posibilidad concreta o ayuda a detectar el problema antes de que cause daño. Los siguientes ejemplos son propuestas de gestión; no convierten automáticamente un uso en conforme con la ley ni sustituyen el análisis de obligaciones aplicables.
| Riesgo | Caso ficticio | Medida preventiva | Responsable propuesto | Evidencia que guardar |
|---|---|---|---|---|
| Errores y alucinaciones | Un informe cita una norma inexistente | Contrastar citas y datos con la fuente primaria; limitar el uso a borradores hasta validar | Dueño del proceso | Muestra revisada, fuente y registro de correcciones |
| Confidencialidad y privacidad | Se pega un expediente de cliente en una cuenta no aprobada | Usar herramientas autorizadas, minimizar o anonimizar entradas y definir datos prohibidos | Seguridad y privacidad | Política, evaluación del proveedor y lista de herramientas aprobadas |
| Sesgos | Un resumen de candidaturas omite perfiles de un grupo | Probar resultados con casos diversos; no delegar la selección en una puntuación opaca | RR. HH. y responsable del sistema | Criterios de prueba, resultados agregados y revisión de incidencias |
| Seguridad | Una instrucción maliciosa en un documento modifica la respuesta del asistente | Separar fuentes no confiables de instrucciones; restringir permisos y revisar acciones antes de ejecutarlas | Seguridad informática | Pruebas de abuso, permisos configurados y registro de cambios |
| Dependencia del proveedor | Un cambio de condiciones interrumpe un flujo crítico | Mantener alternativa, exportación de datos y procedimiento manual de continuidad | Compras y tecnología | Revisión contractual, plan de salida y prueba de recuperación |
| Derechos | Un material generado reutiliza texto o imágenes sin autorización clara | Registrar las fuentes, verificar licencias y revisar el contenido antes de publicarlo | Legal y comunicación | Fuentes, licencias y aprobación editorial |
No existe una plantilla que resuelva todos los riesgos. Da prioridad según la posibilidad de que ocurra el daño, su gravedad y la facilidad de detectarlo a tiempo. En privacidad, por ejemplo, la AEPD explica que los prompts pueden implicar datos personales y confidencialidad; por eso conviene tratar la entrada y la conservación como parte del análisis, no como un detalle técnico.
Errores y alucinaciones
Un texto fluido no es prueba de que sea correcto. Pide que cada afirmación verificable señale el documento y el fragmento que la sostiene; abre esa referencia y contrástala. Para un resumen, compara una muestra con el original. Para una extracción, comprueba campos críticos como fechas, nombres, importes y condiciones.
Puedes ampliar el método en cómo detectar alucinaciones de la IA. Diseña también una salida segura: si faltan datos o no hay fuente, que la persona pueda marcar “no verificado” en lugar de copiar la respuesta como un hecho.
Confidencialidad, sesgos y seguridad
Antes de introducir información, distingue entre datos públicos, internos, personales y secretos. Minimiza lo compartido: si una tarea puede resolverse sin nombres ni identificadores, elimínalos. Comprueba qué cuenta, espacio de trabajo o servicio se está usando y evita mezclar cuentas personales con documentación corporativa. La guía sobre privacidad de IA en el trabajo desarrolla estas precauciones.
Los sesgos pueden aparecer en datos, instrucciones, criterios y resultados. Define qué significa un resultado aceptable para el proceso, ensaya ejemplos representativos y habilita una revisión por personas con conocimiento del contexto. No des por hecho que un promedio correcto excluye errores graves en un subgrupo.
En seguridad, considera tanto el acceso al sistema como el contenido que procesa. Restringe permisos a lo necesario, evita que una salida ejecute acciones externas sin confirmación y prueba entradas diseñadas para desviar el comportamiento. Registra incidentes y establece cómo pausar el flujo si aparece una filtración, una acción no autorizada o un patrón de respuestas dañinas.
Dependencia del proveedor y derechos
Revisa antes de adoptar una herramienta qué ocurre con los datos y las salidas, cuánto dura el servicio, cómo se exporta el trabajo y qué opciones existen si deja de estar disponible. Para procesos críticos, ensaya una alternativa real: un proveedor secundario, una versión anterior o un procedimiento manual. No asumas que una función o condición comercial permanecerá estable.
En contenidos generados o transformados, conserva el origen de los materiales de entrada y verifica los derechos antes de reutilizar texto, imagen, audio o código. La herramienta no sustituye la comprobación de licencias, permisos ni acuerdos con clientes. Si hay incertidumbre relevante, escala el caso al equipo jurídico antes de publicar o distribuir.
Ejemplo: revisar un informe antes de compartirlo
Imagina que una analista prepara un informe de mercado con un asistente de IA. Antes de enviarlo a dirección, sigue un recorrido sencillo:
- Comprueba el origen. Abre las fuentes que el sistema cita y confirma que realmente respaldan cada cifra, fecha y conclusión.
- Busca omisiones. Contrasta el resumen con el documento completo, sobre todo excepciones, límites y datos que cambien la interpretación.
- Revisa la información sensible. Confirma que no se incorporaron datos personales o comerciales que no debían salir del entorno autorizado.
- Valida el uso. La analista decide qué conclusiones conserva y corrige. La IA no aprueba ni envía el informe por sí sola.
- Deja rastro. Guarda la versión revisada, fuentes consultadas, cambios sustantivos y quién dio la aprobación interna.
La revisión debe ser más intensa cuanto más importante sea la consecuencia de un error. Una errata en un borrador interno no tiene el mismo impacto que una cifra que cambia una decisión de inversión o una recomendación a un cliente.
Quién decide, registra y escala
Asigna tres funciones, aunque en un equipo pequeño una persona pueda asumir más de una. El dueño del proceso explica para qué se usa la IA y acepta el riesgo operativo. El responsable técnico o de seguridad revisa configuración, accesos, continuidad e incidentes. El referente de privacidad o legal, cuando corresponda, evalúa cuestiones de datos, derechos y obligaciones aplicables. Define también quién puede detener el uso cuando el control falla.
Mantén un registro práctico que incluya: caso de uso y finalidad; herramienta y proveedor; datos de entrada permitidos; usuarios autorizados; riesgos identificados; controles y pruebas; persona revisora; cambios del sistema; incidentes y decisiones tomadas. Revisa el registro cuando cambie el propósito, los datos, el proveedor o el nivel de impacto.
Distingue expresamente estas medidas internas de las obligaciones legales. El Reglamento europeo de Inteligencia Artificial establece un marco regulatorio basado en riesgos, pero el análisis concreto depende del sistema, el papel de la organización y el uso previsto. Esta guía no clasifica jurídicamente un sistema ni determina qué obligaciones aplican: para ello consulta el texto vigente y, si el caso lo requiere, asesoramiento especializado. La checklist de auditoría legal de IA puede servir como punto de partida para ordenar esa revisión.
Preguntas frecuentes sobre los riesgos de la IA
¿Cuáles son los riesgos principales?
Errores y alucinaciones, exposición de información confidencial, sesgos, vulnerabilidades de seguridad, dependencia del proveedor y problemas de derechos sobre los materiales. El orden de prioridad depende del uso y de las consecuencias para las personas y la organización.
¿Cómo se detecta una alucinación?
Contrasta la respuesta con la fuente original, no solo con otra respuesta del mismo sistema. Comprueba citas y datos uno por uno y prueba casos conocidos donde puedas evaluar el resultado correcto.
¿Qué documentación conviene guardar?
Un inventario del caso de uso, datos admitidos, proveedor, evaluación y pruebas, responsables, revisiones, incidencias y cambios. Ajusta la documentación a la finalidad y al impacto; la lista es una recomendación operativa, no una afirmación sobre requisitos legales universales.
¿Por qué importa el proveedor?
Porque sus controles y condiciones afectan a la conservación, acceso, tratamiento y disponibilidad de la información. Evalúa también la posibilidad de exportar datos, cambiar de herramienta y mantener el proceso si el servicio falla.
Sigue leyendo en humAIns