Seguridad de IA: riesgos, controles proporcionales y supervisión humana
La seguridad de IA cubre los riesgos técnicos y organizacionales propios de los sistemas de IA — inyección de instrucciones, fuga de datos por entradas al modelo, envenenamiento de datos, manipulación de salidas, permisos excesivos de agentes — además de los controles y la supervisión que mantienen esos riesgos dentro de límites aceptados. Complementa, no reemplaza, la seguridad de la información existente.
Riesgos propios de la IA
Los programas de seguridad existentes rara vez los cubren por defecto.
- Datos sensibles saliendo de la organización por prompts y adjuntos.
- Inyección de instrucciones a través del contenido que el modelo lee.
- Datos de entrenamiento o de consulta manipulados o envenenados.
- Salidas usadas como verdad sin verificación.
- Agentes con más permisos que los que la tarea requiere.
- Dependencia de un único proveedor sin plan de salida.
Controles proporcionales
Los controles deben corresponder al impacto del uso. Un asistente de redacción y una decisión de crédito automatizada no requieren el mismo régimen.
- Lista de herramientas aprobadas y una vía para solicitar nuevas.
- Reglas sobre qué datos pueden entrar en cada clase de herramienta.
- Privilegio mínimo para integraciones y agentes.
- Registro de llamadas relevantes y de quién actuó sobre la salida.
- Punto definido de supervisión humana para decisiones con consecuencia.
Supervisión real
La supervisión humana solo cuenta cuando la persona tiene información, tiempo y autoridad para discrepar del sistema. Nombrada sin esas tres condiciones, es una formalidad que falla justo cuando importa.
Preguntas frecuentes
¿Basta con nuestro programa de seguridad de la información?
Es la base, no el todo. La IA agrega riesgos ligados a la finalidad, a los datos en los prompts, a la confiabilidad de las salidas y a los permisos de agentes.
¿Conviene bloquear herramientas públicas de IA?
Los bloqueos totales suelen empujar el uso a la clandestinidad. Una lista aprobada más una vía rápida de solicitud da más visibilidad que una prohibición que nadie sigue.