Comisión de Radiodifusión y Medios y KISDI celebran Conferencia 2026 sobre Protección de Usuarios de Servicios de IA
Automatización de agentes IA se expande: necesario ampliar alcance de cancelación y recuperación
La aparición reciente de servicios de agentes de inteligencia artificial como "Muse" de Meta y "Dots" de OpenAI ha generado opiniones de que la protección de usuarios y el enfoque del control de autoridad deben ampliarse más allá de las respuestas de IA para incluir acciones reales y el control de permisos.
El 12 de noviembre, la Comisión de Radiodifusión y Medios (CRMM) y el Instituto de Investigación de Políticas de Comunicación e Información (KISDI), ambos organismos surcoreanos, celebraron la "Conferencia 2026 sobre Protección de Usuarios de Servicios de IA" en la Torre Post de Seúl, distrito de Jung-gu. El profesor Lee Sang-geun de la Universidad Korea, quien pronunció el discurso inaugural, afirmó que "para proteger a los usuarios en la era de los agentes de IA, debe haber medidas de seguridad en todo el proceso, desde la delegación de autoridad hasta la recuperación".
El profesor Lee categorizó los riesgos de los servicios de agentes de IA en tres tipos: agentes controlados por ataques externos, agentes que se extralimitan en el proceso de lograr objetivos y agentes con delegaciones de autoridad deficientemente estructuradas.
El profesor Lee explicó: "El riesgo de ataques externos es particularmente grave cuando se combinan el acceso a datos sensibles, entradas externas no confiables y capacidades de comunicación externa. Estos tres elementos deben controlarse para evitar que se combinen simultáneamente".
En consecuencia, destacó que se necesitan medidas de seguridad en todo el proceso, desde la delegación de autoridad hasta la recuperación, para proteger a los usuarios.
Al delegar autoridad, el profesor señaló que debe ser posible verificar a quién representa el agente y qué acciones ha autorizado el usuario. El profesor Lee mencionó que "es necesario incluir indicadores como 'en las transacciones de pago, el agente de IA es el sujeto de la transacción'".
Recomendó que los modelos de IA que monitorean acciones se separen de aquellos que ejecutan tareas. Explicó que, dado que los sistemas de monitoreo también pueden cometer errores, deben aplicarse medidas de seguridad estructurales como la limitación de permisos.
Analizó que los procedimientos de verificación humana deben aplicarse de manera diferente según el riesgo de la acción. Afirmó que si se requiere aprobación para cada acción, la eficiencia de la automatización disminuiría. El profesor Lee señaló: "Solo deben utilizarse datos públicos. La verificación humana es necesaria para acciones de alto riesgo como pagos, envío de correos externos y el procesamiento de información privada en sectores financiero y médico".
Hizo hincapié en la necesidad de ampliar el alcance de cancelación y recuperación. Su razonamiento es que, a medida que múltiples agentes actúan en conjunto, aumentan las transacciones ejecutadas sin aprobación humana.
Park Tae-ung, jefe de la División de IA Pública del Comité Estratégico Nacional de IA, quien también pronunció un discurso inaugural, categorizó los ámbitos de daño a usuarios derivados de servicios de agentes de IA en seis: daño informativo, daño relacional, daño transaccional, daño de datos y seguridad, daño por delegación indebida y daño por falta de reparación. Explicó que la protección debe incluir no solo la información falsa y el robo de datos personales, sino también acciones fuera del alcance de la delegación y la ausencia o demora en procedimientos de reparación de daños.
Park argumentó que las leyes y regulaciones para la protección de usuarios deben establecer niveles de seguridad que se deben lograr en lugar de especificar tecnologías particulares, e hizo responsables a los proveedores de servicios de los resultados. Señaló: "No puede haber una estructura en la que los proveedores declinen la responsabilidad argumentando que informaron que se trata de IA, ni tampoco los usuarios pierdan protección porque clickearon en un botón de aceptación".
Además, enfatizó la necesidad de establecer reglas para verificar la identidad del agente, sus permisos y el responsable principal. Indicó que es necesario identificar quién opera y gestiona el agente, y debe ser posible detectar inmediatamente y detener acciones que excedan el alcance de la delegación.
Park declaró: "Cuando ocurran transacciones fuera de las instrucciones explícitas del usuario, el proveedor del agente y la empresa de pagos deben ser responsables en primera instancia".
* Este artículo ha sido traducido por IA.