Nadella publicó un artículo el 11 de octubre (hora local) en la red social X (anteriormente Twitter) titulado «Modelos como riesgo interno en la era de la superinteligencia», en el que señaló que «ha llegado el momento de revisar los marcos de confianza acordes con esta nueva era de la IA».
El ejecutivo indicó que «es necesario construir sistemas que permitan observar las acciones, validar los límites y mantener el control sobre el comportamiento de forma continua», agregando que «en otras palabras, debe separarse el suministro de información del control sobre esa información».
Nadella también propuso gestionar la IA avanzada, incluyendo modelos de código cerrado y de código abierto, de la misma forma que las empresas manejan los riesgos de seguridad internos. La propuesta implica aplicar principios de seguridad de la información a los sistemas de IA, similar a cómo las organizaciones verifican la identidad de los empleados que acceden a información crítica, restringen permisos de acceso y registran actividades.
El CEO de Microsoft precisó que «los mecanismos de control que determinan qué información pueden consultar los modelos y qué operaciones pueden realizar deben estar ubicados fuera del modelo», explicando que se trata de un principio de seguridad de la información aplicado desde los años setenta.
Añadió que «las personas autorizadas deben poder pausar o detener un modelo en cualquier momento durante su operación», enfatizando la función de «freno de emergencia» de la IA.
Nadella concluyó que «cuanto más sofisticado sea un modelo, más avanzadas serán las técnicas de contención que requerirá», y subrayó la necesidad de «estandarizar esto».
Estas declaraciones llegan en un contexto de crecientes preocupaciones sobre la seguridad de la tecnología de IA ante su rápido desarrollo. Otros ejecutivos de importantes empresas de IA, incluido Dario Amodei, director ejecutivo de Anthropic, han emitido advertencias consecutivas sobre la velocidad de avance de la IA y sus riesgos potenciales.
* Este artículo ha sido traducido por IA.
