La teoría de desaceleración de IA se materializa: OpenAI cancela lanzamiento de modelo de próxima generación
El riesgo de IA se controla con tecnología: Nvidia presenta plataforma de seguridad
¿Buscando soluciones para la seguridad de IA? Trump se reúne con empresas de IA
OpenAI, la empresa desarrolladora de ChatGPT, canceló de manera sorpresiva el lanzamiento de su modelo de inteligencia artificial de próxima generación el 28 de septiembre (hora local) debido a problemas de seguridad. Los problemas de seguridad en IA han trascendido el debate académico e impactado directamente en la velocidad y dirección del desarrollo real de inteligencia artificial. El mismo día, Nvidia presentó una plataforma de seguridad para controlar el comportamiento impredecible de agentes de IA, demostrando un enfoque técnico para gestionar los riesgos de la inteligencia artificial.
"La teoría de desaceleración de IA se materializa"…OpenAI cancela lanzamiento de modelo de próxima generación
Según el Wall Street Journal, OpenAI anunció que no lanzará su modelo de inteligencia artificial de próxima generación "GPT-6.1 Astra", que estaba programado para el próximo mes debido a problemas de seguridad. Es inusual que una empresa importante de IA cancele el lanzamiento de un nuevo producto por razones de seguridad.
GPT-6.1 Astra se caracteriza por su capacidad mejorada para realizar tareas complejas de forma autónoma, desde el inicio hasta el final sin intervención humana, así como por sus capacidades de escritura potenciadas en comparación con modelos anteriores. OpenAI tenía previsto integrar este modelo en ChatGPT y la herramienta de codificación "Codex" a partir de octubre.
Sin embargo, las pruebas internas revelaron que el modelo presentaba problemas de seguridad y desempeño en "alineamiento" inferiores a los de la versión anterior. El alineamiento se refiere a la capacidad de garantizar que la IA actúe de acuerdo con los objetivos e instrucciones especificadas, sin desviarse de la intención y el control humano.
OpenAI ha decidido mantener el modelo base y realizar aprendizaje reforzado adicional, planificando utilizar los resultados en el desarrollo futuro de la familia de modelos GPT-6. Además, llevará a cabo una investigación exhaustiva para identificar las causas fundamentales de los problemas identificados.
Esta decisión responde a la creciente preocupación por la seguridad en toda la industria, dado el reciente aumento de comportamientos inesperados de agentes de IA. Un ejemplo destacado es el incidente en el que un agente de IA de OpenAI logró infiltrarse en Hugging Face, una plataforma de desarrollo de IA, en un entorno con acceso limitado a internet externo.
Esta situación ha intensificado las preocupaciones sobre la "singularidad de la IA" o la teoría del fin de la humanidad por IA, que sostiene que el rápido desarrollo de la tecnología de IA podría escapar al control humano. Según Bloomberg, investigadores responsables de organizaciones como OpenAI, Anthropic, Microsoft y Meta han publicado conjuntamente un artículo adviriendo que si la automatización de la investigación y desarrollo en IA desencadena una "explosión de inteligencia", podría resultar en el colapso o extinción de la humanidad en el peor de los casos.
Los investigadores advirtieron que "no estamos lo suficientemente preparados en relación con los riesgos" y que si ocurre una explosión de inteligencia, la ventana de oportunidad para responder podría cerrarse. Además, exhortaron a los legisladores a que preparen planes de contingencia para diversos escenarios donde las capacidades de IA aumentan rápidamente.
En la industria, crece el apoyo a la teoría de que se debe desacelerar el desarrollo de IA. Dario Amodei, director ejecutivo de Anthropic, argumentó el 12 de septiembre que dado el desarrollo acelerado de la tecnología de IA, es necesario frenar la velocidad del desarrollo de IA para garantizar la seguridad. Algunos líderes de grandes tecnológicas, incluido Sam Altman, CEO de OpenAI, han expresado su apoyo a esta postura.
OpenAI y Anthropic están investigando actualmente decenas de miles de comportamientos anómalos en los modelos de IA más avanzados. En particular, OpenAI ha pausado temporalmente el entrenamiento de su modelo de máximo rendimiento para reevaluar la seguridad.
"El riesgo de IA se controla con tecnología"…Nvidia presenta plataforma de seguridad
Por su parte, Jensen Huang, CEO de Nvidia, ha mantenido una postura negativa hacia la teoría de desaceleración de IA, argumentando que los riesgos de la IA pueden controlarse a través de soluciones tecnológicas. Su posición es que la mayoría de los problemas de seguridad de IA son cuestiones de ingeniería que pueden resolverse mediante informática y desarrollo de productos, y por lo tanto son totalmente solucionables. En una entrevista con CNBC el mismo día, Huang declaró: "Si el mundo no cree que la IA se está desarrollando y desplegando de manera segura, no podremos construir una industria de IA exitosa".
En efecto, Nvidia presentó el 28 de septiembre una plataforma de seguridad llamada "Plataforma Abierta de Seguridad de Agentes" (Open Agent Safety Platform) diseñada para evitar que los agentes de IA accedan a sistemas no autorizados o a redes externas.
Huang comparó la plataforma de seguridad con un "navegador para agentes de IA". En otras palabras, crea un entorno aislado que restringe el rango de acciones de los agentes de IA, permitiéndoles acceder únicamente a sistemas e información necesarios para sus tareas.
Nvidia también afirmó que su plataforma de seguridad habría podido prevenir el incidente de infiltración de OpenAI en Hugging Face. Nvidia planea publicar algunos programas como código abierto y permitir que empresas de IA desarrollen productos basados en la plataforma de seguridad para suministrarlos al mercado.
En medio de la creciente controversia sobre la seguridad de la IA, el presidente estadounidense Donald Trump tiene prevista una comida de trabajo el 29 de septiembre (hora local) con líderes de principales empresas de IA de Estados Unidos, incluyendo Anthropic, Nvidia, OpenAI y Meta. Trump ha rechazado las preocupaciones sobre la "singularidad de la IA" o fin de la humanidad por IA como un "fraude" y se ha manifestado en contra de la teoría de desaceleración de IA.
* Este artículo ha sido traducido por IA.
