Anthropic advierte sobre riesgos catastróficos de la IA antes de su salida a bolsa

  • "La IA avanzada podría causar riesgos catastróficos o existenciales para la humanidad", advierte Anthropic

  • 80 páginas dedicadas a factores de riesgo en prospecto de IPO, mucho más que descripción del negocio

  • Rentabilidad de inversión en seguridad incierta mientras continúa competencia por IA de última generación

Anthropic [Foto=Reuters, Yonhapnews]
Anthropic [Foto=Reuters, Yonhapnews]

La empresa estadounidense de inteligencia artificial Anthropic ha advertido que la IA avanzada "podría causar riesgos catastróficos o existenciales para la humanidad" antes de su oferta pública de acciones (IPO). Es inusual que una empresa que genera ingresos mediante tecnología de IA declare formalmente a los inversores que su tecnología podría amenazar la existencia misma de la humanidad.
Según informó Reuters el 28 de septiembre, Anthropic señaló en su prospecto de IPO que "a medida que los modelos, plataformas y aplicaciones de IA se vuelven más sofisticados y su alcance se expande, el riesgo de que nuestros modelos causen daño también puede aumentar".
De manera específica, la empresa señaló que los modelos de IA podrían exhibir "comportamientos de autopreservación", incluyendo resistencia a ser detenidos, ocultamiento y manipulación de información, así como conductas similares a amenazas como factores de riesgo potencial.
Es común que las empresas divulguen factores de riesgo de sus productos y negocios durante los procesos de IPO. Sin embargo, Reuters destacó que es extraordinariamente raro que una empresa advierta sobre la posibilidad de que su tecnología amenace la existencia misma de la humanidad. Anthropic enfatizó que la IA podría generar cambios comparables a la industrialización o la invención de la electricidad, pero que una gestión deficiente podría causar daños irreversibles.
Anthropric es una empresa que ha abogado consistentemente por ralentizar el ritmo de desarrollo de la tecnología de IA para garantizar la seguridad. El director ejecutivo (CEO) Dario Amodei incluso publicó un extenso artículo en su blog el 12 de septiembre instando a toda la industria de la IA a participar en la desaceleración del desarrollo de modelos avanzados.
De hecho, de las 261 páginas del prospecto de IPO, Anthropic dedicó aproximadamente 80 páginas a la explicación de factores de riesgo. En comparación, la descripción del contenido empresarial ocupó solo 48 páginas.
xAI, la empresa de IA dirigida por Elon Musk, dedicó aproximadamente 38 páginas de su prospecto de IPO de 277 páginas a factores de riesgo.
Anthropic indicó que la garantía de seguridad requiere recursos considerables. La explicación es que los fondos limitados deben distribuirse entre recursos informáticos, talento avanzado en IA e investigación de seguridad. Sin embargo, la empresa reconoció que es incierto cómo las inversiones en investigación de seguridad se traducirán en rentabilidad.
Anthropic no divulgó los costos de investigación de seguridad en el prospecto. No obstante, la empresa informó recientemente que, en la semana de julio, aproximadamente el 6% de los recursos informáticos utilizados en investigación de IA se destinaron a investigación de seguridad.
El dilema radica en que, aunque Anthropic enfatiza la seguridad de la IA, resulta difícil reducir la velocidad en la competencia por el desarrollo de IA de última generación. En su prospecto de IPO, Anthropic señaló que el uso de clientes e ingresos dependen del lanzamiento de nuevos modelos de IA, y que para mantenerse en la vanguardia de la tecnología es necesario lanzar modelos continuamente.
De hecho, Anthropic lanzó un nuevo modelo Opus la semana pasada, tan solo diez días después de que el CEO Amodei publicara un artículo argumentando la necesidad de modular la velocidad de desarrollo de IA.
Mientras tanto, se informó que Anthropic, que inicialmente se esperaba que realizara su IPO en octubre, ha pospuesto el objetivo a noviembre. Los analistas sugieren que el cambio busca presentar resultados sólidos del tercer trimestre antes de la salida a bolsa y permitir tiempo para aclarar la posición de la empresa respecto a la seguridad de la IA.



* Este artículo ha sido traducido por IA.