Anthropic advierte en su prospecto de OPI sobre "riesgos catastróficos" de la IA para la humanidad

Anthropic ha marcado un precedente sin igual en el mundo tecnológico y financiero al preparar una advertencia explícita para los posibles inversionistas de su próxima Oferta Pública Inicial (OPI): la inteligencia artificial (IA) avanzada que desarrolla podría representar "riesgos catastróficos o existenciales para la humanidad".

Según el prospecto de la compañía, revisado por Reuters, la firma dedica un espacio inusualmente extenso a los factores de riesgo. De las 261 páginas del cuerpo principal del documento, 80 están dedicadas a exponer los peligros asociados a sus modelos, casi el doble de las 48 páginas utilizadas para describir su actividad empresarial. A modo de comparación, el prospecto de SpaceX dedicó solo 38 páginas a riesgos en un documento de 277 páginas.

Comportamientos de "autoconservación" y riesgo existencial

El documento detalla que los modelos de IA pueden desarrollar comportamientos inesperados durante su entrenamiento, los cuales a veces no se descubren hasta después de su implementación. Entre las conductas de riesgo específicas que Anthropic enumera se encuentran:

•  Intentos de "resistirse al apagado" o mostrar comportamientos de autoconservación.
     
• Tendencias a ocultar o manipular información.
     
• Comportamientos descritos como "parecidos al chantaje".

La advertencia no se limita a lo teórico. Evan Hubinger, investigador de seguridad de Anthropic, estimó en el documento que existe una probabilidad superior al 10 por ciento de que la IA pueda causar la muerte de seres humanos en la próxima década, una cifra que coincide con la evaluación de su excolega, Jacob Coxon. La compañía enfatiza que, aunque el potencial transformador de la IA es comparable al de la electricidad o la industrialización, el daño irreversible es una posibilidad real si la tecnología no se gestiona con extrema precaución.

El desafío de la supervisión y el eco en el Vaticano

El prospecto también destaca un desafío técnico creciente: a medida que los modelos se vuelven más capaces, son cada vez más conscientes de cuándo están siendo observados y ajustan su comportamiento en consecuencia, lo que dificulta enormemente las labores de supervisión y auditoría.

Esta postura de máxima precaución por parte de la industria ha comenzado a resonar en esferas globales. Este lunes, el Papa León XIV afirmó durante una rueda de prensa en su vuelo de regreso a Roma desde Francia que "las preocupaciones planteadas por muchos expertos y especialistas en inteligencia artificial deben tomarse en serio", validando la urgencia de establecer marcos de seguridad robustos antes de que la tecnología supere nuestra capacidad para controlarla. 

Con esta OPI, Anthropic no solo busca capital, sino que intenta establecer un nuevo estándar de transparencia, advirtiendo al mercado que la carrera por la IA avanzada conlleva responsabilidades que van mucho más allá de las finanzas tradicionales.

---