Anthropic pide una pausa coordinada en el desarrollo de sistemas de IA de alto rendimiento

La empresa justifica esta iniciativa por los rápidos avances en los modelos de IA, especialmente en las capacidades de automejora y desarrollo continuo. Anthropic advierte que el umbral para los sistemas de autooptimización podría alcanzarse más rápido de lo que las instituciones están preparadas. Si los modelos de IA pueden mejorarse de forma autónoma, aumenta el riesgo de que la humanidad pierda el control.

Por qué una pausa solo puede funcionar en conjunto

Según Anthropic, una pausa debe ser conjunta: "Se tendrían que establecer y seguir reglas que fueran verificables para todos". Las principales empresas de IA de diferentes países, especialmente de Estados Unidos y China, tendrían que acordar simultáneamente una desaceleración o pausa para que la medida sea efectiva. Anthropic rechaza las pausas unilaterales porque solo cambiarían quién está a la cabeza.

Competencia, inversiones y valoración

La iniciativa actual se produce en un contexto de competencia intensificada en la industria. Las empresas de la industria de la IA se superan actualmente con planes de invertir cientos de miles de millones de dólares en infraestructura de IA, como enormes centros de datos. El mes pasado, Anthropic cerró una ronda de financiación con una valoración de 965 mil millones de dólares, lo que, según la empresa, la valora por encima de su rival OpenAI. El lunes, Anthropic también presentó confidencialmente documentos para una oferta pública inicial en Estados Unidos.

El CEO Dario Amodei ya había señalado en enero en el Foro Económico Mundial de Davos que "la carrera de la IA con China hace que una desaceleración del desarrollo sea muy difícil, ya que apenas puede haber un acuerdo aplicable". Este escepticismo hacia los pasos unilaterales impregna la argumentación de la empresa. Anthropic cita el Tratado INF como ejemplo histórico, cuya implementación llevó décadas, y subraya que una pausa efectiva debe responder a preguntas claramente reguladas: cuándo entra en vigor una desaceleración, quién la supervisa y bajo qué condiciones se levanta.

Anthropic anunció que en los próximos meses mantendrá conversaciones con responsables políticos, investigadores, grupos de la sociedad civil y otras empresas de IA para abordar riesgos como los sistemas de autooptimización y una mejor coordinación internacional. El instituto propio de la empresa trabajará en enfoques técnicos que permitan una desaceleración controlada. Esto incluye un sistema de monitorización planificado para garantizar que todos los participantes cumplan la pausa y que nadie obtenga una ventaja en secreto.

Disputa con el Pentágono y contexto geopolítico

La iniciativa se produce en un momento de mayor atención a la empresa. Recientemente, el software Claude Mythos Preview causó revuelo al detectar vulnerabilidades de seguridad, algunas de décadas de antigüedad, en varios programas. Al mismo tiempo, Anthropic está inmersa en una disputa legal con el Departamento de Defensa de EE. UU. después de que el Pentágono clasificara a la empresa como un "riesgo de seguridad en la cadena de suministro" tras su negativa a liberar sus modelos para ciertas aplicaciones militares. Anthropic está demandando contra esta clasificación y había declarado anteriormente que no quería que su IA se utilizara para "vigilancia masiva interna" o en sistemas de armas totalmente autónomos.

La Casa Blanca, bajo la presidencia de Donald Trump, había acusado a Anthropic de que una regulación más estricta frenaba a la industria estadounidense en la competencia global. Mientras tanto, la Unión Europea espera tener acceso de prueba a la tecnología de Anthropic para evaluar los riesgos potenciales. Los observadores de la industria también señalan que Elon Musk pidió hace años una pausa de seis meses en el desarrollo de la IA para mitigar los riesgos, al mismo tiempo que impulsaba la creación de su propia empresa de IA.

La iniciativa recibe apoyo de la investigación. El instituto propio de Anthropic está trabajando en mecanismos técnicos que permitan una desaceleración controlada. Según la empresa, también hay interés por parte de la sociedad civil en las conversaciones anunciadas. En la entrada de blog, Anthropic señala que "un esfuerzo coordinado de las principales empresas de IA del mundo es necesario para prevenir un desarrollo descontrolado de IA con capacidad de auto-mejora".

La respuesta de la industria y de los gobiernos será crucial para el éxito de la propuesta. La propia Anthropic admite que los llamamientos anteriores a pausas han tenido poco efecto hasta ahora, pero se mantiene firme en la exigencia de "establecer y seguir reglas que serían verificables para todos". La entrada de blog formula el objetivo como un mecanismo de emergencia: un procedimiento coordinado para poder ralentizar o suspender temporalmente el desarrollo de IA particularmente avanzada en una crisis.

Investigación, sociedad civil y coordinación internacional

Paralelamente, aumenta la presión económica: según Anthropic, en mayo más del 80 por ciento del código en su propia base de código fue generado por su propia IA Claude. Dario Amodei y Anthropic habían advertido repetidamente anteriormente que la humanidad podría no ser capaz de manejar una IA superinteligente. Las próximas conversaciones con la política, la ciencia y la sociedad civil deberían, según la empresa, proporcionar las primeras respuestas sobre cómo organizar el equilibrio entre la dinámica de innovación y el control.

Un punto central de controversia sigue siendo la cuestión de la aplicabilidad. Anthropic se refiere al Tratado INF, que demuestra que los mecanismos de control globales son posibles, pero que requieren tiempo. Al mismo tiempo, la empresa subraya que no se trata de una prohibición de la IA, sino de la "posibilidad" de una pausa, como instrumento coordinado que puede activarse una vez alcanzados ciertos umbrales técnicos.

Si la propuesta se convierte en realidad política dependerá también de si China, Estados Unidos y otros centros líderes de IA pueden acordar normas comunes. La propia Anthropic se muestra cautelosa en cuanto a la velocidad de un proceso de este tipo, y señala que las propias negociaciones sobre el Tratado INF duraron décadas.

Perspectiva: del principio a la implementación

Lo que está claro es que con la entrada de blog, Anthropic traslada el debate sobre la seguridad de la IA de un nivel puramente técnico a uno institucional. La exigencia de un "esfuerzo coordinado de las principales empresas de IA del mundo" tiene como objetivo prevenir acciones unilaterales y crear un marco en el que una pausa no se vea como una desventaja competitiva, sino como una responsabilidad compartida.

Amodei ha advertido en repetidas ocasiones en el pasado sobre una superinteligencia y ha planteado la cuestión de si la humanidad podría dominar una IA de este tipo. La entrada de blog retoma esta preocupación y la traduce en un instrumento político concreto: un mecanismo que debería permitir al mundo "ralentizar o suspender temporalmente el desarrollo de sistemas de IA de vanguardia".