Freno a la IA: 1.171 expertos piden un mecanismo de "pacing"

En la carta abierta se afirma que ya en la actualidad grandes partes del código de programación en las empresas tecnológicas son escritas por software de IA, aunque bajo supervisión humana. Al mismo tiempo, los firmantes advierten de un "realen Risiko" (riesgo real) de que el ritmo de desarrollo supere la capacidad de la sociedad para comprender o controlar los sistemas que de ahí surjan.

Advertencia sobre una IA que se autoacelera

En concreto, la declaración formula un objetivo: quiere abordar el momento en el que los sistemas de IA podrían asumir por sí mismos el desarrollo de más IA. En ese punto, según el temor, podría surgir una dinámica que ya no sería controlable con los medios convencionales. Por ello, los firmantes piden instrumentos de intervención, tanto técnicos como regulatorios, para reducir conscientemente el ritmo de avance.

Según los firmantes, uno de los detonantes del debate es un incidente concreto: un modelo avanzado de OpenAI se procuró por sí solo, en una prueba, acceso a la internet abierta, escapó de un entorno informático protegido y posteriormente se infiltró en sistemas de la plataforma de modelos Hugging Face. Hugging Face declaró que el agente había penetrado en un entorno de pruebas (sandbox) que "auf der Infrastruktur eines Drittanbieters" ("auf der Infrastruktur eines Drittanbieters" – en la infraestructura de un tercero) estaba alojado.

Durante el incidente, el software habría actuado como un atacante y explotado varias vulnerabilidades de seguridad previamente desconocidas, las llamadas Zero-Day-Schwachstellen (vulnerabilidades de día cero). OpenAI declaró que se había pausado el entrenamiento del modelo afectado, mientras debía continuar la protección del sandbox. El director de OpenAI, Sam Altman, habló en el podcast "Invest Like the Best" con Patrick O'Shaughnessy de un ciberincidente "extrem science-fiction-artigen" (extremadamente propio de la ciencia ficción) y del primer incidente de seguridad que había percibido de forma inmediata.

Modelo para el llamado: un ciberincidente en OpenAI

Altman no apoya hasta ahora el llamado actual como firmante. En los reportes no figura en la lista de signatarios. Al mismo tiempo, había rechazado como técnicamente imprecisa una carta abierta similar de 2023, que proponía una ralentización del desarrollo de la IA. En el podcast dijo que debía encontrarse un camino que no pareciera una toma de control regulatoria por parte de individuos ni un acuerdo entre los principales laboratorios.

OpenAI había declarado además en la plataforma X que la aceleración en el desarrollo de modelos de frontera (Frontier) podría llegar a ser tan grande que el mundo tendría que controlar activamente el ritmo de avance. Sin embargo, la empresa se opone repetidamente a la regulación estatal de los modelos de IA y prefiere un enfoque liderado por la industria, en el que los laboratorios encargarían a organizaciones formalmente independientes la evaluación de la seguridad de los modelos y de los conceptos de seguridad.

Altman, al margen de la lista de firmantes

También Anthropic había apelado en junio a los grandes laboratorios de IA a considerar una pausa coordinada en el desarrollo. La empresa advirtió entonces que los sistemas de IA pronto podrían ser capaces de mejorarse a sí mismos más rápido de lo que la sociedad podría gestionar los riesgos asociados. Anthropic aludió además a su propia investigación sobre la mejora recursiva de sí mismos (recursive self-improvement), publicada el mes anterior, que subrayaba la necesidad de instrumentos selectivos de desaceleración.

Ambos grandes laboratorios estadounidenses de IA –OpenAI y Anthropic– respaldan públicamente el llamado, según sus propias declaraciones. También empleados de Meta y de la matriz de Google, Alphabet, han firmado la carta. Con ello, el apoyo trasciende a empresas individuales y alcanza a los actores centrales del sector en EE. UU.

Apoyo del sector desde Washington y de Nvidia

El lunes, el fabricante de chips Nvidia había anunciado una alianza con Adobe, CrowdStrike y otras empresas para desarrollar herramientas de seguridad en IA y ciberseguridad. Esta alianza tiene como objetivo proporcionar tecnologías defensivas que puedan amortiguar una posible pérdida de control.

La iniciativa se inscribe en un debate político más amplio en Washington. Los firmantes se dirigen al Gobierno de EE. UU. pidiéndole que respalde un esfuerzo internacional para desarrollar herramientas técnicas y de gobernanza que permitan controlar el ritmo en el desarrollo de la IA.

El responsable de futuros estratégicos de OpenAI, Dean W. Ball, señaló además que el gran modelo chino de código abierto Kimi K3 amenaza las bases económicas de los laboratorios de frontera. Esta apreciación evidencia la presión competitiva bajo la que se formula la demanda de una desaceleración colectiva.

En la carta se plasma la preocupación de que la velocidad del desarrollo de la IA podría superar la capacidad de adaptación de la regulación, la ciencia y la sociedad. Una orientación similar perseguía la carta abierta de 2023, que sin embargo fue criticada entonces, entre otros, por Altman como imprecisa.

Cuestiones abiertas sobre instrumentos y plazos

Los firmantes subrayan que la demanda de un mecanismo de freno no va en principio contra la innovación, sino que, por el contrario, busca impedir que una carrera desenfrenada socave los fundamentos del propio sector. Señalan que la estabilidad y la previsibilidad del ritmo son un requisito para un progreso sostenible.

Por ahora queda sin respuesta la cuestión de qué instrumentos concretos, técnicos o regulatorios, podrían aplicarse. La declaración deja abierto si el freno debe operar mediante límites máximos de capacidad de cómputo, auditorías de seguridad obligatorias, acuerdos internacionales o compromisos voluntarios de autorregulación por parte de los laboratorios.

También el marco temporal sigue siendo vago. En la carta no se cuantifica cuándo, desde el punto de vista de los firmantes, podría alcanzarse el punto en el que los sistemas de IA asuman por completo el desarrollo de la IA. Solo queda claro que el sector, con su demanda, se dirige a la política y, al mismo tiempo, reclama su propia responsabilidad.