Investigadores advierten sobre riesgos de seguridad en el nuevo modelo Astra de OpenAI

Expertos externos expresaron, sin embargo, su preocupación de que la velocidad con la que se está desplegando Astra pudiera favorecer posibles vulnerabilidades. Citaron informes sobre los llamados ataques de inyección de prompts, en los que los atacantes logran que los modelos ejecuten instrucciones dañinas. Algunas investigadoras e investigadores exigieron auditorías de seguridad independientes antes de un despliegue más amplio.

En OpenAI, entre otros, Jakub Pachocki y Greg Brockman son responsables del desarrollo. La empresa subraya que Astra fue sometido, antes de su publicación, a exhaustivas pruebas de seguridad internas y externas. Se han integrado nuevos mecanismos de protección contra la manipulación y la fuga de datos.

Críticas desde la investigación

Investigadores de seguridad independientes objetan, no obstante, que falta documentación accesible al público sobre los procedimientos exactos de prueba. Exigen más transparencia sobre los datos con los que se entrenó a Astra, así como sobre los límites del modelo en tareas sensibles. Las críticas se dirigen también al conjunto del sector del desarrollo de IA, en el que modelos similares se publican con estándares en parte diferentes.

Desde la comunidad investigadora se afirma que un único modelo potente puede convertirse en el objetivo de ataques coordinados si los atacantes explotan de forma sistemática sus debilidades. Astra dispone de amplias capacidades de generación de texto y edición de código, lo que incrementa su potencial de daño. Al mismo tiempo, según información propia de OpenAI, la empresa ya trabaja en un sistema sucesor que incluirá capas adicionales de seguridad.

Perspectivas sobre regulación y pruebas

Observadoras y observadores consideran que la publicación de Astra marca un punto de inflexión en la carrera por sistemas de IA cada vez más potentes. Mientras los defensores aluden al beneficio económico y científico, los críticos advierten de un aumento de los ataques automatizados. Las próximas semanas deberán mostrar si las medidas de protección introducidas por OpenAI resisten en la práctica.

El debate coincide con una fase en la que los organismos reguladores de todo el mundo debaten sobre estándares vinculantes para los grandes modelos de IA. Los defensores de normas más estrictas argumentan que, sin verificaciones independientes, la confianza en la tecnología podría verse dañada a largo plazo. OpenAI se ha mostrado, en principio, abierta a cooperar con las autoridades supervisoras, sin comprometerse por ahora con promesas concretas.

En la comunidad de código abierto, desarrolladoras y desarrolladores señalan que una difusión más amplia de los pesos de los modelos comporta a la vez riesgos y oportunidades. Abogan por bases de datos abiertas de seguridad en las que las vulnerabilidades puedan ser reportadas y corregidas con rapidez. Según los organizadores, la próxima conferencia de seguridad de octubre también tratará a Astra como caso de estudio.

Mientras tanto, primeras empresas han anunciado que probarán Astra en aplicaciones internas. En particular, se deberá examinar si el modelo resulta adecuado para el análisis automatizado de grandes volúmenes de datos. Los equipos de seguridad subrayan que tales pruebas deberían llevarse a cabo en entornos aislados para evitar fugas de datos.