Astra modifica otra IA: 0,016% de parámetros, más matemáticas
Actualizado
Imagen ilustrativa
Qué hizo Astra con Qwen3.5-0.8B
Un grupo de investigadores del Laboratorio de Inteligencia Artificial e Informática del MIT comprobó que GPT-6 Astra, el modelo de OpenAI, puede modificar los parámetros internos de otra red neuronal para mejorar su comportamiento. El experimento se hizo sobre Qwen3.5-0.8B, un modelo de 800 millones de parámetros de la china Alibaba.
Astra mejoró bastante su rendimiento en operaciones matemáticas tocando solo el 0,016% de sus parámetros. Los investigadores lo describen como impactante por lo modesta que fue la modificación. También les sorprendió que la mejora llegara sin un nuevo proceso de entrenamiento del modelo.
Los grandes modelos de lenguaje reconocen patrones gracias a miles de millones de parámetros numéricos. Entre ellos están los pesos, que el modelo va ajustando durante el entrenamiento. Piensa en una red enorme de conexiones pequeñas: cada valor decide cuánto pesa esa conexión en el comportamiento final.
En lugar de reentrenar a Qwen, Astra localizó un problema en su funcionamiento y manipuló directamente los valores numéricos que lo provocaban. Los investigadores califican la estrategia de inédita. El cambio no pasó por volver a entrenar el modelo desde cero.
La automejora recursiva según Amodei
El 12 de septiembre, Dario Amodei, director general de Anthropic, publicó un ensayo titulado 'Debemos marcar el ritmo de la frontera'. En él defiende ralentizar el desarrollo de los modelos de frontera para asegurar su alineación con los intereses humanos y reducir riesgos.
En el texto afirma que desde el verano la IA avanza más rápido por su capacidad de desarrollar la siguiente generación de modelos. A esa dinámica la llama automejorarecursiva y dice que empieza a darse en toda la industria, Anthropic incluida. Según sus palabras, los modelos más avanzados ya participan en crear modelos más capaces.
Qué falta para hablar de automejora estricta
La automejora recursiva sería la capacidad de un modelo de desarrollar por su cuenta modelos más avanzados que él mismo. De las palabras de Amodei se desprende que los modelos más punteros de Anthropic y otros laboratorios ya participan en el desarrollo de nuevos modelos de lenguaje.
Aun así, ninguna de esas empresas ha demostrado públicamente que uno de sus modelos haya alcanzado la automejora recursiva en sentido estricto. El experimento del MIT muestra a Astra modificando otra IA, no generando un modelo nuevo por sí sola.
Lo que queda por comprobar
El resultado del MIT se apoya en un caso concreto: Qwen3.5-0.8B, un modelo pequeño de 800 millones de parámetros, y una mejora medida en operaciones matemáticas. Los investigadores destacan tanto el rendimiento logrado como el hecho de que no hiciera falta reentrenar.
El artículo no detalla pruebas de este método en modelos de otro tamaño ni en tareas distintas de las matemáticas.
Enlaces de afiliado: podemos recibir una comisión por las compras que cumplan los requisitos, y no cambia nuestros datos ni las clasificaciones. Abren los resultados de búsqueda de Amazon: allí se ven precios y disponibilidad.
