MIT 计算机科学与人工智能实验室(CSAIL)的四名研究人员于 11 月 2 日发表博客《Sparks of Weight-Space Programming》,称 OpenAI 的 GPT-6 Astra 可以直接读取并改写另一个神经网络的权重来提升其表现,无需重新训练。这一说法迅速成为本周 AI 社区最受讨论的话题之一。
最受关注的实验针对阿里巴巴的开源小模型 Qwen3.5-0.8B:Astra 定位到模型第 15、19 层 MLP 中的一个“循环方向”,仅改动 131072 个权重(占模型 8 亿权重的 0.016%),MATH-500 得分就从 7.9% 升至 48.1%,GSM8K 从 13.8% 升至 67.1%。作者认为,这种“权重空间编程”未来可用于审计模型隐藏缺陷、直接打补丁。
但质疑在一天内就出现了。spaCy 作者 Matthew Honnibal 指出, headline 结果依赖的是 Python 工具与前向传播,而非纯粹“读权重”;更重要的是基线本身异常:Qwen 模型 93% 的回答会陷入循环直至触顶,关闭其“思考模式”后基线 MATH-500 已达 45.8%,改动带来的实际提升只有约 1.5 至 2 个百分点。另一位评论者 Sean Goedecke 则认为,这本质上是已有的“转向”(steering)技术应用。
作者也在博客中承认了局限:在更小的 Gemma 3 270M 上,同样方法几乎没有提升(6.8% 升至最多 7.7%),因为该模型本就很少陷入循环;权重编辑能清除遮挡已有能力的障碍,但无法赋予模型原本不具备的能力。目前这项工作仅为博客文章,尚未经过同行评审,实验日志已公开在 GitHub 上。

评论(0)
暂无评论