阿里巴巴联合多所亚洲高校的研究者推出 Co-Design Bench 基准,基于真实用户对现有 Web 应用提出的改动需求构建,涵盖图片、音频、视频与文档等多种输入形式。
在十款受测模型中,GPT-6 Astra 表现最好:平均满足约 70% 的任务要求,但完整完成全部要求的任务仅占 26.4%,其中多模态任务约 41%,代码仓库类任务不足 18%。
这一结果给 AI 编程的热潮泼了一盆冷水:面对真实世界的改动需求,当前最强的编程智能体仍有四分之三的任务无法一次做对。基准测试的意义,正在于把“能写代码”与“能交付改动”区分开来。

评论(0)
暂无评论