scale ai最新发布的swe-bench pro编程能力评估结果显示，即便是当前最前沿的模型如gpt-5、claude opus4.1和gemini2.5，也未能突破25%的解决率门槛。
其中，GPT-5仅取得23.3%的解决率，Claude Opus4.1以22.7%紧随其后，而Google的Gemini2.5则表现更弱，仅有13.5%的任务被成功解决。
前OpenAI研究员Neil Chowdhury指出，当GPT-5决定尝试解决问题时，其实际成功率高达63%，远超Claude Opus4.1的31%。这表明尽管GPT-5在整体得分上并不突出，但在它认为可以处理的任务中，依然具备显著的技术领先优势。
与以往常出现70%以上高分的SWE-Bench-Verified测试不同，SWE-BENCH PRO特别排除了所有可能已用于训练的数据，从根本上杜绝了数据泄露或记忆式答题的可能性。这一改进使得模型必须依赖真实的理解与推理能力来应对挑战，而非依赖训练过程中的“死记硬背”。
该评测覆盖了来自真实商业应用与开发工具的1865个实际问题，题目被划分为公共集、商业集和保留集三个层级，确保测试内容对所有模型而言都是全新的。同时，研究团队还引入人工增强机制，进一步提升了任务的真实性和复杂度。
测评结果也揭示了当前AI代码生成模型的核心短板——面对真实世界中的工程问题，其能力仍十分有限。尤其是在JavaScript和TypeScript等广泛使用的语言上，各模型的表现波动剧烈且难以预测。深入分析显示，不同模型在处理相似任务时展现出截然不同的行为模式，反映出背后技术路线与训练策略的根本差异。
