SRPO：仅用10%训练步数超越DeepSeek的全能LLM

导语

【免费下载链接】SRPO-Qwen-32B项目地址: https://ai.gitcode.com/hf_mirrors/Kwaipilot/SRPO-Qwen-32B

Kwaipilot团队推出的SRPO-Qwen-32B大模型通过创新训练方法，在数学推理和代码生成两大核心基准测试中以仅10%的训练步数超越DeepSeek-R1-Zero-32B，重新定义了大模型训练效率的行业标准。

行业现状

随着大语言模型（LLM）向多模态、跨领域方向发展，训练效率与性能平衡成为行业痛点。当前主流大模型如DeepSeek、GPT-4等为实现高精度推理能力，往往需要数百万甚至数千万的训练步数，导致计算资源消耗巨大。据研究显示，2024年大型科技公司在LLM训练上的平均算力投入同比增长120%，但能效比提升仅35%，如何通过算法优化而非硬件堆砌来提升性能成为关键突破方向。

产品/模型亮点

SRPO（Two-Staged history-Resampling Policy Optimization）基于Qwen2.5-32B基座模型开发，其核心创新在于两项突破性技术：

1. 两阶段跨域训练范式

针对数学推理（长链思维）与代码生成（简洁精确）的内在矛盾，SRPO采用分阶段训练策略：第一阶段专注数学数据培养深度推理能力，建立Chain-of-Thought（CoT）基础；第二阶段引入代码数据，在保持推理能力的同时发展编程技能。这种"先深度后广度"的训练逻辑，有效解决了多任务学习中的能力稀释问题。

2. 历史重采样（HR）技术

通过智能筛选训练样本，剔除"过于简单"（所有尝试均正确）的无信息样本，保留"信息丰富"（结果混合或全错）的关键样本，使计算资源集中于有效梯度信号。实验数据显示，该技术使单位训练步数的性能提升效率提高3倍以上。

性能突破验证

在权威基准测试中，SRPO展现出惊人效率：

该图表对比了SRPO与DeepSeek-R1-Zero-Qwen-32B在AIME24数学推理基准上的性能曲线。可以清晰看到，SRPO仅用约1/10的训练步数就实现了50.0%的Pass@1准确率，不仅超越了DeepSeek的47.0%，且性能增长斜率显著更陡，直观展现了其训练效率优势。

此图展示了SRPO在LiveCodeBench代码生成基准上的表现。特别值得注意的是第二阶段（Stage 2）训练中，当引入代码数据后SRPO准确率出现陡峭上升，最终以41.6%超越DeepSeek的40.2%，印证了两阶段训练策略在技能整合上的有效性。

在核心指标对比中，SRPO实现全面超越：

• AIME24数学推理：50.0% Pass@1（vs DeepSeek 47.0%）
• LiveCodeBench代码生成：41.6% Pass@1（vs DeepSeek 40.2%）
• 训练效率：仅需DeepSeek约1/10训练步数

涌现认知行为

训练过程中观察到模型自发形成类人类思考模式，包括自我反思、纠错和回溯能力。

该图记录了训练过程中四种推理模式的出现频率：Alternatives（方案对比）、Hesitations（犹豫表达）、Rechecks（重新检查）和Total（总体思考行为）。随着训练推进，这些高级认知行为的出现频率显著增加，表明模型在SRPO训练框架下不仅提升了准确率，更发展出类似人类的复杂推理策略。

行业影响

SRPO的突破性成果将对LLM行业产生多维度影响：

1. 训练范式革新

证明通过算法优化而非单纯增加训练数据/步数，可实现性能跃升。这种"精益训练"理念可能促使行业从"大规模计算"转向"智能训练"，预计将推动LLM训练能效比在未来12个月提升50%以上。

2. 多任务学习新方向

两阶段训练策略为解决跨域能力冲突提供了可复制的方法论，尤其对数学、代码等高复杂度任务组合具有直接参考价值。已有多家研究机构表示将借鉴此框架优化其多模态模型。

3. 技术普惠化趋势

大幅降低高性能LLM的训练门槛，使资源有限的研究团队也能开发专业领域的高精度模型，有望促进AI创新生态多元化。

结论/前瞻

SRPO-Qwen-32B的问世标志着大模型训练正式进入"效率竞争"时代。其核心价值不仅在于性能超越，更在于证明了"训练智慧"比"训练时长"更重要。随着两阶段训练和历史重采样技术的进一步优化，预计未来1-2年内，主流LLM的训练成本将降低70%以上，同时催生更多专注垂直领域的高效能模型。

对于企业用户而言，这意味着可以用更低成本部署定制化AI能力；对于研究界，SRPO开辟了"认知效率"这一新研究维度；而对于整个AI行业，这种效率革命将加速AGI（通用人工智能）的探索进程，同时显著降低其环境影响。正如论文中所指出的："当训练不再受限于步数，我们终于可以专注于教会AI如何更好地思考，而非仅仅让它思考得更久。"

【免费下载链接】SRPO-Qwen-32B项目地址: https://ai.gitcode.com/hf_mirrors/Kwaipilot/SRPO-Qwen-32B