大语言模型（LLM）正从 “能力突破” 迈向 “效率革命”，近期顶会研究集中爆发关键进展。推理优化成核心战场：PagedAttention 通过内存分页管理破解 KV 缓存碎片难题，Raddix 树结构实现跨请求缓存复用；推测解码结合轻量化 draft 模型，配合 AWQ 量化等技术，让万亿参模推理成本骤降。
基础能力迭代同样亮眼：FlashAttention 3.0 进一步压榨显存带宽，QUEST 稀疏注意力将计算效率提升 3 倍；多模态融合突破模态鸿沟，实现文本与视觉的端到端深度协同。这些研究既解决了 “烧钱推理” 的落地痛点，也为模型规模化部署扫清障碍。
下文精选近期顶会重磅论文，从推理工程到基础架构，带你锁定 LLM 技术演进的核心脉络。
1.STARS: Segment-level Token Alignment with Rejection Sampling in Large Language Models
【要点】本文提出STARS算法，通过解码时的迭代采样、评分和拒绝/接受固定大小的短片段，有效提高大型语言模型与人类价值观对齐的质量和效率。
【方法】STARS算法在解码过程中对模型生成进行引导，通过迭代地对短片段进行采样，并基于评分进行拒绝或接受，以此实现更高效的路径纠错。
【实验】在六个不同的LLM模型上测试STARS算法，使用多个数据集，结果显示STARS比监督微调(SFT)的胜率高出最多14.9个百分点，比直接偏好优化(DPO)高出最多4.3个百分点，并与强大的Best-of-N基线保持高度竞争力。
2.Clean First, Align Later: Benchmarking Preference Data Cleaning for Reliable LLM Alignment
【要点】本研究首次提出了一种全面评估偏好数据清洗方法在大型语言模型（LLM）对齐中的效果和泛化能力的基准，揭示了数据清洗在提高LLM对齐质量中的关键作用。
【方法】研究采用了一个标准化的协议PrefCleanBench，该协议能够评估不同数据清洗策略在多种数据集、模型架构和优化算法上的对齐性能和泛化能力。
【实验】通过对比13种偏好数据清洗方法，研究发现了决定数据清洗在对齐任务成功中的关键因素，并公开了所有方法的模块化实现以促进进一步研究，使用的数据集未在摘要中明确提及。
3.SPARTA ALIGNMENT: Collectively Aligning Multiple Language Models through Combat
【要点】论文提出SPARTA ALIGNMENT算法，通过竞争和对抗方式集体对齐多个语言模型，以提升生成多样性和评价公正性，实现模型自我进化。
【方法】多个语言模型组成“斯巴达部落”，相互竞争完成指令并在对抗中互评，通过改进的elo-ranking声誉系统对模型进行评价和加权，最后根据偏好对进行学习。
【实验】通过广泛实验，在12个任务和数据集上的10个任务中，SPARTA ALIGNMENT算法超越了初始模型和4个自我对齐基线，实验数据集名称未具体提及，但结果显示算法在未见过的任务上泛化效果更好，并能利用模型的多样性产生更逻辑、直接和丰富的输出。
4.Leveraging Importance Sampling to Detach Alignment Modules from Large Language Models
【要点】论文提出了一种创新的残差对齐模型（RAM），通过将对齐过程形式化为一种重要性抽样，实现了对齐模块与大型语言模型（LLM）的解耦，提高了模型的灵活性和可扩展性。
【方法】作者采用了一种新颖的方法，将未对齐的上游模型作为提议分布，将对齐过程视为基于自回归对齐模块的二次抽样，该模块作为重要性权重的估计器。
【实验】在两个主流的开源LLM上，通过多样化的任务（包括指令跟随、领域适应和偏好优化）进行实验评估，结果显示RAM方法在多个基线模型上表现一致优于。具体实验数据集名称未在摘要中提及，但根据上下文推测可能使用了公开的标准数据集。
