news 2026/6/18 2:31:21

给大模型做“微创手术”:只动 1.59% 的脑回路,数学却更清醒了

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
给大模型做“微创手术”:只动 1.59% 的脑回路,数学却更清醒了

在大语言模型(LLM)的世界里,最令人抓狂的失败往往不是“不会”,而是“明明会,却走神”。一道小学应用题,模型能把人数算对、减法写对,却在关键一步突然把“有 6 个男生缺席”读成“没说男生缺席”,然后一本正经地给出错误答案——仿佛一个聪明的学生在考场上被窗外的鸟叫拐跑了注意力。

论文《Constructive Circuit Amplification: Improving Math Reasoning in LLMs via Targeted Sub-Network Updates》(Prakash 等,2025)要做的事情,听起来像科幻外科:不对整台模型做大规模“再训练”,而是先找出它推理时“第一次跑偏”的那个词,再定位出是哪些注意力头和 MLP 神经元在“把它往正确路上推”,最后只更新这极小一撮组件(最低只占 0.17%,最高也就 1.59%),就能让数学推理准确率提升最高 +11.4%,而且对 MMLU、TriviaQA、TruthfulQA 等通用能力影响很小。

本文精读将严格围绕你指定的重点:DCM 掩码(Desiderata-based Component Masking)稀疏更新(targeted sub-network updates),把它讲清楚:它到底怎么找“该动哪几根神经”,为什么只动一点点会有效,实验结果说明了什么,以及它的边界在哪里。


🧭 一、为什么“只动一点点”可能比“全身按摩”更有效?

论文建立在两条来自机制可解释性(mechanistic interpretability)的经验事实上

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/6/9 23:09:59

网页大文件上传插件的开源代码与商业解决方案

河南郑州程序员的大文件传输系统开发实战:基于WebUploader的国产化全栈解决方案 一、项目背景与需求分析 1.1 核心需求 大文件传输:支持20GB文件上传/下载,需分片传输、断点续传。文件夹结构保留:上传文件夹时需完整保留层级关…

作者头像 李华
网站建设 2026/6/10 18:35:51

YOLO目标检测项目交付标准与验收清单

YOLO目标检测项目交付标准与验收清单 在智能制造产线高速运转的今天,一个微小的零部件缺陷可能引发整批产品的报废。如何在毫秒级时间内精准识别出0.5mm的划痕?这正是工业视觉系统面临的现实挑战。随着AI技术深入落地,YOLO系列算法凭借其卓越…

作者头像 李华
网站建设 2026/6/12 21:49:27

YOLO镜像支持Kubernetes编排,适合大规模部署

YOLO镜像支持Kubernetes编排,适合大规模部署 在智能制造工厂的质检线上,每分钟有上千张高清图像等待分析;城市交通监控中心每秒接收数万路视频流,亟需实时识别异常行为。面对如此庞大的视觉计算需求,传统的单机部署早已…

作者头像 李华
网站建设 2026/6/10 1:18:22

YOLO目标检测硬件选型建议(GPU/NPU/ASIC)

YOLO目标检测硬件选型建议(GPU/NPU/ASIC) 在智能制造车间的质检线上,一台高速相机每秒捕捉30帧图像,系统必须在50毫秒内完成缺陷识别并触发分拣动作——这种对实时性、稳定性与成本控制的严苛要求,正是当前AI视觉落地…

作者头像 李华
网站建设 2026/6/10 19:44:54

YOLO在冰雪路面行人检测中的适应性优化

YOLO在冰雪路面行人检测中的适应性优化 在北方冬季的清晨,一辆自动驾驶巴士缓缓驶过哈尔滨中央大街。积雪覆盖的道路泛着刺眼的白光,几个穿着厚重羽绒服的行人从街角走出,身影几乎与雪地融为一体。车载摄像头捕捉到这一幕,系统在不…

作者头像 李华
网站建设 2026/6/13 14:23:21

Thinkphp_Laravel框架开发的vue面向大学生的校内交友推荐系统

目录具体实现截图项目开发技术介绍PHP核心代码部分展示系统结论源码获取/同行可拿货,招校园代理具体实现截图 本系统(程序源码数据库调试部署讲解)带文档1万字以上 同行可拿货,招校园代理 Thinkphp_Laravel框架开发的vue面向大学生的校内交友推荐系统 …

作者头像 李华