作者 | 李众力 编辑 | 自动驾驶之心
原文链接:https://zhuanlan.zhihu.com/p/1975918120725136170
点击下方卡片,关注“自动驾驶之心”公众号
戳我->领取自动驾驶近30个方向学习路线
>>自动驾驶前沿信息获取→自动驾驶之心知识星球
本文只做学术分享,如有侵权,联系删文
★
系列收官语
这一篇,不再抠具体的 SQL 优化或 C++ 算子实现,而是想把前面 1~6 篇铺的那一大圈“脏活累活”,放到世界模型 (World Model)、端到端 (End-to-End) 与 物理 AI (Physical AI)的大背景下,重新审视。
写这篇的初衷,不是为了说“只要地基就够了”,而是想讲清楚一个核心观点:在通往通用物理智能的路上,模型是天花板,而数据基础设施是地板。真正的壁垒,在于这两者能不能“双轮驱动”。
一、风向变了:为什么大家突然都在抢“数据基础设施”人才?
这两年,自动驾驶和 AI 圈子有一个非常明显的体感变化。
以前,圈子里见面聊的都是:
“你们的模型用了什么新架构?Transformer 还是 CNN?”
“谁的论文又刷榜了 SOTA?”
大家比拼的是 “单个模型的智力上限”。
现在,越来越多头部公司(Tesla, Wayve, DeepMind)的招聘 JD 和技术分享里,核心关键词变成了:
数据引擎 (Data Engine)
自动评测体系 (Auto-Evaluation)
生成式仿真 (Generative Simulation)
闭环能力 (Closed-loop Capability)
Tesla在 FSD V12 的技术分享里,几乎不再强调人工写的规则,而是反复展示他们如何把大规模车队当成一个矿,从中挖掘“特征片段 (Characteristic Clips)”,构建自动评分系统,然后喂给模型。
Wayve这种激进的端到端玩家,干脆把GAIA-1 / GAIA-2这种生成式世界模型写进了产品路线图的主干。他们的逻辑是:只有先学会在视频里生成一个逼真的、会互动的世界,AI 才能真正学会开车。
DeepMind最近推的Genie也是同样的逻辑:从海量互联网视频里学出一个可交互的虚拟环境,让 Agent 在里面“快进”训练。
大家的共识其实已经很清楚了:
★
模型算法本身正在变成一种“快消品”,一年一换,甚至半年一换。 但“怎么从物理世界挖数据、怎么定义什么是好坏、怎么构建逼真的虚拟考场”这套基础设施,一旦建起来,才是真正的护城河。
我过去这七篇文章所讲的每一块砖——从 MPI/MPD 指标,到 CaseID,再到 Trigger 和 FastDM,其实都是为了应对这个趋势而铺设的。
二、从 SAO 到《加速世界》:三种“物理 AI”的进化形态
为了让大家对 “物理 AI 的数据采集与训练” 有一个更直观的理解,我想借用一套非常经典的二次元世界观——川原砾的《刀剑神域》(SAO)与《加速世界》。
如果你把这两部作品当成一份“科幻技术路线图”,会发现它跟我们现在讨论的VR / AR / 世界模型 / 脑机接口,居然有着惊人的对应关系。这也清晰地描绘了我们正在经历的三个阶段。
2.1 第一阶段:SAO 本篇 —— VR 模式(人在虚拟世界演示)
在 SAO 的 Aincrad 篇里,玩家戴上 NerveGear,“登录”到一个完全虚拟的世界。所有的移动、战斗、协作,都发生在那个代码构建的空间里。系统记录的是你在虚拟世界里的每一个动作。
这对应的是:早期仿真与远程示教。
现实映射: 以前做自动驾驶,大家喜欢让人坐在模拟驾驶舱里开,或者在仿真软件里用键盘控制小车。工业机器人领域,则是让人戴着 VR 眼镜控制机械臂抓取。
核心逻辑: 场景是假的,人的操作是真的。
致命缺陷:效率极低。无论虚拟世界多逼真,人的一秒钟只能产出一秒钟的数据(1x Real Time)。而且,人无法模拟出物理世界那种“混沌的噪声”。
2.2 第二阶段:Ordinal Scale —— AR 模式(真实世界叠加虚拟)
到了剧场版《序列之争 (Ordinal Scale)》,设备变成了 AR 眼镜 Augma。玩家在真实世界的街道、广场上奔跑,系统只是在现实之上叠加了虚拟的怪物和 UI。
这对应的是:当下的大规模实车数据闭环。
现实映射: 这就是我们现在每天在做的事。几千辆 L4/L2+ 的车跑在真实的马路上(Real World),面对真实的暴雨、真实的逆行外卖员、真实的摩擦力变化。
核心优势: 数据天然包含了物理世界的“真实分布” (Ground Truth Distribution)。你不需要去猜“下雨时摄像头的噪点是什么样”,因为数据里自带了。
核心痛点:依然太慢。 要积累 1 亿公里的极端 Corner Case,你就真的需要车队在路上跑 1 亿公里。物理时间成为了数据积累的最大瓶颈。
2.3 第三阶段:Underworld —— 世界模型 + 时间加速
进入 Alicization 篇,RATH 公司造了一个叫Underworld的世界。这个世界最恐怖的设定不是“逼真”,而是 “时间加速”。 在这个虚拟世界里,时间流速可以是现实世界的 1000 倍。AI(摇光)在里面度过几百年的训练岁月,现实世界可能只过了一天。
这对应的是:物理 AI 的终极方向 —— 世界模型 (World Model)。
现实映射: 这是 Tesla、Wayve、OpenAI Sora 想要突破的终局。
先用海量真实数据(来自第二阶段),训练出一个 “懂物理规律的模拟器”(世界模型)。
把自动驾驶 AI 扔进去。
开启 God Mode(上帝模式)和时间加速:让车队在虚拟的东京、纽约、北京每天跑 100 亿公里,快速试错,快速进化。
只有到了这一步,物理 AI 才能突破“摩尔定律”的限制,实现指数级进化。
2.4 终局:《加速世界》 —— 脑机接口与人机融合
再往后,就是《加速世界》的设定:人类从出生起佩戴 Neuro-Linker(脑机接口)。思考、决策、意图传递,直接在神经层面完成。
这对应了 Neuralink 等公司的愿景:未来的人类不再是 AI 的旁观者,而是通过高带宽接口,直接将人类的“意图”和“价值观”注入 AI。在数据闭环里,这代表着 “人类意图的零损耗采集”。
三、回头看我们的“地基”:不是为了修 Bug,而是为“世界模型”备课
说完了科幻,回到现实。 我们离“Underworld”那种完美的世界模型还有距离。在过渡期,我们建设的这套 “L4 自动驾驶数据闭环”,到底在起什么作用?
很多人认为我们是在“修 Bug”。错了。我们是在把物理世界的混沌,翻译成世界模型能看懂的“教科书”。
让我们把前六篇文章构建的工程体系,重新映射到这个宏大的图景中:
3.1 第一层:感知物理世界的“体温计”(指标体系)
(对应第 01、02 篇:MPI / MPS / MPD)
【L4自动驾驶数据闭环实战01】最重要的第一步:选对整个组织的LossFunction
【L4自动驾驶数据闭环实战02】一级指标需要什么样的数据:L4 无人车的实时打点与业务心跳
世界模型如果造出来,怎么知道它造得“对不对”?怎么知道 AI 在里面开得“好不好”?
如果是 LLM,我们可以看它写诗押不押韵。
但在物理世界,我们需要客观的物理指标。
我们定义的MPS (Mileage Per Stupid) 和 MPD (Mileage Per Dangerous),就是物理 AI 的根本准则:
急刹(加速度突变)= 体验差。
画龙(角速度震荡)= 控制不稳。
贴得太近(距离场冲突)= 危险。
这套指标体系,未来就是世界模型的Reward Function(奖励函数)。无论技术怎么变,物理世界的舒适与安全标准永远不变。
3.2 第二层:把“瞬间”变成“病历”(数据分级与 CaseID)
(对应第 03 篇:分级上传)
【L4自动驾驶数据闭环实战03】自动驾驶数据闭环的“地基工程”:数据分级上传与Case逻辑映射设计
现实世界每秒钟都在产生 PB 级的数据,全是噪声。 我们做的Microlog / Minilog / CaseID体系,本质上是一种 “高价值信息提取”。
当车在路上发生一次“莫名其妙的急刹”时,我们通过 CaseID 把它切分出来,把前后的环境数据、感知结果、决策流打包。
这就把“一堆二进制垃圾”变成了 “一个结构化的临床病例”。世界模型需要的不是长达 10 小时的无聊高速录像,正是这些浓缩的“病历”。
3.3 第三层:把车队变成“题库”(标签与 FastDM)
(对应第 04 篇:秒级标签与挖数)
【L4自动驾驶数据闭环实战04】云端标签中枢:从 FreeDM 到 FastDM 的秒级特征空间
这是最关键的一步。我们通过秒级标签 (Per-second Labeling),给每一帧数据打上了数百个维度的 Tag: {雨天, 夜晚, 路口, 有行人, 速度30, 正在左转, 感知置信度低...}
配合FastDM(极速挖数引擎),我们具备了上帝视角:
★
“帮我找出过去一年里,所有‘雨夜’+‘红绿灯路口’+‘前面有三轮车’的场景。”
这对世界模型意味着什么?这意味着我们拥有了“生成指令集 (Prompt Engineering for World Model)”。当我们要训练世界模型时,我们不是瞎练,而是直接从这个题库里调取分布:
“现实中这 50 种场景最容易出事,请针对这些 Prompt 生成 100 万个变种环境。”
3.4 第四层:把专家经验变成“自动判卷人”(Trigger 框架)
(对应第 05 篇:三端统一 Trigger)
【L4自动驾驶数据闭环实战05】三端统一 Trigger 框架:让异常事件自动“长成”问题单
我们把资深算法工程师的 Debug 经验,写成了Python Trigger。 这些 Trigger 不仅在车上跑,未来也会在世界模型里跑。 当 AI 在虚拟世界里疯狂试错时,谁来判断它做得对不对?靠人看是看不过来的。
这些 Trigger 就是 “自动化判卷老师”。它们24小时监控着虚拟车辆的行为,一旦违规(比如违反了某个 Trigger 定义的变道规则),立刻给出一个负反馈。
3.5 第五层:从 Bug 到 Curriculum(问题聚类)
(对应第 06 篇:聚类与闭环)
【L4自动驾驶数据闭环实战06】典型问题场景闭环:从问题聚类到主动挖数、训练与多层验证
我们把零散的 Bug 聚类成 “典型问题场景”。 在 AI 训练中,这叫Curriculum Learning(课程学习)。我们告诉模型:
第一阶段:先练“无保护左转”类场景(样本量 5000)。
第二阶段:专练“鬼探头”类场景(样本量 2000,权重 x10)。
四、展望物理 AI:从“Bug Driven”到“Data Driven”的最后一跃
现在,我们可以回答那个终极问题了:模型一年一代地换,这套“看起来很重”的基础设施,到底值不值得投入?
答案是:**越是走向端到端,越是走向物理 AI,这套地基越值钱。 **
4.1 LLM 不需要物理地基,但 Robot 需要
ChatGPT 这种纯文本模型,只需要喂它互联网上的文本,因为它不需要和物理世界互动,它犯错的代价只是“说胡话”。
但物理 AI (Robotics / Self-driving)不同:
幻觉致命: 假如世界模型生成了一个“摩擦力为 0 的地面”,车学会了在这个地面上漂移,部署到现实中就是车祸。
我们需要实车数据闭环来校准 (Align)世界模型的物理参数。
数据稀缺: 互联网上有无穷的文本,但没有无穷的“车祸数据”或“机器人跌倒数据”。
我们需要通过 Trigger 和挖数引擎,像淘金一样把这些极高价值的负样本(Negative Samples)挖出来。
4.2 世界模型是“生成器”,基础设施是“判别器”
未来的开发模式大概率是这样的:
World Model (Generator):负责发散。生成 10 亿种可能的路况、天气和突发事件。
**Data Infra (Discriminator):**负责收敛。
用我们积累的 “典型问题库” 去指引生成方向(别生成外星人,多生成鬼探头)。
用我们积累的 “MPD/MPS指标” 去评分(这样开是危险的,那样开是舒适的)。
用我们积累的 “实车数据” 去做图灵测试(你生成的雨滴和真实车队的雨滴不一样,重来)。
没有这套地基,世界模型就是一个没有老师指引、没有教材约束、甚至没有考试标准的“野孩子”。
五、写在最后:系统里的两条曲线
写到这里,《L4自动驾驶数据闭环实战》系列就正式结束了。
如果说这个系列有什么核心思想想留给大家,那就是:不要只盯着模型看。
在任何一个复杂的物理智能系统中,都存在两条曲线:
快变量(模型): 它是天花板。新的架构(Transformer, Mamba, Diffusion)会不断推高智能的上限。
慢变量(数据基础设施): 它是地板。它是你对物理世界的理解、对问题的定义、对数据的掌控力。
很多团队死掉,不是因为模型不够先进(大家都能用开源,都能看论文),而是因为地板太低——数据闭环转不起来,存了一堆垃圾数据,评测全靠人眼看,最后模型再强也发挥不出来。
真正的长期主义,是接受“模型会变”的事实,然后把资源投入到那些“不会变”的事物上:
物理世界的客观指标不会变。
对优质数据(Corner Case)的筛选逻辑不会变。
自动化闭环(发现问题-训练-验证)的流程不会变。
以车队为地基,以世界模型为终局。这就是面向物理 AI 时代,我们能给出的最佳答案。
希望这七篇文章,能成为你搭建自己数据地基时的一块垫脚石。
致谢
技术文章的署名往往是个人的,但沉淀下来的智慧却属于群体。这一整套 L4 自动驾驶数据闭环体系,并非空中楼阁,而是生长在泥土里的经验,是无数次代码提交、无数次路测回归、无数次复盘会议堆出来的堡垒。
在此,衷心感谢阿里巴巴达摩院/菜鸟自动驾驶团队的全体成员。
回望2018到2025这七年,我们并肩跨越了自动驾驶从“探索”到“量产”的最艰难阶段。我们共同见证了:
从封闭园区内双十一期间近千台“小蛮驴”并发运营的历史峰值;
到高速公路L4重卡达成500MPI的目标的高光时刻;
到如今约 500 台公开道路无人车的常态化运营与持续增长,我们将 L4 的能力真正带入了复杂的城市毛细血管。
这一系统的每一次演进,都离不开产品、研发、测试及运营团队超过七年的通力合作与不懈突破。是产品定义的精准与克制,是研发面对 Corner Case 的日夜攻坚,是测试团队对安全底线的严防死守,更是一线运营同学在风雨中传回的最真实反馈。
正是这群人的共同努力,让我们创造了千万公里无重大事故的安全记录。更让我们自豪的是,我们没有让技术止步于 Demo,而是真正实现了降本增效的商业价值,证明了自动驾驶不仅是仰望星空的科技,更是脚踏实地的生产力。
谨以此系列文章,献给这七年与之并肩战斗的每一位伙伴。
—— 2025年,写于数据闭环实战之路
自动驾驶之心
自动驾驶4D标注小班课!