news 2026/4/16 12:36:26

L4数据闭环总结 | 面向物理 AI 时代的数据基础设施

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
L4数据闭环总结 | 面向物理 AI 时代的数据基础设施

作者 | 李众力 编辑 | 自动驾驶之心

原文链接:https://zhuanlan.zhihu.com/p/1975918120725136170

点击下方卡片,关注“自动驾驶之心”公众号

戳我->领取自动驾驶近30个方向学习路线

>>自动驾驶前沿信息获取自动驾驶之心知识星球

本文只做学术分享,如有侵权,联系删文

系列收官语
这一篇,不再抠具体的 SQL 优化或 C++ 算子实现,而是想把前面 1~6 篇铺的那一大圈“脏活累活”,放到世界模型 (World Model)、端到端 (End-to-End) 与 物理 AI (Physical AI)的大背景下,重新审视。
写这篇的初衷,不是为了说“只要地基就够了”,而是想讲清楚一个核心观点:在通往通用物理智能的路上,模型是天花板,而数据基础设施是地板。真正的壁垒,在于这两者能不能“双轮驱动”。

一、风向变了:为什么大家突然都在抢“数据基础设施”人才?

这两年,自动驾驶和 AI 圈子有一个非常明显的体感变化。

以前,圈子里见面聊的都是:

  • “你们的模型用了什么新架构?Transformer 还是 CNN?”

  • “谁的论文又刷榜了 SOTA?”

  • 大家比拼的是 “单个模型的智力上限”。

现在,越来越多头部公司(Tesla, Wayve, DeepMind)的招聘 JD 和技术分享里,核心关键词变成了:

  • 数据引擎 (Data Engine)

  • 自动评测体系 (Auto-Evaluation)

  • 生成式仿真 (Generative Simulation)

  • 闭环能力 (Closed-loop Capability)

Tesla在 FSD V12 的技术分享里,几乎不再强调人工写的规则,而是反复展示他们如何把大规模车队当成一个矿,从中挖掘“特征片段 (Characteristic Clips)”,构建自动评分系统,然后喂给模型。

Wayve这种激进的端到端玩家,干脆把GAIA-1 / GAIA-2这种生成式世界模型写进了产品路线图的主干。他们的逻辑是:只有先学会在视频里生成一个逼真的、会互动的世界,AI 才能真正学会开车。

DeepMind最近推的Genie也是同样的逻辑:从海量互联网视频里学出一个可交互的虚拟环境,让 Agent 在里面“快进”训练。

大家的共识其实已经很清楚了:

模型算法本身正在变成一种“快消品”,一年一换,甚至半年一换。 但“怎么从物理世界挖数据、怎么定义什么是好坏、怎么构建逼真的虚拟考场”这套基础设施,一旦建起来,才是真正的护城河。

我过去这七篇文章所讲的每一块砖——从 MPI/MPD 指标,到 CaseID,再到 Trigger 和 FastDM,其实都是为了应对这个趋势而铺设的。

二、从 SAO 到《加速世界》:三种“物理 AI”的进化形态

为了让大家对 “物理 AI 的数据采集与训练” 有一个更直观的理解,我想借用一套非常经典的二次元世界观——川原砾的《刀剑神域》(SAO)与《加速世界》。

如果你把这两部作品当成一份“科幻技术路线图”,会发现它跟我们现在讨论的VR / AR / 世界模型 / 脑机接口,居然有着惊人的对应关系。这也清晰地描绘了我们正在经历的三个阶段。

2.1 第一阶段:SAO 本篇 —— VR 模式(人在虚拟世界演示)

在 SAO 的 Aincrad 篇里,玩家戴上 NerveGear,“登录”到一个完全虚拟的世界。所有的移动、战斗、协作,都发生在那个代码构建的空间里。系统记录的是你在虚拟世界里的每一个动作。

这对应的是:早期仿真与远程示教。

  • 现实映射: 以前做自动驾驶,大家喜欢让人坐在模拟驾驶舱里开,或者在仿真软件里用键盘控制小车。工业机器人领域,则是让人戴着 VR 眼镜控制机械臂抓取。

  • 核心逻辑: 场景是假的,人的操作是真的。

  • 致命缺陷:效率极低。无论虚拟世界多逼真,人的一秒钟只能产出一秒钟的数据(1x Real Time)。而且,人无法模拟出物理世界那种“混沌的噪声”。

2.2 第二阶段:Ordinal Scale —— AR 模式(真实世界叠加虚拟)

到了剧场版《序列之争 (Ordinal Scale)》,设备变成了 AR 眼镜 Augma。玩家在真实世界的街道、广场上奔跑,系统只是在现实之上叠加了虚拟的怪物和 UI。

这对应的是:当下的大规模实车数据闭环。

  • 现实映射: 这就是我们现在每天在做的事。几千辆 L4/L2+ 的车跑在真实的马路上(Real World),面对真实的暴雨、真实的逆行外卖员、真实的摩擦力变化。

  • 核心优势: 数据天然包含了物理世界的“真实分布” (Ground Truth Distribution)。你不需要去猜“下雨时摄像头的噪点是什么样”,因为数据里自带了。

  • 核心痛点:依然太慢。 要积累 1 亿公里的极端 Corner Case,你就真的需要车队在路上跑 1 亿公里。物理时间成为了数据积累的最大瓶颈。

2.3 第三阶段:Underworld —— 世界模型 + 时间加速

进入 Alicization 篇,RATH 公司造了一个叫Underworld的世界。这个世界最恐怖的设定不是“逼真”,而是 “时间加速”。 在这个虚拟世界里,时间流速可以是现实世界的 1000 倍。AI(摇光)在里面度过几百年的训练岁月,现实世界可能只过了一天。

这对应的是:物理 AI 的终极方向 —— 世界模型 (World Model)。

  • 现实映射: 这是 Tesla、Wayve、OpenAI Sora 想要突破的终局。

  1. 先用海量真实数据(来自第二阶段),训练出一个 “懂物理规律的模拟器”(世界模型)。

  2. 把自动驾驶 AI 扔进去。

  3. 开启 God Mode(上帝模式)和时间加速:让车队在虚拟的东京、纽约、北京每天跑 100 亿公里,快速试错,快速进化。

  • 只有到了这一步,物理 AI 才能突破“摩尔定律”的限制,实现指数级进化。

2.4 终局:《加速世界》 —— 脑机接口与人机融合

再往后,就是《加速世界》的设定:人类从出生起佩戴 Neuro-Linker(脑机接口)。思考、决策、意图传递,直接在神经层面完成。

这对应了 Neuralink 等公司的愿景:未来的人类不再是 AI 的旁观者,而是通过高带宽接口,直接将人类的“意图”和“价值观”注入 AI。在数据闭环里,这代表着 “人类意图的零损耗采集”。

三、回头看我们的“地基”:不是为了修 Bug,而是为“世界模型”备课

说完了科幻,回到现实。 我们离“Underworld”那种完美的世界模型还有距离。在过渡期,我们建设的这套 “L4 自动驾驶数据闭环”,到底在起什么作用?

很多人认为我们是在“修 Bug”。错了。我们是在把物理世界的混沌,翻译成世界模型能看懂的“教科书”。

让我们把前六篇文章构建的工程体系,重新映射到这个宏大的图景中:

3.1 第一层:感知物理世界的“体温计”(指标体系)

(对应第 01、02 篇:MPI / MPS / MPD)

【L4自动驾驶数据闭环实战01】最重要的第一步:选对整个组织的LossFunction

【L4自动驾驶数据闭环实战02】一级指标需要什么样的数据:L4 无人车的实时打点与业务心跳

世界模型如果造出来,怎么知道它造得“对不对”?怎么知道 AI 在里面开得“好不好”?

  • 如果是 LLM,我们可以看它写诗押不押韵。

  • 但在物理世界,我们需要客观的物理指标

我们定义的MPS (Mileage Per Stupid) 和 MPD (Mileage Per Dangerous),就是物理 AI 的根本准则:

  • 急刹(加速度突变)= 体验差。

  • 画龙(角速度震荡)= 控制不稳。

  • 贴得太近(距离场冲突)= 危险。

这套指标体系,未来就是世界模型的Reward Function(奖励函数)。无论技术怎么变,物理世界的舒适与安全标准永远不变。

3.2 第二层:把“瞬间”变成“病历”(数据分级与 CaseID)

(对应第 03 篇:分级上传)

【L4自动驾驶数据闭环实战03】自动驾驶数据闭环的“地基工程”:数据分级上传与Case逻辑映射设计

现实世界每秒钟都在产生 PB 级的数据,全是噪声。 我们做的Microlog / Minilog / CaseID体系,本质上是一种 “高价值信息提取”。

  • 当车在路上发生一次“莫名其妙的急刹”时,我们通过 CaseID 把它切分出来,把前后的环境数据、感知结果、决策流打包。

  • 这就把“一堆二进制垃圾”变成了 “一个结构化的临床病例”。世界模型需要的不是长达 10 小时的无聊高速录像,正是这些浓缩的“病历”。

3.3 第三层:把车队变成“题库”(标签与 FastDM)

(对应第 04 篇:秒级标签与挖数)

【L4自动驾驶数据闭环实战04】云端标签中枢:从 FreeDM 到 FastDM 的秒级特征空间

这是最关键的一步。我们通过秒级标签 (Per-second Labeling),给每一帧数据打上了数百个维度的 Tag: {雨天, 夜晚, 路口, 有行人, 速度30, 正在左转, 感知置信度低...}

配合FastDM(极速挖数引擎),我们具备了上帝视角:

“帮我找出过去一年里,所有‘雨夜’+‘红绿灯路口’+‘前面有三轮车’的场景。”

这对世界模型意味着什么?这意味着我们拥有了“生成指令集 (Prompt Engineering for World Model)”。当我们要训练世界模型时,我们不是瞎练,而是直接从这个题库里调取分布:

  • “现实中这 50 种场景最容易出事,请针对这些 Prompt 生成 100 万个变种环境。”

3.4 第四层:把专家经验变成“自动判卷人”(Trigger 框架)

(对应第 05 篇:三端统一 Trigger)

【L4自动驾驶数据闭环实战05】三端统一 Trigger 框架:让异常事件自动“长成”问题单

我们把资深算法工程师的 Debug 经验,写成了Python Trigger。 这些 Trigger 不仅在车上跑,未来也会在世界模型里跑。 当 AI 在虚拟世界里疯狂试错时,谁来判断它做得对不对?靠人看是看不过来的。

  • 这些 Trigger 就是 “自动化判卷老师”。它们24小时监控着虚拟车辆的行为,一旦违规(比如违反了某个 Trigger 定义的变道规则),立刻给出一个负反馈。

3.5 第五层:从 Bug 到 Curriculum(问题聚类)

(对应第 06 篇:聚类与闭环)

【L4自动驾驶数据闭环实战06】典型问题场景闭环:从问题聚类到主动挖数、训练与多层验证

我们把零散的 Bug 聚类成 “典型问题场景”。 在 AI 训练中,这叫Curriculum Learning(课程学习)。我们告诉模型:

  • 第一阶段:先练“无保护左转”类场景(样本量 5000)。

  • 第二阶段:专练“鬼探头”类场景(样本量 2000,权重 x10)。

四、展望物理 AI:从“Bug Driven”到“Data Driven”的最后一跃

现在,我们可以回答那个终极问题了:模型一年一代地换,这套“看起来很重”的基础设施,到底值不值得投入?

答案是:**越是走向端到端,越是走向物理 AI,这套地基越值钱。 **

4.1 LLM 不需要物理地基,但 Robot 需要

ChatGPT 这种纯文本模型,只需要喂它互联网上的文本,因为它不需要和物理世界互动,它犯错的代价只是“说胡话”。

物理 AI (Robotics / Self-driving)不同:

  1. 幻觉致命: 假如世界模型生成了一个“摩擦力为 0 的地面”,车学会了在这个地面上漂移,部署到现实中就是车祸。

我们需要实车数据闭环来校准 (Align)世界模型的物理参数。

  1. 数据稀缺: 互联网上有无穷的文本,但没有无穷的“车祸数据”或“机器人跌倒数据”。

  • 我们需要通过 Trigger 和挖数引擎,像淘金一样把这些极高价值的负样本(Negative Samples)挖出来。

4.2 世界模型是“生成器”,基础设施是“判别器”

未来的开发模式大概率是这样的:

  • World Model (Generator):负责发散。生成 10 亿种可能的路况、天气和突发事件。

  • **Data Infra (Discriminator):**负责收敛。

    • 用我们积累的 “典型问题库” 去指引生成方向(别生成外星人,多生成鬼探头)。

    • 用我们积累的 “MPD/MPS指标” 去评分(这样开是危险的,那样开是舒适的)。

    • 用我们积累的 “实车数据” 去做图灵测试(你生成的雨滴和真实车队的雨滴不一样,重来)。

没有这套地基,世界模型就是一个没有老师指引、没有教材约束、甚至没有考试标准的“野孩子”。

五、写在最后:系统里的两条曲线

写到这里,《L4自动驾驶数据闭环实战》系列就正式结束了。

如果说这个系列有什么核心思想想留给大家,那就是:不要只盯着模型看。

在任何一个复杂的物理智能系统中,都存在两条曲线:

  1. 快变量(模型): 它是天花板。新的架构(Transformer, Mamba, Diffusion)会不断推高智能的上限。

  2. 慢变量(数据基础设施): 它是地板。它是你对物理世界的理解、对问题的定义、对数据的掌控力。

很多团队死掉,不是因为模型不够先进(大家都能用开源,都能看论文),而是因为地板太低——数据闭环转不起来,存了一堆垃圾数据,评测全靠人眼看,最后模型再强也发挥不出来。

真正的长期主义,是接受“模型会变”的事实,然后把资源投入到那些“不会变”的事物上:

  • 物理世界的客观指标不会变。

  • 对优质数据(Corner Case)的筛选逻辑不会变。

  • 自动化闭环(发现问题-训练-验证)的流程不会变。

以车队为地基,以世界模型为终局。这就是面向物理 AI 时代,我们能给出的最佳答案。

希望这七篇文章,能成为你搭建自己数据地基时的一块垫脚石。

致谢

技术文章的署名往往是个人的,但沉淀下来的智慧却属于群体。这一整套 L4 自动驾驶数据闭环体系,并非空中楼阁,而是生长在泥土里的经验,是无数次代码提交、无数次路测回归、无数次复盘会议堆出来的堡垒。

在此,衷心感谢阿里巴巴达摩院/菜鸟自动驾驶团队的全体成员。

回望20182025这七年,我们并肩跨越了自动驾驶从“探索”到“量产”的最艰难阶段。我们共同见证了:

  • 从封闭园区内双十一期间近千台“小蛮驴”并发运营的历史峰值;

  • 到高速公路L4重卡达成500MPI的目标的高光时刻;

  • 到如今约 500 台公开道路无人车的常态化运营与持续增长,我们将 L4 的能力真正带入了复杂的城市毛细血管。

这一系统的每一次演进,都离不开产品、研发、测试及运营团队超过七年的通力合作与不懈突破。是产品定义的精准与克制,是研发面对 Corner Case 的日夜攻坚,是测试团队对安全底线的严防死守,更是一线运营同学在风雨中传回的最真实反馈。

正是这群人的共同努力,让我们创造了千万公里无重大事故的安全记录。更让我们自豪的是,我们没有让技术止步于 Demo,而是真正实现了降本增效的商业价值,证明了自动驾驶不仅是仰望星空的科技,更是脚踏实地的生产力。

谨以此系列文章,献给这七年与之并肩战斗的每一位伙伴。

—— 2025年,写于数据闭环实战之路

自动驾驶之心

自动驾驶4D标注小班课!

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/4/15 16:49:50

零售业革命:一小时构建智能货架分析系统

零售业革命:一小时构建智能货架分析系统 对于便利店经营者来说,货架商品摆放的实时监控一直是个难题。商业解决方案动辄数万元的投入让许多小店望而却步。今天我要分享的,是如何利用开源AI模型快速搭建一套智能货架分析系统,整个过…

作者头像 李华
网站建设 2026/4/12 17:49:02

RAM模型调优实战:基于预装环境的超参数探索

RAM模型调优实战:基于预装环境的超参数探索 作为一名研究助理,我最近在对比不同学习率对RAM(Recognize Anything Model)模型中文识别效果的影响时,遇到了一个典型痛点:每次修改超参数都需要重新配置环境&am…

作者头像 李华
网站建设 2026/4/16 11:09:54

Hunyuan-MT-7B在远程医疗问诊中的跨语言沟通桥梁作用

Hunyuan-MT-7B在远程医疗问诊中的跨语言沟通桥梁作用 在全球化与数字化并行的时代,偏远地区患者能否获得及时、准确的医疗服务,早已不再仅仅取决于医生的数量或药品的可及性——语言,正悄然成为一道隐形的“健康鸿沟”。在中国广袤的西部和边…

作者头像 李华
网站建设 2026/4/16 9:23:18

AI赋能传统行业:零售商品识别的极速落地方案

AI赋能传统行业:零售商品识别的极速落地方案 在传统零售行业,商品识别技术正逐渐成为智能货架、无人收银等场景的核心需求。对于一家希望试点智能货架的连锁超市而言,快速验证商品识别技术的可行性是关键,但缺乏AI专家的IT部门往往…

作者头像 李华
网站建设 2026/4/8 16:55:15

Transformer模型开发效率提升:传统vs现代方法对比

快速体验 打开 InsCode(快马)平台 https://www.inscode.net输入框内输入如下内容: 创建一个效率对比工具,展示:1) RNN/LSTM与Transformer训练时间对比;2) 内存占用比较;3) 并行计算优势可视化;4) 不同硬件…

作者头像 李华