霸气碾压纯传感器方案！复旦上交新作：解锁自动驾驶5大任务，极端场景性能飙升16.6%，即插即用！-编程阁

点击下方卡片，关注「3D视觉工坊」公众号
选择星标，干货第一时间送达

来源：3D视觉工坊

「3D视觉从入门到精通」知识星球(点开有惊喜) ！星球内新增20多门3D视觉系统课程、入门环境配置教程、多场顶会直播、顶会论文最新解读、3D视觉算法源码、求职招聘等。想要入门3D视觉、做项目、搞科研，欢迎扫码加入！

核心结论

现有自动驾驶系统依赖车载传感器，在遮挡、恶劣天气等复杂场景易失效，本文提出的空间检索范式，通过引入离线地理图像作为额外输入，搭配通用适配模块和可靠性估计机制，显著提升了五大核心自动驾驶任务的性能，为系统赋予类似人类驾驶员的“道路记忆”能力。

标题：Spatial Retrieval Augmented Autonomous Driving
作者：Xiaosong Jia,et al. Fudan University,etc.
主页：https://spatialretrievalad.github.io/
论文：paper: http://arxiv.org/abs/2512.06865

一、研究背景：车载传感器的痛点与人类驾驶的启发

现代自动驾驶系统靠摄像头、激光雷达等车载传感器捕捉环境信息，但这些传感器受限于感知范围和视线遮挡，在黑暗、雨雪雾、强光等极端场景下性能会大幅下降。比如在线建图和占用预测任务中，有限的能见度会影响环境识别，进而干扰后续规划；生成式世界模型在车辆偏离记录轨迹时，还容易出现场景生成失真的问题。

而人类驾驶员在视觉输入不足时，会凭借对道路结构的记忆辅助驾驶。受此启发，研究团队提出“空间检索范式”，将谷歌地图街景、卫星图或自动驾驶公司的离线数据集等离线地理图像作为补充输入。这些地理数据不受实时驾驶干扰，覆盖范围广，能提供车辆视角之外的空间上下文，且无需额外加装传感器，可直接作为现有系统的即插即用扩展。

二、核心方案：空间检索范式的关键设计

空间检索范式的核心是构建包含地理图像及其全球坐标、相机参数等元数据的离线地理数据库。在自动驾驶的每个时间步，系统会根据当前车载传感器数据和车辆姿态，从数据库中检索最相关的地理数据，优先选择3D距离最近的图像，若超过阈值则返回空值；对于生成式世界模型这类离线任务，会沿预期驾驶轨迹检索多张地理图像，为长时程场景生成提供空间支架，减少失真。

为实现地理数据与现有模型的无缝融合，研究设计了空间检索适配器这一通用模块。它采用交叉注意力机制，以鸟瞰图（BEV）特征为查询，地理特征与3D位置编码的结合体为键和值，将地理信息融入模型，且不改变原有网络架构和训练目标，同时适配车载实时任务与离线生成任务。针对地理图像可能存在的缺失、错位问题，研究还引入了可靠性估计门，通过计算检索位置与车辆位置的GPS距离、车载图像与地理图像的特征相似度，生成0-1区间的可靠性分数，动态调整地理特征的融合权重，避免不可靠数据影响模型性能。

三、数据集构建：nuScenes-Geography的扩展与优化

研究以nuScenes数据集为基础，通过谷歌地图API获取街景和卫星图像，构建了nuScenes-Geography扩展数据集。首先将nuScenes的本地车辆姿态转换为全球经纬度坐标，实现地理数据与车辆轨迹的精准对齐；随后采用等矩形全景图表示方式，每个街景位置仅存储一次，通过虚拟相机重投影合成对应车载视角图像，使存储成本降低70%以上，同时保证了空间一致性和帧与地理数据的一一对应关系。

在数据质量控制方面，研究团队手动标注了1800个地理数据错位案例，比如道路施工导致的时序不匹配、桥梁与地面的垂直错位等，作为可靠性估计模块的负样本。从数据覆盖情况来看，训练集和验证集的可靠地理数据覆盖率较高，仅少量样本存在数据缺失，为后续实验提供了高质量支撑。

四、实验结果：五大任务的性能提升验证

在场景理解类任务中，在线建图任务的性能提升最为显著，MapTR和MapTRv2模型融合地理数据后，mAP最高提升13.4%，能有效恢复被遮挡的车道线；占用预测任务中，FBOcc和FlashOCC模型在静态地形类别上的mIoU明显提升，地理先验为背景几何提供了稳定参考；而目标检测任务中，BEVDet和BEVFormer模型的性能提升微弱，这是因为地理数据主要提供背景信息，对动态目标检测的帮助有限。

在规划鲁棒性测试中，VAD模型融合地理数据后，在保持轨迹精度不变的前提下，显著提升了安全裕度。尤其在夜间等挑战性场景下，平均碰撞率从0.55%降至0.48%，在复杂路口、雨雪天气中能生成更平稳安全的轨迹。生成式世界模型任务中，UVG和MDD模型加入地理先验后，视频弗雷歇距离（FVD）显著降低，inception距离（FID）略有优化，有效避免了长时程生成中的场景漂移，保持了几何一致性。

消融实验结果表明，地理图像、3D位置编码、可靠性估计门三个组件均能为模型带来性能提升，其中地理图像是核心增益来源。可靠性估计门的作用尤为关键，即使50%的地理数据缺失或错位，模型仍能保留大部分性能增益，性能下降趋势平缓，展现出较强的鲁棒性，验证了该范式在真实场景中的适用性。

五、创新点与未来展望

该研究的核心创新在于提出了空间检索这一新范式，首次将离线地理数据系统地融入自动驾驶多任务，突破了车载传感器的感知局限；构建的nuScenes-Geography数据集和通用适配模块，实现了地理数据与现有模型的无缝融合，且不依赖特定数据来源，具备较强通用性；可靠性估计机制则解决了地理数据可能存在的缺失、错位问题，提升了系统鲁棒性。

未来研究可进一步探索更先进的任务特异性检索策略，比如结合多帧邻域图像作为全局上下文；在神经网络设计上，可开发更复杂的融合机制，充分挖掘地理数据与车载传感器数据的互补性；此外，利用自动驾驶公司自有离线数据集（通常具有更高的覆盖度和图像质量）进行训练，有望进一步提升模型性能，推动该范式在实际自动驾驶系统中的部署应用。