news 2026/6/10 19:34:08

宇树开源新里程碑:UnifoLM-VLA-0模型让机器人走进生活

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
宇树开源新里程碑:UnifoLM-VLA-0模型让机器人走进生活

宇树机器人各种炫酷的表演我们都见过,尤其是同王力宏跳舞那场演唱会,真的很震撼。

刚刚,宇树科技开源的UnifoLM-VLA-0模型,则让机器人开始走进生活。

UnifoLM-VLA-0通过独特的动作分块预测与动力学约束技术,让视觉-语言模型(VLMs)从单纯的图文理解进化为具备物理常识的具身大脑,在仅使用340小时真机数据的情况下实现了通用操作的极致泛化。

转载

,

宇树开源新里程碑:UnifoLM-VLA-0模型让机器人走进生活

它利用Qwen2.5-VL作为基座,通过极其高效的数据策略和创新的动力学预测架构,解决了传统模型手眼不协调的顽疾,并在宇树G1人形机器人上实现了惊人的多任务通用能力。

从图文理解到具身大脑的进化

视觉-语言模型虽然能够精准地识别出一张图片里有一个红色的苹果,也能写出关于苹果的诗歌,但它们缺乏物理常识。

它们不知道这个苹果有多重,不知道捏起它需要多大的力气,更不知道如果手滑了苹果会以什么轨迹掉落。

UnifoLM-VLA-0基于开源的Qwen2.5-VL-7B,使用跨机器人和通用场景的多任务数据集进行持续的预训练,让模型继承了基座模型强大的语义理解能力,在此基础上,还生长出了对物理世界的感知力。

这种进化让机器人拥有了类似于人类的小脑直觉。

当它看到一个物体时,不再仅仅是在进行语义打标,而是在瞬间计算出物体的空间位置、几何形态以及潜在的交互方式。

它开始理解物体之间的空间关系,明白物体在受力后的运动规律。

这就是UnifoLM-VLA-0所强调的物理常识。

这种常识的注入,使得机器人不再是一个只会执行死板代码的机械臂,而是一个能够感知环境、理解物理规律并做出自适应决策的智能生命体。

UnifoLM-VLA-0确立了单一策略,多任务操作的高标准。它不需要针对每一个特定的动作(比如开瓶盖、叠毛巾)去单独训练一个模型。它用一个统一的大脑,就能应对千变万化的生活场景。

UnifoLM-VLA-0引入了空间语义增强技术。

在传统的视觉模型中,文本指令往往很难与图像中的具体像素点精确对应。

比如指令说把杯子放在桌子左上角,模型可能知道什么是杯子,但对桌子左上角这个几何概念的理解却很模糊。

宇树的团队通过继续预训练,将文本指令与2D及3D的空间细节进行了深度融合。

这种融合让模型建立起了清晰的几何坐标系,它开始能够精准地理解像素背后的三维结构,从而极大地增强了空间感知和几何理解能力。

在机器人操作中,仅仅知道要去哪里是不够的,还需要知道怎么去以及去的过程中会发生什么。

为了让机器人动得更自然、更符合物理规律,模型构建了全链路的动力学预测数据。

UnifoLM-VLA-0集成了动作分块预测(Action Chunking Prediction)技术,并引入了前向与逆向动力学约束。

这相当于在机器人的大脑中植入了一个微型的物理引擎。

在执行动作之前,模型就已经在脑海中对动作序列进行了统一建模和预演。

这种动力学建模能力让模型具备了长时序动作规划的能力。

它不仅关注当下的这一个动作,还能预测这个动作会对物体产生什么样的后续影响,以及接下来的动作该如何衔接。

这种对物理交互规律的深度理解,使得UnifoLM-VLA-0在面对复杂任务时显得游刃有余。

通过整合2D检测与分割、任务层级分解、3D目标检测以及轨迹预测等多维度的监督信号,模型实现了几何空间与语义逻辑的完美对齐,让视觉信号能够顺畅地转化为精准的动作指令。

极致数据效率与空间推理能力

宇树团队对开源的机器人数据集进行了系统化的清洗和精选。在海量的数据海洋中,他们最终仅保留了约340小时的高质量真机数据用于离散动作的预测训练。

这个数字在动辄万亿token的语言模型训练中显得微不足道,但正是这少而精的340小时数据,成为了模型掌握物理世界交互法则的关键钥匙。

通过混合使用机器人场景和通用场景的多任务数据集,它在多类任务场景下展现出了显著增强的空间推理能力。这种能力体现在模型可以进行零样本(Zero-shot)的复杂推理。

让我们通过几个具体的推理场景来感受这种能力

这种可靠的多模态感知性能,证明了UnifoLM-VLA-0已经真正具备了理解复杂物理环境的智慧。

仿真与真机实战的顶级表现

宇树团队在LIBERO仿真基准上进行了严格的测试。UnifoLM-VLA-0展现出了压倒性的优势。

UnifoLM-VLA-0在LIBERO-Object(物体操作)任务上达到了完美的100分,在LIBERO-Spatial(空间感知)和LIBERO-Goal(目标达成)上也分别拿到了99.0和99.4的高分。

即便是在最考验模型长期规划能力的LIBERO-Long(长序列任务)中,它依然保持了96.2的超高水平,最终以98.7的平均分傲视群雄,超越了包括OpenVLA、InternVLA以及π0系列在内的众多知名模型。

在宇树G1人形机器人平台上,UnifoLM-VLA-0通过构建覆盖12类复杂操作任务的高质量真机数据集,模型仅使用一个单一的策略网络(Checkpoint)就完成了对所有任务的统摄。

这12类任务涵盖了极为广泛的操作类型:

  • 双臂协作整理桌面:需要左右手配合,理解物体的相对位置。

  • 收纳铅笔盒:这包括了拿起笔盒、放入背包、最后拉上拉链这一系列精细的连续动作。

  • 倒药片:打开药瓶盖并将药片倒入盒子,这需要极高的手部稳定性和对微小力度的控制。

  • 叠毛巾:这是典型的柔性物体操作,机器人需要理解毛巾的形变,将其铺平并折叠成方块。

  • 整理文具:调整笔盒位置,将笔和橡皮放入,然后关上盒子,考验的是对多种不同形状物体的适应性。

  • 收纳乒乓球拍:拿起球拍放入拍套,合上盖子并拉好拉链,涉及刚性物体与柔性容器的交互。

  • 水果分类:将西瓜放在粉色盘子,香蕉放在黄色盘子,牛油果放在绿色盘子,这是对语义理解与颜色形状匹配的综合测试。

  • 积木堆叠:按照特定顺序(红底、绿中、黄顶)堆叠积木,考验的是序列规划和精准放置。

  • 工具归位:将桌面散乱的工具放回洞洞板和杯子里的指定位置,需要极高的定位精度。

  • 擦拭污渍:拿起抹布擦除桌面的液体,这需要机器人根据视觉反馈动态调整擦拭的轨迹。

  • 擦黑板:拿起板擦清理黑板,同样是基于视觉反馈的覆盖性操作。

  • 桌面综合整理:对桌面上杂乱的物品进行整体的分类和摆放。

在执行这些任务时,UnifoLM-VLA-0展现出了极强的鲁棒性。

即便在执行过程中受到外部的人为干扰(比如轻轻推一下机器人的手臂),它也能迅速调整姿态,继续稳定地完成任务。

这种抗干扰能力是机器人走出实验室、进入家庭服务场景的必备素质。

UnifoLM-VLA-0为具身智能的研究者提供了一个高标准的参考范本。

参考资料:

https://unigen-x.github.io/unifolm-vla.github.io/

https://github.com/unitreerobotics/unifolm-vla

https://huggingface.co/unitreerobotics/models

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/6/10 12:23:55

基于PLC的打捞机械手自动控制系统

基于PLC的打捞机械手自动控制系统设计与实现 第一章 绪论 打捞机械手是水下作业、港口清障、废品回收等场景的核心设备,其控制精度与自动化水平直接影响打捞效率与作业安全性。传统打捞机械手多采用人工手动操作,存在定位精度低、作业强度大、危险环境下…

作者头像 李华
网站建设 2026/6/10 12:31:04

全网最全10个降AIGC网站 千笔AI助你轻松降AI率

AI降重工具:让论文更自然,让学术更安心 在当前的学术环境中,越来越多高校和期刊开始采用AIGC检测系统来评估论文的原创性。对于本科生而言,如何有效降低AI生成痕迹、避免查重率过高,成为撰写论文过程中不可忽视的重要…

作者头像 李华
网站建设 2026/6/9 19:40:14

聚焦绩效管理需求:奇绩云、红海云等 vs Moka,谁更适配企业发展?

在数字化转型加速的当下,人力资源管理的数字化已成为企业提升效率、优化决策的关键环节,而绩效管理系统作为 HR SaaS 领域的核心模块,更是企业实现目标落地、激发员工潜能的重要工具。那么,什么是优质的 HR SaaS 绩效管理系统&…

作者头像 李华
网站建设 2026/6/10 12:30:58

基于SpringBoot+Vue的宠物服务平台

🍅 作者主页:Selina .a 🍅 简介:Java领域优质创作者🏆、专注于Java技术领域和学生毕业项目实战,高校老师/讲师/同行交流合作。 主要内容:SpringBoot、Vue、SSM、HLMT、Jsp、PHP、Nodejs、Python、爬虫、数据…

作者头像 李华
网站建设 2026/6/10 12:30:15

【开题答辩全过程】以 高校选修课管理系统的设计与实现为例,包含答辩的问题和答案

个人简介一名14年经验的资深毕设内行人,语言擅长Java、php、微信小程序、Python、Golang、安卓Android等开发项目包括大数据、深度学习、网站、小程序、安卓、算法。平常会做一些项目定制化开发、代码讲解、答辩教学、文档编写、也懂一些降重方面的技巧。感谢大家的…

作者头像 李华
网站建设 2026/6/10 12:44:10

孤能子视角:“组织行为学–敏捷思想“

第一步:分析“作者”——敏捷思想运动(作为应对复杂性的“涌现式适应”范式孤能子) 启动:三力逼问,定位张力 1. 零预设:不预设敏捷是“项目管理方法”或“软件开发流程”,视其为在知识工作与产品…

作者头像 李华