首页 / 新闻中心 / 正文
弥合Sim2Real鸿沟,北京人形发布高保真铰接物体数字资产ArtVIP
北京人形机器人创新中心
2025-07-10


随着具身智能训练对数据需求的不断放大,通过仿真合成数据弥补数据缺口已成为行业当前共识和重要课题。近日,北京人形机器人创新中心(后称北京人形)与北京市建筑设计研究院(后称北京建院)联合打造的高保真铰接物体数字资产数据集ArtVIP(Articulated-object digital assets with Visual realism, modular Interaction, and Physical fidelity)正式发布,该数据集实现了对高复杂度铰接物品的高精度仿真,在还原物品视觉外观的同时,以高保真度复现了物品物理特性,并且开源了6个支持全场景交互的虚拟机器人训练场。除开源已有场景提升行业模型训练效果外,北京人形同时可针对不同场景不同物品提供定制化建模服务,为具身智能快速落地提供平台支撑。

随着具身操作训练的快速进展,机器人在执行精准抓取拿放等动作方面已经有了长足进步,行业攻坚的重点转向了针对复杂物体的灵巧操作。但在此前,主流开源仿真资产数据集如PartNet-Mobility、BEHAVIOR-1K等在物体模型复杂度上难以达到要求,特别是针对转椅、抽屉、冰箱等带有可活动关节的物体,始终缺乏成熟方法生成或制作此类数字资产,导致模型由仿真走向现实的Sim2Real 训练和部署存在巨大鸿沟。

为解决该问题,北京人形与北京建院共同合作,将双方的机器人仿真经验与数字化建模能力相结合,由前沿的具身智能需求作为牵引,“让现实物品在数字世界中重新觉醒”。

ArtVIP构建了全球最精细的复杂铰接物体库,包括26类共206种高精度可动物件,实现了对橱柜、烤箱、折叠椅、抽屉、电风扇、剪刀等不同特性铰接结构状态的精准仿真。通过海量高复杂度物品覆盖,支持训练具身智能模型获得处理机械结构变异性的泛化能力。

针对物理参数的细节参数调整,让ArtVIP实现了高物理一致性,能够充分参考物品的刚度、阻尼、摩擦力、质量、转动惯量、碰撞体积等参数,模拟不同物品的在被操作或运转时的物理特性。如办公转椅受侧向力时,各轮组会依据地面摩擦系数差异自动形成转向序列差;具备阻尼或弹簧特性的烤箱开口打开至特定角度,在仿真场景内操作或受力后的反馈与现实中完全一致,甚至冰箱门也与现实中一样在关门时有相应的磁吸效果。高精度动力学还原使具身智能算法能够习得符合现实的力控制策略,为开门、推椅等需精细力觉反馈的任务提供可靠训练环境。

除常见的有固定形态的刚性物体外,北京人形构建的数字资产平台支持行业领先的刚体-流体-柔性体全物质形态仿真。冰块在水杯中因水流改变漂动方向,衣物等柔性物体的折叠与褶皱,甚至衣物在洗衣机滚筒内的旋转翻转,均可被仿真复现,助力机器人训练液态容器搬运、柔性物体整理等传统仿真无法支持的高阶任务,大幅扩展具身智能操作边界。

不同于常见仿真资产仅支持简单场景,ArtVIP开放6大数字孪生机器人训练场,方便用户直接进行使用,包括中式客厅、厨房、卧室、起居室等常见环境,以精准建模完全还原真实场景内的全部物体以及视觉氛围感,充分考虑光照及材质等不同条件,如实木地板的深浅木纹在自然光下呈现差异化漫反射,电视屏幕镜面反射随角度实时变化,显著提升视觉感知训练的真实性。

对具身训练更重要的是,ArtVIP场景内所有物品均支持交互,实现环境级物理-视觉联动机制,构建闭环交互生态。

例如,在仿真环境内点按电灯开关后,基于光线追踪技术,系统实时计算全场景光学响应,根据光源方向及角度调整环境可见度。该机制可在具身智能模型训练中建立“操作-环境反馈”的因果认知,显著提升复杂场景下的连续决策能力。

根据同期公开的论文《ArtVIP: Articulated Digital Assets of Visual Realism, Modular Interaction, and Physical Fidelity for Robot Learning》,通过CLIP空间可视化显示,相比于其他主流仿真数字资产,ArtVIP中数据分布与真实世界对齐度提升了47%。仅靠ArtVIP仿真数据训练的Diffusion Policy模型,直接操控真实Franka机械臂以零样本迁移方式在物理世界中完成关门任务,成功率即可达到30%,当混合少量真机数据训练后,开门任务成功率迅速大幅跃升至80%。实验结果证明了ArtVIP作为数字资产,可支撑具身模型完成高复杂度物体的交互训练,为具身智能大规模训练建立全新范式。

当前 ArtVIP 已在 Hugging Face 开源,面向高校、研究机构以及行业研究者提供支持。除已有的数字资产内容,团队还开源了包含建模流程、关节参数调优方法在内的数字资产建模流程,且支持无缝接入仿真软件 Isaac Sim。开发者可直接基于已有环境训练,也可基于标准化流程快速生成新铰接物体资产,持续扩展高质量仿真训练环境。通过统一行业仿真资产标准,激发社区共建数字孪生库,彻底改变传统仿真资产碎片化现状,推动具身智能训练从“作坊式开发”迈向“工业化协作”。

面向应用落地,团队还将提供可针对不同场景不同物品提供定制化建模服务,支持工业产线、物流园区、特种作业等不同场景的精准数字化复现。该服务使人形机器人在实际应用部署前能在仿真环境中预演精密装配、高危设备操作等任务,将产线停机试错成本降低80%,为智能制造、智慧物流等场景的高效落地提供基础。

ArtVIP 的发布,将极大改善困扰具身智能训练的 Sim2Real 问题。通过向全球研究者和开发者提供了一套高质量、标准化、可复用的铰接物体数字资产库,以及一套成熟的生产建模服务,改变此前仿真资产匮乏且低质的现状。通过低成本、高拟真的仿真资产,ArtVIP 将显著改善具身智能模型训练缺乏数据的问题,并同时降低人形机器人等智能体在训练真实环境部署时的风险和试错成本,助力其在工业、服务等高价值或高危场景的安全高效落地。未来,北京人形机器人创新中心将持续推进此类共性技术平台建设,为我国人形机器人产业的核心技术攻关与规模应用提供坚实支撑。

获取ArtVIP:

数字资产:https://huggingface.co/datasets/x-humanoid-robomind/ArtVIP

项目主页:https://x-humanoid-artvip.github.io/




Top