无穹具身仿真平台1.0重磅发布！无问智科联合地平线开源具身仿真Benchmark v0.1，打通Real2Sim2Real全链路！

当具身智能大模型飞速迭代，高质量仿真环境、可交互资产、标准化评测基准，已经成为制约机器人落地的关键卡点。

近日，无问智科正式发布无穹具身仿真平台 1.0，同时联合地平线，开源首批具身仿真 Benchmark v0.1，开放海量刚体、铰链、线性柔体、场景仿真资产，完整覆盖桌面操作、铰链开关、线缆精细插拔、长距离移动操作等主流机器人任务，实现从资产构建、场景生成、轨迹合成、模型训练到标准化评测的全闭环。

本次开源资产共计：3000 +刚体资产、60 +铰链资产、20 +线性柔体资产，3 套办公 / 家庭 / 工厂典型场景资产，全部上架 Hugging Face 开源仓库，支持社区开发者直接下载用于具身智能模型训练与算法研究。

无穹具身仿真平台 1.0，是业内首个完整具备桌面 Pick&&Place 指令跟随、铰链资产开关、线缆插入精细操作、移动操作全方位任务能力的具身仿真平台。

整套平台套件包含场景自动组装、轨迹数据合成、模型训练、Benchmark 评测完整闭环工具链。底层仿真资产依托无垠数据合成平台自动化构建，专门服务于仿真合成数据生产与 Benchmark 基准搭建。

本次同步开源的具身仿真 Benchmark v0.1，包含刚体、铰链、线性柔体三大类前景资产，覆盖办公、家庭、工厂三大真实世界场景，重点突破线性柔体仿真难题：平台搭载无问自研可微分物理引擎，实现业内领先的多类线性柔体形变模拟能力，可以真实复现线缆摆动、打结、收紧、释放、线缆插拔等复杂刚柔耦合交互效果，解决传统 Isaac Sim PhysX 在线缆仿真中自穿透、形变失真、拓扑行为难以模拟的痛点。

基于无问的simready资产，我们构建了业内首个支持桌面抓取放置、铰链物体开关、精细插拔、移动操作等多种任务轨迹数据合成能力，并通过光照、纹理、位置、材质等域随机化生成海量泛化数据。

同时，无穹仿真平台推出统一评测框架，是业内首个集多款主流公开 Benchmark之大成的评测框架，并且创新提出多维度综合评测指标，以及提出首个面向机器人全自动能力的机器无干预北极星指标 ATI/MTBI，给具身策略模型一套客观、完整的评估标尺。主流的gr00t系列、pi系列、holobrain、lingbo系列、RLinf等模型框架都在无问仿真平台套件中支持训练与评测。

双方共同完成完整Real2Sim2Real 虚实闭环验证，实打实证明仿真资产与仿真平台的工程落地价值。

无问智科联合地平线，在刚体桌面操作任务上，完成了完整的 Real2Sim2Real 验证。下方视频中展示了在数字孪生办公场景实现通过双机械臂对桌面物体进行整理的操作任务。

面对形态各异的日常物体，系统均能实现稳定、精准抓取。这背后的核心支撑，是结合仿真多样化数据合成能力和HoloBrain空间感知增强的 VLA 模型，实现了万物皆可抓 (Grasp Anything VLA)。

同时，我们基于 π0.5 模型开展虚实融合数据对照实验，拿到极具参考价值的实验结论：

1. 使用1k 条仿真数据训练，可以取得与1k 条真机数据近乎持平的模型效果；

2. 1w 条仿真合成数据训练，任务成功率对比 1k 条真机数据提升接近10%；

3. 1w 条仿真数据 + 1k 条真机数据混合训练，对比仅 1k 条真机数据训练，成功率提升近20%。

我们进一步验证了在预训练的基础策略模型上通过仿真中的强化学习训练可以实现的性能提升以及sim2real的zero-shot能力迁移，并具备高度泛化能力，如下所示：

基于生成的场景，在线强化学习便将仿真成功率从 9.7% 提升至 79.8%。将生成训练场景的数量从 N = 1 扩展到 N = 50，分布外（OOD）成功率从 53.2% 提高到 77.9%，同时将分布内—分布外（ID–OOD）差距从 41.1 个百分点缩小到 2.6 个百分点。结合域随机化后，在生成环境中训练的策略进一步迁移到真实机器人上，在 12 个真实场景、240 次试验中，整体任务成功率从 21.7% 提高到 75.0%，动力学失败率从 66.7% 降低到 18.3%。

进一步地，我们深入验证了仿真合成数据在指令跟随（InstructMove）能力上的效果，并通过创新的任务设计和指标评测验证模型能力。

1. 任务设计

   将指令跟随能力拆解为四类互补任务：通过类别描述辨认目标物体，通过颜色、形状、大小或材质区分同类物体，通过参照物理解左右、前后和远近等空间关系，以及同时判断“抓什么、放哪里”的组合式抓取放置。指令承载的信息由类别描述进一步扩展到属性、空间关系和多目标组合约束。

2.  分段评测指标设计

   传统的最终成功率往往将语言理解与操作控制混为一谈：抓错物体和抓对物体但未能稳定抬起，虽然都会导致任务失败，却对应完全不同的能力问题。InstructMove 因此采用面向指令目标的分阶段评估指标，记录机器人从目标定位到任务完成的全过程：

各阶段采用等权重计算综合得分：

借助这些阶段指标，InstructMove 可以更准确地定位失败来源：如果机器人接近了干扰物，通常说明它没有正确理解指令；如果找到了正确目标，却未能完成抓取或放置，则更可能是操作控制失败。

3. VLA 能否真正实现指令跟随？

   基于InstructMove 评测了 π₀、π₀.₅、GR00T N1.7 和 Motus 四种代表性 VLA 策略。类别与属性任务在双臂 PiperX 上测试，空间与组合任务在单臂 Franka 上测试；每个任务使用 100 个训练 episode，并在 100 个 held-out episode 上评估。Pick 任务报告 Reach/Lift 与综合得分 s_pick ，Pick-and-Place 任务报告 ReachPick/LiftPick/ReachPlace/Place 与综合得分 Sₚₙₚ 。

• π₀.₅ 整体表现最好：在类别、属性和组合式抓取放置任务上均取得最高得分，类别任务 Reach/Lift 达到 0.82/0.57，属性任务达到 0.81/0.62。

• 找到目标不等于完成操作：GR00T N1.7 在类别任务中的 Reach 达到 0.76，但 Lift 只有 0.17，说明目标定位与稳定执行之间仍有明显差距。

• 空间关系仍是共同难点：多个模型在 Pick Spatial 上得分接近且整体偏低，表明理解“左侧、后方、远近”等关系，并将其转化为可靠操作仍具有挑战。

  最后我们进一步验证了在预训练的基础策略模型上通过仿真中的强化学习训练可以实现sim2real的zero-shot能力迁移，相比于没有经过仿真训练的基础策略模型，成功率提升60%以上，具备高度泛化能力，如下所示：

无穹具身仿真平台实现「自然语言理解 — 场景自动组装 — 自动验证纠错 — 仿真运行」完整闭环 。我们首创将自然语言描述的空间关系，自动编译成三维几何约束，真正做到 “用语言告诉机器人怎么摆，算法自动算出布局方案”。

其主要创新点如下：

• 语言约束可编译： 首创将自然语言空间关系自动编译为可执行三维几何约束，实现从“说怎么摆”到“算出怎么摆”。

• 场景空间可理解： 从真实场景自动挖掘可放置面、支撑区域和可用空间，让算法具备面向真实环境的空间可供性理解能力。

• 组装结果可验证： 构建“生成—验证—纠错—重组装”闭环，确保生成场景不仅语义合理，更满足几何与物理约束并可直接用于机器人仿真。

轨迹合成能力是从资产到仿真合成数据的桥梁，无穹仿真平台目前已支持桌面抓取放置、铰链物体开关、精细插拔、移动操作等多种任务的轨迹数据合成，形成了业内首个基于技能的最为全面的轨迹数据生成模块。

桌面抓取放置操作是具身常见的任务类型，我们在该任务上构建了细粒度指令跟随的仿真合成数据，把指令定义的任意物体抓取放置到指令定义的容器内；此外从第三人称视角展示了在家庭场景中对铰链资产的操作，包括空气炸锅、柜子抽屉、水壶、微波炉、烤箱、洗衣机等常见铰链资产的开关；样例如下所示：

我们的轨迹合成具备线缆插入精细任务的轨迹合成能力，用户可以自己进行背景、机器人和被操作线缆的选择，并进行域随机化构建大量数据进行模型验证：

在零售场景，我们展示了零次方机器人从货架上拿取商品并放到收银台的移动操作任务能力。

我们的仿真平台支持的模型包括gr00t系列、pi系列、holobrain、lingbo系列、RLinf系列等多种常用基础模型和训练框架，支持即插即用。

为了对训练模型的结果进行评估分析，我们自研了第一代评测框架。我们评测框架支持robolab120、robotwin2、libero、robodojo、geniesim等多种公开评测框架，是业内首个可以支持多benchmark、多模型的统一评测框架，基于我们发布的自研benchamrk框架可以去验证不同模型不同维度的能力，包括任务完成能力、完成效率、动作平滑性、安全性、泛化性、综合能力等维度能力。

我们自研的benchmark0.1是业内首个支持高保真线性柔体资产的benchmark，需要依托我们线性柔体物理模拟能力。基于自研benchmark我们首次提出仿真评测的北极星指标ATI（Autonomous Tasks per Intervention）/MTBI（Mean Time Between Interventions），用于评估任务的无干预时间和全自动化程度。

下图展示了公开benchamrk和自研benchmark评测报告示例：

传统 Isaac Sim PhysX 在线缆、绳带这类线性柔体仿真中，经常出现自穿透、形变失真、打结等复杂拓扑行为无法模拟的问题。

无问自研可微分线性柔体物理引擎，实现重磅突破：

1. 长时摆动保持柔性响应一致性，形变传播连续稳定；

2. 内置自接触、防穿透机制，解决线缆密集接触场景穿透 bug；

3. 支持打结、收紧、释放等复杂拓扑行为稳定仿真。

我们的物理模拟能够保持长时摆动中的柔性响应一致性，在线缆大幅摆动过程中保持连续、自然的形变传播与运动稳定性；实现了自接触与防穿透能力，解决传统刚体链线缆在接触密集场景中易出现的自穿透问题；可以模拟打结与释放等复杂拓扑行为，支持打结、收紧、释放等复杂过程的稳定模拟。 总的来说，我们的物理模拟方案不仅更准确，而且能完成Isaac方案中难以完成的线缆任务。

线性柔体求解器决定了控制其物理模拟的参数，那么如何获取线性柔体的真实物理参数呢，我们通过微调多模态大模型获取初始参数，再通过自研可微分物理引擎通过同时优化运动和物理参数的方式使得物理参数无限逼近真实；在麻绳、细绳、网线三种类型的线性柔体上展示了通过我们自研的可微分物理引擎能够产生与真实运动变化产生高度一致的能力，这代表着我们的可微物理引擎能够通过梯度反传获得准确的线性柔体参数和准确的运动过程模拟（下图绿色为真实的线绳运动轨迹，蓝色为将无问物理引擎中的线绳运动轨迹）：

我们进一步验证了在自研可微物理引擎中对线性柔体操作的效果，通过scan2sim+gen2sim的技术组合构建了一个高斯背景+pbr前景的虚实混合simready资产，结合对线缆类物体的物理模拟能力，下面的视频展示了虚实混合仿真环境下的线缆插入和线缆穿管道精细操作任务，同时也展示了资产域随机化能力：

综上所述，我们解决了柔性线缆插入过程中的刚柔耦合难题，同时解决线缆弯曲变形、末端姿态保持以及插头精确导向的问题；在狭小空间中实现了精细接触操作，稳定处理插头与端口在接触、校准、插入过程中的多阶段接触变化。 最后我们的资产支持域随机化，可以支持对颜色、纹理、材质及场景外观进行随机化，提高任务泛化与迁移能力。

强大的仿真能力背后，离不开无垠数据合成平台打造的SimReady资产底座。融合了地平线embodiedgen v2并自研了多种资产生成模型和artist-in-loop管线，无垠数据合成平台形成了gen2sim和scan2sim两种批量化资产构建路线，其中scan2sim通过扫描设备对真实环境进行数字孪生，gen2sim通过自然语言/参考图像生成大量simready泛化资产。

通过扫描采集真实世界，完成前景物体、背景场景、运动资产数字孪生构建，输出高保真、可交互、可训练评测的仿真资产，保留真实场景空间关系、动态交互关系。

基于scan2sim，我们不仅实现了高精度高保真场景资产构建，也同时保证了空间关系、动态关系和交互关系的可信度。

如果说 Scan2Sim 解决的是“把真实世界搬进仿真世界”，那么Gen2Sim 解决的就是“如何基于有限真实经验，低成本、规模化地创造出覆盖更广泛任务分布的训练世界”。无问构建的面向任务和场景需求的条件化资产生成引擎，以自然语言描述、图像输入、真实资产、任务目标以及环境约束为输入，自动生成前景物体、背景环境、动作、交互关系和任务场景，并形成可直接进入仿真训练和仿真评测体系的 SimReady 资产和结构化场景数据。整体框架如下所示：

在实际的工程落地中我们搭建了artist-in-loop gen2sim图生资产管线，可以达到前景资产日产300+，累计资产超过10w+，资产类型涵盖刚体、铰链、线性柔体等多种前景资产。

在强有力的gen2sim管线生产效率下，我们快速积累了大量资产，并分别在不同任务上验证对下游模型训练、测试、部署带来的价值。

作为无问的特色，基于无问自研的物理引擎能力，我们的benchmark中还包含了丰富多样的线性柔体资产，能够把真实生活中的不同线性柔体在弯曲、扭转、缠绕以及和刚体耦合等形态变化淋漓尽致地体现出来，如下所示：

无穹具身仿真平台不止局限实验室研究，已经走向产业落地。

无问与拓斯达合作工业搬运场景，依托无穹仿真平台，配置场景、机器人、操作物体，开启域随机化，自动合成海量搬运轨迹数据。

下面展示了无问和拓斯达在在工业场景上的合作案例。为了实现搬运场景的操作能力，我们在仿真平台通过配置场景+机器人+被操作物体+域随机化+轨迹合成生成了大量数据用于训练，如下图所示：

为了加强环境鲁棒性，我们通过纹理材质光照的域随机化功能对数据进行泛化扩充，示例如下：

同时，我们在pi系列模型上验证了搬运任务的训练和测试，我们在平台可以启动搬运训练任务并查看运行结果：

在搬运长程任务上，我们的推理方法包括端到端模型、模型操作+经典规划导航组合策略两种方式，全流程成功率超过70%。

为了更好地落地真实场景下的复杂多轮次交互，我们进一步实现了将多个箱子从传送带搬到码垛并且对箱子进行排列的长程任务。

未来，无问智科将与行业同仁持续共建具身仿真开源生态，持续扩充 Benchmark 资产库，打磨仿真、评测工具链，加速国内具身智能算法研发与机器人产业落地。