灵御智能正式发布 灵御真实世界机器人数据集（LingYu Real-World Robotics Dataset），首次面向社区开放高质量第一视角双臂真机数据。首批数据规模约 139.4 小时（短期内计划达到1000小时），包含 13,263 个轨迹片段，涵盖15类桌面任务、22个子集，覆盖可变形物体操作、细粒度精密操作以及物体分拣与摆放场景。此外，数据集另设真实零售任务子集，采集自正在运营的超市场景，通过受限访问机制开放申请。目前，灵御智能 TA2 机器人真机数据产能已达到 2 万小时/月，未来数月内仍将保持快速增长。
项目地址：https://huggingface.co/datasets/LingYu-Robotics/lingyu-realworld-robotics-dataset
01｜机器人学习，为什么需要真机数据？
与仿真轨迹、预设动作序列，以及脱离机器人本体采集的人类动作或视频记录相比，遥操作真机数据直接来自机器人在真实环境中的执行过程。操作员通过机器人的控制接口完成任务，记录下来的动作已经处于机器人的动作空间中，并受到真实机构、接触关系和执行约束的影响。因此，这类数据记录的不只是任务“要完成什么”，也保留了机器人在实际执行中“如何完成”的连续过程。
每个片段同步记录视觉观测、末端执行器状态、夹爪信号和动作指令，形成时间对齐的感知、状态与动作记录。由于数据来自机器人与环境的连续交互，它还保留了操作员应对物体状态变化、不完整观测和执行偏差时的调整过程。这些信息通常难以从静态标注、预设轨迹或脱离机器人本体的动作记录中完整获得；仿真数据也可能无法覆盖真实传感器、机构运动和接触过程中的全部变化。
因此，真机数据的价值不仅在于来自真实环境，也在于能否完整记录并可靠组织机器人与环境的交互过程。基于这一目标，灵御真实世界机器人数据集在采集与组织上重点体现为以下 5 项特点：
1机器人高清第一视角采集。 遥操作通过 VR 头显开展，操作者直接使用机器人机载摄像头回传的画面，获得与机器人一致的第一视角，减少对机器人视野之外信息的依赖。头部双目达到4k精度，也属于行业少有的数据标准。
2独有的数据指纹。每条数据在采集过程中均打上数据指纹，在后续的数据流转中确保数据来源可追踪，精确到每一台特定机器。
3统一时空基准。 微秒级的时钟同步。依托自研标定方案实现全工作空间内的坐标系精准对齐，可达到 1mm 的末端执行器绝对位置精度。
4丰富且同步的多模态数据。每个片段均包含三路高分辨率RGB视频流，以及完整的双臂本体感觉数据（14个手臂关节与2个夹爪的关节位置、速度及作用力）、双臂末端执行器位姿，还有对应的遥操作指令（关节位置与关节速度目标、夹爪指令及末端执行器目标位姿），所有数据均重新采样到统一的 45 Hz 时间轴上。
5专业采集与质量筛选。数据由经过训练的操作员采集，并结合人工审核和异常筛选，保留完整的操作片段。
02｜数据集核心规格
2.1 规模与覆盖
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
2.2 多模态数据
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
多模态同步记录，使操作过程中的环境变化、机器人状态与控制指令能够相互对应，便于分析多个操作步骤如何衔接，以及执行中出现偏差时如何调整。这些示范可用于模仿学习、策略预训练与微调，也可作为仿真数据生成和增强的源数据。
2.3 桌面任务与真实零售场景
15 类桌面任务，涵盖基础操作与长时程协作。
任务包括毛巾与袜子折叠、盒子组装等可变形物体操作，形状配对、2—9 层积木堆叠、螺丝与螺母分拣、盖子闭合等精细操作，以及多种物体的分拣与放置。
单个片段从数秒到数分钟，覆盖单次拾取放置和多步骤任务。 以盒子折叠为例，操作员必须连续执行一系列双臂交互，在盒子形状不断变化的过程中保持对齐，并在整个折叠过程中持续进行调整；积木堆叠任务则体现了另一种长时程结构，随着任务推进，策略必须反复抓取和放置物体，同时保持空间对齐和堆叠稳定性。这些示范呈现了动作衔接、中间状态和执行调整，为长时程操作研究提供素材。
真实零售场景任务，将机器人示范与业务流程联系起来。
零售子集采集于灵御TA2机器人正在参与运营的超市日常食品试吃活动，该场景引入了许多难以在受控环境中复现的动态变化，为探索策略对物体与布局变化的适应，以及从桌面操作向真实运营场景的迁移提供素材。
注：该子集不在本文所提供数据集的涵盖范围内。我们计划在符合合规使用与隐私保护要求的前提下，通过需经人工审核的申请制访问通道，将其开放给经审批的研究项目使用。感兴趣的团队可在数据集页面申请权限，也可联系 contact@dexteleop.com 交流数据需求。
2.4 数据质量保障——人工审核与异常筛选
数据在发布前经过人工审核与异常筛选，主要检查以下内容：
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
保留的片段以完整形式发布，异常片段整段剔除。 这一处理方式保留动作之间的衔接与任务过程，为后续分析和训练提供完整示范。
03 ｜后续运营和开放计划
目前，灵御现有数据已在真实场景训练中展现出意料之外的优秀效果。数据完整保留了物体状态变化、连续操作与执行调整，为策略学习与任务适配提供了基础，也坚定了我们持续投入真机数据采集、逐步开放实际业务数据的方向。
接下来，我们将进一步提高真机实际部署、真实业务流程与垂直行业场景的数据占比：在零售场景基础上，围绕具体工序与任务目标拓展更多垂直场景，丰富物体、流程与环境变化的覆盖，让数据更贴近机器人真实工作中面对的问题。
未来，我们将持续增加任务种类、有效片段与采集时长，向行业领先的开源数据规模迈进；新增数据延续现有标定与质量筛选标准，按计划逐步开放。期待这次首发成为长期数据开放的起点，让真实工作中的操作经验被更广泛地使用。
获取数据集
数据集名称：LingYu Real-World Robotics Dataset
项目地址：https://huggingface.co/datasets/LingYu-Robotics/lingyu-realworld-robotics-dataset
数据需求与合作交流：contact@dexteleop.com
采集来源：灵御智能首次开源第一视角双臂真机数据集
2025年，点点赞助产业迎来爆发拐点。特斯拉Optimus量产在即，华为、宇树等企业加速技术突破，行业正从“实验室研发”向“规模化落地”跃迁为打通产业链上下游协作壁垒，taptap下载安装免费正式组建"点点赞助全产业链交流群"，覆盖金属材料、复合材料、传感器、电机、减速器等全硬件环节，助力企业精准对接资源、共享前沿技术！
扫码关注公众号，底部菜单申请进群
