灵巧手数据不再“卡脖子”：DexCanvas数据集为具身智能铺平“最后一公里”

机器人大讲堂

2025年10月10日 15:59

本文共计2677个字，预计阅读时长9分钟。

来源/机器人大讲堂责编/爱力方

现实世界中任务的高度多样、场景的复杂多变，对机器人系统的泛化能力提出了前所未有的要求。当前，仅依赖封闭、同质、垂直的数据源，已难以支撑机器人完成从“专用设备”到“通用智能体”的跨越。尤其是在灵巧操作这类高度依赖精细交互的领域，高质量、多模态、可泛化的交互数据，正成为制约整个行业突破天花板的共同挑战。

1►行业变革：机器人数据集进入规模化建设新阶段

这一认知的转变，直接推动了机器人数据行业的蓬勃发展。过去三年间，全球范围内机器人数据服务的市场规模以年均45%的速度快速增长，涌现出数十家专注于数据采集、标注与管理的初创企业。资本市场对此表现出极大热情，仅2024年，全球具身智能数据市场规模为7.53亿美元，预计到2031年将达67.52亿美元，年复合增长率（CAGR）高达36.80%。

其中北美市场主导技术创新，占全球市场40%以上份额。目前我们国内增速最快，2025年市场规模预计突破50亿元人民币（占全球25%），2030年有望达200亿元。从北美到欧洲，从东亚到东南亚，各国都将高质量机器人数据视为人工智能与实体经济深度融合的战略资源，纷纷出台配套政策支持数据基础设施建设。

去年12月，国家四部委联合发布《关于促进数据标注产业高质量发展的实施意见》，明确提出了到2027年产业规模年均复合增长率超过20%的发展目标

然而，行业繁荣的表象之下，深层次的结构性问题逐渐浮出水面。当前行业普遍存在“重量轻质”的倾向，不少供应商为快速抢占市场，盲目追求数据规模而忽视质量管控与标准建设。以物体检测为例，仅边界框的标注规范就有数种不同版本，严重影响了算法的通用性与可迁移性。更令人担忧的是，在灵巧操作等高阶任务中，主流数据集对于复杂接触场景、细微力控任务、动态操作过程等关键交互细节的记录严重缺失或失真，这正是导致许多机器人系统从实验室走向实际应用时频频“失灵”的关键原因。

毕竟，相比物体检测、简单抓取等基础任务，灵巧操作需要处理更精细的手-物交互、更复杂的物理接触，对数据的精度、完整性、物理一致性要求远高于其他领域——行业现存的 “重量轻质”等问题，在灵巧操作场景下会被进一步放大，甚至直接导致数据无法支撑技术落地。而作为灵巧操作的核心执行部件，灵巧手的数据难题，正是这些行业痛点的典型缩影。

2►AI到物理世界中的“最后一公里”：灵巧手面对的硬核考题

作为AI到物理世界中的“最后一公里”，灵巧手的性能直接决定了机器人落地实际场景中的价值。

在机器人数据面临的诸多挑战中，这个看似小巧的部件所对应的数据难题尤为突出。它被公认为技术难度最高、也最接近人类操作水平的领域，其数据难题集中体现在三个相互关联的核心层面：

首先是数据采集难，高质量、多模态的操作示范数据获取极为困难。人手操作不仅轨迹复杂、动作细腻，更涉及丰富的力觉交互信息，而现有采集手段往往无法同步记录高精度的运动轨迹与细微的接触力数据。

其次是物理一致性不足，传统动作捕捉存在厘米级误差，且普遍缺乏力觉信息支持，容易产生遮挡、穿模、虚接触等物理失真问题。这类数据在仿真环境中难以真实复现，导致基于此类数据训练的模型在真实世界中表现不佳。

最后是控制复杂度高，不同构型操作设备的自由度差异巨大。简单的机械臂加夹爪组合仅具备有限自由度与操作状态，难以应对复杂任务；而类人灵巧手虽拥有数十个自由度、可实现百万种操作状态，能够覆盖更广泛的操作场景，却也带来了高维状态空间下的决策难题。

这三个层面的挑战相互交织，成了灵巧手操作数据集开发的核心瓶颈，也让行业急需一套能解决这些问题的新数据方案。事实上，过去两年里，已有不少企业或科研机构尝试推出零散的解决方案：有的侧重提升数据采集效率，却忽视了力觉信息；有的能生成大规模仿真数据，却难以与真实物理场景匹配，始终没能形成一套平衡质量与数量的数据采集方案。

就在这时，一家名为【灵巧智能】的企业带着他们的解决方案走进了人们的视野——其近日正式发布的 DexCanvas 大规模灵巧操作示范数据集，该数据集规模达20TB，从设计初期就瞄准了这些行业痛点，试图构建标准化、高质量的数据体系。

3►破解机器人灵巧操作数据困境，DexCanvas的系统性创新

那么，DexCanvas 究竟是如何打破困局，实现从“单点改进”到“系统构建”的跨越？其关键并不在于某一环节的极致优化，而是基于对行业痛点的深度理解，围绕灵巧手数据的三大核心难题，构建了一套环环相扣的系统性解决方案。其最大的突破在于系统性、物理真实性和泛化能力。

DexCanvas的系统性根植于其创新的“人-物交互为中心”采集理念。它不再是零散的动作收集，而是通过“真人操作采集 + 高水平物理合成”相结合的方式，同步捕获人手运动轨迹、被操作物体的状态变化、以及两者之间的接触力学等多维信息。同时收录超过1000小时的真实人手操作数据，并合成10万小时仿真数据，为模型训练提供了极大的广度与深度。在数据精度上，动作捕捉精度达到毫米级，同步采集 RGB、深度、动作轨迹与力觉四类模态，构建了高保真、多维度的交互信息库。

采“人+物的交互”为中心

在这一系统性数据基础上，DexCanvas致力于攻克物理真实性的核心挑战。传统光学动捕在手指交叉时极易丢失标记点（遮挡），导致数据出现“穿模”。DexCanvas通过融合人手骨骼约束数据与高帧率深度相机的点云信息，开发了一套多传感器融合后处理算法，能智能补全丢失的轨迹，确保指尖与物体的接触点在物理上是真实的，从根本上消除了“虚接触”。

此外，数据集还创新性地标注了力闭合、结构闭合等四类抓取语义规则参数，相当于为模型提供了操作的“物理学原理”，而非简单地模仿动作外形。