作为机器人领域的开发者，我们一直怀揣着一个目标：让机器人能像人类一样灵活地完成各种复杂任务。在这个探索过程中，我们面临着诸多挑战，而如何收集高质量的机器人操作数据，成为了实现目标的关键难题。

那么，这篇文章将会来介绍由CMU带来的 BiDex技术。它有效地解决了这个问题。

技术网站： Bimanual Dexterity for Complex Tasks

我们能注意到，近年来可穿戴手套在机器人学习中的应用逐渐兴起。这些手套通过内置的 EMF 传感器能够较为准确地记录人类指尖的位置，为手部动作捕捉提供了新的思路。同时，在手臂跟踪方面，发现一些研究使用低成本的 3D 打印仿教师手臂模型来进行关节级别的远程操作，效果还不错。

那么，CMU的研究人员就想，能否将基于关节的手臂跟踪技术与动作捕捉手套相结合，打造一个既准确又低成本的手臂和手部协同操作的远程操作系统呢？

基于这个思路，我们投入了大量的精力进行研发，最终成功推出了 BiDex 系统，如上图所示。它是一个专门为实现双手灵巧远程操作而设计的系统，具备高精度、低成本、低延迟和便于携带的特点，能够控制具有超过 20 个自由度的仿人灵巧双手。OK，我们接下来就来详细地介绍一下这份工作。希望对大家日后做项目或者是科研能够有所启发。

我们直接来介绍重点，也就是它的核心组成成分是什么。

核心组件

1、多手指 手部跟踪系统

手部跟踪是 BiDex 系统的核心部分之一，因为人类手部具有超过 20 个自由度，要实现精确、低延迟的关节信息跟踪是非常困难的。目前市面上很多基于视觉的跟踪解决方案，像 FrankMocap 或者 VR 头显，在实际使用中常常会因为遮挡和光照条件的变化而出现严重的不准确情况。比如在光线较暗的环境下，或者手部部分被遮挡时，这些系统就很难准确跟踪手部的动作。

经过多次测试和比较，操作人员选择了 Manus Glove 作为 BiDex 系统的手部跟踪设备。这款手套利用 EMF 传感器进行跟踪，不仅准确性高，价格也相对合理。它有效地避免了基于视觉方法中常见的遮挡问题，能够详细地获取人类手部骨骼关节结构的数据。而且，它佩戴起来很舒适，不会对操作人员的手部活动造成阻碍。

但是，将手套收集到的人类手部数据映射到机器人手上，并不是一件简单的事情。由于人类手部和机器人手部在形态结构上存在差异，直接将人类手指关节角度映射到机器人手指关节，可能会导致机器人手部动作不协调。尤其是人类大拇指的关节配置非常复杂，很多机器人手在模仿时都难以做到精准复制，这给直观的拇指控制带来了很大困难，进而影响了抓握动作的准确性。

为了解决这个问题，我们参考了前人的研究成果，采用了一种基于逆运动学的方法。具体来说，我们通过优化每个手指指尖和倒数第二个关节（DIP）相对于手腕的关节位置，利用 SDLS IK 求解器来确保人类手部和机器人手部的相似性，从而实现精准的抓握动作和正确的拇指定位。

2、手臂跟踪系统

在 BiDex 系统中，准确跟踪人类手腕姿势对于控制两个机器人手臂至关重要。传统的运动捕捉和机器人领域开发了多种方法，但大多依赖于经过校准的外部跟踪设备。这些设备不仅成本高昂，而且延迟较高，同时还不便于携带，无法满足移动机器人系统的需求。

那么，经过反复的调研和实验，在 BiDex 系统中，我们将机器人手安装在手臂下方，类似于一个抓手的位置。 如下图所示：

这样在仿教师手臂上进行映射时，人类手臂和仿教师手臂的输出相互垂直，避免了碰撞，提高了操作人员的舒适度。 考虑到动作捕捉手套的重量可能会对手臂跟踪产生影响，我们对仿教师手臂进行了加固。在其基部关节添加了坚固的轴承，并且增加了橡皮筋，使额外的关节能够自动回到关节范围的中心位置，从而确保了手臂跟踪的稳定性和准确性。

3、机器人环境配置

在机器人配置方面，研究人员们根据不同的操作场景进行了针对性的设计。

对于桌面操作场景，我们将机器人手臂面对面放置。 这种方式有很多优点。首先，操作人员在操作过程中可以避免与仿教师手臂发生碰撞；其次，这种配置能够提供更好的工作空间视野，不会像并排配置那样被机器人手臂遮挡视线；最后，面对面放置的机器人手臂拥有更广阔的共享工作空间，便于进行各种操作任务。

在移动操作场景中，BiDex 系统的优势更加明显。由于它不需要外部跟踪系统，且整体重量较轻，非常适合在移动环境中使用。 我们将仿教师手臂安装在一个紧凑的移动推车上，为移动机器人配备了两个可向上伸展抓取高处物体、向下接近地面抓取低处物体的机器人手臂，类似于 PR2 机器人的设计。

整个机器人组件，包括手臂和可移动的躯体，被安装在 AgileX Ranger Mini 全向移动底盘上，使其能够在二维空间内自由移动。同时，我们还安排了一名辅助操作人员，通过操纵杆来控制移动底盘的运动和任务重置，确保机器人能够在复杂的移动场景中顺利完成任务。

下面是机器人环境配置算法的流程示意图：

那介绍完之后，我们来介绍它的代码：

点击每日前沿技术分享：BiDex，一个低成本高灵巧的机器人双手操控系统查看全文。