“停在那里”：面向自动驾驶中非关键性自发干预的自然手势 与语音交互

罗伯特·察恩、马克试·埃里希·拉托施克、戴安娜·勒弗勒和约恩·胡蒂安内维尔茨堡朱利叶斯‐马 克西米利安大学德国维尔茨堡 {robert.tscharn,marc.latoschik,diana.loeffler,joern.hurtienne}@uni‐wuerzburg.de

我摘们要提出了一种新的多模态输入技术，用于自动驾驶场景中 的非关键性自发情况（NCSSs），例如选择停车场或搭载搭 便车者。该技术结合语音与指示性（指向）手势，以向车辆 传达包含对当前环境空间参照的期望干预（例如，“停止在[ 指向]那里”或“进入[指向]这个停车场”）。通过这种方式， 综合利用了两种模态的优势：语音可用于选择车辆中的多种 操作和功能（如停车、泊车），而指示性手势则为表达这些 干预中的空间话语指称（如靠近这棵树、那个停车场）提供 了自然且直观的方式。在一项包含38名参与者的用户研究中， 我们将语音与指向手势输入与语音和基于触摸的输入进行了 比较。由于车载触摸屏广泛使用基于触摸的输入，因此将其 选为基线。评估结果表明，相较于语音和触摸，语音与指向 手势被认为更自然、更直观且认知负担更低，因此推荐作为 自动驾驶中NCSS的干预技术。

CCS概念

以人为中心的计算交互技术;

关键词

多模态交互；自动驾驶；语音；指向手势；自然用户界面；直观使 用；工作负荷

ACM引用格式

罗伯特·察恩、马克试·埃里希·拉托施克、戴安娜·勒弗勒和约恩·胡蒂安内。 2017年。“停在那里”：用于自动驾驶中非关键性自发干预的自然手势与语 音交互。收录于第19届ACM国际多模态交互会议（ICMI’17）论文集ACM协 会，美国纽约州纽约市，10页。https://doi.org/10.1145/3136755.3136787

1引言

自动驾驶车辆目前被认为是个人交通未来的变革者。自动驾驶汽 车承诺 到显著减轻驾驶员在当今复杂交通环境中的整体驾驶负担。 这种减轻将伴随着乘客舒适性和安全性的潜在提升。尽管技 术会引入自身风险，但目前90%的事故源于人为错误，而自 动驾驶有望推动实现无事故交通[39,41]。

然而，自动驾驶并未完全将用户排除在外。在紧急突发 情况（CSSs）下，出于法律等原因，当系统不再可靠运行时， 用户干预以重新获得直接操控权被视为必要措施。但自动驾 驶还包括多种场景，在这些场景中驾驶员可能希望进行非紧 急的自发干预（非紧急突发情况，NCSSs），而这些情况并 非危急或危险状况。无论是CSSs还是NCSSs，其输入都受限 于可用的时间窗口，但只有CSSs会在驾驶员未及时干预时导 致严重且具有威胁性的后果；而对于NCSSs，缺失或错误的 干预仅会带来非严重的后果。在本研究中，我们聚焦于针对 这些NCSSs的人机界面，例如临时接载额外乘客（朋友或搭 便车者）、途中临时停车为交通事故提供帮助与援助，或日 常的特定停车位选择。

与在紧急突发情况（CSS）中的手动接管控制相比，网络 化控制系统（NCSS）具有更宽松的时间限制，并需要替代性 的非干扰式用户干预方法。这些方法要求及时调整车辆当前 的规划、控制和决策状态，同时避免因手动接管控制而引发 额外错误。这些替代性干预应无缝融入当前驾驶情境中，易 于学习且使用直观（定义为能够无意识地运用先前知识，例 如来自人与人之间的交互，并尽可能减少认知资源的消耗[28]）， 不应增加乘客的压力或驾驶员的工作负荷。干预速度虽重要， 但并非首要考虑因素，整体安全性不应降低。

NCSS的一个主要方面是与干预时当前环境的紧密关联。 可以安全地假设，指示信息（通过指向或触摸选择特定位置） 将在大多数NCSS干预中发挥重要作用，以区分和识别物体、 地点或方向。当今的图形用户界面通过触摸显示屏提供指示 信息输入。因此，基于触摸的选择为NCSS干预提供了一种广 为人知的输入方式。此外，触摸显示屏已经广泛应用于当今 许多车载系统中。

遗憾的是，当今车载触摸显示屏的图形显示通常与车辆所处环 境不一致 即使是抬头显示器（HUD），也会将信息投射到驾驶员的视 野范围内，而不论其头部位置如何。因此，用户需要重新调整 视觉注意力，并在周围环境的自我中心视角与屏幕上潜在的环 境中心视角之间进行转换，反之亦然，这会影响认知负荷和情 境意识。我们提出了一种替代NCSS干预的方法，该方法不会 破坏情境意识。受博尔特[2]和石井[16],的启发，我们构建了 用户与周围物体之间的无缝界面，基于自然多模态交互（“基 于通向无意识熟练操作的清晰且愉悦的路径”[43:ix]），利用 手势和语音组合的指示性表达能力，在NCSS干预中指向物体、 位置和方向。为了纪念博尔特的开创性工作，我们将系统命名 为“停在那里”。我们的系统增强了情境意识，并无缝融入用 户情境中。它允许用户通过手势和语音直观且直接地指向车辆 周围环境，从而无需图形显示。因此，注意力转移的最小化应 能降低认知负荷。

未来的自动驾驶车辆将提供复杂的传感器和物体识别功能， 这些是实现整体自动驾驶功能和环境表征所必需的。由于物体 识别超出了本文所提出工作的范围，我们通过基于半沉浸式 （墙面投影）虚拟现实（VR）[33:322,36]的驾驶仿真评估了本 系统的有效性以及所提出的干预方法。该VR系统因其内部表 征而隐式提供了空间锚定。此外，虚拟场景中还增加了语义信 息，并对与交互相关的对象标注了属性（颜色、大小、对象类 别），系统可将这些属性作为语义实体[22,23]进行访问。利用 该系统，我们研究了“语音与指向手势”组合是否能使驾驶员 在紧急突发情况下的输入更加直观这一研究问题。我们将本系 统与直接的基于触摸的输入方式进行了比较。我们的假设—— “语音与指向手势”比“语音和触摸”更直观且认知负荷更低—— 得到了验证。这些结果支持了我们方法所声称的优势，并通过 探索一种有前景的NCSS干预方式，为未来的自动驾驶做出了 贡献。

2相关工作

2.1自动化与干预

从手动驾驶到自动驾驶的转变可以分为多个阶段。Endsley等 人[8]提出了不同的自动化等级（LOA），用于描述人类操作 员在社会技术系统中的角色。她认为，操作员的功能从主动控 制（手动控制）逐渐转变为观察系统（完全自动化）。这一分 类也影响了国际上对汽车系统自动化的分类[11,29]。无论是完 全手动还是完全自动化的级别，都不被认为是挑战最大的阶段 [4,35]，而在时间紧迫的情境下意外地重新接管完全的手动控 制，对驾驶员而言是一项极具挑战甚至不可能完成的任务[34]。

有趣的是，使用近乎完全自动化系统（如特斯拉自动驾驶系统）的 驾驶员tendsto忽视这些系统的潜在风险。2016年，迪克门和伯恩斯通 过一项针对该系统频繁用户的在线调查报告了相关发现[7]。尽管驾驶员 感知自动化故障（如未正确识别限速）时，他们并不认为这些情 况具有风险性，因为该系统通常不需要人工干预。这一发现与卡 斯纳等人[4]的观点一致，即最安全且最值得信赖的自动化是完 全无需人类干预，或角色被明确定义和分离的情况[10]。因此， 在网络化控制系统（NCSS）中的自动驾驶期间，仅通过高层级 输入（在完全自动化模式下；类似于副驾驶进行干预而驾驶员不 参与）来改变车辆行为，可提供更高的安全性与舒适性[17,42]。

2.2NCSS干预的模态

多种模态可用于高层级的NCSS干预。然而，要成功应用这些 模态，需要满足不同的先决条件。首先，为了能够在当前 NCSS中实现无缝干预，该模态必须具备高空间准确性，以区 分预期的话语指称（如特定的停车场或某个人）。其次， NCSS干预不会频繁发生，因此干预方式应易于使用，且仅需 最低的认知工作负荷[28]。第三，它必须涵盖广泛的可能操作 范围和空间参照（例如，驶出出口、沿路接一位朋友、从多个 停车位中选择一个）。第四，它必须在汽车环境中具有可行性。

基于这四个维度作为框架，下文将讨论平板、语音和手势这三 种干预模态在传达NCSS干预方面的适用性。尽管已有其他甚 至更奇特的模态被提出，例如脑机接口[12]或操纵杆[18],， 但我们重点关注这三种模态，因为它们在下一代车辆中具有广 泛的应用。

Tablet 。针对自动驾驶车辆中的NCSS干预，考尔等人提 出并评估了一种基于触摸的界面[17]。在此界面中，驾驶员可 通过选择一个与上下文无关的“超车”按钮来超越前方车辆。 在一种类似的方法中，瓦尔赫等人建议采用一种协作决策过程， 该过程同时涉及车辆和驾驶员[42]。他们的结果表明，这种交 互被驾驶员视为舒适且可接受的。然而，这种方法仅适用于可 选操作较少的情况。此类基于触摸的方法的空间准确性受到限 制，因为现实世界中的空间参考点是预先定义的。另一种替代 方案是采用基于平板的环境俯视图，使驾驶员能够直接在环境 中选择参考点和操作，从而提高空间准确性和可选操作的数量。 但这也可能增加界面的复杂性，带来直观使用和认知工作负荷 方面的问题。由于触摸屏已在许多车辆中实现，上述任一方法 的可行性均较高。

语音 。语音已成功引入汽车市场，在汽车环境中已得到广 泛应用[1]。此外，其在车内人与人交互中的作用也已被研究， 科恩等人基于对驾驶员与副驾驶在不同驾驶场景下深度的语音 和手势分析，提供了丰富的交互语料库[5]。导航中的副驾驶 与驾驶员之间的语音交互通常使用建筑物或公共空间、人员或 车辆以及道路或车道作为话语指称（例如“在绿色建筑物处左 转”）。Walch etal.[42]还成功评估了语音作为NCSS干预的潜力。然而， 由于仅通过语音难以定义话语指称（即使在复杂度较低的特定 场景下有时可行，例如“下一个交通灯”），语音的空间准确 性较低。基于语音输入的NCSS干预应具有较高的直观使用性， 因为它可借鉴人与人之间的交互。仅通过语音即可传达广泛不 同的操作。最后，语音识别技术已普遍存在于当今汽车中，因 此该模态的可行性可视为较高。

手势 。与语音类似，手势也已引入汽车相关消费市场。徒 手手势以及方向盘上的微手势已被用于控制娱乐功能[15]。大 多数情况下，建议使用象征性手势（例如，“握拳”表示“停 止”或“播放”）来控制车载系统，如音乐播放器或灯光系统 [15,25]。然而，在汽车环境下的人与人之间的交互中，指示性 （指向）手势通常会辅助口头导航指令[5]。NCSS干预可基于 这种自然的交互方式，结合上下文相关的（指示性）手势，以 在语音命令中实现对话语指称的空间识别。吕梅林等人[38] 已经探索了单模态指示性手势在人机交互中针对汽车环境的应 用潜力。然而，尽管在汽车环境中实现高空间准确性的指向手 势是可行的，但通过单模态手势传达的NCSS干预种类仍然有 限。

总之，尽管已经提出或可以提出不同的干预模态用于 NCSS干预，但这些模态均存在缺陷，因此需要将多种模态结 合起来，而非采用单一模态方法。因此，下一节总结了关于多 模态交互的相关文献，呼吁将其应用于NCSS干预中。

2.3多模态NCSS干预

多模态交互与数字系统的研究有着悠久的传统。其中最著名的 是博尔特[2]提出的“放那里”应用，该应用使用语音和指向 手势来自然地与数字系统进行交互。这项研究的成果为汽车环 境[9,19,37,40]提供了宝贵的指导和启发。从技术角度来看，由 于驾驶员的意图通过多个信息通道冗余传递[37,40]，多模态交 互在话语指代方面预计会更加稳健。此外，一种模态可以增强 和支持另一种模态，这种模式也曾在人与人之间的交互中被科 恩等人[5]报道过（例如，指向一所房子以促进对“右角的房 子”的语音识别）。因此，尽管多模态交互并不总是最佳和首 选的方法[30],，但仍应在汽车领域考虑多模态交互的潜力 [26]。例如，普弗莱金等人[32]结合语音和基于平板的手势 （如上下）来控制车辆内部（车窗、后视镜）。他们强调了语 音在功能选择中的重要性，以及基于平板的手势在对这些功能 进行精细控制方面的作用。然而，尽管此前已引入 多模态交互在汽车环境中的应用，但据作者所知，尚无多模态 系统直接解决自动驾驶车辆中NCSS干预的挑战。

因此，我们提出了一种用于NCSS干预的多模态方法，该 方法结合使用语音与指向手势。语音可用于选择多种干预方式， 而指向手势则能够提供在更复杂场景中指定话语指称所需的空 间准确性（例如，选择某个特定停车场）。为了探索这种输入 技术的潜力，我们还将该组合方式与一种不使用指向手势、而 是采用基于触摸的环境俯视图的基线方式进行对比评估。由于 触摸屏是现代车辆的核心组成部分，并且俯视图可在自动驾驶 车辆中于触摸屏上呈现（例如，[44]），将触摸屏与语音结合 代表了一种直观的方式来传达高层级命令并引用当前环境。通 过此研究，我们将博尔特[2]的理念应用于汽车领域，并为这 种交互方式在直观使用性和低认知负荷方面的优越性提供了实 验数据支持。

3系统描述

我们通过迭代开发了一种能够处理多模态输入的交互式系统， 作为评估基于语音与指向手势组合的多模态干预的研究平台。 根据拉托施克[20,22],的方法，该系统结合了（投影式）半沉 浸式虚拟现实与多模态界面。该系统提供了在不同NCSS中的 自动驾驶仿真，并支持多种多模态输入流（语音、平板、指向 手势）的处理与融合。系统的仿真能力确保了不同NCSS及干 预措施的可重复性。

3.1概念

该系统支持四种不同的NCSS场景（无交通状况）。每种 NCSS中，可通过两种方式实现干预，两者之间仅存在细微差 异（例如，从多个停车场中选择一个）。每种NCSS干预均可 通过“语音与指向手势”或“语音和触摸”完成。当自动驾驶 车辆行驶时，当前行驶路径将通过一条蓝色半透明条带进行可 视化，并在干预导致行驶路径发生变化时立即更新。在‘ ParkingLot’（图1，左上）中，参与者必须在车辆静止于 水泥区域时，从六个停车场中选择一个。可选择位于阴影中的 停车场（六个中仅有一个被树遮挡）或两车之间的停车场（仅 有一个位于两车之间）。由于车辆在用户输入完整命令前保持 静止，因此最初不显示任何路径。在‘WavingFriend’ （图1，左下）中，参与者正在城市主干道上自动驾驶，任务 是发现一位挥手的朋友，并驶向她所在位置最近的道路。该场 景提供两种变体，挥手的朋友分别位于道路的右侧或左侧。在 ‘HighwayExit’（图1，右上）中，参与者正在高速公路 上自动驾驶，该高速公路为单向交通，不会出现对向车流，唯 一任务是进入下一个出口，出口位于右侧或左侧。在‘ LateralSwiftManeuver’ （图1，右下角），参与者正在城区驾驶。当车辆经过路径上 的特定路点时，一个绿色球会出现在当前轨迹上，参与者需要 指示系统将障碍物向右或向左避开（汽车通过横向快速移动到 右侧或左侧以避开障碍物）。与前三个NCSS相比，最后一个 场景更加标准化。尽管“停车场”、“挥手的朋友”和“高速 公路出口”是NCSS更明确的例子，但“横向快速操作”具有 时间压力，同时允许对反应时间进行更标准化的测量（表1）。

表1：本文所用NCSS干预的示例。

NCSS	示例干预	Time 约束条件
停车场	“把[指向]那里” ”使用[指向]这个停车场 ”	low
挥手 朋友	“走[指向]这条街” “向右开[pointing]那里”	低到 中
高速公路 Exit	“从[pointing]这个出口出去”， “从[pointing]那里的高速公路出口出去”	中
横向快速 机动	“[指向]这个方向时快速”， “开到[指着]那里”	中 到高

为了支持这些NCSS以及两种干预方式，系统架构需满足 以下要求： 需求1环境的内部表示（例如，基于传感器数据）。需求2语 音输入的识别与处理。需求3手势输入的识别与处理。需求4 两种输入通道的多模态融合。需求5意图识别并转换为执行机 动的系统。需求6话语指称的解引用。

3.2实现

我们决定首先支持基于Unity3D的半沉浸式虚拟现实，该系 统包含数据融合和内部表示等所有组成部分。基于MVC架构 [3],，模型组件提供驾驶仿真和驾驶动力学的内部信息，视图 组件提供该仿真的可视化，控制器组件负责收集并融合驾驶员 输入以触发系统行为（图2）。为了实现对可能的话语指称 （例如，街道、停车场、树）的内部表示（需求1），相关对 象和区域被表示为语义实体[20]，以便访问对象属性（例如， 对象类别、尺寸、颜色）。这使得能够利用指示信息（指向屏 幕的手势；触摸）来识别话语指称（“右边的街道”）。

该系统使用Cortana（模式：每个时间戳的当前假设）进行 自然语音输入，并使用Kinectv2进行身体追踪以及对投影环境 中指向手势的识别（需求2，需求3）。我们实现了由拉托施克提 出的时序增强转换网络（tATN）[21]，以融合这两种模态。

)

4评估

该系统能够基于语义实体在内部表示和处理各种NCSS的场景 上下文，并提取和执行NCSS干预。我们通过以用户为中心的 设计过程对系统进行了迭代开发（迭代1：6名参与者；迭代2： 13名参与者）。根据用户反馈改进了NCSS及干预措施，以提 供适当的设置和现实的基线。例如，基于平板的干预的俯视图 最初因包含过多无关对象而过于杂乱。

在我们的用户研究中，我们比较了两种多模态NCSS干预 方式：“语音与指向手势”和“语音和触摸”。对于后者，我 们实现了一个基于平板的俯视图，该视图实时同步于上述系统 所描述的当前环境（图3）。这两种方法的主要区别在于指示 性引用在用户空间与设备空间中的空间锚定与锚定方式。“语 音与指向手势”中，驾驶员直接根据自身视角（自我中心）指 出话语所指对象；而在“语音和触摸”中，这种指示是间接的， 并且相对于世界中的其他物体（环境中心）。

评估中使用了IntelCorei7‐3770处理器（3.40GHz）、 16GB1600MHzDDR3内存和配备1GBDDR5内存的 NVIDIA2000D显卡。半沉浸式VR通过Optomo短焦投影仪 （ML750STLED）进行投影，亮度为700ANSI流明，最大对 比度为15000:1。投影与参与者之间的距离为2.6米，投影的仿 真画面宽度为2.4米，高度为1.4米。

4.1样本

通过本地学生小组招募了38名以德语为母语的参与者，他们可获 得课程学分（年龄：M= 22.3，SD= 3.05，男性16人）。除一人 外，其余均持有驾驶执照，平均每年手动驾驶里程为每年6622公 里（SD=12083公里，最小值：0公里，最大值：70000公里）。参 与者对车载数字交互技术较为熟悉：92.1%的人曾使用过导航系 统，44.7%的人使用过车载免提电话系统。此外，76.3%的人之 前曾使用语音识别与数字系统进行过交互，28.9%的人习惯使用 全身追踪技术（例如Kinect）。

4.2技术评估

首先，我们分析了系统在成功识别（消歧）由指示性指向手势 所指的重要话语指称方面的性能。每位参与者均完成了一项包 含12次指向动作的标准化指向测试，指向6个随机化的指向目 标，以检验实现的方向到语义实体的解析能力。结果采用两种 不同的空间分辨率阈值进行分析：5◦和10◦。该原型系统的分 辨率准确率为99.1%（10◦分辨率）和81.0%（5◦分辨率）。

这些结果与已知的指向手势的几何分辨率特性一致，表明在面 对空间上邻近的物体时，需要结合语音和话语中的额外信息。

总体而言，我们的技术实现能够实时提供具有所需空间分辨率 的手势输入，用于后续的融合与分析。

针对系统性能的评估，最初通过手动方式对四个NCSS中 的两个（“ParkingLot”和“WavingFriend”）在成功分 析完整多模态语句方面的能力进行了评估。在所有38名参与者 进行的试验中，本系统在这两个NCSS中分别实现了68.4%和 56.8%的期望干预的成功解释。这些低成功率经过进一步分析， 发现完全源于所使用的语音识别系统的识别失败。我们的手势 检测、分析与融合均按预期工作。值得注意的是，在这些试验 过程中，为了保持参与者合理的较短试验时间，我们并未针对 每位参与者单独训练语音识别系统。因此，语音识别过程的改 进将直接提升当前的系统性能。

4.3实验设计

为了可靠地评估所提出的干预方法，实验人员在参与者完成完 整命令（完整的语音命令加指向手势或触摸）后，立即使用巫 师法[6]触发所有系统动作。通过这种方式，最小化了由于系 统性能引起的偏差，并实现了系统行为标准化。为了检查两种 条件下延迟的可比性，每次试验后对命令与系统反馈之间（通 过车辆前方的蓝色条带明显更新当前路径）的主观感知延迟进 行评分。该研究采用被试内设计，包含两个自变量：两种干预 水平（“语音和指向手势”与“语音和触摸”）以及四种 NCSS水平（如上所述）。参与者使用两种干预方式完成了全 部四种NCSSs。“干预”因素的呈现顺序

两种条件下均使用Kinect和小型麦克风进行数据采集，并通 过投影（无头戴式显示器）显示半沉浸式虚拟现实。

被分组（一半的参与者以“语音和指向手势”开始进行四个 NCSS，另一半以“语音和触摸”开始）。每个干预组内 NCSS的顺序对所有参与者均进行了随机化。

4.4材料

为测量参与者在情景中的认知工作负荷，采用了两种标准化测 量方法：广泛使用且经时间验证的NASA‐TLX，即用于评估执 行任务期间整体人类工作负荷的工具[13,14]；以及关注感知 心智负荷的SMEQ。为比较两种干预方式在直观使用方面的表 现，采用了QUESI问卷[28]。此外，采用五个7点李克特量表 收集有关情景与干预特定方面的数据。问题一和问题二中， 参与者对干预的“自然”程度和“空间精确”程度进行评分。 问题三中，参与者对系统在他们发出指令后执行命令的“快速” 程度进行评分（通过“巫师法”检查条件间的延迟差异）。问 题四和问题五中，参与者分别对交互阶段自身对环境的“意识” 程度以及该情景在真实交通中出现的“频繁”程度进行评分。

4.5实验流程

在签署知情同意书并完成前测问卷后，参与者被介绍了两种干 预方式：“语音和指向手势”以及“语音和触摸”。首先，使 用视觉手势构建器的实时预览[27]测试了指向手势识别。在 由实验员控制的光标指示下，参与者使用右手指向其前方的投 影画面的不同位置。虽然未呈现任何NCSS，但参与者被告知 系统将识别出他们所指的 参与者稍后在接下来的仿真中将要指向的物体或区域。随后， 解释了语音识别的相关内容。在语音识别过程中，实验期间会 在参与者身上别上一个小型麦克风。他们被告知可以使用自然 语言，系统能够理解适当的命令（如“开到那边”、“从这个 出口出去”）。最后，介绍了基于平板的干预方式，并告知他 们系统能够识别环境中的触摸操作，并将其与语音命令结合。

强调为了构成一个完整的命令，语音必须与相应的干预方式结 合，即针对物体或区域的指向手势或触摸操作。

在主要部分，通过第一次干预测试了四个NCSS。每个 NCSS均使用Unity3D游戏视图的全屏模式呈现，并以黑屏开 始，在此期间实验员朗读一段简短且标准化的用例说明。当实 验员移除黑屏后，屏幕将投射模拟车辆驾驶座位置的摄像机视 角。除了“停车场”场景中车辆在识别到完整命令前不会移动 （参见“概念”部分）外，参与者均通过德语短语“Start” 启动自动驾驶车辆。车辆的加速度足够快，以确保在需要进行 干预以完成指定用例之前有适当的行驶时间。每个NCSS均设 定了特定的结束状态，达到该状态后实验员即关闭NCSS（例 如，到达目标停车场后）。每次NCSS结束后，参与者需完成 NASA‐TLX、SMEQ量表、五个李克特量表（参见“材料”部 分），并写下定性反馈。完成一组包含四种NCSS及一次干预 的组块后，参与者填写QUESI问卷。此流程针对第二次干预重 复进行（四组NCSS，顺序重新随机化）。两次干预分别使用 两种不同的NCSS变体（例如，第一次使用“左侧高速公路出 口”，第二次使用“右侧高速公路出口”），变体顺序为分组 设计。最后，参与者完成用于技术评估的标准指向任务。根据 参与者情况，整个实验持续时间为40至60分钟。

4.6假设

与“语音与触摸组合”（以下简称ST）不同，“语音与指向 手势组合”（以下简称SP）基于自然的人与人交互中的先前 知识。因此，预计
假设H1：SP被评价为在使用上显著比ST更直观且更自然.
此外，与环境的直接交互作用相比间接交互作用应需要更 少的认知负荷。因此，预计
假设H2：语音与手势组合被评价为比语音与触摸组合的认知负 荷显著更低。最后，在SP条件下，注意力可以保持在环境上，而在 ST条件下，注意力必须分散到两个“屏幕”上。根据上下头部转动的 测量以及“您对周围环境的意识程度如何”这一问题，我们预期
假设H3：与语音与触摸组合相比，语音与手势组合能显著提升来自环境 的情境意识.

5结果

自由度的差异源于数据集中的单个数据缺失（跟踪设备的技术 原因或参与者忘记对某一项进行评分）或调整（例如，违反球 形假设）。为了比较巫师法在不同条件下的延迟，我们通过方 差分析对“快速”问题的评分进行了分析，其中“干预”和 “NCSS”作为重复因子。结果显示，“干预”因素 (1,35)=2.6，

=.12，以及“NCSS”因素 1,35)=1.78，

=.16均无显著差异。定性上，SP被描述为“直观的” 和“容易的”。ST则被认为“有些不自然”且“令人困惑， 因为我必须在平板和投影之间切换”。参与者还报告称，ST “分散了对环境的注意力”，并且“更难使用”。尽管如此， 一些参与者指出，在“高速公路出口”等某些场景中，多模态 是不必要的，可以由单一语音命令如“到下一个出口”替代。 其他参与者强调了概览的重要性（“我喜欢平板的概览”）， 并有人建议将SP与显示在侧边平板上的俯视图结合起来。

直观使用与自然交互

在QUESI量表上，SP干预方式的评分 显著高于ST（M=3.97，SD=0.57vs.M=3.66，SD=0.72）， t(37)=2.76，p=.009，Cohen’sd=0.45。比较五个子量表（α校 正至.01）发现，SP在“认知需求”和“所需学习努力”两个维度 上的评分显著更低，分别为t(37)=4.32，p<.001，d=0.72和 t(37)=2.99，p=.005，d=.5。以“干预方式”和“NCSS”为重复 因子，以“自然”问题的评分为因变量进行方差分析。结果显示， “干预方式”主效应显著，F(1,36)=18.37，p<.001，η²p η 2 .34； “NCSS”主效应也显著，F(3,36)=9.23，p<.001，η²p η 2 .20；但 二者之间的交互作用不显著。

工作负荷与情境意识

在以NASA‐TLX的“认知负荷”子量表作 为因变量的方差分析（重复测量因素同上）中，“干预”因素的主效 应显著，F(1,36)=11.86，p=.001， η 2 p =.25，表现为较低的 与ST相比，SP的数值更高。此外，因素“NCSS”的主效应显著， F(2.54,36)=10.49，p<.001， η2p=.23。对于SMEQ量表，“干预” 和“NCSS”的两个主效应均显著，分别为F(1,34)=14.09，p=.001， η2p=.29，以及F(2.48,34)=9.95，p<.001， η2p=.23（由于违反球形 假设，自由度经Greenhouse‐Geisser校正），但两者之间的交互作 用不显著。“意识”问题的评分结果显示，“干预”因素显著， F(1,34)=9.77，p=.004，η2p=.22，且“NCSS”因素也显著， F(3,34)=20.66，p<.001， η2= 38, p，但 两者之间同样无显著交互作用。在所有NCSS条件下，参与者报告 SP干预的空间精确度感知显著高于ST（M=5.27，SD=0.94对比M=4.82，SD=1.04），t(35)=2.10，p=.04，d=.35。作为参与者分心程度 的一种可能测量指标，在最标准化的NCSS“LaterSwift Maneuver”中，通过Kinect传感器记录的头部转动方差（上下方向） 被分析（根据人工检查，头部追踪在两种条件下对30名参与者均可靠）。 头部转动角度的方差在SP条件下（M=0.61，SD=0.59）显著低于S T条件（M=1.67，SD=1.76），t(29)=3.17，p=.004，d=.65。

时间压力与反应时间

对NASA‐TLX的子量表“时间压力” 也进行了分析。方差分析（重复因子同上）显示，“NCSS”主效 应显著，F(3,34)=7.98，p<.001， η2 p=.19，但“干预”主效应不 显著。事后检验采用赫尔默特对比显示，“停车场”比其他三种 NCSS在时间紧迫性上的评分显著更低，F(1,34)=17.45，p<.001， η2 p=.34。 作为参与者行为的客观衡量指标，对反应时间进行了分析。只有 NCSS的“LateralSwiftManeuvre”能够严格标准化地计算反应时 间（从绿色球出现在道路上时开始）。在此情况下，系统识别SP中 的首次语音输入早于ST（平均值=1.47秒，标准差=0.31秒对比平均 值=1.91秒，标准差=0.61秒），t(23)=3.56，p=.002，d=.81。此外， 指向手势或平板触控在SP中也早于ST发生（平均值=1.54秒，标准差 =0.47秒对比平均值=2.04秒，标准差=0.72秒），t(23)=3.25，p=.004，d=.68。

6讨论

自动驾驶将需要新的干预方法，尤其是在NCSS中。为了探索 多模态干预的潜力，我们实现了一个交互式系统，可用于比较 两种输入技术：a）语音与指向手势和b）语音和触摸。为回 答这一研究问题，我们采用了半沉浸式虚拟现实和“ WizardofOz”方法。值得注意的是，我们的系统已满足所 有最初定义的需求（R1‐R6），并能够处理多模态输入，以在 给定环境中解释语音和指向手势。本文介绍了整体概念、系统 架构以及首次评估结果：（1）基于平板的基线提供了一种直 接的多模态解决方案，利用现有的车载显示屏（例如[44]）。 （2）该模拟提供了可复制的非关键安全系统，而在真实世界 条件下这些系统通常难以实现。（3）“WizardofOz”方法 实现了标准化，并避免了系统性能对输入技术评估结果的影响。 38名参与者在半沉浸式虚拟现实中完成了四个NCSS，每个情境 均包含两种干预方式。假设为“语音与手势组合”和 指向手势’在使用上被认为比‘语音和触摸’更具直观性和自 然性（假设H1），需要更少的认知资源（假设H2），并带来 更高的情境意识（假设H3）。结果证实了关于两种干预方式 之间总体效应的假设。在所有NCSS中，‘语音与指向手势’ 被显著评价为更直观和自然。此外，参与者报告称，在采用 ‘语音与指向手势’干预时，其主观感知意识更高。在最标准 化的NCSS（‘侧向快速操作’）中，参与者使用‘语音与指 向手势’干预时客观反应速度更快。一种可能的解释是，当使 用‘语音和触摸’干预时，参与者必须将注意力分散到两个 “关注区域”（模拟环境和平板上的俯视环境）。注意力分散 也可能体现在参与者通过平板选择目标时，头部在上下方向显 著更多地转动。此外，参与者表示，与‘语音与指向手势’干 预相比，切换两个“屏幕”更具挑战性和压力，而‘语音与指 向手势’通常被描述为自然且直接。总之，基于操作的干预方 式被认为是有用的。这支持了[17]和[42]的观点，即高层级干 预是自动驾驶中一种有前景的方法。

“语音和触摸”干预方式的间接性也体现在其显著较高的 认知负荷上。从与驾驶无关的任务（如阅读）切换到NCSS干 预的低切换成本，对于其在自动驾驶中的可接受性至关重要。 通常情况下，“语音与指向手势”和“语音和触摸”提供了相 同的功能。语音允许从多种操作中进行选择，而指向手势或在 平板上的点击则可实现对特定物体或区域的空间参考。但在所 有被研究的NCSS中，“语音与指向手势”干预方式所需的认 知资源更低。

人们可能会预期，当网络化控制系统（NCSS）被感知为 具有高度时间紧迫性时，两种干预方式之间的差异会更大。但 事实并非如此。实际上，NCSS在几乎所有收集到的测量指标 上均存在显著差异，包括通过NASA‐TLX子量表“时间压力” 所测得的时间紧迫性。“停车场”是最不具挑战性的NCSS， 这可能是因为其场景相对静态，直到最后发出指令为止。但在 所有测量指标中，“NCSS”与“干预”两个因素之间的交互 作用均不显著，“语音与指向手势”并未在时间压力更高的 NCSS中表现出更大的优势。一种可能的解释是，这些NCSS均 未被感知为（也并非设计为）极度时间紧迫的情况。尽管有人 认为在时间窗口极短的NCSS中时间紧迫性可能起一定作用， 但这并不属于本研究中干预方式所关注的范畴。此外，在汽车 交通5级[29],驾驶员主动干预[4]在时间压力下也不是研究重点。

一名参与者还建议将语音、指向手势和基于平板的环境俯 视图相结合，以补充语音与指向手势的干预，提供类似于导航 系统的当前情况概览。这一点很有意思，因为本研究中的环境 并不复杂，且场景中未添加交通元素。然而，用户可能会从这 种三重方式中获益更多。对于 例如，与没有俯视图的指向手势相比，显示周围车辆可能会带来优势。

总之，语音和指向手势的组合在自动驾驶情境中被认为直 观易用。与基于触摸的方法相比，它提供了更直接、更自然的 NCSS干预。我们的多模态非驾驶相关任务干预在所有NCSS中 的适用性评价各不相同。因此，未来的研究可以在此基础上探 讨多种问题。首先，一个尚未解决的问题是，哪些网络化控制 系统（NCSS）最能从这种多模态干预中受益，以及在何种情 况下单模态基于操作的界面[42]可能已足够，尽管它仅提供有 限的操作集和较低的空间准确性。其次，本研究中的NCSS未 将相关话语指称显式呈现或高亮显示。在真实车辆的挡风玻璃 上使用增强现实元素，可能会进一步提升指向环境时手势的直 观使用体验。第三，必须考虑该方法对更为多样化用户群体的 影响。例如，对导航系统和平板设备先前了解较少的老年人， 可能会从借鉴自然的人际交互方式的NCSS干预中获益更多。

7结论

我们提出并评估了一种结合语音与指向手势的自然且直观的 NCSS干预方式，用于自动驾驶。这种多模态方法充分利用了 这两种输入技术的优势：语音可用于从大量不同命令中进行选 择，而指向手势则可通过空间指定话语指代对象来增强语音指 令。所采用的系统架构有效地将多模态处理与用户跟踪及场景 识别任务解耦，因此可以方便地与当前自动驾驶中的车载传感 器和物体识别技术进展相结合，并可用于物理原型。

所提出的干预方式在讨论的四个维度——空间准确性、直 观使用、操作范围和可行性方面得分较高。但除了这些维度之 外，指向手势与语音最重要的优势是什么？快速干预对于自动 驾驶而言虽然重要，但由于自动驾驶车辆很可能受到安全裕度 的限制，行驶路径突然剧烈变化的可能性较低，因此快速并非 至关重要。更重要的是，所提出的干预方式被认为并被感知为 自然且直观的。因此，人类能够并且愿意将从人与人之间的交 互中获得的先验知识迁移到人与车辆的交互中。此外，这种迁 移的认知负荷低，能够实现与环境的直接交互。使用语音和指 向手势的NCSS干预可实现无缝交互，并且交互本身不会给驾 驶员带来额外的认知负担。尽管该干预方式基于博尔特的“放 那里”隐喻[2],，但不仅多模态本身对于与环境的无缝交互至 关重要，哪一种模态的组合也同样重要。我们的结果表明， 将直接输入技术（指向手势）与语音相结合，是未来人与车辆 之间NCSS干预的一种有前景的方式。