关联现实：一种用于自动驾驶的认知人机层

摘要

先进驾驶辅助系统（ADAS）和自动化与自动驾驶车辆（AV）是利用人工智能、认知方法、云计算技术、协作式车对外通信（V2X）、软硬件平台、传感器平台以及初步的智能交通基础设施，实现自动驾驶系统和智能互联移动服务的协作系统与流程。本文为支持自动驾驶系统（包括辅助型、半自动和全自动驾驶车辆），提出一种称为关联现实的认知层，以增强相关的信息、知识和通信流程。所定义的架构包含一个具有补充层的增强型局部动态地图，以及一个具有补充语义‐认知关系的增强型图数据库，服务于协作式人机系统和机器‐机器系统。通过定义虚拟增强地标，提升相关空间信息系统之间的连接性与智能性。本文定义、分类并应用了不同的结构地标和序列地标（包括常规、重复和周期性地标），用于多种视觉定位与建图场景中的自动驾驶。此外，本文还展示了在公路隧道中进行车辆定位与建图的概念验证：通过YOLO v3实现对不同周期性灯具序列的视觉检测，用于相应的LED灯检测，或采用一种计算成本极低的特定替代方法。

引言

先进驾驶辅助系统（ADAS）、自动驾驶和自动驾驶（AD）[1]目前处于汽车工程的前沿。这些工业发展领域应在人工智能、认知方法、云‐雾‐边技术、软硬件和传感器平台以及新兴智能交通基础设施的支持下协同演进，以实现自动驾驶系统和智能互联移动服务，并推动部分和完全自动化交通系统的开发。

在汽车生态系统中，自动驾驶没有简单的解决方案。只有将传感器、数据、信息、动态地图基础设施、算法和市场演进策略进行适当结合，才有可能实现预期结果。

对于自动驾驶和智能网联出行而言，至关重要的是对系统、流程和服务进行可演进的协调，以高效开发和部署不同的自动驾驶策略。

自动驾驶发展挑战路径中的相关因素包括：协同演进与合作的商业模式、市场趋势、标准化流程、监管框架、用户接受度；原始设备制造商、供应商、开发者、服务提供商和研究机构的参与；以及与信息与通信技术生态系统的深度融合与集成。

目前，汽车无线通信主要有两种技术：专用短程通信（DSRC） 802.11p 和兼容5G的蜂窝车联网（C‐V2X）通信 [2],（5G‐V2X）。这些通信通道凭借高带宽、低延迟和高可靠性，为提升出行安全和自动驾驶提供了非视距感知能力，涵盖车对车（V2V）、车对基础设施（V2I）、车对行人（V2P）以及车对云（V2C）通信。

以合作为目标，5G汽车协会[3]是来自汽车和电信行业的一项引人注目的全球性产业倡议，旨在协调并加速智能交通与通信解决方案的相应引入。我们可以大胆断言，自动驾驶和5G生态系统必须成为开放平台，否则将无法实现高效开发和部署。

为了支持自动化（辅助、半自动驾驶、自动驾驶）驾驶流程，本文引入了一种认知副驾驶辅助层，称为关联现实（AsR）：一种语义目标导向地图（即时、就地和适量），可自适应地汇总、补充和增强人类与机器代理可用的信息与知识，以高效实现相关目标。更详细的定义将在第 3 节中给出。这种认知多层地图对于开发协作式人(H)机(M)系统具有特别重要的意义 [4]。

AsR地图显著提升了相关的认知活动：感知、理解、预测、决策、行动以及相关的学习、经验和知识。

AsR地图还改进了（人‐人、人‐机、机‐机）代理之间的相应通信和接口。

• 一种语义 AsR地图，针对相关利益相关者（人类或机器）、应用和服务，自适应地描述相应的多层世界。
• 一种具有不同动态特性和刷新率的多级AsR地图，用于管理复杂的自动驾驶车辆情境，能够通过可靠且自适应的双向无线通信共享共有知识、信息和意图。
• 目标导向型AsR地图特别适用于自动驾驶车辆（AV）、协同智能交通系统（C‐ITS）以及协同、互联与自动化出行（CCAM）系统，因为它能够高效共享相关信息与知识。
• 灵活的AsR地图框架应面向广泛的道路交通系统、应用和服务，服务于人类代理（开发者、驾驶员、行人、弱势道路使用者（ VRUs）、交通管理者、主管部门等）以及机器代理（车辆、交通基础设施、车队、指挥与控制中心等）。所有这些情况都有不同的认知需求，需要高效地加以处理。
• 一个集成AsR地图，按空间局部瓦片的集合进行分层组织，用于管理相应的交通和智能网联出行系统。相关的认知交互将实现对相关车辆和基础设施的全局控制。这些共同的认知结构将使车辆能够表现为智能集群，而非孤立的个体单元。

对于互联移动系统：车对云（V2C）、车对雾（V2F）以及通用的万物互联（X2X）无线通信，在获取和共享有关基础设施、传感器、周围车辆、地图等信息方面也至关重要。

云‐雾‐边基础设施，具备适当的带宽和延迟，是用于通信、处理和存储相关联网车辆生态系统中数据和信息的中心枢纽节点。

综合考虑所有先前的通信信息因素及相关约束，AsR地图为所考虑的世界和应用提供了合适的时空数据和信息，这需要由关联关系粘合在一起的多样化语义多层地图组合而成，有助于连接并集成不同系统视角，以支持开放且可扩展的认知服务。

认知联网汽车生态系统正面临一个重大挑战，即如何信任协作代理接收和传输的信息，以及如何管理相关安全与隐私问题服务。在开发相应平台时，必须从这一安保角度出发，考虑不同的安全等级、策略、战略、法规、认证、标准、评估、测试、加密、认证和授权方法等。

衍生的安保功能应使用适用于C‐V2X通信[8–10]以及相关硬件安全控制器（DSRC、C‐V2X或混合式）[11,12]的适当框架来实现。为保护隐私，签名消息所对应的公钥证书应具有较短的有效期，并需定期更换[13]。

为了提升相应系统的连接性及关联智能，本文引入并分析了空间基础设施中的虚拟或认知地标概念，特别是针对自动驾驶车辆和智能交通系统，该概念可被视为普通地理地标概念[14]的推广。

结构化地标或地标网络被定义为相应元素的高层描述。文中给出了多种结构化地标的应用，特别是针对不同类型实际地标序列的视觉检测。

本文还提出了一种增强型局部动态地图架构，用于自动驾驶系统，并结合了互联的应用和服务，主要基于：

• 具有附加层和字段的多层地理信息系统（GIS）。
• 一种多层高精度动态局部地图（LDM），包含附加的层和字段。
• 由图数据库定义的补充语义关系。
• 互补的认知（直接或辅助）关联，以支持复杂推理活动。

所考虑的高精度（HD）局部动态地图是具有不同层[15,16],的地理参考向量瓦片地图，可通过众包方法和云技术构建。相关的高精度地图标准包括：Mobileye路线簿[17,18]、道路体验管理（REM）[19],以及导航数据标准（NDS）[20–22]。

用于定位与建图，相关车辆应配备车载专用处理器、摄像头、 GPS‐GNSS以及可选的补充传感器（红外摄像头、激光雷达、雷达、超声波传感器等）。部署的联网车辆应包含集成定位与建图平台，以及连接到云的不同软硬件模块，用于收集和生成相应的vector tile layers。

矢量瓦片图层存储了数据的矢量表示，所涉及的地理特征被表示为局部点、线和多边形。矢量瓦片比栅格瓦片具有更小的文件大小，从而实现更快的地图加载，以及更好的性能和灵活性。

相应的矢量瓦片地图基础设施可以通过带宽要求极低的云车辆连接通道（通常小于10 KB/Km）自动收集、匿名化、评估、集成、更新和分发高精语义vector tiles [19]。

这种协同瓦片地图流程如今可通过例如Mobileye的ADAS众包，利用为高级驾驶辅助系统和自动驾驶车辆开发和部署的EyeQ处理器来构建高精地图，且成本相对较低[23,24]。

本文展示了一个特定的示范示例，用于自动驾驶中不同周期性视觉地标序列的定位与建图。特别是，通过使用车载摄像头，高效地检测、定位和建图公路隧道中的灯具（视觉信标或信标）。

该流程用于地标微定位及相关地图构建过程，同时也可用于捕捉所涉及基础设施的实时描述以及可能的时间故障。

本文组织如下。下一节简要介绍了高精局部动态地图在自动驾驶系统中的目的、通用准则及其重要性。第3节深入分析了关联现实认知层，并提出了用于自动驾驶的关联现实多层架构。第4节定义了增强虚拟地标的概念，并给出了针对自动驾驶车辆和信息空间的一些实际应用示例。第5节定义了不同的结构地标并提供了若干应用示例。第6节作为一个特定的概念验证，总结了为实现公路隧道中车辆定位而开发的应用，该方法通过检测相应的灯具和照明区域来实现。最后，第7节讨论了结论。

高精度局部动态地图对自动驾驶的关键重要性

自动驾驶车辆是认知系统，需要对相应世界具有自适应的态势感知，以感知、理解、预测、决策、执行行动，并增强相关的学习、经验与知识[25–29]。为了安全运行、做出稳健高效的决策并执行适当行动，必须具备针对车辆、交通环境、上下文、历史交通事件、交通模式等方面的态势感知。

在自动驾驶车辆开发中，一个被广泛接受的假设是，车载摄像头和互补的传感器数据（雷达、激光雷达、超声波等）不足以满足自动驾驶车辆复杂的情境感知需求。

Amap可被视为一种用于空间与非空间（拓扑的）系统表示的基本数据类型，具有高表达能力，供人类与机器代理使用，以表示、编码、集成、通信、分析和管理系统对象及其关联关系 [30]。

自动驾驶汽车的认知系统需要具备相应世界的动态模型或地图，即高精度（HD）局部动态矢量瓦片地图，以高效完成相应的自动驾驶任务并增强相关的态势感知（“面向机器的地图”[31]）。空间局部地图的数据应在相关区域内的车辆之间实时共享。

类似的信息需求也适用于人类驾驶员，他们同样需要基于自身经验和上下文的心理地图，并可选择性地借助辅助数字地图来驾驶车辆。

高精图块地图是针对相应现实世界的简化局部描述或模型，旨在高效执行自动驾驶任务。事实上，自动驾驶车辆的认知控制系统并非在真实的交通流世界中行驶，而是在由相应的高精局部动态地图定义的虚拟环境中行驶。相应的自动驾驶汽车控制系统架构如图1所示。

自动驾驶汽车的认知控制系统的核心是AsR认知层以及相关的高精局部动态地图（LDM）。在相应的控制系统中考虑了两个主要世界：真实世界（被控对象或现实）和虚拟世界（高精局部动态地图或关联现实）。

AsR认知层的三个主要外部通道是：来自车载摄像头和传感器的观测现实、通往执行器的控制现实，以及通过DSRC、蜂窝车联网和云通信通道共享的连接现实。

自动驾驶车辆由目标进行管理。自动驾驶车辆的主要功能目标通常由相应的初始位置（出发点）和最终位置（到达点）定义。

静态高精LDM通常集成于数字道路手册[18],中，可作为“一个共同的画布，车辆与基础设施传感器数据在此被认知性地融合，以描绘出一幅关于世界的逼真画面”[22]。静态高精LDM可被视为一个虚拟剧场或场景，主要角色（车辆与基础设施）在其中持续演出、协商并互动。

由ETSI[32,33]或ISO[34,35],定义的相应多层高精度局部动态地图描述了相关世界的数据（车辆、道路、车道、交通标志、上下文等），以增强相关系统的态势感知能力。请注意，传统的纸质地图可被视为一种静态的关联现实工具。

自动驾驶车辆的认知代理基本上应持续通信并集成摄像机和传感器提供的数据，以及共享的局部动态地图提供的数据，以实现实时精确定位与建图，完成适当的驾驶操作。这种双源方法在某些可用数据上提供了便捷的冗余，从而提高了相应的可靠性与鲁棒性，并降低了相关的驾驶风险。

共享的高精LDM可被视为自动驾驶车辆的一个关键补充信息通道，用于捕捉相关区域的局部动态信息。这一来自相应“互联世界”的云通道也可被视为自动驾驶车辆和高级驾驶辅助系统的新型云“传感器”。

通过引入地图或服务提供商，可以在认知LDM中包含更多的上下文、历史、语义和关联数据，从而真正提升相关自动化汽车生态系统的驾驶能力。相应的“副驾驶”认知层AsR将在下一节中被更正式地定义并深入分析。

自动驾驶的关联现实认知层

未来的人机社会中，自主人类与机器将深度协作以解决实际问题，这需要共同的人‐机认知参考框架和互联的认知资源，以实现感知、推理、评估和预测。

甚至可以就相关目标进行协商，以实现协同和高效地思考与工作。

然而，各种复杂协作情境中可用数据的庞大数量和多样性可能会降低决策流程中整合相关信息的能力。

相比之下，在许多情况和场景下，自然认知模型能够基于合适的语义结构和模型，高效地对现实信息进行优先排序、适应、集成、分析、压缩、评估和解释，以指导决策、选择适当的行动以及充分的知识领域。

优化的人‐机认知模型对于有效提升所涉现实和情境的态势感知至关重要。这些认知描述应是动态、敏捷且自适应的知识结构。

高效的人‐机协作系统意味着有必要为所考虑的问题建立一个双方共享的、易于理解且准确的描述、表示或模型，以高效地分析现实对象及其关联关系，并管理相关风险，做出正确决策。

基于这一认知目的，特别是针对自动驾驶应用，本节深入分析了为人机系统设计的认知层——关联现实（AsR），其定义为：为了特定目的，面向人类与机器代理，利用可用的信息和知识，对观测到的世界及关联元素进行高效的语义描述或构建认知地图，以提升态势感知能力。

AsR 还可以被定义为一种认知模式或模型，其中包含情境的语义时空地图，同时捕捉上下文、历史、经验以及相关知识和辅助链接、连接与关系，以服务于特定目的，从而增强相应的态势感知。

为了定义和管理多种多样的语义关系，考虑使用包含实体和关系的图数据库。所包含的实体或节点有：类别、对象、流程、服务、应用、环境、模式、上下文等。所包含的关系有：通信通道或链接、语义关系等。该图数据库应包含一个知识模型，以及相应本体的形式化、明确且可共享的描述。

在 图2中，展示了在道路I‐290‐NY出口4的虚拟自动化或自动驾驶场景下，用于协同智能交通系统（C‐ITS）的AsR的一些相关认知元素。相应的信息和知识来自 观测到的互联世界，特别是来自相关的传感器、车联网（V2X）以及云连接基础设施。

一个非常基本的 AsR 认知融合过程示例，用于道路上路灯的定位与建图，如 图3所示，其中该世界的 AsR 描述是通过 认知组合可用数据传感器提供的 观测现实 与 连接现实（来自人机代理相应的通信通道）而构建的，以提升相应的态势感知能力。

增强现实（AR）技术[36–38]通常被定义为在真实世界视图上实时叠加信息的数字技术，旨在增强相应人类用户的认知活动。AR 也可以更广泛地定义为利用信息通信技术手段，通过补充和丰富观测现实，以提升相应的人类态势感知及所涉及的接口的一种认知支持。

关联现实（AsR）技术可以类比定义为一组结构化的认知层、模型、方法和信息通信技术手段，用于增强人‐机态势感知以及人‐机和机‐机接口。

因此，AsR 也可以被视为适用于协作和互联的人机认知代理的 AR 概念的通用化。

共享的AsR局部动态地图可以改进和增强以下系统因素：

• 态势感知、安全、安保、完整性和互操作性
• 透明性、标准化和协调一致
• 学习、经验、吸取的教训和知识
• 可观测性、可控性和可测试性 可配置性、可演示性和可进化性
• 可用性、敏捷性、灵活性、适应性、可靠性及鲁棒性

人类与机器可以通过连接现实以及关联现实层来扩展观测窗口，利用相关通信链路、云基础设施、应用和服务添加额外的关联信息，以增强相应的认知过程。

高级驾驶辅助系统（ADAS）、自动化与自动驾驶系统需要多层地理信息系统（GIS）地图，并具有共同的空间参考坐标系（水平层之间的隐式垂直关联链接）。这些空间系统还需要感兴趣区域的高精度多层局部动态地图（LDM），以实现不同层中多源异构数据的相应聚合、集成、处理和通信。（见图4左侧）。

用于协同智能交通系统和自动驾驶车辆的LDMs是在线云端多层数据模型，可集成多种对象数据，如：道路与车道信息、交通标志、自由空间、行驶路径、移动物体和场景语义。

为降低描述复杂度和通信带宽，并优化相应的地图管理，欧洲电信标准协会（ETSI）[32,33]和国际标准化组织（ISO）[34,35]的 LDM标准将协同智能交通系统（C‐ITS）相关实体根据所涉及数据的动态特性划分为四层：动态特性

• 第1层。永久静态：包含来自GIS地图的静态信息，包括：道路、交叉口、兴趣点（POIs）等。
• 第2层。TransientStatic：通过交通属性、路侧、智能交通系统站点、参考地标、交叉口特征、车道及其连接、隧道、交通标志等扩展静态地图。
• 第3层。瞬态动态：包含临时区域信息，如天气、雾、结冰湿滑路面、道路或交通流状况、交通拥堵、近期事故、交通信号灯相位等。
• 第4层。高度动态：包含用于协同感知与处理的快速变化的动态信息：自车状态、速度、位置；行人、弱势道路使用者(VRUs)等，以及不同道路使用者的车联网(V2X)消息，包括其GPS位置和速度等。

为了提高协同智能交通系统及所涉及的自动驾驶车辆的互操作性、适应性和可进化性，我们建议将地理参照多层时空LDM与增强型数字孪生技术（A‐LDM）[39]相结合。

此外，我们通过补充一个多层次语义‐认知图数据库（SC‐GDB），来高效地描述和管理相关协同智能交通系统实体之间的多种连接和非空间关系（见图4右侧）。

AsR认知层及其包含的图数据库具有直接的云端连接，以增强系统连接性。需要强调的是，AsR认知层通常应与多个且多样的内部和外部实体保持高连接性，以提升相应的系统智能。

关联认知代理应集成并连接多个元素，以高效管理复杂自动驾驶场景。例如，Mobileye计划雄心勃勃地要在2022年之前在交通道路上开发并部署商用自动驾驶Robotaxi，并以耶路撒冷城市的混乱交通作为测试基准[24]。新

关联现实：一种用于自动驾驶的认知人机层

空间智能互联系统的地标

自动驾驶和半自动驾驶车辆需要理解超出其车载传感器范围的道路环境。它们需要实时、精确的高清晰度语义地图，这些地图包括例如车道边界的精确定位、道路物体以及历史和上下文信息，以规划超出传感器可视范围的驾驶操作，并评估相关风险。

自动驾驶和半自动驾驶车辆作为公路拉力赛的副驾驶，也需要合适的参考点和地标，以高效地组织和管理相应的路线图。

在地理信息系统中，地标（LM）传统上被定义为一种易于识别的物体，有助于确定陆地上的物理位置。[14,40]。地理空间中的常见地标包括：重要的地理空间位置、显著的历史建筑、特定的交叉路口、城市中心等。

智能互联系统（ICS）或信息物理系统[7]将计算、通信和控制系统融合成一个完整的集成形式。它们具有上下文和位置感知能力，支持多样化的人‐机与机‐机交互以及不同的操作模式，并通过广泛且多层次的数据分析实现智能决策。

地标主题是一个显著且有趣的研究课题，特别是对于空间智能互联系统（S‐ICS）。在本节中，为了增强这些系统的连接性和关联智能，我们引入了适用于S‐ICS的虚拟增强地标概念，这些地标具有空间地理参考。

我们还分析了不同的地标类别，特别是考虑了智能基础设施、协作式智能交通系统、自动化与自动驾驶系统、联网出行服务和智慧城市的一些方面。

我们定义了一个虚拟增强地标 (VA-LM)在 S-ICS 中为一种作为参考点的虚拟实体，用于识别、定位、构建结构并提供空间层某一区域的信息，以服务于相关应用和服务。

从信息系统视角来看，真实地标以及虚拟增强地标确实有助于组织一个区域的空间数据和结构，并可为相关应用和服务提供适当的关联信息（见图5）。

S‐ICS中虚拟增强地标具有以下感兴趣的属性：

• 实体名称：所考虑的地标 的全局或本地名称
• 实体符号：用于表示相应的地标。
• 实体分类：（局部 | 全局）（单个 | 结构）（静态 | 动态）（通用 | 应用相关） ..
• 空间层和区域：所考虑的层和区域
• 定位：全球地理参考坐标或相对于另一个地标的位置坐标
• 关联信息：关于该地标的主直接信息。
• 关联地址：用于所考虑的间接信息的地址信息、通道或连接链接。
• 关联应用：交通、交通流、移动服务、安全、网络安全、天气、旅游、娱乐等

在S‐ICS中，结构化道路、高速公路、协作式智能交通系统、自动驾驶系统等，可在指定区域或空间区间内将不同的单个元素定义为临时或永久性地标。通常使用多种物理对象作为物理地标：里程碑、信标、交通标志、交通信号灯、路面标线、信息面板、交通控制中心等。

任何单个物理或虚拟物体都可以被转化为虚拟增强地标。例如，出于临时安全原因的道路上某个特定点，或用于指示预测交通拥堵的特定时空区间。

组合元素也可以用作地标。组合地标包括例如：多样化交通标志的序列、路面标线序列；特定元素集合等。

指定道路的周围元素也可以被识别并用作参考点。例如，从一个指定的地理点和方向出发，固定相对距离或距离区间。

在空间智能连接系统（SICS）中，物理和虚拟增强地标可利用无线车联网（V2X）通信链接及相应云基础设施，为相关区域和层提供直接或间接的关联信息（离线或在线），以用于特定应用。参见图6 中针对协作式人‐机系统的VA‐LM虚拟增强信息面板示例。

请注意，传统道路的一组离散真实地标元素：道路标识、交通标志、信号灯、路面标记、里程碑、信息面板等，可轻松转换为具有关联信息的虚拟增强地标集合，并通过增强型数字孪生网络技术原理 [7,39]集成到云端的智能互联网络中。参见图6中的增强型地标 TEP163。

此外，所提出的增强型多层LDM（A‐LDM）不仅包含一组增强的矢量瓦片层，还包含一个增强型地标网络，其中包含所涉及的关联现实中不同信息链接，适用于所考虑的应用。

这些LDM还可以利用相关云信息基础设施以及所涉地理区域和相关服务的车联网（V2X）无线通信通道，为联网及自动驾驶车辆提供实时全局基础设施信息和相关的信息，并实现补充性的中央交通管理与控制。

示例。基于地标的定位与建图

对于道路中的高精度定位与建图应用，可以在相关区域或域中将详细的低层级局部视觉地标定义为与其他高层级地标相关联的地标。

例如，利用悬索桥入口地标相对于对应道路区域起始地标的相对公里距离；或在特定道路方向和车道内，将一系列交通标志定义在某一距离区间内。

在交通道路上，配备高清摄像机的自动驾驶车辆可将相应的视觉交通信息元素和显著的机械基础设施元素转化为指定路线的地 标。

这些地标序列可用于高精度定位与建图。例如：交通标志、路面标线、间断线标线、路灯杆、电线杆、反光装置等。

示例. 信息空间中的地标

在信息与语义空间中，以下元素可被视为全局地标：电子邮件地址、网站地址、数字对象标识符（DOI）、国际标准书号（ISBN）、电子书章节、电子书章节中的节等。

局部虚拟地标的示例包括：放置在电子路线指南中的简单时间戳记、位于具体信息空间和区域上的时间虚拟地标、虚拟地标道路混凝土区间内的交通标志、路面的虚拟标记、城市街道中的虚拟应答器或信标，或智慧城市空间中的虚拟地标等。

在信息和语义空间中，定义地标也很方便，可作为重要参考点或区域，用于结构化和组织相应的虚拟或数字空间。例如，网页地标 [41], 可用于优化和标准化相应网页设计的可访问性。

在复杂的空間和語義領域中，考慮相應的空間與語義地標有助於輕鬆地對領域及其相關參考點進行結構化、管理、連接和集成。在具有高度連接性和關係的語義空間中，圖數據庫[42]是相應開發的合適高級結構，且圖中的特定節點可用作相關服務與應用的地标。

结构化地标

本文中，结构化地标（或地标网络）被用于定位（或微定位）和地图构建应用。特别是针对自动化与自动驾驶应用，尤其是实时车辆定位与建图。例如，车载视频摄像头可以视觉识别一系列地标，并可轻松计算相应的相对位置。

空间结构地标主要用于组织相应的领域。此处考虑四种主要的结构类型：

• 集合（或无序集合）的地 标也可以被定义为一个地标。例如： L ={L0, L1, L2}。注意，在指定区域或域中，一组常见地标或特征可用于地点的局部识别。
• 序列（或有序集合）的地 标也可以被定义为一个地标。例如： L =(L0, L1, L2)。注意，在指定区域或域中，一系列常见地标或特征可用于地点的局部识别。
• 树（或分层集合）的地 标也可以被定义为一个地标。例如：L =(L0, L1, (L2, L3), ((L4, L5), L6))，用于分层组织和结构化所包含的地标。
• 图或地标网络也可以被定义为一个地标。例如：L={N, R}，其中 N 是地标集合，R 是地标之间的关系集合。用于语义关联、关联或连接相关地标。

序列地标在定位与建图应用中具有特殊意义。本文中，我们考虑以下类型的序列地标：

• 规则序列：当对应对象为相同类型时。例如：L ={(L0, L1, L2)| ObjectType (Li)= Ta}。
• 重复序列：当对应对象相等时。例如：L ={(L0, L1, L2) | Object (Li) = Oa}。
• 周期性序列：当对应物体在空间上均匀分布时。相邻元素之间的均匀距离称为空间周期T。例如：L ={ (L0, L1, L2) | ObjectType (Li) = Ta & Position (Li+1) =Position (Li)+T}

此外，视觉冗余地标和additionalsingularlandmarks可以提高相应识别和视觉航位推算定位的准确性、可靠性和鲁棒性。

可在增强型高精矢量图层和相关云信息中获取的附加关联领域信息，能够提升相应的视觉识别、定位与建图能力，尤其是在强阳光情况、复杂的大气或天气条件、视觉遮挡、错误的视觉检测或有缺陷的物理地标情况下。同时结合车辆机械里程计提供的数据（通过互补视觉自我运动定期校正），并由惯性测量单元(IMUs)进行补充。

在接下来的段落中，我们将介绍一些利用地标序列和通用结构地标进行视觉定位与建图的应用示例，以管理协同智能交通系统的关联连接性。

示例。路面标线的周期性虚线

对于街道 d high方式，t he reflective longitudinal 路面标线，如白色或黄色虚线，也可用于提升自动驾驶中的视觉定位（微定位）和关联建图。一种典型的周期性标线结构示例如 图 7 所示，其中空间周期 T = 3 m，每个涂漆区域的长度 P = 1.5 m，周期数 N=4。该对应的周期性标线结构可用三元组 (T = 3 m; P= 1.5m; N= 4) 描述。

示例。具有周期性照明的单个区域 poles

在街道上，roa ds and highways d在夜间 h 时间，可以使用周期性路灯来视觉定位车辆。在图8中，显示了道路上的非周期性LED照明。

照明设计应为驾驶员和行人提供充足且均匀的道路照明水平，并应遵循相应的标准，例如：IESNA RP‐8‐14 和 TAC 200 6 – 道路照明设计指南 [43]。

所考虑的道路LED照明间隔是在40英尺（12.19米）的路灯上安装LED灯具的周期性序列，采用250瓦LED，间距为T = 60米。相应的周期性照明基础设施的相对位置可以用序列L =((Li) i = 0.. 79)来描述，其中Li的相对位置‐Position‐of‐Li = Position‐of‐L0+ i*T，其中T = 60米为路灯的空间周期。

示例。具有多个照明区域的隧道

Vehicle localizati在 d mapping i在道路上d 隧道可以通过对现有灯具的视觉检测、定位和计数来推导。

在隧道照明中，白天需要通过隧道内逐渐变化的照度水平，以实现驾驶员眼睛必要的自适应[44]。通常，隧道照明分为不同亮度水平的区域：（ZO 永久区；Z1 入口区，

Z2 阈值区、Z3 过渡区、Z4 内部区、Z5 出口区。相应的区域和涉及的灯具位置可用于在穿行的隧道中视觉定位车辆的相对位置。

利用隧道区域的详细局部动态地图或高精度地图，通过视觉里程计并分析车载摄像头连续拍摄的帧，可以使用灯具周期性序列进行自车定位与建图。该视觉过程能够估计相应帧之间的灯具位移以及相关的自车运动，并实现基于视觉地图的定位。

例如[45],在最大长度750米且为混凝土路面的公路隧道中，可定义以下恒定照明区Z0以及加强照明阈值区和过渡区Z2‐3：Z0= ((0–750) m；灯具 = 112；间距 = 750 m/112= 6.696 m；P = 55W) Z2.1=((0–80) m；灯具 = 258；间距 = 80 m/257= 0.311 m；P = 130W) Z2.2=((80–115) m；灯具= 108；间距 = 115–80 m/107=0.327 m；P= 130 W) Z2.1=((115–155) m；灯具= 90；间距 = 155–115 m/89=0.449 m；P= 130 W) Z3.1=((155–200) m；灯具= 82；间距 = 200–155 m/81= 0.556 m；P= 80 W) Z3.2=((200–250) m；灯具= 34；间距 = 250–200 m/33=1.155 m；P= 100 W) Z3.3=((250–350) m；灯具= 54；间距 = 350–200 m/53=2.830 m；P= 55 W) Z3.4=((350–577) m；灯具= 64；间距 = 577–350 m/63= 3603 m；P= 55 W)

图9 根据CIE 88‐1990标准总结了公路隧道的亮度分布，包含永久照明和自适应照明[44]。

示例：使用城市街区进行二维宏观定位

城市街区是现代城市区域的基本单位。城市街区是建筑物融入城市街道网格的空间，并且是由街道包围的最小区域。主要基于笛卡尔网格的城市，如曼哈顿市，具有更规则的结构和简单的导航流程 [46]。

在街道结构有序的现代大城市中，采用矩形城市街区来改进和简化城市区域。通过大比例尺观察相应的街道地图，可以轻松获得城市街区结构的宏观描述（例如参见图10）。

城市街区或简称街区（B）可用作基本的规则二维地标元素（或单元），用于指定相应的城市结构，并用于定位、建图和导航目的。

街区结构可用于简化相关的人‐机和机‐机高层描述。例如，为了到达期望的最终位置，图10中的导航路径可以用以下序列来描述：

路径 =(初始位置 =交叉口 (E 41stst, 3rd Ave); 初始方向= N; 4个街区; 右转; 9个街区; 左转; 1个街区;终点位置 = Rockefeller Center)

因此，一系列有向的规则块序列可用于对相关街道位置、建图和导航进行高层描述，并真正简化和压缩相关的人‐机和机‐机接口的描述。

示例。智能认知互联出行服务

为结束本节，我们简要描述一种基于增强型LDM [47]或扩展型 LDM [48]的增强型高层架构提案。相应的架构平台面向协同智能交通系统、智能出行服务、自动驾驶车辆和机器人出租车[23,24]。

该架构通过地标连接中心显式地组织和管理相应的高层级关系‐关联。其认知连接性基于图数据库，用于统一空间信息系统中的信息通信技术通道。

该增强型平台架构的主要高层元素包括：

I. 基于地理参考地图平台的高层级节点，用于定义所考虑的空间域：

• GIS+：多层增强型全球可定制地理信息系统（ArcGIS Pro）[49]
• LDM+：多层增强型局部动态地图（LDM）[47]或扩展的高精度 NDS 2.5（NDS实时地图）[48],，并带有可定制的附加应用层和字段。

II. 基于图数据库的高层级关系，用于定义、补充、增强和扩展地理参考元素与其他应用领域元素之间的相应链接。存在多种类型的关系：

• 语义关系或基于意义的
• 基于认知关系或关联的
• 连接关系或基于信道的

III. 用于连接不同实体、应用和服务的高层级图数据库

在图11中展示了面向自动驾驶车辆、移动服务和协同智能交通系统的增强型认知架构方案，该方案通过图数据库和分层地标网络支持，增强了欧盟‐欧洲委员会项目SAFESPOT的初始架构[50],。这些增强型信息结构被强烈推荐用于相应认知部署的结构化与管理。

基于灯具检测的隧道内车辆定位

本节简要总结了我们开发的应用，该应用作为概念验证和可行性研究，旨在通过视觉检测公路隧道中不同的灯具周期性序列，并对配备前装车载摄像头的车辆进行定位与建图。

我们考虑使用安装在挡风玻璃上的单个相机，如欧盟EC VI‐DAS项目[51],中所述，并采用开放软件平台进行初步开发。我们采用了具有106个全卷积层的深度学习YOLO v3[52], ，用于对采样的视频帧进行相应的灯具检测。

后续的软硬件嵌入式开发计划采用Mobileye EyeQ5或EyeQ6平台进行视觉处理。

尽管位于挡风玻璃上、后视镜下方，这些SoC处理器仍能以低功耗支持复杂且计算密集型的视觉处理：EyeQ4为（3 W，2.5 Tops， Si‐28 nm；4个CPU，6个VMP，2个MPC，2个PMA），EyeQ5为 （10 W，24 Tops，Si‐7 nm，8个CPU，18个VPU）。

Mobileye EyeQ 专有计算核心针对计算机视觉、信号处理和机器学习任务（包括深度神经网络）进行了优化。相关的软件开发套件 (SDK) 包含一个开放的软件平台，并可访问 Mobileye 预训练的网络层[53–55]。

在接下来的段落中，我们总结了一些已纳入相应项目开发考虑的隧道照明通用主要要求：

• 建议隧道长度超过50米时采用人工照明。
• 主要照明标准基于路面亮度，而路面亮度取决于路面材料：沥青或混凝土。
• 灯具通常悬挂在隧道顶部下方的一排或多排中
• 隧道通常根据隧道照明划分为区域和子区域。第5节中的意大利隧道示例展示了一些额外的混凝土细节。
• 在白天，人眼需要时间从明亮环境适应黑暗环境，以避免初始的 “黑洞效应”。因此，隧道照明必须逐渐过渡到内部较低光照水平，这使得相应的检测变得稍微复杂，因为存在多个具有不同空间周期的周期性灯具序列，以逐步调整亮度水平。

在本项目中，公路隧道内安装的灯具被用作地标、信标或射频信标。使用灯具序列作为公路隧道中定位地标的优点包括：

• 通常，由于灯具在隧道内具有较高的对比度和令人满意的空间位置，因此很容易被识别和检测。
• 不同的灯具与视觉信标、星星或光点具有相似的光学特性，这使得深度学习方法易于检测。
• 进入隧道后，自然环境光照条件不会影响相应的内部环境，这使得相应的视觉检测更加可靠和稳健
• ADAS和自动驾驶车辆的灯具检测，也可用于审查这些关键基础设施，并简化相关的维护周期。
• 相应序列的周期性结构可以降低相应检测的复杂性，以及所涉及的观测窗口或感兴趣区域的大小。

• 隧道车道内车辆的匀速和轨迹，以及对隧道视野中灯具空间序列的周期性采样观测，在视频帧中表现为（见图12），可促进相关观测窗口或感兴趣区域的预测与自适应。
• 在周期性地标视觉序列和匀速驾驶条件下，另一个地标的出现可以在时间和空间上被轻松预测。只有规则结构中的偏差和异常才会在涉及的计算中造成暂时过载。
• 在指定视频帧中对灯具的周期性序列的视觉视野进行线性回归分析，可用于获取相应的线性轨迹。这是通过对Yolo v3提供的边界框的面积中心进行线性回归而实现的。

被选中进行相应开发的公路隧道是位于洛杉矶的北行塞普尔韦达‐洛杉矶国际机场隧道。塞普尔韦达隧道于1953年开通，2013年相关设施进行了全面翻新，并安装了LED灯具[56]。

主要隧道特征出现在与隧道虚拟入口地标相关联的虚拟信息面板中（见图6）。这些虚拟信息面板也被虚拟地放置在隧道内，并面向本项目的开发工程师（见图12中的相同信息面板）。

隧道的LED灯具总数为 143 × 4。七个照明区域由表1中所示的关联区间‐地标描述定义，该描述表示相应灯具序列的局部地图。

穿越隧道的车辆的特定局部动态地图还应包含相应的时间信息。

在表1中，考虑了一辆速度为 Vcar =35.39 公里/小时 = 98.83 米/ 秒的特定车辆。为了定位与建图用途，该地标表的一个适配子集应包含在车辆相应的本地动态地图（LDM）中。

在图13–14中，展示了在两个截然不同的照明区域中灯具的 YOLO v3周期性边界框：（区域= 1，帧 = 08.06 秒，周期 = 1.98 米）和（区域 = 3，帧 =37.43 秒，周期= 12.78 米）。

对于周期性地标序列及其对应地标的检测和安全检测，所分析的视频帧的最小采样率取决于汽车速度以及所观察地标序列对应的空间周期。

为了在相应的观测窗口内找到与物体中心同相的周期性物体和相关孔洞W（参见图12。黄色框），可选择以下视频帧采样率：

视频帧采样率 (F)= 2×地标频率 (f)F = 2f = 2×(车辆 −速度)/ (空间 −地标 −周期)

在相机的图像帧空间中，对应的实际空间量值将受到一个缩放值 （K）的影响，该缩放值取决于采集参数：相机焦距、物体距离和观测相对角度。

for所观察到的o涉及的空间量级 对象 图像 −长度 = K ×实数 −长度

出于效率考虑，在一些实际情况下，可以在图像的二维空间中进行操作，并直接分析相应的视频帧。为了保持相关的尺度，应保留相应的采集参数（距离、角度等）。

特别是，为了观察实际的周期性时空序列，方便的做法是感知第一个周期（及涉及的场景），简化后续各周期的数据采集，检查并观察可能存在的差异，并观察相应序列的结束。

我们包含了一种用于周期性序列标志点检测的基本算法。

实用周期性地标检测算法

1. 找到一个帧 To，其中出现周期性序列。
2. 在该帧中选择一个合适的地标。
3. 分析连续的视频帧，直到下一个地标 T1 大致出现在相同位置。
4. 计算相应的时间周期 T= T1-To；F= 2(1/T)。
5. 如果已知车辆的速度(V)，则空间周期S=VxT；否则，如果 LDM已知空间周期(S)，则V=S/T。
6. 持续检查周期性序列及相关视频帧，以调整观测窗口，并观察序列结束时可能出现的差异。
   - 6.1 如果车辆速度显著变化，则以相同速率改变F。
   - 6.2 如果车辆横向位置显著变化，则在下一帧中重新计算地标检测，并重新计算观测窗口。

注意。为了检查周期性序列中后续或车队标志物的检测情况，可以仅计算相应观测窗口W(图12中的黄色框)的灰度级总和以及相关的重心 (CoG)。如果在若干帧内CoG发生显著变化（在指定时间窗口内的 CoA平均值），则可以在下一帧检测中相应地调整观测窗口的位置。

最后，在下一小节中，简要分析了使用深度学习CNN YOLO v3的配置参数和检测结果

6.1. YOLO v3环境的配置与参数化

本小节包含通用训练方面的描述以及YOLOv3网络[52],的参数配置，该网络已针对检测隧道内靠近车辆位置的点亮灯具进行了调整。

我们开始使用Darknet项目[57],的代码，它是一个用C和CUDA编写的开源神经网络框架。该框架使用ImageNet数据集[58]进行了预训练。之后，我们将此预训练模型的权重适配到我们的单类检测问题，并仅使用七张标注图像对该网络进行训练，这些图像对应于同一隧道内的灯具（即每张图像中的灯光均以矩形边界框标注）。

用于训练的这些输入图像已重新缩放至空间分辨率 416 × 416 × 3 （RGB图像），未进行其他预处理。

训练进行了4000次迭代周期。本工作中所有训练均使用 RMSprop优化器，学习率为0.001，动量为0.9。此外，我们使用了平方误差和（SSE）损失函数。迭代次数和批次大小分别设置为 4000和64。

实验采用配备3072个CUDA核心、12GB GDDR5内存和显卡功耗250W的GeForce GTX TITAN X显卡（GPU）进行。在此配置下，单个测试帧的灯具检测任务平均需要39毫秒（即实现了35 fps的帧率）。

在图15中，展示了用于隧道内灯具检测的改进型YOLOv3架构。

YOLOv3采用了一种Darknet架构的变体，该架构最初具有在 ImageNet数据集上训练的53层网络。它使用二元交叉熵

类别预测的损失（即分类损失）以及作为定位误差函数的平方误差和 （SSE）。该架构大量使用了残差跳跃连接和上采样。YOLOv3最显著的特点是其能够在三个不同尺度的特征图上进行稳健的多尺度检测： 13 × 13 （步幅32）、 26 × 26 （步幅16）和52 × 52（步幅8）。

最后，我们展示了使用YOLOv3在隧道中进行灯具检测的结果。

为了评估这些检测结果，考虑了以下准确率指标：真正例总数（# TP）、假正例总数（#FP）、假反例总数（#FN）、检测到的灯具与其对应真实区域之间的交并比（IoU）的平均值、精确率、召回率和 F1分数指标。这些指标是在前述塞普尔韦达隧道的16个代表性帧上计算得出的。对于所有这些帧，我们仅考虑了一个固定大小的感兴趣区域（ROI）内包含的总共39个灯具，该区域对应于目标车辆穿过隧道时的视野（即每帧2到3个灯具）。表2 总结了使用上述指标得到的灯具检测结果。请注意，隧道中车辆的位置是通过各帧中检测到的相应灯具大致估算的。

指标	结果
#TP	35
#FP	1
#FN	3
平均IoU	0.665
精确率	0.972
召回率	0.921
F1分数	0.946

结论

对于研究人员和开发者而言，自动驾驶汽车领域目前尤其引人关注，因为它并非一个简单的问题认知问题，事实上这是一个棘手但具有挑战性的问题。例如，对于认知工程师来说，探索自动驾驶车辆的完整路径，或从SAE自动化较低级别L2‐2+ （部分自动化）迈向更高级别L3‐5（有条件、高度和完全自动化），是极具启发性的。我们人类（研究人员、行业、企业、投资者、公民、主管部门等，以及我们的机器伙伴）可以通过跨越车辆自主性这座桥梁，从不同的认知角度中学到很多东西。

本文中，我们指出了自动驾驶车辆日常运行中需要一个智能且审慎的虚拟副驾驶代理的必要性。我们提出了一种称为关联现实（ AsR）的认知层，作为人类与机器系统的相应世界的增强动态地图；同时作为自适应协作伙伴，为人类与机器提供相关的信息和知识：即时、就地、适量的信息与知识。

所引入的AsR技术以适当的动态比例将可观测世界与“可推导的” 互联世界相结合，以解决相应的问题。所涉及的AsR技术可被视为增强现实（AR）的一种通用化扩展，适用于人类与机器。机器同样需要一个经过增强的现实版本，以提升相应的态势感知能力。

对于自动驾驶，我们指出了高精度多层LDMs至关重要的作用，尤其是在SAE 3–5级。我们建议通过虚拟地标网络和关联关系来丰富这些地图，并利用互补的图数据库对其进行管理。

需要注意的是，事实上，自动驾驶车辆的控制系统并非在真实世界中行驶，而是在相应的虚拟环境中行驶。因此，自动驾驶汽车生态系统应加强其AsR地图，以管理复杂驾驶场景。

我们定义了虚拟增强地标的概念，以更好地组织空间信息系统及其衍生的高精地图。

已经描述了一些地标序列的具体实际示例，用于自动驾驶车辆的视觉定位和建图。

最后，作为一个特定的概念验证，我们总结了一项已开发的实际应用，通过在相应照明区域中对照明序列进行视觉检测，实现车辆在公路隧道中的定位。我们使用了由YOLO v3提供的深度学习算法，在 GeForce GTX TITAN X显卡上计算，基于NVIDIA Maxwell架构，获得了良好的初步检测结果。