高动态范围算法 在自动驾驶车辆使用机器视觉系统驶向太阳时解决直射阳光 问题的应用 太阳

1. 引言

1.1. 在太阳直射下行驶

在日出和日落期间，驾驶进入直射太阳光下对人类驾驶员来说相当困难。当地和国际新闻媒体已报道了数千起[6] 事故和数起[12] 死亡，这些事故和死亡是由于驶向直射太阳光时的困难造成的。印度理工学院克勒格布尔分校的Sudeshna Mitra对一个大型车祸数据库进行分析后发现，“有证据表明阳光眩光会影响交叉路口碰撞发生”，并得出结论：“强烈的阳光眩光时段会降低安全操作机动车辆的能力。”[8] 格雷等人开展了一项关于驾驶员转弯时使用安全裕度的研究，发现“眩光的存在导致驾驶员所使用的安全裕度显著减少”，并且“在眩光条件下的平均碰撞次数明显高于无眩光条件。”[3]。

智能计算机视觉系统（如自动驾驶汽车）也容易受到直射阳光引起的眩光影响（见图1）。2016年，一辆特斯拉Model S与一辆白色拖拉机拖车相撞，导致了自动驾驶汽车的首例死亡事件。特斯拉表示，该事件发生的原因是“自动驾驶系统和驾驶员均未注意到明亮天空背景下白色的拖拉机拖车侧面。”[13]。

本研究旨在利用高动态范围（HDR）成像算法降低因太阳眩光引起的敏感性。通过对比HDR与标准动态范围（SDR）帧进行分析。性能评估基于劳伦斯理工大学校园自动驾驶运输车（ACTor）[14] 并结合图像指标进行分析。

1.2. 机器 视觉

数字相机只能捕捉非常有限的亮度值[10] ，因为它们必须在给定的全局曝光下捕获整帧图像。由于亮度空间有限，自动曝光算法必须进行权衡，以试图呈现亮区与暗区之间的关系。在直射阳光下使用标准动态范围拍摄图像的相机必须对明亮的太阳进行校正，resulting image typically具有一个过曝的背景和一个欠曝的前景。图 2 显示了单次全局曝光如何导致出现过多的非常明亮或非常暗的像素。

为了减少这种影响，必须优化图像的局部曝光。这意味着某个像素的曝光仅受附近像素亮度的影响。

1.3. 先前研究

Nayar 等人提出了一种基于像素的局部曝光校正方法[9] ，称为高动态范围（HDR）。通过拍摄从过曝到欠曝不同曝光程度的多张图像，然后使用HDR曝光融合算法将这些图像进行融合，从而使图像在所有区域都得到适当的曝光。

在OpenCV中实现了三种高动态范围算法：德贝克[2],、罗伯逊[11], 和梅尔滕斯[7]。

罗伯逊[11] 和德贝克[2] 通过使用每帧记录的曝光时间来恢复图像每个像素的辐射值，从而生成高动态范围图像。辐射值被转换为权重，并应用于各帧。最终的像素值是各帧的加权平均。这些算法之间的主要区别在于用于恢复辐射值的目标函数以及计算权重的方法。

梅尔滕斯是一种曝光融合算法，通过使用从各帧自身恢复的饱和度、对比度和曝光度量为每个像素分配权重来合成图像。与罗伯逊和德贝克不同，该方法不需要各帧的实际曝光时间。最后，利用拉普拉斯金字塔通过对各帧应用计算出的加权平均值来融合最终图像[7]。

高动态范围需要在极短时间内拍摄多张不同曝光的图像，因此传统上仅用于摄影。最近的研究证明，高动态范围也可用于大多数计算机视觉应用所需的实时视频。Hu 等人讨论了如何减少重影由不同曝光的多个视频帧混合引起。Zimmer 等人将高动态范围算法应用于手持视频和快速移动场景。Krawczyk 等人开发了实时增强高动态范围的方法。

尽管关于使用曝光融合算法来应对明亮场景中过曝或欠曝图像的研究很多，但针对高动态范围在自动驾驶车辆直面太阳光行驶时的计算机视觉性能分析却鲜有研究。

2. 方法

2.1. 数据

在本研究中，采用树莓派和树莓派相机模块1作为低成本解决方案，用于测量高动态范围在计算机视觉中的性能。使用Python相机模块 API来控制相机曝光并捕获帧。由于相机模块的硬件限制，为提高图像质量以进行分析，图像以较低的帧率被捕获。树莓派是捕获低帧率高动态范围视频的优秀低成本解决方案，但要实现更高的帧率则需要专用硬件。

上一节讨论的三种高动态范围算法的OpenCV实现被用于将多个帧合成为单个高动态范围帧。同时，还使用单次自动曝光捕获一个帧以进行比较。本分析所使用的数据库包含150张以上在直射阳光下使用不同曝光和曝光技术拍摄的道路图像2。

Pi模型3B 与 树莓派相机模块 的2016年（v2版）配合使用。完整数据集可从 https://robofest.net/datasets/direct_sun‐light.zip 获取。

2.2. 性能 评估

评估高动态范围在直射太阳光下性能的主要方法是使用帧作为劳伦斯理工大学自动校园运输（ACTor）车辆的输入（图3）。

ACTor 是一辆自主电动车辆，其软件目前由劳伦斯理工大学学生开发。该车辆能够通过识别车道标线、对物理环境（如人类或其他道路障碍物）做出智能判断，并自主执行基本道路操作（例如转弯等），从而安全地在各种道路上行驶。

转弯 和 检测道路 标志。 ACTor 的 车道居中 算法的 输出 将 被 用作 评估 在 真实世界 情境下 道路标线 可见性 的 指标 。

为了评估ACTor的车道居中算法在给定的高动态范围（HDR）和标准动态范围（SDR）自动曝光图像上的性能，系统使用这些帧作为仪表盘摄像头输入运行。ACTor的输出T是一个表示车辆在车道中居中程度的值。T的说明见图4。当T接近0时，表示车辆完全居中。采用改进的均方误差（MSE）指标来衡量车道居中算法在多种情况下的综合性能，其中假设图像是从相对居中的视角拍摄的。在^改进的MSE中，我们令 T ¼ 0 ，因此误差由以下公式给出：

$$
MSE0ðTÞ ¼ \frac{1}{n} \sum_{i=1}^{n} T_i^2 \quad (1)
$$

其中 n 是 样本 大小 为 T 的样本量。

图像质量评估指标还可用于确定计算机视觉软件在单帧图像上的表现效果。图像质量通过检查色彩保真度和对比度来确定，这两者是计算机视觉的两个重要特征。指标L采用王等人提出的方法计算[15], ，对比度通过图像亮度通道的标准差进行测量。该结果结合亮度直方图分析，以获得更全面的指标。亮度直方图中存在过度主导区域的图像质量较低 [1]。色彩保真度则通过分析包含交通标志的图像颜色来确定。

3. 结果

将ACTor的车道居中算法应用于使用自动曝光和高动态范围（ HDR）拍摄的帧。图5展示了ACTor如何计算第2.2节中讨论的居中值 T。在图5和图6中，浅绿色点表示目标，带“x”的红色点表示车辆为到达目标需要转向的方向。在这两个示例图中，ACTor在使用HDR图像时比使用标准动态范围（SDR）自动曝光图像时更加准确。表1显示，总体而言，ACTor在使用HDR图像时误差（公式(1)）更低。

第2.2节中讨论的对比度质量指标L[9] 被应用于使用高动态范围和自动曝光成像技术捕获的帧样本。表2显示，HDR帧的s值明显低于相应的自动曝光帧。这是由于HDR帧能够将更大范围的强度压缩到相同的有限颜色空间中。

表3展示了每种高动态范围算法的sL值细分。梅尔滕斯的表现几乎比单次自动曝光好一倍，且比罗伯逊和德贝克约好10%。德贝克的sL值较低，可能是由于其在性能上的不足所致辐射值较低的区域。由于太阳的亮度导致道路变暗，德贝克在此特定情况下表现较差。此外，罗伯逊和德贝克都因用于计算平均值的权重函数而对噪声高度敏感。由于梅尔滕斯的权重计算方式，使其对这些因素那么敏感，整体表现更优。

图9 显示了使用全局曝光（手动和自动）捕获的帧无法在较小空间内表示完整的颜色空间，因此在极端高低范围内存在大量像素。高动态范围通过组合多幅图像的强度，能够在相同空间内表示更广的颜色范围。

简要的颜色保真度分析表明，在使用高动态范围技术时，交通标志的颜色得到了显著改善。

4. 结论

高动态范围成像技术提升了LTU的自动研究车辆ACTor的车道居中算法性能。客观指标表明，HDR是能够保留重要的计算机视觉特征，如对比度和颜色。此外，指标显示，梅尔滕斯曝光融合算法在保留直射阳光下拍摄的道路图像数据方面，比罗伯逊或德贝克算法更适用。

使用高动态范围成像是 一种实用的解决方案，用于实时自动驾驶车辆应用，因为它在计算和内存方面均高效。梅尔滕斯算法被证明能够以较低的时间复杂度。在特定参数配置下，它可以在线性时间[7]内运行。由于完整的曝光帧范围仅在单次合并时需要，HDR成像只需要更大的帧缓冲区，不会使用显著增加的额外内存。由于在自动曝光效果较差的图像与高动态范围（HDR）效果较好的图像之间， sL值是否存在显著差异，sL可作为一项指标，用于判断是否启用或禁用 HDR处理，从而在不需要HDR时进一步降低计算复杂度。

高动态范围成像对于任何可能暴露在强烈太阳光下的计算机视觉应用都至关重要，但尤其适用于涉及自动车辆的情况。高动态范围有望防止事故并挽救生命。

随着ACTor软件的持续发展，该研究将继续进行。新的车道检测和居中算法将在配备HDR硬件的相机上进行测试，以实现更高的帧率和真正的实时自适应HDR。HDR还将用于测试夜间驾驶和正常的白天驾驶，以确定即使在条件已被认为是最佳的情况下使用HDR的效果。

表 1 ACTor车道居中算法的性能指标	自动曝光	高动态范围 （梅尔滕斯）
MSE0	0.134067	0.00672747

表2 使用亮度分布测量的图像质量，其中L是单幅图像的亮度标准差，L是图像样本的平均标准差，sL是图像样本中L的标准差。使用Mertens算法生成高动态范围图像。
功能 设置	L	s L
单次 自动 曝光	74.1669	11.4351
高动态范围 (梅尔滕斯)	43.4491	7.4843

表 3 每种高动态范围算法的图像质量测量结果 。单次自动曝光作为参考包含在内 。
算法	sL
单次 自动 曝光	86.655
德贝克	54.705
罗伯逊	52.190
梅尔滕斯	49.397