大家好，我是Charmve！

应该说，自动驾驶的算法模块，基本都是数据驱动的训练模型要优于基于规则或者优化的，尤其是感知和预测。

以下图（综述论文 “A Survey of Autonomous Driving: Common Practices and Emerging Technologies”）为例，现在自动驾驶的开发基本是模块化的（a），只有个别是采用端到端模式（b）。

端到端模式可以说绝对是数据驱动的（如图为例），因为传统的优化和规则方法无法处理如此复杂的系统设计和公式化。

“E2E Learning of Driving Models with Surround-View Cameras and Route Planners”

• 论文地址：https://arxiv.org/abs/1803.10158

模块化的方法也是可以采用数据驱动方式，可以分成以下模块：

• 感知：图像/激光雷达/毫米波雷达

• 地图+定位

• 预测（感知-预测）

• 规划决策（预测-规划）

• 控制（规划-控制）

• 传感器预处理

• 模拟仿真

下面以此分别讨论：

完整论文合集下载，公众号后台回复“自动驾驶数据驱动论文集”关键字获取。

1）感知：2-D/3-D 目标检测和分割基本是采用深度学习模型，无论激光雷达、摄像头或者传感器融合的形式；跟踪基本是tracking-by-detection方式，不过把跟踪和检测集成在一起做深度学习模型也是大家讨论的热点之一。

“Keep your Eyes on the Lane: Real-time Attention-guided Lane Detection”

• 论文地址：https://arxiv.org/pdf/2010.12035.pdf

• 项目地址：github.com/bigdata-ustc/ECD

• 研究组主页：base.ustc.edu.cn/

“M3DSSD: Monocular 3D Single Stage Object Detector”

• 论文地址：https://arxiv.org/pdf/2103.13164.pdf

• 项目地址：https://github.com/mumianyuxin/M3DSSD

“PointPillars: Fast Encoders for Object Detection from Point Clouds”

• 论文地址：https://arxiv.org/pdf/1812.05784.pdf

• 项目地址：https://github.com/nutonomy/second.pytorch

“Joint 3D Proposal Generation and Object Detection from View Aggregation”

• 论文地址：https://arxiv.org/pdf/1712.02294.pdf

• 项目地址：https://github.com/kujason/avod

“Seeing Through Fog: Deep Multimodal Sensor Fusion in Unseen Adverse Weather”

• 论文地址：https://arxiv.org/abs/1902.08913https://arxiv.org/pdf/2012.12395.pdf

• 项目地址：https://github.com/princeton-computational-imaging/SeeingThroughFog

“Fast and Furious: R-T E2E 3D Detection, Tracking Motion Forecasting with a Single Cnn”

• 论文地址：https://arxiv.org/pdf/2012.12395.pdf

2）地图定位：车辆定位中基于语义地图的方法，在语义目标提取也是采用深度学习模型，甚至语义地图的制作也是如此，目前感兴趣的地图更新（或者在线地图）多半需要检测语义目标。定位的后端也可以是数据驱动的解决，包括全局定位和相对定位，最近SLAM和深度学习的结合工作也如火如荼进行。

“LCDNet: Deep Loop Closure Detection andPoint Cloud Registration for LiDAR SLAM”

“DeepSFM: Structure From Motion Via DeepBundle Adjustment”

“HDMapNet: An Online HD Map Construction and Evaluation Framework”

MP3: A Unified Model to Map, Perceive, Predict and Plan

3）预测：障碍物的轨迹预测现在已经是自动驾驶发展至今的重点之一，现在重要性可以说是高于感知。如何建模智体行为、如何建模智体之间的交互和轨迹预测的动作多模态性，自然最佳方式是采用数据来训练。另外，感知-预测结合解决也是需要大量数据训练去得到合理的模型。

“Learning Lane Graph Representations for Motion Forecasting”

“PnPNet: End-to-End Perception and Prediction with Tracking in the Loop”

“Deep Multi-Task Learning for Joint Localization, Perception, and Prediction”

“TNT: Target-driven Trajectory Prediction”

Multimodal Trajectory Predictions for Autonomous Driving using Deep Convolutional Networks

4）规划：规划问题可以是传统的规则方法，也可以是强化学习或者模仿学习，其中强化学习也需要数据学习惩罚/奖励和策略。目前人们关心规划的地域化和个性化问题，这个比起感知的类似问题解决起来更加困难，比如激进还是保守地进行换道超车和并道汇入。最近有讨论合并预测和规划的解决方法，甚至包括地图定位一起建模，这个没有数据的“喂养”是很难成立的。

“DSDNet: Deep Structured self-Driving Network”

“End-to-end Interpretable Neural Motion Planner”

“MP3: A Unified Model to Map, Perceive,Predict and Plan”

“Probabilistic Anchor Trajectory Hypotheses For Behavior Prediction”

“VectorNet: Encoding HD Maps and Agent Dynamics From Vectorized Representation”

“Deep Imitation Learning for AV in Generic Urban Scenarios with Enhanced Safety”

“Perceive, Predict, and Plan: Safe Motion Planning Through Interpretable Semantic Rep”

5）控制：应该说，控制的传统方法相对成熟，不过并不是说数据驱动就没有价值，实际上规划和控制的确集成在一起建模也是大家感兴趣的领域，前面提到的强化学习和模仿学习同样是不错的解决手段。

“A Fast Integrated Planning and Control Framework for AV via Imitation Learning”

“Deep Imitative Models For Flexible Inference, Planning, And Control”

6）传感器预处理：在进入感知模块之前，传感器的数据处理，比如污染检测、修补、去噪和增强等，传统的方法也会被数据驱动的机器学习方法取代。

“ZeroScatter: Domain Transfer for Long Distance Imaging and Visionthrough Scattering Media”

7）模拟仿真：模拟仿真需要对车辆/行人、传感器、交通环境和道路环境建模，有时候无法直接获得逼真的合成模型，特别是实际发生的交通事件，有时候不得不采用真实传感器数据来建模合成。下图是GAN-based的雨夜图像合成方法。

“ForkGAN: Seeing into the Rainy Night”

完整《万字综述：如何打造自动驾驶的数据闭环？》发布在个人公众号上，可阅读

万字综述：如何打造自动驾驶的数据闭环？mp.weixin.qq.com/s/qk1RuHuulgVX-N4_J4SUDA

整理不易，觉得有用的话点赞评论转发，支持一下！

完整论文合集下载，公众号后台回复“自动驾驶数据驱动论文集”关键字获取。

自动驾驶技术参考交流群（知识星球）来了！想要了解最新最快最好的自动驾驶CV/DL/ML论文速递、自动驾驶系统优化、商业分析、优质开源项目、学习教程和实战训练等资料，欢迎扫描下方二维码，加入自动驾驶技术交流群，已汇集数千人！