课程笔记-三维点云处理06 ——3D Object Detection(下)

本系列笔记是对深蓝学院所开设的课程:《三维点云处理》的笔记 课程每周更新,我也会努力将每周的知识点进行总结,并且整理成笔记发上来,欢迎各位多多交流&批评指正!!
本文主要为课程第六章的笔记! 由于第六章继续进行深度学习领域知识讲解,因此不仅知识量陡增,课程量也加大,因此本章将分为上下两篇笔记进行记录。
本息可主要讲3D物体感知的昂发,介绍基于图像的、基于体素和点云的、以及基于融合的3D物体感知深度学习方法及经典理论

课程链接:

三维点云处理——深蓝学院
正式内容:
####################################################

本节课大纲:
############################################################
在这里插入图片描述

VoxelNet, PointPillars

对于三维数据的处理方式有以下四种:
在这里插入图片描述
多为结合2D的神经网络思想与方法,主要都是1stage和2stage方法,主要主干为基于图像的CNN解决方法和pointnet 的直接解决方法。

voxelnet

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

通过一个哈希表,可以避开对于空的voxel做运算,从而能够提升运算的效率

在这里插入图片描述
网络结构

在这里插入图片描述

损失函数

在这里插入图片描述

数据预处理、数据增广
在这里插入图片描述
在这里插入图片描述

pointpillars

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

对loss修改提出focal loss ,解决了类别不均衡问题,将网络的注意力转移到了关注预测错误的情况中去

PointRCNN

在这里插入图片描述

直接基于点云数据做DETECTION

在这里插入图片描述

提出了基于点云输入的2-stage 检测网络

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
·在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

(其实有点听不太懂了。。 如果对fastRCNN比较收悉的话思路是比较相似的。

Image and Point Cloud fusion - Frustum PointNet, PointPainting

F pointnet

在这里插入图片描述
思路是用mask做分割 用pointnet做检测
在工程应用方面由于时差问题与其他的融合问题,很难对齐图像和点云,而且因为容易遗漏信息,所以几乎没有被引用在工程上

pointpainting
在这里插入图片描述
思路是在图像上先做一步分割,然后将标签打在对应的点云上,然后去融合做方法。

HOME WORK

在这里插入图片描述
在这里插入图片描述

LABEL / RESULT 格式:
在这里插入图片描述

在这里插入图片描述
区别

大作业:
在这里插入图片描述
在这里插入图片描述

Logo

北京人形旗下天工造物具身智能开源社区,聚焦具身天工与慧思开物两大平台

更多推荐