signed

QiShunwang

“诚信为本、客户至上”

图像与点云区别

2021/1/28 14:11:01   来源:

文章目录

  • 前言
  • 一、激光雷达和相机
    • 1. Lidar 部分简单来说是这样工作的:
    • 2. Lidar点云目标检测流程
    • 3. Lidar感知的各个视图
  • 二、Camera && Lidar在感知领域应用对比
    • 1. 观测距离及范围
    • 2. 数据类型及数据量
    • 3. 计算复杂度、速度及精度
  • 参考


前言

从得到图像和点云的硬件,存储大小、算法复杂度以及检测目标速度等各方面去对比。


一、激光雷达和相机

下图为激光雷达(Lidar)和相机(Camera)的对比:
在这里插入图片描述
ToF(time-of-flight)飞行时间测距法测距:该方法属于双向测距技术,利用数据信号在一对收发机之间往返的飞行时间来测量两点间的距离。将发射端发出数据信号和接收到接收端应答信号的时间间隔记为Tt,接收端收到发射端的数据信号和发出应答信号的时间间隔记为Tr,如下图所示。信号在这对收发机之间的单向飞行时间Tf=(Tt-Tr)/2,则两点间的距离d=c*Tf,其中c表示电磁波传播速度。
在这里插入图片描述
图2 time-of-flight测距方法

1. Lidar 部分简单来说是这样工作的:

(1)输入为 Lidar 得到的点云数据,输出为检测到的障碍物
(2)由 HDmap 来确定 ROI (region of interest),过滤 ROI 区域外的点
(3)处理点云数据,探测并识别障碍物 (由 AI 完成)
(4)障碍物追踪

下图为百度Apollo 2.0 感知模块中,相机和激光雷达在Apollo无人驾驶项目中的实际应用场景。
在这里插入图片描述

2. Lidar点云目标检测流程

(1)lidar representation:激光雷达点云的特征表达,包括bev图、camera/range view图、point-wise feature、融合特征
(2)network backbone:用于特征提取的主体结构,可以为resnet,vgg等,也包括增强特征的方式,如fpn
(3)detection head:检测网络输出,包括目标的类别、位置、大小和姿态,以及速度预测等,对于two-stage detector来说,roi pooling也是很重要的一个环节。
在这里插入图片描述

3. Lidar感知的各个视图

(1) 鸟瞰图(bird’s eye view)表示:
鸟瞰表达被编码成高度,强度和密度信息。我们离散投影的点云到分辨率为0.1米的二维网格中。对每一个单元格,高度特征被计算为该单元格的最大高度点。要编码更详细的高度信息,点云平分成M片。每个切片都进行高度图计算,因此,我们得到M个高度图。
强度特征是每个单元格中有最大高度的点的映射值。
密度特征表示每个单元格中的点的数目。
(2)前视图表示:
前视图表示对鸟瞰图表示提供了互补的信息。由于激光雷达点云是非常稀疏的,投影到图像平面会导致在一个稀疏的二维点地图。相反,我们把它投射到一个圆柱体平面上,以产生一个密集的前视图地图。
在这里插入图片描述
在3D物体检测中,鸟瞰图相比于前视图/图像平面有几个优点:
1、物体投射到鸟瞰图时,保持了物体的物理尺寸,从而具有较小的尺寸方差,这在前视图/图像平面的情况下不具备的。
2、在鸟瞰图中,物体占据不同的空间,从而避免遮挡问题。
3、道路场景中,由于目标通常位于地面平面上,并在垂直位置的方差较小,鸟瞰图定位在获得准确的3Dbounding box是很重要的。

示例:pandas 是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建的。

二、Camera && Lidar在感知领域应用对比

1. 观测距离及范围

LiDAR系统可以轻松地探测位于30~200米范围内的物体。看下图,下图为百度L4级自动驾驶纯视觉城市道路闭环解决方案“Apollo Lite(2019 CVPR)
在这里插入图片描述
摄像头测距的精度是远不如激光雷达,多普勒雷达的,这是传感器物理属性所致。测量精度随距离增大而降低,这是 camera 本身的问题。可以借助长焦相机,或者通过和多普勒雷达融合,得到精准的距离估算。需要其它传感器帮助,或者借助 tracking 来提高预测精度。更重要的是,单目相机可以感知稍远,如果双目的话感知距离受硬件影响更有限。
预测这些参数是为了测距服务,测距的误差大概在 6% ~ 8%,在之后的融合中,借助 radar 的准确测距,可以弥补这些误差。

2. 数据类型及数据量

1.深度图像也叫距离影像,是指将从图像采集器到场景中各点的距离(深度)值作为像素值的图像。
2.点云:当一束激光照射到物体表面时,所反射的激光会携带方位、距离等信息。深度图像经过坐标转换可以计算为点云数据;有规则及必要信息的点云数据可以反算为深度图像。
16线的LiDAR每秒钟要处理的点达到了30万。激光雷达的线数和可视范围会逐渐增加。对于目标检测算法来说,高线数激光雷达的数据一定比低线数雷达的要好,但是高线数也对算法的速度有着更高的要求。

    Apollo Lite是一套纯视觉的解决方案。据介绍,Apollo Lite能够支持对10路摄像头每秒200帧的数据量进行并行处理,实现360°全方位的环境感知,同时单视觉链路最高丢帧率可以控制在5‰以下,前向障碍物的稳定检测视距达到240米。

3. 计算复杂度、速度及精度

核心问题之一:判断物体的远近和光照条件
(1)基于单一摄像头所抓取的2D图像无法得到准确的距离信息。
(2)而基于多摄像头生成深度图的方法又需要很大的计算量,不能很好地满足无人车在实时性上的要求。
以色列的mobileeye就是基于单摄像头,以及机器学习来实现了判断障碍物距离,可以认为是Structure From Motion+机器学习。双目在应用中也有不少难处,但总的来说,探测距离、探测精度、扫描频率、镜面黑洞、寿命和价格,这6个重要的方面可以说是完胜激光雷达。在一些自动驾驶汽车公司里使用的USB3.0工业摄像头,实现1080p甚至4k分辨率,120fps的也不难,也就小几千元的级别。
至2019年末,全球已有约65W辆Tesla汽车跑在路上。 Elon说,这些车都装有完全自动驾驶所需的硬件。不用LiDAR,不用高精地图,但实际操作时却说只能作为L2使用
借助LiDAR的特性,我们可以对反射障碍物的远近、高低甚至是表面形状有较为准确的估计,从而大大提高障碍物检测的准确度,而且这种方法在算法的复杂度上低于基于摄像头的视觉算法,因此更能满足无人车的实时性需求。

下表为CVPR2020阿里达摩院自动驾驶新成果,3D物体检测精度与速度的兼得《Structure Aware Single-Stage 3D Object Detection from Point Cloud》论文中,LiDAR与RGB在速度也就是帧率(FPS)上的对比,可以看出纯LiDAR方案比LiDAR+RGB方案处理帧率更高,速度更快,而且精度更高。
在这里插入图片描述

声明:以上图片以前截取下来的,忘了出处,若有冒犯到哪位大佬的知识版权,还望告知我注明出处哈,万分感谢!


参考

(1)https://blog.csdn.net/CDebyte/article/details/109450441