CN116189147A - 一种基于yolo的三维点云低功耗快速目标检测方法 - Google Patents

一种基于yolo的三维点云低功耗快速目标检测方法 Download PDF

Info

Publication number
CN116189147A
CN116189147A CN202310155654.0A CN202310155654A CN116189147A CN 116189147 A CN116189147 A CN 116189147A CN 202310155654 A CN202310155654 A CN 202310155654A CN 116189147 A CN116189147 A CN 116189147A
Authority
CN
China
Prior art keywords
point cloud
yolo
network
dimensional
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310155654.0A
Other languages
English (en)
Inventor
柳冠华
吴振宇
赵亮
崔俊涛
黄涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN202310155654.0A priority Critical patent/CN116189147A/zh
Publication of CN116189147A publication Critical patent/CN116189147A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本发明提出一种基于YOLO的三维点云低功耗快速目标检测方法，属于目标检测领域，所述目标检测方法包括点云元数据处理步骤、映射BEV步骤、填充RGB步骤以及网络特征提取与回归步骤，点云元数据处理步骤对输入数据做基本处理，以减少传感器噪声等问题带来的数据干扰，映射BEV步骤将传统三维点云数据映射为BEV视角，将三维信息压缩至二维空间，填充RGB步骤将根据点云的三种信息归一化后填充至RGB三个通道，在YOLO网络基础上，加入E‑RPN进行扩展，完成特征提取和回归任务，本发明较传统方法提高检测效率，有效降低计算负担，降低计算平台算力要求，降低预测耗时，极大扩展了三维点云目标检测的适用范围和场景。

Description

一种基于YOLO的三维点云低功耗快速目标检测方法
技术领域
本发明属于深度学习领域，特别是涉及一种基于YOLO的三维点云低功耗快速目标检测方法。
背景技术
三维点云的目标检测自动驾驶、AR、VR以及机器人领域都已得到广泛的应用。三维点云信息相较于其他模态数据拥有更加丰富的几何信息，随着激光雷达这类采集设备市场的增长，三维点云获取门槛也逐渐下降。三维点云的目标检测方法一般分为三类：将三维点云投影成二维点云的多视角方法、基于将场景以体素形式表示的体素卷积方法和直接处理三维点云数据的方法。
目前三维点云数据存在以下几点问题：点云密度不一致，激光雷达在采集过程中近处点云密集，远处点云稀疏；点云具有无序性，同一个物体上的点云完全可以用两个完全不同的三维点云坐标矩阵来表示；点云分辨率低，三维点云是对三维几何形状的低分辨率采样，因此只能够获得片面的几何信息；前期采集传感器存在多种噪声等。
一般情况下，三维点云的目标检测都有较大的计算负担，使三维点云技术应用场景受***算力限制，在很多嵌入式设备等低算力、低功耗平台无法得到应用。因此如何降低计算负担，提高计算效率，降低预测耗时，是本领域的一项重要研究课题。
发明内容
针对目前三维点云目标检测的缺点，本发明基于YOLO网络改进得到一种三维点云目标检测方法，模型较为简洁，提高三维点云目标检测算法计算效率，降低计算负担，降低预测耗时，对硬件要求较低，能够在低功耗平台快速完成三维点云目标检测功能，适用于低功耗、低算力平台。
为了实现上述发明目的，本发明采取的技术方案是：
一种基于YOLO的三维点云低功耗快速目标检测方法，包括以下步骤：
步骤一、三维点云元数据处理，用以剔除原始三维点云数据中无价值采样点，具体包括以下子步骤：
(1.1)点云裁剪，根据目标环境和采集设备性能，设置裁剪盒，将距离较远价值较低的点云数据剔除；
(1.2)点云降采样，设置合适大小的体素网格，通过体素法完成下采样；
(1.3)离群点去除，利用点云的高斯分布统计特征，将搜索半径内超过α倍标准差的采样点去除。
步骤二、将三维点云数据映射至BEV，对三维数据通过映射压缩至二维空间，具体包括以下子步骤：
(2.1)将三维点云信息栅格化；
(2.2)将点云分布到鸟瞰视角下的网格中。
步骤三、将步骤二得到的信息归一化填充至RGB三通道，提取BEV视角下特征与RGB通道匹配，具体包括以下子步骤：
(3.1)分别得到每个网格中最大高度、最大强度和点云密度三种信息；
(3.2)将三种信息分别做归一化处理；
(3.3)将三种信息填充至RGB通道中，使其与网络匹配。
步骤四、使用YOLO网络完成特征提取和损失回归，在YOLO网络加入复数角度回归层进行扩展，完成特征提取与损失回归，具体包括以下子步骤：
(4.1)特征提取，使用简化的YOLO-v4网络，通过加入复数角度回归层进行扩展；
(4.2)损失回归，将复角度引入损失函数，完成损失函数计算。
本发明与现有技术相比有以下有益效果：
本发明在传统的目标检测深度学***台的算力要求。相比于其他网络结构更加简单，降低了对运算平台的算力占用，降低了预测耗时，扩展了三维点云目标检测的适用范围和场景。
附图说明
图1是本发明方法的基本流程图。
具体实施方式
以下结合附图和技术方案，进一步说明本发明的具体实施方式。
如图1所示，本实施例的一种基于YOLO的三维点云低功耗快速目标检测方法，包括以下步骤：
步骤100：获取激光雷达的三维点云元数据。
其中，激光雷达成像***主要是由通过激光进行对物体距离的测量，同时利用控制***和扫描***对激光发射角度和位置进行调整而成像。其中激光雷达测距主要是通过激光飞行时间计算二者的距离，激光器发射激光器后会由计时电路出发，等收到回波信号后结束计时，通过计算发射和接收到的时间差，从而计算出目标距离。因此根据距离、水平角度以及垂直角度得到以激光雷达为原点的坐标。每个采样点由一组三维坐标和一个反射强度组成。
步骤101：三维点云元数据预处理。
其中，首先根据算法特性、采样环境和采样设备性能等因素的影响，设置裁剪盒为长80米，宽40米，高3米，将距离较远价值较低的点云数据剔除，从而减少不必要的运算；在三维空间中划分长宽高均为1厘米的小体素，获取落在每个体素中的点集，在每个体素中取一个采样点代替原来的点集，从而完成点云降采样；根据点云分布符号高斯分布这一特征，将点云中采样点分析的距离最近的点的个数设置为K，计算点云所有点到采样点的距离，如果某点到采样点的距离超出平均距离α倍标准差以上，则将此点认定为离群点，需要被剔除。
步骤102：将三维点云数据映射至BEV视角。
其中，先将三维点云数据栅格化，网格分辨率设为8厘米，以俯视视角将所有点云映射至二维平面，从而得到BEV视角下的二维点云图。
步骤103：填充至网络RGB通道。
其中，先分别得到每个网格中点云的最大高度、最大强度以及点云密度，公式如下，再将三种信息分别做归一化处理，将得到的三通道数据填充至RGB通道中。
定义
Figure BDA0004092251200000041
为投影到BEV视角下特定网格的点云集合，/>
Figure BDA0004092251200000042
描述映射到特定网格的映射函数，则：
Figure BDA0004092251200000043
Figure BDA0004092251200000044
Figure BDA0004092251200000045
其中，zg表示最大高度，zb表示最大强度，I函数表示单个点云强度，zr表示网格内归一化的点云密度，N为映射至BEV视角下特定网格的点的数量。
步骤104：使用YOLO网络完成特征提取和损失回归。
其中，整体网络特征与YOLO-v4网络类似，在特征提取阶段与YOLO-v4网络相同，即使用CSP-DarkNet53网络。在特征提取网络后，输出层增加复数角度回归层，将网络输出的特征解码成目标的三维空间坐标、大小、类别概率和朝向角。
其中，复数角度回归层大小根据输入点云网络大小和形状决定(本实施例设为32*16*75的回归网络，即划分32*16个网格，每个网格提供5个预测)，每个预测包含tx、ty、cx、cy、tw、tl等预测参数。
bx＝σ(tx)+cx
by＝σ(ty)+cy
Figure BDA0004092251200000051
Figure BDA0004092251200000052
bφ＝arctan2(tIm,tRe)
其中，预测的中心点tx，ty通过sigmoid函数进行归一化到每个网格的相对位置中；σ函数表示通过相对位置得到实际偏移量；cx，xy为输出特征图上网格索引位置；tw，tl为通过对数函数表征得到相对于锚框的偏移；pw，pl为锚框的长宽；tIm，tRe为预测的复数角度实部和虚部，通过反正切求得朝向角bφ。
其中，bx为目标三维空间的中心点x坐标，by为目标三维空间的中心点y坐标，bw为目标三维空间的宽度，bl为目标三维空间的长度，bφ为目标三维空间的朝向角。
其中，复角回归，目标的朝向角bφ可以通过相应的回归参数tIm和tRe计算得出，tIm和tRe分别对应于复数的实部和虚部，采用复数的方式可以有效的避免奇异性。
其中，损失函数：
L＝LYolo+LEuler
其中，LYolo为YOLO自身损失函数，LEuler为复数角度回归层的损失函数。
其中，一般来说，希望在训练初期学习率大一些，使得网络收敛迅速，在训练后期学习率小一些，使得网络更好地收敛到最优解。
本实施例在KITTI数据集上完成验证，与VoxelNet等网络相比，平均检测精度基本相同，但模型推理时间和网络体积均大幅度降低。该方法在NVIDIA TX2低功耗嵌入式平台上，可以完成4.7fps的实时推理速度。
综上，本发明提供了一种基于YOLO的三维点云低功耗快速目标检测方法，从激光雷达获得三维点云元数据后，通过裁剪、剔除离群点等方式减少无效采样点，后对三维点云向二维平面映射，大幅减少网络计算量，在成熟的YOLO网络基础上加入复数卷积层，最终形成了一个高效点云目标检测网络，并避免了通过单角估计而出现的奇点问题。本方法原理简单清晰，计算负担小，预测耗时短，能够有效拓展三维点云目标检测应用场景，具有广阔的应用价值与市场前景。

Claims (3)

1.一种基于YOLO的三维点云低功耗快速目标检测方法，其特征在于，包括以下步骤：
步骤一、三维点云元数据处理，用以剔除原始三维点云数据中无价值采样点，具体包括以下子步骤：
(1.1)点云裁剪，根据目标环境和采集设备性能，设置裁剪盒，将距离远价值低的点云数据剔除；
(1.2)点云降采样，设置体素网格，通过体素法完成下采样；
(1.3)离群点去除，利用点云的高斯分布统计特征，将搜索半径内超过α倍标准差的采样点去除；
步骤二、将三维点云数据映射至BEV，对三维数据通过映射压缩至二维空间，具体包括以下子步骤：
(2.1)将三维点云信息栅格化；
(2.2)将点云分布到鸟瞰视角下的网格中；
步骤三、将步骤二得到的信息归一化填充至RGB三通道，提取BEV视角下特征与RGB通道匹配，具体包括以下子步骤：
(3.1)分别得到每个网格中最大高度、最大强度和点云密度三种信息；
(3.2)将三种信息分别做归一化处理；
(3.3)将三种信息填充至RGB通道中，使其与网络匹配；
步骤四、使用YOLO网络完成特征提取和损失回归，在YOLO网络加入复数角度回归层进行扩展，完成特征提取与损失回归，具体包括以下子步骤：
(4.1)特征提取，使用YOLO-v4网络，通过加入复数角度回归层进行扩展；
(4.2)损失回归，将复角度引入损失函数，完成损失函数计算。
2.根据权利要求1所述的一种基于YOLO的三维点云低功耗快速目标检测方法，其特征在于，步骤三中，
定义
Figure FDA0004092251190000021
为投影到BEV视角下特定网格的点云集合，/>
Figure FDA0004092251190000022
描述映射到特定网格的映射函数，则：
Figure FDA0004092251190000023
Figure FDA0004092251190000024
Figure FDA0004092251190000025
其中，zg表示最大高度，zb表示最大强度，I函数表示单个点云强度，zr表示网格内归一化的点云密度，N为映射至BEV视角下特定网格的点的数量。
3.根据权利要求1或2所述的一种基于YOLO的三维点云低功耗快速目标检测方法，其特征在于，步骤四中，
整体网络特征与YOLO-v4网络类似，在特征提取阶段与YOLO-v4网络相同，即使用CSP-DarkNet53网络；在特征提取网络后，输出层增加复数角度回归层，将网络输出的特征解码成目标的三维空间坐标、大小、类别概率和朝向角；
其中，复数角度回归层大小根据输入点云网络大小和形状决定，每个预测包含tx、ty、cx、cy、tw、tl的预测参数；
bx＝σ(tx)+cx
by＝σ(ty)+cy
Figure FDA0004092251190000026
Figure FDA0004092251190000027
bφ＝arctan2(tIm,tRe)
其中，预测的中心点tx，ty通过sigmoid函数进行归一化到每个网格的相对位置中；σ函数表示通过相对位置得到实际偏移量；cx，cy为输出特征图上网格索引位置；tw，tl为通过对数函数表征得到相对于锚框的偏移；pw，pl为锚框的长宽；tIm，tRe为预测的复数角度实部和虚部，通过反正切求得朝向角bφ；
其中，bx为目标三维空间的中心点x坐标，by为目标三维空间的中心点y坐标，bw为目标三维空间的宽度，bl为目标三维空间的长度，bφ为目标三维空间的朝向角；
其中，复角回归，目标的朝向角bφ可以通过相应的回归参数tIm和tRe计算得出，tIm和tRe分别对应于复数的实部和虚部；
其中，损失函数：
L＝LYolo+LEuler
其中，LYolo为YOLO自身损失函数，LEuler为复数角度回归层的损失函数。
CN202310155654.0A 2023-02-23 2023-02-23 一种基于yolo的三维点云低功耗快速目标检测方法 Pending CN116189147A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310155654.0A CN116189147A (zh) 2023-02-23 2023-02-23 一种基于yolo的三维点云低功耗快速目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310155654.0A CN116189147A (zh) 2023-02-23 2023-02-23 一种基于yolo的三维点云低功耗快速目标检测方法

Publications (1)

Publication Number Publication Date
CN116189147A true CN116189147A (zh) 2023-05-30

Family

ID=86445939

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310155654.0A Pending CN116189147A (zh) 2023-02-23 2023-02-23 一种基于yolo的三维点云低功耗快速目标检测方法

Country Status (1)

Country Link
CN (1) CN116189147A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116704163A (zh) * 2023-08-03 2023-09-05 金锐同创(北京)科技股份有限公司 在终端显示虚拟现实场景的方法、装置、设备及介质
CN117292140A (zh) * 2023-10-17 2023-12-26 小米汽车科技有限公司 点云数据的处理方法、装置、车辆及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116704163A (zh) * 2023-08-03 2023-09-05 金锐同创(北京)科技股份有限公司 在终端显示虚拟现实场景的方法、装置、设备及介质
CN116704163B (zh) * 2023-08-03 2023-10-31 金锐同创(北京)科技股份有限公司 在终端显示虚拟现实场景的方法、装置、设备及介质
CN117292140A (zh) * 2023-10-17 2023-12-26 小米汽车科技有限公司 点云数据的处理方法、装置、车辆及存储介质
CN117292140B (zh) * 2023-10-17 2024-04-02 小米汽车科技有限公司 点云数据的处理方法、装置、车辆及存储介质

Similar Documents

Publication Publication Date Title
CN111832655B (zh) 一种基于特征金字塔网络的多尺度三维目标检测方法
WO2021000902A1 (zh) 一种sar图像数据增强方法、装置及存储介质
CN116189147A (zh) 一种基于yolo的三维点云低功耗快速目标检测方法
CN112418245B (zh) 基于城市环境物理模型的电磁发射点定位方法
CN112395987B (zh) 基于无监督域适应cnn的sar图像目标检测方法
CN109410307A (zh) 一种场景点云语义分割方法
CN110866531A (zh) 一种基于三维建模的建筑物特征提取方法、***及存储介质
CN109241978B (zh) 地基三维激光点云中平面片的快速提取方法
CN103606164B (zh) 基于高维三重马尔可夫场的sar图像分割方法
CN113470090A (zh) 基于sift-shot特征的多固态激光雷达外参标定方法
CN110827302A (zh) 基于深度图卷积网络的点云目标提取方法及装置
CN110807781A (zh) 一种保留细节与边界特征的点云精简方法
CN112630160A (zh) 一种基于图像采集的无人机航迹规划土壤湿度监测方法、***及可读存储介质
CN109323697A (zh) 一种针对室内机器人任意点启动时粒子快速收敛的方法
CN108986218A (zh) 一种基于pmvs的建筑物密集点云快速重建方法
CN111458691B (zh) 建筑物信息的提取方法、装置及计算机设备
CN113240038A (zh) 基于高度-通道特征增强的点云目标检测方法
CN111765883B (zh) 机器人蒙特卡罗定位方法、设备及存储介质
CN113838069A (zh) 基于平面度约束的点云分割方法和***
CN117710583A (zh) 基于神经辐射场的空地影像三维重建方法、***及设备
CN113989631A (zh) 一种基于卷积神经网络的红外图像目标检测网络压缩方法
CN108345007B (zh) 一种障碍物识别方法和装置
CN111915724A (zh) 一种点云模型切片形状计算方法
CN114140495A (zh) 基于多尺度Transformer的单目标跟踪方法
CN111951299B (zh) 一种红外空中目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination