CN112949380B - 一种基于激光雷达点云数据的智能水下目标识别*** - Google Patents

一种基于激光雷达点云数据的智能水下目标识别*** Download PDF

Info

Publication number
CN112949380B
CN112949380B CN202110023522.3A CN202110023522A CN112949380B CN 112949380 B CN112949380 B CN 112949380B CN 202110023522 A CN202110023522 A CN 202110023522A CN 112949380 B CN112949380 B CN 112949380B
Authority
CN
China
Prior art keywords
point cloud
cloud data
dimensional
data
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN202110023522.3A
Other languages
English (en)
Other versions
CN112949380A (zh
Inventor
刘兴高
刘昭然
王文海
张志猛
张泽银
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202110023522.3A priority Critical patent/CN112949380B/zh
Publication of CN112949380A publication Critical patent/CN112949380A/zh
Application granted granted Critical
Publication of CN112949380B publication Critical patent/CN112949380B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于激光雷达点云数据的智能水下目标识别***，该识别仪由激光雷达、数据库和上位机构成，激光雷达、数据库和上位机依次相连。所述激光雷达对水下目标物体进行扫描，将得到的点云数据存储到所述的数据库。所述的上位机包括数据预处理模块、云素编码模块、模型训练模块、模型更新模块以及结果显示模块。本发明利用激光雷达获取点云数据，速度快，精度高，抗干扰能力强，并且本发明提出的三维卷积神经网络直接利用三维点云数据训练模型，最大化利用了点云数据的特征，能够明显提高识别准确率。本发明提供了一种智能性强的水下目标识别仪，为水下目标识别技术带来显著增效。

Description

一种基于激光雷达点云数据的智能水下目标识别***
技术领域
本发明涉及雷达数据处理领域和计算机视觉领域，特别地，涉及一种基于激光雷达点云数据的智能水下目标识别技术，是水下目标的新识别仪。
背景技术
目标识别是指用计算机实现人的在视觉方面的识别功能，它的研究目标就是使计算机具有从一幅或多幅图像或者是视频中认知周围环境的能力，包括对客观世界三维环境的感知、识别与理解。目标识别的基本原理是利用雷达回波中的目标特征信息，通过数学上的各种多维空间变换来估算目标的大小、形状、重量和表面层的物理特性参数，最后根据大量训练样本所得到的判别函数，在分类器中对具体物体进行识别。近年来随着计算机视觉技术的飞速发展，目标识别技术也广泛的应用到了我们的国民经济、空间技术和国防等领域。尽管目标识别技术在识别地面上物体的应用已经比较成熟，但是在识别水下物体方面还存在许多不足之处，使得目标识别技术在水下作业时面临很多困难。因为水下环境特别是海洋环境情况复杂，所以在进行目标识别时伴随着许多挑战，比如会受到视野的限制。
由于水下目标识别技术的潜在机遇和应用价值，关于水下环境的目标识别技术研究最近也有所增加。在目前正在研究和应用于水下目标识别的各种技术中，比较有代表性的有视觉相机，声纳传感器，GPS和激光雷达。视觉摄像机可能无法在弱光条件下工作，而声纳传感器主要用于近距离物体的测量和近距离范围的检测。GPS数据需要高而稳定的网络连接，这受天气条件，实时位置等影响，因此，在某些情况下结果可能不准确。激光雷达由于其自身分辨率高、抗有源干扰能力强、体积小、质量轻的优势而得到了最广泛的应用。激光雷达工作原理为以激光作为信号源，由激光器发射出的脉冲激光，打物体上时会引起散射，一部分光波会反射到激光雷达的接收器上，根据激光测距原理计算，就得到从激光雷达到目标点的距离，脉冲激光不断地扫描目标物，就可以得到目标物上全部目标点的数据，用此数据进行成像处理后，就可得到精确的三维立体图像。可以快速，高精度地收集，在白天和晚上都可以很好地运行。
用激光雷达得到的三维立体图像通常是以点云数据表示的，点云数据是指在一个三维坐标***中的一组向量的集合。这些向量通常以X，Y，Z三维坐标的形式表示，用来代表一个物体的外表面形状。除几何位置信息之外，点云数据还可以表示一个点的RGB颜色，灰度值，深度和分割结果。然而，在现有的利用点云数据进行目标识别的技术中，通常是将点云映射到二维空间中形成2D图像或是将三维点云数据转化成转化成矢量，然后利用传统神经网络进行分类。但降维时特征的提取能力有限，这样做会导致点云数据中特征的缺失，使得识别准确率下降。同时，现有的水下目标识别技术通常只能将目标检测出来，然后依靠人工对其进行分类标定，人力资源消耗大，智能性差。因此，目前水下目标识别技术还存在着许多不足之处，是国内外目标识别的难点和热点，有着重要的学术研究价值与工程实践价值。
发明内容
为了克服目前水下目标识别技术特征提取能力差，识别准确率低，智能性较低的不足，本发明的目的在于提供一种特征提取能力强，智能性高的基于激光雷达点云数据的智能水下目标识别***仪。
本发明解决其技术问题所采用的技术方案是：一种基于激光雷达点云数据的智能水下目标识别***，包括激光雷达，数据库以及上位机。激光雷达、数据库和上位机依次相连，该识别仪水下目标进行识别按如下过程进行：
1)使用激光雷达扫描需要识别的水下物体得到激光雷达点云数据集，其中每个点云数据都是以激光雷达为坐标原点的在一个三维坐标***内的一组向量的集合，这些向量都以X，Y，Z三维坐标的形式表示，即
Pij＝(x,y,z)
其中，Pij为第i个点云数据的第j个点；
2)把用激光雷达扫描水下物体获取到的点云数据存储到所述识别仪的数据库中，数据库中的点云数据供上位机调用；
所述识别仪的上位机包括：
数据预处理模块，用于对数据库中的点云数据进行预处理，采用如下过程完成：
3)从数据库中采集N个点云数据得到训练样本集
Itrain＝{D1,D2,···,DN}
Di＝{Pi,Oi}
其中，Di为每个用于训练的样本，Pi为第i个输入的点云数据，Oi为第i个训练样本的输出，代表被识别物体的种类；
4)对于训练样本集中的每个点云数据进行几何归一化处理，几何归一化按如下步骤进行：
4.1)取出该点云数据中分别在X，Y，Z方向上数值最小的坐标值xmin，ymin，zmin和数值最大的坐标值xmax，ymax，zmax；
4.2)将(xmin,ymin,zmin)作为新的坐标原点，在X，Y，Z方向上分别取边长
HX＝(xmax-xmin)，HY＝(ymax-ymin)，HZ＝(zmax-zmin)
得到一个将点云数据中的点全部包围的点云长方体V；
4.3)通过下式得到点云数据中各点的新坐标值：
x'＝x-xmin,y'＝y-ymin,z'＝z-zmin
(x',y',z')即为得到的经过预处理模块预处理的点云数据的新坐标值；
云素编码模块，用于对经过预处理的点云数据进行编码，得到输入神经网络的三维张量，采用如下过程完成：
5)对于步骤4)中得到的包围点云数据的长方体V，将其在X，Y，Z方向上，分别按
Figure BDA0002889565340000031
的间距分割，HX，HY，HZ为长方体V分别在X，Y，Z方向上的边长，即将长方体V分割成H3个小长方体，每个小长方体称为一个云块；
6)对每个云块进行编码，编码过程按如下步骤进行：
6.1)对于每个云块，计算其中各点在X，Y，Z方向上的坐标均值：
Figure BDA0002889565340000032
其中μX、μY、μZ分别为各点在X、Y、Z方向上的坐标均值，x'j、y'j、z'j分别为在X、Y、Z方向上经过预处理模块预处理的新坐标值，T为各云块中的点数，然后将(μX,μY,μZ)作为块心；
6.2)对于每个云块进行采样，取距离质心最近的T'个点，若云块内不足T'个点则取全部点，计算各点到块心的欧几里得距离：
Figure BDA0002889565340000033
将各点到块心的欧几里得距离求和：
Figure BDA0002889565340000034
其中，ρj为块内第j个点到块心的欧几里得距离，Ci称为第i个云块的云素，Ci的大小为第i个云块的云素值，每个点云数据都转化成由H3个云素表示三维张量，得到将点云数据转化成云素表示的训练样本集；
模型训练模块，用于利用编码后得到的云素表示的训练样本集训练三维卷积神经网络，采用如下过程完成：
7)设置三维卷积神经网络的拓补结构，三维卷积神经网络由特征层，降采样层和全连接层构成，需设置卷积核的大小和数目，可选的设置激活函数，以及全连接层的各层节点数，设置神经网络各项超参数；
8)初始化神经网络的权值和偏置值；
9)用训练样本集I'train＝{D'1,D'2,···,D'N}训练卷积神经网络，其中I'train为经过数据预处理模块处理后的训练样本集，D'1,D'2,···,D'N为该训练样本集内经过数据预处理模块处理后的各训练样本，训练过程按如下步骤进行：
9.1)将训练样本集数据输入到三维卷积神经网络的输入层，输入数据为三维张量；
9.2)通过卷积核对输入数据进行卷积操作，卷积加权和与一个偏置项相加得到一个值，将该值通过激活函数得到特征层中对应云素值，卷积步长为1，在第一特征层中得到的三维特征张量数等于该层卷积核核数，卷积操作示意图见图3；
9.3)对第一特征层中得到的各三维特征张量进行降采样，取特征层三维张量23区域中最大云素值作为降采样层中对应的云素值，采样步长为2，降采样操作示意图见图4；
9.4)对第一降采样层中的个三维张量进行卷积操作，得到第二特征层，第二特征层中三维特征张量个数等于该层卷积核核数；
9.5)对第一特征层的各三维特征张量进行降采样，得到第二降采样层过程同步骤9.3)；
9.6)对第二降采样层各三维特征张量进行卷积操作，得到一个一维特征矢量作为全连接神经网络的输入；
9.7)通过步骤9.6)所述的全连接神经网络得到预测输出，预测输出值和实际值都是经softmax处理过的one-hot表示，用损失函数计算输出结果与期望值的误差；
9.8)当误差不满足要求时，进行反向传播过程，将误差反向传递，计算出每一层的误差，然后用随机梯度下降法进行卷积核和全连接层的权值和偏置值的更新；
9.9)对于步骤9.1)-9.8)反复迭代，直到满足误差精度要求或是达到预设迭代次数为止，训练结束后得到训练好的三维卷积神经网络模型，用该模型即可完成水下目标识别任务。
可选地，作为优选的一种方案，模型训练模块中三维卷积神经网络的损失函数J可用交叉熵函数
Figure BDA0002889565340000041
其中N为训练样本数，K为任务要求的识别目标种类数，Pij为第i个数据实际输出值one-hot表示的第j个值，yij为神经网络输出，表示第i个数据预测输出值one-hot表示的第j个值；
可选地，作为优选的一种方案，所述方法还包括：
10)在训练集以外的点云数据中取M个数据构成测试集I'test＝{D'1,D'2,···,D'M}作为测试样本集输入到模型训练模块中已经训练好的三维卷积神经网络中进行测试，计算识别率；
11)对目标识别效果进行评估，若识别正确率满足要求则可以用该模型完成目标识别任务，若不满足要求则使数据预处理模块再从数据库中取数据，更新训练集，再次对三维卷积神经网络模型进行训练，更新目标识别模型。
作为优选的另一种方案，所述方法还包括：
12)在所述步骤9)和步骤10)中，将模型对于训练集和测试集的识别正确率结果显示在上位机的屏幕上；
13)将水下物体目标识别的结果显示在上位机的屏幕上。
本发明的技术构思为：对水下目标进行智能识别，对由激光雷达得到的点云数据进行预处理和编码，并直接用三维点云数据训练三维卷积神经网络，建立水下目标识别模型，经评估后得到满足任务需求的模型，实现智能水下目标识别。
本发明的有益效果主要表现在：1、利用激光雷达获取点云数据，速度快，精度高，抗干扰能力强；2、直接利用三维点云数据训练模型，最大化利用点云数据的特征，显著提高识别准确率；3、在识别出水下目标的同时能对其进行分类，智能性强。
附图说明
图1是本发明所提出的识别仪的上位机的功能模块图；
图2是用于解释本发明所提出的三维卷积神经网络的一个网络结构实例图；
图3是本发明所提出的三维卷积神经网络的卷积操作示意图；
图4是本发明所提出的三维卷积神经网络的降采样操作示意图。
具体实施方式
下面根据附图具体说明本发明。
激光雷达、数据库和上位机依次相连。所述识别仪采用如下过程进行水下目标识别：
1)使用激光雷达扫描需要识别的水下物体得到激光雷达点云数据集，其中每个点云数据都是以激光雷达为坐标原点的在一个三维坐标***内的一组向量的集合，这些向量都以X，Y，Z三维坐标的形式表示，即
Pij＝(x,y,z)
其中，Pij为第i个点云数据的第j个点；
2)把用激光雷达扫描水下物体获取到的点云数据存储到所述识别仪的数据库中，数据库中的点云数据供上位机使用；
图1为所述识别仪的上位机的功能模块示意图，该上位机包括：
数据预处理模块1，用于对数据库中的点云数据进行预处理，采用如下过程完成：
3)从数据库中采集N个点云数据得到训练样本集
Itrain＝{D1,D2,···,DN}
Di＝{Pi,Oi}
其中，Di为每个用于训练的样本，Pi为第i个输入的点云数据，Oi为第i个训练样本的输出，代表被识别物体的种类；
4)对于训练样本集中的每个点云数据进行几何归一化处理，几何归一化按如下步骤进行：
4.1)取出该点云数据中分别在X，Y，Z方向上数值最小的坐标值xmin，ymin，zmin和数值最大的坐标值xmax，ymax，zmax；
4.2)将(xmin,ymin,zmin)作为新的坐标原点，在X，Y，Z方向上分别取边长
HX＝(xmax-xmin)，HY＝(ymax-ymin)，HZ＝(zmax-zmin)
得到一个将点云数据中的点全部包围的点云长方体V；
4.3)通过下式得到点云数据中各点的新坐标值：
x'＝x-xmin,y'＝y-ymin,z'＝z-zmin
(x',y',z')即为得到的经过预处理模块预处理的点云数据的新坐标值；
云素编码模块2，用于对经过预处理的点云数据进行编码，得到输入神经网络的三维张量，采用如下过程完成：
5)对于步骤4)中得到的包围点云数据的长方体V，将其在X，Y，Z方向上，分别按
Figure BDA0002889565340000061
的间距分割，HX，HY，HZ为长方体V分别在X，Y，Z方向上的边长，即将长方体V分割成H3个小长方体，每个小长方体称为一个云块，在本例中取H＝18；
6)对每个云块进行编码，编码过程按如下步骤进行：
6.1)对于每个云块，计算其中各点在X，Y，Z方向上的坐标均值：
Figure BDA0002889565340000062
其中μX、μY、μZ分别为各点在X、Y、Z方向上的坐标均值，x'j、y'j、z'j分别为在X、Y、Z方向上经过预处理模块预处理的新坐标值，T为各云块中的点数，然后将(μX,μY,μZ)作为块心；
6.2)对于每个云块进行采样，取距离质心最近的100个点，若云块内不足100个点则取全部点，计算各点到块心的欧几里得距离：
Figure BDA0002889565340000071
将各点到块心的欧几里得距离求和：
Figure BDA0002889565340000072
其中，ρj为块内第j个点到块心的欧几里得距离，Ci称为第i个云块的云素，Ci的大小为第i个云块的云素值，每个点云数据都转化成由H3个云素表示三维张量，得到将点云数据转化成云素表示的训练样本集；
模型训练模块3，用于利用编码后得到的云素表示的训练样本集训练三维卷积神经网络，采用如下过程完成：
7)设置三维卷积神经网络的拓补结构，图2为本例所使用的三维卷积神经网络，其由两个特征层，两个降采样层和三个全连接层组成。可选地设置卷积核的大小和数目，设置激活函数，以及全连接层的各层节点数，设置神经网络各项超参数；
8)初始化神经网络的权值和偏置值，在本例中将各权值和偏置值都随机初始化到一个取值范围在[-1,1]区间的值；
9)用训练样本集I'train＝{D'1,D'2,···,D'N}训练卷积神经网络，其中I'train为经过数据预处理模块处理后的训练样本集，D'1,D'2,···,D'N为该训练样本集内经过数据预处理模块处理后的各训练样本，训练过程按如下步骤进行：
9.1)将训练样本集数据输入到三维卷积神经网络的输入层，输入数据为一个183的三维张量；
9.2)通过卷积核对输入数据进行卷积操作，在第一个特征层中卷积核大小为33，卷积核数量为6，卷积加权和与一个偏置项相加得到一个值，将该值通过可选的ReLU激活函数得到第一特征层中对应云素值，卷积步长为1，在第一特征层中得到6个大小为163的三维张量，卷积操作示意图见图3；
9.3)对第一特征层中得到的各三维特征张量进行降采样，取特征层三维张量23区域中最大云素值作为降采样层中对应的云素值，采样步长为2，降采样操作示意图见图4；
9.4)对第一降采样层中的个三维张量进行卷积操作，在第二个特征层中卷积核大小也为33，卷积核数量为18，激活函数同样采用ReLU激活函数，得到第二特征层中18个大小为63的三维张量；
9.5)对第一特征层的各三维特征张量进行降采样，得到第二降采样层过程同步骤9.3)；
9.6)对第二降采样层各三维特征张量进行卷积操作，卷积核大小为33，卷积核数量为120，得到一个一维特征矢量作为全连接神经网络的输入，输入层即为图2所示的全连接层1。而后经过一个含有80个神经元的全连接层2(作为隐含层)，在输出层经过softmax操作得到一个1×10的输出矩阵，即本例所示模型可以用于识别10种水下目标；
9.7)可选地取交叉熵函数作为损失函数J计算输出结果与期望值的误差，误差计算公式为
Figure BDA0002889565340000081
其中N为训练样本数，K为任务要求的识别目标种类数，Pij为第i个数据实际输出值one-hot表示的第j个值，yij为神经网络输出，表示第i个数据预测输出值one-hot表示的第j个值；
9.8)当误差不满足要求时，进行反向传播过程，将误差反向传递，计算出每一层的误差，然后用随机梯度下降法进行卷积核和全连接层的权值和偏置值的更新；
9.9)对于步骤9.1)-9.8)反复迭代，直到满足误差精度要求或是达到预设迭代次数为止，训练结束后得到训练好的三维卷积神经网络模型，用该模型即可完成水下目标识别任务。
模型更新模块4，用于评估模型训练模块得到的三维神经网络模型的效果，采用如下过程完成：
10)在训练集以外的点云数据中取M个数据构成测试集I'test＝{D'1,D'2,···,D'M}作为测试样本集输入到模型训练模块中已经训练好的三维卷积神经网络中进行测试，计算识别率；
11)对目标识别效果进行评估，若识别正确率满足要求则可以用该模型完成目标识别任务，若不满足要求则使数据预处理模块再从数据库中取数据，更新训练集，再次对三维卷积神经网络模型进行训练，更新目标识别模型。
结果显示模块5：用于将目标识别的结果在上位机进行显示，采用如下过程完成：
12)在所述步骤9)和步骤10)中，将模型对于训练集和测试集的识别正确率结果显示在上位机的屏幕上；
13)将水下物体目标识别的结果显示在上位机的屏幕上。
所述上位机的硬件部分由以下部分组成：程序存储器，用于存储各个模块的实现程序；数据存储器，用于存储激光雷达采集到的数据样本以及神经网络各项参数和超参数；运算器，用于执行程序，实现相应功能；I/O元件，用于采集数据和进行信息的传递；显示模块，用于将模型训练结果和目标识别结果在上位机进行显示。
上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims (5)

1.一种基于激光雷达点云数据的智能水下目标识别***，所述识别***包括激光雷达，数据库以及上位机，所述激光雷达、数据库和上位机依次相连；其特征在于：激光雷达扫描需要识别的水下物体得到激光雷达点云数据，然后数据库将得到的点云数据进行存储；存储在数据库中的数据供上位机使用，所述上位机包括依次相连的数据预处理模块、云素编码模块、模型训练模块、模型更新模块、结果显示模块；其中，所述数据预处理模块对数据库中的点云数据进行预处理；云素编码模块对经过数据预处理模块预处理后的点云数据进行编码，得到输入神经网络的三维张量；模型训练模块利用云素编码模块编码后得到的云素表示的训练样本集训练三维卷积神经网络；模型更新模块评估模型训练模块得到的三维卷积神经网络模型的效果；结果显示模块将目标识别的结果在上位机进行显示；所述数据预处理模块，用于对数据库中的点云数据进行预处理，采用如下过程完成：
(3.1)数据库中采集N个点云数据得到训练样本集：
Itrain＝{D1,D2,···,DN}
Di＝{Pi,Oi}
其中，Di为每个用于训练的样本，Pi为第i个输入的点云数据，Oi为第i个训练样本的输出，代表被识别物体的种类；
(3.2)对于训练样本集中的每个点云数据进行几何归一化处理，几何归一化按如下步骤进行：
(3.2.1)取出该点云数据中分别在X，Y，Z方向上数值最小的坐标值xmin，ymin，zmin和数值最大的坐标值xmax，ymax，zmax；
(3.2.2)将(xmin,ymin,zmin)作为新的坐标原点，在X，Y，Z方向上分别取边长
HX＝(xmax-xmin)，HY＝(ymax-ymin)，HZ＝(zmax-zmin)
得到一个将点云数据中的点全部包围的点云长方体V；
(3.2.3)通过下式得到点云数据中各点的新坐标值：
x'＝x-xmin,y'＝y-ymin,z'＝z-zmin
(x',y',z')即为得到的经过预处理模块预处理的点云数据的新坐标值；
云素编码模块，用于对经过预处理的点云数据进行编码，得到输入神经网络的三维张量，采用如下过程完成：
(3.3)对于步骤(3.2)中得到的包围点云数据的长方体V，将其在X，Y，Z方向上，分别按
Figure FDA0003583825130000021
的间距分割，HX，HY，HZ为长方体V分别在X，Y，Z方向上的边长，即将长方体V分割成H3个小长方体，每个小长方体称为一个云块；
(3.4)对每个云块进行编码，编码过程按如下步骤进行：
(3.4.1)对于每个云块，计算其中各点在X，Y，Z方向上的坐标均值：
Figure FDA0003583825130000022
其中μX、μY、μZ分别为各点在X、Y、Z方向上的坐标均值，x'j、y'j、z'j分别为在X、Y、Z方向上经过预处理模块预处理的新坐标值，T为各云块中的点数，然后将(μX,μY,μZ)作为块心；
(3.4.2)对于每个云块进行采样，取距离质心最近的T'个点，若云块内不足T'个点则取全部点，计算各点到块心的欧几里得距离：
Figure FDA0003583825130000023
将各点到块心的欧几里得距离求和：
Figure FDA0003583825130000024
其中，ρj为块内第j个点到块心的欧几里得距离，Ci称为第i个云块的云素，Ci的大小为第i个云块的云素值，每个点云数据都转化成由H3个云素表示三维张量，得到将点云数据转化成云素表示的训练样本集。
2.如权利要求1所述的一种激光雷达点云数据水下目标识别***，其特征在于，所述激光雷达扫描需要识别的水下物体得到激光雷达点云数据按如下步骤进行：
(2.1)使用激光雷达扫描需要识别的水下物体得到激光雷达点云数据集，其中每个点云数据都是以激光雷达为坐标原点的在一个三维坐标***内的一组向量的集合，这些向量都以X，Y，Z三维坐标的形式表示，即
Pij＝(x,y,z)
其中，Pij为第i个点云数据的第j个点；
(2.2)把用激光雷达扫描水下物体获取到的点云数据存储到所述识别***的数据库中，数据库中的点云数据供上位机调用。
3.如权利要求1所述的一种激光雷达点云数据水下目标识别***，其特征在于，所述模型训练模块，用于利用编码后得到的云素表示的训练样本集训练三维卷积神经网络，采用如下过程完成：
(4.1)设置三维卷积神经网络的拓补结构，三维卷积神经网络由特征层，降采样层和全连接层构成，需设置卷积核的大小和数目，设置激活函数，以及全连接层的各层节点数，设置神经网络各项超参数；
(4.2)初始化神经网络的权值和偏置值；
(4.3)用训练样本集I'train＝{D'1,D'2,···,D'N}训练卷积神经网络，其中I'train为经过云素编码模块处理后的训练样本集，D'1,D'2,···,D'N为该训练样本集内经过云素编码模块处理后的各训练样本，训练过程按如下步骤进行：
(4.3.1)将训练样本集数据输入到三维卷积神经网络的输入层，输入数据为三维张量；
(4.3.2)通过卷积核对输入数据进行卷积操作，卷积加权和与一个偏置项相加得到一个值，将该值通过激活函数得到特征层中对应云素值，卷积步长为1，在第一特征层中得到的三维特征张量数等于该层卷积核核数；
(4.3.3)对第一特征层中得到的各三维特征张量进行降采样，取第一特征层三维张量23区域中最大云素值作为降采样层中对应的云素值，采样步长为2，得第一降采样层；
(4.3.4)对第一降采样层中的个三维张量进行卷积操作，得到第二特征层，第二特征层中三维特征张量个数等于该层卷积核核数；
(4.3.5)对第二特征层的各三维特征张量进行降采样，取第二特征层三维张量23区域中最大云素值作为降采样层中对应的云素值，采样步长为2，得到第二降采样层；
(4.3.6)对第二降采样层各三维特征张量进行卷积操作，得到一个一维特征矢量作为全连接神经网络的输入；
(4.3.7通过步骤(4.3.6)所述的全连接神经网络得到预测输出，预测输出值和实际值都是经softmax处理过的one-hot表示，用损失函数计算输出结果与期望值的误差；
(4.3.8)当误差不满足要求时，进行反向传播过程，将误差反向传递，计算出每一层的误差，然后用随机梯度下降法进行卷积核和全连接层的权值和偏置值的更新；
(4.3.9)对于步骤(4.3.1)-(4.3.8)反复迭代，直到满足误差精度要求或是达到预设迭代次数为止，训练结束后得到训练好的三维卷积神经网络模型。
4.如权利要求3 所述的一种激光雷达点云数据水下目标识别***，其特征在于，所述模型训练模块中三维卷积神经网络的损失函数J为交叉熵函数：
Figure FDA0003583825130000031
其中N为训练样本数，K为任务要求的识别目标种类数，Pij为第i个数据实际输出值one-hot表示的第j个值，yij为神经网络输出，表示第i个数据预测输出值one-hot表示的第j个值。
5.如权利要求1所述的一种激光雷达点云数据水下目标识别***，其特征在于，所述上位机还包括：模型更新模块，用于评估模型训练模块得到的三维神经网络模型的效果，采用如下过程完成：
(6.1)在训练集以外的点云数据中取M个数据构成测试集I'test＝{D'1,D'2,···,D'M}作为测试样本集输入到模型训练模块中已经训练好的三维卷积神经网络中进行测试，计算识别率；
(6.2)对目标识别效果进行评估，若识别正确率满足要求则可以用该模型完成目标识别任务，若不满足要求则使数据预处理模块再从数据库中取数据，更新训练集，再次对三维卷积神经网络模型进行训练。
CN202110023522.3A 2021-01-08 2021-01-08 一种基于激光雷达点云数据的智能水下目标识别*** Expired - Fee Related CN112949380B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110023522.3A CN112949380B (zh) 2021-01-08 2021-01-08 一种基于激光雷达点云数据的智能水下目标识别***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110023522.3A CN112949380B (zh) 2021-01-08 2021-01-08 一种基于激光雷达点云数据的智能水下目标识别***

Publications (2)

Publication Number Publication Date
CN112949380A CN112949380A (zh) 2021-06-11
CN112949380B true CN112949380B (zh) 2022-06-10

Family

ID=76235112

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110023522.3A Expired - Fee Related CN112949380B (zh) 2021-01-08 2021-01-08 一种基于激光雷达点云数据的智能水下目标识别***

Country Status (1)

Country Link
CN (1) CN112949380B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113920320B (zh) * 2021-08-27 2024-06-04 北京临近空间飞行器***工程研究所 一种面向典型有源干扰的雷达图像目标检测***
CN113870359B (zh) * 2021-09-23 2024-07-19 厦门大学 基于随机梯度下降的激光雷达外参标定方法及装置
CN114545400B (zh) * 2022-04-27 2022-08-05 陕西欧卡电子智能科技有限公司 基于毫米波雷达的水面机器人的全局重定位方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106600622A (zh) * 2016-12-06 2017-04-26 西安电子科技大学 一种基于超体素的点云数据分割方法
CN109426828A (zh) * 2017-08-28 2019-03-05 中国科学院深圳先进技术研究院 点云分类方法、装置、设备及存储介质
CN109816714A (zh) * 2019-01-15 2019-05-28 西北大学 一种基于三维卷积神经网络的点云物体类型识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3525000B1 (en) * 2018-02-09 2021-07-21 Bayerische Motoren Werke Aktiengesellschaft Methods and apparatuses for object detection in a scene based on lidar data and radar data of the scene

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106600622A (zh) * 2016-12-06 2017-04-26 西安电子科技大学 一种基于超体素的点云数据分割方法
CN109426828A (zh) * 2017-08-28 2019-03-05 中国科学院深圳先进技术研究院 点云分类方法、装置、设备及存储介质
CN109816714A (zh) * 2019-01-15 2019-05-28 西北大学 一种基于三维卷积神经网络的点云物体类型识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《Point-Voxel CNN for Efficient 3D Deep Learning》;Zhijian Liu，et al;《NeurIPS 2019》;20191231;第1-11页 *
《基于激光雷达的无人驾驶障碍物检测与辨识》;谭勇;《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》;20200815(第08期);第C035-403页 *

Also Published As

Publication number Publication date
CN112949380A (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
CN110472627B (zh) 一种端到端的sar图像识别方法、装置及存储介质
CN112949380B (zh) 一种基于激光雷达点云数据的智能水下目标识别***
CN110210463B (zh) 基于Precise ROI-Faster R-CNN的雷达目标图像检测方法
CN109871902B (zh) 一种基于超分辨率对抗生成级联网络的sar小样本识别方法
CN108052942B (zh) 一种飞机飞行姿态的视觉图像识别方法
US9639748B2 (en) Method for detecting persons using 1D depths and 2D texture
CN112149591B (zh) 用于sar图像的ssd-aeff自动桥梁检测方法及***
CN103295221B (zh) 模拟复眼视觉机制和偏振成像的水面目标运动检测方法
CN103353988A (zh) 异源sar景象特征匹配算法性能评估方法
CN112487900A (zh) 一种基于特征融合的sar图像舰船目标检测方法
CN115049821A (zh) 一种基于多传感器融合的三维环境目标检测方法
CN116486287A (zh) 基于环境自适应机器人视觉***的目标检测方法及***
Yu et al. Dual-branch framework: AUV-based target recognition method for marine survey
CN117237986A (zh) 一种基于改进YOLOv7模型的鱼类目标个***置检测方法
CN116630937A (zh) 一种多模态融合的3d目标检测方法
CN116740665A (zh) 一种基于三维交并比的点云目标检测方法及装置
CN116051808A (zh) 一种基于YOLOv5的轻量化零件识别定位方法
CN114627183A (zh) 一种激光点云3d目标检测方法
CN114565753A (zh) 一种基于改进YOLOv4网络的无人机小目标识别方法
CN114140698A (zh) 一种基于FasterR-CNN的水系信息提取算法
Wang et al. Underwater object detection by fusing features from different representations of sonar data
CN117523428B (zh) 基于飞行器平台的地面目标检测方法和装置
CN114283296B (zh) 一种基于结构相似度的目标识别自评估方法
CN117173549B (zh) 复杂场景下合成孔径声纳图像多尺度目标检测方法及***
CN112926383B (zh) 一种基于水下激光图像的目标自动识别***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220610