CN112949380A - 一种基于激光雷达点云数据的智能水下目标识别*** - Google Patents
一种基于激光雷达点云数据的智能水下目标识别*** Download PDFInfo
- Publication number
- CN112949380A CN112949380A CN202110023522.3A CN202110023522A CN112949380A CN 112949380 A CN112949380 A CN 112949380A CN 202110023522 A CN202110023522 A CN 202110023522A CN 112949380 A CN112949380 A CN 112949380A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- cloud data
- data
- dimensional
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 claims abstract description 74
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 31
- 238000007781 pre-processing Methods 0.000 claims abstract description 26
- 238000005070 sampling Methods 0.000 claims description 31
- 238000000034 method Methods 0.000 claims description 27
- 238000013528 artificial neural network Methods 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 20
- 238000012360 testing method Methods 0.000 claims description 14
- 239000013598 vector Substances 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 8
- 230000000694 effects Effects 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000003062 neural network model Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 14
- 239000010410 layer Substances 0.000 description 46
- 230000006870 function Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 9
- 238000000605 extraction Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000002344 surface layer Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于激光雷达点云数据的智能水下目标识别***,该识别仪由激光雷达、数据库和上位机构成,激光雷达、数据库和上位机依次相连。所述激光雷达对水下目标物体进行扫描,将得到的点云数据存储到所述的数据库。所述的上位机包括数据预处理模块、云素编码模块、模型训练模块、模型更新模块以及结果显示模块。本发明利用激光雷达获取点云数据,速度快,精度高,抗干扰能力强,并且本发明提出的三维卷积神经网络直接利用三维点云数据训练模型,最大化利用了点云数据的特征,能够明显提高识别准确率。本发明提供了一种智能性强的水下目标识别仪,为水下目标识别技术带来显著增效。
Description
技术领域
本发明涉及雷达数据处理领域和计算机视觉领域,特别地,涉及一种基于激光雷达点云数据的智能水下目标识别技术,是水下目标的新识别仪。
背景技术
目标识别是指用计算机实现人的在视觉方面的识别功能,它的研究目标就是使计算机具有从一幅或多幅图像或者是视频中认知周围环境的能力,包括对客观世界三维环境的感知、识别与理解。目标识别的基本原理是利用雷达回波中的目标特征信息,通过数学上的各种多维空间变换来估算目标的大小、形状、重量和表面层的物理特性参数,最后根据大量训练样本所得到的判别函数,在分类器中对具体物体进行识别。近年来随着计算机视觉技术的飞速发展,目标识别技术也广泛的应用到了我们的国民经济、空间技术和国防等领域。尽管目标识别技术在识别地面上物体的应用已经比较成熟,但是在识别水下物体方面还存在许多不足之处,使得目标识别技术在水下作业时面临很多困难。因为水下环境特别是海洋环境情况复杂,所以在进行目标识别时伴随着许多挑战,比如会受到视野的限制。
由于水下目标识别技术的潜在机遇和应用价值,关于水下环境的目标识别技术研究最近也有所增加。在目前正在研究和应用于水下目标识别的各种技术中,比较有代表性的有视觉相机,声纳传感器,GPS和激光雷达。视觉摄像机可能无法在弱光条件下工作,而声纳传感器主要用于近距离物体的测量和近距离范围的检测。GPS数据需要高而稳定的网络连接,这受天气条件,实时位置等影响,因此,在某些情况下结果可能不准确。激光雷达由于其自身分辨率高、抗有源干扰能力强、体积小、质量轻的优势而得到了最广泛的应用。激光雷达工作原理为以激光作为信号源,由激光器发射出的脉冲激光,打物体上时会引起散射,一部分光波会反射到激光雷达的接收器上,根据激光测距原理计算,就得到从激光雷达到目标点的距离,脉冲激光不断地扫描目标物,就可以得到目标物上全部目标点的数据,用此数据进行成像处理后,就可得到精确的三维立体图像。可以快速,高精度地收集,在白天和晚上都可以很好地运行。
用激光雷达得到的三维立体图像通常是以点云数据表示的,点云数据是指在一个三维坐标***中的一组向量的集合。这些向量通常以X,Y,Z三维坐标的形式表示,用来代表一个物体的外表面形状。除几何位置信息之外,点云数据还可以表示一个点的RGB颜色,灰度值,深度和分割结果。然而,在现有的利用点云数据进行目标识别的技术中,通常是将点云映射到二维空间中形成2D图像或是将三维点云数据转化成转化成矢量,然后利用传统神经网络进行分类。但降维时特征的提取能力有限,这样做会导致点云数据中特征的缺失,使得识别准确率下降。同时,现有的水下目标识别技术通常只能将目标检测出来,然后依靠人工对其进行分类标定,人力资源消耗大,智能性差。因此,目前水下目标识别技术还存在着许多不足之处,是国内外目标识别的难点和热点,有着重要的学术研究价值与工程实践价值。
发明内容
为了克服目前水下目标识别技术特征提取能力差,识别准确率低,智能性较低的不足,本发明的目的在于提供一种特征提取能力强,智能性高的基于激光雷达点云数据的智能水下目标识别***仪。
本发明解决其技术问题所采用的技术方案是:一种基于激光雷达点云数据的智能水下目标识别***,包括激光雷达,数据库以及上位机。激光雷达、数据库和上位机依次相连,该识别仪水下目标进行识别按如下过程进行:
1)使用激光雷达扫描需要识别的水下物体得到激光雷达点云数据集,其中每个点云数据都是以激光雷达为坐标原点的在一个三维坐标***内的一组向量的集合,这些向量都以X,Y,Z三维坐标的形式表示,即
Pij=(x,y,z)
其中,Pij为第i个点云数据的第j个点;
2)把用激光雷达扫描水下物体获取到的点云数据存储到所述识别仪的数据库中,数据库中的点云数据供上位机调用;
所述识别仪的上位机包括:
数据预处理模块,用于对数据库中的点云数据进行预处理,采用如下过程完成:
3)从数据库中采集N个点云数据得到训练样本集
Itrain={D1,D2,···,DN}
Di={Pi,Oi}
其中,Di为每个用于训练的样本,Pi为第i个输入的点云数据,Oi为第i个训练样本的输出,代表被识别物体的种类;
4)对于训练样本集中的每个点云数据进行几何归一化处理,几何归一化按如下步骤进行:
4.1)取出该点云数据中分别在X,Y,Z方向上数值最小的坐标值xmin,ymin,zmin和数值最大的坐标值xmax,ymax,zmax;
4.2)将(xmin,ymin,zmin)作为新的坐标原点,在X,Y,Z方向上分别取边长
HX=(xmax-xmin),HY=(ymax-ymin),HZ=(zmax-zmin)
得到一个将点云数据中的点全部包围的点云长方体V;
4.3)通过下式得到点云数据中各点的新坐标值:
x'=x-xmin,y'=y-ymin,z'=z-zmin
(x',y',z')即为得到的经过预处理模块预处理的点云数据的新坐标值;
云素编码模块,用于对经过预处理的点云数据进行编码,得到输入神经网络的三维张量,采用如下过程完成:
5)对于步骤4)中得到的包围点云数据的长方体V,将其在X,Y,Z方向上,分别按
的间距分割,HX,HY,HZ为长方体V分别在X,Y,Z方向上的边长,即将长方体V分割成H3个小长方体,每个小长方体称为一个云块;
6)对每个云块进行编码,编码过程按如下步骤进行:
6.1)对于每个云块,计算其中各点在X,Y,Z方向上的坐标均值:
其中μX、μY、μZ分别为各点在X、Y、Z方向上的坐标均值,x'j、y'j、z'j分别为在X、Y、Z方向上经过预处理模块预处理的新坐标值,T为各云块中的点数,然后将(μX,μY,μZ)作为块心;
6.2)对于每个云块进行采样,取距离质心最近的T'个点,若云块内不足T'个点则取全部点,计算各点到块心的欧几里得距离:
将各点到块心的欧几里得距离求和:
其中,ρj为块内第j个点到块心的欧几里得距离,Ci称为第i个云块的云素,Ci的大小为第i个云块的云素值,每个点云数据都转化成由H3个云素表示三维张量,得到将点云数据转化成云素表示的训练样本集;
模型训练模块,用于利用编码后得到的云素表示的训练样本集训练三维卷积神经网络,采用如下过程完成:
7)设置三维卷积神经网络的拓补结构,三维卷积神经网络由特征层,降采样层和全连接层构成,需设置卷积核的大小和数目,可选的设置激活函数,以及全连接层的各层节点数,设置神经网络各项超参数;
8)初始化神经网络的权值和偏置值;
9)用训练样本集I'train={D'1,D'2,···,D'N}训练卷积神经网络,其中I'train为经过数据预处理模块处理后的训练样本集,D'1,D'2,···,D'N为该训练样本集内经过数据预处理模块处理后的各训练样本,训练过程按如下步骤进行:
9.1)将训练样本集数据输入到三维卷积神经网络的输入层,输入数据为三维张量;
9.2)通过卷积核对输入数据进行卷积操作,卷积加权和与一个偏置项相加得到一个值,将该值通过激活函数得到特征层中对应云素值,卷积步长为1,在第一特征层中得到的三维特征张量数等于该层卷积核核数,卷积操作示意图见图3;
9.3)对第一特征层中得到的各三维特征张量进行降采样,取特征层三维张量23区域中最大云素值作为降采样层中对应的云素值,采样步长为2,降采样操作示意图见图4;
9.4)对第一降采样层中的个三维张量进行卷积操作,得到第二特征层,第二特征层中三维特征张量个数等于该层卷积核核数;
9.5)对第一特征层的各三维特征张量进行降采样,得到第二降采样层过程同步骤9.3);
9.6)对第二降采样层各三维特征张量进行卷积操作,得到一个一维特征矢量作为全连接神经网络的输入;
9.7)通过步骤9.6)所述的全连接神经网络得到预测输出,预测输出值和实际值都是经softmax处理过的one-hot表示,用损失函数计算输出结果与期望值的误差;
9.8)当误差不满足要求时,进行反向传播过程,将误差反向传递,计算出每一层的误差,然后用随机梯度下降法进行卷积核和全连接层的权值和偏置值的更新;
9.9)对于步骤9.1)-9.8)反复迭代,直到满足误差精度要求或是达到预设迭代次数为止,训练结束后得到训练好的三维卷积神经网络模型,用该模型即可完成水下目标识别任务。
可选地,作为优选的一种方案,模型训练模块中三维卷积神经网络的损失函数J可用交叉熵函数
其中N为训练样本数,K为任务要求的识别目标种类数,Pij为第i个数据实际输出值one-hot表示的第j个值,yij为神经网络输出,表示第i个数据预测输出值one-hot表示的第j个值;
可选地,作为优选的一种方案,所述方法还包括:
10)在训练集以外的点云数据中取M个数据构成测试集I'test={D'1,D'2,···,D'M}作为测试样本集输入到模型训练模块中已经训练好的三维卷积神经网络中进行测试,计算识别率;
11)对目标识别效果进行评估,若识别正确率满足要求则可以用该模型完成目标识别任务,若不满足要求则使数据预处理模块再从数据库中取数据,更新训练集,再次对三维卷积神经网络模型进行训练,更新目标识别模型。
作为优选的另一种方案,所述方法还包括:
12)在所述步骤9)和步骤10)中,将模型对于训练集和测试集的识别正确率结果显示在上位机的屏幕上;
13)将水下物体目标识别的结果显示在上位机的屏幕上。
本发明的技术构思为:对水下目标进行智能识别,对由激光雷达得到的点云数据进行预处理和编码,并直接用三维点云数据训练三维卷积神经网络,建立水下目标识别模型,经评估后得到满足任务需求的模型,实现智能水下目标识别。
本发明的有益效果主要表现在:1、利用激光雷达获取点云数据,速度快,精度高,抗干扰能力强;2、直接利用三维点云数据训练模型,最大化利用点云数据的特征,显著提高识别准确率;3、在识别出水下目标的同时能对其进行分类,智能性强。
附图说明
图1是本发明所提出的识别仪的上位机的功能模块图;
图2是用于解释本发明所提出的三维卷积神经网络的一个网络结构实例图;
图3是本发明所提出的三维卷积神经网络的卷积操作示意图;
图4是本发明所提出的三维卷积神经网络的降采样操作示意图。
具体实施方式
下面根据附图具体说明本发明。
激光雷达、数据库和上位机依次相连。所述识别仪采用如下过程进行水下目标识别:
1)使用激光雷达扫描需要识别的水下物体得到激光雷达点云数据集,其中每个点云数据都是以激光雷达为坐标原点的在一个三维坐标***内的一组向量的集合,这些向量都以X,Y,Z三维坐标的形式表示,即
Pij=(x,y,z)
其中,Pij为第i个点云数据的第j个点;
2)把用激光雷达扫描水下物体获取到的点云数据存储到所述识别仪的数据库中,数据库中的点云数据供上位机使用;
图1为所述识别仪的上位机的功能模块示意图,该上位机包括:
数据预处理模块1,用于对数据库中的点云数据进行预处理,采用如下过程完成:
3)从数据库中采集N个点云数据得到训练样本集
Itrain={D1,D2,···,DN}
Di={Pi,Oi}
其中,Di为每个用于训练的样本,Pi为第i个输入的点云数据,Oi为第i个训练样本的输出,代表被识别物体的种类;
4)对于训练样本集中的每个点云数据进行几何归一化处理,几何归一化按如下步骤进行:
4.1)取出该点云数据中分别在X,Y,Z方向上数值最小的坐标值xmin,ymin,zmin和数值最大的坐标值xmax,ymax,zmax;
4.2)将(xmin,ymin,zmin)作为新的坐标原点,在X,Y,Z方向上分别取边长
HX=(xmax-xmin),HY=(ymax-ymin),HZ=(zmax-zmin)
得到一个将点云数据中的点全部包围的点云长方体V;
4.3)通过下式得到点云数据中各点的新坐标值:
x'=x-xmin,y'=y-ymin,z'=z-zmin
(x',y',z')即为得到的经过预处理模块预处理的点云数据的新坐标值;
云素编码模块2,用于对经过预处理的点云数据进行编码,得到输入神经网络的三维张量,采用如下过程完成:
5)对于步骤4)中得到的包围点云数据的长方体V,将其在X,Y,Z方向上,分别按
的间距分割,HX,HY,HZ为长方体V分别在X,Y,Z方向上的边长,即将长方体V分割成H3个小长方体,每个小长方体称为一个云块,在本例中取H=18;
6)对每个云块进行编码,编码过程按如下步骤进行:
6.1)对于每个云块,计算其中各点在X,Y,Z方向上的坐标均值:
其中μX、μY、μZ分别为各点在X、Y、Z方向上的坐标均值,x'j、y'j、z'j分别为在X、Y、Z方向上经过预处理模块预处理的新坐标值,T为各云块中的点数,然后将(μX,μY,μZ)作为块心;
6.2)对于每个云块进行采样,取距离质心最近的100个点,若云块内不足100个点则取全部点,计算各点到块心的欧几里得距离:
将各点到块心的欧几里得距离求和:
其中,ρj为块内第j个点到块心的欧几里得距离,Ci称为第i个云块的云素,Ci的大小为第i个云块的云素值,每个点云数据都转化成由H3个云素表示三维张量,得到将点云数据转化成云素表示的训练样本集;
模型训练模块3,用于利用编码后得到的云素表示的训练样本集训练三维卷积神经网络,采用如下过程完成:
7)设置三维卷积神经网络的拓补结构,图2为本例所使用的三维卷积神经网络,其由两个特征层,两个降采样层和三个全连接层组成。可选地设置卷积核的大小和数目,设置激活函数,以及全连接层的各层节点数,设置神经网络各项超参数;
8)初始化神经网络的权值和偏置值,在本例中将各权值和偏置值都随机初始化到一个取值范围在[-1,1]区间的值;
9)用训练样本集I'train={D'1,D'2,···,D'N}训练卷积神经网络,其中I'train为经过数据预处理模块处理后的训练样本集,D'1,D'2,···,D'N为该训练样本集内经过数据预处理模块处理后的各训练样本,训练过程按如下步骤进行:
9.1)将训练样本集数据输入到三维卷积神经网络的输入层,输入数据为一个183的三维张量;
9.2)通过卷积核对输入数据进行卷积操作,在第一个特征层中卷积核大小为33,卷积核数量为6,卷积加权和与一个偏置项相加得到一个值,将该值通过可选的ReLU激活函数得到第一特征层中对应云素值,卷积步长为1,在第一特征层中得到6个大小为163的三维张量,卷积操作示意图见图3;
9.3)对第一特征层中得到的各三维特征张量进行降采样,取特征层三维张量23区域中最大云素值作为降采样层中对应的云素值,采样步长为2,降采样操作示意图见图4;
9.4)对第一降采样层中的个三维张量进行卷积操作,在第二个特征层中卷积核大小也为33,卷积核数量为18,激活函数同样采用ReLU激活函数,得到第二特征层中18个大小为63的三维张量;
9.5)对第一特征层的各三维特征张量进行降采样,得到第二降采样层过程同步骤9.3);
9.6)对第二降采样层各三维特征张量进行卷积操作,卷积核大小为33,卷积核数量为120,得到一个一维特征矢量作为全连接神经网络的输入,输入层即为图2所示的全连接层1。而后经过一个含有80个神经元的全连接层2(作为隐含层),在输出层经过softmax操作得到一个1×10的输出矩阵,即本例所示模型可以用于识别10种水下目标;
9.7)可选地取交叉熵函数作为损失函数J计算输出结果与期望值的误差,误差计算公式为
其中N为训练样本数,K为任务要求的识别目标种类数,Pij为第i个数据实际输出值one-hot表示的第j个值,yij为神经网络输出,表示第i个数据预测输出值one-hot表示的第j个值;
9.8)当误差不满足要求时,进行反向传播过程,将误差反向传递,计算出每一层的误差,然后用随机梯度下降法进行卷积核和全连接层的权值和偏置值的更新;
9.9)对于步骤9.1)-9.8)反复迭代,直到满足误差精度要求或是达到预设迭代次数为止,训练结束后得到训练好的三维卷积神经网络模型,用该模型即可完成水下目标识别任务。
模型更新模块4,用于评估模型训练模块得到的三维神经网络模型的效果,采用如下过程完成:
10)在训练集以外的点云数据中取M个数据构成测试集I'test={D'1,D'2,···,D'M}作为测试样本集输入到模型训练模块中已经训练好的三维卷积神经网络中进行测试,计算识别率;
11)对目标识别效果进行评估,若识别正确率满足要求则可以用该模型完成目标识别任务,若不满足要求则使数据预处理模块再从数据库中取数据,更新训练集,再次对三维卷积神经网络模型进行训练,更新目标识别模型。
结果显示模块5:用于将目标识别的结果在上位机进行显示,采用如下过程完成:
12)在所述步骤9)和步骤10)中,将模型对于训练集和测试集的识别正确率结果显示在上位机的屏幕上;
13)将水下物体目标识别的结果显示在上位机的屏幕上。
所述上位机的硬件部分由以下部分组成:程序存储器,用于存储各个模块的实现程序;数据存储器,用于存储激光雷达采集到的数据样本以及神经网络各项参数和超参数;运算器,用于执行程序,实现相应功能;I/O元件,用于采集数据和进行信息的传递;显示模块,用于将模型训练结果和目标识别结果在上位机进行显示。
上述实施例用来解释说明本发明,而不是对本发明进行限制,在本发明的精神和权利要求的保护范围内,对本发明作出的任何修改和改变,都落入本发明的保护范围。
Claims (6)
1.一种基于激光雷达点云数据的智能水下目标识别***,所述识别仪包括激光雷达,数据库以及上位机,所述激光雷达、数据库和上位机依次相连。其特征在于:激光雷达扫描需要识别的水下物体得到激光雷达点云数据,然后数据库将得到的点云数据进行存储。存储在数据库中的数据供上位机使用,所述上位机包括依次相连的数据预处理模块、云素编码模块、模型训练模块、模型更新模块;其中,所述数据预处理模块对数据库中的点云数据进行预处理;云素编码模块对经过数据预处理模块预处理后的点云数据进行编码,得到输入神经网络的三维张量;模型训练模块利用云素编码模块编码后得到的云素表示的训练样本集训练三维卷积神经网络;模型更新模块评估模型训练模块得到的三维卷积神经网络模型的效果;结果显示模块将目标识别的结果在上位机进行显示。
2.如权利要求1所述的一种激光雷达点云数据水下目标识别仪,其特征在于,所述激光雷达扫描需要识别的水下物体得到激光雷达点云数据按如下步骤进行:
(2.1)使用激光雷达扫描需要识别的水下物体得到激光雷达点云数据集,其中每个点云数据都是以激光雷达为坐标原点的在一个三维坐标***内的一组向量的集合,这些向量都以X,Y,Z三维坐标的形式表示,即
Pij=(x,y,z)
其中,Pij为第i个点云数据的第j个点;
(2.2)把用激光雷达扫描水下物体获取到的点云数据存储到所述识别仪的数据库中,数据库中的点云数据供上位机调用。
3.如权利要求1所述的一种激光雷达点云数据水下目标识别仪,其特征在于,所述数据预处理模块,用于对数据库中的点云数据进行预处理,采用如下过程完成:
(3.1)数据库中采集N个点云数据得到训练样本集:
Itrain={D1,D2,···,DN}
Di={Pi,Oi}
其中,Di为每个用于训练的样本,Pi为第i个输入的点云数据,Oi为第i个训练样本的输出,代表被识别物体的种类;
(3.2)对于训练样本集中的每个点云数据进行几何归一化处理,几何归一化按如下步骤进行:
(3.2.1)取出该点云数据中分别在X,Y,Z方向上数值最小的坐标值xmin,ymin,zmin和数值最大的坐标值xmax,ymax,zmax;
(3.2.2)将(xmin,ymin,zmin)作为新的坐标原点,在X,Y,Z方向上分别取边长
HX=(xmax-xmin),HY=(ymax-ymin),HZ=(zmax-zmin)
得到一个将点云数据中的点全部包围的点云长方体V;
(3.2.3)通过下式得到点云数据中各点的新坐标值:
x'=x-xmin,y'=y-ymin,z'=z-zmin
(x',y',z')即为得到的经过预处理模块预处理的点云数据的新坐标值;
云素编码模块,用于对经过预处理的点云数据进行编码,得到输入神经网络的三维张量,采用如下过程完成:
(3.3)对于步骤(3.2)中得到的包围点云数据的长方体V,将其在X,Y,Z方向上,分别按
的间距分割,HX,HY,HZ为长方体V分别在X,Y,Z方向上的边长,即将长方体V分割成H3个小长方体,每个小长方体称为一个云块;
(3.4)对每个云块进行编码,编码过程按如下步骤进行:
(3.4.1)对于每个云块,计算其中各点在X,Y,Z方向上的坐标均值:
其中μX、μY、μZ分别为各点在X、Y、Z方向上的坐标均值,x'j、y'j、z'j分别为在X、Y、Z方向上经过预处理模块预处理的新坐标值,T为各云块中的点数,然后将(μX,μY,μZ)作为块心;
(3.4.2)对于每个云块进行采样,取距离质心最近的T'个点,若云块内不足T'个点则取全部点,计算各点到块心的欧几里得距离:
将各点到块心的欧几里得距离求和:
其中,ρj为块内第j个点到块心的欧几里得距离,Ci称为第i个云块的云素,Ci的大小为第i个云块的云素值,每个点云数据都转化成由H3个云素表示三维张量,得到将点云数据转化成云素表示的训练样本集。
4.如权利要求1所述的一种激光雷达点云数据水下目标识别仪,其特征在于,所述模型训练模块,用于利用编码后得到的云素表示的训练样本集训练三维卷积神经网络,采用如下过程完成:
(4.1)设置三维卷积神经网络的拓补结构,三维卷积神经网络由特征层,降采样层和全连接层构成,需设置卷积核的大小和数目,设置激活函数,以及全连接层的各层节点数,设置神经网络各项超参数;
(4.2)初始化神经网络的权值和偏置值;
(4.3)用训练样本集I'train={D'1,D'2,···,D'N}训练卷积神经网络,其中I'train为经过数据预处理模块处理后的训练样本集,D'1,D'2,···,D'N为该训练样本集内经过数据预处理模块处理后的各训练样本,训练过程按如下步骤进行:
(4.3.1)将训练样本集数据输入到三维卷积神经网络的输入层,输入数据为三维张量;
(4.3.2)通过卷积核对输入数据进行卷积操作,卷积加权和与一个偏置项相加得到一个值,将该值通过激活函数得到特征层中对应云素值,卷积步长为1,在第一特征层中得到的三维特征张量数等于该层卷积核核数;
(4.3.3)对第一特征层中得到的各三维特征张量进行降采样,取第一特征层三维张量23区域中最大云素值作为降采样层中对应的云素值,采样步长为2,得第一降采样层;
(4.3.4)对第一降采样层中的个三维张量进行卷积操作,得到第二特征层,第二特征层中三维特征张量个数等于该层卷积核核数;
(4.3.5)对第二特征层的各三维特征张量进行降采样,取第二特征层三维张量23区域中最大云素值作为降采样层中对应的云素值,采样步长为2,得到第二降采样层;
(4.3.6)对第二降采样层各三维特征张量进行卷积操作,得到一个一维特征矢量作为全连接神经网络的输入;
(4.3.7通过步骤(4.3.6)所述的全连接神经网络得到预测输出,预测输出值和实际值都是经softmax处理过的one-hot表示,用损失函数计算输出结果与期望值的误差;
(4.3.8)当误差不满足要求时,进行反向传播过程,将误差反向传递,计算出每一层的误差,然后用随机梯度下降法进行卷积核和全连接层的权值和偏置值的更新;
(4.3.9)对于步骤(4.3.1)-(4.3.8)反复迭代,直到满足误差精度要求或是达到预设迭代次数为止,训练结束后得到训练好的三维卷积神经网络模型。
6.如权利要求1所述的一种激光雷达点云数据水下目标识别仪,其特征在于,所述上位机还包括:模型更新模块,用于评估模型训练模块得到的三维神经网络模型的效果,采用如下过程完成:
(6.1)在训练集以外的点云数据中取M个数据构成测试集I'test={D'1,D'2,···,D'M}作为测试样本集输入到模型训练模块中已经训练好的三维卷积神经网络中进行测试,计算识别率;
(6.2)对目标识别效果进行评估,若识别正确率满足要求则可以用该模型完成目标识别任务,若不满足要求则使数据预处理模块再从数据库中取数据,更新训练集,再次对三维卷积神经网络模型进行训练。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110023522.3A CN112949380B (zh) | 2021-01-08 | 2021-01-08 | 一种基于激光雷达点云数据的智能水下目标识别*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110023522.3A CN112949380B (zh) | 2021-01-08 | 2021-01-08 | 一种基于激光雷达点云数据的智能水下目标识别*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112949380A true CN112949380A (zh) | 2021-06-11 |
CN112949380B CN112949380B (zh) | 2022-06-10 |
Family
ID=76235112
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110023522.3A Expired - Fee Related CN112949380B (zh) | 2021-01-08 | 2021-01-08 | 一种基于激光雷达点云数据的智能水下目标识别*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112949380B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113870359A (zh) * | 2021-09-23 | 2021-12-31 | 厦门大学 | 基于随机梯度下降的激光雷达外参标定方法及装置 |
CN113920320A (zh) * | 2021-08-27 | 2022-01-11 | 北京临近空间飞行器***工程研究所 | 一种面向典型有源干扰的雷达图像目标检测*** |
CN114545400A (zh) * | 2022-04-27 | 2022-05-27 | 陕西欧卡电子智能科技有限公司 | 基于毫米波雷达的水面机器人的全局重定位方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106600622A (zh) * | 2016-12-06 | 2017-04-26 | 西安电子科技大学 | 一种基于超体素的点云数据分割方法 |
CN109426828A (zh) * | 2017-08-28 | 2019-03-05 | 中国科学院深圳先进技术研究院 | 点云分类方法、装置、设备及存储介质 |
CN109816714A (zh) * | 2019-01-15 | 2019-05-28 | 西北大学 | 一种基于三维卷积神经网络的点云物体类型识别方法 |
US20200301013A1 (en) * | 2018-02-09 | 2020-09-24 | Bayerische Motoren Werke Aktiengesellschaft | Methods and Apparatuses for Object Detection in a Scene Based on Lidar Data and Radar Data of the Scene |
-
2021
- 2021-01-08 CN CN202110023522.3A patent/CN112949380B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106600622A (zh) * | 2016-12-06 | 2017-04-26 | 西安电子科技大学 | 一种基于超体素的点云数据分割方法 |
CN109426828A (zh) * | 2017-08-28 | 2019-03-05 | 中国科学院深圳先进技术研究院 | 点云分类方法、装置、设备及存储介质 |
US20200301013A1 (en) * | 2018-02-09 | 2020-09-24 | Bayerische Motoren Werke Aktiengesellschaft | Methods and Apparatuses for Object Detection in a Scene Based on Lidar Data and Radar Data of the Scene |
CN109816714A (zh) * | 2019-01-15 | 2019-05-28 | 西北大学 | 一种基于三维卷积神经网络的点云物体类型识别方法 |
Non-Patent Citations (2)
Title |
---|
ZHIJIAN LIU,ET AL: "《Point-Voxel CNN for Efficient 3D Deep Learning》", 《NEURIPS 2019》 * |
谭勇: "《基于激光雷达的无人驾驶障碍物检测与辨识》", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113920320A (zh) * | 2021-08-27 | 2022-01-11 | 北京临近空间飞行器***工程研究所 | 一种面向典型有源干扰的雷达图像目标检测*** |
CN113920320B (zh) * | 2021-08-27 | 2024-06-04 | 北京临近空间飞行器***工程研究所 | 一种面向典型有源干扰的雷达图像目标检测*** |
CN113870359A (zh) * | 2021-09-23 | 2021-12-31 | 厦门大学 | 基于随机梯度下降的激光雷达外参标定方法及装置 |
CN114545400A (zh) * | 2022-04-27 | 2022-05-27 | 陕西欧卡电子智能科技有限公司 | 基于毫米波雷达的水面机器人的全局重定位方法 |
CN114545400B (zh) * | 2022-04-27 | 2022-08-05 | 陕西欧卡电子智能科技有限公司 | 基于毫米波雷达的水面机器人的全局重定位方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112949380B (zh) | 2022-06-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110472627B (zh) | 一种端到端的sar图像识别方法、装置及存储介质 | |
CN112949380B (zh) | 一种基于激光雷达点云数据的智能水下目标识别*** | |
CN110210463B (zh) | 基于Precise ROI-Faster R-CNN的雷达目标图像检测方法 | |
CN109871902B (zh) | 一种基于超分辨率对抗生成级联网络的sar小样本识别方法 | |
CN112488210A (zh) | 一种基于图卷积神经网络的三维点云自动分类方法 | |
CN108052942B (zh) | 一种飞机飞行姿态的视觉图像识别方法 | |
US9639748B2 (en) | Method for detecting persons using 1D depths and 2D texture | |
CN112766221B (zh) | 基于船舶方向和位置多任务的sar图像船舶目标检测方法 | |
CN106295124A (zh) | 利用多种图像检测技术综合分析基因子图相似概率量的方法 | |
CN110619352A (zh) | 基于深度卷积神经网络的典型红外目标分类方法 | |
CN112149591B (zh) | 用于sar图像的ssd-aeff自动桥梁检测方法及*** | |
CN108764470B (zh) | 一种人工神经网络运算的处理方法 | |
CN114332639B (zh) | 一种非线性残差自注意力机制的卫星姿态视觉测量方法 | |
CN103353988A (zh) | 异源sar景象特征匹配算法性能评估方法 | |
CN115049821A (zh) | 一种基于多传感器融合的三维环境目标检测方法 | |
CN112487900A (zh) | 一种基于特征融合的sar图像舰船目标检测方法 | |
CN108490415A (zh) | 一种智能sar雷达海上舰船目标识别*** | |
CN116486287A (zh) | 基于环境自适应机器人视觉***的目标检测方法及*** | |
CN115761484A (zh) | 一种基于遥感图像的云检测方法及装置 | |
Yu et al. | Dual-branch framework: AUV-based target recognition method for marine survey | |
CN111339967A (zh) | 一种基于多视域图卷积网络的行人检测方法 | |
CN116630937A (zh) | 一种多模态融合的3d目标检测方法 | |
CN116051808A (zh) | 一种基于YOLOv5的轻量化零件识别定位方法 | |
CN114565753A (zh) | 一种基于改进YOLOv4网络的无人机小目标识别方法 | |
CN114694042A (zh) | 一种基于改进Scaled-YOLOv4的伪装人员目标检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220610 |