CN107145903A

CN107145903A - 一种基于卷积神经网络图片特征提取的船舶类型识别方法

Info

Publication number: CN107145903A
Application number: CN201710295180.4A
Authority: CN
Inventors: 黄靖; 周高景; 姜文
Original assignee: Wuhan University of Technology WUT
Current assignee: Wuhan University of Technology WUT
Priority date: 2017-04-28
Filing date: 2017-04-28
Publication date: 2017-09-08

Abstract

本发明公开了一种基于卷积神经网络图片特征提取的船舶类型识别方法，包括以下步骤：1)采集大量未分类的水上运行船舶图片进行图像预处理，处理后的图片作为卷积神经网络稀疏自编码训练数据集进行训练以获得船舶类型特征提取卷积神经网络；2)从水上运行船舶图片中提取训练集并对各张船舶图片标记类别，再将其输入到训练后的卷积神经网络中提取出各图片中的图片特征作为Softmax分类器的训练数据集进行训练；3)将需要识别的船舶图片输入到卷积神经网络中提取出各图片中的船舶特征，将船舶特征输入到经过训练的Softmax分类器中进行分类输出该船舶所对应船舶类型。本发明能够适应不断变化的环境和不确定的输入数据，快速并准确识别出船舶类型。

Description

一种基于卷积神经网络图片特征提取的船舶类型识别方法

技术领域

本发明涉及智能交通技术，尤其涉及一种基于卷积神经网络图片特征提取的船舶类型识别方法。

背景技术

随着现代交通的发展，智能交通***已经成为最重要的研究领域之一，智能交通旨在监控并反馈流量及突发交通事故等。因此，船舶类型识别成为智能交通最前沿的研究方向。

但是，随着水上交通的发展，船舶监控也是成为一个日趋严重的监管问题，船舶监控主要包括通过电子眼等视频监控设备对流域内船舶进行航行记录、船舶类型记录等操作。据相关部门统计，我国目前拥有水上运行船舶17.20万艘，大量船舶在水域运行不仅给水上交通监管的压力大大增加，也对公共安全提出了严峻挑战；水上交通发展，运行船舶数量增长而带来的船舶监管负担大大增强的问题日益突出。而通过智能交通技术在监管水域建立电子眼等自动监控设备自动对运行船舶进行监控拍摄记录，再结合机器通过船舶图片数据智能识别类型并记录，省去了大量人工操作，节约了成本负担，能够达到缓解该问题的目的。因此，在针对水上交通船舶记录检测时，以监控视频中的船舶图像为数据进行分析识别的的智能交通技术成为新的研究重点。

现有的船舶识别技术方法主要有以下几种：

1.雷达识别法

雷达监测器利用多普勒效应的原理工作，雷达所发出的微波被船舶反射，船舶的大小、形状不同，反射器接收到的反射信号也不相同，从而根据各类型船舶的反射信号来识别被测船舶的类型。但雷达对定位准确度较为敏感，若定位不准，则会导致***精确度大幅度下降，且雷达成本过高，技术较为复杂。

2.红外检测分类识别

红外检测***是利用分布在水岸两边的红外整列检测器来取得船舶侧面的几何特征，再利用计算机进行处理从而得到船舶类型。该***采用了大量的激光管，能够得到大量的数据，从而能较为完整的绘制出船舶轮廓及局部特征，识别率较高。但是该***安装困难，易出故障，只停留在理论实验阶段，在实际应用中难以推广。

3.视频监控图像识别技术

视频监控***是利用分布在水岸的电子眼等视频监控设备针对水面船舶进行视频拍摄，根据所拍摄的视频图片，通过特征提取方法提取图片中船舶的图像特征，再利用SVM、Softmax等特征分类器进行训练分类实现图片船舶类型识别。

发明内容

本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种基于卷积神经网络图片特征提取的船舶类型识别方法。

本发明解决其技术问题所采用的技术方案是：一种基于卷积神经网络图片特征提取的船舶类型识别方法，包括以下步骤：

1)采集大量未分类的水上运行船舶图片进行图像预处理，处理后的图片作为卷积神经网络稀疏自编码训练数据集进行稀疏自编码训练以获得船舶类型特征提取卷积神经网络；该稀疏自编码训练过程为无监督自主学习；

所述图像预处理包括将船舶图片进行像素小块分块操作，再将所得像素小块数据集进行主成分分析和ZCA白化处理；

2)从水上运行船舶图片中提取一部分作为训练集并对各张船舶图片标记类别，进行图像预处理，再将其输入到训练后的卷积神经网络中提取出各图片中的各个船舶类型的图片特征；该过程为监督学习，将所得到的训练集船舶特征作为Softmax分类器的训练数据集对Softmax分类器进行训练；

3)将需要识别的船舶图片输入到训练后的卷积神经网络中提取出各图片中的船舶特征，将该需识别图像的船舶特征输入到经过训练的Softmax分类器中进行分类输出该船舶所对应船舶类型，实现通过船舶图片识别船舶类型。

按上述方案，所述步骤1)中稀疏自编码卷积神经网络添加的稀疏因子为：

式中，是隐藏层神经元在接收输入后产生的输出，m是隐藏层神经元节点数，是隐藏神经元的平均活跃度表示隐藏层神经元稀疏性强弱；

设立接近于0的稀疏参数值p，通过相对熵限定的值，以达到稀疏性限制的目的；稀疏性参数计算式为：

按上述方案，所述步骤1)中采用反向传播算法通过卷积神经网络稀疏自编码训练数据集对该神经网络进行训练，获得针对船舶类型特征提取的卷积神经网络。

按上述方案，所述步骤1)中对得到的像素小块进行主成分分析和ZCA白化处理操作，具体如下：

(a)首先求取所有像素小块的平均向量，再计算出每个像素小块所构成向量与平均向量差值；

(b)计算像素小块的协方差矩阵，对协方差矩阵进行求取奇异值分解操作得到其特征值矩阵和特征向量矩阵；

(c)选取(b)步骤中能够完整反映船舶图片小块信息的部分特征向量和特征值作为主成份，并根据主成分得到投影矩阵；

(d)对(c)步骤中得到的全部训练样本图片投影矩阵与奇异值分解矩阵所得到像素小块的协方差矩阵的正交输入的基向量组成的矩阵相乘，最后根据该矩阵形成投影矩阵空间，并将像素小块所构成向量与平均向量差值的矩阵值投影到投影特征空间中存储。

按上述方案，所述步骤2)中图片标记类别具体如下：标记类别共有17类船舶类型，分别是吊船、工程船、滚装船、货轮、集装箱船、空货船、快艇、旅游船、煤沙船、木材船、舢板、危险品船、巡逻艇、渔船、雨篷船、中型客船、作业船。

按上述方案，所述步骤1)中像素小块为8×8像素小块。

本发明产生的有益效果是：本发明方法能够快速实现船舶类型识别具有自组织和自学习功能，本发明在所使用的卷积神经网络稀疏自编码训练数据集选取采集大量水面船舶图片，并以此提高船舶特征提取卷积神经网络针对需识别船舶图片特征提取能力，并且本发明能够适应不断变化的环境和不确定的输入数据，随着监控船舶图片的数量增多，卷积神经网络稀疏自编码训练数据集也随之增长，该船舶特征提取卷积神经网络特征提取能力也会随之不断增强，因此具有广阔的应用前景。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例的船舶类型识别流程图；

图2是本发明实施例的ZCA白化处理流程图；

图3是本发明实施例的三层卷积神经网络示意图；

图4是本发明实施例的采集武汉长江船舶图像数据库图片。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明提供了一种可以应用于水上监控船舶类型识别方法，该方法用于对水上监控记录的船舶类型进行自动识别，该识别方法具体为：首先对采集的大量长江水上船舶图片数据库，如图4，进行预处理得到卷积神经网络稀疏自编码训练数据集，再用该数据集进行卷积神经网络稀疏自编码自主学习训练，以得出船舶类型特征提取卷积神经网络，再从采集的长江水上船舶图片数据库中提取出各类船舶类型图片作为训练样本集并给每张图片标记船舶类型标签，将训练样本集进行预处理输入船舶类型特征提取卷积神经网络进行特征提取，获得训练样本数据集特征后输入Softmax分类器以使Softmax分类器对各种船舶的代表性特征进行学习，最后将长江水上船舶图片数据库中需要识别的2015年05月14日武汉长江流域水上监控船舶图片进行预处理输入船舶类型特征提取卷积神经网络获取需要识别的监控拍摄船舶图片特征，将该特征输入Softmax分类器以进行船舶类型识别分类，并给出识别准确率。

具体如下：

1)采集大量未分类的水上运行船舶图片进行图像预处理，处理后的图片作为卷积神经网络稀疏自编码训练数据集进行稀疏自编码训练以获得船舶类型特征提取卷积神经网络；

对卷积神经网络进行稀疏自编码训练过程按以下步骤实现：

1.1)首先通过采集大量长江水域拍摄的水上船舶图片构成船舶类型数据库，采集的长江水面监控拍摄船舶图片总数为1292张，共17种类型船舶图片。对该船舶图片数据库进行预处理，先将每张图片划分为1350个8*8的像素小块，共计1215000个像素小块，再将所有像素小块的8*8三颜色通道矩阵形式转化为192维向量形式(本算法所针对的图像操作都是三颜色通道的彩色图像)，所有像素小块存储形式为m*n矩阵，其中m表示像素小块向量维度n表示像素小块数量。同样的，再从大量长江水域拍摄的水上船舶图片采集一部分船舶图片构成Softmax训练样本集。

1.2)再对得到的像素小块进行主成分分析和ZCA白化处理操作，其操作目的是提高卷积神经网络无监督船舶特征学习速度的数据降维方法，方法流程如图2所示：

(a)首先求取所有像素小块的平均向量，再计算出每个像素小块所构成向量与平均向量差值。

(b)计算像素小块的协方差矩阵，对协方差矩阵进行求取奇异值分解操作得到其特征值矩阵和特征向量矩阵。

(c)选取上一步骤中能够完整反映船舶图片小块信息的部分特征向量和特征值作为主成份，并根据主成分得到投影矩阵。

(d)对上一步得到的全部训练样本图片投影矩阵与奇异值分解矩阵所得到像素小块的协方差矩阵的正交"输入"的基向量(这些向量是协方差矩阵与协方差矩阵的伴随矩阵乘积的特征向量)组成的矩阵相乘最后根据该矩阵形成投影矩阵空间并将像素小块所构成向量与平均向量差值的矩阵值投影到投影特征空间中存储。

1.3)将经过主成分分析和ZCA白化处理后得到的卷积神经网络稀疏自编码训练数据集输入卷积神经网络中进行稀疏自编码训练以获得一个船舶类型特征提取卷积神经网络，使得卷积神经网络学习一个其输出层值与输入层值相同可将这一概念设置为输出值与输入值相减的函数(称之为代价函数)，即使该神经网络逼近一个恒等函数，在使自编码神经网络逼近恒等函数的同时，给该自编码神经网络加入对隐藏神经元稀疏性限制，以学习输入数据集中的一些结构。例如，输入层节点数为输入数据向量的元素个数，数据通过输入层再到隐藏层最后到输出层经过层层运算，由于在隐藏层神经元加入对隐藏神经元稀疏性限制，而进入输入层的输入值和输出层得出的输出值之间需逼近一致，这就达到了迫使自编码神经网络去学习输入数据的压缩表示的目的，也就是说，它必须从与输入输出层节点数不一样的隐藏层中的神经元激活度向量中重构出与输入值相一致的输出。当如果输入数据中隐含着一些特定的结构，比如某些输入特征是彼此相关的，那么这一算法就可以学习输入数据中的这些相关性。从而达到训练该神经网络提取图片特征的能力。稀疏自编码卷积神经网络添加的稀疏因子为：

式中是隐藏层神经元在接收输入后产生的输出(按照稀疏性限制判断值为0或1)，m是隐藏层神经元节点数，是隐藏神经元的平均活跃度表示隐藏层神经元稀疏性强弱。设立接近于0的稀疏参数值p，通过相对熵限定的值，以达到稀疏性限制的目的。稀疏性参数计算式为：

卷积神经网络稀疏自编码训练数据集对于各个船舶图片数据都是没有人为给定各个数据所属船舶类型标签的，因此，整个神经网络稀疏自编码学习过程是一个无监督自主学习过程，整个稀疏自编码训练过程是对神经网络中的隐含层权值W和偏置项b进行训练；通过不断的迭代、更新权值矩阵，使得代价函数尽可能接近于零。

如图3，该稀疏自编码神经网络参数设置为：第一层输入层单元数为192，第二层隐藏层单元数为400，第三层输出层单元数为192。稀疏自编码迭代次数为400。该神经网络采用Sigimod函数作为激活函数。

首先使用随机值输入稀疏自编码神经网络进行预训练，将预训练得到的权值W和偏置项b作为初始值，再使用卷积神经网络稀疏自编码训练数据集对神经网络进行稀疏自编码训练。整个神经网络中的输入层、隐藏层、输出层，层与层之间通过权值矩阵和偏置项向量互相连接，除了输入层外、其余各层输入都是上一层每个节点的加权输出和；除输出层外每个节点的输出将作为下一层每一个节点输入的一部分。每一层的节点实际上包含了一个激励函数，本发明所采用的是Sigmoid函数：f(z)＝sigmoid(z)＝1/(1+exp(-z))。

采用反向传播算法通过卷积神经网络稀疏自编码训练数据集对该神经网络进行训练，即采用反向传播算法通过卷积神经网络稀疏自编码训练数据集训练神经网络的权值矩阵，反向传播算法包括前向传播和反向传播，具体为：

(a)前向传播

对于卷积神经网络，第l层第j个单元与第2层第i个单元之间的权重参数为第l层第i个单元的偏置项为因此W(i)是第l层与第l+1层之间的权值矩阵，而b(l)是第l+1层的偏置项向量，定义每一层的输入值和激活值为：

z^(l+1)＝W^(l)a^(l)+b^(l)

a^(l+1)＝f(z^(l+1))

其中，输入层的输入值是输入的卷积神经网络稀疏自编码训练数据集的值。基于此，样本在神经网络中实现了逐层的前向传播，最终神经网络输出计为实际输出值h_W，b(x)。

(b)反向传播

构造代价函数，对于包含m个样例的固定样本集{(x⁽¹⁾，y⁽¹⁾)，...，(x^(m)，y^(m))}(对于每一个输入向量卷积神经网络稀疏自编码训练数据集的值x⁽ⁱ⁾，y⁽ⁱ⁾就是它的通过神经网络计算所得值，y⁽ⁱ⁾就是输出的期望)，代价函数表示为：

其中，λ是权重衰减项，其目的是减小权重的幅度，防止过度拟合，提高整个神经网络的泛化能力，β是稀疏性限制的权重系数。代价函数是一个非凸函数通过梯度下降法可以寻找到它的局部最小值，即对代价函数的W和b进行偏导计算进而更新W和b的值以获得更小的代价函数，如此迭代。W和b计算过程为：

其中α是学习速率，决定了梯度下降的速率。通过梯度下降法，卷积神经网络稀疏自编码训练数据集从输出层逐层后向传播，减小代价函数。训练样本在卷积神经网络中迭代地进行前向传播和后向传播，实现对权值矩阵的训练。在完成400次迭代步数后该卷积神经网络稀疏自编码完成，获得一个针对船舶类型特征提取的卷积神经网络；

2)从水上运行船舶图片中提取一部分作为训练集并对各张船舶图片标记类别，进行图像预处理，再将其输入到训练后的卷积神经网络中提取出各图片中的各个船舶类型的图片特征；该过程为监督学习，将所得到的训练集船舶特征作为Softmax分类器的训练数据集进行训练；

将从长江水域拍摄的水上船舶图片中提取一部分作为训练集并对各张船舶图片标记类别，在该示例中训练集采用了300张长江水域船舶图片，共17类。再将其进行与卷积神经网络稀疏自编码训练数据集相同的预处理操作即取每张图片取1350个8*8小块，再进行主成分分析和ZCA白化处理后输入到训练后的船舶类型特征提取卷积神经网络中提取出各图片中的各个船舶类型的图片特征，将所得到的训练集船舶特征作为Softmax分类器的训练数据集进行训练。

本实例中采集了2015年05月14日长江武汉流域位置的船舶拍摄图片记录作为需要识别的船舶图片测试集，2015年05月14日长江武汉流域位置的船舶监控记录船舶种类共10类，共计86张船舶图片。同样的对该测试集进行相同的预处理取小块操作并进行主成分分析和ZCA白化处理后输入到训练后的船舶类型特征提取卷积神经网络中提取出各图片中的船舶特征，将该需识别图像的船舶特征输入到经过训练的Softmax分类器中进行分类输出该船舶所对应船舶类型。

本实例采用所采集的2015年5月到7月共26天长江武汉流域监控船舶图片数据集进行训练和测试，其中选取1292张共17类船舶图片进行预处理作为卷积神经网络稀疏自编码训练数据集。采用300张共17类船舶图片并给每张图片标记种类标签并进行预处理作为训练样本集。采用2015年05月14日长江武汉流域位置的船舶监控记录船舶种类共10类，共计86张船舶图片进行预处理作为测试集。在使用卷积神经网络稀疏自编码训练数据集对卷积神经网络进行稀疏自编码训练得出船舶类型特征提取的卷积神经网络，再分别将训练样本集和测试样本集输入卷积神经网络提取特征，将训练样本集特征输入Softmax进行训练后，再将测试集输入Softmax进行船舶类型识别，获得最终测试结果准确率为95.35％。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims

1.一种基于卷积神经网络图片特征提取的船舶类型识别方法，包括以下步骤：

2.根据权利要求1所述的船舶类型识别方法，其特征在于，所述步骤1)中稀疏自编码卷积神经网络添加的稀疏因子为：

<mrow> <msub> <mover> <mi>&rho;</mi> <mo>^</mo> </mover> <mi>j</mi> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mi>m</mi> </mfrac> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>m</mi> </munderover> <mo>&lsqb;</mo> <msubsup> <mi>a</mi> <mi>j</mi> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </msubsup> <mrow> <mo>(</mo> <msup> <mi>x</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> </msup> <mo>)</mo> </mrow> <mo>&rsqb;</mo> </mrow>

3.根据权利要求1所述的船舶类型识别方法，其特征在于，所述步骤1)中采用反向传播算法通过卷积神经网络稀疏自编码训练数据集对该神经网络进行训练，获得针对船舶类型特征提取的卷积神经网络。

4.根据权利要求1所述的船舶类型识别方法，其特征在于，所述步骤1)中对得到的像素小块进行主成分分析和ZCA白化处理操作，具体如下：

5.根据权利要求1所述的船舶类型识别方法，其特征在于，所述步骤2)中图片标记类别具体如下：标记类别共有17类船舶类型，分别是吊船、工程船、滚装船、货轮、集装箱船、空货船、快艇、旅游船、煤沙船、木材船、舢板、危险品船、巡逻艇、渔船、雨篷船、中型客船、作业船。