CN109543585A - 基于卷积神经网络的水下光学目标检测与识别方法 - Google Patents

Abstract

本发明提供了一种基于卷积神经网络的水下光学目标检测与识别方法。首先，对水下采集图像进行线性灰度变换和直方图均衡的增强处理，减少水底环境对原始图像的影响，增强方法的鲁棒性和检测精度；然后，采用多层深度卷积神经网络，通过计算图像多层深度特征，在输出层回归得到不同目标的检测位置和所属类别，并采用基于监督学习的训练方式对网络进行训练。本发明方法可以获得比手工标注特征更好的分类效果，识别精度更高。

Description

基于卷积神经网络的水下光学目标检测与识别方法

技术领域

本发明属计算机视觉、图像分析与处理技术领域，具体设计涉及一种基于卷积神经网络的水下图像目标检测与识别方法。

背景技术

随着深度学习技术的进步，近年来在目标检测领域也呈现出突飞猛进的发展。2013年纽约大学的学者最早使用深度学习进行目标检测，相对以往目标检测取得巨大进步，Ross Girshick后续发表了一系列基于卷积神经网络特征的区域方法，首先使用区域候选算法提取包含可能目标的区域，然后使用卷积网络在每个区域提取卷积特征，最后使用支持向量机对区域进行分类。近来的研究更多通过使用多尺度的卷积特征图以达到更好的结果和速度。但是对于水下场景中目标检测与识别存在两个问题：一是水下光线存在严重的衰减和散射效应，水下图像呈现散射模糊和颜色退变等状态，使颜色和纹理特征不能作为水下光学目标的检测特征。二是水下实际场景比较复杂，使得传统基于分割的目标检测也不再适用。目前，水下目标检测与识别的研究方法多是基于人工特征的检测方法，主要可分为两种。

一种是采用视觉注意机制形成显著图以获取可能的目标区域，然后利用主动轮廓法实现影像中目标的分割。Christian等人在文献“A fully automated method to detectand segment amanufactured object in an underwater color image.Advanced inSignal Processing For Maritime Applications,0(0):1-10,2010”中采用颜色、亮度、方向等三个特征信息，通过融合44个不同特征图得到最后的显著图。但是该方法特征计算过程耗时较多，时间性能难以提高，同时当物体颜色与背景接近时，难以检测。另外一种方法是Bazeille等人在文献“Color-based underwater object recognition using waterlight attenuation，Intelligent Service Robotices,5(2):109-118,2012”中采用基于颜色特征的物体识别，较好的减少了尺度变换的影响，同时通过主动的光线补偿和先验的颜色信息来减少水下光线衰减造成的检测误差。

这些方法具有一定的局限性，包括：由于检测多依据颜色、亮度等传统基础特征，造成检测精度较低，对不同目标的分类准确率不高，且不具有针对性，无法适用于复杂多样的水下环境；检测过程易受光线等因素干扰，对于环境变化的鲁棒性较差；基于无监督学习的方法训练过程耗时，复杂难以重现等。

发明内容

为了克服现有基于传统特征检测的目标检测方法不能精确进行水下光学目标检测与识别的不足，本发明提供了一种基于卷积神经网络的水下光学目标检测与识别方法。该方法利用神经网络对光学目标极强的表征能力，将拍摄到的水下图像作为网络输入，通过计算水下拍摄光学图像的深度特征，在输出层回归得到不同目标的检测位置和所属类别。

一种基于卷积神经网络的水下光学目标检测与识别方法，其特征在于包括以下步骤：

步骤一：利用以下公式对每一幅水下采集图像进行分段线性灰度变换，得到变换后的图像：

其中，(x,y)为图像像素坐标，f表示原始水下采集图像，g表示灰度变换后图像，f(x,y)表示图像f中(x,y)处的像素值，g(x,y)表示图像g中(x,y)处的像素值，[a,b]为图像f的灰度值范围，[c,d]为图像g的灰度值范围，c和d的取值范围均为[0,255]，c<d，F为原始水下采集图像的灰度级数。

步骤二：对每一幅灰度变换后图像进行直方图均衡化处理，得到增强后图像，并将所有增强后图像随机划分为训练数据集和测试数据集，所述训练数据集和测试数据集所包含图像的数量的比为3:1。

步骤三：将增强后图像进行水平翻转，所有增强后图像和其翻转后图像共同构成新的数据集，采用随机图像差值方式从新数据集中进行裁剪，得到大小为300*300*3的输入图像矩阵数据集；

步骤四：以VGG16网络为初始卷积特征提取网络，分别将步骤三得到的输入图像矩阵数据集中的每个矩阵输入到网络，重复以下步骤，直至Loss值低于0.1时，得到训练好的网络：

步骤a：将图像矩阵输入到VGG16网络的6层卷积预测器，每一层得到一个二维输出矩阵，将所有输出矩阵相加，得到图像特征矩阵，所述的图像特征矩阵包含了不同目标的检测框和每个检测框属于不同分类的预测识别概率，所述的卷积预测器的卷积核大小为3*3*3；

步骤b：利用计算目标检测位置与标注图像中目标真实位置的Jaccard系数；

其中，A^p表示标注图像中第p个目标的位置框，表示对应图像特征矩阵中该目标位置处的第i个检测位置框，表示A^p和中属性同时为1的属性个数，表示A^p中属性值为1或中属性值为1的属性个数，所述的属性为1是指图像中所有像素点的像素值均不为0；p＝1,…,P，i＝1,…,Ji，P为总的目标个数，Ji为图像特征矩阵中目标p位置处的检测位置框个数；

步骤c：利用作为目标函数计算目标检测位置与标注图像中目标真实位置之间的Loss值；

其中，N为Jaccdard系数大于阈值的目标检测位置个数，所述阈值的取值范围为[0.4,1]，α是权重系数，α＝1，L_conf是检测框和标注框之间的置信损失，L_loc是检测框和标注框之间的定位损失，其计算公式分别为：

其中，Pos是图像特征矩阵中所有检测框构成的集合，M是标注图像中所有标注框构成的集合，用来标识目标p的第i个检测框和第j个标注框是否匹配，如果匹配，否则， 表示检测框i属于不同类别p的预测识别概率。cx表示目标p的所有检测框与标注框中心点的x轴位置偏差，cy表示目标p的所有检测框与标注框中心点的y轴位置偏差，w是标注框的宽度，h是标注框高度，smmoth_L1表示平滑L1范数，表示取值为m的第i个检测框，表示取值为m的第j个标注框。

步骤五：将步骤二得到的测试数据集中的图像输入到训练好的网络，网络输出为该图像中所有目标位置及其所属分类，即最终的识别结果。

本发明的有益效果是：由于采用多层深度卷积神经网络，通过计算图像多层深度特征，在基于预训练模型的前提下，可以获得比手工标注特征更好的分类效果，识别精度更高；由于采用基于监督学习的网络训练方式，通过训练学习到了比原始图像更加有效的空间结构特征，使得对目标位置的检测精度更高；由于对水下采集图像预先进行了线性灰度变换和直方图均衡的增强处理，减少了水底环境对原始图像的影响，增强了方法的鲁棒性和检测精度。

附图说明

图1是本发明一种基于卷积神经网络的水下光学目标检测与识别方法流程图

图2是利用本发明方法对不同种类物体进行分类的结果曲线示意图

具体实施方式

下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。

如图1所示，本发明提供了一种基于卷积神经网络的水下光学目标检测与识别方法，其基本过程如下：

1、分段线性灰度变换

除了水下环境光线暗，图像成像过程中存在的曝光及设备自身问题等，都会造成水下采集图像对比度降低，使图像分辨不清。因此，首先对水下采集图像进行分段线性灰度变换，扩展图像的动态范围，提高原始图像的对比度，线性变换公式如下：

其中，(x,y)为图像像素坐标，f表示原始水下采集图像，g表示灰度变换后图像，f(x,y)表示图像f中(x,y)处的像素值，g(x,y)表示图像g中(x,y)处的像素值，[a,b]为图像f的灰度值范围，[c,d]为图像g的灰度值范围，c和d的取值范围均为[0,255]，c<d，F为原始水下采集图像的灰度级数。

2、直方图均衡化

对灰度变换后图像进行直方图均衡化处理，可以使图像细节更清晰，提高视觉效果。假设r∈[0,1]是变换前的归一化灰度值，P_r(r)是原始图像的非均匀概率密度函数，T(r)是灰度映射函数，令s＝T(r)表示变换后的灰度值，也归一化到s∈[0,1],P_s(s)为均衡化后的概率密度函数，由概率论知识得：

要进行直方图均衡化，P_s(s)＝1，由上面公式可得：

d_s＝P_r(r)dr (6)

对公式(6)两边进行积分，即可得直方图均衡化的变换函数：

在数字图像中，设图像的像素总数为n，有k个灰度级出现的频数用r_k表示，则直方图均衡化的离散公式为：

s_k表示第k个灰度级在进行离散化后得到的最终灰度值。

进行直方图均衡化处理后，得到增强后图像，将所有增强后图像随机划分为训练数据集和测试数据集，其中，训练数据集和测试数据集所包含图像的数量的比为3:1。

3、水平翻转

采用开源计算机视觉库OpenCV中提供方法，将增强后图像进行水平翻转，所有增强后图像和其翻转后图像共同构成新的数据集，采用随机图像差值方式从新数据集中进行裁剪，得到大小为300*300*3的输入图像矩阵数据集。

4、网络训练

本发明以VGG16网络为初始卷积特征提取网络。VGG16网络结构及其每一层具体参数记载在文献“K.Simonyan and A.Zisserman,Very Deep Convolutional Networks forLarge-Scale Image Recognition,arXiv preprint:arXiv:1409.1556,2014.”中。

分别将步骤三得到的输入图像矩阵数据集中的每个矩阵输入到VGG16网络，重复以下步骤对网络进行训练，训练的目标函数即为Loss值，如果输出Loss值和迭代次数的关系曲线无明显波动即为收敛，具体可以将目标函数Loss值收敛阈值设置为0.1，或者，将迭代次数设置为两万次。

(1)将图像矩阵输入到VGG16网络的6层卷积预测器，每一层得到一个二维输出矩阵，将所有输出矩阵相加，得到图像特征矩阵，所述的图像特征矩阵包含了不同目标的检测框和每个检测框属于不同分类的预测识别概率，所述的卷积预测器的卷积核大小为3*3*3；

(2)利用计算目标检测位置与标注图像中目标真实位置的Jaccard系数。

其中，A^p表示标注图像中第p个目标的位置框，表示对应图像特征矩阵中该目标位置处的第i个检测位置框，表示A^p和中属性同时为1的属性个数，表示A^p中属性值为1或中属性值为1的属性个数，所述的属性为1是指图像中所有像素点的像素值均不为0；p＝1,…,P，i＝1,…,Ji，P为总的目标个数，Ji为图像特征矩阵中目标p位置处的检测位置框个数。

(3)利用目标函数计算目标检测位置与标注图像中目标真实位置之间的Loss值。

其中，N为Jaccdard系数大于阈值的目标检测位置个数，所述阈值的取值范围为[0.4,1]，α是权重系数，α＝1，L_conf是检测框和标注框之间的置信损失，L_loc是检测框和标注框之间的定位损失，其计算公式分别为：

其中，Pos是图像特征矩阵中所有检测框构成的集合，M是标注图像中所有标注框构成的集合，用来标识目标p的第i个检测框和第j个标注框是否匹配，如果匹配，否则， 表示检测框i属于不同类别p的预测识别概率。cx表示目标p的所有检测框与标注框中心点的x轴位置偏差，cy表示目标p的所有检测框与标注框中心点的y轴位置偏差，w是标注框的宽度，h是标注框高度，smmoth_L1表示平滑L1范数，表示取值为m的第i个检测框，表示取值为m的第j个标注框。

训练过程采用基于随机梯度下降的方式对上述目标函数进行优化。基于本发明中的实验结果，为了获得更稳定的计算结果和更高效的计算速度，可将训练时迭代次数设置为20000次，迭代前50％过程学习率设置为0.01，后50％迭代过程学习率设置为0.001，权重衰减设置为0.0005，每批训练图像64张。

5、评价模型效果

本发明采用的是基于VGG16的前馈卷积网络，利用训练好的网络对输入图像进行处理，即可以得到固定大小的检测框集合和框中目标所属不同类别的置信度。本发明中采用召回率(Recall)作为评价指标来综合评定最终训练模型对数据分类的准确程度。其计算公式为其中TP代表分类正确结果，FP代表分类错误结果。

本实施例在中央处理器为i5-4590 3.2GHz CPU、内存16G、WINDOWS 10操作***上，利用MATLAB软件进行的仿真。使用的数据为公开数据集PASCAL VOC2007。图2给出了本发明方法在数据集上分别对动物、植物和石类的分类结果示意图。横轴表示检测数量，单位为千次，纵轴为不同种类所占的百分比。其中，图2(a)为动物的结果曲线；图2(b)为石类的结果曲线；图2(c)为植物的结果曲线。从下往上不同区域部分依次代表的是在正确检测(Cor)、定位误差(Loc)、相似种类误差(Sim)、其他错误(Oth)或者背景误差(BG)占比不同的情况下，对最终结果产生的一些累积误差影响。其中，实线为Jacarrd系数阈值取0.7时，召回率(Recall)的变化曲线，虚线为Jacarrd系数取0.5时，召回率的变化曲线。可以看出本发明可以有效分类多种不同的物体，并且大多数的分类结果是具有高可信度的，不同种类的召回率结果大约在85-90％之间，同时如果将Jacarrd系数阈值设定为一个较低的结果，本发明的分类精度会取得一定提升。

Claims (1)

1.一种基于卷积神经网络的水下光学目标检测与识别方法，其特征在于包括以下步骤：

步骤一：利用以下公式对每一幅水下采集图像进行分段线性灰度变换，得到变换后的图像：

其中，(x,y)为图像像素坐标，f表示原始水下采集图像，g表示灰度变换后图像，f(x,y)表示图像f中(x,y)处的像素值，g(x,y)表示图像g中(x,y)处的像素值，[a,b]为图像f的灰度值范围，[c,d]为图像g的灰度值范围，c和d的取值范围均为[0,255]，c<d，F为原始水下采集图像的灰度级数；

步骤二：对每一幅灰度变换后图像进行直方图均衡化处理，得到增强后图像，并将所有增强后图像随机划分为训练数据集和测试数据集，所述训练数据集和测试数据集所包含图像的数量的比为3:1；

步骤三：将增强后图像进行水平翻转，所有增强后图像和其翻转后图像共同构成新的数据集，采用随机图像差值方式从新数据集中进行裁剪，得到大小为300*300*3的输入图像矩阵数据集；

步骤四：以VGG16网络为初始卷积特征提取网络，分别将步骤三得到的输入图像矩阵数据集中的每个矩阵输入到网络，重复以下步骤，直至Loss值低于0.1时，得到训练好的网络：

步骤a：将图像矩阵输入到VGG16网络的6层卷积预测器，每一层得到一个二维输出矩阵，将所有输出矩阵相加，得到图像特征矩阵，所述的图像特征矩阵包含了不同目标的检测框和每个检测框属于不同分类的预测识别概率，所述的卷积预测器的卷积核大小为3*3*3；

步骤b：利用计算目标检测位置与标注图像中目标真实位置的Jaccard系数；

其中，A^p表示标注图像中第p个目标的位置框，表示对应图像特征矩阵中该目标位置处的第i个检测位置框，表示A^p和中属性同时为1的属性个数，表示A^p中属性值为1或中属性值为1的属性个数，所述的属性为1是指图像中所有像素点的像素值均不为0；p＝1,…,P，i＝1,…,Ji，P为总的目标个数，Ji为图像特征矩阵中目标p位置处的检测位置框个数；

步骤c：利用作为目标函数计算目标检测位置与标注图像中目标真实位置之间的Loss值；

其中，N为Jaccdard系数大于阈值的目标检测位置个数，所述阈值的取值范围为[0.4,1]，α是权重系数，α＝1，L_conf是检测框和标注框之间的置信损失，L_loc是检测框和标注框之间的定位损失，其计算公式分别为：

其中，Pos是图像特征矩阵中所有检测框构成的集合，M是标注图像中所有标注框构成的集合，用来标识目标p的第i个检测框和第j个标注框是否匹配，如果匹配，否则， 表示检测框i属于不同类别p的预测识别概率；cx表示目标p的所有检测框与标注框中心点的x轴位置偏差，cy表示目标p的所有检测框与标注框中心点的y轴位置偏差，w是标注框的宽度，h是标注框高度，smmoth_L1表示平滑L1范数，表示取值为m的第i个检测框，表示取值为m的第j个标注框；

步骤五：将步骤二得到的测试数据集中的图像输入到训练好的网络，网络输出为该图像中所有目标位置及其所属分类，即最终的识别结果。