CN110245562A

CN110245562A - 基于深度学习的海洋产毒微藻种类自动识别方法

Info

Publication number: CN110245562A
Application number: CN201910394170.5A
Authority: CN
Inventors: 崔雪森
Original assignee: East China Sea Fishery Research Institute Chinese Academy of Fishery Sciences
Current assignee: East China Sea Fishery Research Institute Chinese Academy of Fishery Sciences
Priority date: 2019-05-13
Filing date: 2019-05-13
Publication date: 2019-09-17

Abstract

本发明涉及一种基于深度学习的海洋产毒微藻种类自动识别方法，包括以下步骤：利用光学显微镜获取有毒藻类的图像数据，并对图像数据进行预处理，将预处理后的图像数据制作成训练数据包；建立卷积神经网络模型，将训练数据包输入至卷积神经网络模型中进行训练，得到训练好的卷积神经网络模型；采用训练好的卷积神经网络模型对海洋产毒微藻进行识别。本发明能使产毒藻类的鉴定在时间效率和检验精度上得到提升。

Description

基于深度学习的海洋产毒微藻种类自动识别方法

技术领域

本发明涉及计算机视觉识别技术领域，特别是涉及一种基于深度学习的海洋产毒微藻种类自动识别方法。

背景技术

传统的光学镜检仍是海洋微藻生态研究的经典方法，除此之外，当前也存在其它两种较新的技术。一是生物化学分类法。该方法是根据生物大分子的成分或含量差异来对微藻进行分类，通常包括同工酶分类、脂肪酸分类和碱基组成分分类法等方法(Murphy etal,2010；Khotimchenko,1998；Fahrenkrug et al,1992)。第二种新的方法是分子分类法。这是一种藻类特异性序列鉴定的方法，主要通过随机扩增多态性DNA、限制性内切酶片段长度多态性和变性梯度凝胶电泳等方法实现(Nishihara et al,1997；Ernst etal,1995；Becker et al,2004)。同时，分子生物学技术在定量检验产毒藻类也有所应用(Ebenezeret al，2012)。但以上两种方法每次只能得到一种或少数几种目标物种的信息(Handy eta1，2006)。而在实践当中，海水样品中通常包含大量微藻种类。同时，由于生物化学分类法和分子生物学方法的专业性更强，操作难度更大，诸多不足使得在实际应用当中也受到了很大的限制。因此，光学镜检仍是当前最简便、快捷、广泛的海洋微藻鉴定方式。

然而光学镜检需要经验丰富的分类学专家，耗时费力，更为重要的是，不易于区分外形极其相似的某些种类。电子显微镜能够在更精细地区分相似种类间的超微结构差异，提高了不同藻种的辨别度，然而其操作复杂，价格昂贵，在某种程度上限制了样品数量和检测速度。在相关藻类识别的机器学习技术中，过去利用光学显微镜图像结合浅层机器学习方法在特定条件下可以达到一定的识别精度，但在背景复杂、样本量巨大的情况下，以上传统方法还不能满足实际应用的需要。其中复杂的背景往往需要人工指定目标范围，导致藻类识别效率低下；样本量过大会导致训练时间过长，且难以训练出通用的藻种分类器，更关键的是，传统分类器往往要专家人工挑选特征，往往出现特征种类有限和遗漏现象，同时也增加了人工成本。

发明内容

本发明所要解决的技术问题是提供一种基于深度学习的海洋产毒微藻种类自动识别方法，能使产毒藻类的鉴定在时间效率和检验精度上得到提升。

本发明解决其技术问题所采用的技术方案是：提供一种基于深度学习的海洋产毒微藻种类自动识别方法，包括以下步骤：

(1)利用光学显微镜获取有毒藻类的图像数据，并对图像数据进行预处理，将预处理后的图像数据制作成训练数据包；

(2)建立卷积神经网络模型，将训练数据包输入至卷积神经网络模型中进行训练，得到训练好的卷积神经网络模型；

(3)采用训练好的卷积神经网络模型对海洋产毒微藻进行识别。

所述步骤(1)中的对图像数据进行预处理包括剔除无效图像数据。

所述步骤(1)中的对图像数据进行预处理还包括归一化处理，所述归一化处理包括灰度归一化和几何归一化，所述灰度归一化通过对图像数据进行Gray(i,j)＝0.299R(i,j)+0.578G(i,j)+0.114B(i,j)灰度化处理后实现，其中，R、G和B分别为第i行j列像素的红色、绿色和蓝色分量；所述几何归一化是对图像数据的大小进行统一。

所述步骤(1)中的对图像数据进行预处理还包括利用高斯卷积核对图像数据进行滤波的步骤。

所述步骤(1)中还包括对图像数据进行增强处理的步骤，所述增强处理包括前期增强和后期增强，所述前期增强是通过光学显微镜的微调功能获得不同焦点下的图像数据；所述后期增强是对图像数据进行微移、翻转以及旋转操作。

所述步骤(2)中建立的卷积神经网络模型基于AlexNet模型，包含5个卷积层和3个全连接层，其中，在第1、第2和第5个卷积层后添加了下采样最大池化操作。

所述步骤(2)中建立的卷积神经网络模型在卷积、激活和池化过程时，将预处理后的图像数据作为输入层，该层为m×m的矩阵M，卷积核为c×c的矩阵C，偏置为b_i，得到的卷积特征图F，使用ReLU作为激活函数S()，得到的卷积特征图F的大小为(m-c+1)×(m-c+1)，计算公式为其中，f∈F，M_ij表示卷积时输入层中与卷积核相对应的元素，卷积特征图F的池化域为矩阵P，遍历原特征图的池化域后，得到子采样特征图S，S＝P_o(F)+b₂，其中，P_o()为池化函数，b₂为偏置量。

所述步骤(2)中对卷积神经网络模型进行训练时，采用单调下降动态学习率，所述学习率其中，10^minIndex为最小学习率，10^maxIndex为最大学习率，curStep为当前迭代次数，maxStep为最大迭代次数。

有益效果

由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明可以提高海洋产毒藻类的鉴定精度，提高鉴定效率，降低人工鉴定的难度。

附图说明

图1是内含物不清晰的原始图像示意图；

图2是藻种边缘不清晰的原始图像示意图；

图3是含水泡的藻种原始图像示意图。

图4样本的数据增强流程图；

图5是模型的基本结构图；

图6模型训练过程中的精度变化趋势图；

图7模型实际调用的精度验证结果图。

具体实施方式

下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

本发明的实施方式涉及一种基于深度学习的海洋产毒微藻种类自动识别方法，该方法从海洋微藻图像的镜检采样入手，结合专家的先验知识，建立藻种图像数据库，构建卷积神经网络，对最优模型进行筛选，并研究模型参数等变化对判别精度的影响。具体包括以下步骤：

1.数据的前期处理

(1)藻种图像的筛选

训练数据包括图像数据与标签数据两部分，在制作之前，要对数据其进行清洗，剔除无效图像。无效图像数据主要包括以下3种：a.内含物不清晰图像(如图1)；b.边缘不清晰(如图2)；c.含水泡图像(如图3)。

(2)微藻图像的灰度归一化和几何归一化

归一化包括两项操作。一是灰度归一化，灰度归一化用来对不同光源强度、光源方向下得到的微藻图像进行补偿，以减弱单纯由于光照变化造成的图像信号的变化。在此之前应先将微藻图片进行灰度化处理。通常按下式进行加权平均，以得到合理的灰度图像

Gray(i,j)＝0.299R(i,j)+0.578G(i,j)+0.114B(i,j)

其中，R、G和B分别为第i行j列像素的红色、绿色和蓝色分量。

另一项操作为几何归一化，其目的在于解决微藻尺度变化，将微藻图像统一为相同大小，便于模型的输入。

(3)图像的修复与重建

由于图像预处理过度可能会影响到后期模型的训练效果，因此对图像的修复和重建需谨慎进行。考虑这一点，本实施方式将采取较保守的方法，利用高斯卷积核对图像进行滤波。该方法仅考虑破损区域边缘一周的图像像素值，因此速度更快，而且修复区域的宽度也可以控制在2-3个像素之间。

经预处理后微藻的图片大小为M×M个像素(M＝127)，经专家鉴定确定其所处分类学地位，作为类别标签。

(4)数据增强过程

本实施方式采用前期增强和后期增强相结合的方式对数据进行增强。

前期增强是指采样时的数据增强，即是对不同对焦距离下同一藻类图像的采样实现。对同一藻种采样时，通过光学显微镜的微调功能，可以获得不同焦点下的藻类图片，进行多次调焦，可以获得不同的藻类图像结构。

另外，藻种类型不应处在图像中所处位置与旋转角度的影响，因此，后期增强是通过图像的微移、翻转以及旋转操作也可以对数据集进行增强处理(如图4)。

(5)训练数据集以二进制格式文件保存，包括两部分：

i标签数据文件：标签数据结构如下表所示

其中L表示标签标长度(字节)，n表示标签种类数，Namei表示第i个标签名称，N表示训练样本中记录数，Label Index表示藻种索引值。

ii.图像数据文件：图像数据结构如下表所示：

Row

Col

N

Img1

…

Img<sub>N-1</sub>

Img<sub>N</sub>

2字节

4字节

Row×Col×4字节

其中Row和Col分别表示每张藻类图像的高度和宽度(像素数)。N表示训练样本中记录数，Img表示每幅图像内容。其中4字节为一个浮点型数据所占空间。

2.卷积神经网络

在众多深度学习算法中，卷积神经网络(Convolutional Neural Networks，简称CNNs)是处理图像识别的重要方法之一。在本实施方式中，在Python环境下基于TensorFlow开源机器学习库，构建CNNs模型。收集主要海洋产毒微藻8种，首先进行图像采样，再经数据增强技术处理后共获得35240条记录，将其分为训练数据与测试数据两部分，在整个训练过程中，通过藻种标签进行对比误差，然后求解出残差，再通过链式求导法则，将残差通过求解偏导数逐步向上传递，并对权重进行更新，然后逐层的调整权重和偏置值。

(1)卷积、激活和池化过程

将预处理后的藻类灰度图像作为输入层，该层为m×m的矩阵M，卷积核为c×c的矩阵C，偏置为b_i，得到的卷积特征图F，使用ReLU作为激活函数S()，得到的卷积特征图F的大小为(m-c+1)×(m-c+1)。计算公式为

其中f∈F，M_ij表示卷积时输入层中与卷积核相对应的元素，其并非矩阵M的i行j列所对应的值。

在计算藻类图像某区域特征值的时，通常要对该区域的特征进行统计，以新的特征来代表该区域的总体特征。这个过程叫做池化(Pooling)。经池化一是可以降低原特征图的维度和分辨率，二是避免过拟合。设卷积特征图F的池化域为矩阵P，遍历原特征图的池化域后，得到子采样特征图S，即

S＝P_o(F)+b₂

其中，P_o()为池化函数，b₂为偏置量。

(2)模型结构

CNN基本结构包括两层，其一为特征提取层，每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征。一旦该局部特征被提取后，它与其它特征间的位置关系也随之确定下来；其二是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射是一个平面，平面上所有神经元的权值相等。此外，由于一个映射面上的神经元共享权值，因而减少了网络自由参数的个数。卷积神经网络中的每一个卷积层都紧跟着一个用来求局部平均与二次提取的计算层，这种特有的两次特征提取结构减小了特征分辨率。海洋藻类的图像可作为二维输入向量，直接输入网络。本实施方式所采用的卷积神经网络参考AlexNet模型，网络的整体架构如图5所示。模型包含5个卷积层和3个全连接层(包括输出层)，在第1、2、5个卷积计算后添加了降采样(Max-pooling，最大池化)操作。网络的主要执行流程及具体参数信息如下。

在第1卷积层，输入Input的灰度像规格为M×M(M为藻种图像边长像素数，本模型中M＝127)，利用96个大小规格为5×5的卷积核，进行藻种图像特征提取。共采用2个GPU服务器处理，每一个服务器上负责48个卷积核。在使用过滤器filter和数据进行卷积时卷积核尺寸是11×11，每次连接11×11大小区域，获得一个特征，在此基础上重复以上过程，再得到新的特征。然后下一个隐藏层中的某一个神经元是由上一个网络层中的多个神经元乘以权重加上偏置之后得到的权值共享，最后使用全链接。ReLU作为激活函数，使特征值在范围在合理范围之内再进行降采样处理。

在第2卷积层，使用256个5×5大小的过滤器filter对96×27×27个特征图，进行进一步提取特征，过滤器是对96个特征图中的某几个特征图中相应的区域乘以相应的权重，然后加上偏置之后所得到区域进行卷积。同样再进行经ReLU函数和降采样处理。

第3和第4卷积层分别得到384个13×13的新特征图，但都不进行降采样处理。

第5卷积层得到256个13×13个特征图，并降采样层pool，防止过拟合。

在本模型中，为简化模型结构，将第6层和第7层的全连接层分别减少至2048个神经元。

第8全连接层采用的是8个神经元，代表8个藻种，对第7层中2048个神经元进行全连接，得到N个float型的值，采用Softmax函数表示8个藻种的概率值。

(3)训练过程及模型精度

本实施方式中，将数据集的70％作为训练数据，30％作为测试数据，迭代次数设置为10000，逐次记录训练的Loss值、训练精度和测试精度，并依据将学习率从10-4向10-6次方学习率过渡，其中，10^minIndex为最小学习率，10^maxIndex为最大学习率，curStep为当前迭代次数，maxStep为最大迭代次数，模型损失从255506一直下降趋势至2.99184，训练精度从9.745％升至99.18％，测试精度从9.459％升至84.752％。迭代完成后，获得模型结构与参数图，训练精度如图6所示。

(3)模型参数的固化和调用

在Python环境下加载模型的图结构和参数，随机选取50幅海藻采样图，输入模型，实现模型的调用，除去开始时数据和模型的载入时间，对20个样本藻种鉴定总用时为199毫秒，单个识别速度为9.95毫秒，20个藻种中错误数为2个，总的准确率为90％。具体鉴定结果如图7所示，其中括号内为判别概率值。

Claims

1.一种基于深度学习的海洋产毒微藻种类自动识别方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于深度学习的海洋产毒微藻种类自动识别方法，其特征在于，所述步骤(1)中的对图像数据进行预处理包括剔除无效图像数据。

3.根据权利要求1所述的基于深度学习的海洋产毒微藻种类自动识别方法，其特征在于，所述步骤(1)中的对图像数据进行预处理还包括归一化处理，所述归一化处理包括灰度归一化和几何归一化，所述灰度归一化通过对图像数据进行Gray(i,j)＝0.299R(i,j)+0.578G(i,j)+0.114B(i,j)灰度化处理后实现，其中，R、G和B分别为第i行j列像素的红色、绿色和蓝色分量；所述几何归一化是对图像数据的大小进行统一。

4.根据权利要求1所述的基于深度学习的海洋产毒微藻种类自动识别方法，其特征在于，所述步骤(1)中的对图像数据进行预处理还包括利用高斯卷积核对图像数据进行滤波的步骤。

5.根据权利要求1所述的基于深度学习的海洋产毒微藻种类自动识别方法，其特征在于，所述步骤(1)中还包括对图像数据进行增强处理的步骤，所述增强处理包括前期增强和后期增强，所述前期增强是通过光学显微镜的微调功能获得不同焦点下的图像数据；所述后期增强是对图像数据进行微移、翻转以及旋转操作。

6.根据权利要求1所述的基于深度学习的海洋产毒微藻种类自动识别方法，其特征在于，所述步骤(2)中建立的卷积神经网络模型基于AlexNet模型，包含5个卷积层和3个全连接层，其中，在第1、第2和第5个卷积层后添加了下采样最大池化操作。

7.根据权利要求6所述的基于深度学习的海洋产毒微藻种类自动识别方法，其特征在于，所述步骤(2)中建立的卷积神经网络模型在卷积、激活和池化过程时，将预处理后的图像数据作为输入层，该层为m×m的矩阵M，卷积核为c×c的矩阵C，偏置为b_i，得到的卷积特征图F，使用ReLU作为激活函数S()，得到的卷积特征图F的大小为(m-c+1)×(m-c+1)，计算公式为其中，f∈F，M_ij表示卷积时输入层中与卷积核相对应的元素，卷积特征图F的池化域为矩阵P，遍历原特征图的池化域后，得到子采样特征图S，S＝P_o(F)+b₂，其中，P_o()为池化函数，b₂为偏置量。

8.根据权利要求1所述的基于深度学习的海洋产毒微藻种类自动识别方法，其特征在于，所述步骤(2)中对卷积神经网络模型进行训练时，采用单调下降动态学习率，所述学习率其中，10^minIndex为最小学习率，10^maxIndex为最大学习率，curStep为当前迭代次数，maxStep为最大迭代次数。