CN111915612A - 一种基于多编码器卷积神经网络的图像分割方法和*** - Google Patents

一种基于多编码器卷积神经网络的图像分割方法和*** Download PDF

Info

Publication number
CN111915612A
CN111915612A CN202010727353.7A CN202010727353A CN111915612A CN 111915612 A CN111915612 A CN 111915612A CN 202010727353 A CN202010727353 A CN 202010727353A CN 111915612 A CN111915612 A CN 111915612A
Authority
CN
China
Prior art keywords
encoder
convolution
layer
data
decoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010727353.7A
Other languages
English (en)
Other versions
CN111915612B (zh
Inventor
吴强
庞恩帅
李新钢
吴琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202010727353.7A priority Critical patent/CN111915612B/zh
Publication of CN111915612A publication Critical patent/CN111915612A/zh
Application granted granted Critical
Publication of CN111915612B publication Critical patent/CN111915612B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多编码器卷积神经网络的图像分割方法和***。基于多编码器卷积神经网络的图像分割方法其特征在于：采用若干个编码器提取特征，通过解码器恢复至原始分辨率，编码器1由若干卷积层和下采样MaxPooling层组成，在编码器1经过三次、两次和一次下采样的卷积层上分别设置一个编码器，得到编码器2、3、4，在最底层将不同编码器提取的特征在通道维度进行融合，然后构建与编码器1对称的解码器结构，通过跨层连接将编码器1和与解码器相邻编码器卷积层中的特征送到对称的解码过程中，直到图像恢复到原始分辨率，进行逐个像素点分类，得到最终的分割结果，在ATLAS Release 1.1数据集上进行了算法验证，本发明提出的方法优于传统方法，分割效果更好。

Description

一种基于多编码器卷积神经网络的图像分割方法和***
技术领域
本发明属于图像处理领域，具体涉及一种基于多编码器卷积神经网络的图像分割方法和***。
背景技术
图像的语义分割是计算机视觉的一个关键问题，它是在像素级别上图像的识别，将图像中的每一个像素标注出它所属的对象类别，广泛应用于自动驾驶、无人机落点判断、地质监测、人脸识别等场景中。
传统的图像分割方法包括：阈值分割法、区域生长法、区域***合并法、边缘检测法和结合特定工具(小波变换、马尔科夫随机场、遗传算法)的图像分割算法，但是它们都需要人为的干预来完成最终的分割。比如，阈值分割法需要人为选取阈值，并且这种方法只考虑了像素点灰度值本身的特征，没有考虑空间特征，对噪声比较敏感；区域生长法需要人工选取种子，对噪声比较敏感，可能会导致分割区域内有空洞；区域***合并法需要人为的自定义谓词函数，算法复杂，***过程有可能破坏区域的边界；边缘检测法难以保证边缘的连续性和封闭性，高细节区域存在着很多的碎边缘，需要人工进行后续处理。目前受到人工智能发展的影响，出现了以神经网络模型为基础的图像分割方法，它可以实现端到端的图像分割，并且不需要人工干预，自动的完成分割。
虽然基于深度学习的图像分割方法优于传统的图像分割方法，但是仍然有很大的提升空间。目前基于深度学习的图像分割方法主要是编码器-解码器结构，并在解码的过程融合编码器提取的浅层特征信息。但是这种结构只包含一个编码器，并且使用的卷积操作往往也都一样，提取的特征信息不够丰富，解码过程也只融合一种编码器提取的浅层特征，图像恢复原始分别率的过程融合的浅层特征太少，因此我们需要在编码过程提取更多的特征信息，在解码过程融入更多的浅层信息，来提高图像分割的精度。
发明内容
基于卷积神经网络的图像分割方法在编码过程中提取的特征信息不够丰富，解码过程融合的浅层特征信息太少，不利于最后的分割。针对这些问题，本发明提出了一种基于多编码器卷积神经网络的图像分割方法和***。
本发明采用的技术方案如下：
一种基于多编码器卷积神经网络的图像分割方法，该方法利用深度卷积神经网络将三维核磁共振影像中的坏死组织与正常组织进行准确分割，其特征在于：采用若干个编码器提取特征，通过解码器恢复至原始分辨率，编码器1由若干卷积层和下采样MaxPooling层组成，在编码器1经过三次、两次和一次下采样的卷积层上分别设置一个编码器，得到编码器2、3、4，在最底层将不同编码器提取的特征在通道维度进行融合，然后构建与编码器1对称的解码器结构，通过跨层连接将编码器1和与解码器相邻编码器卷积层中的特征送到对称的解码过程中，直到图像恢复到原始分辨率，进行逐个像素点分类，得到最终的分割结果，具体步骤如下：
(一)数据预处理，对输入的三维核磁共振影像数据进行归一化处理，然后进行数据清洗，将没有标签的数据删掉，得到处理好的数据；
(二)将步骤(一)中处理好的数据通过编码器提取特征，总共包括四个编码器，首先是编码器1，它由五个卷积层和四个下采样层构成，每个卷积层包含两个卷积操作，用来提取特征信息，下采样层通过最大池化实现，每经过一次下采样，图像大小变为原来的一半，这样可以减少训练的参数，并增大感受野；
(三)为了提取更多的特征信息，在编码器1经过三次、两次和一次下采样的卷积层上分别设置一个编码器，得到编码器2、3、4，这些编码器由多个卷积块组成，每个卷积块包括一个下采样层、一个特征融合层和一个卷积层，具体是：首先进行下采样，然后将池化之后的特征与已经设置好的所有编码器卷积层的特征在通道维度上进行拼接，实现特征融合，再使用卷积层，进行特征提取，在最底层所有编码器的最终输出特征在通道维度上进行拼接，拼接过程如下所示：
Figure BDA0002600908770000021
E(xi)表示从左到右第几个编码器的最底层输出特征，
Figure BDA0002600908770000022
代表通道维度上特征连接操作，E(x)代表所有编码器提取特征的最终融合结果；
(四)为了将图像恢复到与输入图像相同的尺度，将步骤(三)得到的结果放入解码器，解码器采用与编码器1对称的结构，由若干卷积块构成，每个卷积块包括一个上采样层，一个特征融合层和一个卷积层(两个卷积操作)，上采样层对步骤(三)的输出特征进行两倍上采样和一次卷积操作，得到的结果融合编码器1和与解码器相邻编码器卷积层中的特征信息，再进行两个卷积操作，最后将当前卷积块得到的特征送入下一个卷积块，进行相同操作，直到恢复原始尺寸大小；
(五)最后将步骤(四)解码器的最终输出送入到一个sigmoid层完成每一个像素的分类，得到最终的分割结果。
在模型训练的过程中，将上述步骤(一)得到的处理好的数据随机打乱，平均分成k份，其中一份做验证集，剩下的(k-1)份做训练集，做k次交叉验证，将k次实验的结果做平均，得到最终的分割结果。
另一方面，本发明提出了一种基于多编码器卷积神经网络的图像分割***，包括：数据采集器、存储器、数据处理器，数据采集器用于采集原始数据，存储器中存储有相关计算机程序，程序被数据处理器处理时能实现如前所述方法的步骤(一)至步骤(五)。
本发明还包括一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被执行时实现上述方法的步骤。
附图说明
图1是基于神经网络模型的图像分割方法示意框图，其中(a)表示训练过程，(b)表示测试过程；
图2是本发明使用的基于多编码器卷积神经网络图像分割模型示意框图，虚线框内是编码器，x1、x2、x3、x4分别代表编码器1、2、3、4；
图3是本发明提出的基于多编码器卷积神经网络图像分割***示意框图。
具体实施方式
下面结合附图和实例对本发明做详细的说明。
第一，我们提出了基于多编码器卷积神经网络的图像分割方法。
如图1所示，本发明中基于多编码器卷积神经网络的图像分割方法模型训练和测试如下文所示：
(一)训练阶段：我们将数据进行预处理，随机打乱，分成训练集和验证集，我们将处理好的数据送入到神经网络模型中进行训练，我们使用Dice-loss作为损失函数，Adam作为优化器更新网络参数，训练进行180次，每次训练结束就保存模型，并将模型在验证集上进行验证，最后将在验证集上分割结果最好的那个模型保存下来，作为最优模型。
(二)测试阶段：我们将数据进行归一化处理，然后将处理好的数据送到(一)中得到的最优模型中，得到分割结果。
如图2所示，本发明提出的基于多编码器卷积神经网络图像分割算法具体分割步骤如下文所示：
(一)数据预处理：我们使用的ATLAS Release 1.1的数据集只包含1种模态数据，将其进行归一化处理：
Figure BDA0002600908770000031
X代表输入数据，Xmax代表输入数据中的最大值，X*代表归一化后的数据。得到数据大小为n×w×h×c,n代表图片数目，w代表图像的宽度，h代表图像的高度，c代表通道数目，这里的c＝1。之后进行数据清洗，将没有标签的数据删除，得到处理好的数据；
(二)编码器1：将步骤(一)中处理好的数据通过编码器提取特征，首先是编码器1，它由五个卷积层和四个下采样层构成，每个卷积层包含两个卷积操作，卷积层的卷积核大小为3*3，激活函数是Relu，用来提取特征信息，下采样层通过最大池化实现，池化层步长为2。每经过一次下采样，图像大小变为原来的一半，这样可以减少训练的参数，并增大感受野；
(三)编码器2、3、4：为了提取更多的特征信息，在编码器1经过三次、两次和一次下采样的卷积层上分别设置一个编码器，得到编码器2、3、4，这些编码器由多个卷积块组成，每个卷积块包括一个下采样层、一个特征融合层和一个卷积层(两个卷积操作)，具体操作是：首先进行下采样，然后将池化之后的特征与已经设置好的所有编码器卷积层的特征在通道维度上进行拼接，实现特征融合，再使用两个卷积核大小为1*1的卷积进行特征提取。在最底层所有编码器的最终输出特征在通道维度上进行拼接，拼接过程如下所示：
Figure BDA0002600908770000041
E(xi)表示从左到右第几个编码器的最底层输出特征，
Figure BDA0002600908770000042
代表通道维度上特征连接操作，E(x)代表所有编码器提取特征的最终融合结果；
(四)解码器：为了将图像恢复到与输入图像相同的尺度，将步骤(三)得到的结果放入解码器，解码器采用与编码器1对称的结构，由若干卷积块构成，每个卷积块包括一个一个上采样层，一个特征融合层和一个卷积层(两个卷积操作)，卷积操作的卷积核大小为3*3，激活函数是Relu，上采样层对步骤(三)的输出特征进行两倍上采样和一次卷积操作，得到的结果融合编码器1和与解码器相邻编码器卷积层中的特征信息，再进行两个卷积操作，最后将当前卷积块得到的特征送入下一个卷积块，进行相同操作，直到恢复原始尺寸大小；
(五)结果：最后将步骤(四)解码器的最终输出送入到一个sigmoid层完成每一个像素的分类，得到最终的分割结果。
在模型训练的过程中，将上述步骤(一)得到的处理好的数据随机打乱，平均分成k份，其中一份做验证集，剩下的(k-1)份做训练集，做k次交叉验证,将k次实验的结果取平均值，得到最终的分割结果。
我们还做了一些经典的深度学习分割方法，本发明提出的方法与经典的深度学习分割方法相比，我们的分割精度更高，模型的泛化性能更好。
本发明提出的图像分割方法的效果还可以通过分割结果来说明：
我们使用ATLAS Release 1.1数据来验证我们提出的方法，这个数据集包含239个样本数据，我们将数据集进行预处理，并分为训练集和验证集，将我们提出的方法和其他的一些经典的深度学习分割方法进行比较。我们进行了五折交叉验证实验，表格1记载了坏死区域分割结果的Dice系数，其中VGG,SegNet,UNet是一些经典的基于深度学习的分割方法，MENet是本发明提出的方法，从表中可以看出，我们提出的分割算法分割精度高于其他的一些经典的深度学习图像分割方法。
第二，我们提出了基于多编码器卷积神经网络的图像分割***。
如图3所示，具体包括数据采集器，存储器和数据处理器。数据采集器用于采集需要的图像数据，存储器中存储着我们提出的基于多编码器网络的图像分割程序、采集的数据和处理后的数据，数据处理器执行基于多编码器卷积神经网络图像分割程序，实现下面的步骤：
1、获取图像数据，图像数据由***用户提供。
2、数据预处理，对数据进行归一化处理，使得数据格式符合分割方法的数据输入格式。
3、图像分割，将处理好的数据送入到我们训练好的图像分割模型中，完成我们上面提到的分割方法步骤中的(二)到(五)，得到最终的分割结果。
4、显示图像分割结果，将原始数据中的图像数据和分割结果显示出来。
方法 Dice
VGG 0.8905
SegNet 0.9001
UNet 0.9115
MENet 0.9182
表1。

Claims (3)

1.一种基于多编码器卷积神经网络的图像分割方法，该方法利用深度卷积神经网络将三维核磁共振影像中的坏死组织与正常组织进行准确分割，其特征在于：采用若干个编码器提取特征，通过解码器恢复至原始分辨率，编码器1由若干卷积层和下采样MaxPooling层组成，在编码器1经过三次、两次和一次下采样的卷积层上分别设置一个编码器，得到编码器2、3、4，在最底层将不同编码器提取的特征在通道维度进行融合，然后构建与编码器1对称的解码器结构，通过跨层连接将编码器1和与解码器相邻编码器卷积层中的特征送到对称的解码过程中，直到图像恢复到原始分辨率，进行逐个像素点分类，得到最终的分割结果，具体步骤如下：
(一)数据预处理，对输入的三维核磁共振影像数据进行归一化处理，然后进行数据清洗，将没有标签的数据删掉，得到处理好的数据；
(二)将步骤(一)中处理好的数据通过编码器提取特征，总共包括四个编码器，首先是编码器1，它由五个卷积层和四个下采样层构成，每个卷积层包含两个卷积操作，用来提取特征信息，下采样层通过最大池化实现，每经过一次下采样，图像大小变为原来的一半，这样可以减少训练的参数，并增大感受野；
(三)为了提取更多的特征信息，在编码器1经过三次、两次和一次下采样的卷积层上分别设置一个编码器，得到编码器2、3、4，这些编码器由多个卷积块组成，每个卷积块包括一个下采样层、一个特征融合层和一个卷积层，具体是：首先进行下采样，然后将池化之后的特征与已经设置好的所有编码器卷积层的特征在通道维度上进行拼接，实现特征融合，再使用卷积层，进行特征提取，在最底层所有编码器的最终输出特征在通道维度上进行拼接，拼接过程如下所示：
Figure FDA0002600908760000011
E(xi)表示从左到右第几个编码器的最底层输出特征，
Figure FDA0002600908760000012
代表通道维度上特征连接操作，E(x)代表所有编码器提取特征的最终融合结果；
(四)为了将图像恢复到与输入图像相同的尺度，将步骤(三)得到的结果放入解码器，解码器采用与编码器1对称的结构，由若干卷积块构成，每个卷积块包括一个上采样层，一个特征融合层和一个卷积层(两个卷积操作)，上采样层对步骤(三)的输出特征进行两倍上采样和一次卷积操作，得到的结果融合编码器1和与解码器相邻编码器卷积层中的特征信息，再进行两个卷积操作，最后将当前卷积块得到的特征送入下一个卷积块，进行相同操作，直到恢复原始尺寸大小；
(五)最后将步骤(四)解码器的最终输出送入到一个sigmoid层完成每一个像素的分类，得到最终的分割结果。
2.一种基于多编码器卷积神经网络的图像分割***，包括：数据采集器、存储器、数据处理器，数据采集器用于采集原始数据，存储器中存储有相关计算机程序，程序被数据处理器处理时能实现如权利要求1所述方法的步骤(一)至步骤(五)。
3.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被执行时实现如权利要求1所述方法的步骤。
CN202010727353.7A 2020-07-24 2020-07-24 一种基于多编码器卷积神经网络的图像分割方法和*** Active CN111915612B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010727353.7A CN111915612B (zh) 2020-07-24 2020-07-24 一种基于多编码器卷积神经网络的图像分割方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010727353.7A CN111915612B (zh) 2020-07-24 2020-07-24 一种基于多编码器卷积神经网络的图像分割方法和***

Publications (2)

Publication Number Publication Date
CN111915612A true CN111915612A (zh) 2020-11-10
CN111915612B CN111915612B (zh) 2022-10-14

Family

ID=73281741

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010727353.7A Active CN111915612B (zh) 2020-07-24 2020-07-24 一种基于多编码器卷积神经网络的图像分割方法和***

Country Status (1)

Country Link
CN (1) CN111915612B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112990320A (zh) * 2021-03-19 2021-06-18 中国矿业大学(北京) 一种岩性的分类方法、装置、电子设备及存储介质
CN113393476A (zh) * 2021-07-07 2021-09-14 山东大学 一种轻量化多路径网状图像分割方法、***和电子设备
CN114140472A (zh) * 2022-02-07 2022-03-04 湖南大学 一种跨级信息融合医学图像分割方法
CN114446469A (zh) * 2022-01-28 2022-05-06 北京鹰之眼智能健康科技有限公司 一种用于中医面诊辅助诊断的人脸区域分割方法、装置和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108986124A (zh) * 2018-06-20 2018-12-11 天津大学 结合多尺度特征卷积神经网络视网膜血管图像分割方法
CN110570363A (zh) * 2019-08-05 2019-12-13 浙江工业大学 基于带有金字塔池化与多尺度鉴别器的Cycle-GAN的图像去雾方法
CN110580704A (zh) * 2019-07-24 2019-12-17 中国科学院计算技术研究所 基于卷积神经网络的et细胞图像自动分割方法及***
CN110599492A (zh) * 2019-09-19 2019-12-20 腾讯科技（深圳）有限公司 图像分割模型的训练方法、装置、电子设备及存储介质
CN110599495A (zh) * 2019-07-26 2019-12-20 山东大学 一种基于语义信息挖掘的图像分割方法
CN110738697A (zh) * 2019-10-10 2020-01-31 福州大学 基于深度学习的单目深度估计方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108986124A (zh) * 2018-06-20 2018-12-11 天津大学 结合多尺度特征卷积神经网络视网膜血管图像分割方法
CN110580704A (zh) * 2019-07-24 2019-12-17 中国科学院计算技术研究所 基于卷积神经网络的et细胞图像自动分割方法及***
CN110599495A (zh) * 2019-07-26 2019-12-20 山东大学 一种基于语义信息挖掘的图像分割方法
CN110570363A (zh) * 2019-08-05 2019-12-13 浙江工业大学 基于带有金字塔池化与多尺度鉴别器的Cycle-GAN的图像去雾方法
CN110599492A (zh) * 2019-09-19 2019-12-20 腾讯科技（深圳）有限公司 图像分割模型的训练方法、装置、电子设备及存储介质
CN110738697A (zh) * 2019-10-10 2020-01-31 福州大学 基于深度学习的单目深度估计方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112990320A (zh) * 2021-03-19 2021-06-18 中国矿业大学(北京) 一种岩性的分类方法、装置、电子设备及存储介质
CN113393476A (zh) * 2021-07-07 2021-09-14 山东大学 一种轻量化多路径网状图像分割方法、***和电子设备
CN113393476B (zh) * 2021-07-07 2022-03-11 山东大学 一种轻量化多路径网状图像分割方法、***和电子设备
CN114446469A (zh) * 2022-01-28 2022-05-06 北京鹰之眼智能健康科技有限公司 一种用于中医面诊辅助诊断的人脸区域分割方法、装置和存储介质
CN114140472A (zh) * 2022-02-07 2022-03-04 湖南大学 一种跨级信息融合医学图像分割方法

Also Published As

Publication number Publication date
CN111915612B (zh) 2022-10-14

Similar Documents

Publication Publication Date Title
CN111915612B (zh) 一种基于多编码器卷积神经网络的图像分割方法和***
AU2019213369B2 (en) Non-local memory network for semi-supervised video object segmentation
CN108830855B (zh) 一种基于多尺度低层特征融合的全卷积网络语义分割方法
CN110660062B (zh) 一种基于PointNet的点云实例分割方法及***
CN110516536B (zh) 一种基于时序类别激活图互补的弱监督视频行为检测方法
CN111429460B (zh) 图像分割方法、图像分割模型训练方法、装置和存储介质
CN111768432A (zh) 基于孪生深度神经网络的动目标分割方法及***
CN109063666A (zh) 基于深度可分离卷积的轻量化人脸识别方法及***
CN111340814A (zh) 一种基于多模态自适应卷积的rgb-d图像语义分割方法
CN111369565A (zh) 一种基于图卷积网络的数字病理图像的分割与分类方法
CN106408037A (zh) 图像识别方法及装置
CN113269224A (zh) 一种场景图像分类方法、***及存储介质
CN111325766B (zh) 三维边缘检测方法、装置、存储介质和计算机设备
CN113780249B (zh) 表情识别模型的处理方法、装置、设备、介质和程序产品
CN110599495B (zh) 一种基于语义信息挖掘的图像分割方法
CN110991374B (zh) 一种基于rcnn的指纹奇异点检测方法
CN113689434A (zh) 一种基于条带池化的图像语义分割方法
CN114037699B (zh) 一种病理图像分类方法、设备、***及存储介质
CN115410059A (zh) 基于对比损失的遥感图像部分监督变化检测方法及设备
CN111414952B (zh) 行人重识别的噪声样本识别方法、装置、设备和存储介质
CN110458849B (zh) 一种基于特征修正的图像分割方法
Özyurt et al. A new method for classification of images using convolutional neural network based on Dwt-Svd perceptual hash function
CN113192076B (zh) 联合分类预测和多尺度特征提取的mri脑肿瘤图像分割方法
CN112183669B (zh) 图像分类方法和装置、设备及存储介质
CN113688715A (zh) 面部表情识别方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant