CN110223304B - 一种基于多路径聚合的图像分割方法、装置和计算机可读存储介质 - Google Patents
一种基于多路径聚合的图像分割方法、装置和计算机可读存储介质 Download PDFInfo
- Publication number
- CN110223304B CN110223304B CN201910419055.9A CN201910419055A CN110223304B CN 110223304 B CN110223304 B CN 110223304B CN 201910419055 A CN201910419055 A CN 201910419055A CN 110223304 B CN110223304 B CN 110223304B
- Authority
- CN
- China
- Prior art keywords
- data
- sampling
- image
- layer
- path aggregation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种基于多路径聚合的图像分割方法、装置和计算机可读存储介质。首先,采用自底向上的路径聚合编码器结构,利用低层特征中的空间位置信息增强了整个特征层次结构,缩短了低层与顶层特征之间的信息路径,使用了更完整的低层特征。其次,本发明中的增强译码器具有更大的特征容纳能力。再次,为了进一步提高掩蔽(mask)预测的效率,提出了一种高效的特征金字塔方法,利用较少的资源来完成特征金字塔效应。在BraTS2017和BraTS2018数据集上进行了算法验证,我们的方法优于传统的方法,具有更好的分割结果。
Description
技术领域
本发明属于图像处理与分析技术领域,具体涉及一种基于多路径聚合的图像分割方法、装置和计算机可读存储介质。
背景技术
随着计算机科学与人工智能的发展,计算机的运行速度不断加快,在面对很多实际应用问题时,深度学习方法的效果优于传统算法。图像的语义分割,就是对图像中每个像素进行分类,将相同语义的类别分割出来。近年来,自动驾驶、无人机、图片美化、智能家居、智能医疗等行业中图像分割的应用日渐增多,越来越多的产品、装置需要更好的图像分割技术作为支撑。
传统的图像自动分割算法包括阈值法、边缘检测法、区域增长法、分水岭算法、基于模型的方法(水平集)和综合使用多种方法。上述传统算法运算效率较高,但是准确度仍不能达到应用要求,而且在分割过程中需要人为干预。基于深度学习的图像分割算法在准确率性能上优于以上传统算法,但是在性能上仍存在许多缺点。在图像经过多层卷积神经网络后,得到的是较深层的特征,而在提取特征过程中的浅层特征却被忽略。在传统的基于深度学习的图像分割方法中,最后的分割图仅采用了深层特征,没有使用同样重要的浅层特征。目前有基于特征金字塔的多层特征融合方法,但是浅层特征的使用仍然不足。因此需要通道增强的图像分割方法。
发明内容
传统的基于卷积神经网络的图像分割方法未使用浅层特征或者使用不足,忽视了图像的空间位置信息。针对这一问题,本发明提出了一种基于多路径聚合的神经网络方法,可以充分有效地利用图像的浅层特征,结合图像的深层特征,共同输出分割结果,提高分割的精度。
本发明采用的技术方案如下:
一种基于多路径聚合的图像分割方法,该方法使用路径聚合结构,将图像浅层特征与深层特征相结合,得到最终的分割结果,具体步骤包括:
(一)数据预处理:对数据集进行归一化处理,调整图像灰度值分布;如有多模态数据,则将其融合后形成多通道数据,如数据为单模态,则直接进行后续处理;进行数据清洗,将没有标签的图像去除,得到最终数据;
(二)经过编码器对数据进行下采样处理:下采样区域由两个卷积层和一个池化层组成,为了防止梯度弥散,每个卷积层增加了批归一化层再激活,数据经过四次下采样区域,图像尺度变小,最后经过一个没有池化层的下采样区域,得到最终的下采样输出;
(三)经过增强解码器对数据进行上采样处理:在经历下采样之后,图像尺度变小,采用上采样的方式将图像恢复到原尺度,具体方法为:上采样区域包括一个反卷积层、一个用于将下采样中相同尺度的特征图与反卷积得到的特征图连接起来的连接层和两个卷积层,每层卷积都经过激活函数;下采样最终输出的特征图经过四个上采样区域,图像恢复到原图尺度,得到最终的上采样输出;为容纳更多信息特征,增多解码器通道数,与编码器的通道数不相同,过程如下所示:
D(xi)=D(xi-1)+E(xi)
D(xi)是第i个解码器的输出特征,E(xi)是第i个编码器的输出特征;
(四)经过路径聚合编码器对数据进行下采样处理:路径聚合区域由两个卷积层、一个下采样层和一个连接层组成,连接层将增强解码器中相同尺度的特征图与路径聚合层连接,共经过三次路径聚合区域,加上路径聚合区域的输入,得到四个尺度不同的特征图,为路径聚合区域的输出,过程如下所示:
A(xi)=A(xi-1)+D(xi)
A(xi)是第i个路径聚合编码器的输出特征;
(五)经过高效特征金字塔将路径聚合区域的输出特征图进行融合后输出最终分割结果:将路径聚合区域的输出分别上采样到原图尺度,然后进行像素值相加,在上采样过程中,减少各路径的通道数,过程如下所示:
P(x)是高效特征金字塔的输出特征,最后经过一个卷积层,经过激活函数,得到最终的多任务分割结果,过程如下所示:
H(x)是网络最终的输出结果;
(六)结果预测:将训练好的模型保存,输入测试集,得到最终分割结果。
为了实现上述方法,本发明还提供一种图像处理装置,该装置包括数据采集部件、存储器和处理器,其中,
所述数据采集部件对数据集进行归一化处理,调整图像灰度值分布;如有多模态数据,则将其融合后形成多通道数据,如数据为单模态,则直接进行后续处理;进行数据清洗,将没有标签的图像去除,得到最终数据;
所述存储器存储有计算机程序,所述程序被处理器执行时能够实现如前所述方法的步骤(二)至步骤(六)。
本发明还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如前所述方法的步骤。
在模型训练的数据预处理过程中,将数据随机打乱顺序,将数据集分为n份,选取其中n-1份作为训练集,选取剩余的1份作为验证集合,得到最终分割结果。本发明与传统的方法相对比,分割精度更高,具有更好的泛化能力。
附图说明
图1是基于多路径聚合的图像分割方法示意框图。
图2是本发明使用的分割模型示意框图。
图3是本发明的图像处理装置示意框图。
具体实施方式
下面通过附图对本发明技术方案进行详细说明。
如图1所示,本发明基于多路径融合的图像分割方法如下文所示:
步骤一:训练阶段:使用有标注的数据集进行训练。将数据集送入网络中参与训练,将交叉熵函数作为损失函数,使用Adam优化器更新路径聚合网络的参数,训练迭代70次,每次迭代都保存模型,保存模型之后使用数据集中的验证集部分进行验证,最终将验证正确率最高的模型保存。
步骤二:测试阶段:将数据进行预处理,对多个模态的数据进行裁剪然后进行减均值除以方差的标准化操作,然后送入训练阶段得到的效果最优的模型中,经过模型计算,得到分割结果图并显示出来。
如图2所示,路径聚合的网络结构与具体方法如下文所示:
(一)数据预处理:对数据集进行归一化处理,调整图像分布。如有多模态数据,将其融合,形成多通道数据,如数据为单模态,直接进行后续处理。将数据读取进来,得到的数据大小为b×w×h×c,其中b为图像数目,w为图像宽度,h为图像高度,c为通道数。打乱数据顺序,对数据集进行归一化处理。进行数据清洗,将没有标签的图像去除,得到最终数据。将全部数据集分为n份分别保存为数组形式,读取其中的n-1份作为训练集,剩余的1份作为测试集。
(二)编码器:
对训练数据进行下采样处理。下采样过程包含五个区域,其中四个为下采样区域,最后一个为非下采样区域。下采样区域由两个卷积层和一个下采样层组成。卷积层的卷积核大小为3,步长为1,下采样层采用最大池化层。第一到第四个下采样区域的卷积核个数递增。最后一个非下采样区域即下采样区域去掉池化层。为了防止梯度弥散,每个卷积层后都增加了批归一化层,下采样过程中的卷积层使用ReLU激活函数。训练数据经过下采样区域时,宽与高变为原来的1/2,最终下采样的输出的通道数为512,输出的宽与高为原图1/16。
(三)增强解码器:
对训练数据进行上采样处理。上采样过程包含四个区域,每个区域由一个上采样层、一个连接层、两个卷积层组成。其中上采样层采用插值法,连接层将下采样过程中相同尺度的特征图与上采样后的特征图连接起来,两个卷积层的卷积核大小为3,第一到第四个下采样区域的卷积核个数递减但多于编码器的个数,采取了非对称的结构,增强了解码器的特征解析作用。每个卷积层后增加了批归一化层,上采样过程中的卷积层都经过激活函数。训练数据经过上采样区域时,宽与高变为原来的2倍,最终上采样的输出通道数为64.输出的宽与高为原图尺度,过程如下所示:
D(xi)=D(xi-1)+E(xi)
D(xi)是第i个解码器的输出特征,E(xi)是第i个编码器的输出特征。
(四)路径聚合编码器:
对训练数据进行下采样处理。路径聚合区域包含三个下采样区域,每个区域由一个下采样层、一个连接层、两个卷积层组成。其中下采样采用步长为2的卷积层,连接层将上采样过程中相同尺度的特征图与路径聚合过程中的特征图连接起来,两个卷积层的卷积核大小分别为2与3,第一到第三个下采样区域的卷积核个数分别为128、256、512。每个卷积层后增加了批归一化层,下采样过程中的卷积层都使用ReLU激活函数。训练数据经过路径聚合区域时,宽与高变为原来的1/2。训练数据共经过三个路径聚合区域,算上路径聚合区域的输入,共得到四个长与宽分别为原图1/1、1/2、1/4、1/8的四个特征图,通道数递增,为路径聚合区域的输出,过程如下所示:
A(xi)=A(xi-1)+D(xi)
A(xi)是第i个路径聚合编码器的输出特征。
(五)高效特征金字塔:
将路径聚合区域的输出特征图进行融合后输出最终分割结果。针对路径聚合区域的四个输出,分别上采样到原图尺度,然后进行像素值相加,再经过一个卷积层。上采样过程包含一个卷积层与一个上采样层,卷积层的通道数为32,卷积核大小为1,目的是为了改变特征图的通道数,否则通道数较多的特征图上采样后占用存储空间较大不利于训练,上采样层采用插值法。过程如下所示:
P(x)是高效特征金字塔的输出特征,最后经过一个卷积层,经过激活函数,得到最终的多任务分割结果,过程如下所示:
H(x)是网络最终的输出结果。
(六)结果预测:将训练好的模型保存,输入测试集,得到最终分割结果。
在模型训练的数据预处理过程中,将数据随机打乱顺序,将数据集分为n份,选取其中n-1份作为训练集,选取剩余的1份作为验证集合,得到最终分割结果。
图3给出了本发明的图像处理装置示意框图。如图3所示,该图像处理装置包括数据采集部件、存储器和处理器,其中,所述数据采集部件对数据集进行归一化处理,调整图像灰度值分布;如有多模态数据,则将其融合后形成多通道数据,如数据为单模态,则直接进行后续处理;进行数据清洗,将没有标签的图像去除,得到最终数据;所述存储器存储有计算机程序,所述程序被处理器执行时能够实现如前所述方法的步骤(二)至步骤(六)。
本发明与传统的方法相对比,分割精度更高,具有更好的泛化能力。
本发明的效果可以通过分割结果进一步说明:
为验证本发明的性能,采用数据集BraTS2017与BraTS2018,包含285个患者的多模态数据。将标准数据集分为训练集与验证集,将多路径聚合的图像分割方法与其他不使用多路径聚合的方法进行对比。分别对比了水肿、坏死、增强部分的dice系数、查全率、查准率。
表1为本发明在BraTS2017数据集上的分割结果。表2为本发明在BraTS2018数据集上的分割结果。其中VGG、DUnet、FCNN为深度学习图像分割领域中的经典方法,PA+EFP+ED为路径聚合编码器、高效特征金字塔、增强解码器的组合,是本发明提出的方法。表中黑体数字为该列最大值,代表了最优效果。综上所述,本发明比经典方法的分割效果更好。
表1
表2
Claims (3)
1.一种基于多路径聚合的图像分割方法,该方法使用路径聚合结构,将图像浅层特征与深层特征相结合,得到最终的分割结果,具体步骤包括:
(一)数据预处理:对数据集进行归一化处理,调整图像灰度值分布;如有多模态数据,则将其融合后形成多通道数据,如数据为单模态,则直接进行后续处理;进行数据清洗,将没有标签的图像去除,得到最终数据;
(二)经过编码器对数据进行下采样处理:下采样区域由两个卷积层和一个池化层组成,为了防止梯度弥散,每个卷积层增加了批归一化层再激活,数据经过四次下采样区域,图像尺度变小,最后经过一个没有池化层的下采样区域,得到最终的下采样输出;
(三)经过增强解码器对数据进行上采样处理:在经历下采样之后,图像尺度变小,采用上采样的方式将图像恢复到原尺度,具体方法为:上采样区域包括一个反卷积层、一个用于将下采样中相同尺度的特征图与反卷积得到的特征图连接起来的连接层和两个卷积层,每层卷积都经过激活函数;下采样最终输出的特征图经过四个上采样区域,图像恢复到原图尺度,得到最终的上采样输出;为容纳更多信息特征,增多解码器通道数,与编码器的通道数不相同,过程如下所示:
D(xi)=D(xi-1)+E(xi)
D(xi)是第i个解码器的输出特征,E(xi)是第i个编码器的输出特征;
(四)经过路径聚合编码器对数据进行下采样处理:路径聚合区域由两个卷积层、一个下采样层和一个连接层组成,连接层将增强解码器中相同尺度的特征图与路径聚合层连接,共经过三次路径聚合区域,加上路径聚合区域的输入,得到四个尺度不同的特征图,为路径聚合区域的输出,过程如下所示:
A(xi)=A(xi-1)+D(xi)
A(xi)是第i个路径聚合编码器的输出特征;
(五)经过高效特征金字塔将路径聚合区域的输出特征图进行融合后输出最终分割结果:将路径聚合区域的输出分别上采样到原图尺度,然后进行像素值相加,在上采样过程中,减少各路径的通道数,过程如下所示:
P(x)是高效特征金字塔的输出特征,最后经过一个卷积层,经过激活函数,得到最终的多任务分割结果,过程如下所示:
H(x)是网络最终的输出结果;
(六)结果预测:将训练好的模型保存,输入测试集,得到最终分割结果。
2.一种图像处理装置,该装置包括数据采集部件、存储器和处理器,其中,
所述数据采集部件对数据集进行归一化处理,调整图像灰度值分布;如有多模态数据,则将其融合后形成多通道数据,如数据为单模态,则直接进行后续处理;进行数据清洗,将没有标签的图像去除,得到最终数据;
所述存储器存储有计算机程序,所述程序被处理器执行时能够实现权利要求1所述方法的步骤(二)至步骤(六)。
3.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910419055.9A CN110223304B (zh) | 2019-05-20 | 2019-05-20 | 一种基于多路径聚合的图像分割方法、装置和计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910419055.9A CN110223304B (zh) | 2019-05-20 | 2019-05-20 | 一种基于多路径聚合的图像分割方法、装置和计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110223304A CN110223304A (zh) | 2019-09-10 |
CN110223304B true CN110223304B (zh) | 2023-01-24 |
Family
ID=67821649
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910419055.9A Active CN110223304B (zh) | 2019-05-20 | 2019-05-20 | 一种基于多路径聚合的图像分割方法、装置和计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110223304B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110827297A (zh) * | 2019-11-04 | 2020-02-21 | 中国科学院自动化研究所 | 基于改进的条件生成对抗网络的绝缘子分割方法 |
CN111104962B (zh) * | 2019-11-05 | 2023-04-18 | 北京航空航天大学青岛研究院 | 图像的语义分割方法、装置、电子设备及可读存储介质 |
CN111047602A (zh) * | 2019-11-26 | 2020-04-21 | 中国科学院深圳先进技术研究院 | 图像分割方法、装置及终端设备 |
CN111161269B (zh) * | 2019-12-23 | 2024-03-22 | 上海联影智能医疗科技有限公司 | 图像分割方法、计算机设备和可读存储介质 |
CN111553925B (zh) * | 2020-04-27 | 2023-06-06 | 南通智能感知研究院 | 一种基于fcn的端对端农作物影像分割方法及*** |
CN112561937A (zh) * | 2020-12-18 | 2021-03-26 | 深圳先进技术研究院 | 基于病变边界信息响应的上下文感知医学图像分割方法 |
CN113393476B (zh) * | 2021-07-07 | 2022-03-11 | 山东大学 | 一种轻量化多路径网状图像分割方法、***和电子设备 |
CN117789253B (zh) * | 2024-02-23 | 2024-05-03 | 东北大学 | 一种基于双网络的视频行人重识别方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108510502A (zh) * | 2018-03-08 | 2018-09-07 | 华南理工大学 | 基于深度神经网络的黑色素瘤图片组织分割方法和*** |
CN109410219A (zh) * | 2018-10-09 | 2019-03-01 | 山东大学 | 一种基于金字塔融合学习的图像分割方法、装置和计算机可读存储介质 |
-
2019
- 2019-05-20 CN CN201910419055.9A patent/CN110223304B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108510502A (zh) * | 2018-03-08 | 2018-09-07 | 华南理工大学 | 基于深度神经网络的黑色素瘤图片组织分割方法和*** |
CN109410219A (zh) * | 2018-10-09 | 2019-03-01 | 山东大学 | 一种基于金字塔融合学习的图像分割方法、装置和计算机可读存储介质 |
Non-Patent Citations (3)
Title |
---|
Hybrid Pyramid U-Net Model for Brain Tumor Segmentation;Xiaogmao Kong等;《10th IFIP TC 12 International Conference, IIP 2018》;20181022;第346-355页 * |
Path Aggregation Network for Instance Segmentation;Shu Liu等;《arXiv:1803.01534v4 [cs.CV]》;20180918;第1-11页 * |
采用几何复杂度的室外场景图像分割和深度生成;任艳楠等;《信号处理》;20180531;第531-538页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110223304A (zh) | 2019-09-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110223304B (zh) | 一种基于多路径聚合的图像分割方法、装置和计算机可读存储介质 | |
CN111681252B (zh) | 一种基于多路径注意力融合的医学图像自动分割方法 | |
CN108509978B (zh) | 基于cnn的多级特征融合的多类目标检测方法及模型 | |
CN110020989B (zh) | 一种基于深度学习的深度图像超分辨率重建方法 | |
CN111325751A (zh) | 基于注意力卷积神经网络的ct图像分割*** | |
CN111242288B (zh) | 一种用于病变图像分割的多尺度并行深度神经网络模型构建方法 | |
Liu et al. | Cross-SRN: Structure-preserving super-resolution network with cross convolution | |
CN109712165B (zh) | 一种基于卷积神经网络的同类前景图像集分割方法 | |
CN112116605A (zh) | 一种基于集成深度卷积神经网络的胰腺ct图像分割方法 | |
CN110569851B (zh) | 门控多层融合的实时语义分割方法 | |
CN110675411A (zh) | 基于深度学习的***内病变识别算法 | |
CN116309648A (zh) | 一种基于多注意力融合的医学图像分割模型构建方法 | |
CN110866938B (zh) | 一种全自动视频运动目标分割方法 | |
CN113066025B (zh) | 一种基于增量学习与特征、注意力传递的图像去雾方法 | |
CN110599495B (zh) | 一种基于语义信息挖掘的图像分割方法 | |
CN115375711A (zh) | 基于多尺度融合的全局上下文关注网络的图像分割方法 | |
CN110738660A (zh) | 基于改进U-net的脊椎CT图像分割方法及装置 | |
CN117575915B (zh) | 一种图像超分辨率重建方法、终端设备及存储介质 | |
CN111951164A (zh) | 一种图像超分辨率重建网络结构及图像重建效果分析方法 | |
CN114821058A (zh) | 一种图像语义分割方法、装置、电子设备及存储介质 | |
CN112529908A (zh) | 一种基于级联卷积网络的数字病理图像分割方法及其模型 | |
CN116863194A (zh) | 一种足溃疡图像分类方法、***、设备及介质 | |
CN110458849B (zh) | 一种基于特征修正的图像分割方法 | |
CN114418987A (zh) | 一种多阶段特征融合的视网膜血管分割方法及*** | |
CN117409030A (zh) | 基于动态管状卷积的octa图像血管分割方法及其*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |