CN110458849A - 一种基于特征修正的图像分割方法 - Google Patents
一种基于特征修正的图像分割方法 Download PDFInfo
- Publication number
- CN110458849A CN110458849A CN201910684402.0A CN201910684402A CN110458849A CN 110458849 A CN110458849 A CN 110458849A CN 201910684402 A CN201910684402 A CN 201910684402A CN 110458849 A CN110458849 A CN 110458849A
- Authority
- CN
- China
- Prior art keywords
- feature
- sampling
- output
- characteristic modification
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000012986 modification Methods 0.000 title claims abstract description 37
- 230000004048 modification Effects 0.000 title claims abstract description 37
- 238000005192 partition Methods 0.000 title claims abstract description 9
- 230000011218 segmentation Effects 0.000 claims abstract description 30
- 230000004927 fusion Effects 0.000 claims abstract description 8
- 238000005070 sampling Methods 0.000 claims description 46
- 230000008569 process Effects 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 239000002131 composite material Substances 0.000 abstract 1
- 238000000638 solvent extraction Methods 0.000 abstract 1
- 238000012549 training Methods 0.000 description 11
- 238000003709 image segmentation Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000004321 preservation Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 206010030113 Oedema Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000002715 modification method Methods 0.000 description 1
- 230000017074 necrotic cell death Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种基于特征修正的图像分割方法。传统深度学习分割算法往往包含编码器和解码器两个部分,注重特征的融合,特征金字塔等方法将来自不同层次的空间与细节等信息全部融合,这使得对分割结果有利和不利的信息都被融合了进来,因此,需要在分割过程中将特征朝有利于分割结果的方向修正。本发明采用了编码器、特征修正解码器与特征金字塔的组合结构,在BraTS2017数据集上进行了算法验证,本发明的方法优于传统的方法,具有更好的分割结果。
Description
技术领域
本发明属于图像处理与分析技术领域,具体涉及一种基于特征修正的图像分割方法。
背景技术
图像的语义分割,就是对图像中每个像素进行分类,将相同语义的类别分割出来。近年来,自动驾驶、无人机、图片美化、智能家居、智能医疗等行业中图像分割的应用日渐增多,越来越多的产品、装置需要更好的图像分割技术作为支撑。
传统的图像自动分割算法包括阈值法、边缘检测法、区域增长法、分水岭算法、基于模型的方法(水平集)和综合使用多种方法。上述传统算法运算效率较高,但是准确度仍不能达到应用要求,而且在分割过程中需要人为干预。随着计算机科学与人工智能的发展,计算机的运行速度不断加快,在面对很多实际应用问题时,越来越多地使用深度学习方法。基于深度学习的图像分割算法在准确率性能上优于以上传统算法,但是在性能上仍存在可改进的空间。传统深度学习算法往往包含编码器和解码器两个部分,将包含编码器和解码器的信息融合输出分割结果。目前分割方法注重特征的融合,例如特征金字塔等,这些方法将来自不同层次的空间与细节等信息全部融合,对分割结果有利和不利的信息都被融合了进来,因此,需要在分割过程中将特征朝有利于分割结果的方向修正。
发明内容
针对现有深度学习方法存在的问题,本发明提出了一种基于特征修正的图像分割方法,可以在分割过程中将特征朝有利于分割结果的方向修正,提高分割的精度。
本发明采用的技术方案如下:
一种基于特征修正的图像分割方法,该方法使用特征修正结构,在分割过程中将特征朝有利于分割结果的方向修正,具体步骤包括:
(一)数据预处理:对数据集进行归一化处理,并进行数据多通道融合,再进行数据清洗,将没有标签的图像去除,最后进行数据增强,得到最终的特征数据集;
(二)经过编码器对数据进行下采样处理:编码器部分由多个下采样区域组成,下采样区域数量可自由设置,每个下采样区域包含两层卷积与一层池化,每个下采样区域使用残差网络结构,并在卷积层后采用了局部响应归一化以防止梯度弥散,特征经过多次下采样区域后尺度变小,同时通道数变大,最后经过一个没有池化层的下采样区域得到最终编码器输出;
(三)经过特征修正解码器对数据进行上采样处理:解码器部分由多个上采样区域组成,上采样区域数量可自由设置,最终需要上采样到原图尺度,每个上采样区域包括一个上采样层、特征修正部分和两个卷积层,每个上采样区域使用残差网络结构,并在卷积层后采用了局部响应归一化以防止梯度弥散,所述特征修正部分包括两个特征相乘层与一个连接层,第一个特征相乘层将来自编码器与来自解码器上采样后的两个尺度相同的特征相乘,第二个特征相乘层将来自解码器上采样后的特征进行自乘运算,最后连接层将两个特征相乘层的输出连接,得到特征修正部分的输出,过程如下所示:
E(xi)是编码器的输出,D(xi)是特征修正解码器的输出,为特征连接操作;
(四)经过特征金字塔将特征融合输出分割结果:将特征修正解码器中每个上采样区域的输出分别上采样到原图尺度,并且通道数相同,然后进行特征相加,过程如下所示:
P(x)是特征金字塔的输出,最后经过一个卷积层,使用激活函数,得到最终的分割结果,过程如下所示:
Output是网络最终的输出结果;
(五)结果预测:将训练好的模型保存,输入测试集,得到最终的分割结果。
在模型训练的数据预处理过程中,将数据随机打乱顺序,将数据集分为n份,选取其中n-1份作为训练集,选取剩余的1份作为验证集合,得到最终分割结果。本发明与传统的方法相对比,分割精度更高,具有更好的泛化能力。
附图说明
图1是基于特征修正的图像分割方法示意框图。
图2是本发明使用的分割模型示意框图。
图3是本发明的图像处理装置示意框图。
具体实施方式
下面通过附图对本发明技术方案进行详细说明。
如图1所示,本发明基于特征修正的图像分割方法如下文所示:
步骤一:训练阶段:使用有标注的数据集进行训练。将数据集送入网络中参与训练,将交叉熵函数作为损失函数,使用Adam优化器更新特征修正网络的参数,训练迭代70次,每次迭代都保存模型,保存模型之后使用数据集中的验证集部分进行验证,最终将验证正确率最高的模型保存。
步骤二:测试阶段:将数据进行预处理,对多个模态的数据进行裁剪然后进行减均值除以方差的标准化操作,然后送入训练阶段得到的效果最优的模型中,经过模型计算,得到分割结果图并显示出来。
如图2所示,特征修正的网络结构与具体方法如下文所示:
(一)数据预处理:
对数据集进行归一化处理,
X为输入数据,μ为输入数据的均值,σ为输入数据的方差,X′为归一化处理后的数据。如有多模态数据,将其融合,形成多通道数据,如数据为单模态,直接进行后续处理。将数据读取进来,得到的数据大小为b×w×h×c,其中b为图像数目,w为图像宽度,h为图像高度,c为通道数。然后进行数据清洗,打乱数据顺序,将没有标签的图像去除。最后进行数据增强,将原数据集的前半部分向左旋转90度,后半部分向右旋转90度,增强为原来的两倍,得到最终数据集。将全部数据集分为n份分别保存为数组形式,读取其中的n-1份作为训练集,剩余的1份作为测试集;
(二)编码器:
编码器部分由五个下采样区域组成。其中四个包含两层卷积与一层池化,最后一个只包含两层卷积。每个下采样区域都使用残差网络结构,并在卷积层后采用了局部响应归一化以防止梯度弥散。卷积层中卷积核的大小为3,步长为1,激活函数为ReLU,池化层采用最大池化。下采样区域的卷积核个数成2倍递增。训练数据经过下采样区域时,宽与高变为原来的1/2,最终下采样的输出的通道数为512,输出的宽与高为原图1/16;
(三)特征修正解码器:
在经历下采样之后,图像尺度变小,采用上采样的方式将图像恢复到原尺度。解码器部分由四个上采样区域组成。其中上采样区域包括一个上采样层,特征修正部分和两个卷积层,每个区域使用残差网络结构,并在卷积层后采用了局部响应归一化以防止梯度弥散。其中特征修正部分用于对来自下采样部分与上采样部分的特征进行修正,使经过编码器和解码器的特征更趋向于分割结果。特征修正部分包括两个特征相乘层与一个连接层,第一个特征相乘层将来自编码器与解码器上采样后的两个尺度相同的特征相乘,第二个特征相乘层将来自解码器上采样后的特征进行自乘运算,最后连接层将两个特征相乘层的输出连接,得到特征修正部分的输出。在特征修正部分中,特征经过两个相乘层之后形状不变,只有特征值改变,在经过连接层之后通道数增多,过程如下所示:
E(xi)是编码器的输出,D(xi)是特征修正解码器的输出,为特征连接操作;
(四)特征金字塔:
将特征修正解码器区域的输出特征图进行融合后输出最终分割结果。针对特征修正编码器区域的四个输出,分别上采样到原图尺度,然后进行像素值相加,再经过一个卷积层。上采样过程包含一个卷积层与一个上采样层,卷积层的通道数为32,卷积核大小为1,目的是为了改变特征图的通道数,否则通道数较多的特征图上采样后占用存储空间较大不利于训练,上采样层采用插值法。过程如下所示:
P(xi)是特征金字塔的输出,D(x)是特征修正解码器的输出。最后经过一个卷积层,经过激活函数,得到最终的分割结果,过程如下所示:
Output是网络最终的输出结果;
(五)结果预测:将训练好的模型保存,输入测试集,得到最终分割结果。
在模型训练的数据预处理过程中,将数据随机打乱顺序,将数据集分为n份,选取其中n-1份作为训练集,选取剩余的1份作为验证集合,得到最终分割结果。
本发明与传统的方法相对比,分割精度更高,具有更好的泛化能力。
本发明的效果可以通过分割结果进一步说明:
为验证本发明的性能,采用数据集BraTS2017,包含285个患者的多模态数据。将标准数据集分为训练集与验证集,将特征修正的图像分割方法与其他不使用特征修正的方法进行对比。分别对比了水肿、坏死、增强部分的dice系数、查全率、查准率。
表1为本发明在BraTS2017数据集上的分割结果。其中VGG、DUNet、FCNN为深度学习图像分割领域中的经典方法,FPUNet为基于金字塔融合学习的图像分割方法,FCUNet为编码器、特征修正解码器、特征金字塔的组合,是本发明提出的方法。表中黑体数字为该列最大值,代表了最优效果。综上所述,本发明比经典方法的分割效果更好。
表1
Claims (1)
1.一种基于特征修正的图像分割方法,该方法使用特征修正结构,在分割过程中将特征朝有利于分割结果的方向修正,具体步骤包括:
(一)数据预处理:对数据集进行归一化处理,并进行数据多通道融合,再进行数据清洗,将没有标签的图像去除,最后进行数据增强,得到最终的特征数据集;
(二)经过编码器对数据进行下采样处理:编码器部分由多个下采样区域组成,下采样区域数量可自由设置,每个下采样区域包含两层卷积与一层池化,每个下采样区域使用残差网络结构,并在卷积层后采用了局部响应归一化以防止梯度弥散,特征经过多次下采样区域后尺度变小,同时通道数变大,最后经过一个没有池化层的下采样区域得到最终编码器输出;
(三)经过特征修正解码器对数据进行上采样处理:解码器部分由多个上采样区域组成,上采样区域数量可自由设置,最终需要上采样到原图尺度,每个上采样区域包括一个上采样层、特征修正部分和两个卷积层,每个上采样区域使用残差网络结构,并在卷积层后采用了局部响应归一化以防止梯度弥散,所述特征修正部分包括两个特征相乘层与一个连接层,第一个特征相乘层将来自编码器与来自解码器上采样后的两个尺度相同的特征相乘,第二个特征相乘层将来自解码器上采样后的特征进行自乘运算,最后连接层将两个特征相乘层的输出连接,得到特征修正部分的输出,过程如下所示:
E(xi)是编码器的输出,D(xi)是特征修正解码器的输出,为特征连接操作;
(四)经过特征金字塔将特征融合输出分割结果:将特征修正解码器中每个上采样区域的输出分别上采样到原图尺度,并且通道数相同,然后进行特征相加,过程如下所示:
P(x)是特征金字塔的输出,最后经过一个卷积层,使用激活函数,得到最终的分割结果,过程如下所示:
Output是网络最终的输出结果;
(五)结果预测:将训练好的模型保存,输入测试集,得到最终的分割结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910684402.0A CN110458849B (zh) | 2019-07-26 | 2019-07-26 | 一种基于特征修正的图像分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910684402.0A CN110458849B (zh) | 2019-07-26 | 2019-07-26 | 一种基于特征修正的图像分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110458849A true CN110458849A (zh) | 2019-11-15 |
CN110458849B CN110458849B (zh) | 2023-04-25 |
Family
ID=68483750
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910684402.0A Active CN110458849B (zh) | 2019-07-26 | 2019-07-26 | 一种基于特征修正的图像分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110458849B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112967272A (zh) * | 2021-03-25 | 2021-06-15 | 郑州大学 | 基于改进U-net的焊接缺陷检测方法、装置及终端设备 |
CN113658188A (zh) * | 2021-08-18 | 2021-11-16 | 北京石油化工学院 | 一种基于改进Unet模型的溶液结晶过程图像语义分割方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106408562A (zh) * | 2016-09-22 | 2017-02-15 | 华南理工大学 | 基于深度学习的眼底图像视网膜血管分割方法及*** |
CN108921850A (zh) * | 2018-04-16 | 2018-11-30 | 博云视觉(北京)科技有限公司 | 一种基于图像分割技术的图像局部特征的提取方法 |
CN109063710A (zh) * | 2018-08-09 | 2018-12-21 | 成都信息工程大学 | 基于多尺度特征金字塔的3d cnn鼻咽癌分割方法 |
CN109447994A (zh) * | 2018-11-05 | 2019-03-08 | 陕西师范大学 | 结合完全残差与特征融合的遥感图像分割方法 |
CN109727249A (zh) * | 2018-12-10 | 2019-05-07 | 南京邮电大学 | 卷积神经网络中的一种语义图像分割方法 |
-
2019
- 2019-07-26 CN CN201910684402.0A patent/CN110458849B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106408562A (zh) * | 2016-09-22 | 2017-02-15 | 华南理工大学 | 基于深度学习的眼底图像视网膜血管分割方法及*** |
CN108921850A (zh) * | 2018-04-16 | 2018-11-30 | 博云视觉(北京)科技有限公司 | 一种基于图像分割技术的图像局部特征的提取方法 |
CN109063710A (zh) * | 2018-08-09 | 2018-12-21 | 成都信息工程大学 | 基于多尺度特征金字塔的3d cnn鼻咽癌分割方法 |
CN109447994A (zh) * | 2018-11-05 | 2019-03-08 | 陕西师范大学 | 结合完全残差与特征融合的遥感图像分割方法 |
CN109727249A (zh) * | 2018-12-10 | 2019-05-07 | 南京邮电大学 | 卷积神经网络中的一种语义图像分割方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112967272A (zh) * | 2021-03-25 | 2021-06-15 | 郑州大学 | 基于改进U-net的焊接缺陷检测方法、装置及终端设备 |
CN112967272B (zh) * | 2021-03-25 | 2023-08-22 | 郑州大学 | 基于改进U-net的焊接缺陷检测方法、装置及终端设备 |
CN113658188A (zh) * | 2021-08-18 | 2021-11-16 | 北京石油化工学院 | 一种基于改进Unet模型的溶液结晶过程图像语义分割方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110458849B (zh) | 2023-04-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111145170B (zh) | 一种基于深度学习的医学影像分割方法 | |
CN113888744B (zh) | 一种基于Transformer视觉上采样模块的图像语义分割方法 | |
CN111145181B (zh) | 基于多视角分离卷积神经网络的骨骼ct图像三维分割方法 | |
CN109886986A (zh) | 一种基于多分支卷积神经网络的皮肤镜图像分割方法 | |
CN110223304A (zh) | 一种基于多路径聚合的图像分割方法、装置和计算机可读存储介质 | |
CN112258526B (zh) | 一种基于对偶注意力机制的ct肾脏区域级联分割方法 | |
Karthik et al. | Contour-enhanced attention CNN for CT-based COVID-19 segmentation | |
CN115482241A (zh) | 一种跨模态双分支互补融合的图像分割方法及装置 | |
CN112465827A (zh) | 一种基于逐类卷积操作的轮廓感知多器官分割网络构建方法 | |
CN112258488A (zh) | 一种医疗影像病灶分割方法 | |
CN114494296A (zh) | 一种基于Unet和Transformer相融合的脑部胶质瘤分割方法与*** | |
CN112884788B (zh) | 基于丰富上下文网络的视杯视盘分割方法及成像方法 | |
CN112381846B (zh) | 一种基于非对称网络的超声甲状腺结节分割方法 | |
Wazir et al. | HistoSeg: Quick attention with multi-loss function for multi-structure segmentation in digital histology images | |
CN116012581A (zh) | 一种基于双重注意力融合的图像分割方法 | |
CN106097253A (zh) | 一种基于块旋转和清晰度的单幅图像超分辨率重建方法 | |
Jiang et al. | Forest-CD: Forest change detection network based on VHR images | |
CN110599495B (zh) | 一种基于语义信息挖掘的图像分割方法 | |
CN110458849A (zh) | 一种基于特征修正的图像分割方法 | |
Xu et al. | AutoSegNet: An automated neural network for image segmentation | |
CN113762265A (zh) | 肺炎的分类分割方法及*** | |
CN112580381A (zh) | 一种基于深度学习的二维码超辨率重构增强方法及*** | |
CN114399510B (zh) | 结合图像和临床元数据的皮肤病灶分割和分类方法及*** | |
CN116823850A (zh) | 基于U-Net和Transformer融合改进的心脏MRI分割方法及*** | |
CN116912253B (zh) | 基于多尺度混合神经网络的肺癌病理图像分类方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |