CN111210439B - 通过抑制非感兴趣信息的语义分割方法、设备及存储设备 - Google Patents
通过抑制非感兴趣信息的语义分割方法、设备及存储设备 Download PDFInfo
- Publication number
- CN111210439B CN111210439B CN201911373503.2A CN201911373503A CN111210439B CN 111210439 B CN111210439 B CN 111210439B CN 201911373503 A CN201911373503 A CN 201911373503A CN 111210439 B CN111210439 B CN 111210439B
- Authority
- CN
- China
- Prior art keywords
- semantic segmentation
- layer
- function
- suppressing
- upsampling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种通过抑制非感兴趣信息的语义分割方法、设备及存储设备,本发明基于深度学习库优化神经网络,提高语义分割结果的精度,主要包括以下步骤:1)构建基础Unet模型;2)添加注意力机制;3)门特征图与当前层结果相乘;4)添加新输出结果和多损失函数;5)对待进行语义分割的图像进行图像语义分割。本方法可以提高语义分割神经网络的精度并有效抑制非感兴趣信息。
Description
技术领域
本发明涉及语义分割领域,更具体地说,涉及一种通过抑制非感兴趣信息的语义分割方法、设备及存储设备。
背景技术
采用神经网络对图像进行语义分割过程中,需要先搭建神经网络。在神经网络的搭建过程中,简单的神经网络层数的堆叠不能实现对非感兴趣信息的抑制;要想取得更好的泛化效果就需要扩大模型的感受野,但是需要很多的计算资源,不利于模型的在移动设备上的部署。本发明是基于上述问题提出的解决方法。
发明内容
本发明的目的在于针对现有技术中的缺陷,提出一种抑制非感兴趣信息的高精度语义分割方法,基于深度学习库优化神经网络,提高语义分割结果的精度。
本发明解决其技术问题,所采用的种通过抑制非感兴趣信息的语义分割方法包含如下步骤:
步骤1)、利用深度学习库优化神经网络,构建一个基础的图像语义分割模型Unet,包括编码和解码两个阶段;编码阶段串行进行多次下采样,每次下采样通过多层空间维度逐渐增加和特征图大小都不变的卷积层和一层池化层实现;解码阶段串行进行多次上采样,每次上采样通过多层空间维度逐渐减小和特征图大小不变的卷积层和一层上采样层实现;
步骤2)、在每一次下采样过程中添加注意力机制,基于深度学***均池化处理后,利用激活函数激活得到用于管控f(n)的门特征图G;
步骤3)、将门特征图G和当前层f(n)相乘,得到解码阶段的补偿信息;
步骤4)、基于深度学习库优化神经网络在最后输出处添加一层维度和特征图大小都不变的1×1卷积层,用于输出新结果,从而形成最终的图像语义分割模型;其中,图形语义分割模型通过loss1对原输出层结果进行约束,通过loss2对在原输出层结果上生成的新结果进行约束,从而实现优化和信息补偿;其中,loss1、loss2的计算公式如下:
loss1=α×BCE+β×PBL (2)
loss2=α×BCE+β×PBL (3)
α+β=1 (4)
式中,l表示像素值,SK表述像素的标签集合,S表示像素的预测集合,i和j表示像素的索引坐标,pij表示输出结果的概率,I()表示满足括号内条件时,值等于1,否则等于0,N表示类别数,BCE表示交叉熵,loss1表示原输出层的损失函数,loss2为新输出层损失函数,α表示对分割输出结果轮廓的约束,分割区域环境越复杂,值越大,α>0;β表示对分割总体质量的约束,分割区域越离散,值越大,β>0;
步骤5)、获取带语义分割标签的图像,多张所述图像形成训练集,对最终的图像语义分割模型进行训练,得到训练好的模型,用来对待进行语义分割的图像进行图像语义分割。
进一步地,在本发明的通过抑制非感兴趣信息的语义分割方法中,步骤1)中,编码阶段串行进行4次下采样,每次下采样通过2层空间维度逐渐增加和特征图大小都不变的3×3卷积层和一层池化层实现,卷积层采用tensorflow中的conv函数,池化层采用tensorflow中的Averagepooling函数。
进一步地,在本发明的通过抑制非感兴趣信息的语义分割方法中,步骤1)中,解码阶段串行进行4上采样,每次上采样通过2层空间维度逐渐减小和特征图大小不变的3×3卷积层和一层上采样层实现,卷积层采用tensorflow中的conv函数,上采样层采用的是tensorflow中的Upsample函数。
进一步地,在本发明的通过抑制非感兴趣信息的语义分割方法中,步骤2)中:
所述做维度与f(n)相同和特征图大小不变的卷积处理是指3×3卷积处理,所述1×1卷积处理和所述3×3卷积处理均采用tensorflow中的conv函数实现,所述加权融合是指采用tensorflow中的add函数进行加权融合;
所述对加权融合后的特征图进行上采样与全局平均池化处理后,利用激活函数激活得到用于管控f(n)的门特征图G中,上采样使用的是tensorflow中的Upsample函数,全局平均池化采用的是GlobalAveragePool函数,激活函数是采用tensorflow中的sigmoid激活函数。
进一步地,在本发明的通过抑制非感兴趣信息的语义分割方法中,步骤3)中,相乘是采用的tensorflow中的函数multiply实现。
进一步地,在本发明的通过抑制非感兴趣信息的语义分割方法中,步骤4)中,1×1卷积层采用的是tensorflow中的conv函数实现,激活函数为sigmoid。
本发明还提供了一种存储设备,包括:所述存储设备存储指令及数据用于实现权上述的任意一种通过抑制非感兴趣信息的语义分割方法。
本发明还提供了一种通过抑制非感兴趣信息的语义分割设备,包括:处理器及所述存储设备;所述处理器加载并执行上述存储设备中的指令及数据用于实现上述的任意一种通过抑制非感兴趣信息的语义分割方法。
本发明已经过严格的测试和验证,通过本方法,可以提高语义分割神经网络的精度并有效抑制非感兴趣信息:
附图说明
下面将结合附图及实施例对本发明作进一步说明,附图中:
图1是通过抑制非感兴趣信息的语义分割方法的流程图;
图2是通过抑制非感兴趣信息的语义分割设备的原理图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解,现对照附图详细说明本发明的具体实施方式。
参考图1,图1是通过抑制非感兴趣信息的语义分割方法的流程图。本发明的通过抑制非感兴趣信息的语义分割方法包含如下步骤:
步骤1)、基于深度学习库优化神经网络,利用tensorflow,搭建基础的图像语义分割模型Unet,包括编码和解码两个阶段:编码阶段串行进行4次下采样,每次下采样通过2层空间维度逐渐增加和特征图大小都不变的3×3卷积层和一层池化层,卷积层采用tensorflow中的conv函数,池化层采用tensorflow中的Averagepooling函数;解码阶段串行进行4次上采样,每次上采样通过2层空间维度逐渐减小和特征图大小不变的3×3卷积层和一层上采样层,卷积层采用tensorflow中的conv函数,上采样采用的是tensorflow中的Upsample函数。
步骤2)、在每一处下采样阶段添加注意力机制,基于tensorflow库将编码阶段的当前层f(n)做维度和特征图大小缩小一倍的1×1卷积处理,采用tensorflow中的conv函数;对当前层f(n)的下一层f(n+1)做维度与f(n)相同和特征图大小不变的3×3卷积处理,采用tensorflow中的conv函数;将f(n)和f(n+1)的卷积处理结果利用tensorflow中的add函数进行加权融合;对融合后的特征图进行上采样与全局平均池化处理后利用tensorflow中的sigmoid激活函数得到用于管控f(n)的门特征图G,上采样使用的是tensorflow中的Upsample函数,全局平均池化采用的是GlobalAveragePool函数。
步骤3)、门特征图G和当前层特征图f(n)利用tensorflow中的函数multiply,得到解码阶段的补偿信息,补偿信息与上采样的结果需要利用tensorflow中的concatenate函数进行数据直连,连接之后的结果,作为下一层上采样的输入,实现点到点的门控制。
步骤4)、基于tensorflow库在结尾输出处添加一层维度和特征图大小都不变的1×1卷积层,采用的是tensorflow中的conv函数,激活函数为sigmoid,用于输出新结果,从而形成最终的图像语义分割模型。其中,图形语义分割模型通过loss1对原输出层结果进行约束,通过loss2对在原输出层结果上生成的新结果进行约束,从而实现优化和信息补偿;其中,loss1、loss2的计算公式如下:
loss1=α×BCE+β×PBL (2)
loss2=α×BCE+β×PBL (3)
α+β=1 (4)
式中,l表示像素值,SK表述像素的标签集合,S表示像素的预测集合,i和j表示像素的索引坐标,pij表示输出结果的概率,I()表示满足括号内条件时,值等于1,否则等于0,N表示类别数,BCE表示交叉熵,loss1表示原输出层的损失函数,loss2为新输出层损失函数,α表示对分割输出结果轮廓的约束,分割区域环境越复杂,值越大,α>0;β表示对分割总体质量的约束,分割区域越离散,值越大,β>0。
步骤5)、获取带语义分割标签的图像,多张所述图像形成训练集,对最终的图像语义分割模型进行训练,得到训练好的模型,用来对待进行语义分割的图像进行图像语义分割。
本发明已经过严格的测试和验证,通过本方法,可以提高语义分割神经网络的精度并有效抑制非感兴趣信息。
参见图2,图2是本发明实施例的硬件设备工作示意图,所述硬件设备具体为一种通过抑制非感兴趣信息的语义分割设备201,语义分割设备201包括处理器202及存储设备203。
通过抑制非感兴趣信息的语义分割设备201中,处理器202加载并执行所述存储设备203中的指令及数据用于实现所述的一种通过抑制非感兴趣信息的语义方法。
存储设备203:所述存储设备203存储指令及数据;所述存储设备203用于实现所述的一种通过抑制非感兴趣信息的语义方法。
通过执行本发明的实施例,本发明权利要求里的所有技术特征都得到了详尽阐述。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,这些均属于本发明的保护之内。
Claims (8)
1.一种通过抑制非感兴趣信息的语义分割方法,其特征在于,包含如下步骤:
步骤1)、利用深度学习库优化神经网络,构建一个基础的图像语义分割模型Unet,包括编码和解码两个阶段;编码阶段串行进行多次下采样,每次下采样通过多层空间维度逐渐增加和特征图大小都不变的卷积层和一层池化层实现;解码阶段串行进行多次上采样,每次上采样通过多层空间维度逐渐减小和特征图大小不变的卷积层和一层上采样层实现;
步骤2)、在每一次下采样过程中添加注意力机制,基于深度学***均池化处理后,利用激活函数激活得到用于管控f(n)的门特征图G;
步骤3)、将门特征图G和当前层f(n)相乘,得到解码阶段的补偿信息;
步骤4)、基于深度学习库优化神经网络在最后输出处添加一层维度和特征图大小都不变的1×1卷积层,用于输出新结果,从而形成最终的图像语义分割模型;其中,图形语义分割模型通过loss1对原输出层结果进行约束,通过loss2对在原输出层结果上生成的新结果进行约束,从而实现优化和信息补偿;其中,loss1、loss2的计算公式如下:
loss1=α×BCE+β×PBL (2)
loss2=α×BCE+β×PBL (3)
α+β=1 (4)
式中,l表示像素值,SK表述像素的标签集合,S表示像素的预测集合,i和j表示像素的索引坐标,pij表示输出结果的概率,I()表示满足括号内条件时,值等于1,否则等于0,N表示类别数,BCE表示交叉熵,loss1表示原输出层的损失函数,loss2为新输出层损失函数,α表示对分割输出结果轮廓的约束,分割区域环境越复杂,值越大,α>0;β表示对分割总体质量的约束,分割区域越离散,值越大,β>0;
步骤5)、获取带语义分割标签的图像,多张所述图像形成训练集,对最终的图像语义分割模型进行训练,得到训练好的模型,用来对待进行语义分割的图像进行图像语义分割。
2.根据权利要求1所述的通过抑制非感兴趣信息的语义分割方法,其特征在于,步骤1)中,编码阶段串行进行4次下采样,每次下采样通过2层空间维度逐渐增加和特征图大小都不变的3×3卷积层和一层池化层实现,卷积层采用tensorflow中的conv函数,池化层采用tensorflow中的Averagepooling函数。
3.根据权利要求1所述的通过抑制非感兴趣信息的语义分割方法,其特征在于,步骤1)中,解码阶段串行进行4次 上采样,每次上采样通过2层空间维度逐渐减小和特征图大小不变的3×3卷积层和一层上采样层实现,卷积层采用tensorflow中的conv函数,上采样层采用的是tensorflow中的Upsample函数。
4.根据权利要求1所述的通过抑制非感兴趣信息的语义分割方法,其特征在于,步骤2)中:
所述做维度与f(n)相同和特征图大小不变的卷积处理是指3×3卷积处理,所述1×1卷积处理和所述3×3卷积处理均采用tensorflow中的conv函数实现,所述加权融合是指采用tensorflow中的add函数进行加权融合;
所述对加权融合后的特征图进行上采样与全局平均池化处理后,利用激活函数激活得到用于管控f(n)的门特征图G中,上采样使用的是tensorflow中的Upsample函数,全局平均池化采用的是GlobalAveragePool函数,激活函数是采用tensorflow中的sigmoid激活函数。
5.根据权利要求1所述的通过抑制非感兴趣信息的语义分割方法,其特征在于,步骤3)中,相乘是采用的tensorflow中的函数multiply实现。
6.根据权利要求1所述的通过抑制非感兴趣信息的语义分割方法,其特征在于,步骤4)中,1×1卷积层采用的是tensorflow中的conv函数实现,激活函数为sigmoid。
7.一种存储设备,其特征在于,包括:所述存储设备存储指令及数据用于实现权利要求1~6任意一种通过抑制非感兴趣信息的语义分割方法。
8.一种通过抑制非感兴趣信息的语义分割设备,其特征在于:包括:处理器及存储设备;所述处理器加载并执行权利要求7中所述存储设备中的指令及数据用于实现权利要求1~6任意一种通过抑制非感兴趣信息的语义分割方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911373503.2A CN111210439B (zh) | 2019-12-26 | 2019-12-26 | 通过抑制非感兴趣信息的语义分割方法、设备及存储设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911373503.2A CN111210439B (zh) | 2019-12-26 | 2019-12-26 | 通过抑制非感兴趣信息的语义分割方法、设备及存储设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111210439A CN111210439A (zh) | 2020-05-29 |
CN111210439B true CN111210439B (zh) | 2022-06-24 |
Family
ID=70789387
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911373503.2A Active CN111210439B (zh) | 2019-12-26 | 2019-12-26 | 通过抑制非感兴趣信息的语义分割方法、设备及存储设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111210439B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111967452B (zh) * | 2020-10-21 | 2021-02-02 | 杭州雄迈集成电路技术股份有限公司 | 一种目标检测方法、计算机设备及可读存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109087327A (zh) * | 2018-07-13 | 2018-12-25 | 天津大学 | 一种级联全卷积神经网络的甲状腺结节超声图像分割方法 |
CN110033003A (zh) * | 2019-03-01 | 2019-07-19 | 华为技术有限公司 | 图像分割方法和图像处理装置 |
CN110188754A (zh) * | 2019-05-29 | 2019-08-30 | 腾讯科技(深圳)有限公司 | 图像分割方法和装置、模型训练方法和装置 |
CN110232696A (zh) * | 2019-06-20 | 2019-09-13 | 腾讯科技(深圳)有限公司 | 一种图像区域分割的方法、模型训练的方法及装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11004209B2 (en) * | 2017-10-26 | 2021-05-11 | Qualcomm Incorporated | Methods and systems for applying complex object detection in a video analytics system |
-
2019
- 2019-12-26 CN CN201911373503.2A patent/CN111210439B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109087327A (zh) * | 2018-07-13 | 2018-12-25 | 天津大学 | 一种级联全卷积神经网络的甲状腺结节超声图像分割方法 |
CN110033003A (zh) * | 2019-03-01 | 2019-07-19 | 华为技术有限公司 | 图像分割方法和图像处理装置 |
CN110188754A (zh) * | 2019-05-29 | 2019-08-30 | 腾讯科技(深圳)有限公司 | 图像分割方法和装置、模型训练方法和装置 |
CN110232696A (zh) * | 2019-06-20 | 2019-09-13 | 腾讯科技(深圳)有限公司 | 一种图像区域分割的方法、模型训练的方法及装置 |
Non-Patent Citations (2)
Title |
---|
A dataset of laryngeal endoscopic images with comparative study on convolution neural network-based semantic segmentation;Max-Heinrich Laves等;《International journal of computer assisted radiology and surgery》;20190331;第483-492页 * |
Attention Res-Unet:一种高效阴影检测算法;董月 等;《Attention Res-Unet:一种高效阴影检测算法》;20190228;第93卷(第2期);第373-381、406页 * |
Also Published As
Publication number | Publication date |
---|---|
CN111210439A (zh) | 2020-05-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110335290B (zh) | 基于注意力机制的孪生候选区域生成网络目标跟踪方法 | |
CN110232394B (zh) | 一种多尺度图像语义分割方法 | |
CN110084274B (zh) | 实时图像语义分割方法及***、可读存储介质和终端 | |
CN111144329B (zh) | 一种基于多标签的轻量快速人群计数方法 | |
CN109712165B (zh) | 一种基于卷积神经网络的同类前景图像集分割方法 | |
CN109086768B (zh) | 卷积神经网络的语义图像分割方法 | |
CN117499658A (zh) | 使用神经网络生成视频帧 | |
CN111931779B (zh) | 一种基于条件可预测参数的图像信息提取与生成方法 | |
CN109447897B (zh) | 一种真实场景图像合成方法及*** | |
JP2022500798A (ja) | 画像処理方法及び装置、コンピュータ機器並びにコンピュータ記憶媒体 | |
CN113240683B (zh) | 基于注意力机制的轻量化语义分割模型构建方法 | |
CN111382759A (zh) | 一种像素级分类方法、装置、设备及存储介质 | |
CN111210446A (zh) | 一种视频目标分割方法、装置和设备 | |
CN115019143A (zh) | 一种基于CNN和Transformer混合模型的文本检测方法 | |
KR102128789B1 (ko) | 심층 합성곱 뉴럴 네트워크를 위한 효율적인 팽창 합성곱 기법을 제공하는 방법 및 장치 | |
CN114821058A (zh) | 一种图像语义分割方法、装置、电子设备及存储介质 | |
JP2023541350A (ja) | 表畳み込みおよびアクセラレーション | |
CN111210439B (zh) | 通过抑制非感兴趣信息的语义分割方法、设备及存储设备 | |
CN111667401B (zh) | 多层次渐变图像风格迁移方法及*** | |
CN113313162A (zh) | 一种多尺度特征融合目标检测的方法及*** | |
CN117474796A (zh) | 一种图像生成方法、装置、设备及计算机可读存储介质 | |
WO2021218414A1 (zh) | 视频增强方法及装置、电子设备、存储介质 | |
CN112396598B (zh) | 一种基于单阶段多任务协同学习的人像抠图方法及*** | |
CN114494284A (zh) | 一种基于显式监督区域关系的场景解析模型及方法 | |
CN113223038A (zh) | 一种基于离散余弦变换的掩码表示的实例分割方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20230824 Address after: Room 415, 4th Floor, Building 35, Erlizhuang, Haidian District, Beijing, 100080 Patentee after: BEIJING SPACE-TIME TECHNOLOGY DEVELOPMENT CO.,LTD. Address before: 430000 Lu Mill Road, Hongshan District, Wuhan, Hubei Province, No. 388 Patentee before: CHINA University OF GEOSCIENCES (WUHAN CITY) |