CN113012158B - 基于深度稠密网络与边缘距离图加权的图像协同分割方法 - Google Patents

基于深度稠密网络与边缘距离图加权的图像协同分割方法 Download PDF

Info

Publication number
CN113012158B
CN113012158B CN202110304837.5A CN202110304837A CN113012158B CN 113012158 B CN113012158 B CN 113012158B CN 202110304837 A CN202110304837 A CN 202110304837A CN 113012158 B CN113012158 B CN 113012158B
Authority
CN
China
Prior art keywords
image
network
loss
distance
graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110304837.5A
Other languages
English (en)
Other versions
CN113012158A (zh
Inventor
刘峡壁
刘曦
李慧玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Schen Industrial Investment Co ltd
Beijing Deep Ai Intelligent Technology Co ltd
Original Assignee
Guangdong Schen Industrial Investment Co ltd
Beijing Deep Ai Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Schen Industrial Investment Co ltd, Beijing Deep Ai Intelligent Technology Co ltd filed Critical Guangdong Schen Industrial Investment Co ltd
Priority to CN202110304837.5A priority Critical patent/CN113012158B/zh
Publication of CN113012158A publication Critical patent/CN113012158A/zh
Application granted granted Critical
Publication of CN113012158B publication Critical patent/CN113012158B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度稠密网络与边缘距离图加权的图像协同分割方法，属于计算机图像协同分割技术领域。本方法利用距离图中的距离信息，对图像不同区域进行不同程度的加权，并通过计算预测距离图与真实距离图的交并比设计损失函数，有效应对图像分割中存在的边缘区域误判问题，使分割出来的结果更准确。通过搭建深度神经网络在U形孪生网络的解码器部分添加稠密连接，实现特征重利用，有效提高分割精度。本方法可在三维物体前景抠取等应用场景下快速、高精度、高可靠的实现图像协同分割，获得令人满意的目标前景。

Description

基于深度稠密网络与边缘距离图加权的图像协同分割方法
技术领域
本发明涉及一种基于深度稠密网络与边缘距离图加权损失函数的图像协同分割方法，属于计算机视觉中的图像协同分割技术领域。
背景技术
图像协同分割，是指从一组相关图像中分割出共同和显著的目标的技术。该技术在交互式图像分割、三维重建、目标共定位等方面，都有着重要的应用前景。
传统的协同分割方法，主要利用手工制作的特征和先验知识，存在鲁棒性低、泛化能力差等问题，难以取得高精度的分割结果。近年来，随着深度学习技术的不断发展，为了提高图像协同分割性能，引入深度学习技术，以数据驱动的方式学习图像的视觉表达，取得了良好的效果，但仍然存在许多问题和不足。
在使用深度学习实现图像分割的方法中，神经网络的网络结构设计和损失函数改良分别是提高图像分割精度的两个重要途径。当前广泛使用的U形卷积神经网络，由通过下采样提取特征的编码器和进行上采样的解码器及跳跃连接构成，是一种经典的网络设计方法。卷积网络往往越深则效果越好。然而，随着网络深度的增加，浅层特征在经过多层网络的前向传播后特征信息面临逐渐减弱和消散的问题，在网络的编码器和解码器部分添加跳跃连接也不能完全解决这个问题。
分割网络训练时所采用的学***衡的数据集，其专注于引导前景区域分割，一定程度上不受正负样本不平衡的影响，但是，其也存在缺点。第一，只专注于前景区域的分割而对背景区域缺少引导；第二，对难易样本没有区别处理，在二维图像上每个像素点在预测错误时的惩罚没有区别，只统计正确或错误的像素点的个数，没有加权处理。
发明内容
本发明的目的是针对现有的基于卷积神经网络的图像分割方法中存在的忽略图像边缘、分割准确率较低等问题，为克服存在的缺陷，创造性地提出一种基于U型孪生稠密神经网络及边缘距离图加权的图像协同分割方法。
本发明的创新点在于：
首先，将二值标记图转换为含有距离信息的距离图(distance map)，其值反映了每个像素点与目标边界的距离信息，值的正负号代表对应像素点为前景或者背景。通过求prediction距离图与真实距离图的交并比定义设计损失函数，实现边缘距离图加权，并将分割问题转换为距离图回归问题，有效提高分割准确率。
其次，依托于U形深度孪生网络，网络由编码器和解码器构成。编码器中包含多个卷积层，每个卷积层后接BN和激活，对输入图像进行特征提取得到特征图。解码器中使用多个反卷积块连接成一条特征放大路径，各个反卷积块的输入特征是由前面所有反卷积块的输出拼接获得，从而在解码器部分实现网络稠密连接，有效提高分割效果。
一种基于深度稠密网络与边缘距离图加权的图像协同分割方法，包括以下步骤：
步骤1：获取含有共同前景目标的原图及其对应的标记图，并进行数据预处理。
步骤2：对步骤1得到的每一张标记图，计算其对应的真实距离图。
步骤3：搭建一个U形深度稠密连接孪生网络，该深度网络包括编码器和解码器两部分。
步骤4：根据步骤1中得到的原图，输入U形深度网络，经过编码器得到对应的特征图。
步骤5：根据步骤4得到的特征图，通过U形深度网络的解码器部分，得到预测出来的prediction距离图。
步骤6：将步骤5获得的prediction距离图与步骤2中真实距离图求交并比，用1减去该交并比，得到损失项lossiou，该损失项为距离加权损失函数。
步骤7：根据步骤5得到的prediction距离图和步骤1中的原始标记图，将两图通过一个拟合阶跃函数转换成掩码图，对转换得到的掩码图求均方误差损失lossmse。
步骤8：对步骤6和步骤7得到的两个损失项加权求和，得最终的损失函数。
步骤9：使用步骤8得到的损失函数，对网络进行更新学习。
步骤10：将待分割的原图输入步骤9中学习完成的网络，得到预测结果图，对预测结果图的每个像素点进行分类，得到最终的掩码图，从而完成前景抠取过程。
有益效果
本发明所述方法，与现有方法相比，具有如下优点：
1.本方法利用距离图中的距离信息，对图像不同区域进行不同程度的加权，有效应对图像分割中存在的边缘区域误判问题，使分割出来的结果更准确。
2.本方法搭建的深度神经网络在U形孪生网络的解码器部分添加稠密连接，实现特征重利用，有效提高分割精度。
3.本方法可在三维物体前景抠取等应用场景下快速、高精度、高可靠的实现图像协同分割，获得令人满意的目标前景。
附图说明
图1是本发明方法的实施例流程图；
图2是本发明方法的分割网络结构示意图；
图3是原图、原始标签图与转换得到的距离图的示意图；
图4是待分割图像及其经本发明方法执行物体抠取得到的分割结果示意图。
具体实施方式
下面通过附图及实施例对本发明方法做进一步详细说明。
实施例
如图1所示，一种基于深度稠密网络与边缘距离图加权损失函数的图像协同分割方法，包括以下步骤：
步骤1：获取含有共同前景目标的原始图及其对应的标记图。对原图和标记图进行统一大小裁剪和灰度归一化的预处理，得到预处理后的图像。
步骤2：对步骤1得到的每一张标记图x，计算其对应的真实距离图M(x)，计算公式如下：
其中，d(x,b)为像素点x到像素点b之间的欧几里得距离，background和foreground分别为图像的前景区域和背景区域。原始图像、原始图像的标记图以及根据标记图求得的距离图，一同构成最终的数据。
图3是原图、原始标签图与转换得到的距离图的一个例子示意图，其中，(a)为待分割的原始图像，图中，猫为需要抠取出来的前景目标，(b)为原始图像对应的二值标签图，(c)为二值标签图计算得到的真实距离图。
步骤3：搭建一个U形深度稠密连接孪生网络，该深度网络包括编码器和解码器两部分。
如图2所示，所搭建的网络整体结构为U形孪生网络，由编码器和解码器部分构成，并在解码器部分添加稠密连接。
本实施例中，编码器使用基于resnet50的siamese双通道网络，用于提取图片特征。
解码器部分由对应的反卷积层构成。与传统的U形深度网络不同，本发明在解码器中的反卷积层之间添加稠密连接，解码器中各卷积块的输出经过反卷积放大分辨率、BN(Batch Normalization，批归一化)和激活操作后，传递给其后的网络层，从而实现多层特征重利用。
步骤4：根据步骤1中得到的原图输入搭建的深度网络，经过网络编码器和解码器部分后，得到网络预测输出的prediction距离图。
步骤5：根据步骤4获得的prediction距离图与步骤2计算得到的真实距离图M(x)，求边缘距离加权损失函数lossiou。
具体地，步骤5可以包括以下步骤：
步骤5.1：记pi、gi分别为prediction距离图与真实距离图中的前景像素点，uj、vj分别为其背景像素点，N和M分别为前景和背景像素点个数。计算两个距离图的三维交并比，将二者中相对小的数视为交集，相对大的数视为并集，之后用1减去该交并比，得到初始lossiou：
其中，i表示对应的第i个前景像素点，j表示对应的第j个背景像素点。
步骤5.2：在步骤5.1基础上，利用真实距离图对各像素点的重要性进行加权，得到最后的lossiou：
步骤6：根据步骤4得到的prediction距离图和步骤1中的标记图，两图通过一个相同的拟合阶跃函数转换为值在[0,1]范围内的两张掩码图，对这两图求均方误差损失lossmse。
其中，拟合阶跃函数F(x)的计算公式为：
其中，e为自然对数。
均方误差损失为：
lossmse＝||F(Youtput)-F(Ylabel)||2 (5)
其中，Youtput和Ylabel分别为prediction距离图和真实标记图。
步骤7：对步骤5和步骤6得到的两个损失项加权求和，得最终的损失函数loss，如公式(6)所述：
loss＝lossiou+λ*lossmse (6)
其中，λ为平衡两个损失项大小的调节参数。
步骤8：使用步骤7得到的损失函数，对网络进行更新学习。
步骤9：将待分割的原图输入步骤8中学习完成的网络，得到掩码图。对掩码图的每个像素点进行分类，得到最终的分割结果，从而完成前景抠取过程。
图4是3组待分割图像及其使用本发明得到的分割结果图展示，第1、3、5列是拍摄的多张具有相同前景的待分割图像，作为分割网络的输入图，第2、4、6列则是输入图像经本发明分割网络执行物体抠取得到的分割结果示意图，由图可见分割效果良好。
通过实施本技术，可快速、高精度、高可靠、全自动地从固定背景下的多幅图片中去除背景，获得仅包含前景物体的图片。实测数据表明：通过使用本发明的技术方法，对于各种不同类型图片，图片背景去除的精确度平均达99％以上；在当前主流GPU计算服务器上，平均每幅图片的处理时间<＝1秒。
需要强调的是，对于本领域技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进，这些也应视为属于本发明的保护范围。

Claims (4)

1.基于深度稠密网络与边缘距离图加权的图像协同分割方法，其特征在于，包括以下步骤：
步骤1：获取含有共同前景目标的原图及其对应的标记图，并进行数据预处理；
步骤2：对步骤1得到的每一张标记图，计算其对应的真实距离图；
步骤3：搭建一个U形深度稠密连接孪生网络，所述网络包括编码器和解码器两部分；
其中，在解码器中的反卷积层之间添加稠密连接，解码器中各卷积块的输出经过反卷积放大分辨率、批归一化和激活操作后，传递给其后的网络层；
步骤4：根据步骤1中得到的原图，输入U形深度网络，经过编码器得到对应的特征图；
步骤5：根据步骤4得到的特征图，通过U形深度网络的解码器部分，得到网络预测输出的prediction距离图；
步骤6：将步骤5获得的prediction距离图与步骤2得到的真实距离图求交并比，用1减去该交并比，得到损失项lossiou，该损失项为距离加权损失函数；
步骤7：根据步骤5得到的prediction距离图和步骤1中的原始标记图，将两图通过一个拟合阶跃函数转换成掩码图，对转换得到的掩码图求均方误差损失lossmse；
其中，拟合阶跃函数F(x)的计算公式为：
其中，e为自然对数；
均方误差损失为：
lossmse＝||F(Youtput)-F(Ylabel)||2 (2)
其中，Youtput和Ylabel分别为prediction距离图和真实标记图；
步骤8：对步骤6和步骤7得到的两个损失项加权求和，得最终的损失函数：
loss＝lossiou+λ*lossmse (3)
其中，λ为平衡两个损失项大小的调节参数；
步骤9：使用步骤8得到的损失函数，对网络进行更新学习；
步骤10：将待分割的原图输入步骤9中学习完成的网络，得到预测结果图，对预测结果图的每个像素点进行分类，得到最终的掩码图，从而完成前景抠取过程。
2.如权利要求1所述的基于深度稠密网络与边缘距离图加权的图像协同分割方法，其特征在于，步骤1预处理，包括对原图和标记图进行统一大小裁剪和灰度归一化。
3.如权利要求1所述的基于深度稠密网络与边缘距离图加权的图像协同分割方法，其特征在于，步骤2计算真实距离图的方法如下：
对步骤1得到的每一张标记图x，计算其对应的真实距离图M(x)，计算公式如下：
其中，d(x,b)为像素点x到像素点b之间的欧几里得距离，background和foreground分别为图像的前景区域和背景区域，原始图像、原始图像的标记图以及根据标记图求得的距离图，一同构成最终的数据。
4.如权利要求1所述的基于深度稠密网络与边缘距离图加权的图像协同分割方法，其特征在于，步骤6采用以下方法实现：
首先，记pi、gi分别为prediction距离图与真实距离图中的前景像素点，uj、vj分别为其背景像素点，N和M分别为前景和背景像素点个数，计算两个距离图的三维交并比，将二者中相对小的数视为交集，相对大的数视为并集，之后用1减去该交并比，得到初始lossiou：
其中，i表示对应的第i个前景像素点，j表示对应的第j个背景像素点；
然后，利用真实距离图对各像素点的重要性进行加权，得到最后的lossiou：
CN202110304837.5A 2021-03-09 2021-03-09 基于深度稠密网络与边缘距离图加权的图像协同分割方法 Active CN113012158B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110304837.5A CN113012158B (zh) 2021-03-09 2021-03-09 基于深度稠密网络与边缘距离图加权的图像协同分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110304837.5A CN113012158B (zh) 2021-03-09 2021-03-09 基于深度稠密网络与边缘距离图加权的图像协同分割方法

Publications (2)

Publication Number Publication Date
CN113012158A CN113012158A (zh) 2021-06-22
CN113012158B true CN113012158B (zh) 2023-11-24

Family

ID=76404746

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110304837.5A Active CN113012158B (zh) 2021-03-09 2021-03-09 基于深度稠密网络与边缘距离图加权的图像协同分割方法

Country Status (1)

Country Link
CN (1) CN113012158B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114332182B (zh) * 2022-03-14 2022-07-22 北京化工大学 基于多特征约束的sar图像配准方法、设备和介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109584248A (zh) * 2018-11-20 2019-04-05 西安电子科技大学 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN110675421A (zh) * 2019-08-30 2020-01-10 电子科技大学 基于少量标注框的深度图像协同分割方法
CN110889459A (zh) * 2019-12-06 2020-03-17 北京深境智能科技有限公司 一种基于边缘和Fisher准则的学习方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109584248A (zh) * 2018-11-20 2019-04-05 西安电子科技大学 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN110675421A (zh) * 2019-08-30 2020-01-10 电子科技大学 基于少量标注框的深度图像协同分割方法
CN110889459A (zh) * 2019-12-06 2020-03-17 北京深境智能科技有限公司 一种基于边缘和Fisher准则的学习方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
a multi-view features hinged siamese u-net for image co-segmentation;Yushuo Li 等;《Multimedia Tools and Application》;第22966-22986页 *
a novel co-attention computation block for deep learning based image co-segmenation;Xiaopeng Gong 等;《Image and Vision Computing》;第1-11页 *
EW-Fisher： a novel loss function for deep learning-based image co-segmentation;Xiaopeng Gong 等;《Neural Processing Letters》;第2399-2413页 *

Also Published As

Publication number Publication date
CN113012158A (zh) 2021-06-22

Similar Documents

Publication Publication Date Title
CN113240691B (zh) 一种基于u型网络的医学图像分割方法
CN115049936B (zh) 一种面向高分遥感影像的边界增强型语义分割方法
CN107945204B (zh) 一种基于生成对抗网络的像素级人像抠图方法
CN111612807B (zh) 一种基于尺度和边缘信息的小目标图像分割方法
CN113449594B (zh) 一种多层网络组合的遥感影像地类语义分割与面积计算方法
CN110276264B (zh) 一种基于前景分割图的人群密度估计方法
Zhang et al. Efficient inductive vision transformer for oriented object detection in remote sensing imagery
CN110827312B (zh) 一种基于协同视觉注意力神经网络的学习方法
CN112287941B (zh) 一种基于自动字符区域感知的车牌识别方法
CN113609896A (zh) 基于对偶相关注意力的对象级遥感变化检测方法及***
CN115512103A (zh) 多尺度融合遥感图像语义分割方法及***
CN111738295B (zh) 图像的分割方法及存储介质
CN111709929A (zh) 一种肺部癌变区域分割与分类检测***
CN114897738A (zh) 一种基于语义不一致性检测的图像盲修复方法
CN110310305A (zh) 一种基于bssd检测与卡尔曼滤波的目标跟踪方法与装置
CN115049921A (zh) 基于Transformer边界感知的光学遥感图像显著目标检测方法
CN114972759A (zh) 基于分级轮廓代价函数的遥感图像语义分割方法
CN112819837A (zh) 一种基于多源异构遥感影像的语义分割方法
CN113012158B (zh) 基于深度稠密网络与边缘距离图加权的图像协同分割方法
CN113313700B (zh) 一种基于深度学习的x射线图像交互式分割方法
CN112364881A (zh) 一种进阶采样一致性图像匹配算法
Lepcha et al. Image matting: a comprehensive survey on techniques, comparative analysis, applications and future scope
CN112164065B (zh) 一种基于轻量化卷积神经网络的实时图像语义分割方法
CN117765258A (zh) 基于密度自适应和注意力机制的大规模点云语义分割方法
CN115841557B (zh) 基于数字孪生技术的智能起重机操作环境构建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant