CN111695569A - 一种基于多分割图融合的图像像素级分类方法 - Google Patents

一种基于多分割图融合的图像像素级分类方法 Download PDF

Info

Publication number
CN111695569A
CN111695569A CN202010397565.3A CN202010397565A CN111695569A CN 111695569 A CN111695569 A CN 111695569A CN 202010397565 A CN202010397565 A CN 202010397565A CN 111695569 A CN111695569 A CN 111695569A
Authority
CN
China
Prior art keywords
segmentation
pixel
mask
consensus
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010397565.3A
Other languages
English (en)
Other versions
CN111695569B (zh
Inventor
姚莉
乔昂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202010397565.3A priority Critical patent/CN111695569B/zh
Publication of CN111695569A publication Critical patent/CN111695569A/zh
Application granted granted Critical
Publication of CN111695569B publication Critical patent/CN111695569B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多分割图融合的图像像素级分类方法。该方法有三个主要步骤,首先在多个分割图间引入指导机制，使用较高精度分割图指导较低精度分割图提高精度。接着引入一种共识机制，在各个图中可能产生分类冲突的边缘区域像素点间，通过协商策略达成分类共识。最后使用一种基于全卷积神经网络的融合策略，有效结合前述两种机制，得到最终输出。本发明能够有效地解决边缘区域的像素分类冲突问题，将多个分割图进行融合得到粒度更细的像素级分类结果。可与多种技术结合使用，包括但不限于深度神经网络、随机森林与支持向量机等有监督学习方法。该方法的使用，可以有效弥补现有方法对冲突像素点重视的不足，得到质量更高的融合分割结果。

Description

一种基于多分割图融合的图像像素级分类方法
技术领域
本发明涉及一种图像处理与分析技术,属于图像内容理解技术领域。
背景技术
图像内容理解是计算机视觉领域的一个重要的研究目标。随着计算机视觉技术的不断发展，对于图像内容的理解也在往更细粒度的方向发展。分割，也即像素粒度图像分类，作为实现图像内容理解的重要方法之一，如何在当前已有的技术基础上实现更细粒度的分类效果，是当前研究的重点所在。这其中不可避免地会涉及到不同现有技术间的像素点分类冲突问题，这种冲突一般发生在不同部分分割内容间的边缘部分。现有方法对于目前存在的几类冲突问题仍未提出有效的解决方案：
1)相同前景物体不同分割间的分类冲突。
2)相同背景内容不同分割间的分类冲突。
3)前景物体与背景内容相接部分的分类冲突。
发明内容
本发明的目的是为解决相同前景物体不同分割间的分类冲突、相同背景内容不同分割间的分类冲突、前景物体与背景内容相接部分的分类冲突的问题，本发明提出了一种分割图融合技术，该方法有针对性地解决了不同分割图间的三类像素分类冲突问题，提高了像素级分类精度与质量。
为达到上述目的，本发明采用的方法是：一种基于多分割图融合的图像像素级分类方法，包括以下步骤：
(1)在多个分割图间引入指导机制。根据各个部分分割内容的分割质量，使用注意力机制将高精度内容提供给低精度部分使其着重关注。以两分割图融合应用场景为例，若待融合输入为前景物体与背景内容分割图，背景内容分割由于相较前景物体分割对于局部及全局语义的要求更高，导致边缘部分的分类精度略低，可使用前景物体分割在边缘区域的分类结果作为注意力，对背景内容分割在相应区域的语义信息进行补充。多分割图情形可依此推之。
(2)在多分割图间引入共识机制，通过在有监督学习方法的学习阶段习得一个共识掩码，化解边缘区域可能存在的分类冲突。以两分割图应用场景为例，将两分割图分别编码为0与1。共识掩码为二值掩码，初始时为0值掩码，若(i,j)位置值为0表示双方达成了输入图对应位置像素分类与0编码分割图相同，值为1时反之。学习过程中在损失函数相应项的指导下，两部分不断地协商得出更加合理的共识掩码结果。多分割图情形可依此推之。
(3)使用一种基于全卷积神经网络的融合策略，有效结合前述两种机制，得出最终输出以两分割图应用场景为例，多分割图场景可依此推之。
作为本发明的一种改进，所述的融合策略通过以下子步骤来实现：
(3.1)完成初始化工作，对前述步骤得出的所有物体的分割块，以输入原图像尺寸为基准，进行尺寸配准；
(3.2)剔除重复分割块，若相同物体不同分割块间不完全重叠，则保留重叠部分；对于不同物体间重叠区域的像素归属问题，由后续后续子步骤解决；
(3.3)调整轮廓范围，将所有类别物体的分割块输入至一个编码器-解码器结构的全卷积神经网络中，通过学习调整各个物体的轮廓范围；
(3.4)合并掩码，将上一步得出的物体掩码进行合并，边缘重叠区域的像素点根据共识掩码判断其归属。
有益效果：
(1)本发明通过引入不同分割图间的指导机制，解决了图像相同前景物体、相同背景内容不同分割间的像素分类冲突问题。
(2)本发明通过引入不同分割间的共识机制，解决了图像前景物体与背景内容间边缘区域像素的分类冲突问题。
(3)本发明所提出方法可与多种有监督学习方法配合使用，包括但不限于深度神经网络、随机森林、支持向量机等方法，通过最后的融合策略，配合相应损失函数，可提高像素级分类精度，显著提高分割质量。
附图说明
图1多分割图间像素分类冲突解决方案整体流程图；
图2基于注意力的多分割图指导机制示意图；
图3基于共识掩码的多分割图共识机制示意图；
图4基于全卷积神经网络的多分割融合策略流程图；
具体实施方式
以下实施用于说明本发明，但不用来限制本发明的范围。
下面结合附图和实际对多分割图像素冲突解决的过程。
如图1所示，为本发明多分割图间像素分类冲突解决方案整体流程图，本发明的方法包括以下步骤：
(1)引入指导机制，根据各部分分割内容的分割质量，使用注意力机制将高精度内容提供给低精度部分使其着重关注，对相应区域的语义信息进行补充，提高低精度部分的分割精度；
(2)引入共识机制，在损失函数相应项的指导下，通过在有监督学习方法的学习阶段不断地协商习得一个边缘区域像素点上的共识掩码，化解边缘区域可能存在的分类冲突；
(3)使用一种基于全卷积神经网络的融合策略，综合前述两种机制结果得到最终输出。
下面以两分割图为例对本发明做进一步阐述，多分割图可依此推之。
(1)指导机制，使用较高精度分割图指导较低精度分割图提高精度：
基于注意力的指导机制如图2所示，对于两分割图，我们假设待融合输入为前景物体分割图mentorfo与背景内容分割图inbc，背景内容分割由于相较前景物体分割对于局部及全局语义的要求更高，导致边缘部分的分类精度略低，可使用前景物体分割在边缘区域的分类结果作为注意力，对背景内容分割在相应区域的语义信息进行补充。若定义outbc为背景内容部分经过指导后的输出，则它们之间的关系可形式化为
Figure BDA0002488233250000031
其中
Figure BDA0002488233250000032
与
Figure BDA0002488233250000033
分别为逐像素乘与逐像素加操作，rescale(·)用于分割图间尺寸的配准，norm(·)为归一化操作，与分割图数目负相关。
定义p与g为预测输出与标注输出，此场景下指导损失项为
Figure BDA0002488233250000034
(2)共识机制，通过在有监督学习方法的学习阶段习得一个共识掩码，化解边缘区域可能存在的分类冲突，基于共识掩码的共识机制如图3所示：
(2.1)初始化共识掩码：
将两部分分别编码为0与1。共识掩码为二值掩码，初始时为0值掩码，若(i,j)位置值为0表示双方达成了输入图对应位置像素分类与0编码分割图相同，值为1时反之。将两分割图进行尺寸配准，调整为相同尺寸。
(2.2)计算前景掩码与背景掩码：
将输入分割图进行尺寸配准，调整为相同尺寸。
对于前景物体，将同属一类物体的不同分割块合并至同一掩码中，并使用一个习得的阈值进行截断。而后再将截断后的每一类掩码合并，使用类别数目对掩码像素点值进行规则化，计算得出二值前景掩码。
对于背景内容，将背景内容部分像素值赋以与初始化阶段相同的编码值，将非背景部分的像素值赋以相反的值，生成一个背景内容掩码。
(2.3)共识学习：
在有监督学习的学习过程中，不断地减小两者间的相关损失项，达到共识的学习。
损失函数定义如下，定义f与b为两个输入的分割图，N表示学习过程不断迭代输入的分割图数量，此场景下共识损失项为
Figure BDA0002488233250000041
(3)一种基于全卷积神经网络的融合策略，如图4所示，有效结合前述两种机制，得出最终输出。以两分割图应用场景为例，多分割图场景可依此推之，融合策略通过以下子步骤来实现：
(3.1)完成初始化工作。对前述步骤得出的所有物体的分割块，以输入原图像尺寸为基准，进行尺寸配准。
(3.2)剔除重复分割块。若相同物体不同分割块间不完全重叠，则保留重叠部分；对于不同物体间重叠区域的像素归属问题，由后续后续子步骤解决。
(3.3)调整轮廓范围。将所有类别物体的分割块输入至一个编码器-解码器结构的全卷积神经网络中，通过学习调整各个物体的轮廓范围。
(3.4)合并掩码。将上一步得出的物体掩码进行合并，边缘重叠区域的像素点根据共识掩码判断其归属。

Claims (4)

1.一种基于多分割图融合的图像像素级分类方法，其特征在于，包括以下步骤：
(1)引入指导机制，根据各部分分割内容的分割质量，使用注意力机制将高精度内容提供给低精度部分使其着重关注，对相应区域的语义信息进行补充，提高低精度部分的分割精度；
(2)引入共识机制，在损失函数相应项的指导下，通过在有监督学习方法的学习阶段不断地协商习得一个边缘区域像素点上的共识掩码，化解边缘区域可能存在的分类冲突；
(3)使用一种基于全卷积神经网络的融合策略，综合前述两种机制结果得到最终输出。
2.根据权利要求1所述的一种基于多分割图融合的图像像素级分类方法，其特征在于，所述步骤(1)中的指导机制通过以下子步骤来实现：
(1.1)定义待融合输入为前景物体分割图mentorfo与背景内容分割图inbc，定义outbc为背景内容部分经过指导后的输出，则它们之间的关为
Figure FDA0002488233240000011
其中
Figure FDA0002488233240000012
与
Figure FDA0002488233240000013
分别为逐像素乘与逐像素加操作，rescale(·)用于分割图间尺寸的配准，norm(·)为归一化操作，与分割图数目负相关；
(1.2)在相应有监督学习方法中中配合如下损失项对指导效果进行衡量：定义p与g为预测输出与标注输出，此场景下指导损失项为
Figure FDA0002488233240000014
3.根据权利要求1所述的一种基于多分割图融合的图像像素级分类方法，其特征在于，所述步骤(2)中的共识机制通过以下子步骤来实现：
(2.1)初始化共识掩码，将两部分分别编码为0与1，共识掩码为二值掩码，初始时为0值掩码，若(i,j)位置值为0表示双方达成了输入图对应位置像素分类与0编码分割图相同，值为1时反之，将两分割图进行尺寸配准，调整为相同尺寸；
(2.2)计算前景掩码与背景掩码，将输入分割图进行尺寸配准，调整为相同尺寸，对于前景物体，将同属一类物体的不同分割块合并至同一掩码中，并使用一个习得的阈值进行截断，而后再将截断后的每一类掩码合并，使用类别数目对掩码像素点值进行规则化，计算得出二值前景掩码；对于背景内容，将背景内容部分像素值赋以与初始化阶段相同的编码值，将非背景部分的像素值赋以相反的值，生成一个背景内容掩码；
(2.3)共识学习，在有监督学习的学习过程中，不断地减小两者间的相关损失项，达到共识的学习，损失项定义如下，定义f与b为两个输入的分割图，N表示学习过程不断迭代输入的分割图数量，此场景下共识损失项为
Figure FDA0002488233240000021
4.根据权利要求1所述的一种基于多分割图融合的图像像素级分类方法，其特征在于，所述步骤3中的融合策略通过以下子步骤来实现：
(3.1)完成初始化工作，对前述步骤得出的所有物体的分割块，以输入原图像尺寸为基准，进行尺寸配准；
(3.2)剔除重复分割块，若相同物体不同分割块间不完全重叠，则保留重叠部分；对于不同物体间重叠区域的像素归属问题，由后续后续子步骤解决；
(3.3)调整轮廓范围，将所有类别物体的分割块输入至一个编码器-解码器结构的全卷积神经网络中，通过学习对各个物体的轮廓范围进行微调；
(3.4)合并掩码。将上一步得出的物体掩码进行合并，边缘重叠区域的像素点根据共识掩码判断其归属。
CN202010397565.3A 2020-05-12 2020-05-12 一种基于多分割图融合的图像像素级分类方法 Active CN111695569B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010397565.3A CN111695569B (zh) 2020-05-12 2020-05-12 一种基于多分割图融合的图像像素级分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010397565.3A CN111695569B (zh) 2020-05-12 2020-05-12 一种基于多分割图融合的图像像素级分类方法

Publications (2)

Publication Number Publication Date
CN111695569A true CN111695569A (zh) 2020-09-22
CN111695569B CN111695569B (zh) 2023-04-18

Family

ID=72477703

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010397565.3A Active CN111695569B (zh) 2020-05-12 2020-05-12 一种基于多分割图融合的图像像素级分类方法

Country Status (1)

Country Link
CN (1) CN111695569B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116453246A (zh) * 2023-06-12 2023-07-18 深圳市众联视讯科技有限公司 识别门外物件且可报警的智能门锁及识别报警方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780500A (zh) * 2016-12-09 2017-05-31 深圳市唯特视科技有限公司 一种采用回归算法的图像分割方法
CN109685067A (zh) * 2018-12-26 2019-04-26 江西理工大学 一种基于区域和深度残差网络的图像语义分割方法
CN110047077A (zh) * 2019-04-17 2019-07-23 湘潭大学 一种用于以太坊共识机制的图像处理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780500A (zh) * 2016-12-09 2017-05-31 深圳市唯特视科技有限公司 一种采用回归算法的图像分割方法
CN109685067A (zh) * 2018-12-26 2019-04-26 江西理工大学 一种基于区域和深度残差网络的图像语义分割方法
CN110047077A (zh) * 2019-04-17 2019-07-23 湘潭大学 一种用于以太坊共识机制的图像处理方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
侯小刚 等: "基于超像素多特征融合的快速图像分割算法", 《电子学报》 *
王书朋 等: "基于自适应分割的多曝光图像融合算法", 《计算机应用》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116453246A (zh) * 2023-06-12 2023-07-18 深圳市众联视讯科技有限公司 识别门外物件且可报警的智能门锁及识别报警方法
CN116453246B (zh) * 2023-06-12 2024-02-02 深圳市众联视讯科技有限公司 识别门外物件且可报警的智能门锁及识别报警方法

Also Published As

Publication number Publication date
CN111695569B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN109753913B (zh) 计算高效的多模式视频语义分割方法
Batsos et al. CBMV: A coalesced bidirectional matching volume for disparity estimation
Liu et al. Local similarity pattern and cost self-reassembling for deep stereo matching networks
CN111583097A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
US20240029272A1 (en) Matting network training method and matting method
Nandi et al. Traffic sign detection based on color segmentation of obscure image candidates: a comprehensive study
KR20180067909A (ko) 영상 분할 장치 및 방법
CN115565071A (zh) 高光谱图像Transformer网络训练及分类方法
Michalak et al. Fast Binarization of Unevenly Illuminated Document Images Based on Background Estimation for Optical Character Recognition Purposes.
CN111695569B (zh) 一种基于多分割图融合的图像像素级分类方法
Yang et al. Study of detection method on real-time and high precision driver seatbelt
Chen et al. Pgnet: Panoptic parsing guided deep stereo matching
Sun et al. TSINIT: a two-stage Inpainting network for incomplete text
Zhao et al. Traffic signs and markings recognition based on lightweight convolutional neural network
CN110880011B (zh) 影像切割方法、装置及其非暂态电脑可读取媒体
Fröhlich et al. As time goes by—anytime semantic segmentation with iterative context forests
CN111914947A (zh) 基于特征融合图像实例分割方法、装置、设备及存储介质
CN116228795A (zh) 一种基于弱监督学习的超高分辨率医学图像分割方法
Khan et al. A robust light-weight fused-feature encoder-decoder model for monocular facial depth estimation from single images trained on synthetic data
CN114627139A (zh) 基于像素特征学习的无监督图像分割方法、装置及设备
Tsai et al. Real-time automatic multilevel color video thresholding using a novel class-variance criterion
Ke et al. Subject-aware image outpainting
Huang et al. Space dynamic target tracking method based on five-frame difference and Deepsort
Vasam et al. Instance Segmentation on Real time Object Detection using Mask R-CNN
CN114463187B (zh) 基于聚合边缘特征的图像语义分割方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant