CN111931793A - 一种显著性目标提取方法及*** - Google Patents

一种显著性目标提取方法及*** Download PDF

Info

Publication number
CN111931793A
CN111931793A CN202010823408.4A CN202010823408A CN111931793A CN 111931793 A CN111931793 A CN 111931793A CN 202010823408 A CN202010823408 A CN 202010823408A CN 111931793 A CN111931793 A CN 111931793A
Authority
CN
China
Prior art keywords
feature map
feature
shallow
unit
generate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010823408.4A
Other languages
English (en)
Other versions
CN111931793B (zh
Inventor
文兵
邓杨保
邓曙光
张光富
张赛文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan City University
Original Assignee
Hunan City University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan City University filed Critical Hunan City University
Priority to CN202010823408.4A priority Critical patent/CN111931793B/zh
Publication of CN111931793A publication Critical patent/CN111931793A/zh
Application granted granted Critical
Publication of CN111931793B publication Critical patent/CN111931793B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种显著性目标提取方法及***，通过利用多个特征互补单元结合Res2Net主干网络生成的多个浅层特征图包括的浅层特征以及经过平均池化模块生成的全局特征图包括的高层特征，来使待检测图片生成的特征图产生互补特征，同时利用特征边缘细化模块提高待检测图片生成的特征图的边沿清晰度，从而提高了图片的显著性目标检测精度。

Description

一种显著性目标提取方法及***
技术领域
本发明涉及目标检测技术领域，特别是涉及一种显著性目标提取方法及***。
背景技术
随着信息化、智能化社会的发展，智能机器开始逐渐应用到人类的生活中，比如具有人脸识别、目标跟踪、行为检测的机器人开始应用于车站、医院等场所。一般来说，智能机器人通过摄像头等设备采集场景信息，然后通过处理器对场景中的信息进行处理，但是当前的智能机器仅仅处于初级阶段，无法处理背景信息较为复杂的场景。这一缺陷导致了智能机器的识别或者检测效果有限。针对这一问题，研究者们首先对采集图像进行预处理，然后将预处理后的图像输入到处理器。而显著性目标检测是预处理中采用的常见方法，该方法能够有效的提取图像或者视频中的显著性目标。
目前显著性目标检测方法主要采用的是基于传统特征提取的方法。基于传统提取特征的方法通过提取光流直方图、梯度直方图等多种特征，然后对目标进行检测。但是传统特征提取的方法，在提取特征时，容易受到背景信息的干扰，导致传统特征提取方法检测性能较差。
发明内容
本发明的目的是提供一种显著性目标提取方法及***，以解决传统特征提取的方法在提取特征时，容易受到背景信息的干扰，导致传统特征提取方法检测性能较差的问题。
为实现上述目的，本发明提供了如下方案：
一种显著性目标提取方法，包括Res2Net主干网络、去冗余信息模块、特征互补模块、特征增强模块、平均池化模块以及特征边缘细化模块；
Res2Net主干网络包括第一层Res2Net单元、第二层Res2Net单元、第三层Res2Net单元和第四层Res2Net单元；所述平均池化模块包括第一平均池化单元、第二平均池化单元、第三平均池化单元；所述特征增强模块包括第一特征增强单元、第二特征增强单元、第三特征增强单元和第四特征增强单元；所述特征互补模块包括第一特征互补单元、第二特征互补单元和第三特征互补单元；
待检测图片经所述第一层Res2Net单元生成第一浅层特征图，所述第一浅层特征图经所述第二层Res2Net单元生成第二浅层特征图，所述第二浅层特征图经所述第三层Res2Net单元生成第三浅层特征图，所述第三浅层特征图经所述第四层Res2Net单元生成第四浅层特征图；
所述第四浅层特征图经所述第一平均池化单元生成第一全局特征图；所述第四浅层特征图经所述第二平均池化单元生成第二全局特征图；所述第四浅层特征图经所述第三平均池化单元生成第三全局特征图；
所述第四浅层特征图经去冗余信息模块生成去冗余后的第四浅层特征图，所述去冗余后的第四浅层特征图经过所述第一特征增强单元生成增强特征映射后的第四浅层特征图；
所述第一特征互补单元根据所述增强特征映射后的第四浅层特征图、所述第三浅层特征图以及所述第一全局特征图，生成第一互补特征图；所述第一互补特征图经第二特征增强单元生成增强特征映射后的第一互补特征图；
所述第二特征互补单元根据所述增强特征映射后的第一互补特征图、所述第二浅层特征图以及所述第二全局特征图，生成第二互补特征图；所述第二互补特征图经所述第三特征增强单元生成增强特征映射后的第二互补特征图；
所述第三特征互补单元根据所述增强特征映射后的第二互补特征图、所述第一浅层特征图以及所述第三全局特征图，生成第三互补特征图，所述第三互补特征图经所述第四特征增强单元生成增强特征映射后的第三互补特征图；
所述特征边缘细化模块根据第一浅层特征图、第二浅层特征图和第三浅层特征图，生成边缘特征图和显著特征图。
可选的，所述第四浅层特征图经去冗余信息模块生成去冗余后的第四浅层特征图，具体包括：
对所述第四浅层特征图进行卷积处理，生成第一待相乘去冗余后的第四浅层特征图；
对所述第四浅层特征图依次进行下采样处理和卷积处理，生成第一待相乘去冗余后的第四浅层特征图；
将所述第一待相乘去冗余后的第四浅层特征图与所述第一待相乘去冗余后的第四浅层特征图相乘，生成所述去冗余后的第四浅层特征图。
可选的，所述去冗余后的第四浅层特征图经过所述第一特征增强单元生成增强特征映射后的第四浅层特征图，具体包括：
对所述去冗余后的第四浅层特征图进行卷积处理，生成卷积后的第四浅层特征图；
对所述卷积后的第四浅层特征图进行卷积处理，生成压缩后的第四浅层特征图；
将所述卷积后的第四浅层特征图与所述压缩后的第四浅层特征图相乘，生成相乘后的第四浅层特征图；
将所述相乘后的第四浅层特征图与所述压缩后的第四浅层特征图相加，生成所述增强特征映射后的第四浅层特征图。
可选的，所述第一特征互补单元根据所述增强特征映射后的第四浅层特征图、所述第三浅层特征图以及所述第一全局特征图，生成第一互补特征图，具体包括：
对所述增强特征映射后的第四浅层特征图依次进行卷积处理和上采样处理，生成第一待相乘增强特征映射后的第四浅层特征图；
对所述增强特征映射后的第四浅层特征图进行上采样处理，生成第二待相乘增强特征映射后的第四浅层特征图；
对所述第一全局特征图依次进行卷积处理和上采样处理，生成第三待相乘增强特征映射后的第四浅层特征图；
对所述第三浅层特征图进行卷积处理，生成卷积后的第三浅层特征图；
对所述卷积后的第三浅层特征图进行卷积处理生成压缩后的第三浅层特征图；
将所述第一待相乘增强特征映射后的第四浅层特征图与所述卷积后的第三浅层特征图相乘生成第一待拼接特征图；
将所述第二待相乘增强特征映射后的第四浅层特征图与所述压缩后的第三浅层特征图相乘生成第二待拼接特征图；
将所述第三待相乘增强特征映射后的第四浅层特征图与所述卷积后的第三浅层特征图相乘生成第三待拼接特征图；
将所述第一待拼接特征图、所述第二待拼接特征图和所述第三待拼接特征图进行拼接处理后，生成第一高层特征图；
对所述第一高层特征图进行卷积处理，生成所述第一互补特征图。
可选的，所述特征边缘细化模块根据第一浅层特征图、第二浅层特征图和第三浅层特征图，生成边缘特征图和显著特征图，具体包括：
Si＝Si+f(Si,E) (1)
Ei＝Ei+g(Ei,S) (2)
Figure BDA0002635297980000041
f＝Conv(Cat(Si,Cat3[CU(Ei)])) (4)
采用公式(1)-(4)生成边缘特征图E和显著特征图S；
其中，Ei表示第i层Res2Net单元生成的浅层特征图中的边沿特征，Si表示第i层Res2Net单元中生成的浅层特征图中的显著性特征，
Figure BDA0002635297980000042
表示点乘，∏表示累乘，CU表示尺度变换，Conv表示卷积，f表示第一边沿特征和显著性特征融合公式，g表示第二边沿特征和显著性特征融合公式，Cat表示拼接。
一种显著性目标提取***，包括Res2Net主干网络、去冗余信息模块、特征互补模块、特征增强模块、平均池化模块以及特征边缘细化模块；
Res2Net主干网络包括第一层Res2Net单元、第二层Res2Net单元、第三层Res2Net单元和第四层Res2Net单元；所述平均池化模块包括第一平均池化单元、第二平均池化单元、第三平均池化单元；所述特征增强模块包括第一特征增强单元、第二特征增强单元、第三特征增强单元和第四特征增强单元；所述特征互补模块包括第一特征互补单元、第二特征互补单元和第三特征互补单元；
所述第一层Res2Net单元，用于根据待检测图片生成第一浅层特征图；
所述第二层Res2Net单元，用于根据所述第一浅层特征图生成第二浅层特征图；
所述第三层Res2Net单元，用于根据所述第二浅层特征图生成第三浅层特征图；
所述第四层Res2Net单元，用于根据所述第三浅层特征图生成第四浅层特征图；
所述第一平均池化单元，用于根据所述第四浅层特征图生成第一全局特征图；
所述第二平均池化单元，用于根据所述第四浅层特征图生成第二全局特征图；
所述第三平均池化单元，用于根据所述第四浅层特征图生成第三全局特征图；
所述去冗余信息模块，用于根据所述第四浅层特征图生成去冗余后的第四浅层特征图；
所述第一特征增强单元，用于根据所述去冗余后的第四浅层特征图生成增强特征映射后的第四浅层特征图；
所述第一特征互补单元，用于根据所述增强特征映射后的第四浅层特征图、所述第三浅层特征图以及所述第一全局特征图，生成第一互补特征图；
所述第二特征增强单元，用于根据所述第一互补特征图生成增强特征映射后的第一互补特征图；
所述第二特征互补单元，用于根据所述增强特征映射后的第一互补特征图、所述第二浅层特征图以及所述第二全局特征图，生成第二互补特征图；
第三特征增强单元，用于根据所述第二互补特征图生成增强特征映射后的第二互补特征图；
所述第三特征互补单元，用于根据所述增强特征映射后的第二互补特征图、所述第一浅层特征图以及所述第三全局特征图，生成第三互补特征图；
所述第四特征增强单元，用于根据所述第三互补特征图生成增强特征映射后的第三互补特征图；
特征边缘细化模块，用于根据第一浅层特征图、第二浅层特征图和第三浅层特征图，生成边缘特征图和显著特征图。
可选的，所述去冗余信息模块，具体包括：
第一卷积处理子单元，用于对所述第四浅层特征图进行卷积处理，生成第一待相乘去冗余后的第四浅层特征图；
第一图像匹配子单元，用于对所述第四浅层特征图依次进行下采样处理和卷积处理，生成第一待相乘去冗余后的第四浅层特征图；
第一相乘子单元，用于将所述第一待相乘去冗余后的第四浅层特征图与所述第一待相乘去冗余后的第四浅层特征图相乘，生成所述去冗余后的第四浅层特征图。
可选的，所述第一特征增强单元，具体包括：
第二卷积处理子单元，用于对所述去冗余后的第四浅层特征图进行卷积处理，生成卷积后的第四浅层特征图；
第三卷积处理子单元，用于对所述卷积后的第四浅层特征图进行卷积处理，生成压缩后的第四浅层特征图；
第二相乘子单元，用于将所述卷积后的第四浅层特征图与所述压缩后的第四浅层特征图相乘，生成相乘后的第四浅层特征图；
第一相加子单元，用于将所述相乘后的第四浅层特征图与所述压缩后的第四浅层特征图相加，生成所述增强特征映射后的第四浅层特征图。
可选的，所述第一特征互补单元，具体包括：
第二图像匹配子单元，用于对所述增强特征映射后的第四浅层特征图依次进行卷积处理和上采样处理，生成第一待相乘增强特征映射后的第四浅层特征图；
上采样子单元，用于对所述增强特征映射后的第四浅层特征图进行上采样处理，生成第二待相乘增强特征映射后的第四浅层特征图；
第三图像匹配子单元，用于对所述第一全局特征图依次进行卷积处理和上采样处理，生成第三待相乘增强特征映射后的第四浅层特征图；
第四卷积处理子单元，用于对所述第三浅层特征图进行卷积处理，生成卷积后的第三浅层特征图；
第五卷积处理子单元，用于对所述卷积后的第三浅层特征图进行卷积处理生成压缩后的第三浅层特征图；
第三相乘子单元，用于将所述第一待相乘增强特征映射后的第四浅层特征图与所述卷积后的第三浅层特征图相乘生成第一待拼接特征图；
第四相乘子单元，用于将所述第二待相乘增强特征映射后的第四浅层特征图与所述压缩后的第三浅层特征图相乘生成第二待拼接特征图；
第五相乘子单元，用于将所述第三待相乘增强特征映射后的第四浅层特征图与所述卷积后的第三浅层特征图相乘生成第三待拼接特征图；
第一拼接子单元，用于将所述第一待拼接特征图、所述第二待拼接特征图和所述第三待拼接特征图进行拼接处理后，生成第一高层特征图；
第六卷积处理子单元，用于对所述第一高层特征图进行卷积处理，生成所述第一互补特征图。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明公开了一种显著性目标提取方法及***，通过利用多个特征互补单元结合Res2Net主干网络生成的多个浅层特征图包括的浅层特征以及经过平均池化模块生成的全局特征图包括的高层特征，来使待检测图片生成的特征图产生互补特征，同时利用特征边缘细化模块提高待检测图片生成的特征图的边沿清晰度，从而提高了图片的显著性目标检测精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的显著性目标检测网络结构示意图；
图2为本发明提供的Res2Net单元结构示意图；
图3为本发明提供的去冗余信息模块结构示意图；
图4为本发明提供的特征增强单元结构示意图；
图5为本发明提供的特征互补单元结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种显著性目标提取方法及***，以解决传统特征提取的方法在提取特征时，容易受到光照等因素的影响，导致检测能力差的问题。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明提供的显著性目标检测网络结构示意图。如图1所示，一种显著性目标提取方法，包括Res2Net主干网络、去冗余信息模块H、特征互补模块、特征增强模块、平均池化模块以及特征边缘细化模块CRU；
Res2Net主干网络包括第一层Res2Net单元layer1、第二层Res2Net单元layer2、第三层Res2Net单元layer3和第四层Res2Net单元layer4；所述平均池化模块包括第一平均池化单元g1、第二平均池化单元g2、第二平均池化单元g3；所述特征增强模块包括第一特征增强单元S1、第二特征增强单元S2、第三特征增强单元S3和第四特征增强单元S4；所述特征互补模块包括第一特征互补单元F1、第二特征互补单元F2和第三特征互补单元F3；
图2为本发明提供的Res2Net单元结构示意图。如图2所示，待检测图片经所述第一层Res2Net单元layer1生成第一浅层特征图；在实际应用中，待检测图片在经过尺寸为1×1的卷积核之后，被分为四组，分别为x1,x2,x3,x4。x1组的数据直接输出为y1；x2组的图像数据在经过尺寸为3×3的卷积核之后分为两组，一组作为输出数据y2,而另外一组则与x3组的图像数据一起作为x3组经过尺寸为3×3的卷积核的输入数据。x3、x4组的操作如同x2组。最后将输出数据y1,y2,y3,y4融合，输入1×1的卷积核中。Res2Net跟ResNet网络相比感受野更加丰富，能够提取图像中不同尺度的目标。
所述第一浅层特征图经所述第二层Res2Net单元layer2生成第二浅层特征图，所述第二浅层特征图经所述第三层Res2Net单元layer3生成第三浅层特征图，所述第三浅层特征图经所述第四层Res2Net单元layer4生成第四浅层特征图；。
所述第四浅层特征图经所述第一平均池化单元g1生成第一全局特征图；所述第四浅层特征图经所述第二平均池化单元g2生成第二全局特征图；所述第四浅层特征图经所述第二平均池化单元g3生成第三全局特征图；平均池化模块，用来捕获每个阶段中F模块中的全局相关信息。首先使用全局平均池来获取全局相关信息，然后在每个阶段将不同的权重重新分配给全局相关特征映射的不同通道。由于不同的通道都携带不同的特征，因此需要将不同的通道赋予不同的权重，这相当于特征的融合，也是为了强化有用信息。
图3为本发明提供的去冗余信息模块结构示意图。如图3所示，所述第四浅层特征图经去冗余信息模块H生成去冗余后的第四浅层特征图，具体的：
对所述第四浅层特征图进行卷积处理，生成第一待相乘去冗余后的第四浅层特征图；
对所述第四浅层特征图依次进行下采样处理和卷积处理，生成第一待相乘去冗余后的第四浅层特征图；
将所述第一待相乘去冗余后的第四浅层特征图与所述第一待相乘去冗余后的第四浅层特征图相乘，生成所述去冗余后的第四浅层特征图。
在显著目标检测中，编码器组件的顶层特性通常是冗余的，因此需要H模块在顶层之后，利用空间和通道注意机制来学***均池(下采样)将输入特征F向下采样为信道方向具有较强的一致性和不变性的特征向量f。最后，利用F1对向量y的加权，得到了输出特征映射。
图4为本发明提供的特征增强单元结构示意图。如图4所示，所述去冗余后的第四浅层特征图经过所述第一特征增强单元S1生成增强特征映射后的第四浅层特征图M，具体的：
对所述去冗余后的第四浅层特征图进行卷积处理，生成卷积后的第四浅层特征图；
对所述卷积后的第四浅层特征图进行卷积处理，生成压缩后的第四浅层特征图；
将所述卷积后的第四浅层特征图与所述压缩后的第四浅层特征图相乘，生成相乘后的第四浅层特征图；
将所述相乘后的第四浅层特征图与所述压缩后的第四浅层特征图相加，生成所述增强特征映射后的第四浅层特征图。在对图片浅层和高层之间不同层次的特征之间相互结合得到了具有强分辨能力的综合特征。但是这种综合特征仍然存在一定的缺陷。S单元，利用乘法和加法运算，进一步细化和增强特征映射。
浅层特征包括了如纹理、边界和空间结构等细节信息，但是浅层特征包含了大量的背景噪声。而高层特征提供的语义信息可以抑制噪声，有利于突出显著性目标。因此，F单元的设计是为了结合浅层特征以及高层特征，产生互补的特征。F单元以上一层输出的高层特征，对应浅层的浅层特征，以及g单元生成的全局相关特征作为输入。
图5为本发明提供的特征互补单元结构示意图。如图5所示，其中fh表示上一层输出的高层特征，fl表示对应浅层的浅层特征，fl’由fl经过卷积操作得到，表示压缩的浅层特征，fg表示g模块生成的全局相关特征作为输入；Conv表示卷积，upsample表示上采样，⊙表示相乘，
Figure BDA0002635297980000101
表示拼接。
所述第一特征互补单元F1根据所述增强特征映射后的第四浅层特征图、所述第三浅层特征图以及所述第一全局特征图，生成第一互补特征图，具体的：
对所述增强特征映射后的第四浅层特征图依次进行卷积处理和上采样处理，生成第一待相乘增强特征映射后的第四浅层特征图；
对所述增强特征映射后的第四浅层特征图进行上采样处理，生成第二待相乘增强特征映射后的第四浅层特征图；
对所述第一全局特征图依次进行卷积处理和上采样处理，生成第三待相乘增强特征映射后的第四浅层特征图；
对所述第三浅层特征图进行卷积处理，生成卷积后的第三浅层特征图；
对所述卷积后的第三浅层特征图进行卷积处理生成压缩后的第三浅层特征图；
将所述第一待相乘增强特征映射后的第四浅层特征图与所述卷积后的第三浅层特征图相乘生成第一待拼接特征图；
将所述第二待相乘增强特征映射后的第四浅层特征图与所述压缩后的第三浅层特征图相乘生成第二待拼接特征图；
将所述第三待相乘增强特征映射后的第四浅层特征图与所述卷积后的第三浅层特征图相乘生成第三待拼接特征图；
将所述第一待拼接特征图、所述第二待拼接特征图和所述第三待拼接特征图进行拼接处理后，生成第一高层特征图；
对所述第一高层特征图进行卷积处理，生成所述第一互补特征图。F单元可以结合浅层特征以及高层特征，因此输入F单元中的特征是与浅层特征以及高层特征相关，浅层特征指的是经过浅层网络结构的图像特征，F单元对应由layer1、layer2、layer3中的输出特征。高层特征指的是经过深度网络结构的图像特征，F单元对应由M、M1、M2中的输出特征。卷积的作用一方面是为了提取特征，另一方面是为了匹配通道数，便于后面的拼接。上采样是为了使图像的大小一致，也是为了方便拼接操作。拼接指的是通道数的拼接，每一个通道都携带有图像特征，通道的拼接就相当于特征的融合。
所述第一互补特征图经第二特征增强单元S2生成增强特征映射后的第一互补特征图M2；
所述第二特征互补单元F2根据所述增强特征映射后的第一互补特征图、所述第二浅层特征图以及所述第二全局特征图，生成第二互补特征图；所述第二互补特征图经所述第三特征增强单元S3生成增强特征映射后的第二互补特征图M3；
所述第三特征互补单元F3根据所述增强特征映射后的第二互补特征图、所述第一浅层特征图以及所述第三全局特征图，生成第三互补特征图，所述第三互补特征图经所述第四特征增强单元S4生成增强特征映射后的第三互补特征图M4。本申请中生成的M、M2、M3和M4用于在训练过程中提供指导，方便对边缘特征图和显著特征图的修正。
所述特征边缘细化模块根据第一浅层特征图、第二浅层特征图和第三浅层特征图，生成边缘特征图和显著特征图。
CRU结构单元充分考虑了显著性目标与显著性目标边沿之间的关系。CRU模块，主要是为了细化显著性目标的边沿。利用这公式(1)-(4)可以得到边沿特征图E和显著特征图S。
Si＝Si+f(Si,E) (1)
Ei＝Ei+g(Ei,S) (2)
Figure BDA0002635297980000121
f＝Conv(Cat(Si,Cat3[CU(Ei)])) (4)
式中，Ei表示第i层Res2Net单元生成的浅层特征图中的边沿特征，Si表示第i层Res2Net单元中生成的浅层特征图中的显著性特征，
Figure BDA0002635297980000122
表示点乘，∏表示累乘，CU表示尺度变换，Conv表示卷积，f表示第一边沿特征和显著性特征融合公式，g表示第二边沿特征和显著性特征融合公式，Cat表示拼接。其中CU是一个尺度变换操作，确保分割和边缘特征之间的空间大小一致性。(CRU模块可以分为边沿模块以及显著性模块，利用f公式以及g公式可以将两个模块中间的特征融合，细化显著性特征的边沿)，Cat：拼接，这里的CRU单元，用了主干网络中间的layer1、layer2、layer3中间的信息，生成了边沿信息E1，E2，E3，拼接可以将这三部分的信息进行融合。Si：这里的CRU单元，用了主干网络中间的layer1、layer2、layer3中间的信息，生成了显著性信息S1，S2，S3。
在本文中CRU单元为了结合F单元，仅仅使用了Res2Net网络中的前3层。在CRU结构中边沿检测算子，如Sobel、LOG，对显著性图像E的边沿提取，生成显著性图像E的轮廓图。卷积核gx(x,y)与gy(x,y)对显著性图像Ef(x,y)进行卷积运算，水平方向上Gx(x,y)可以检测出水平方向的边缘，后者Gy(x,y)则可以检测垂直方向的边缘。如公式(5)、(6)。
Gx(x,y)＝f(x,y)*gx(x,y) (5)
Gy(x,y)＝f(x,y)*gy(x,y) (6)
G＝F(Gx(x,y),Gy(x,y)) (7)
公式(8)或者(9)则融合了两个方向上的特征。
Figure BDA0002635297980000131
F(Gx(x,y),Gy(x,y))＝Gx(x,y)+Gy(x,y) (9)
G表示边沿信息，Gx(x,y)表示图像中x方向上的边沿信息，Gy(x,y)表示图像中y方向上的边沿信息，F为中间变量。
本发明可使用DUTS-TR数据集作为训练集，在保存训练模型之后可以直接调用模型对图像进行分析。训练过程中使用随机梯度下降法对模型进行优化。批量化尺寸可根据硬件实验平台的性能进行设置。迭代次数可设置为30。
一种显著性目标提取***，包括Res2Net主干网络、去冗余信息模块、特征互补模块、特征增强模块、平均池化模块以及特征边缘细化模块；
Res2Net主干网络包括第一层Res2Net单元layer1、第二层Res2Net单元layer2、第三层Res2Net单元layer3和第四层Res2Net单元layer4；所述平均池化模块包括第一平均池化单元g1、第二平均池化单元g2、第二平均池化单元g3；所述特征增强模块包括第一特征增强单元S1、第二特征增强单元S2、第三特征增强单元S3和第四特征增强单元S4；所述特征互补模块包括第一特征互补单元F1、第二特征互补单元F2和第三特征互补单元F3；
所述第一层Res2Net单元layer1，用于根据待检测图片生成第一浅层特征图；
所述第二层Res2Net单元layer2，用于根据所述第一浅层特征图生成第二浅层特征图；
所述第三层Res2Net单元layer3，用于根据所述第二浅层特征图生成第三浅层特征图；
所述第四层Res2Net单元layer4，用于根据所述第三浅层特征图生成第四浅层特征图；
所述第一平均池化单元g1，用于根据所述第四浅层特征图生成第一全局特征图；
所述第二平均池化单元g2，用于根据所述第四浅层特征图生成第二全局特征图；
所述第二平均池化单元g3，用于根据所述第四浅层特征图生成第三全局特征图；
所述去冗余信息模块H，用于根据所述第四浅层特征图生成去冗余后的第四浅层特征图；
所述第一特征增强单元S1，用于根据所述去冗余后的第四浅层特征图生成增强特征映射后的第四浅层特征图；
所述第一特征互补单元F1，用于根据所述增强特征映射后的第四浅层特征图、所述第三浅层特征图以及所述第一全局特征图，生成第一互补特征图；
所述第二特征增强单元S2，用于根据所述第一互补特征图生成增强特征映射后的第一互补特征图；
所述第二特征互补单元F2，用于根据所述增强特征映射后的第一互补特征图、所述第二浅层特征图以及所述第二全局特征图，生成第二互补特征图；
第三特征增强单元S3，用于根据所述第二互补特征图生成增强特征映射后的第二互补特征图；
所述第三特征互补单元F3，用于根据所述增强特征映射后的第二互补特征图、所述第一浅层特征图以及所述第三全局特征图，生成第三互补特征图；
所述第四特征增强单元S4，用于根据所述第三互补特征图生成增强特征映射后的第三互补特征图；
特征边缘细化模块CRU，用于根据第一浅层特征图、第二浅层特征图和第三浅层特征图，生成边缘特征图和显著特征图。
所述去冗余信息模块，具体包括：
第一卷积处理子单元，用于对所述第四浅层特征图进行卷积处理，生成第一待相乘去冗余后的第四浅层特征图；
第一图像匹配子单元，用于对所述第四浅层特征图依次进行下采样处理和卷积处理，生成第一待相乘去冗余后的第四浅层特征图；
第一相乘子单元，用于将所述第一待相乘去冗余后的第四浅层特征图与所述第一待相乘去冗余后的第四浅层特征图相乘，生成所述去冗余后的第四浅层特征图。
所述第一特征增强单元S1，具体包括：
第二卷积处理子单元，用于对所述去冗余后的第四浅层特征图进行卷积处理，生成卷积后的第四浅层特征图；
第三卷积处理子单元，用于对所述卷积后的第四浅层特征图进行卷积处理，生成压缩后的第四浅层特征图；
第二相乘子单元，用于将所述卷积后的第四浅层特征图与所述压缩后的第四浅层特征图相乘，生成相乘后的第四浅层特征图；
第一相加子单元，用于将所述相乘后的第四浅层特征图与所述压缩后的第四浅层特征图相加，生成所述增强特征映射后的第四浅层特征图。
所述第一特征互补单元F1，具体包括：
第二图像匹配子单元，用于对所述增强特征映射后的第四浅层特征图依次进行卷积处理和上采样处理，生成第一待相乘增强特征映射后的第四浅层特征图；
上采样子单元，用于对所述增强特征映射后的第四浅层特征图进行上采样处理，生成第二待相乘增强特征映射后的第四浅层特征图；
第三图像匹配子单元，用于对所述第一全局特征图依次进行卷积处理和上采样处理，生成第三待相乘增强特征映射后的第四浅层特征图；
第四卷积处理子单元，用于对所述第三浅层特征图进行卷积处理，生成卷积后的第三浅层特征图；
第五卷积处理子单元，用于对所述卷积后的第三浅层特征图进行卷积处理生成压缩后的第三浅层特征图；
第三相乘子单元，用于将所述第一待相乘增强特征映射后的第四浅层特征图与所述卷积后的第三浅层特征图相乘生成第一待拼接特征图；
第四相乘子单元，用于将所述第二待相乘增强特征映射后的第四浅层特征图与所述压缩后的第三浅层特征图相乘生成第二待拼接特征图；
第五相乘子单元，用于将所述第三待相乘增强特征映射后的第四浅层特征图与所述卷积后的第三浅层特征图相乘生成第三待拼接特征图；
第一拼接子单元，用于将所述第一待拼接特征图、所述第二待拼接特征图和所述第三待拼接特征图进行拼接处理后，生成第一高层特征图；
第六卷积处理子单元，用于对所述第一高层特征图进行卷积处理，生成所述第一互补特征图。
本发明公开了一种显著性目标提取方法及***，通过利用多个特征互补单元结合Res2Net主干网络生成的多个浅层特征图包括的浅层特征以及经过平均池化模块生成的全局特征图包括的高层特征，来使待检测图片生成的特征图产生互补特征，同时利用CRU模块提高待检测图片生成的特征图的边沿清晰度，从而提高了图片的显著性目标检测精度。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的***而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种显著性目标提取方法，其特征在于，包括Res2Net主干网络、去冗余信息模块、特征互补模块、特征增强模块、平均池化模块以及特征边缘细化模块；
Res2Net主干网络包括第一层Res2Net单元、第二层Res2Net单元、第三层Res2Net单元和第四层Res2Net单元；所述平均池化模块包括第一平均池化单元、第二平均池化单元、第三平均池化单元；所述特征增强模块包括第一特征增强单元、第二特征增强单元、第三特征增强单元和第四特征增强单元；所述特征互补模块包括第一特征互补单元、第二特征互补单元和第三特征互补单元；
待检测图片经所述第一层Res2Net单元生成第一浅层特征图，所述第一浅层特征图经所述第二层Res2Net单元生成第二浅层特征图，所述第二浅层特征图经所述第三层Res2Net单元生成第三浅层特征图，所述第三浅层特征图经所述第四层Res2Net单元生成第四浅层特征图；
所述第四浅层特征图经所述第一平均池化单元生成第一全局特征图；所述第四浅层特征图经所述第二平均池化单元生成第二全局特征图；所述第四浅层特征图经所述第三平均池化单元生成第三全局特征图；
所述第四浅层特征图经去冗余信息模块生成去冗余后的第四浅层特征图，所述去冗余后的第四浅层特征图经过所述第一特征增强单元生成增强特征映射后的第四浅层特征图；
所述第一特征互补单元根据所述增强特征映射后的第四浅层特征图、所述第三浅层特征图以及所述第一全局特征图，生成第一互补特征图；所述第一互补特征图经第二特征增强单元生成增强特征映射后的第一互补特征图；
所述第二特征互补单元根据所述增强特征映射后的第一互补特征图、所述第二浅层特征图以及所述第二全局特征图，生成第二互补特征图；所述第二互补特征图经所述第三特征增强单元生成增强特征映射后的第二互补特征图；
所述第三特征互补单元根据所述增强特征映射后的第二互补特征图、所述第一浅层特征图以及所述第三全局特征图，生成第三互补特征图，所述第三互补特征图经所述第四特征增强单元生成增强特征映射后的第三互补特征图；
所述特征边缘细化模块根据第一浅层特征图、第二浅层特征图和第三浅层特征图，生成边缘特征图和显著特征图。
2.根据权利要求1所述的显著性目标提取方法，其特征在于，所述第四浅层特征图经去冗余信息模块生成去冗余后的第四浅层特征图，具体包括：
对所述第四浅层特征图进行卷积处理，生成第一待相乘去冗余后的第四浅层特征图；
对所述第四浅层特征图依次进行下采样处理和卷积处理，生成第一待相乘去冗余后的第四浅层特征图；
将所述第一待相乘去冗余后的第四浅层特征图与所述第一待相乘去冗余后的第四浅层特征图相乘，生成所述去冗余后的第四浅层特征图。
3.根据权利要求1所述的显著性目标提取方法，其特征在于，所述去冗余后的第四浅层特征图经过所述第一特征增强单元生成增强特征映射后的第四浅层特征图，具体包括：
对所述去冗余后的第四浅层特征图进行卷积处理，生成卷积后的第四浅层特征图；
对所述卷积后的第四浅层特征图进行卷积处理，生成压缩后的第四浅层特征图；
将所述卷积后的第四浅层特征图与所述压缩后的第四浅层特征图相乘，生成相乘后的第四浅层特征图；
将所述相乘后的第四浅层特征图与所述压缩后的第四浅层特征图相加，生成所述增强特征映射后的第四浅层特征图。
4.根据权利要求1所述的显著性目标提取方法，其特征在于，所述第一特征互补单元根据所述增强特征映射后的第四浅层特征图、所述第三浅层特征图以及所述第一全局特征图，生成第一互补特征图，具体包括：
对所述增强特征映射后的第四浅层特征图依次进行卷积处理和上采样处理，生成第一待相乘增强特征映射后的第四浅层特征图；
对所述增强特征映射后的第四浅层特征图进行上采样处理，生成第二待相乘增强特征映射后的第四浅层特征图；
对所述第一全局特征图依次进行卷积处理和上采样处理，生成第三待相乘增强特征映射后的第四浅层特征图；
对所述第三浅层特征图进行卷积处理，生成卷积后的第三浅层特征图；
对所述卷积后的第三浅层特征图进行卷积处理生成压缩后的第三浅层特征图；
将所述第一待相乘增强特征映射后的第四浅层特征图与所述卷积后的第三浅层特征图相乘生成第一待拼接特征图；
将所述第二待相乘增强特征映射后的第四浅层特征图与所述压缩后的第三浅层特征图相乘生成第二待拼接特征图；
将所述第三待相乘增强特征映射后的第四浅层特征图与所述卷积后的第三浅层特征图相乘生成第三待拼接特征图；
将所述第一待拼接特征图、所述第二待拼接特征图和所述第三待拼接特征图进行拼接处理后，生成第一高层特征图；
对所述第一高层特征图进行卷积处理，生成所述第一互补特征图。
5.根据权利要求1所述的显著性目标提取方法，其特征在于，所述特征边缘细化模块根据第一浅层特征图、第二浅层特征图和第三浅层特征图，生成边缘特征图和显著特征图，具体包括：
Si＝Si+f(Si,E) (1)
Ei＝Ei+g(Ei,S) (2)
Figure FDA0002635297970000031
f＝Conv(Cat(Si,Cat3[CU(Ei)])) (4)
采用公式(1)-(4)生成边缘特征图E和显著特征图S；
其中，Ei表示第i层Res2Net单元生成的浅层特征图中的边沿特征，Si表示第i层Res2Net单元中生成的浅层特征图中的显著性特征，
Figure FDA0002635297970000032
表示点乘，∏表示累乘，CU表示尺度变换，Conv表示卷积，f表示第一边沿特征和显著性特征融合公式，g表示第二边沿特征和显著性特征融合公式，Cat表示拼接。
6.一种显著性目标提取***，其特征在于，包括Res2Net主干网络、去冗余信息模块、特征互补模块、特征增强模块、平均池化模块以及特征边缘细化模块；
Res2Net主干网络包括第一层Res2Net单元、第二层Res2Net单元、第三层Res2Net单元和第四层Res2Net单元；所述平均池化模块包括第一平均池化单元、第二平均池化单元、第三平均池化单元；所述特征增强模块包括第一特征增强单元、第二特征增强单元、第三特征增强单元和第四特征增强单元；所述特征互补模块包括第一特征互补单元、第二特征互补单元和第三特征互补单元；
所述第一层Res2Net单元，用于根据待检测图片生成第一浅层特征图；
所述第二层Res2Net单元，用于根据所述第一浅层特征图生成第二浅层特征图；
所述第三层Res2Net单元，用于根据所述第二浅层特征图生成第三浅层特征图；
所述第四层Res2Net单元，用于根据所述第三浅层特征图生成第四浅层特征图；
所述第一平均池化单元，用于根据所述第四浅层特征图生成第一全局特征图；
所述第二平均池化单元，用于根据所述第四浅层特征图生成第二全局特征图；
所述第三平均池化单元，用于根据所述第四浅层特征图生成第三全局特征图；
所述去冗余信息模块，用于根据所述第四浅层特征图生成去冗余后的第四浅层特征图；
所述第一特征增强单元，用于根据所述去冗余后的第四浅层特征图生成增强特征映射后的第四浅层特征图；
所述第一特征互补单元，用于根据所述增强特征映射后的第四浅层特征图、所述第三浅层特征图以及所述第一全局特征图，生成第一互补特征图；
所述第二特征增强单元，用于根据所述第一互补特征图生成增强特征映射后的第一互补特征图；
所述第二特征互补单元，用于根据所述增强特征映射后的第一互补特征图、所述第二浅层特征图以及所述第二全局特征图，生成第二互补特征图；
第三特征增强单元，用于根据所述第二互补特征图生成增强特征映射后的第二互补特征图；
所述第三特征互补单元，用于根据所述增强特征映射后的第二互补特征图、所述第一浅层特征图以及所述第三全局特征图，生成第三互补特征图；
所述第四特征增强单元，用于根据所述第三互补特征图生成增强特征映射后的第三互补特征图；
特征边缘细化模块，用于根据第一浅层特征图、第二浅层特征图和第三浅层特征图，生成边缘特征图和显著特征图。
7.根据权利要求6所述的显著性目标提取***，其特征在于，所述去冗余信息模块，具体包括：
第一卷积处理子单元，用于对所述第四浅层特征图进行卷积处理，生成第一待相乘去冗余后的第四浅层特征图；
第一图像匹配子单元，用于对所述第四浅层特征图依次进行下采样处理和卷积处理，生成第一待相乘去冗余后的第四浅层特征图；
第一相乘子单元，用于将所述第一待相乘去冗余后的第四浅层特征图与所述第一待相乘去冗余后的第四浅层特征图相乘，生成所述去冗余后的第四浅层特征图。
8.根据权利要求6所述的显著性目标提取***，其特征在于，所述第一特征增强单元，具体包括：
第二卷积处理子单元，用于对所述去冗余后的第四浅层特征图进行卷积处理，生成卷积后的第四浅层特征图；
第三卷积处理子单元，用于对所述卷积后的第四浅层特征图进行卷积处理，生成压缩后的第四浅层特征图；
第二相乘子单元，用于将所述卷积后的第四浅层特征图与所述压缩后的第四浅层特征图相乘，生成相乘后的第四浅层特征图；
第一相加子单元，用于将所述相乘后的第四浅层特征图与所述压缩后的第四浅层特征图相加，生成所述增强特征映射后的第四浅层特征图。
9.根据权利要求6所述的显著性目标提取***，其特征在于，所述第一特征互补单元，具体包括：
第二图像匹配子单元，用于对所述增强特征映射后的第四浅层特征图依次进行卷积处理和上采样处理，生成第一待相乘增强特征映射后的第四浅层特征图；
上采样子单元，用于对所述增强特征映射后的第四浅层特征图进行上采样处理，生成第二待相乘增强特征映射后的第四浅层特征图；
第三图像匹配子单元，用于对所述第一全局特征图依次进行卷积处理和上采样处理，生成第三待相乘增强特征映射后的第四浅层特征图；
第四卷积处理子单元，用于对所述第三浅层特征图进行卷积处理，生成卷积后的第三浅层特征图；
第五卷积处理子单元，用于对所述卷积后的第三浅层特征图进行卷积处理生成压缩后的第三浅层特征图；
第三相乘子单元，用于将所述第一待相乘增强特征映射后的第四浅层特征图与所述卷积后的第三浅层特征图相乘生成第一待拼接特征图；
第四相乘子单元，用于将所述第二待相乘增强特征映射后的第四浅层特征图与所述压缩后的第三浅层特征图相乘生成第二待拼接特征图；
第五相乘子单元，用于将所述第三待相乘增强特征映射后的第四浅层特征图与所述卷积后的第三浅层特征图相乘生成第三待拼接特征图；
第一拼接子单元，用于将所述第一待拼接特征图、所述第二待拼接特征图和所述第三待拼接特征图进行拼接处理后，生成第一高层特征图；
第六卷积处理子单元，用于对所述第一高层特征图进行卷积处理，生成所述第一互补特征图。
CN202010823408.4A 2020-08-17 2020-08-17 一种显著性目标提取方法及*** Active CN111931793B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010823408.4A CN111931793B (zh) 2020-08-17 2020-08-17 一种显著性目标提取方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010823408.4A CN111931793B (zh) 2020-08-17 2020-08-17 一种显著性目标提取方法及***

Publications (2)

Publication Number Publication Date
CN111931793A true CN111931793A (zh) 2020-11-13
CN111931793B CN111931793B (zh) 2024-04-12

Family

ID=73311399

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010823408.4A Active CN111931793B (zh) 2020-08-17 2020-08-17 一种显著性目标提取方法及***

Country Status (1)

Country Link
CN (1) CN111931793B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113269702A (zh) * 2021-05-21 2021-08-17 中国矿业大学 基于跨尺度特征融合的低曝光静脉图像增强方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109344818A (zh) * 2018-09-28 2019-02-15 合肥工业大学 一种基于深度卷积网络的光场显著目标检测方法
CN109472315A (zh) * 2018-11-15 2019-03-15 江苏木盟智能科技有限公司 一种基于深度可分离卷积的目标检测方法和***
WO2019169884A1 (zh) * 2018-03-09 2019-09-12 北京大学深圳研究生院 基于深度信息的图像显著性检测方法和装置
CN110929593A (zh) * 2019-11-06 2020-03-27 哈尔滨工业大学（威海） 一种基于细节辨别区别的实时显著性行人检测方法
CN111275076A (zh) * 2020-01-13 2020-06-12 南京理工大学 基于特征选择和特征融合的图像显著性检测方法
CN111488805A (zh) * 2020-03-24 2020-08-04 广州大学 一种基于显著性特征提取的视频行为识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019169884A1 (zh) * 2018-03-09 2019-09-12 北京大学深圳研究生院 基于深度信息的图像显著性检测方法和装置
CN109344818A (zh) * 2018-09-28 2019-02-15 合肥工业大学 一种基于深度卷积网络的光场显著目标检测方法
CN109472315A (zh) * 2018-11-15 2019-03-15 江苏木盟智能科技有限公司 一种基于深度可分离卷积的目标检测方法和***
CN110929593A (zh) * 2019-11-06 2020-03-27 哈尔滨工业大学（威海） 一种基于细节辨别区别的实时显著性行人检测方法
CN111275076A (zh) * 2020-01-13 2020-06-12 南京理工大学 基于特征选择和特征融合的图像显著性检测方法
CN111488805A (zh) * 2020-03-24 2020-08-04 广州大学 一种基于显著性特征提取的视频行为识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
董波: "《 基于子网络级联式混合信息流的显著性检测》", 《光电工程》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113269702A (zh) * 2021-05-21 2021-08-17 中国矿业大学 基于跨尺度特征融合的低曝光静脉图像增强方法

Also Published As

Publication number Publication date
CN111931793B (zh) 2024-04-12

Similar Documents

Publication Publication Date Title
Li et al. ASIF-Net: Attention steered interweave fusion network for RGB-D salient object detection
Jian et al. Integrating QDWD with pattern distinctness and local contrast for underwater saliency detection
Zhou et al. Salient object detection in stereoscopic 3D images using a deep convolutional residual autoencoder
CN111583097A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN107329962B (zh) 图像检索数据库生成方法、增强现实的方法及装置
CN112750133A (zh) 计算机视觉训练***和用于训练计算机视觉***的方法
CN112927209B (zh) 一种基于cnn的显著性检测***和方法
CN112232134B (zh) 一种基于沙漏网络结合注意力机制的人体姿态估计方法
CN111915660A (zh) 基于共享特征和注意力上采样的双目视差匹配方法及***
CN111797841B (zh) 一种基于深度残差网络的视觉显著性检测方法
CN113076957A (zh) 一种基于跨模态特征融合的rgb-d图像显著性目标检测方法
CN110866938B (zh) 一种全自动视频运动目标分割方法
Ma et al. Dual refinement feature pyramid networks for object detection
CN112819893A (zh) 三维语义地图的构建方法和装置
CN112381716A (zh) 一种基于生成式对抗网络的图像增强方法
Cao et al. Accurate 3-D reconstruction under IoT environments and its applications to augmented reality
Yan et al. Learning complementary correlations for depth super-resolution with incomplete data in real world
Ge et al. WGI-Net: A weighted group integration network for RGB-D salient object detection
CN114926734A (zh) 基于特征聚合和注意融合的固体废弃物检测装置及方法
Ni et al. Dual relation knowledge distillation for object detection
Zong et al. A cascaded refined rgb-d salient object detection network based on the attention mechanism
Cong et al. Multi-Projection Fusion and Refinement Network for Salient Object Detection in 360$^{\circ} $ Omnidirectional Image
CN111931793B (zh) 一种显著性目标提取方法及***
CN117292122A (zh) 一种rgb-d显著性物体检测、语义分割方法及***
Li et al. Stereo superpixel segmentation via decoupled dynamic spatial-embedding fusion network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant