CN111611999A - 一种融合小型深度生成模型的显著性检测方法及终端 - Google Patents

一种融合小型深度生成模型的显著性检测方法及终端 Download PDF

Info

Publication number
CN111611999A
CN111611999A CN202010443235.3A CN202010443235A CN111611999A CN 111611999 A CN111611999 A CN 111611999A CN 202010443235 A CN202010443235 A CN 202010443235A CN 111611999 A CN111611999 A CN 111611999A
Authority
CN
China
Prior art keywords
background
saliency map
vector
layer
saliency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010443235.3A
Other languages
English (en)
Other versions
CN111611999B (zh
Inventor
叶锋
陈星宇
陈利文
郑子华
陈家祯
翁彬
黄添强
林新棋
吴献
蒋佳龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Normal University
Original Assignee
Fujian Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Normal University filed Critical Fujian Normal University
Priority to CN202010443235.3A priority Critical patent/CN111611999B/zh
Publication of CN111611999A publication Critical patent/CN111611999A/zh
Application granted granted Critical
Publication of CN111611999B publication Critical patent/CN111611999B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种融合小型深度生成模型的显著性检测方法及终端，通过在得到的二层显著图上进行背景块再选取过程，使得选出的背景块具有更高的可靠性，将背景块构成背景种子向量，再由背景向量构造出扩散矩阵，通过扩散过程将背景向量所携带的显著性信息更好地进行扩散，从而得到基于背景先验的背景显著图。将背景显著图与二层显著图进行非线性融合得到显著图S_f。同时，将训练好的小型生成器模型生成的显著图S_d与显著图S_f通过设计的融合算法进行融合后得到最终显著图S。本发明在面对显著性区域触及图像边界的情况时有更佳的表现，得到的最终显著图前景更加的完整且更加的明亮，而背景也得到了更有效的抑制。

Description

一种融合小型深度生成模型的显著性检测方法及终端
技术领域
本发明涉及图像处理技术与深度神经网络领域，尤其涉及一种融合小型深度生成模型的显著性检测方法及终端。
背景技术
面对一张图像，人们可以快速地将目光聚焦到图中最吸引人注意的区域，而将其他不太重要的区域排除在外。计算机视觉领域通过模拟人类视觉***提取能够吸引人们注意的图像区域称为显著性检测。1998年，Itti最早提出了基于Koch框架的显著性检测算法。随后，显著性检测作为能够加快计算机处理速度的强有力方式越来越受到人们的关注，并被越来越多地应用到图像检索，图像分类，图像分割，图像压缩和目标检测与识别等诸多任务中去。现有的显著性检测方法从设计方式上来说，可以分为两大类，分别是自底向上的方法和自顶向下的方法。前者主要通过利用图像的纹理、颜色、位置、物体轮廓等这些底层特征设计出相应的检测模型来对图像中的每个位置区域进行显著值计算，这种方法可以说是由数据驱动的。而后者则是依据具体的计算任务而设计，一般需要结合具体的目标进行有监督地训练，这种方法可以说是由任务驱动的。从应用上来说，显著性检测方法又可分为焦点预测与显著性区域检测两种。前者的任务是预测人类视觉的关注点，后者则是将图像中的显著区域完整的显示出来，并对背景区域进行有效的覆盖。
许多近期提出的显著性检测方法会利用图像中的颜色对比度信息进行显著性检测。单纯基于颜色信息的显著性检测方法有时不能够完整地将显著性区域内部检测出，针对该问题，Yang等人于2013年提出了基于图的流行排序方法来检测显著性目标。在选出的前景或背景种子向量作为查询的情况下，将图中每一个区域与种子向量相似性大小的排序值作为区域的显著值，进而产生显著图。Jiang等人于2015年提出了让基于流行扩散过程的显著性检测方法性能能有所提高的改进方法。通过对扩散过程与谱聚类方法内在联系的深入分析，重新构建扩散矩阵，使得种子向量所携带的显著性信息能够经扩散矩阵更好地传递出去。叶等人在Jiang等人工作的基础上，提出了利用图像的多层次特征进行显著性检测的方法。上述这些方法在一定程度上能够将显著性区域内部突显出，但还是会存在着显著性检测区域突出不完整，显著性区域置信度不高等问题。同时，目前显著性检测还会借助一些高层先验来提高算法性能，许多显著性检测方法会使用背景先验这一高层先验。然而，大多数方法(包括上述列举的方法)只是对背景先验进行简单地应用，即将图像四周的边缘区域作为背景区域，导致的结果是在显著性物体触及到图像边界的情况下产生误检测。
随着深度学习的快速发展，越来越多的学者将机器学习中相关的方法应用于显著性检测。Zhao等人提出一种多上下文的深度显著性检测方法。利用卷积神经网络(Convolutional Neural Network，CNN)来提取图像的高层特征，并结合局部和全局上下文环境进行显著区域检测的方法，同时还探讨了四种不同预训练策略对最终结果的影响。Hou等人提出了一种结合短连接的深度监督显著性检测方法。方法在HED(Holisitcally-Nested Edge Detector，HED)模型的基础上增加短连接结构来适应显著性检测，检测得到的显著性物体内部和边界都较为一致，并且模型在时间开销上表现良好。Lee等人提出了一种高效的深度学习框架用于精确的显著性检测方法，将传统方法中人工设计的底层特征与深度神经网络提取的高层抽象特征相结合来进行显著性检测。Li等人提出了将显著性检测任务与图像分割任务相结合的显著性检测方法。该方法通过同时优化两个任务目标来更新模型中共用部分的卷积层参数，以此获得更好的显著性检测效果。Ji等人尝试用生成对抗网络(Generative Adversarial Networks，GANs)进行显著性检测。生成对抗网络包含生成器与鉴别器两个部分。生成器用来提取图像的高层特征并以此产生显著图，而鉴别器以得到的显著图与对应的真值图作为输入进行训练，使其能分辨出哪个是生成图哪个是真值图。生成器与鉴别器在彼此对抗中各自不断提高，即生成器生成的显著图越来越好，鉴别器的鉴别能力也越来越高。最终用训练好的生成器模型来进行显著性检测。目前，基于深度模型的方法相较于传统方法虽取得了很好的检测效果，但也存在着模型训练困难、最终模型体积庞大以及检测速度缓慢等诸多问题。
发明内容
本发明的目的在于提供一种融合小型深度生成模型的显著性检测方法及终端。
本发明采用的技术方案是：
一种融合小型深度生成模型的显著性检测方法，其包括以下步骤：
S1：通过SLIC(simple linear iterative cluster)算法将图像分割为超像素图像，每个超像素块当成一个图节点，两两超像素之间的颜色特征差异作为图边的权重，从而将原始图像转化为图结构；
S2：利用简单背景先验、中心先验和颜色分布特征获得种子向量，并依据拉普拉斯的逆矩阵和谱聚类原理，以转化得到的图结构建立扩散矩阵；将得到的种子向量经扩散矩阵扩散后得到初步显著图；
S3：以得到的初步显著图作为输入，重复S2的步骤再经扩散过程得到二层显著图；
S4：依据Fisher准则的思想以二层显著图为基础创建背景块再选取过程，将选取出的背景块组成背景向量并以此构建扩散矩阵，经扩散方法得到背景显著图；
S5：根据所述二层显著图和背景显著图，通过非线性融合算法，生成显著图S_f。
S6：基于生成对抗网络框架，设计全新的鉴别器网络与小型生成对抗网络，将设计好的网络按指定的过程进行手动分阶段训练。
S7：将原始图像输入训练好的小型生成器模型得到显著图S_d。通过设计的融合算法融合显著图S_f与S_d得到最终显著图S。
进一步地，S4的具体步骤为：
S4-1,定义背景块搜索区间为[l,r]，其中l与r的值由式(1)给定:
Figure BDA0002504707620000031
其中，l为图像中背景块个数能取得的最小取值；r为图像中背景块个数能取得的最大值，sp代表一张图像经SLIC算法分割后生成的超像素的总数，δ则是控制背景块可取值个数的参数；
S4-2,将位置指示变量p、类间差异比值变量f、存储f最大值的变量fmx和存储向量元素的变量v均初始为0，背景块个数变量Bg初始化为l-1；
S4-3,对输入的二层显著性向量y进行升序排序，所得结果存储为向量y'；
S4-4,Bg的值自增1，当Bg大于r时，则转步骤S4-8；否则，执行步骤S4-5；
S4-5,将向量y'的第Bg个元素赋给变量v，向量y'中小于或等于v的元素构成向量m，大于v的元素构成向量n；
S4-6,基于Fisher准则的思想，给出f值的计算公式如下
Figure BDA0002504707620000032
其中，ag(.)为求类内样本的平均值，va(.)为求类内样本的方差，
S4-7,当f的值大于fmx，则更新fmx的值为f，更新p的值为Bg，转步骤S4-4；当f的值不大于fmx时，直接转步骤S4-4；
S4-8,将p的值赋给Bg，向量y’的前Bg个元素构成背景向量b，同时返回变量Bg和向量b；
种子向量s与通过背景向量b构建的扩散矩阵A-1按式(3)进行扩散后得到背景显著性向量y_b，将向量y_b中每个元素的值赋予对应的超像素块后即可产生背景显著图；公式(3)的表达如下：
y＝s×A-1 (3)
其中，s表示种子向量，A-1表示通过背景向量b构建的扩散矩阵。
进一步地，公式(1)中sp的取值远大于12，δ值取12；公式(2)中的分子代表了类间差异，分母代表了类内差异，以最终的比值f为依据对显著性行向量y’进行二分类。
进一步地，步骤S5的具体步骤为：将背景显著性向量y_b与二层显著性向量y_sc按式(4)所示进行非线性融合得到的显著性向量y_fn，显著性向量y_fn中每个元素的值赋予对应的超像素块后即可获得显著图S_f，式(4)的表达式如下：
y_fn＝(0.5y_b+0.5y_sc)×e-5y_sc (4)
其中，0.5y_b+0.5y_sc综合考虑了背景显著图与二层显著图，e-5y_sc作为引入的非线性因素对背景显著图与二层显著图的融合结果进行调整。
进一步地，公式(4)e-5y_sc中固定参数-5由实验确定。
进一步地，步骤S6具体步骤为：
S6-1，基于生成对抗网络框架针对显著性检测构建鉴别器网络与小型生成器网络；
鉴别器模型包含11个卷积模块和5个池化模块；每个卷积模块包含卷积层、批归一化层以及非线性激活函数层三个部分；池化层的核大小均为2*2，步长均设为2，池化函数采用最大池化函数；
小型深度生成模型包含15个卷积模块和5个反卷积模块构成，网络中所有卷积层的步长以及所有转置卷积层的上采样率均设置为1；每个卷积模块中包含卷积层、批归一化层以及非线性激活函数层三个部分；每个转置卷积模块则包含转置卷积层、批归一化层以及非线性激活函数层三个部分，
S6-2，通过给定的训练过程进行手动分阶段训练；生成对抗网络的训练过程是以固定一方训练另一方的方式交替进行的。
进一步地，步骤S6-1中生成器模型中所有卷积层与转置卷积层的卷积核个数均设置为64个,并且采用的卷积核大小均为3*3；第一层卷积核的通道数设为3，在后续的卷积层中将通道数翻倍，即池化后的卷积层中卷积核的个数需翻倍。
进一步地，步骤S6-2中网络开始训练的第一轮，需先固定生成器训练鉴别器，然后再进行交替训练；在训练算法中将输入鉴别器的真值图对应的标签均设为0.9，而将生成器生成的显著图所对应的标签均设为-0.9；将数据集中的图像组织成矩阵数组的形式后再输入网络进行训练。
进一步地，S7中对显著图S_f与显著图S_d进行融合得到最终显著图S时的融合算法的具体步骤如下：
S7-1，输入小型生成网络检测得到的显著图S_d与显著图S_f；
S7-2，初始化变量i为0，初始化矩阵变量S与temp为空；
S7-3，调用MCA2算法对S_d与S_d进行自身融合，将输出的显著图存于变量temp中；
S7-4，i的值自增1，当i大于4,则转步骤S7-7；否则，执行下一步；
S7-5，调用MCA2算法对S_f与temp进行融合，将输出的显著图存于矩阵变量S中；
S7-6，将temp值更新为S并返回步骤S7-4；
S7-7，输出矩阵变量S，经融合算法处理后，输出的变量S即为最终显著图。
本发明还提供了一种融合小型深度生成模型的显著性检测终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器搭载执行依据所述的一种融合小型深度生成模型的显著性检测方法生成的计算机程序。
本发明采用以上技术方案，通过在得到的二层显著图上进行背景块再选取过程，使得选出的背景块具有更高的可靠性，将背景块构成背景种子向量，再由背景向量构造出扩散矩阵，通过扩散过程将背景向量所携带的显著性信息更好地进行扩散，从而得到基于背景先验的背景显著图。将背景显著图与二层显著图进行非线性融合得到显著图S_f。同时，将训练好的小型生成器模型生成的显著图S_d与显著图S_f通过设计的融合算法进行融合后得到最终显著图S。在常用的数据集上与新近的部分显著性物体检测算法相比，本发明在面对显著性区域触及图像边界的情况时有更佳的表现，而且由于更好地应用了背景先验，使得最终检测结果无论在主观感受层面还是客观指标层面都有所提升，具体表现为得到的最终显著图前景更加的完整且更加的明亮，而背景也得到了更有效的抑制，解决了现有技术中对显著性物体检测突出不完整，显著性区域置信度不高以及当显著性物体触及图像边缘区域时产生误检测的问题。此外，由于针对显著性检测设计并训练得到了一个小型生成器网络，模型体积大小仅为2.4M，参数量仅有67万左右。结合该深度模型得到的检测结果，算法最终的检测结果在各项客观评估指标上取得了显著提升同时也解决现有技术中基于深度神经网络方法模型体积庞大、检测速度缓慢等问题。
附图说明
以下结合附图和具体实施方式对本发明做进一步详细说明；
图1为本发明实施例的一种融合小型深度生成模型的图像显著性检测方法的流程图；
图2为本发明实施例的一种融合小型深度生成模型的图像显著性检测***的结构示意图；
标号说明：1、存储器；2、处理器。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图对本申请实施例中的技术方案进行清楚、完整地描述。
如图1活所示，本发明最关键的构思在于：1)通过在得到的二层显著图上进行背景块再选取过程，使得选出的背景块具有更高的可靠性，将背景块构成背景种子向量，再由背景向量构造出扩散矩阵，通过扩散过程将背景向量所携带的显著性信息更好地进行扩散，从而得到基于背景先验的背景显著图。2)针对显著性检测设计并训练得到的小型生成器模型。3)将小型生成器模型生成的显著图S_d与显著图S_f进行融合的融合算法。
请参阅图1，本发明提供了一种融合小型深度生成模型的图像显著性检测方法，包括：
S1：通过SLIC(simple linear iterative cluster)算法将图像分割为超像素图像，每个超像素块当成一个图节点，两两超像素之间的颜色特征差异作为图边的权重，从而将原始图像转化为图结构；
S2：利用简单背景先验、中心先验和颜色分布特征获得种子向量，并依据拉普拉斯的逆矩阵和谱聚类原理，以转化得到的图结构建立扩散矩阵。将得到的种子向量经扩散矩阵扩散后得到初步显著图；
S3：以得到的初步显著图作为输入，重复S2的步骤再经扩散过程得到二层显著图；
S4：依据Fisher准则的思想以二层显著图为基础创建背景块再选取过程，将选取出的背景块组成背景向量并以此构建扩散矩阵，经扩散方法得到背景显著图；
S5：根据所述二层显著图和背景显著图，通过非线性融合算法，生成显著图S_f。
S6：基于生成对抗网络框架，设计全新的鉴别器网络与小型生成对抗网络，将设计好的网络按指定的过程进行手动分阶段训练。
S7：将原始图像输入训练好的小型生成器模型得到显著图S_d。通过设计的融合算法融合显著图S_f与S_d得到最终显著图S。
从上述描述可知，本发明提供了一种融合小型深度生成模型的显著性检测方法及终端，通过在得到的二层显著图上进行背景块再选取过程，使得选出的背景块具有更高的可靠性，将背景块构成背景种子向量，再由背景向量构造出扩散矩阵，通过扩散过程将背景向量所携带的显著性信息更好地进行扩散，从而得到基于背景先验的背景显著图。将背景显著图与二层显著图进行非线性融合得到显著图S_f。同时，将训练好的小型生成器模型生成的显著图S_d与显著图S_f通过设计的融合算法进行融合后得到最终显著图S。在常用的数据集上与新近的部分显著性物体检测算法相比，本发明在面对显著性区域触及图像边界的情况时有更佳的表现，而且由于更好地应用了背景先验，使得最终检测结果无论在主观感受层面还是客观指标层面都有所提升，具体表现为得到的最终显著图前景更加的完整且更加的明亮，而背景也得到了更有效的抑制，解决了现有技术中对显著性物体检测突出不完整，显著性区域置信度不高以及当显著性物体触及图像边缘区域时产生误检测的问题。此外，由于针对显著性检测设计并训练得到了一个小型生成器网络，模型体积大小仅为2.4M，参数量仅有67万左右。结合该深度模型得到的检测结果，算法最终的检测结果在各项客观评估指标上取得了显著提升同时也解决现有技术中基于深度神经网络方法模型体积庞大、检测速度缓慢等问题。
进一步地，所述S1具体为：通过SLIC算法将图像分割为超像素图像，每个超像素块当成一个图节点，两两超像素之间的颜色特征差异作为图边的权重，从而将超像素图像转化为图结构。
进一步地，所述S2具体为：利用简单背景先验、中心先验和颜色分布特征获得种子向量，并依据拉普拉斯的逆矩阵和谱聚类原理，以转化得到的图结构建立扩散矩阵。将得到的种子向量经扩散矩阵扩散后得到初步显著图。
进一步地，所述S3具体为：以得到的初步显著图作为输入，重复S2的步骤再经扩散过程得到二层显著图。
进一步地，所述S4具体为：Fisher准则指的是通过让不同类样本间的差异尽可能大，而同类样本间的差异尽可能小，即让类间差异比去类内差异的比值尽可能大的方式将两个不同类的样本集分开。同样的，本文要解决的关键问题是如何将二层显著性向量y尽可能准确地分为背景和前景两个向量(不失一般性分别用向量m和向量n表示)。因此，本文利用Fisher准则的思想来设计背景块再选取算法，算法最终返回背景块个数Bg与背景向量b。下面给出算法的具体步骤。
(1)、定义背景块搜索区间为[l,r]，其中l与r的值由式(1)给定
Figure BDA0002504707620000071
式(1)中，l为图像中背景块个数能取得的最小取值，由经验知绝大多数图像中不可能全是前景，我们假定经过超像素分割后图像中至少存在一个背景块，因此初始值为1。r(r向下取整)为图像中背景块个数能取得的最大值，sp(sp远大于12)代表一张图像经SLIC算法分割后生成的超像素的总数，δ则是控制背景块可取值个数的参数。由式(1)易知，δ的值越大，r的取值越小，则背景块可选取的范围越小。由于每张图像中存在的背景块数目不定，故本文在5个通用数据集上对δ的不同取值进行了大量实验，结果表明当δ为12时算法效果最佳，因此本文δ值取12，进而确定右边界r的值。
(2)、将位置指示变量p、类间差异比值变量f、存储f最大值的变量fmx和存储向量元素的变量v均初始为0，背景块个数变量Bg初始化为l-1。
(3)、对输入的二层显著性向量y进行升序排序，所得结果存储为向量y'。
(4)、Bg的值自增1。若Bg大于r,则转步骤(8)。
(5)将向量y'的第Bg个元素赋给变量v，向量y'中小于等于v的元素构成向量m，大于v的元素构成向量n。
(6)、基于Fisher准则的思想，给出f值的定义如下
Figure BDA0002504707620000081
式(2)中，ag(.)为求类内样本的平均值，va(.)为求类内样本的方差。因此，分子代表了类间差异，分母代表了类内差异，以最终的比值f为依据对显著性行向量y’进行二分类。由式(2)易知，f值越大，则选出的背景块数目越准确，从而能够将背景与前景较好地分离开来。根据式(2)计算变量f的值。
(7)、如果f的值大于fmx，那么更新fmx的值为f，更新p的值为Bg，转步骤(4)；否则直接转步骤(4)。
(8)、将p的值赋给Bg，向量y’的前Bg个元素构成背景向量b，同时返回变量Bg和向量b。
种子向量s与通过背景向量b构建的扩散矩阵A-1按式(3)进行扩散后得到背景显著性向量y_b，将向量y_b中每个元素的值赋予对应的超像素块后即可产生背景显著图。
y＝s×A-1 (3)
进一步地，所述S5具体为：将背景显著性向量y_b与二层显著性向量y_sc按式(4)所示进行非线性融合。式中，0.5y_b+0.5y_sc综合考虑了背景显著图与二层显著图，e-5y_sc作为引入的非线性因素对背景显著图与二层显著图的融合结果进行调整，固定参数-5由实验确定。将得到的显著性向量y_fn中每个元素的值赋予对应的超像素块后即可获得显著图S_f。
Figure BDA0002504707620000082
进一步地，所述S6具体为：(1)基于生成对抗网络框架针对显著性检测设计全新的鉴别器网络与小型生成器网络。两个网络的具体结构分别如表1与表2所示。
表1鉴别器模型详细结构
Figure BDA0002504707620000083
Figure BDA0002504707620000091
表2小型生成器模型详细结构
Figure BDA0002504707620000092
由表1可知，鉴别器模型包含11个卷积模块和5个池化模块。具体的，每个卷积模块包含卷积层(Conv)、批归一化层(BN)以及非线性激活函数层(Leaky ReLU)三个部分。池化层的核大小均为2*2，步长均设为2，池化函数采用最大池化函数。因此，每经过一次池化操作，输出的新特征图长宽大小均缩小为原先的一半。特别的，若输入池化层的特征图长宽大小为奇数，则经池化操作后输出新特征图的长宽值大小为向下取整后的值。此外，由于采取的池化操作导致特征图在长宽维度上发生改变，故池化后的卷积层中卷积核的个数需要翻倍，即新特征图的通道数翻倍。值得注意的是，当卷积层中卷积核的个数增加至512个时便不再增加。为了方便网络的设计，将输入鉴别器网络的图像的尺寸大小统一为224*224，网络中每层输出的特征图大小如表中最后一列所示。其中，鉴别器的输入包含真值图和对应的标签以及生成器生成的显著图和对应的标签两大部分。模型最后的Loss层则用于计算鉴别器判别结果的损失值。
由表2可知，小型深度生成模型包含15个卷积模块和5个反卷积模块构成，模型总参数量仅为67万个，训练完成后体积大小仅为2.4M。网络中所有卷积层的步长以及所有转置卷积层的上采样率均设置为1。可以看到，每个卷积模块中包含卷积层(Conv)、批归一化层(BN)以及非线性激活函数层(Leaky ReLU)三个部分。与卷积层类似，每个转置卷积模块则包含转置卷积层(Convt)、批归一化层以及非线性激活函数层三个部分。考虑到在图像分类任务中表现优异的VGG网络模型中第一层的卷积核个数为64个，同时为了严格控制模型的体积大小，故生成器模型中所有卷积层与转置卷积层的卷积核个数均设置为64个,并且采用的卷积核大小均为3*3。由于生成器模型的输入是任意大小的RGB彩色图像，故第一层卷积核的通道数设为3。此外，由于池化操作后新特征图的长宽均缩小为原来的一半，故需在后续的卷积层中将通道数翻倍，即池化后的卷积层中卷积核的个数需翻倍。但由于生成器模型不包含池化操作，故模型中每层卷积层的卷积核个数保持64个不变。从表中还可以看到，生成器模型中每三个卷积模块可以看成一组，一共可分为5组。每组中首个卷积层在卷积操作前不对特征图进行0填充，其余两层则均对输入的特征图四周填充单排0像素后再进行卷积操作，故每组中卷积层输出的特征图具有相同的尺寸大小。在卷积组后紧跟着的是转置卷积层，经过5次上采样率为1的转置卷积操作后，输出特征图的长宽尺寸恢复为原图像大小，通道数则变为1，即此时输出的特征图是与原图像大小一致的灰度图。设输入模型的原始RGB图像大小为m*n*3，则每层输出的特征图尺寸如表1最后一列所示。最后经过sigmoid二分类层处理，对灰度图的每个像素点进行前景或背景的二分类后输出便得到了显著图S_d。
(2)通过给定的训练过程进行手动分阶段训练。
生成对抗网络的训练过程是以固定一方(生成器或鉴别器)训练另一方(鉴别器或生成器)的方式交替进行的。网络开始训练的第一轮，需先固定生成器训练鉴别器，然后再进行交替训练。此外，在训练算法中将输入鉴别器的真值图对应的标签均设为0.9，而将生成器生成的显著图所对应的标签均设为-0.9。对于训练的数据集，训练算法需要将数据集中的图像组织成矩阵数组的形式后再输入网络进行训练。由于实验训练环境限制，我们将显著性检测的5个公用数据集分为2组分批输入网络进行训练。这2组数据集分别是由MSRA10K数据集(10000张)独自构成的A组以及由其余四个数据集(DUT-OMRON、ECSSD、SOD以及SED2，总计6568张)构成的B组。训练的具体过程是，首先将网络中的参数值随机初始化。然后，先将A组数据集作为训练集，以大小为10-6的学习率训练5轮，之后学习率调整为3*10-6再训练1轮。接着，换成将B组数据集作为训练集，重新将学习率设为10-6后继续训练网络10轮。最后，再将A组数据集作为训练集，以大小为10-6的学习率继续训练网络8轮后停止训练。以上训练过程以及训练标签值的设定是通过大量的实验对比后最终确定的。需要注意的是，由于网络初始化的随机值每次都不相同，不同批次初始化后的模型即便采取相同的训练方式，最终得到的模型其性能表现也有细微差别。
进一步地，所述S7具体为：通过设计的融合算法对显著图S_f与显著图S_d进行融合得到最终显著图S。融合算法以Qin等人在基于元胞自动机的显著性检测中提出的一种多显著图融合算法MCA为基础，本发明对MCA算法进行了修改，使之每次固定的只对输入的2张显著图进行融合，故称之为算法MCA2。下面给出本发明融合算法的具体步骤如下：
(1)输入小型生成网络检测得到的显著图S_d与显著图S_f。
(2)初始化变量i为0，初始化矩阵变量S与temp为空。
(3)调用MCA2算法对S_d与S_d进行自身融合，将输出的显著图存于变量temp中。
(4)i的值自增1，若i大于4,则转步骤(7)，否则执行下一步。
(5)调用MCA2算法对S_f与temp进行融合，将输出的显著图存于矩阵变量S中。
(6)将temp值更新为S并返回步骤(4)。
(7)输出矩阵变量S。
经融合算法处理后，输出的变量S即为本发明算法的最终显著图。
请参照图2，本发明还提供了一种融合小型深度生成模型的显著性检测终端，包括存储器1、处理器2及存储在存储器1上并可在处理器2上运行的计算机程序，所述处理器2执行依据所述的一种融合小型深度生成模型的显著性检测方法生成的计算机程序。
本发明采用以上技术方案，通过在得到的二层显著图上进行背景块再选取过程，使得选出的背景块具有更高的可靠性，将背景块构成背景种子向量，再由背景向量构造出扩散矩阵，通过扩散过程将背景向量所携带的显著性信息更好地进行扩散，从而得到基于背景先验的背景显著图。将背景显著图与二层显著图进行非线性融合得到显著图S_f。同时，将训练好的小型生成器模型生成的显著图S_d与显著图S_f通过设计的融合算法进行融合后得到最终显著图S。在常用的数据集上与新近的部分显著性物体检测算法相比，本发明在面对显著性区域触及图像边界的情况时有更佳的表现，而且由于更好地应用了背景先验，使得最终检测结果无论在主观感受层面还是客观指标层面都有所提升，具体表现为得到的最终显著图前景更加的完整且更加的明亮，而背景也得到了更有效的抑制，解决了现有技术中对显著性物体检测突出不完整，显著性区域置信度不高以及当显著性物体触及图像边缘区域时产生误检测的问题。此外，由于针对显著性检测设计并训练得到了一个小型生成器网络，模型体积大小仅为2.4M，参数量仅有67万左右。结合该深度模型得到的检测结果，算法最终的检测结果在各项客观评估指标上取得了显著提升同时也解决现有技术中基于深度神经网络方法模型体积庞大、检测速度缓慢等问题。
显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

Claims (10)

1.一种融合小型深度生成模型的显著性检测方法，其特征在于：其包括以下步骤：
S1：通过SLIC算法将图像分割为超像素图像，每个超像素块当成一个图节点，两两超像素之间的颜色特征差异作为图边的权重，从而将原始图像转化为图结构；
S2：利用简单背景先验、中心先验和颜色分布特征获得种子向量，并依据拉普拉斯的逆矩阵和谱聚类原理转化得到的图结构建立扩散矩阵，将得到的种子向量经扩散矩阵扩散后得到初步显著图；
S3：将得到的初步显著图重复S2的步骤再经扩散过程得到二层显著图；
S4：将二层显著图依据Fisher准则的思想创建背景块再选取过程，将选取出的背景块组成背景向量并构建扩散矩阵，并经扩散方法得到背景显著图；
S5：将二层显著图和背景显著图通过非线性融合算法生成显著图S_f；
S6：基于生成对抗网络框架构建鉴别器网络与小型生成对抗网络，并按指定的过程进行手动分阶段训练；
S7：将原始图像输入训练好的小型生成器模型得到显著图S_d，融合算法融合显著图S_f与S_d得到最终显著图S。
2.根据权利要求1所述的一种融合小型深度生成模型的显著性检测方法，其特征在于：S4的具体步骤为：
S4-1,定义背景块搜索区间为[l,r]，其中l与r的值由式(1)给定:
Figure FDA0002504707610000011
其中，l为图像中背景块个数能取得的最小取值；r为图像中背景块个数能取得的最大值，sp代表一张图像经SLIC算法分割后生成的超像素的总数，δ则是控制背景块可取值个数的参数；
S4-2,将位置指示变量p、类间差异比值变量f、存储f最大值的变量fmx和存储向量元素的变量v均初始为0，背景块个数变量Bg初始化为l-1；
S4-3,对输入的二层显著性向量y进行升序排序，所得结果存储为向量y'；
S4-4,Bg的值自增1，当Bg大于r时，则转步骤S4-8；否则，执行步骤S4-5；
S4-5,将向量y'的第Bg个元素赋给变量v，向量y'中小于或等于v的元素构成向量m，大于v的元素构成向量n；
S4-6,基于Fisher准则的思想，给出f值的计算公式如下
Figure FDA0002504707610000012
其中，ag(.)为求类内样本的平均值，va(.)为求类内样本的方差，
S4-7,当f的值大于fmx，则更新fmx的值为f，更新p的值为Bg，转步骤S4-4；当f的值不大于fmx时，直接转步骤S4-4；
S4-8,将p的值赋给Bg，向量y’的前Bg个元素构成背景向量b，同时返回变量Bg和向量b；种子向量s与通过背景向量b构建的扩散矩阵A-1按式(3)进行扩散后得到背景显著性向量y_b，将向量y_b中每个元素的值赋予对应的超像素块后即可产生背景显著图；公式(3)的表达如下：
y＝s×A-1 (3)
其中，s表示种子向量，A-1表示通过背景向量b构建的扩散矩阵。
3.根据权利要求2所述的一种融合小型深度生成模型的显著性检测方法，其特征在于：公式(1)中sp的取值远大于12，δ值取12；公式(2)中的分子代表了类间差异，分母代表了类内差异，以最终的比值f为依据对显著性行向量y’进行二分类。
4.根据权利要求1所述的一种融合小型深度生成模型的显著性检测方法，其特征在于：步骤S5的具体步骤为：将背景显著性向量y_b与二层显著性向量y_sc按式(4)所示进行非线性融合得到的显著性向量y_fn，显著性向量y_fn中每个元素的值赋予对应的超像素块后即可获得显著图S_f，式(4)的表达式如下：
Figure FDA0002504707610000021
其中，0.5y_b+0.5y_sc综合考虑了背景显著图与二层显著图，e-5y_sc作为引入的非线性因素对背景显著图与二层显著图的融合结果进行调整。
5.根据权利要求4所述的一种融合小型深度生成模型的显著性检测方法，其特征在于：公式(4)e-5y_sc中固定参数-5由实验确定。
6.根据权利要求1所述的一种融合小型深度生成模型的显著性检测方法，其特征在于：步骤S6具体步骤为：
S6-1，基于生成对抗网络框架针对显著性检测构建鉴别器网络与小型生成器网络；
鉴别器模型包含11个卷积模块和5个池化模块；每个卷积模块包含卷积层、批归一化层以及非线性激活函数层三个部分；池化层的核大小均为2*2，步长均设为2，池化函数采用最大池化函数；
小型深度生成模型包含15个卷积模块和5个反卷积模块构成，网络中所有卷积层的步长以及所有转置卷积层的上采样率均设置为1；每个卷积模块中包含卷积层、批归一化层以及非线性激活函数层三个部分；每个转置卷积模块则包含转置卷积层、批归一化层以及非线性激活函数层三个部分，
S6-2，通过给定的训练过程进行手动分阶段训练；生成对抗网络的训练过程是以固定一方训练另一方的方式交替进行的。
7.根据权利要求6所述的一种融合小型深度生成模型的显著性检测方法，其特征在于：步骤S6-1中生成器模型中所有卷积层与转置卷积层的卷积核个数均设置为64个,并且采用的卷积核大小均为3*3；第一层卷积核的通道数设为3，在后续的卷积层中将通道数翻倍，即池化后的卷积层中卷积核的个数需翻倍。
8.根据权利要求6所述的一种融合小型深度生成模型的显著性检测方法，其特征在于：步骤S6-2中网络开始训练的第一轮，需先固定生成器训练鉴别器，然后再进行交替训练；在训练算法中将输入鉴别器的真值图对应的标签均设为0.9，而将生成器生成的显著图所对应的标签均设为-0.9；将数据集中的图像组织成矩阵数组的形式后再输入网络进行训练。
9.根据权利要求6所述的一种融合小型深度生成模型的显著性检测方法，其特征在于：S7中对显著图S_f与显著图S_d进行融合得到最终显著图S时的融合算法的具体步骤如下：
S7-1，输入小型生成网络检测得到的显著图S_d与显著图S_f；
S7-2，初始化变量i为0，初始化矩阵变量S与temp为空；
S7-3，调用MCA2算法对S_d与S_d进行自身融合，将输出的显著图存于变量temp中；
S7-4，i的值自增1，当i大于4,则转步骤S7-7；否则，执行下一步；
S7-5，调用MCA2算法对S_f与temp进行融合，将输出的显著图存于矩阵变量S中；
S7-6，将temp值更新为S并返回步骤S7-4；
S7-7，输出矩阵变量S，经融合算法处理后，输出的变量S即为最终显著图。
10.一种融合小型深度生成模型的显著性检测终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于：处理器搭载执行依据权利要求1至9任一所述的一种融合小型深度生成模型的显著性检测方法生成的计算机程序。
CN202010443235.3A 2020-05-22 2020-05-22 一种融合小型深度生成模型的显著性检测方法及终端 Active CN111611999B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010443235.3A CN111611999B (zh) 2020-05-22 2020-05-22 一种融合小型深度生成模型的显著性检测方法及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010443235.3A CN111611999B (zh) 2020-05-22 2020-05-22 一种融合小型深度生成模型的显著性检测方法及终端

Publications (2)

Publication Number Publication Date
CN111611999A true CN111611999A (zh) 2020-09-01
CN111611999B CN111611999B (zh) 2023-04-07

Family

ID=72202213

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010443235.3A Active CN111611999B (zh) 2020-05-22 2020-05-22 一种融合小型深度生成模型的显著性检测方法及终端

Country Status (1)

Country Link
CN (1) CN111611999B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112509046A (zh) * 2020-12-10 2021-03-16 电子科技大学 一种弱监督的卷积神经网络图像目标定位方法
CN114119506B (zh) * 2021-11-10 2024-08-02 武汉大学 基于背景信息的图像显著性检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127749A (zh) * 2016-06-16 2016-11-16 华南理工大学 基于视觉注意机制的目标零件识别方法
CN107679250A (zh) * 2017-11-01 2018-02-09 浙江工业大学 一种基于深度自编码卷积神经网络的多任务分层图像检索方法
US10008004B1 (en) * 2016-12-28 2018-06-26 Beijing University Of Technology Establishment method of 3D saliency model based on prior knowledge and depth weight
CN108320281A (zh) * 2018-01-19 2018-07-24 福建师范大学 一种基于多特征扩散的图像显著性检测方法及终端

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127749A (zh) * 2016-06-16 2016-11-16 华南理工大学 基于视觉注意机制的目标零件识别方法
US10008004B1 (en) * 2016-12-28 2018-06-26 Beijing University Of Technology Establishment method of 3D saliency model based on prior knowledge and depth weight
CN107679250A (zh) * 2017-11-01 2018-02-09 浙江工业大学 一种基于深度自编码卷积神经网络的多任务分层图像检索方法
CN108320281A (zh) * 2018-01-19 2018-07-24 福建师范大学 一种基于多特征扩散的图像显著性检测方法及终端

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
叶锋，刘天璐，李诗颖: "基于Siamese网络的行人重识别方法", 《计算机***应用》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112509046A (zh) * 2020-12-10 2021-03-16 电子科技大学 一种弱监督的卷积神经网络图像目标定位方法
CN112509046B (zh) * 2020-12-10 2021-09-21 电子科技大学 一种弱监督的卷积神经网络图像目标定位方法
CN114119506B (zh) * 2021-11-10 2024-08-02 武汉大学 基于背景信息的图像显著性检测方法

Also Published As

Publication number Publication date
CN111611999B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
EP4002161A1 (en) Image retrieval method and apparatus, storage medium, and device
CN108875076B (zh) 一种基于Attention机制和卷积神经网络的快速商标图像检索方法
Jiang et al. Hyperspectral image classification with spatial consistence using fully convolutional spatial propagation network
CN114549913B (zh) 一种语义分割方法、装置、计算机设备和存储介质
CN112989085A (zh) 图像处理方法、装置、计算机设备及存储介质
CN116580257A (zh) 特征融合模型训练及样本检索方法、装置和计算机设备
CN113361546A (zh) 融合非对称卷积和注意力机制的遥感图像特征提取方法
US20210272295A1 (en) Analysing Objects in a Set of Frames
US10832180B2 (en) Artificial intelligence system that employs windowed cellular automata to create plausible alternatives
CN111899203A (zh) 基于标注图在无监督训练下的真实图像生成方法及存储介质
Hosny et al. Classification of galaxy color images using quaternion polar complex exponential transform and binary Stochastic Fractal Search
CN115222998A (zh) 一种图像分类方法
CN117079098A (zh) 一种基于位置编码的空间小目标检测方法
CN111104924B (zh) 一种识别低分辨率商品图像的处理算法
KR102305575B1 (ko) 이미지 간 유사도를 이용한 유사 영역 강조 방법 및 시스템
Zhang et al. R2Net: Residual refinement network for salient object detection
Liu et al. Hypergraph attentional convolutional neural network for salient object detection
CN111611999B (zh) 一种融合小型深度生成模型的显著性检测方法及终端
CN112749576B (zh) 图像识别方法和装置、计算设备以及计算机存储介质
CN116977265A (zh) 缺陷检测模型的训练方法、装置、计算机设备和存储介质
Li et al. A new algorithm of vehicle license plate location based on convolutional neural network
CN115601513A (zh) 一种模型超参数的选择方法及相关装置
KR20210124727A (ko) 로고 생성 방법
Jeon et al. Integrating multiple receptive fields through grouped active convolution
Level Check for updates

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant