CN111027576A - 基于协同显著性生成式对抗网络的协同显著性检测方法 - Google Patents

Abstract

本发明提出了一种基于协同显著性生成式对抗网络的协同显著性检测方法，步骤如下：构建协同显著性生成式对抗网络模型；对协同显著性生成式对抗网络模型进行两阶段训练：在第一训练阶段，采用带标签的显著目标数据库对协同显著性生成式对抗网络进行预训练，本阶段训练后，协同显著性生成式对抗网络具备对单幅图像进行显著性检测的能力；在第二训练阶段，基于第一阶段训练好的模型参数，采用协同显著目标属于同一类别的带标签协同显著性数据组对协同显著性生成式对抗网络进行训练，本阶段训练后，可直接使用训练好的模型进行类别协同显著性检测。本发明训练过程简单、检测效率高，通用性较强，准确率较高。

Description

基于协同显著性生成式对抗网络的协同显著性检测方法

技术领域

本发明涉及计算机视觉与机器学习的技术领域，尤其涉及一种基于协同显著性生成式对抗网络的协同显著性检测方法。

背景技术

随着大数据时代的到来，可以提供各种信息资源的网站和存储移动设备的出现，大量图像和视频的数字化信息充斥着我们的生活，怎样赋予计算机快速并准确获取和保留更多有效信息的能力显得十分有必要。协同显著性检测基于人类生物视觉注意机制，通过检测多幅相关场景图像以及视频中的公共显著性目标，提取能够代表这类图像的有效目标信息，自动过滤图像中的冗余和噪音，降低算法的时间和空间复杂度，从而实现计算资源的优先分配，提高后续图像任务的执行效率。

现有的协同显著性检测方法有多种，单幅图像显著性特征的提取和多幅图像间相似性线索的捕捉是该任务涉及到的关键环节。随着深度学习的发展，可根据方法是否采用深度学习技术将现有的协同显著性方法分为两类。基于非深度学习的方法往往基于一些手工设计特征以及人为设置的相似性度量准则进行协同显著性检测，导致提取出来的特征与相似性信息限制了检测性能，对检测精度影响较大。另一类基于深度学习的协同显著性检测方法与传统协同显著性检测方法相比，由深度模型提取出来的信息更具有有效性，大大提升了协同显著性检测性能。但现有带标注的协同显著性数据量规模有限，对深度学习技术的应用形成了一定制约。

发明内容

针对现有基于深度学习的协同显著性检测方法受训练数据量不足的局限，从而对检测精度影响较大的技术问题，本发明提出一种基于协同显著性生成式对抗网络的协同显著性检测方法，有效利用了单幅图像的显著性与同类别图像组的内部相关性信息来进行同类别图像间的协同显著性检测，训练及检测过程简单且检测效率高。

为了达到上述目的，本发明的技术方案是这样实现的：一种基于协同显著性生成式对抗网络的协同显著性检测方法，其步骤如下：

步骤一：构建协同显著性生成式对抗网络模型：根据协同显著性检测任务特性对协同显著性生成式对抗网络中的生成器和判别器的网络架构进行设计，构建协同显著性生成式对抗网络模型；

步骤二：对协同显著性生成式对抗网络模型进行两阶段训练：在第一训练阶段，采用带标签的显著目标数据库对协同显著性生成式对抗网络进行预训练，在第二训练阶段，基于第一阶段训练好的模型参数，采用协同显著目标属于同一类别的协同显著性数据组对协同显著性生成式对抗网络进行训练；

步骤三：类别协同显著性检测：将步骤二中训练好的协同显著性生成式对抗网络模型的生成器作为类别协同显著性检测器，将属于同一种类别的图像作为类别协同显著性检测器的输入，直接端到端的输出同类别图像对应的协同显著图。

所述步骤一中生成器的网络采用U-Net网络结构、为全卷积网络，其中卷积层和反卷积层的卷积核尺寸、步长和填充值对称设置，倒数三层卷积层和前三层反卷积层设有Dropout操作；所述判别器的网络也为全卷积网络，经多层卷积操作后，输出二维概率矩阵，根据二维概率矩阵对判别器输入的图像进行Patch级真假判别；所述生成器学习原始图像与协同显著真值图之间的映射关系，从而生成协同显著图，判别器把生成器生成的协同显著图与真值图进行真假区分判别。

所述步骤二中第一训练阶段和第二训练阶段中：训练生成器时，固定判别器网络参数，提高生成器生成的图像被判别器判定为真的概率，更新生成器的参数；训练判别器时，固定生成器的参数，使判别器提高真实样本为判断为真的概率、降低生成的伪样本判断为真的概率，更新判别器的参数。

所述第一训练阶段和第二训练阶段中，生成器的损失函数为：

LG＝LG₁+λ·LG₂ (1)

其中，LG₁是生成器的对抗损失，LG₂是生成器的像素损失，λ为调整损失权重的系数；θ^G是生成器的网络模型参数；生成器的对抗损失LG₁为：

LG₁＝BCE(D(G(I_m),I_m),A_real) (3)

BCE(x,y)＝y·logx+(1-y)·log(1-x) (4)

生成器的像素损失LG₂为：

LG₂＝||S_m-G(I_m)||₁ (5)

其中，I_m和S_m分别表示输入的第m幅原始图像及其对应的显著目标真值图，G(·)表示生成器生成的伪显著图，D(·,·)表示判别器输出的二维概率矩阵，A_real是一个元素全为1的二维矩阵、尺寸大小与概率矩阵D(·,·)一致；函数BCE(·,·)用于计算二维概率矩阵D(·,·)与二维矩阵A_real的二值交叉熵，函数BCE(·,·)的表达式见公式(4)，其中，x和y是函数BCE(·,·)的自变量；LG₂为显著目标真值图与生成图像的1范数损失；

所述判别器的损失函数表示为：

LD＝BCE(D(S_m,I_m),A_real)+BCE(D(G(I_m),I_m),A_fake) (6)

其中，θ^D表示判别器的网络模型参数，A_fake为元素全为0的二维矩阵、尺寸大小与概率矩阵D(·,·)的尺寸一致。

所述第一训练阶段，将带标签的显著目标数据库作为训练样本集对协同显著性生成式对抗网络进行训练，自动学习原始图像与显著目标真值图之间的映射关系，具体实现方法为：

采用显著目标数据库PASCAL-1500、HKU-IS和DUTS中带像素级标签的图像作为训练数据，将所有原始图像以及对应的显著目标真值图的尺寸调整为生成器的输入大小，将原始图像输入生成器得到相同大小的伪显著图，伪显著图与显著目标真值图进行像素级图像比较，且将伪显著图与原始图像按通道数拼接作为伪样本，显著目标真值图与原始图像拼接作为真实样本分别送入判别器；其中，通过最小化损失函数，采用Adam优化算法来迭代更新生成器网络模型参数θ^G和判别器的网络模型参数θ^D。

所述步骤二中按照图像所含的公共显著目标的类别划分图像组，在第一阶段训练好的模型参数基础上，针对某一类别采用对应的图像组对协同显著性生成式对抗网络进行第二阶段的训练，使协同显著性生成式对抗网络学习原始图像与协同显著性真值图之间的映射关系，具体实现方法为：

采用CoSal2015、iCoseg和MSRC-A共3个公开的且已按显著目标类别分好组的协同显著性检测数据库，将所有原始图像以及对应的协同显著性真值图的尺寸调整为生成器的输入大小，直接随机选取每组中50％的图像数据作为类别训练样本，对经第一阶段训练的协同显著性生成式对抗网络进行训练，使生成器自动学习提取该类别样本中的公共显著性信息，训练出针对单一类别图像的协同显著性检测模型。

对任意一幅图像，若其属于第二阶段训练所用训练样本类别中的某一类，则将其送入已完成训练的对应类别的协同显著性检测模型的生成器中，输入前需将其尺寸调整为生成器的输入大小，生成器输出的图像即为输入图像的协同显著图：

CoS_m＝G^*(I_m) (8)

其中，G^*(·)表示经两阶段训练好的协同显著性生成式对抗网络的生成器，CoS_m是待检测图像I_m最终生成的协同显著图。

与现有技术相比，本发明的有益效果：基于协同显著性生成式对抗网络，采用两阶段训练机制进行协同显著性检测，优势在于：1)采用显著目标数据库训练数据缓解了协同显著性数据量不足会引起的一系列训练问题。2)采用两阶段训练机制，将显著目标数据作为第一阶段训练数据，保证该阶段训练好的网络具有单幅图像显著性检测能力，利用网络的记忆功能，在网络已保留单幅显著目标检测能力的基础上，将协同显著性图像组作为第二阶段训练数据，使网络具备同类别图像间的相关性信息捕捉能力，并将单幅图像显著性检测信息和同组图像间的相关性信息进行融合，使网络最终具备类别协同显著性检测能力。通过实验可知，本发明训练检测过程简单、检测效率高，能够显著提高协同显著性检测的通用性和准确性，对关键信息的快速获取具有重要意义。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的流程图。

图2为本发明与现有算法在CoSal2015数据库上的主观结果对比图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，一种基于协同显著性生成式对抗网络的协同显著性检测方法，利用训练好的协同显著性生成式对抗网络实现协同显著性检测，其步骤如下：

步骤一：构建协同显著性生成式对抗网络模型：根据协同显著性检测任务特性对协同显著性生成式对抗网络中的生成器和判别器的网络架构进行设计，构建协同显著性生成式对抗网络模型。

所述协同显著性生成式对抗网络模型包括生成器网络模型和判别器网络模型两部分。设计合适的生成器网络模型来学习原始图像与协同显著图之间的映射关系，使生成器生成的协同显著图尽可能接近协同显著性真值图。设计合适的判别器网络模型，使其尽可能的把生成器生成的协同显著图与协同显著真值图进行真假区分，从而辅助训练生成器。

所述生成器网络模型整体采用U-Net网络结构，为全卷积网络，包括对称设置的8个卷积层和8个反卷积层，保***输出的图像与输入图像尺寸大小一致，卷积层和反卷积层的卷积核尺寸、步长和填充值对称设置，倒数3个卷积层和前3个反卷积层增加了值为0.5的Dropout操作，即将上一层的激活输出进行随机50％的置零，能够有效地防止过拟合。在生成器网络模型架构中，在编码器-解码器网络结构对称的基础上，加入短连接，将相同尺寸大小的特征图进行级联，可参见U-Net网络结构的设计，参见文献(Ronneberger O,Fischer P,Brox T,et al.U-Net:Convolutional Networks for Biomedical ImageSegmentation.in Proc.Medi.Image Comput.and Comput.Assis.,2015,pp.234-241)。级联的目的是为了保证生成的图像保留目标边缘这类细节信息。因此，生成器G的网络结构如表1所示。

表1生成器的网络结构

判别器网络模块设计采用编码器结构，也为全卷积网络，判别器D的网络结构如表2所示，判别器输出为28×28的二维矩阵，矩阵上的每个元素为其对应的输入图像的图像块被判别为真的概率，即对输入的图像进行Patch级判别，参见文献(Phillip Isola,Jun-YanZhu,Tinghui Zhou,et.al,.Image-to-Image Translation with ConditionalAdversarial Networks.arXiv preprint arXiv:1611.07004)。

表2判别器的网络结构

网络层	输入	卷积核尺寸	步长	填充值	输出
						卷积层1	256×256×6	4	2	1	128×128×64
卷积层2	128×128×64	4	2	1	64×64×128
						卷积层3	64×64×128	4	2	1	32×32×256
卷积层4	32×32×256	3	1	0	30×30×512
						卷积层5	30×30×512	3	1	0	28×28×1

步骤二：对协同显著性生成式对抗网络模型进行两阶段训练：在第一训练阶段，采用数据量较为丰富的带标签的显著目标数据库对协同显著性生成式对抗网络进行预训练，在第二训练阶段，基于第一阶段训练好的模型参数，采用协同显著目标属于同一类别的协同显著性数据组对协同显著性生成式对抗网络进行类别协同显著性检测训练。

本发明设计两阶段训练机制，第一训练阶段进行预训练使协同显著性生成式对抗网络中的生成器具备初步的单幅图像显著目标检测能力，第二训练阶段进一步使生成器具备检测多幅该类别图像的协同显著目标能力。

两阶段训练过程中，生成器的损失函数表示为：

LG＝LG₁+λ·LG₂ (1)

生成器的损失函数由一个对抗损失及像素损失组成，LG₁和LG₂分别表示两阶段训练中生成器的对抗损失和像素损失，λ为调整损失权重的系数，本发明设置λ＝100，θ^G是生成器G的网络模型参数。训练生成器时，固定判别器参数，尽可能的提高生成器生成的图像被判别器判定为真的概率，从而更新生成器的参数。其中，生成器的对抗损失表示为：

LG₁＝BCE(D(G(I_m),I_m),A_real) (3)

BCE(x,y)＝y·logx+(1-y)·log(1-x) (4)

生成器的像素损失表示为：

LG₂＝||S_m-G(I_m)||₁ (5)

其中，I_m和S_m分别表示输入的第m幅原始图像及其对应的显著性真值图，第一阶段的I_m和S_m来自于训练所需的显著目标数据库，第二阶段的I_m和S_m来自于训练所需的协同显著数据库，G(·,·)表示生成器生成的伪显著图，将原始图像I_m和G(·,·)伪显著图拼接后作为概率矩D的输入，D(·,·)表示判别器输出的概率矩阵。概率矩阵D(·,·)的参数θ^D是训练出来的判别器网络中卷积网络间的所有神经元的权重和偏置，由网络结构决定，判别器的输出是二维概率矩阵。判别器输入的图像尺寸为256×256×3，输出为28×28的二维概率矩阵，那么矩阵上的每个元素都是一个概率值，按照位置对应了一个尺寸大小约为9×9的图像块被判别器判别为真的概率值，概率值范围为[0,1]之间。A_real是一个元素全为1的二维矩阵，其尺寸大小与概率矩阵D(·,·)一致，其中的每个元素对应输入样本中的一个图像块，表示的是相应图像块被判别器判定为真的概率全为1。函数BCE(·,·)用于计算概率矩阵D(·,·)与二维矩阵A_real的二值交叉熵，其函数表达式见公式(4)，其中，x和y是函数BCE(·,·)的自变量。LG₂为显著目标真值图与生成图像的1范数损失。

两阶段训练过程中，判别器损失函数表示为：

LD(θ^D)＝BCE(D(S_m,θ^D),A_real)+BCE(D(G(I_m,θ^G),θ^D),A_fake) (6)

上式(6)中，θ^D表示判别器的网络模型参数，A_real为元素全为1的二维矩阵，A_fake为元素全为0的二维矩阵，其尺寸大小与概率矩阵D(·,·)的尺寸一致。训练判别器时，固定生成器参数，使判别器尽可能提高真实样本判断为真的概率，降低生成的伪样本被判断为真的概率，从而更新判别器的参数。

第一训练阶段，将数据量较为丰富且带标签的显著目标数据库作为样本集对协同显著性生成式对抗网络进行第一阶段训练，使该模型学习原始图像与显著目标真值图之间的映射关系，使其首先具备针对单幅图像的显著目标检测能力。在第一阶段训练好的模型参数基础上，模型继承了单幅图像显著性检测的能力，按照图像所含的公共显著目标的类别划分图像组，针对某一类别采用对应的图像组对协同显著性生成式对抗网络进行第二阶段的训练。使协同显著性生成式对抗网络学习原始图像与协同显著性真值图之间的映射关系，使训练出的类别协同显著性生成式对抗网络具备检测多幅图像间公共显著目标的能力。

第一阶段训练：采用显著目标数据库PASCAL-1500、HKU-IS和DUTS中共21517幅带像素级标签的图像作为训练数据。将所有原始图像以及对应的显著目标真值图的图像尺寸调整为256×256×3大小，将原始图像输入生成器。生成图像尺寸大小为256×256×3，生成图像与显著目标真值图进行像素级图像比较，且将生成图像与原始图像按通道数拼接作为伪样本，显著目标真值图与原始图像拼接作为真实样本分别送入判别器。其中，采用Adam优化算法来迭代更新模型参数，Batchsize、学习率、Dropout率和Epoch分别设为1、0.0002、0.5和100。Batchsize指的是训练过程中更新一次网络参数所采用的样本数，学习率指训练过程中每次模型参数训练更新的幅度，Epoch指的是训练过程中遍循所有训练样本的次数。Dropout操作只在6-8层卷积层以及1-3层反卷积层加入，使生成器网络结构具有一定鲁棒性。

第二阶段训练：在第一阶段训练好的协同显著性生成式对抗网络模型参数基础上，即将第一阶段训练好的参数作为第二阶段训练的初始参数，训练模型具备类别协同显著性检测能力。采用CoSal2015、iCoseg和MSRC-A共3个公开的协同显著性检测数据库进行模型训练。训练前，将所有原始图像以及对应的显著目标真值图的图像尺寸调整为256×256大小，这3个数据库中的图像已根据协同显著目标是否属于同一类进行了分组，因此直接随机选取组中50％的数据进行第二阶段训练，在同一类别样本训练过程中，促使模型学习提取该类别样本中的公共显著性信息，从而训练出针对单一类别图像的协同显著性检测模型。除Epoch的参数为400外，训练涉及参数设置与第一阶段训练的相同。

步骤三：类别协同显著性检测：将步骤二中训练好的协同显著性生成式对抗网络模型的生成器作为类别协同显著性检测器，将与第二阶段训练样本属于同一种类别的图像作为类别协同显著性检测器的输入，直接端到端的输出图像对应的协同显著图。

将经过两阶段训练的协同显著性生成式对抗网络模型中的生成器直接作为类别协同显著性检测器，对任意一幅图像，若其属于第二阶段训练所用训练样本类别中的某一类，则将其送入已完成训练的对应类别的协同显著性检测模型的生成器中，输入前将其图像尺寸统一为256×256×3，生成器输出的图像即为输入图像的协同显著图，尺寸大小也为256×256×3。直接将生成器生成的图像作为协同显著图，如下式所示：

CoS_m＝G^*(I_m) (8)

G^*(·)表示经两阶段训练好的协同显著性生成式对抗网络的生成器，CoS_m是待检测图像I_m最终生成的协同显著图。

至此，完成对一组包含相同类别目标图像组的协同显著性检测,即完成图像协同显著性检测。

本发明在硬件环境为Intel(R)XeonE5-2650 [email protected]×20CPU，NVIDIA GTXTITAN-XPGPU，128G显存的工作站上进行了实验，运行的软件环境是：Ubuntu16.04和深度学习框架Pytorch1.0。

为了验证本发明的检测性能及效率，在CoSal2015数据库上对本发明方法和6种协同显著性检测方法进行每幅图像检测时间对比和主观结果对比。在CoSal2015数据库上，同一硬件环境下，对公开代码的SACS-R、SACS、CBCS、ESMG四种方法与本发明进行检测时间对比，如表3所示。

表3现有算法在CoSal2015数据库上的检测时间对比

算法	SACS-R	SACS	CBCS	ESMG	本发明
						代码类型	MATLAB	MATLAB	MATLAB	MATLAB	Python
检测时间	8.873秒	2.652秒	1.688秒	1.723秒	0.562秒

参与主观对比的方法有来自于文献(D.Zhang,J.Han,C.Li et al.Co-saliencydetection via looking deep and wide.in Proc.IEEE Conf.Comput.Vis.PatternRecognit.,2015,pp.2994-3002)的LDAW、来自于文献(X.Cao,Z.Tao,B.Zhang et al.Self-Adaptively Weighted Co-Saliency Detection via Rank Constraint.IEEETrans.Image Process.vol.23,no.9,pp.4175-4186,2014)的SACS-R和SACS、来自于文献(J.Han,G.Cheng,Z.Li et al.A Unified Metric Learning-Based Framework for Co-Saliency Detection.IEEE Trans.on Cir.and Sys.for Vid.Tech.,vol.28,no.10,pp.2473-2483,2018)的AUM、来自于文献(H.Fu,X.Cao,and Z.Tu,Cluster-Based Co-Saliency Detection.IEEE Trans.Image Process.,vol.22,no.10,pp.3766-3778,2013)的CBCS以及来自于文献(A.Joulin,K.Tang,and L.Feifei.Efficient Image and VideoCo-localization with Frank-Wolfe Algorithm.in Proc.IEEE Eur.Conf.Comput.Vis.,2014,pp.253-268)的ESMG，CoSal2015数据库上部分组--海星、青蛙和橡胶的主观对比结果如图2所示。

由图2和表3可知，本发明对一幅图像进行协同显著性检测的时间最短，即效率最高，与其他现有方法对比，本发明得到的协同显著图与真值图最接近。

本发明包括协同显著性生成式对抗网络模型的构建和两阶段模型训练，在第一训练阶段，将数据量较为丰富的带标注显著目标数据集作为训练数据集，来缓解协同视觉显著性领域带标注数据量不足引起的训练问题，同时，使训练好的网络具备单幅图像显著性的检测能力，在第二阶段，采用带标注的协同显著性图像组对模型进行训练，利用模型记忆功能，使模型在具备单幅图像显著性检测能力基础上进一步具备类别协同显著性检测能力；将经两阶段训练好的生成器作为类别协同显著性检测器，端到端的输出该类别图像的协同显著图。本发明有效利用了网络的记忆功能、单幅图像的显著性与同类别图像组的内部相关性信息来进行多幅图像间的协同显著性检测，训练及检测过程简单且检测效率高。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于协同显著性生成式对抗网络的协同显著性检测方法，其特征在于，其步骤如下：

步骤一：构建协同显著性生成式对抗网络模型：根据协同显著性检测任务特性对协同显著性生成式对抗网络中的生成器和判别器的网络架构进行设计，构建协同显著性生成式对抗网络模型；

步骤二：对协同显著性生成式对抗网络模型进行两阶段训练：在第一训练阶段，采用带标签的显著目标数据库对协同显著性生成式对抗网络进行预训练，在第二训练阶段，基于第一阶段训练好的模型参数，采用协同显著目标属于同一类别的协同显著性数据组对协同显著性生成式对抗网络进行训练；

步骤三：类别协同显著性检测：将步骤二中训练好的协同显著性生成式对抗网络模型的生成器作为类别协同显著性检测器，将属于同一种类别的图像作为类别协同显著性检测器的输入，直接端到端的输出同类别图像对应的协同显著图。

2.根据权利要求1所述的基于协同显著性生成式对抗网络的协同显著性检测方法，其特征在于，所述步骤一中生成器的网络采用U-Net网络结构、为全卷积网络，其中卷积层和反卷积层的卷积核尺寸、步长和填充值对称设置，倒数三层卷积层和前三层反卷积层设有Dropout操作；所述判别器的网络也为全卷积网络，经多层卷积操作后，输出二维概率矩阵，根据二维概率矩阵对判别器输入的图像进行Patch级真假判别；所述生成器学习原始图像与协同显著真值图之间的映射关系，从而生成协同显著图，判别器把生成器生成的协同显著图与真值图进行真假区分判别。

3.根据权利要求1或2所述的基于协同显著性生成式对抗网络的协同显著性检测方法，其特征在于，所述步骤二中第一训练阶段和第二训练阶段中：训练生成器时，固定判别器网络参数，提高生成器生成的图像被判别器判定为真的概率，更新生成器的参数；训练判别器时，固定生成器的参数，使判别器提高真实样本为判断为真的概率、降低生成的伪样本判断为真的概率，更新判别器的参数。

4.根据权利要求3所述的基于协同显著性生成式对抗网络的协同显著性检测方法，其特征在于，所述第一训练阶段和第二训练阶段中，生成器的损失函数为：

LG＝LG₁+λ·LG₂ (1)

其中，LG₁是生成器的对抗损失，LG₂是生成器的像素损失，λ为调整损失权重的系数；θ^G是生成器的网络模型参数；生成器的对抗损失LG₁为：

LG₁＝BCE(D(G(I_m),I_m),A_real) (3)

BCE(x,y)＝y·logx+(1-y)·log(1-x) (4)

生成器的像素损失LG₂为：

LG₂＝||S_m-G(I_m)||₁ (5)

其中，I_m和S_m分别表示输入的第m幅原始图像及其对应的显著目标真值图，G(·)表示生成器生成的伪显著图，D(·,·)表示判别器输出的二维概率矩阵，A_real是一个元素全为1的二维矩阵、尺寸大小与概率矩阵D(·,·)一致；函数BCE(·,·)用于计算二维概率矩阵D(·,·)与二维矩阵A_real的二值交叉熵，函数BCE(·,·)的表达式见公式(4)，其中，x和y是函数BCE(·,·)的自变量；LG₂为显著目标真值图与生成图像的1范数损失；

所述判别器的损失函数表示为：

LD＝BCE(D(S_m,I_m),A_real)+BCE(D(G(I_m),I_m),A_fake) (6)

其中，θ^D表示判别器的网络模型参数，A_fake为元素全为0的二维矩阵、尺寸大小与概率矩阵D(·,·)的尺寸一致。

5.根据权利要求4所述的基于协同显著性生成式对抗网络的协同显著性检测方法，其特征在于，所述第一训练阶段，将带标签的显著目标数据库作为训练样本集对协同显著性生成式对抗网络进行训练，自动学习原始图像与显著目标真值图之间的映射关系，具体实现方法为：

采用显著目标数据库PASCAL-1500、HKU-IS和DUTS中带像素级标签的图像作为训练数据，将所有原始图像以及对应的显著目标真值图的尺寸调整为生成器的输入大小，将原始图像输入生成器得到相同大小的伪显著图，伪显著图与显著目标真值图进行像素级图像比较，且将伪显著图与原始图像按通道数拼接作为伪样本，显著目标真值图与原始图像拼接作为真实样本分别送入判别器；其中，通过最小化损失函数，采用Adam优化算法来迭代更新生成器网络模型参数θ^G和判别器的网络模型参数θ^D。

6.根据权利要求5所述的基于协同显著性生成式对抗网络的协同显著性检测方法，其特征在于，所述步骤二中按照图像所含的公共显著目标的类别划分图像组，在第一阶段训练好的模型参数基础上，针对某一类别采用对应的图像组对协同显著性生成式对抗网络进行第二阶段的训练，使协同显著性生成式对抗网络学习原始图像与协同显著性真值图之间的映射关系，具体实现方法为：

采用CoSal2015、iCoseg和MSRC-A共3个公开的且已按显著目标类别分好组的协同显著性检测数据库，将所有原始图像以及对应的协同显著性真值图的尺寸调整为生成器的输入大小，直接随机选取每组中50％的图像数据作为类别训练样本，对经第一阶段训练的协同显著性生成式对抗网络进行训练，使生成器自动学习提取该类别样本中的公共显著性信息，训练出针对单一类别图像的协同显著性检测模型。

7.根据权利要求5或6所述的基于协同显著性生成式对抗网络的协同显著性检测方法，其特征在于，对任意一幅图像，若其属于第二阶段训练所用训练样本类别中的某一类，则将其送入已完成训练的对应类别的协同显著性检测模型的生成器中，输入前需将其尺寸调整为生成器的输入大小，生成器输出的图像即为输入图像的协同显著图：

CoS_m＝G^*(I_m) (8)

其中，G^*(·)表示经两阶段训练好的协同显著性生成式对抗网络的生成器，CoS_m是待检测图像I_m最终生成的协同显著图。

Images