CN110570490A - 显著性图像生成方法及设备 - Google Patents

Abstract

本发明实施例提供的显著性图像生成方法及设备，选取孪生网络中目标域单个样本图像作为第一图像和孪生网络中源域图像数据集中的任一图像作为第二图像，并通过第一图像和第二图像训练第一特征提取模块、第二特征提取模块、第一显著性图生成模块、第二显著性图生成模块和判别模块，使得生成的第一显著性图和所述第二显著性图符合显著性预测标准，并将第一特征提取模块和第一显著性图生成模块组成显著性图像生成模型，通过将目标图像输入到所述显著性图像生成模型后，生成所述目标图像的显著性图像，提高了生成目标图像显著性图的效率。

Description

显著性图像生成方法及设备

技术领域

本发明实施例涉及计算机视觉领域，尤其涉及一种显著性图像生成方法及设备。

背景技术

图像显著性是指在计算机视觉领域，通过智能算法模拟人眼的视觉关注机制，提取图像中含有重要信息的区域，即人感兴趣的区域或显著特征。视觉显著性检测算法通过模拟人的视觉注意机制，对图像中的特征进行提取、编码等，并对视场中信息的重要成都进行计算，最后对特征和信息进行整合与定位，给出最后的显著图。

传统算法是基于显著性的视觉注意模型，该模型提取图像中初级的视觉特征，包括颜色、亮度、方位和不同尺度的中周比等特征，并将这些特征进行融合得到最终的显著图。相比传统算法，深度神经网络虽然具有更加丰富的特征表示方法和基于多种显著性数据集训练的方式，但是存在在不同图像上图像显著性性能下降的现象。为解决深度神经网络存在在不同图像上图像显著性性能下降的现象，可以在新的图像域上进行标注，即制作新的训练数据集对网络重新训练；或者借助少量数据对深度网络进行微调，使之满足在新图像上进行显著性预测的要求。

但是，由于深度神经网络的训练需要大量的数据，即在显著性预测任务上，重新制作新的数据需要耗费大量的人力和物力，因此，如何将在已有数据集上训练好的显著性预测模型迁移到新的图像域并能生成较好的预测显著图成为一个亟待解决的问题。

发明内容

本发明实施例提供一种显著性图像生成方法及设备，通过源域图像数据集和目标域单个样本图像来训练显著性预测模型，并根据训练好的模型生成显著性图像，提高了生成目标图像显著性图的效率。

第一方面，本发明实施例提供一种显著性图像生成方法，该方法应用于孪生网络，包括：

选取所述孪生网络中目标域单个样本图像作为第一图像，选取所述孪生网络中源域图像数据集中的任一图像作为第二图像；

第一特征提取模块和第二特征提取模块的训练过程为：通过所述孪生网络中目标域中的第一特征提取模块从所述第一图像提取第一图像的特征信息作为第一特征信息，通过所述孪生网络中源域中的第二特征提取模块提取第二图像的特征信息作为第二特征信息，并将所述第一特征信息层级地融合到所述第二特征信息中生成第三特征信息；

第一显著性图生成模块和第二显著性图生成模块的训练过程为：通过所述孪生网络中目标域中第一显著性图生成模块将所述第一特征信息生成第一显著性图；通过所述孪生网络中源域中的第二显著性图生成模块将所述第三特征信息生成第二显著性图；

判别模块的训练过程为：通过所述判别模块对所述第一显著性图进行辨别，同时通过判别模块对所述第二显著性图进行辨别，判断生成的所述第一显著性图和所述第二显著性是否符合显著性预测标准；

若所述第一显著性图和所述第二显著性图不符合显著性预测标准，则再次将目标域单个样本图像作为第一图像，选取所述孪生网络中源域图像数据集中的任一图像作为第二图像，重复第一特征提取模块、第二特征提取模块、第一显著性图生成模块、第二显著性图生成模块和判别模块的训练过程，直到生成的所述第一显著性图和所述第二显著性图符合显著性预测标准；

若所述第一显著性图和所述第二显著性图符合显著性预测标准，将第一特征提取模块和第一显著性图生成模块组成显著性图像生成模型；

将目标图像输入到所述显著性图像生成模型后，生成所述目标图像的显著性图像。

在一种可能的设计中，所述第一显著性预测图包括第一标签数据，所述第一标签数据用于表示第一图像的显著性特征；所述第二显著性预测图包括第二标签数据，所述第二标签数据用于表示第二图像的显著性特征；

所述通过所述判别模块对所述第一显著性图进行辨别，同时通过判别模块对所述第二显著性图进行辨别，判断生成的所述第一显著性图和所述第二显著性是否符合显著性预测标准，包括：

所述判别模块根据第一显著性预测图中的第一标签数据判断所述第一显著性图是否符合显著性预测标准，若判别模块判断出第一显著性图能够正确映射第一标签数据标记的显著特征，则认为第一显著性图符合显著性预测标准；若判别模块判断出第一显著性图无法正确映射第一标签数据标记的显著特征，则认为第一显著性图不符合显著性预测标准；

所述判别模块根据第二显著性预测图中的第二标签数据判断所述第二显著性图是否符合显著性预测标准，若判别模块判断出第二显著性图能够正确映射第二标签数据标记的显著特征，则认为第二显著性图符合显著性预测标准；若判别模块判断出第二显著性图无法正确映射第二标签数据标记的显著特征，则认为第二显著性图不符合显著性预测标准。

在一种可能的设计中，所述通过判别模块对所述第二显著性图进行辨别包括：

将所述第一显著性图发送至所述判别模块，所述判别模块判断所述第一显著性图的显著特征是否映射了第一标签数据标记的显著特征，若所述判别模块判断所述第一显著性图的显著特征无法正确映射第一标签数据标记的显著特征，则进行以下操作：

所述判别模块根据所述生成的第一显著性图的显著特征与第一标签数据的偏差更新判别模块的判别权重，同时重复第一特征提取模块、第二特征提取模块、第一显著性图生成模块、第二显著性图生成模块和判别模块的训练过程，直至判别模块判断所述第一显著性图的显著特征正确映射第一标签数据标记的显著特征。

在一种可能的设计中，所述通过判别模块对所述第二显著性图进行辨别包括：

将所述第二显著性图发送至所述判别模块，所述判别模块判断所述第二显著性图的显著特征是否映射了第二标签数据标记的显著特征，若所述判别模块判断所述第二显著性图的显著特征无法正确映射第二标签数据标记的显著特征，则进行以下操作：

所述判别模块根据所述生成的第二显著性图的显著特征与第二标签数据的偏差更新判别模块的判别权重，同时重复第一特征提取模块、第二特征提取模块、第一显著性图生成模块、第二显著性图生成模块和判别模块的训练过程，直至判别模块判断所述第二显著性图的显著特征正确映射第二标签数据标记的显著特征。

在一种可能的设计中，在通过所述孪生网络中目标域中第一显著性图生成模块将所述第一特征信息生成第一显著性图的过程中添加随机噪声信息；

在通过所述孪生网络中源域中的第二显著性图生成模块将所述第三特征信息生成第二显著性图的过程中添加随机噪声信息。

在一种可能的设计中，若所述第一判别模块判断出第一显著性图能够正确映射第一标签数据标记的显著特征，则认为第一显著性图符合显著性预测标准；若第一判别模块判断出第一显著性图无法正确映射第一标签数据标记的显著特征，则认为第一显著性图不符合显著性预测标准，包括：

所述第一判别模块计算第一显著性图与第一标签数据之间的偏差函数值，若偏差函数值小于等于预置偏差阈值，则认为第一显著性图符合显著性预测标准；若偏差函数值大于预置偏差阈值，则认为第一显著性图不符合显著性预测标准；

所述若第二判别模块判断出第二显著性图能够正确映射第二标签数据标记的显著特征，则认为第二显著性图符合显著性预测标准；若第二判别模块判断出第二显著性图无法正确映射第二标签数据标记的显著特征，则认为第二显著性图不符合显著性预测标准，包括：

所述第二判别模块计算第二显著性图与第二标签数据之间的偏差函数值，若偏差函数值小于等于预置偏差阈值，则认为第二显著性图符合显著性预测标准；若偏差函数值大于预置偏差阈值，则认为第二显著性图不符合显著性预测标准。

在一种可能的设计中，所述若所述第一显著性图和所述第二显著性不符合显著性预测标准，则将目标域单个样本图像作为第一图像、从所述孪生网络中源域图像数据集中选取任一图像作为第二图像，重复第一特征提取模块、所述第二特征提取模块、所述第一显著图生成模块、所述第二显著图生成模块和所述判别模块的训练过程，直到生成的所述第一显著性图和所述第二显著性图符合显著性预测标准，包括：

分别计算所述第一特征提取模块、所述第二特征提取模块、所述第一显著图生成模块和所述第二显著图生成模块的偏差函数值；

通过所述第一特征提取模块、所述第二特征提取模块、所述第一显著图生成模块和所述第二显著图生成模块的偏差函数值计算每个模块的梯度；

根据所述第一特征提取模块、所述第二特征提取模块、所述第一显著图生成模块和所述第二显著图生成模块的梯度更新上述各个模块权重；

根据更新模块权重后的模块，进行下一次的各个模块的训练过程，直到判别模块判断生成的所述第一显著性图和所述第二显著性图符合显著性预测标准

在一种可能的设计中，所述第一特征提取模块包括第一提取子块、第二提取子块、第三提取子块和第四提取子块；所述二特征提取模块包括第五提取子块、第六提取子块、第七提取子块和第八提取子块；

所述通过所述孪生网络中目标域中的第一特征提取模块从所述第一图像提取第一图像的特征信息作为第一特征信息，通过所述孪生网络中源域中的第二特征提取模块提取第二图像的特征信息作为第二特征信息，并将所述第一特征信息层级地融合到所述第二特征信息中生成第三特征信息，包括：

所述第一图像通过第一提取子块获得第一子特征，第一子特征通过第二提取子块获得第二子特征，第二子特征通过第三提取子块获得第三子特征，第三子特征通过第四提取子块获得第四子特征，其中，第四子特征即为所述第一特征信息；

所述第二图像通过第五提取子块获得第五子特征，所述第五子特征与第一子特征融合后通过第六提取子块获得第六子特征，第六子特征与第二子特征融合获得第七子特征，第七子特征与第三子特征融合后获得第八子特征，其中，第八子特征即为第二特征信息，第八子特征和第四子特征融合后获得第三特征信息。

在一种可能的设计中，所述孪生网络中目标域单个样本图像的标签数据与所述孪生网络中目标图像测试集中所有图像的标签数据显示的显著特征相似。

第二方面，本发明实施例提供一种终端设备，包括：至少一个处理器和存储器；

所述存储器存储计算机执行指令；

所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一方面以及第一方面各种可能的设计所述的显著性图像生成方法。

第三方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的设计所述的显著性图像生成方法。

本发明实施例提供的显著性图像生成方法及设备，通过选取孪生网络中目标域单个样本图像作为第一图像，选取孪生网络中源域图像数据集中的任一图像作为第二图像，并通过第一图像和第二图像训练第一特征提取模块、第二特征提取模块、第一显著性图生成模块、第二显著性图生成模块和判别模块，使得生成的第一显著性图和所述第二显著性图符合显著性预测标准，并将第一特征提取模块和第一显著性图生成模块组成显著性图像生成模型，通过将目标图像输入到所述显著性图像生成模型后，生成所述目标图像的显著性图像，提高了生成目标图像显著性图的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的显著性图像生成方法的模块示意图；

图2为本发明实施例提供的显著性图像生成方法的流程示意图一；

图3为本发明另一实施例提供的显著性图像生成方法的模块示意图；

图4为本发明实施例提供的显著性图像生成方法的流程示意图二；

图5为本发明实施例提供的终端设备的硬件结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例提供的显著性图像生成模型示意图，如图1所示，显著性图像生成模型10包括：第一特征提取模块11、第二特征提取模块12、第一显著性图生成模块13、第二显著性图生成模块14和判别模块15。第一特征提取模块11与第一显著性图生成模块13连接，第二特征提取模块12与第二显著性图生成模块14连接，第一显著性图生成模块13和第二显著性图生成模块14分别与判别模块15连接。

本发明实施例提供的显著性图像生成模型是根据卷积神经网络构建的，其中，第一特征提取模块11和第二特征提取模块12用于提取图像的特征信息；第一显著性图生成模块13和第二显著性图生成模块14用于将带有特征信息的图像生成显著性图像；判别模块15用于判断生成的显著性图像是否符合显著性预测标准。

图2为本发明实施例提供的显著性图像生成方法的流程示意图，在图1提供的显著性图像生成模型10基础上，如图2所示，该方法包括：

S201、选取孪生网络中目标域单个样本图像作为第一图像，选取孪生网络中源域图像数据集中的任一图像作为第二图像。

本发明实施例提供的孪生网络是基于卷积神经网络构提出的双路网络结构，双路网络的第一路和第二路分别是孪生网络中目标域单个样本图像和孪生网络中源域图像数据集。选取第一路中目标域单个样本图像作为第一图像，选取第二路中源域图像数据集中的任一图像作为第二图像。

选定目标域单个样本图像(x₀，y₀)作为第一图像，选定源域图像数据集的图像标签作为第二图像之后，将两者重新组织为模型训练需要的数据格式。针对孪生网络结构和特征分布空间，把第一图像和第二图像组成图像对。

一种可能的实现方式中，本发明实施例提供的显著性图像生成方法应用于太阳图像分析、太阳活动预测和空间天气预报等学术研究中，则第一路中目标域单个样本图像可能为太阳图像，第二路中源域图像数据集为地面自然图像集。本发明实例提供模型和方法可以生成能够生成反映太阳显著性特点的图像。

S202、第一特征提取模块11和第二特征提取模块12的训练过程为：通过孪生网络中目标域中的第一特征提取模块11从第一图像提取第一图像的特征信息作为第一特征信息，通过孪生网络中源域中的第二特征提取模块12提取第二图像的特征信息作为第二特征信息，并将第一特征信息层级地融合到第二特征信息中生成第三特征信息。

如图1所示，第一图像为第一特征提取模块11的输入，第一特征提取模块11的输出为第一特征信息，其中，第一特征信息为第一图像显示的图像特征；第二图像为第二特征提取模块12的输入，第二特征提取模块12的输出为第二特征信息，其中，第二特征信息为第二图像显示的图像特征。第一特征信息层级地融合到第二特征信息后生成第三特征信息，其中，第三特征信息为第二特征信息中反映第一特征信息的图像特征。

S203、第一显著性图生成模块13和第二显著性图生成模块14的训练过程为：通过孪生网络中目标域中第一显著性图生成模块13将第一特征信息生成第一显著性图；通过孪生网络中源域中的第二显著性图生成模块14将第三特征信息生成第二显著性图。

如图1所示，第一特征信息为第一显著性图生成模块13的输入，第一显著性图生成模块13的输出为第一显著性图，其中，第一显著性图反映了第一特征信息显示的重要特征。第三特征信息为第二显著性图生成模块14的输入，第二显著性图生成模块14的输出为第二显著性图，其中，第二显著性图反映了第三特征信息显示的重要特征。

针对源域图像集(x_i表示源数据集中的图像，y_i表示与x_i对应的显著图标签)和目标图像数据集(x_i表示目标数据集中的图像，y_i表示与x_i对应的显著图标签)，目的是寻找一个映射关系F(x)，将源域图像和单个目标图像的信息映射到相同的分布空间R_d，即X→R。然后通过生成模块G(x)将信息映射成各自的显著图，即R_d→Y。该映射过程可以表示为：

H(x)＝G(λ·F(x_i)+(1-λ)·F(x₀))，x＝(x_i，x₀)

其中H(x)表示输入图像到显著图的映射，λ表示目标域单个图像信息到源域图像信息的融合度。在卷积神经网络的训练过程中，λ是可学习的，以提高信息的融合效率。

S204、判别模块15的训练过程为：通过判别模块15对第一显著性图进行辨别，同时通过判别模块15对第二显著性图进行辨别，判断生成的第一显著性图和第二显著性是否符合显著性预测标准。

如图1所示，第一显著性图和第二显著性图作为判别模块15的输入，判别模块15对第一显著性图和第二显著性图是否符合显著性预测标准进行判断。

S205、若第一显著性图和第二显著性图不符合显著性预测标准，则再次将目标域单个样本图像作为第一图像，选取孪生网络中源域图像数据集中的任一图像作为第二图像，重复第一特征提取模块11、第二特征提取模块12、第一显著性图生成模块13、第二显著性图生成模块14和判别模块15的训练过程，直到生成的第一显著性图和第二显著性图符合显著性预测标准。

若第一显著性图和第二显著性图不符合显著性预测标准，则再次将目标域单个样本图像作为第一图像，选取孪生网络中源域图像数据集中的任一图像作为第二图像，重复本发明实施例提供的S202至S204的过程。重新组织的训练数据图像为标签为

S206、若第一显著性图和第二显著性图符合显著性预测标准，将第一特征提取模块11和第一显著性图生成模块13组成显著性图像生成模型10。

本发明实施例提供的通过重复训练第一特征提取模块11、第二特征提取模块12、第一显著性图生成模块13、第二显著性图生成模块14和判别模块15，最终使得生成的第一显著性图和第二显著性图符合显著性预测标准，将第一特征提取模块11、第二特征提取模块12、第一显著性图生成模块13、第二显著性图生成模块14和判别模块15组成显著性图像生成模型10。

S207、将目标图像输入到显著性图像生成模型10后，生成目标图像的显著性图像。

针对样本图像，定义x_0g＝[F(x₀)，z]，作为目标路生成模块的输入，其中F(x₀)为该路特征提取模块的输出，则目标路生成模块的输出表示为：

y_0p＝G(x_0g)＝G([F(x₀)，z])

针对源域图像，定义x_ig＝[λF(x_i)+(1-λ)F(x₀)，z]，作为源域路生成模块的输入，其中F(x_i)为该路特征提取模块的输出，则源域路生成模块的输出表示为：

y_ip＝G(x_ig)＝G([λF(x_i)+(1-λ)F(x₀)，z])

其中，z是随机噪声，且z∈R_d，z∈N(0，1)。

本发明实施例提供的显著性图像生成方法，通过选取孪生网络中目标域单个样本图像作为第一图像，选取孪生网络中源域图像数据集中的任一图像作为第二图像，并通过第一图像和第二图像训练第一特征提取模块、第二特征提取模块、第一显著性图生成模块、第二显著性图生成模块和判别模块，使得生成的第一显著性图和第二显著性图符合显著性预测标准，并将第一特征提取模块和第一显著性图生成模块组成显著性图像生成模型，通过将目标图像输入到显著性图像生成模型后，生成目标图像的显著性图像，提高了生成目标图像显著性图的效率。

图3为本发明另一实施例提供的显著性图像生成方法的模块示意图，如图3所示，本实施例在图1实施例的基础上，第一特征提取模块11包括：第一提取子块111、第二提取子块112、第三提取子块113和第四提取子块114；第二特征提取模块12包括：第五提取子块121、第六提取子块122、第七提取子块123和第八提取子块124。

第一提取子块111与第二提取子块112连接，第二提取子块112与第三提取子块113连接，第三提取子块113与第四提取子块114连接。第一图像通过第一提取子块111获得第一子特征，第一子特征通过第二提取子块112获得第二子特征，第二子特征通过第三提取子块113获得第三子特征，第三子特征通过第四提取子块114获得第四子特征，其中，第四子特征即为第一特征信息。

第五提取子块121与第六提取子块122连接，第六提取子块122与第七提取子块123连接，第七提取子块123与第八提取子块124连接。第二图像通过第五提取子块121获得第五子特征，第五子特征与第一子特征融合后通过第六提取子块122获得第六子特征，第六子特征与第二子特征融合后通过第七提取子块123获得第七子特征，第七子特征与第三子特征融合后通过第八提取子块124获得第八子特征，其中，第八子特征即为第二特征信息，第八子特征和第四子特征融合后获得第三特征信息。

本发明实施例提供第一特征提取模块包括：第一提取子块、第二提取子块、第三提取子块和第四提取子块；第二特征提取模块包括：第五提取子块、第六提取子块、第七提取子块和第八提取子块。根据源域图像和目标域单样本图像中共同的特征空间，通过将第一图像的特征的融合在第二图像的特征中，使得生成的第三特征图像能够显示第一图像的特征，充分考虑了目标域单样本图像的特点，能够充分提取目标域单样本图像特征用于显著性预测。

图4为本发明实施例提供的显著性图像生成方法的流程示意图二，在图2提供的显著性图像生成方法的基础上，重复第一特征提取模块11、第二特征提取模块12、第一显著图生成模块13、第二显著图生成模块14和判别模块15的训练过程包括：

S401、分别计算第一特征提取模块11、第二特征提取模块12、第一显著图生成模块13和第二显著图生成模块14的偏差函数值。

S402、通过第一特征提取模块11、第二特征提取模块12、第一显著图生成模块13和第二显著图生成模块14的偏差函数值计算每个模块的梯度。

S403、根据第一特征提取模块11、第二特征提取模块12、第一显著图生成模块13和第二显著图生成模块14的梯度更新上述各个模块权重。

其中，判别模块D的更新过程为：给定第一图像和第二图像两个图像对(x_i，x₀)，经过第一特征提取模块11、第二特征提取模块12、第一显著图生成模块13和第二显著图生成模块14生成的第一显著性图和第二显著性图两个图像对为(x_ig，x_0g)，判别模块15根据判定结果输出两个分布D(x_i)和D(x₀)，因而产生两个二分类交叉熵损失L_ds，s和L_at，t(这里s代表源域数据，t代表目标域数据)。所以，整个判别模块15使用以下损失函数进行更新：

第二显著图生成模块14的更新：为了保证第二显著图生成模块14生成的显著性图的正确性，在将第二显著性图送入判别模块15前，给其施加强监督MSE Loss(均方误差损失)。相反，因为在目标路只有一个带有标签的样本，为了防止网络过拟合，则不再使用强监督方式。此外，在经典生成对抗网络中，第二显著图生成模块14的作用是将生成的第二显著性图欺骗过判别模块15的判断。因此，第二显著图生成模块14的损失来自两部分：强监督损失MSE和判别模块15，具体组成如下：

第二特征提取模块12的更新：与第二显著图生成模块14相似，第二特征提取模块12权重的更新同样用到了强监督的损失函数和来自于判别模块15的损失函数。为了保证目标路信息更充分地向源域路融合，给两个来自判别模块的损失添加不同的权重α和β。因此，第二特征提取模块12的损失函数构成为：

在本发明中，经过多次实验验证，α＝0.2，β＝0.8时可以使得迁移模型的性能达到最优。

S404、根据更新模块权重后的模块，进行下一次的各个模块的训练过程，直到判别模块15判断生成的第一显著性图和第二显著性图符合显著性预测标准。

本发明实施例通过依次将图像对输入到第一特征提取模块11、第二特征提取模块12、第一显著图生成模块13、第二显著图生成模块14和判别模块15进行训练，依据损失值按反向传播的方式对各个的权值进行更新，可保证第一特征提取模块11、第二特征提取模块12、第一显著图生成模块13、第二显著图生成模块14和判别模块15重复训练中，通过第一特征提取模块11和第一显著图生成模块13建立的显著性图生成模型生成的显著性图越来越能接近目标域单样本图像的标签数据。

在一种可能的设计中，判别模块15的训练过程具体包括：

第一显著性预测图包括第一标签数据，第一标签数据用于表示第一图像的显著性特征；第二显著性预测图包括第二标签数据，第二标签数据用于表示第二图像的显著性特征；

通过判别模块15对第一显著性图进行辨别，同时通过判别模块15对第二显著性图进行辨别，判断生成的第一显著性图和第二显著性是否符合显著性预测标准，包括：

判别模块15根据第一显著性预测图中的第一标签数据判断第一显著性图是否符合显著性预测标准，若判别模块判断出第一显著性图能够正确映射第一标签数据标记的显著特征，则认为第一显著性图符合显著性预测标准；若判别模块15判断出第一显著性图无法正确映射第一标签数据标记的显著特征，则认为第一显著性图不符合显著性预测标准；

进一步的，第一判别模块计算第一显著性图与第一标签数据之间的偏差函数值，若偏差函数值小于等于预置偏差阈值，则认为第一显著性图符合显著性预测标准；若偏差函数值大于预置偏差阈值，则认为第一显著性图不符合显著性预测标准。

本发明实施例中，通过第一判别模块计算第一显著性图与第一标签数据之间的偏差函数值，并比较偏差函数值与预置偏差阈值之间的关系，判断第一显著性图是否符合显著性预测标准。通过设置预置偏差阈值作为判定第一显著性图的是否符合显著性预测标准，使得第一显著性图能够更接近第一标签数据，即更好的反映第一图像的重要区域特征。

判别模块15根据第二显著性预测图中的第二标签数据判断第二显著性图是否符合显著性预测标准，若判别模块15判断出第二显著性图能够正确映射第二标签数据标记的显著特征，则认为第二显著性图符合显著性预测标准；若判别模块判断出第二显著性图无法正确映射第二标签数据标记的显著特征，则认为第二显著性图不符合显著性预测标准。

进一步的，第二判别模块计算第二显著性图与第二标签数据之间的偏差函数值，若偏差函数值小于等于预置偏差阈值，则认为第二显著性图符合显著性预测标准；若偏差函数值大于预置偏差阈值，则认为第二显著性图不符合显著性预测标准。

本发明实施例中，通过第二判别模块计算第二显著性图与第二标签数据之间的偏差函数值，并比较偏差函数值与预置偏差阈值之间的关系，判断第二显著性图是否符合显著性预测标准。通过设置预置偏差阈值作为判定第二显著性图的是否符合显著性预测标准，使得第二显著性图能够更接近第二标签数据，即更好的反映第二图像的重要区域特征。

在一种可能的设计中，通过判别模块15对第一显著性图进行辨别过程包括：

对于第一图像：将第一显著性图发送至判别模块，判别模块判断第一显著性图的显著特征是否映射了第一标签数据标记的显著特征，若判别模块判断第一显著性图的显著特征无法正确映射第一标签数据标记的显著特征，则进行以下操作：

判别模块15根据生成的第一显著性图的显著特征与第一标签数据的偏差更新判别模块的判别权重，同时重复第一特征提取模块11、第二特征提取模块12、第一显著性图生成模块13、第二显著性图生成模块14和判别模块15的训练过程，直至判别模块15判断第一显著性图的显著特征正确映射第一标签数据标记的显著特征。

对于第二图像：将第二显著性图发送至判别模块15，判别模块15判断第二显著性图的显著特征是否映射了第二标签数据标记的显著特征，若判别模块15判断第二显著性图的显著特征无法正确映射第二标签数据标记的显著特征，则进行以下操作：

判别模块15根据生成的第二显著性图的显著特征与第二标签数据的偏差更新判别模块15的判别权重，同时重复第一特征提取模块11、第二特征提取模块12、第一显著性图生成模块13、第二显著性图生成模块14和判别模块15的训练过程，直至判别模块15判断第二显著性图的显著特征正确映射第二标签数据标记的显著特征。

本发明实施例中分别根据生成的第一显著性图的显著特征与第一标签数据的偏差、及生成的第二显著性图的显著特征与第二标签数据的偏差更新判别模块的判别权重，使得判别模块在重复训练过程中能够满足显著性判断的要求。

在一种可能的设计中，在通过孪生网络中目标域中第一显著性图生成模块13将第一特征信息生成第一显著性图的过程中添加随机噪声信息。在通过孪生网络中源域中的第二显著性图生成模块14将第三特征信息生成第二显著性图的过程中添加随机噪声信息。

本发明实施例中，在第一显著性图生成模块13和第二显著性图生成模块14的训练过程中添加相同随机噪声信息，可保证两路训练过程中的影响因素相同，影响因素对两路生成的显著性图的影响一致。

在一种可能的设计中，在第一特征提取模块11、第二特征提取模块12、第一显著性图生成模块13、第二显著性图生成模块14和判别模块15的重复训练过程中添加相同的参数，防止某个单个模块的训练过程过拟合造成生成的显著性图不准确。

在一种可能的设计中，孪生网络中目标域单个样本图像的标签数据与孪生网络中目标图像测试集中所有图像的标签数据显示的显著特征相似。

本发明实施例提供的显著性图生成方法应用于生成太阳显著性的研究中，孪生网络中目标图像测试集为太阳图像样本集，从孪生网络中目标图像测试集选取的用于生成显著性图的目标图像要求为：

(1)要求目标域单个样本图像中太阳图像的表面有尽可能多的太阳活动发生，太阳图像表面尽可能复杂，包括多种复杂情况下的活动区域图；

(2)要求目标域单个样本图像的标签与孪生网络中目标图像测试集中选取的显示太阳的标签的分布尽可能相似，即选取与孪生网络中目标图像测试集的标签距离尽可能小的图像。

本发明实施例中要求目标域单个样本图像的标签与孪生网络中目标图像测试集中选取的显示太阳的标签的分布尽可能相似，可保证利用本发明实施例提供的显著性图生成模型生成的显著性图更能准确的反映目标图像的重要信息。

图5为本发明实施例提供的终端设备的硬件结构示意图。如图5所示，本实施例的终端设备50包括：处理器51以及存储器52；其中

存储器52，用于存储计算机执行指令；

处理器51，用于执行存储器存储的计算机执行指令，以实现上述实施例中接收设备所执行的各个步骤。具体可以参见前述方法实施例中的相关描述。

可选地，存储器52既可以是独立的，也可以跟处理器51集成在一起。

当存储器52独立设置时，该终端设备还包括总线53，用于连接所述存储器52和处理器51。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上所述的显著性图像生成方法。

在本发明所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述模块成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本申请各个实施例所述方法的部分步骤。

应理解，上述处理器可以是中央处理单元(Central Processing Unit，简称CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。

总线可以是工业标准体系结构(Industry Standard Architecture，简称ISA)总线、外部设备互连(Peripheral Component，简称PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture，简称EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。

上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。

一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(Application Specific Integrated Circuits，简称ASIC)中。当然，处理器和存储介质也可以作为分立组件存在于电子设备或主控设备中。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (11)

1.一种显著性图像生成方法，其特征在于，该方法应用于孪生网络，包括：

选取所述孪生网络中目标域单个样本图像作为第一图像，选取所述孪生网络中源域图像数据集中的任一图像作为第二图像；

第一特征提取模块和第二特征提取模块的训练过程为：通过所述孪生网络中目标域中的第一特征提取模块从所述第一图像提取第一图像的特征信息作为第一特征信息，通过所述孪生网络中源域中的第二特征提取模块提取第二图像的特征信息作为第二特征信息，并将所述第一特征信息层级地融合到所述第二特征信息中生成第三特征信息；

第一显著性图生成模块和第二显著性图生成模块的训练过程为：通过所述孪生网络中目标域中第一显著性图生成模块将所述第一特征信息生成第一显著性图；通过所述孪生网络中源域中的第二显著性图生成模块将所述第三特征信息生成第二显著性图；

判别模块的训练过程为：通过所述判别模块对所述第一显著性图进行辨别，同时通过判别模块对所述第二显著性图进行辨别，判断生成的所述第一显著性图和所述第二显著性是否符合显著性预测标准；

若所述第一显著性图和所述第二显著性图不符合显著性预测标准，则再次将目标域单个样本图像作为第一图像，选取所述孪生网络中源域图像数据集中的任一图像作为第二图像，重复第一特征提取模块、第二特征提取模块、第一显著性图生成模块、第二显著性图生成模块和判别模块的训练过程，直到生成的所述第一显著性图和所述第二显著性图符合显著性预测标准；

若所述第一显著性图和所述第二显著性图符合显著性预测标准，将第一特征提取模块和第一显著性图生成模块组成显著性图像生成模型；

将目标图像输入到所述显著性图像生成模型后，生成所述目标图像的显著性图像。

2.根据权利要求1所述的显著性图像生成方法，其特征在于，所述第一显著性预测图包括第一标签数据，所述第一标签数据用于表示第一图像的显著性特征；所述第二显著性预测图包括第二标签数据，所述第二标签数据用于表示第二图像的显著性特征；

所述通过所述判别模块对所述第一显著性图进行辨别，同时通过判别模块对所述第二显著性图进行辨别，判断生成的所述第一显著性图和所述第二显著性是否符合显著性预测标准，包括：

所述判别模块根据第一显著性预测图中的第一标签数据判断所述第一显著性图是否符合显著性预测标准，若判别模块判断出第一显著性图能够正确映射第一标签数据标记的显著特征，则认为第一显著性图符合显著性预测标准；若判别模块判断出第一显著性图无法正确映射第一标签数据标记的显著特征，则认为第一显著性图不符合显著性预测标准；

所述判别模块根据第二显著性预测图中的第二标签数据判断所述第二显著性图是否符合显著性预测标准，若判别模块判断出第二显著性图能够正确映射第二标签数据标记的显著特征，则认为第二显著性图符合显著性预测标准；若判别模块判断出第二显著性图无法正确映射第二标签数据标记的显著特征，则认为第二显著性图不符合显著性预测标准。

3.根据权利要求1所述的显著性图像生成方法，其特征在于，所述通过判别模块对所述第一显著性图进行辨别包括：

将所述第一显著性图发送至所述判别模块，所述判别模块判断所述第一显著性图的显著特征是否映射了第一标签数据标记的显著特征，若所述判别模块判断所述第一显著性图的显著特征无法正确映射第一标签数据标记的显著特征，则进行以下操作：

所述判别模块根据所述生成的第一显著性图的显著特征与第一标签数据的偏差更新判别模块的判别权重，同时重复第一特征提取模块、第二特征提取模块、第一显著性图生成模块、第二显著性图生成模块和判别模块的训练过程，直至判别模块判断所述第一显著性图的显著特征正确映射第一标签数据标记的显著特征。

4.根据权利要求1所述的显著性图像生成方法，其特征在于，所述通过判别模块对所述第二显著性图进行辨别包括：

将所述第二显著性图发送至所述判别模块，所述判别模块判断所述第二显著性图的显著特征是否映射了第二标签数据标记的显著特征，若所述判别模块判断所述第二显著性图的显著特征无法正确映射第二标签数据标记的显著特征，则进行以下操作：

所述判别模块根据所述生成的第二显著性图的显著特征与第二标签数据的偏差更新判别模块的判别权重，同时重复第一特征提取模块、第二特征提取模块、第一显著性图生成模块、第二显著性图生成模块和判别模块的训练过程，直至判别模块判断所述第二显著性图的显著特征正确映射第二标签数据标记的显著特征。

5.根据权利要求1所述的显著性图像生成方法，其特征在于，在通过所述孪生网络中目标域中第一显著性图生成模块将所述第一特征信息生成第一显著性图的过程中添加随机噪声信息；

在通过所述孪生网络中源域中的第二显著性图生成模块将所述第三特征信息生成第二显著性图的过程中添加随机噪声信息。

6.根据权利要求2所述的显著性图像生成方法，其特征在于，若所述第一判别模块判断出第一显著性图能够正确映射第一标签数据标记的显著特征，则认为第一显著性图符合显著性预测标准；若第一判别模块判断出第一显著性图无法正确映射第一标签数据标记的显著特征，则认为第一显著性图不符合显著性预测标准，包括：

所述第一判别模块计算第一显著性图与第一标签数据之间的偏差函数值，若偏差函数值小于等于预置偏差阈值，则认为第一显著性图符合显著性预测标准；若偏差函数值大于预置偏差阈值，则认为第一显著性图不符合显著性预测标准；

所述若第二判别模块判断出第二显著性图能够正确映射第二标签数据标记的显著特征，则认为第二显著性图符合显著性预测标准；若第二判别模块判断出第二显著性图无法正确映射第二标签数据标记的显著特征，则认为第二显著性图不符合显著性预测标准，包括：

所述第二判别模块计算第二显著性图与第二标签数据之间的偏差函数值，若偏差函数值小于等于预置偏差阈值，则认为第二显著性图符合显著性预测标准；若偏差函数值大于预置偏差阈值，则认为第二显著性图不符合显著性预测标准。

7.根据权利要求1所述的显著性图像生成方法，其特征在于，所述若所述第一显著性图和所述第二显著性不符合显著性预测标准，则将目标域单个样本图像作为第一图像、从所述孪生网络中源域图像数据集中选取任一图像作为第二图像，重复所述第一特征提取模块、所述第二特征提取模块、所述第一显著图生成模块、所述第二显著图生成模块和所述判别模块的训练过程，直到生成的所述第一显著性图和所述第二显著性图符合显著性预测标准，包括：

分别计算所述第一特征提取模块、所述第二特征提取模块、所述第一显著图生成模块和所述第二显著图生成模块的偏差函数值；

通过所述第一特征提取模块、所述第二特征提取模块、所述第一显著图生成模块和所述第二显著图生成模块的偏差函数值计算每个模块的梯度；

根据所述第一特征提取模块、所述第二特征提取模块、所述第一显著图生成模块和所述第二显著图生成模块的梯度更新上述各个模块权重；

根据更新模块权重后的模块，进行下一次的各个模块的训练过程，直到判别模块判断生成的所述第一显著性图和所述第二显著性图符合显著性预测标准。

8.根据权利要求1所述的显著性图像生成方法，其特征在于，所述第一特征提取模块包括第一提取子块、第二提取子块、第三提取子块和第四提取子块；所述二特征提取模块包括第五提取子块、第六提取子块、第七提取子块和第八提取子块；

所述通过所述孪生网络中目标域中的第一特征提取模块从所述第一图像提取第一图像的特征信息作为第一特征信息，通过所述孪生网络中源域中的第二特征提取模块提取第二图像的特征信息作为第二特征信息，并将所述第一特征信息层级地融合到所述第二特征信息中生成第三特征信息，包括：

所述第一图像通过第一提取子块获得第一子特征，第一子特征通过第二提取子块获得第二子特征，第二子特征通过第三提取子块获得第三子特征，第三子特征通过第四提取子块获得第四子特征，其中，第四子特征即为所述第一特征信息；

所述第二图像通过第五提取子块获得第五子特征，所述第五子特征与第一子特征融合后通过第六提取子块获得第六子特征，第六子特征与第二子特征融合获得第七子特征，第七子特征与第三子特征融合后获得第八子特征，其中，第八子特征即为第二特征信息，第八子特征和第四子特征融合后获得第三特征信息。

9.根据权利要求1至8任一项所述的显著性图像生成方法，其特征在于，所述孪生网络中目标域单个样本图像的标签数据与孪生网络中目标图像测试集中所有图像的标签数据显示的显著特征相似。

10.一种终端设备，其特征在于，包括：至少一个处理器、存储器；

所述存储器存储计算机执行指令；

所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1至9任一项所述的显著性图像生成方法。

11.一种计算机存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1至9任一项所述的显著性图像生成方法。