CN110175248B - 一种基于深度学习和哈希编码的人脸图像检索方法和装置 - Google Patents

Abstract

本发明涉及一种基于深度学习和哈希编码的人脸图像检索方法和装置。该方法针对现有的人脸图像检索中人脸特征表达不充分、特征区分力不够的问题，提出人脸空间网络和人脸空间损失来自动地挖掘人脸图像中有区分力的人脸区域，降低背景信息的影响；同时哈希网络学习人脸特征和哈希码之间的内在关系，将人脸图像映射成哈希码，显著地降低检索的计算和存储代价；哈希网络中多尺度的人脸特征通道增强模块增强了人脸特征中区分力强的维度。本发明提供的交替训练的策略使得两个网络有机的融合在一起，减少了人脸特征提取和哈希码生成之间的信息损失，在增强了人脸特征的区分力的同时，增强了生成的哈希码的区分力，提高人脸检索的准确度。

Description

一种基于深度学习和哈希编码的人脸图像检索方法和装置

技术领域

本发明属于信息技术、图像检索技术领域，具体涉及一种基于深度学习和哈希编码的人脸图像检索方法和装置。

背景技术

人脸图像检索是指，给定一张人脸图像，在数据库庞大的人脸图像中，找出与给定人脸图像身份一致的图像。这一工作在移动支付、安防等众多领域具有重要的实际应用价值。现阶段的人脸图像检索大致可分为传统的检索方法和基于深度学习的检索方法。

传统的人脸图像检索一般是一个两阶段的过程：第一阶段对人脸图像进行特征提取；第二阶段再对提取的特征做进一步的处理来提高检索效果。例如，中国专利(申请号：201110430327.9，公开号：CN102567483B)采用局部二值模式(LBP)算子对Gabor变换后的人脸图像进行特征提取，再将降维处理后的特征保存到特征库并为之建立特征索引。

随着深度学习的发展，利用卷积神经网络提取的图像特征在各项计算机视觉任务中取得了很好的效果。相比于传统的视觉底层特征，利用深度卷积神经网络提取的图像特征能表达更多图像内在的信息。一些研究工作尝试将深度学习方法运用在通用的图像检索中。例如，中国专利(申请号：201510901348.2，公开号：CN105512289B)将图像特征的学习和哈希码的学习结合在一个深度卷积网络中，提取图像特征的同时生成哈希码。通过对网络的训练，图像被映射成了保留图像语义信息和类别信息的二值哈希码。通过这种方法，图像间的相似度计算可以转换为高效的二值哈希码之间的汉明距离计算。降低了计算时间代价，并减少了空间存储开销。

对于传统的两阶段的方法，由于特征提取和对特征的进一步处理是两个独立的操作，中间存在一定的信息损失。并且，第二阶段完全依靠第一阶段对人脸图像的特征提取，如果在第一阶段中对人脸特征的提取不够充分，提取出的特征缺少区分力，第二阶段的效果将受到影响。

现有的基于深度学习和哈希的图像检索方法虽然能够做到利用端到端的网络结构能来减少上述二阶段过程中的信息损失，但是这些方法大都直接将图像输入神经网络提取特征，没有考虑人脸场景下的图像的特殊性。在人脸图像检索中，只有来自人脸区域的特征是有用的。而人脸图像中通常包含一定的背景区域。在提取特征时，现有基于深度学习的方法直接对原始图像提取特征，而没有考虑背景区域的负面影响，这会导致提取出的特征包含来自背景区域的信息。来自背景区域的信息不但不能对人脸图像检索起到帮助，甚至会干扰人脸区域的特征表达，进而影响到检索的准确度不高。

同时，对于从图像中提取出来的人脸特征，其不同维度上的人脸特征的区分力是不一样的。而现有的方法通常平等的对待每一个维度的人脸特征。这将导致学习到的哈希码难以表达出人脸间细小的差异，影响检索准确度。

发明内容

本发明的目的在于提供一种基于深度学习和哈希编码的人脸图像检索方法和装置，考虑人脸图像的特殊性，减少图像的背景信息对人脸特征的干扰，增强对有区分力的人脸特征的表达，为每一张人脸图像生成具有强区分力的二值哈希码，提高检索速度，降低存储开销，提高检索准确度。

本发明采用的技术方案如下：

一种基于深度学习和哈希编码的人脸图像检索方法，包括以下步骤：

1)构建深度神经网络，所述深度神经网络包括人脸空间网络、哈希网络和损失模块；所述人脸空间网络用于为每一张人脸图像生成一个人脸空间热度图，降低背景信息对人脸特征提取的影响；所述哈希网络用于为人脸图像学习能够保留人脸图像的身份类别信息的哈希码；所述损失模块包含人脸空间损失，分类损失和二值量化损失；

2)对所述深度神经网络进行训练，训练过程中根据所述分类损失和所述二值量化损失的加权和更新所述哈希网络，根据所述人脸空间损失更新所述人脸空间网络，从而得到最优的深度神经网络模型；

3)将数据库中所有的人脸图像和待查询的人脸图像输入所述最优的深度神经网络模型，得到每一张人脸图像所对应的哈希码；

4)计算待查询人脸图像的哈希码和数据库中所有人脸图像的哈希码之间的汉明距离，根据汉明距离的数值得到人脸图像检索结果。

进一步地，所述人脸空间网络包括多个卷积层、反卷积层；所述哈希网络包括多个卷积层、最大池化层、全连接层和人脸特征通道增强模块；所述人脸特征通道增强模块包括全连接层、激活函数层和归一化层；所述哈希网络中最后一个卷积层的输出和最后一个最大池化层的输出分别输入到两个所述人脸特征通道增强模块后，融合成一个多尺度的人脸特征，随后被输入到全连接层。

进一步地，所述人脸空间热度图自动为人脸图像中具有强区分力的人脸区域的像素点生成较高的权重，为背景区域中的像素点生成较低的权重；所述人脸特征通道增强模块为不同尺度的人脸特征生成权重向量，该权重向量在通道方向上，为人脸特征中具有强区分力的通道生成较高的权重，为区分力较弱的通道生成较低的权重，以增强有区分力的人脸特征的表达。

进一步地，步骤2)对所述深度神经网络进行训练，包括：

2.1)将人脸图像数据集分为训练集和测试集两部分，其中每一张人脸图像都有对应的人脸身份标签来表明该人脸的身份类别，将每一张训练集中的人脸图像输入到所述人脸空间网络，得到人脸空间热度图，将人脸图像和对应的人脸空间热度图进行矩阵点乘操作，得到空间加权图像；

2.2)将空间加权图像和原人脸图像分别输入到所述哈希网络；在所述哈希网络中，图像经过多个卷积层和池化层，得到不同尺寸的人脸特征，通过人脸特征通道增强模块为不同尺寸的人脸特征生成权重向量，不同尺寸的人脸特征和对应的权重向量进行通道方向的乘积操作之后，融合成一个人脸特征，并将其输入到全连接层中，最后哈希网络分别输出空间加权图像和原人脸图像的实数值类哈希向量；

2.3)所述损失模块根据实数值类哈希向量，计算空间加权图像和原人脸图像的分类损失和二值量化损失的加权和，反向传播更新所述哈希网络的参数，并计算人脸空间损失，反向传播更新所述人脸空间网络的参数，直到网络收敛且在测试集上的检索效果达到最优，得到最优模型。

进一步地，步骤4)依次计算待查询人脸图像的哈希码和数据库中所有人脸图像的哈希码之间的汉明距离，按照汉明距离的数值升序排序，按序输出对应的原始人脸图像，得到人脸图像检索结果。

一种基于深度学习和哈希编码的人脸图像检索装置，其包括：

神经网络构建模块，负责构建深度神经网络，所述深度神经网络包括人脸空间网络、哈希网络和损失模块；所述人脸空间网络用于为每一张人脸图像生成一个人脸空间热度图，降低背景信息对人脸特征提取的影响；所述哈希网络用于为人脸图像学习能够保留人脸图像的身份类别信息的哈希码；所述损失模块包含人脸空间损失，分类损失和二值量化损失；

神经网络训练模块，负责对所述深度神经网络进行训练，训练过程中根据所述分类损失和所述二值量化损失的加权和更新所述哈希网络，根据所述人脸空间损失更新所述人脸空间网络，从而得到最优的深度神经网络模型；

人脸图像检索模块，负责将数据库中所有的人脸图像和待查询的人脸图像输入所述最优的深度神经网络模型，得到每一张人脸图像所对应的哈希码，计算待查询人脸图像的哈希码和数据库中所有人脸图像的哈希码之间的汉明距离，根据汉明距离的数值得到人脸图像检索结果。

进一步地，所述神经网络训练模块对所述深度神经网络进行训练的过程包括：

将每一张训练集中的人脸图像输入到所述人脸空间网络，得到人脸空间热度图，将人脸图像和对应的人脸空间热度图进行矩阵点乘操作，得到空间加权图像；

将空间加权图像和原人脸图像输入到所述哈希网络；在所述哈希网络中，图像经过多个卷积层和池化层，得到不同尺寸的人脸特征，通过人脸特征通道增强模块为不同尺寸的人脸特征生成权重向量，不同尺寸的人脸特征和对应的权重向量进行通道方向的乘积操作之后，融合成一个人脸特征，并将其输入到全连接层中，最后哈希网络分别输出空间加权图像和原人脸图像的实数值类哈希向量；

所述损失模块根据实数值类哈希向量，计算空间加权图像和原人脸图像的分类损失和二值量化损失的加权和，反向传播更新所述哈希网络的参数，并计算人脸空间损失，反向传播更新所述人脸空间网络的参数，直到网络收敛且在测试集上的检索效果达到最优，得到最优模型。

进一步地，所述人脸图像检索模块依次计算待查询人脸图像的哈希码和数据库中所有人脸图像的哈希码之间的汉明距离，按照汉明距离的数值升序排序，按序输出对应的原始人脸图像，得到人脸图像检索结果。

本发明的优点和有益效果如下：

1.本发明针对现有的人脸图像检索中，人脸特征表达不充分，特征区分力不够的问题，提出人脸空间网络和人脸空间损失来自动地挖掘人脸图像中有区分力的人脸区域。增强人脸特征的区分力，降低背景信息的影响。同时，哈希网络学习人脸特征和哈希码之间的内在关系，将人脸图像映射成哈希码，显著地降低检索的计算和存储代价。在哈希网络中，多尺度的人脸特征通道增强模块，增强了人脸特征中区分力强的维度，使得最终生成的人脸特征具有强的鲁棒性和区分力。

2.本发明提供的交替训练的策略，使得两个网络有机的融合在一起，形成一个端到端的网络结构。减少了人脸特征提取和哈希码生成之间的信息损失，在增强了人脸特征的区分力的同时，增强了生成的哈希码的区分力，提高人脸检索的准确度。

附图说明

图1是本发明方法的流程示意图。

图2是本发明方法提出的网络结构示意图。

图3是本发明方法提出的人脸特征通道增强模块结构示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面通过具体实施例和附图，对本发明做进一步详细说明。

针对现有技术的不足，本发明提供一种基于深度学习和哈希编码的人脸图像检索方法。该方法提供一个端到端的神经网络架构，主要由人脸空间网络、哈希网络和损失模块组成。通过对神经网络模型的训练，人脸空间网络学习为每一张人脸图像生成一个人脸空间热度图，该热度图自动为人脸图像中具有强区分力的人脸区域的像素点生成较高的权重，为包括背景在内的区分力较低的图像区域中的像素点生成较低的权重。通过将人脸图像和对应的人脸空间热度图进行矩阵点乘的方式，在空间方向上降低背景信息对人脸特征提取的影响，同时增强具有较强区分力的人脸区域的信息的表达。哈希网络在融合多尺度人脸特征的同时为图像学习哈希码，其中，人脸特征通道增强模块为不同尺度的人脸特征生成权重向量，该权重向量在通道(Channel)方向上，为人脸特征中具有强区分力的通道生成较高的权重，为区分力较弱的通道生成较低的权重。通过对人脸特征和对应的权重向量进行通道方向上的矩阵相乘的方式，增强人脸特征的区分力，使得最终生成的哈希码能准确的表达不同人脸之间的细微差别。损失模块中，一共包含三个损失函数，分别为分类损失、二值量化损失和人脸空间损失。分类损失使学习到的哈希码保留人脸的身份类别信息。二值量化损失用于减少二值量化过程中的信息损失。人脸空间损失使得人脸空间网络学习自动挖掘图像中有区分力的人脸区域，使得人脸空间网络能够为输入的人脸图像生成有效的人脸空间热度图。

按照本发明所提供的设计方案，本实施例的一种基于深度学习和哈希编码的人脸图像检索方法，具体包含如下步骤：

步骤1.数据预处理。将人脸图像数据集分为训练集和测试集两部分，其中，每一张人脸图像都有对应的人脸身份标签来表明该人脸的身份类别。

步骤2.构建深度神经网络架构。该架构由人脸空间网络、哈希网络和损失模块组成。人脸空间网络包含卷积层和反卷积层，用于为每一张人脸图像生成一个人脸空间热度图。输入的人脸图像的每一个像素点在人脸空间热度图中都存在一个唯一的与之对应的权重。经过步骤3的训练后，人脸空间网络所生成的热度图，能够自动地为输入图像中具有强区分力的人脸区域的像素点生成较高的权重，为背景区域中的像素点生成较低的权重。在空间方向上降低背景信息对人脸特征提取的影响，增强具有较强区分力的人脸区域的信息对人脸特征的影响。哈希网络包含卷积层，最大池化层，人脸特征通道增强模块，全连接层，用于为人脸图像学习能够保留人脸图像的身份类别信息的哈希码。损失模块包含人脸空间损失，分类损失和二值量化损失。

步骤3.训练深度网络。将每一张训练集中的人脸图像输入到人脸空间网络，得到人脸空间热度图。将人脸图像和对应的人脸空间热度图进行矩阵点乘操作，得到空间加权图像。将空间加权图像和原人脸图像输入到哈希网络。在哈希网络中，图像经过多个卷积层和池化层，得到不同尺寸的人脸特征。人脸特征通道增强模块为不同尺寸的人脸特征生成权重向量，不同尺寸的人脸特征和对应的权重向量进行通道方向的乘积操作之后，融合成一个人脸特征，并将其输入到全连接层中，最后，哈希网络分别输出空间加权图像和原人脸图像的实数值类哈希向量。根据实数值类哈希向量，计算空间加权图像和原人脸图像的分类损失和二值量化损失的加权和，反向传播更新哈希网络参数。计算人脸空间损失，反向传播更新人脸空间网络参数。直到网络收敛且在测试集上的检索效果达到最优，得到并保存最优模型。

步骤4.提取哈希码。将数据库中所有的人脸图像和待查询的人脸图像输入最优模型中的人脸空间网络，得到人脸空间热度图。将原人脸图像和对应的人脸空间热度图进行矩阵点乘操作后，输入到上一步得到的最优模型的哈希网络。哈希网络为每一张人脸图像输出实数值类哈希向量。对该向量的每一维上的实数运用符号函数

后，得到由1和-1组成的每一张人脸图像所对应的二值哈希码。

步骤5.汉明距离计算。依次计算待查询人脸图像的哈希码和数据库中所有人脸图像的哈希码之间的汉明距离，按照汉明距离的数值升序排序。按序输出对应的原始人脸图像，得到人脸图像检索结果。

上述的，步骤2中，人脸空间网络由多个卷积层，反卷积层组成。

上述的，步骤2中，哈希网络由多个卷积层，最大池化层，全连接层，和人脸特征通道增强模块组成。

上述的，步骤2中，人脸特征通道增强模块由全连接层，激活函数层，归一化层组成。

上述的，步骤2中，哈希网络中最后一个卷积层的输出和最后一个最大池化层的输出分别输入到两个人脸特征通道增强模块后，融合成一个多尺度的人脸特征，随后被输入到全连接层。

上述的，步骤2中，分类损失表达为：

其中，h_i表示第i张训练图像经过哈希网络得到的实数值类哈希向量，M表示训练图像中人脸身份类别总数，y_i，j表示标签数据，当第i张人脸图像属于第j个人脸身份类别时，y_i，j＝1，否则，y_i，j＝0。exp(·)表示指数函数。w_j表示第j个人脸身份类别的线性投影向量。

上述的，步骤2中，二值量化损失表达为：

l_a＝|||h_i|-1||₁

其中，h_i表示第i张训练图像经过哈希网络得到的实数值类哈希向量，1表示维度与h_i一样的全一向量，||·||₁表示l-1范数。

上述的，步骤2中，人脸空间损失表达为：

其中，m是距离参数。

和

分别指空间加权图像和原图像的分类损失和量化损的加权和。分类损失和二值量化损失的加权和表达式为：

其中，α是权重参数，用于平衡分类损失和二值量化损失的影响。

上述的，步骤3中，分类损失和二值量化损失的加权和用于学习哈希网络的参数，人脸空间损失用于学习人脸空间网络的参数。在网络的训练过程中，两个网络的参数学习交替地进行。

本发明的上述技术方案的关键点为：

1.本方法提出的深度神经网络架构包含两个网络，第一个网络用于生成与原人脸图片大小一样的人脸空间热度图。该部分包含卷积层和反卷积层。第二个网络用于增强人脸特征的同时学习为人脸图像生成哈希码。该部分由卷积层，最大池化层，全连接层，人脸特征通道增强模块组成。人脸特征通道增强模块由全连接层，激活函数层，归一化层组成。

2.本方法通过使用人脸空间网络为图像生成人脸空间热度图并将其与原始图像进行矩阵点乘操作，在空间方向上对人脸特征进行增强，减少背景信息的干扰。同时，通过在哈希网路中使用人脸特征通道增强模块为不同尺度的人脸特征在通道方向上进行加权处理，为人脸特征中具有强区分力的通道生成较高的权重，增强有区分力的人脸特征的表达。

3.损失模块包含三部分：分类损失、二值量化损失和人脸空间损失，并具体给出了三种损失的表达式，以及分类损失和二值量化损失的加权和表达式。

4.人脸空间网络和哈希网络的训练是交替进行的。在每一个循环中，先根据原人脸图片和空间加权图片的分类损失和二值量化损失的加权和更新哈希网络，再根据人脸空间损失更新人脸空间网络。该训练方式能够有效地使人脸空间网络对图像中有区分力的人脸区域信息在空间方向上进行增强。

为更好的表达本发明中提出的基于深度学习和哈希编码的人脸检索方法，下面以为32×32像素的人脸图像生成48位的哈希码为例，对本发明进行进一步的说明。

图1为本发明的整体流程图，包括数据预处理，构建深度神经网络，训练深度网络，提取哈希码和汉明距离计算五个部分。

步骤1.数据预处理。将人脸数据集分为训练集和测试集两部分，每张人脸图像都有与之对应的人脸类别标签；

步骤2.构建深度神经网络结构。图2是本发明实施例的深度神经网络结构。该结构包含人脸空间网络、哈希网络以及损失模块。卷积层用“COV”表示，反卷积层用“DECOVE”表示，全连接层用“FC”表示，最大池化层用“POOLING”表示。卷积层的卷积核按顺序设置为：32×(2×2)×2、64×(2×2)×2、128×(2×2)×2、128×(1×1)×1、1×(1×1)×1、32×(2×2)×2、64×(2×2)×2、128×(2×2)×2和256×(2×2)×1。反卷积层按顺序设置为64×(3×3)×2、32×(3×3)×2、16×(3×3)×2。哈希网络中，FC 1的特征数被设置成1024，FC 2的特征数与所求的二值哈希码的比特数目一致，在本实施例中为48。最大池化层的参数均被设置为(2×2)×2。图3是人脸特征通道增强模块结构示意图，其中“ReLU”指ReLU激活函数，“归一化”指将人脸特征通道增强模块得到的权重向量进行归一化处理，使得向量的数值在0到1之间。本实施例中，归一化处理使用的公式为：

其中，v指权重向量，v(k)指权重向量的第k维的数值。在本实施例中，人脸特征通道增强模块中的FC 1特征数固定为512，FC 2的特征数与输入的特征通道数一致，本实施例中，分别设置为128和256。在人脸特征通道增强模块中，输入的特征通过全连接层和激活函数层和归一化处理之后，得到权重向量。随后，人脸特征和对应权重向量进行通道方向的矩阵乘积操作并输出到后续的FC层。本实施例中，哈希网络的局部创新在于，使用人脸特征通道增强模块使得有区分力的人脸特征得到了增强，同时哈希网络中POOLING 3之后的特征和COV 9之后的特征各自通过人脸特征通道增强模块后，融合成一个多尺度的人脸特征，传递给FC 1层，使得人脸特征能够包含多尺度的人脸信息，增强人脸特征的鲁棒性。

步骤3.训练深度神经网络。将训练集中的人脸图像输入到人脸空间网络，得到人脸空间热度图。人脸图像和对应的人脸空间热度图进行矩阵点乘操作，得到空间加权图像。将人脸图像和空间加权图像输入到哈希网络。得到48维的实数值类哈希向量。根据实数值类哈希向量，分别计算原人脸图像和空间加权图像的分类损失和二值量化损失的加权和，反向传播更新哈希网络参数。随后，计算人脸空间损失，反向传播更新人脸空间网络参数。重复直到网络收敛，且在测试集中达到最优的效果，得到最优模型。

步骤4.提取哈希码。将数据库中每一张人脸图和待查询的人脸图片输入到最优模型的人脸空间网络中，得到每一张图像的人脸空间热度图，原图像和人脸空间热度图进行矩阵点乘之后，得到空间加权图像。将空间加权图像输入到最优模型的哈希网络，得到每一张人脸图像对应的实数值类哈希向量，通过对实数值类哈希向量的每一位应用符号函数，得到每一张人脸图像所对应的二值哈希编码。

步骤5.汉明距离计算。计算待查询人脸图像的哈希码和数据库中的每一张人脸图像哈希码之间的汉明距离，根据汉明距离进行升序排列，按顺序返回对应的人脸图像，得到查询结果。

应理解在本实施例中，汉明距离表示的是两个相同长度的字符串对应位不同的数量。以d(x，y)表示两个字符串x和y之间的汉明距离，当x＝11100，y＝10101时，汉明距离d(x，y)＝2；当x＝111111，y＝-1-1-1-1-1-1时，汉明距离d(x，y)＝6。

由于对汉明距离的计算可通过简单的异或操作和累加即可得到，因此，其计算的时间开销是非常小的。采用汉明距离计算人脸图像之间的相似度能够极大的提高人脸图像检索速度。

本发明另一实施例提供一种采用上述方法的基于深度学习和哈希编码的人脸图像检索装置，其包括：

神经网络构建模块，负责构建深度神经网络，所述深度神经网络包括人脸空间网络、哈希网络和损失模块；所述人脸空间网络用于为每一张人脸图像生成一个人脸空间热度图，降低背景信息对人脸特征提取的影响；所述哈希网络用于为人脸图像学习能够保留人脸图像的身份类别信息的哈希码；所述损失模块包含人脸空间损失，分类损失和二值量化损失；

神经网络训练模块，负责对所述深度神经网络进行训练，训练过程中根据所述分类损失和所述二值量化损失的加权和更新所述哈希网络，根据所述人脸空间损失更新所述人脸空间网络，从而得到最优的深度神经网络模型；

人脸图像检索模块，负责将数据库中所有的人脸图像和待查询的人脸图像输入所述最优的深度神经网络模型，得到每一张人脸图像所对应的哈希码，计算待查询人脸图像的哈希码和数据库中所有人脸图像的哈希码之间的汉明距离，根据汉明距离的数值得到人脸图像检索结果。

其中，所述神经网络训练模块对所述深度神经网络进行训练的过程包括：

将每一张训练集中的人脸图像输入到所述人脸空间网络，得到人脸空间热度图，将人脸图像和对应的人脸空间热度图进行矩阵点乘操作，得到空间加权图像；

将空间加权图像和原人脸图像输入到所述哈希网络；在所述哈希网络中，图像经过多个卷积层和池化层，得到不同尺寸的人脸特征，通过人脸特征通道增强模块为不同尺寸的人脸特征生成权重向量，不同尺寸的人脸特征和对应的权重向量进行通道方向的乘积操作之后，融合成一个人脸特征，并将其输入到全连接层中，最后哈希网络分别输出空间加权图像和原人脸图像的实数值类哈希向量；

所述损失模块根据实数值类哈希向量，计算空间加权图像和原人脸图像的分类损失和二值量化损失的加权和，反向传播更新所述哈希网络的参数，并计算人脸空间损失，反向传播更新所述人脸空间网络的参数，直到网络收敛且在测试集上的检索效果达到最优，得到最优模型。

其中，所述人脸图像检索模块依次计算待查询人脸图像的哈希码和数据库中所有人脸图像的哈希码之间的汉明距离，按照汉明距离的数值升序排序，按序输出对应的原始人脸图像，得到人脸图像检索结果。

以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的原理和范围，本发明的保护范围应以权利要求书所述为准。

Claims (9)

1.一种基于深度学习和哈希编码的人脸图像检索方法，其特征在于，包括以下步骤：

1)构建深度神经网络，所述深度神经网络包括人脸空间网络、哈希网络和损失模块；所述人脸空间网络用于为每一张人脸图像生成一个人脸空间热度图，降低背景信息对人脸特征提取的影响；所述哈希网络用于为人脸图像学习能够保留人脸图像的身份类别信息的哈希码；所述损失模块包含人脸空间损失，分类损失和二值量化损失；所述人脸空间热度图自动为人脸图像中具有强区分力的人脸区域的像素点生成较高的权重，为包括背景在内的区分力较低的图像区域中的像素点生成较低的权重；通过将人脸图像和对应的人脸空间热度图进行矩阵点乘的方式，在空间方向上降低背景信息对人脸特征提取的影响，同时增强具有较强区分力的人脸区域的信息的表达；哈希网络在融合多尺度人脸特征的同时为图像学习哈希码，其中，人脸特征通道增强模块为不同尺度的人脸特征生成权重向量，该权重向量在通道方向上，为人脸特征中具有强区分力的通道生成较高的权重，为区分力较弱的通道生成较低的权重；通过对人脸特征和对应的权重向量进行通道方向上的矩阵相乘的方式，增强人脸特征的区分力，使得最终生成的哈希码能准确的表达不同人脸之间的细微差别；人脸空间损失使得人脸空间网络学习自动挖掘图像中有区分力的人脸区域，使得人脸空间网络能够为输入的人脸图像生成有效的人脸空间热度图；

2)对所述深度神经网络进行训练，训练过程中根据所述分类损失和所述二值量化损失的加权和更新所述哈希网络，根据所述人脸空间损失更新所述人脸空间网络，从而得到最优的深度神经网络模型；

3)将数据库中所有的人脸图像和待查询的人脸图像输入所述最优的深度神经网络模型，得到每一张人脸图像所对应的哈希码；

4)计算待查询人脸图像的哈希码和数据库中所有人脸图像的哈希码之间的汉明距离，根据汉明距离的数值得到人脸图像检索结果。

2.根据权利要求1所述的方法，其特征在于，所述人脸空间网络包括多个卷积层、反卷积层；所述哈希网络包括多个卷积层、最大池化层、全连接层和人脸特征通道增强模块；所述人脸特征通道增强模块包括全连接层、激活函数层和归一化层；所述哈希网络中最后一个卷积层的输出和最后一个最大池化层的输出分别输入到两个所述人脸特征通道增强模块后，融合成一个多尺度的人脸特征，随后被输入到全连接层。

3.根据权利要求1所述的方法，其特征在于，步骤2)对所述深度神经网络进行训练，包括：

2.1)将人脸图像数据集分为训练集和测试集两部分，其中每一张人脸图像都有对应的人脸身份标签来表明该人脸的身份类别，将每一张训练集中的人脸图像输入到所述人脸空间网络，得到人脸空间热度图，将人脸图像和对应的人脸空间热度图进行矩阵点乘操作，得到空间加权图像；

2.2)将空间加权图像和原人脸图像分别输入到所述哈希网络；在所述哈希网络中，图像经过多个卷积层和池化层，得到不同尺寸的人脸特征，通过人脸特征通道增强模块为不同尺寸的人脸特征生成权重向量，不同尺寸的人脸特征和对应的权重向量进行通道方向的乘积操作之后，融合成一个人脸特征，并将其输入到全连接层中，最后哈希网络分别输出空间加权图像和原人脸图像的实数值类哈希向量；

2.3)所述损失模块根据实数值类哈希向量，计算空间加权图像和原人脸图像的分类损失和二值量化损失的加权和，反向传播更新所述哈希网络的参数，并计算人脸空间损失，反向传播更新所述人脸空间网络的参数，直到网络收敛且在测试集上的检索效果达到最优，得到最优模型。

4.根据权利要求1所述的方法，其特征在于，步骤3)通过所述最优的深度神经网络模型中的哈希网络为每一张人脸图像输出实数值类哈希向量，对该向量的每一维上的实数运用符号函数

后，得到由1和-1组成的每一张人脸图像所对应的二值哈希码。

5.根据权利要求1所述的方法，其特征在于，步骤4)依次计算待查询人脸图像的哈希码和数据库中所有人脸图像的哈希码之间的汉明距离，按照汉明距离的数值升序排序，按序输出对应的原始人脸图像，得到人脸图像检索结果。

6.根据权利要求1所述的方法，其特征在于，所述分类损失、二值量化损失和人脸空间损失的计算公式为：

a)分类损失：

其中，h_i表示第i张训练图像经过哈希网络得到的实数值类哈希向量；M表示训练图像中人脸身份类别总数；y_i,j表示标签数据，当第i张人脸图像属于第j个人脸身份类别时，y_i,j＝1，否则，y_i,j＝0；exp(·)表示指数函数；w_j表示第j个人脸身份类别的线性投影向量；

b)二值量化损失：

l_q＝‖|h_i|-1‖₁

其中，h_i表示第i张训练图像经过哈希网络得到的实数值类哈希向量，1表示维度与h_i一样的全一向量，‖·‖₁表示l-1范数；

c)人脸空间损失：

其中，m是距离参数，

和

分别指空间加权图像和原图像的分类损失和量化损的加权和；

d)分类损失和二值量化损失的加权和：

其中，α是权重参数，用于平衡分类损失和二值量化损失的影响。

7.一种基于深度学习和哈希编码的人脸图像检索装置，其特征在于，包括：

神经网络构建模块，负责构建深度神经网络，所述深度神经网络包括人脸空间网络、哈希网络和损失模块；所述人脸空间网络用于为每一张人脸图像生成一个人脸空间热度图，降低背景信息对人脸特征提取的影响；所述哈希网络用于为人脸图像学习能够保留人脸图像的身份类别信息的哈希码；所述损失模块包含人脸空间损失，分类损失和二值量化损失；所述人脸空间热度图自动为人脸图像中具有强区分力的人脸区域的像素点生成较高的权重，为包括背景在内的区分力较低的图像区域中的像素点生成较低的权重；通过将人脸图像和对应的人脸空间热度图进行矩阵点乘的方式，在空间方向上降低背景信息对人脸特征提取的影响，同时增强具有较强区分力的人脸区域的信息的表达；哈希网络在融合多尺度人脸特征的同时为图像学习哈希码，其中，人脸特征通道增强模块为不同尺度的人脸特征生成权重向量，该权重向量在通道方向上，为人脸特征中具有强区分力的通道生成较高的权重，为区分力较弱的通道生成较低的权重；通过对人脸特征和对应的权重向量进行通道方向上的矩阵相乘的方式，增强人脸特征的区分力，使得最终生成的哈希码能准确的表达不同人脸之间的细微差别；人脸空间损失使得人脸空间网络学习自动挖掘图像中有区分力的人脸区域，使得人脸空间网络能够为输入的人脸图像生成有效的人脸空间热度图；

神经网络训练模块，负责对所述深度神经网络进行训练，训练过程中根据所述分类损失和所述二值量化损失的加权和更新所述哈希网络，根据所述人脸空间损失更新所述人脸空间网络，从而得到最优的深度神经网络模型；

人脸图像检索模块，负责将数据库中所有的人脸图像和待查询的人脸图像输入所述最优的深度神经网络模型，得到每一张人脸图像所对应的哈希码，计算待查询人脸图像的哈希码和数据库中所有人脸图像的哈希码之间的汉明距离，根据汉明距离的数值得到人脸图像检索结果。

8.根据权利要求7所述的装置，其特征在于，所述神经网络训练模块对所述深度神经网络进行训练的过程包括：

将每一张训练集中的人脸图像输入到所述人脸空间网络，得到人脸空间热度图，将人脸图像和对应的人脸空间热度图进行矩阵点乘操作，得到空间加权图像；

将空间加权图像和原人脸图像输入到所述哈希网络；在所述哈希网络中，图像经过多个卷积层和池化层，得到不同尺寸的人脸特征，通过人脸特征通道增强模块为不同尺寸的人脸特征生成权重向量，不同尺寸的人脸特征和对应的权重向量进行通道方向的乘积操作之后，融合成一个人脸特征，并将其输入到全连接层中，最后哈希网络分别输出空间加权图像和原人脸图像的实数值类哈希向量；

所述损失模块根据实数值类哈希向量，计算空间加权图像和原人脸图像的分类损失和二值量化损失的加权和，反向传播更新所述哈希网络的参数，并计算人脸空间损失，反向传播更新所述人脸空间网络的参数，直到网络收敛且在测试集上的检索效果达到最优，得到最优模型。

9.根据权利要求7所述的装置，其特征在于，所述人脸图像检索模块依次计算待查询人脸图像的哈希码和数据库中所有人脸图像的哈希码之间的汉明距离，按照汉明距离的数值升序排序，按序输出对应的原始人脸图像，得到人脸图像检索结果。

Images