CN110633650A - 基于隐私保护的卷积神经网络人脸识别方法及装置 - Google Patents

Abstract

本发明公开了一种基于隐私保护的卷积神经网络人脸识别方法及装置，其中，该方法包括：获取多幅人脸图像，并对多幅人脸图像进行预处理；计算预处理后的多幅人脸图像的局部方差；通过以预处理前的多幅人脸图像为实部分量，以预处理后的多幅人脸图像的局部方差为虚部分量，构建第一复数矩阵；对第一复数矩阵进行变换域的双随机相位加密生成第二复数矩阵；在第二复数矩阵中提取第一分量和第二分量，将第一分量和第二分量分别输入到卷积神经网络进行训练，将训练好的两个卷积神经网络进行连接生成人脸识别加密网络，通过人脸识别加密网络对人脸图像进行识别。该方法具有较高的安全性，可以满足不同需求的面部识别。

Description

基于隐私保护的卷积神经网络人脸识别方法及装置

技术领域

本发明涉及人脸识别技术领域，特别涉及一种基于隐私保护的卷积神经网络人脸识别方法及装置。

背景技术

人脸识别主要依赖人的面部信息，在现实生活当中的应用也越来越广泛，比如手机解锁、刷脸支付等，亚马逊、谷歌公司及微软公司等先后推出了人脸识别软件。

而这种生物信息具有唯一性作为重要的生物特征，其实这里面隐藏着很多的小秘密，比如基于人脸图像的年龄估计、性别识别、血缘关系判别等。通常情况下我们的照片在未经允许下就会被用于训练人脸识别的***，很多用户在不知情的情况下就被侵犯了知情权和隐私权。今年美国的旧金山、萨默维尔市先后禁止警方和市政部门使用面部识别软件。现有的人脸识别算法及***并没有充分考虑到人脸的隐私信息保护。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于隐私保护的卷积神经网络人脸识别方法，该方法具有较高的安全性，当已注册的面部信息被盗用或者丢失时，可以通过新生成的双随机相位掩模进行重新注册，可以满足不同需求的面部识别。

本发明的另一个目的在于提出一种基于隐私保护的卷积神经网络人脸识别装置。

为达到上述目的，本发明一方面实施例提出了一种基于隐私保护的卷积神经网络人脸识别方法，包括：

获取多幅人脸图像，并对多幅人脸图像进行预处理；

计算预处理后的多幅人脸图像的局部方差；

通过以预处理前的多幅人脸图像为实部分量，以预处理后的多幅人脸图像的局部方差为虚部分量，构建第一复数矩阵；

对所述第一复数矩阵进行变换域的双随机相位加密生成第二复数矩阵；

在所述第二复数矩阵中提取第一分量和第二分量，将所述第一分量和所述第二分量分别输入到两个卷积神经网络进行训练，将训练好的两个卷积神经网络进行连接生成人脸识别加密网络，通过所述人脸识别加密网络对人脸图像进行识别。

本发明实施例的基于隐私保护的卷积神经网络人脸识别方法，在提取人脸深度特征时不仅联合使用了图像的结构信息，同时充分考虑了面部信息的隐私性，通过双随机相位编码对人脸图像进行加密后再输入到卷积网络进行训练和识别，具有较高的安全性。当已注册的面部信息被盗用或者丢失时，可以通过新生成的双随机相位掩模进行重新注册，可以满足不同需求的面部识别。

另外，根据本发明上述实施例的基于隐私保护的卷积神经网络人脸识别方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，在生成所述人脸识别加密网络之后，还包括：

对所述人脸识别加密网络进行验证。

进一步地，在本发明的一个实施例中，所述对所述人脸识别加密网络进行验证，包括：

获取多幅人脸图像组成验证集；

将所述验证集输入到所述人脸识别加密网络进行识别生成每幅人脸图像的识别结果；

将所述每幅人脸图像的识别结果和每幅人脸图像对应的标签进行对比，根据对比结果计算所述人脸识别加密网络的识别率。

进一步地，在本发明的一个实施例中，所述对多幅人脸图像进行预处理，包括：

根据人脸图像中的眼睛坐标对多幅脸图像进行对齐，并归一化处理。

进一步地，在本发明的一个实施例中，所述局部方差的计算公式为：

其中，I_p为人脸图像像素点的邻域，大小为W₁×W₂，L＝W₁W₂表示邻域内像素点的总数，

表示邻域的平均灰度值，n为人脸图像的幅数。

进一步地，在本发明的一个实施例中，所述第一复数矩阵f_i ^c(x,y)为：

f_i ^c(x,y)＝f_i(x,y)+f_i ^V(x,y)i

其中，f_i(x,y)为多幅人脸图像，f_i ^V(x,y)为多幅人脸图像的局部方差，i＝1,2,…,n。

进一步地，在本发明的一个实施例中，所述对所述第一复数矩阵进行变换域的双随机相位加密生成第二复数矩阵，包括：

对所述第一复数矩阵进行Gyrator变换域的双随机相位加密生成所述第二复数矩阵g(x,y)，具体为：

r(x,y)＝exp[j2πr₀(x,y)]

H(ε,η)＝exp[j2πH₀(ε,η)]

P(ε,η)＝G^α{f(x,y)r(x,y)}

g(x,y)＝G^β{P(ε,η)H(ε,η)}

其中，r(x,y)为空间域的相位掩模、H(ε,η)频域的相位掩模，(x,y)为空间域坐标，(ε,η)为频域坐标，r₀(x,y)、H₀(ε,η)为N×M的[0,1]均匀分布随机数矩阵，N×M为人脸图像的尺寸，α、β为Gyrator变换的参数，第二复数矩阵g(x,y)为双随机相位编码的结果。

为达到上述目的，本发明另一方面实施例提出了一种基于隐私保护的卷积神经网络人脸识别装置，包括：

预处理模块，用于获取多幅人脸图像，并对多幅人脸图像进行预处理；

计算模块，用于计算预处理后的多幅人脸图像的局部方差；

构建模块，用于通过以预处理前的多幅人脸图像为实部分量，以预处理后的多幅人脸图像的局部方差为虚部分量，构建第一复数矩阵；

加密模块，用于对所述第一复数矩阵进行变换域的双随机相位加密生成第二复数矩阵；

识别模块，用于在所述第二复数矩阵中提取第一分量和第二分量，将所述第一分量和所述第二分量分别输入到两个卷积神经网络进行训练，将训练好的两个卷积神经网络进行连接生成人脸识别加密网络，通过所述人脸识别加密网络对人脸图像进行识别。

本发明实施例的基于隐私保护的卷积神经网络人脸识别装置，在提取人脸深度特征时不仅联合使用了图像的结构信息，同时充分考虑了面部信息的隐私性，通过双随机相位编码对人脸图像进行加密后再输入到卷积网络进行训练和识别，具有较高的安全性。当已注册的面部信息被盗用或者丢失时，可以通过新生成的双随机相位掩模进行重新注册，可以满足不同需求的面部识别。

另外，根据本发明上述实施例的基于隐私保护的卷积神经网络人脸识别装置还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，还包括：验证模块；

所述验证模块，用于对所述人脸识别加密网络进行验证。

进一步地，在本发明的一个实施例中，所述验证模块，包括：获取单元、输入单元、对比单元；

所述获取单元，用于获取多幅人脸图像组成验证集；

所述输入单元，用于将所述验证集输入到所述人脸识别加密网络进行识别生成每幅人脸图像的识别结果；

所述对比单元，用于将所述每幅人脸图像的识别结果和每幅人脸图像对应的标签进行对比，根据对比结果计算所述人脸识别加密网络的识别率。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明一个实施例的基于隐私保护的卷积神经网络人脸识别方法流程图；

图2为根据本发明一个实施例的基于隐私保护的卷积神经网络人脸识别方法流程框图；

图3为根据本发明一个实施例的人脸图像示意图；

图4为根据本发明一个实施例的局部方差图谱示意图；

图5为根据本发明一个实施例的双随机相位编码的结果示意图；

图6为根据本发明一个实施例的识别率和loss曲线变化示意图；

图7为根据本发明一个实施例的基于隐私保护的卷积神经网络人脸识别装置结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例提出的基于隐私保护的卷积神经网络人脸识别方法及装置。

首先将参照附图描述根据本发明实施例提出的基于隐私保护的卷积神经网络人脸识别方法。

图1为根据本发明一个实施例的基于隐私保护的卷积神经网络人脸识别方法流程图。

如图1和图2所示，该基于隐私保护的卷积神经网络人脸识别方法包括以下步骤：

步骤S101，获取多幅人脸图像，并对多幅人脸图像进行预处理。

进一步地，作为一种可能实现的方式，根据人脸图像中的眼睛坐标对多幅脸图像进行对齐，并归一化处理。

具体地，设定获取的多幅人脸图像为f₁(x,y)、f₂(x,y)、……、f_n(x,y)，其尺寸均为N×M，(x,y)表示空间域坐标。

步骤S102，计算预处理后的多幅人脸图像的局部方差。

具体地，对多幅人脸图像进行预处理后，计算每幅人脸图像的f_i(x,y)的局部方差图谱f_i ^V(x,y)。令像素点的邻域I_p大小为W₁×W₂，则局部方差计算公式为：

其中，I_p为人脸图像像素点的邻域，大小为W₁×W₂，L＝W₁W₂表示邻域内像素点的总数，

表示邻域的平均灰度值，n为人脸图像的幅数。

需要说明的是，对于图像边界的像素点采取对称补齐方式来求其亮度局部方差。

步骤S103，通过以预处理前的多幅人脸图像为实部分量，以预处理后的多幅人脸图像的局部方差为虚部分量，构建第一复数矩阵。

将原灰度图像作为实部分量、局部方差图谱作为虚部分量，构建复数矩阵f_i ^c(x,y)，具体表示为：

f_i ^c(x,y)＝f_i(x,y)+f_i ^V(x,y)i

其中，f_i(x,y)为多幅人脸图像，f_i ^V(x,y)为多幅人脸图像的局部方差，i＝1,2,…,n。

步骤S104，对第一复数矩阵进行变换域的双随机相位加密生成第二复数矩阵。

作为一种可能实现的方式，以Gyrator变换域为例，对第一复数矩阵进行Gyrator变换域的双随机相位加密生成第二复数矩阵g(x,y)，具体为：

r(x,y)＝exp[j2πr₀(x,y)]

H(ε,η)＝exp[j2πH₀(ε,η)]

P(ε,η)＝G^α{f(x,y)r(x,y)}

g(x,y)＝G^β{P(ε,η)H(ε,η)}

其中，r(x,y)为空间域的相位掩模、H(ε,η)频域的相位掩模，(x,y)为空间域坐标，(ε,η)为频域坐标，r₀(x,y)、H₀(ε,η)为N×M的[0,1]均匀分布随机数矩阵，N×M为人脸图像的尺寸，α、β为Gyrator变换的参数，第二复数矩阵g(x,y)为双随机相位编码的结果。

具体地，通过联合图像的结构信息提取深度特征，具有更强的识别性能。采用双随机相位编码对人脸图像进行加密处理，可以保护用户的隐私信息，具有较高的安全性。

步骤S105，在第二复数矩阵中提取第一分量和第二分量，将第一分量和第二分量分别输入到两个卷积神经网络(Convolutional Neural Networks，CNN)进行训练，将训练好的两个卷积神经网络进行连接生成人脸识别加密网络，通过人脸识别加密网络对人脸图像进行识别。

提取第二复数矩阵g(x,y)的第一分量和第二分量，分别输入到第一支路的CNN、第二支路的CNN网络中进行训练。

需要说明的是，这里的两个分量包含两种情形：第一种是第一分量、第二分量分别为实部分量、虚部分量；第二种是第一分量、第二分量分别为幅值分量、相位分量。两条支路的卷积神经网络(CNN)均包括多个卷积层和池化层，最后拼接在一起得到全连接层。

可以理解的是，当用户的相关信息被盗用或者泄漏时，可以通过更换新的相位掩模替换已注册的生物特征模板，具有可撤销性

进一步地，在生成人脸识别加密网络之后，还可以对人脸识别加密网络进行验证，验证人脸识别加密网络的识别率。

作为一种可能实现的方式，对人脸识别加密网络进行验证，包括：

获取多幅人脸图像组成验证集；

将验证集输入到人脸识别加密网络进行识别生成每幅人脸图像的识别结果；

将每幅人脸图像的识别结果和每幅人脸图像对应的标签进行对比，根据对比结果计算人脸识别加密网络的识别率。

具体地，将验证集输入到人脸识别加密网络得到每幅人脸图像的识别结果，将识别结果将每幅人脸图像的识别结果和每幅人脸图像对应的标签进行对比，将识别正确的结果的个数总和与验证集的样本个数总和相除得到比值作为识别率。

举例而言，验证集中的人脸图像包括标签为1、1、1、2、2的五张人脸图像，将这五张人脸图像依次输入到训练好的人脸识别加密网络，得到这五张图像对应的识别结果，假设得到的识别结果为1、1、2、2、2，进行对比后，识别正确的个数为四个，验证集总样本个数为五个，则识别率为80％。

通过一个具体实施例对卷积神经网络人脸识别方法进行说明。

使用ORL人脸数据集进行实验，人脸图像大小为112×112，随机选取70％的数据集用于训练。图3所示为3幅人脸图像，图4为邻域矩阵5×5时得到的局部方差图谱；图5为双随机相位编码的结果，图5(a)和图5(b)分别为实部分量和虚部分量，图5(c)和图5(d)分别为幅值分量和相位分量，可以看到两种情形下人脸图像的信息均被隐藏，起到了保护用户信息的作用。图6为相应的识别率和loss曲线变化，经过一定的迭代次数后均收敛，图6(a)为实部分量和虚部分量的结果，图6(b)为幅值分量和相位分量的结果。经过10次测试，最后得到两种情形的平均识别率分别为94.9％和93.1％。

根据本发明实施例提出的基于隐私保护的卷积神经网络人脸识别方法，在提取人脸深度特征时不仅联合使用了图像的结构信息，同时充分考虑了面部信息的隐私性，通过双随机相位编码对人脸图像进行加密后再输入到卷积网络进行训练和识别，具有较高的安全性。当已注册的面部信息被盗用或者丢失时，可以通过新生成的双随机相位掩模进行重新注册，可以满足不同需求的面部识别。

其次参照附图描述根据本发明实施例提出的基于隐私保护的卷积神经网络人脸识别装置。

图7为根据本发明一个实施例的基于隐私保护的卷积神经网络人脸识别装置结构示意图。

如图7所示，该基于隐私保护的卷积神经网络人脸识别装置包括：预处理模块100、计算模块200、构建模块300、加密模块400和识别模块500。

预处理模块100，用于获取多幅人脸图像，并对多幅人脸图像进行预处理。

计算模块200，用于计算预处理后的多幅人脸图像的局部方差。

构建模块300，用于通过以预处理前的多幅人脸图像为实部分量，以预处理后的多幅人脸图像的局部方差为虚部分量，构建第一复数矩阵。

加密模块400，用于对第一复数矩阵进行变换域的双随机相位加密生成第二复数矩阵。

识别模块500，用于在第二复数矩阵中提取第一分量和第二分量，将第一分量和第二分量分别输入到两个卷积神经网络进行训练，将训练好的两个卷积神经网络进行连接生成人脸识别加密网络，通过人脸识别加密网络对人脸图像进行识别。

进一步地，在本发明的一个实施例中，还包括：验证模块600；

验证模块600，用于对人脸识别加密网络进行验证。

进一步地，在本发明的一个实施例中，验证模块还包括：获取单元、输入单元、对比单元；

获取单元，用于获取多幅人脸图像组成验证集。

输入单元，用于将验证集输入到人脸识别加密网络进行识别生成每幅人脸图像的识别结果。

对比单元，用于将每幅人脸图像的识别结果和每幅人脸图像对应的标签进行对比，根据对比结果计算人脸识别加密网络的识别率。

进一步地，在本发明的一个实施例中，对多幅人脸图像进行预处理，包括：

根据人脸图像中的眼睛坐标对多幅脸图像进行对齐，并归一化处理。

进一步地，在本发明的一个实施例中，局部方差的计算公式为：

其中，I_p为人脸图像像素点的邻域，大小为W₁×W₂，L＝W₁W₂表示邻域内像素点的总数，表示邻域的平均灰度值，n为人脸图像的幅数。

进一步地，在本发明的一个实施例中，第一复数矩阵f_i ^c(x,y)为：

f_i ^c(x,y)＝f_i(x,y)+f_i ^V(x,y)i

其中，f_i(x,y)为多幅人脸图像，f_i ^V(x,y)为多幅人脸图像的局部方差，i＝1,2,…,n。

进一步地，在本发明的一个实施例中，加密模块进一步用于对第一复数矩阵进行Gyrator变换域的双随机相位加密生成第二复数矩阵g(x,y)，具体为：

r(x,y)＝exp[j2πr₀(x,y)]

H(ε,η)＝exp[j2πH₀(ε,η)]

P(ε,η)＝G^α{f(x,y)r(x,y)}

g(x,y)＝G^β{P(ε,η)H(ε,η)}

其中，r(x,y)为空间域的相位掩模、H(ε,η)频域的相位掩模，(x,y)为空间域坐标，(ε,η)为频域坐标，r₀(x,y)、H₀(ε,η)为N×M的[0,1]均匀分布随机数矩阵，N×M为人脸图像的尺寸，α、β为Gyrator变换的参数，第二复数矩阵g(x,y)为双随机相位编码的结果。

需要说明的是，前述对基于隐私保护的卷积神经网络人脸识别方法实施例的解释说明也适用于该实施例的装置，此处不再赘述。

根据本发明实施例提出的基于隐私保护的卷积神经网络人脸识别装置，在提取人脸深度特征时不仅联合使用了图像的结构信息，同时充分考虑了面部信息的隐私性，通过双随机相位编码对人脸图像进行加密后再输入到卷积网络进行训练和识别，具有较高的安全性。当已注册的面部信息被盗用或者丢失时，可以通过新生成的双随机相位掩模进行重新注册，可以满足不同需求的面部识别。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于隐私保护的卷积神经网络人脸识别方法，其特征在于，包括以下步骤：

获取多幅人脸图像，并对多幅人脸图像进行预处理；

计算预处理后的多幅人脸图像的局部方差；

通过以预处理前的多幅人脸图像为实部分量，以预处理后的多幅人脸图像的局部方差为虚部分量，构建第一复数矩阵；

对所述第一复数矩阵进行变换域的双随机相位加密生成第二复数矩阵；

在所述第二复数矩阵中提取第一分量和第二分量，将所述第一分量和所述第二分量分别输入到两个卷积神经网络进行训练，将训练好的两个卷积神经网络进行连接生成人脸识别加密网络，通过所述人脸识别加密网络对人脸图像进行识别。

2.根据权利要求1所述的基于隐私保护的卷积神经网络人脸识别方法，其特征在于，在生成所述人脸识别加密网络之后，还包括：

对所述人脸识别加密网络进行验证。

3.根据权利要求2所述的基于隐私保护的卷积神经网络人脸识别方法，其特征在于，所述对所述人脸识别加密网络进行验证，包括：

获取多幅人脸图像组成验证集；

将所述验证集输入到所述人脸识别加密网络进行识别生成每幅人脸图像的识别结果；

将所述每幅人脸图像的识别结果和每幅人脸图像对应的标签进行对比，根据对比结果计算所述人脸识别加密网络的识别率。

4.根据权利要求1所述的基于隐私保护的卷积神经网络人脸识别方法，其特征在于，所述对多幅人脸图像进行预处理，包括：

根据人脸图像中的眼睛坐标对多幅脸图像进行对齐，并归一化处理。

5.根据权利要求1所述的基于隐私保护的卷积神经网络人脸识别方法，其特征在于，所述局部方差的计算公式为：

其中，I_p为人脸图像像素点的邻域，大小为W₁×W₂，L＝W₁W₂表示邻域内像素点的总数，

表示邻域的平均灰度值，n为人脸图像的幅数。

6.根据权利要求1所述的基于隐私保护的卷积神经网络人脸识别方法，其特征在于，所述第一复数矩阵f_i ^c(x,y)为：

f_i ^c(x,y)＝f_i(x,y)+f_i ^V(x,y)i

其中，f_i(x,y)为多幅人脸图像，f_i ^V(x,y)为多幅人脸图像的局部方差，i＝1,2,…,n。

7.根据权利要求1所述的基于隐私保护的卷积神经网络人脸识别方法，其特征在于，所述对所述第一复数矩阵进行变换域的双随机相位加密生成第二复数矩阵，包括：

对所述第一复数矩阵进行Gyrator变换域的双随机相位加密生成所述第二复数矩阵g(x,y)，具体为：

r(x,y)＝exp[j2πr₀(x,y)]

H(ε,η)＝exp[j2πH₀(ε,η)]

P(ε,η)＝G^α{f(x,y)r(x,y)}

g(x,y)＝G^β{P(ε,η)H(ε,η)}

其中，r(x,y)为空间域的相位掩模、H(ε,η)频域的相位掩模，(x,y)为空间域坐标，(ε,η)为频域坐标，r₀(x,y)、H₀(ε,η)为N×M的[0,1]均匀分布随机数矩阵，N×M为人脸图像的尺寸，α、β为Gyrator变换的参数，第二复数矩阵g(x,y)为双随机相位编码的结果。

8.一种基于隐私保护的卷积神经网络人脸识别装置，其特征在于，包括：

预处理模块，用于获取多幅人脸图像，并对多幅人脸图像进行预处理；

计算模块，用于计算预处理后的多幅人脸图像的局部方差；

构建模块，用于通过以预处理前的多幅人脸图像为实部分量，以预处理后的多幅人脸图像的局部方差为虚部分量，构建第一复数矩阵；

加密模块，用于对所述第一复数矩阵进行变换域的双随机相位加密生成第二复数矩阵；

识别模块，用于在所述第二复数矩阵中提取第一分量和第二分量，将所述第一分量和所述第二分量分别输入到两个卷积神经网络进行训练，将训练好的两个卷积神经网络进行连接生成人脸识别加密网络，通过所述人脸识别加密网络对人脸图像进行识别。

9.根据权利要求8所述的基于隐私保护的卷积神经网络人脸识别装置，其特征在于，还包括：验证模块；

所述验证模块，用于对所述人脸识别加密网络进行验证。

10.根据权利要求9所述的基于隐私保护的卷积神经网络人脸识别装置，其特征在于，所述验证模块，包括：获取单元、输入单元、对比单元；

所述获取单元，用于获取多幅人脸图像组成验证集；

所述输入单元，用于将所述验证集输入到所述人脸识别加密网络进行识别生成每幅人脸图像的识别结果；

所述对比单元，用于将所述每幅人脸图像的识别结果和每幅人脸图像对应的标签进行对比，根据对比结果计算所述人脸识别加密网络的识别率。

Images