CN110334588A - 基于局部特征注意网络的亲属关系识别方法及装置 - Google Patents

Abstract

本发明公开了一种基于局部特征注意网络的亲属关系识别方法及装置。所述方法包括：获取多个人物图像；采用预先训练的局部特征注意网络分别从每一人物图像中提取局部特征，并对所述局部特征进行有效特征增强处理；根据处理后的局部特征对所述多个人物图像的亲属关系进行识别，从而提高亲属关系的识别准确度。

Description

基于局部特征注意网络的亲属关系识别方法及装置

技术领域

本发明涉及计算机视觉技术领域，特别是指一种基于局部特征注意网络的亲属关系识别方法及装置。

背景技术

亲属关系的验证具有丰富的实际用途，如社会关系调查，失踪人口调查，发现模仿等等。因此，与亲属关系相关的技术越来越受到全球研究人员的关注。然而，这也是一项非常具有挑战性的任务。与一般人脸识别不同，亲属关系验证面临更多困难。在一组亲属对象之间，他们的年龄往往差异很大，甚至性别也不同。换句话说，评估面部相似性的一般方法对亲属验证几乎没有影响。因此，亲属关系验证需要更多的探索。

生物学家和心理学家的研究表明，遗传学带有关于面部器官的信息。两个血缘关系的人通常在某些面部部位而不是整个面部相似。因此，现有技术中采用整个面部特征进行亲属关系的识别，导致识别准确率低下。

发明内容

有鉴于此，本发明的目的在于提出一种基于局部特征注意网络的亲属关系识别方法及装置，能够提高亲属关系的识别准确率。

基于上述目的本发明提供的基于局部特征注意网络的亲属关系识别方法，包括：

获取多个人物图像；

采用预先训练的局部特征注意网络分别从每一人物图像中提取局部特征，并对所述局部特征进行有效特征增强处理；

根据处理后的局部特征对所述多个人物图像的亲属关系进行识别。

进一步地，所述局部特征注意网络包括依次设置的第一卷积层、第一注意网络结构、第一池化层、第二卷积层、第二注意网络结构、第二池化层、第三卷积层、第三注意网络结构和全连接层。

进一步地，所述第一注意网络结构、所述第二注意网络结构和所述第三注意网络结构均包括依次设置的最大池化层、第四卷积层和上采样层。

进一步地，所述采用预先训练的局部特征注意网络分别从每一人物图像中提取局部特征，并对所述局部特征进行有效特征增强处理，具体包括：

将所述多个人物图像的数据输入至所述第一卷积层，并输出第一局部特征；

将所述第一局部特征输入至所述第一注意网络结构进行特征映射，并输出第一映射结果；

将所述第一映射结果依次输入至所述第一池化层、所述第二卷积层，并输出第二局部特征；

将所述第二局部特征输入至所述第二注意网络结构进行特征映射，并输出第二映射结果；

将所述第二映射结果依次输入至所述第二池化层、所述第三卷积层，并输出第三局部特征；

将所述第三局部特征输入至所述第三注意网络结构进行特征映射，并输出第三映射结果；

将所述第三映射结果输入至所述全连接层，并输出第四局部特征，所述第四局部特征即为有效特征增强处理后的局部特征。

进一步地，每一注意网络结构进行特征映射的计算公式为：

P(x)＝(1+F(x))*C(x)；

其中，C(x)为卷积层输出的数据，F(x)为激活函数，P(x)为映射结果。

进一步地，在所述获取多个人物图像之前，还包括：

建立局部特征注意网络；

获取多组人物图像样本；每组人物图像样本包括同一人物图像的无遮盖图像样本和部分遮盖图像样本；

将所述多组人物图像样本输入至所述局部特征注意网络，以对所述局部特征注意网络进行训练，并输出样本遮盖结果和亲属关系结果；

根据所述样本遮盖结果和亲属关系结果计算最终损失结果，并将所述最终损失结果反馈给所述局部特征注意网络。

进一步地，所述根据所述样本遮盖结果和亲属关系结果计算最终损失结果，具体包括：

采用交叉熵损失函数计算所述样本遮盖结果的第一损失结果；

采用所述交叉熵损失函数计算所述亲属关系结果的第二损失结果；

根据所述第一损失结果和所述第二损失结果计算所述最终损失结果。

进一步地，所述交叉熵损失函数为：

Loss(x，class)＝-x[class]+log[∑_jexp(x[j])]；

其中，x为样本遮盖结果或亲属关系结果，class为一组人物图像样本的标签，Loss(x，class)为损失结果。

进一步地，所述最终损失结果的计算公式为：

Loss＝Loss_lp+λ*Loss_ks；

其中，Loss为最终损失结果，Loss_lp为第一损失结果，Loss_ks为第二损失结果，λ为权值。

本发明实施例还提供一种基于语义增强网络的社会关系识别装置，能够实现上述基于语义增强网络的社会关系识别方法的所有流程，所述装置包括：

图像获取模块，用于获取多个人物图像；

特征提取模块，用于采用预先训练的局部特征注意网络分别从每一人物图像中提取局部特征，并对所述局部特征进行有效特征增强处理；以及，

识别模块，用于根据处理后的局部特征对所述多个人物图像的亲属关系进行识别。

从上面所述可以看出，本发明提供的基于局部特征注意网络的亲属关系识别方法及装置，能够采用预先训练的局部特征注意网络分别从多个人物图像中提取局部特征，进而对局部特征进行有效特征增强处理，以提高局部特征的识别权重，进而根据处理后的局部特征进行亲属关系识别，以充分利用亲属图像的局部相似性提升亲属关系的识别性能，有效提高亲属关系的识别准确率。

附图说明

图1为本发明实施例提供的基于局部特征注意网络的亲属关系识别方法的流程示意图；

图2为本发明实施例提供的基于局部特征注意网络的亲属关系识别方法中局部特征注意网络的原理图；

图3为本发明实施例提供的基于局部特征注意网络的亲属关系识别方法中注意网络结构的原理图；

图4为本发明实施例提供的基于局部特征注意网络的亲属关系识别方法中训练局部特征注意网络的原理图；

图5为本发明实施例提供的基于局部特征注意网络的亲属关系识别装置的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

参见图1，是本发明实施例提供的基于局部特征注意网络的亲属关系识别方法的流程示意图，所述方法包括：

S1、获取多个人物图像。

本实施例中，多个人物图像即待识别亲属关系的多个人物的图像，每一人物图像包括相应人物的人脸图像。

S2、采用预先训练的局部特征注意网络分别从每一人物图像中提取局部特征，并对所述局部特征进行有效特征增强处理。

本实施例中，局部特征是指人物图像中的人脸特征，例如五官特征，可以包括左眼、右眼、鼻子、左嘴角和右嘴角等。对局部特征进行有效增强处理是指增强有效特征并抑制低级特征的影响。

具体地，如图2所示，局部特征注意网络包括卷积神经网络以及***在卷积神经网络之间的注意网络结构。卷积神经网络一般包括依次设置的第一卷积层11、第一池化层13、第二卷积层14、第二池化层16、第三卷积层17和全连接层19。第一卷积层11和第一池化层13之间***有第一注意网络结构12，第二卷积层14和第二池化层16之间***有第二注意网络结构15，第三卷积层17和全连接层19之间***有第三注意网络结构18。其中，所述第一注意网络结构12、所述第二注意网络结构15和所述第三注意网络结构18均包括依次设置的最大池化层20、第四卷积层21和上采样层22。注意网络结构为自下而上自上而下的结构，与卷积神经网络结合以形成局部特征注意网络。采用多个注意网络结构以捕获不同类型的局部特征信息。

具体地，步骤S2包括：

将所述多个人物图像的数据输入至所述第一卷积层，并输出第一局部特征；

将所述第一局部特征输入至所述第一注意网络结构进行特征映射，并输出第一映射结果；

将所述第一映射结果依次输入至所述第一池化层、所述第二卷积层，并输出第二局部特征；

将所述第二局部特征输入至所述第二注意网络结构进行特征映射，并输出第二映射结果；

将所述第二映射结果依次输入至所述第二池化层、所述第三卷积层，并输出第三局部特征；

将所述第三局部特征输入至所述第三注意网络结构进行特征映射，并输出第三映射结果；

将所述第三映射结果输入至所述全连接层，并输出第四局部特征，所述第四局部特征即为有效特征增强处理后的局部特征。

需要说明的是，局部特征注意网络中的卷积层和全连接层采用ReLu函数作为激活函数，第一卷积层和第二卷积层之后分别接一个池化层，第三卷积层后接一个全连接层，以通过添加规范化层来提高网络性能。

在识别过程中，将多个人物图像进行叠加，例如，将两个人物图像进行叠加，每个人物图像为三通道RGB图像，像素为64*64，以形成一个64*64大小的6通道数据。如图2所示，人物图像的数据输入至32个卷积核1步长的第一卷积层11，且每个卷积核的大小为5*5*6，因此第一卷积层11输出60*60*32的第一局部特征。第一局部特征通过第一注意网络结构12进行特征映射，获得第一映射结果23并输入至第一池化层13，第一池化层13输出30*30*32的数据并作为第二卷积层14的输入。第二卷积层14使用大小为5*5*32的64个卷积核过滤前一层的输入，得到26*26*64的第二局部特征。同样，第二局部特征通过第二注意网络结构15进行特征映射，获得第二映射结果24并输入至第二池化层16，第二池化层16输出13*13*64的数据，作为第三个卷积层17的输入。第三个卷积层17包含128个卷积核，且每个卷积核的大小为5*5*64。第三卷积层17输出9*9*128的第三局部特征，并通过第三注意网络结构18进行特征映射，获得第三映射结果25并输入至全连接层19。全连接层19将输入的数据投影到具有512个神经元的子空间中，再将数据投影到12个神经元的子控件中，获得第四局部特征，该第四局部特征即为经有效特征增强处理后的局部特征。

其中，在每个卷积层后***注意网络结构，模仿快速前馈和反馈注意过程，将注意力集中在有效的局部特征上。如图3所示，每个注意网络结构包括依次设置的最大池化层20、第四卷积层21和上采样层22。每个注意网络结构前的卷积层输出的数据用C(x)表示，将C(x)通过S形激活函数F(x)转换为0和1之间的特征映射。但是，多次与0到1之间的特征图相乘会降低深层特征的权值，甚至破坏局部特征网络的良好性能。为了在不降低原始效果的情况下放大有效的局部特征，使用残差方法进行处理，具体公式为：

P(x)＝(1+F(x))*C(x)

其中，C(x)为卷积层输出的数据，F(x)为激活函数，P(x)为映射结果。

S3、根据处理后的局部特征对所述多个人物图像的亲属关系进行识别。

本实施例中，在获取经有效特征增强处理后的局部特征后，将局部特征输入至一个分类器(soft-max)，例如，两个人物图像经局部特征注意网络处理后输出12个数据，分类器将这12个数据分类为6通道二分类结果，以表示亲属识别结果44和图像遮盖结果45。其中，6通道二分类结果中的前5组分别表示面部五个特征点的遮盖情况(一般为五个特征点均未被遮盖)，最后一组表示亲属识别结果，即这两个人物图像是否存在亲属关系。

进一步地，在步骤S1之前，还包括：

建立局部特征注意网络；

获取多组人物图像样本；每组人物图像样本包括同一人物图像的无遮盖图像样本和部分遮盖图像样本；

将所述多组人物图像样本输入至所述局部特征注意网络，以对所述局部特征注意网络进行训练，并输出样本遮盖结果和亲属关系结果；

根据所述样本遮盖结果和亲属关系结果计算最终损失结果，并将所述最终损失结果反馈给所述局部特征注意网络。

本实施例中，如图4所示，在对局部特征注意网络进行训练时，获取多个完整人物图像样本(即无遮盖图像样本)41，并在每个完整人物图像样本41中随机选择一个面部特征点进行遮盖，以生成部分遮盖图像样本42，而每个完整人物图像样本41与其对应的部分遮盖图像样本42共同构成一组人物图像样本。其中，面部特征点包括左眼，右眼，鼻子，左嘴角或右嘴角，使用9*9的纯色方块对特征点进行遮盖，且纯色方块的颜色与遮盖区周围颜色相近。例如，图4中对完整人物图像样本41的左眼进行遮盖，获得部分遮盖图像样本42。

将多组人物图像样本输入至局部特征注意网络43，以对局部特征注意网络43进行训练，输出亲属识别结果44和图像遮盖结果45。其中，图像遮盖结果45的相关数据并不直接参与亲属关系的识别，而是作为损失函数的一部分反馈给局部特征注意网络43，以采用自我监督的机制令局部特征注意网络43更好地将注意力集中在面部特征点上。

具体地，所述根据所述样本遮盖结果和亲属关系结果计算最终损失结果，具体包括：

采用交叉熵损失函数计算所述样本遮盖结果的第一损失结果；

采用所述交叉熵损失函数计算所述亲属关系结果的第二损失结果；

根据所述第一损失结果和所述第二损失结果计算所述最终损失结果。

具体地，所述交叉熵损失函数为：

Loss(x，class)＝-x[class]+log[∑_jexp(x[j])]；

其中，x为样本遮盖结果或亲属关系结果，class为一组人物图像样本的标签，Loss(x，class)为损失结果。

具体地，所述最终损失结果的计算公式为：

Loss＝Loss_lp+λ*Loss_ks；

其中，Loss为最终损失结果，Loss_lp为第一损失结果，Loss_ks为第二损失结果，λ为权值。

需要说明的是，将亲属识别结果与样本遮盖结果分别通过交叉熵函数计算损失，再将其赋予不同的权重，求和获得最终损失结果。其中，样本遮盖结果对验证只是起引导作用，因此亲属识别结果被赋予更高的权重λ，优选地，λ为10。

本发明提供的基于局部特征注意网络的亲属关系识别方法，能够采用预先训练的局部特征注意网络分别从多个人物图像中提取局部特征，进而对局部特征进行有效特征增强处理，以提高局部特征的识别权重，进而根据处理后的局部特征进行亲属关系识别，以充分利用亲属图像的局部相似性提升亲属关系的识别性能，有效提高亲属关系的识别准确率。

相应地，本发明还提供一种基于语义增强网络的社会关系识别装置，能够实现上述基于语义增强网络的社会关系识别方法的所有流程。

参见图5，是本发明实施例提供的基于语义增强网络的社会关系识别装置的结构示意图，该装置包括：

图像获取模块1，用于获取多个人物图像；

特征提取模块2，用于采用预先训练的局部特征注意网络分别从每一人物图像中提取局部特征，并对所述局部特征进行有效特征增强处理；以及，

识别模块3，用于根据处理后的局部特征对所述多个人物图像的亲属关系进行识别。

本发明提供的基于局部特征注意网络的亲属关系识别装置，能够采用预先训练的局部特征注意网络分别从多个人物图像中提取局部特征，进而对局部特征进行有效特征增强处理，以提高局部特征的识别权重，进而根据处理后的局部特征进行亲属关系识别，以充分利用亲属图像的局部相似性提升亲属关系的识别性能，有效提高亲属关系的识别准确率。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。

另外，为简化说明和讨论，并且为了不会使本发明难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本发明难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本发明的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本发明的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本发明。因此，这些描述应被认为是说明性的而不是限制性的。

尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。

本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于局部特征注意网络的亲属关系识别方法，其特征在于，包括：

获取多个人物图像；

采用预先训练的局部特征注意网络分别从每一人物图像中提取局部特征，并对所述局部特征进行有效特征增强处理；

根据处理后的局部特征对所述多个人物图像的亲属关系进行识别。

2.根据权利要求1所述的基于局部特征注意网络的亲属关系识别方法，其特征在于，所述局部特征注意网络包括依次设置的第一卷积层、第一注意网络结构、第一池化层、第二卷积层、第二注意网络结构、第二池化层、第三卷积层、第三注意网络结构和全连接层。

3.根据权利要求2所述的基于局部特征注意网络的亲属关系识别方法，其特征在于，所述第一注意网络结构、所述第二注意网络结构和所述第三注意网络结构均包括依次设置的最大池化层、第四卷积层和上采样层。

4.根据权利要求2所述的基于局部特征注意网络的亲属关系识别方法，其特征在于，所述采用预先训练的局部特征注意网络分别从每一人物图像中提取局部特征，并对所述局部特征进行有效特征增强处理，具体包括：

将所述多个人物图像的数据输入至所述第一卷积层，并输出第一局部特征；

将所述第一局部特征输入至所述第一注意网络结构进行特征映射，并输出第一映射结果；

将所述第一映射结果依次输入至所述第一池化层、所述第二卷积层，并输出第二局部特征；

将所述第二局部特征输入至所述第二注意网络结构进行特征映射，并输出第二映射结果；

将所述第二映射结果依次输入至所述第二池化层、所述第三卷积层，并输出第三局部特征；

将所述第三局部特征输入至所述第三注意网络结构进行特征映射，并输出第三映射结果；

将所述第三映射结果输入至所述全连接层，并输出第四局部特征，所述第四局部特征即为有效特征增强处理后的局部特征。

5.根据权利要求4所述的基于局部特征注意网络的亲属关系识别方法，其特征在于，每一注意网络结构进行特征映射的计算公式为：

P(x)＝(1+F(x))*C(x)；

其中，C(x)为卷积层输出的数据，F(x)为激活函数，P(x)为映射结果。

6.根据权利要求1所述的基于局部特征注意网络的亲属关系识别方法，其特征在于，在所述获取多个人物图像之前，还包括：

建立局部特征注意网络；

获取多组人物图像样本；每组人物图像样本包括同一人物图像的无遮盖图像样本和部分遮盖图像样本；

将所述多组人物图像样本输入至所述局部特征注意网络，以对所述局部特征注意网络进行训练，并输出样本遮盖结果和亲属关系结果；

根据所述样本遮盖结果和亲属关系结果计算最终损失结果，并将所述最终损失结果反馈给所述局部特征注意网络。

7.根据权利要求6所述的基于局部特征注意网络的亲属关系识别方法，其特征在于，所述根据所述样本遮盖结果和亲属关系结果计算最终损失结果，具体包括：

采用交叉熵损失函数计算所述样本遮盖结果的第一损失结果；

采用所述交叉熵损失函数计算所述亲属关系结果的第二损失结果；

根据所述第一损失结果和所述第二损失结果计算所述最终损失结果。

8.根据权利要求7所述的基于局部特征注意网络的亲属关系识别方法，其特征在于，所述交叉熵损失函数为：

Loss(x，class)＝-x[class]+log[∑_jexp(x[j])]；

其中，x为样本遮盖结果或亲属关系结果，class为一组人物图像样本的标签，Loss(x，class)为损失结果。

9.根据权利要求1所述的基于局部特征注意网络的亲属关系识别方法，其特征在于，所述最终损失结果的计算公式为：

Loss＝Loss_lp+λ*Loss_ks；

其中，Loss为最终损失结果，Loss_lp为第一损失结果，Loss_ks为第二损失结果，λ为权值。

10.一种基于语义增强网络的社会关系识别装置，能够实现如权利要求1至9任一项所述的基于语义增强网络的社会关系识别方法，其特征在于，所述装置包括：

图像获取模块，用于获取多个人物图像；

特征提取模块，用于采用预先训练的局部特征注意网络分别从每一人物图像中提取局部特征，并对所述局部特征进行有效特征增强处理；以及，

识别模块，用于根据处理后的局部特征对所述多个人物图像的亲属关系进行识别。