CN111339988B - 基于动态间隔损失函数和概率特征的视频人脸识别方法 - Google Patents

基于动态间隔损失函数和概率特征的视频人脸识别方法 Download PDF

Info

Publication number
CN111339988B
CN111339988B CN202010166807.8A CN202010166807A CN111339988B CN 111339988 B CN111339988 B CN 111339988B CN 202010166807 A CN202010166807 A CN 202010166807A CN 111339988 B CN111339988 B CN 111339988B
Authority
CN
China
Prior art keywords
face
feature
uncertainty
face recognition
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010166807.8A
Other languages
English (en)
Other versions
CN111339988A (zh
Inventor
柯逍
郑毅腾
朱敏琛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN202010166807.8A priority Critical patent/CN111339988B/zh
Publication of CN111339988A publication Critical patent/CN111339988A/zh
Application granted granted Critical
Publication of CN111339988B publication Critical patent/CN111339988B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于动态间隔损失函数和概率特征的视频人脸识别方法，包括以下步骤：步骤S1：通过人脸识别训练集训练识别网络；步骤S2：采用已训练的识别网络作为特征提取模块，并通过同一个训练集训练不确定性模块；步骤S3：利用学习到的不确定性作为特征的重要程度，对输入的视频特征集合进行聚合，得到聚合后的特征；步骤S4：采用互似然分数对聚合后的特征进行比对，完成最终的识别。该方法能够有效地对视频中的人脸进行识别。

Description

基于动态间隔损失函数和概率特征的视频人脸识别方法
技术领域
本发明涉及模式识别与计算机视觉领域，特别是一种基于动态间隔损失函数和概率特征的视频人脸识别方法。
背景技术
近些年来，深度卷积神经网络在计算机视觉领域取得了巨大的成功，而基于深度学习的人脸识别方法也利用了深度卷积神经网络在特征提取方面的优势，在公开数据集上不断创造新的记录并取得了很大的发展。此外，在各个计算机视觉会议里也有越来越多的研究者发表与人脸识别有关的论文。因为人脸识别具有广泛的应用领域与巨大的商业价值，学术界与工业界都在不断地探索新的人脸识别技术，近些年来，借助于深度学习与卷积神经网络在计算机视觉领域取得的重大突破，人脸识别算法在各个公开基准数据集上不断刷新纪录并在工业界产生了许多落地产品。
尽管人脸识别技术已经取得很大进步，在真实环境中还面临着许多挑战，如光照、姿态、遮挡、年龄等诸多因素都会影响人脸识别的性能。
发明内容
本发明的目的在于提供一种基于动态间隔损失函数和概率特征的视频人脸识别方法，该方法能够有效地对视频中的人脸进行识别。
为实现上述目的，本发明采用的技术方案是：一种基于动态间隔损失函数和概率特征的视频人脸识别方法，包括以下步骤：
步骤S1：通过人脸识别训练集训练识别网络；
步骤S2：采用已训练的识别网络作为特征提取模块，并通过同一个训练集训练不确定性模块；
步骤S3：利用学习到的不确定性作为特征的重要程度，对输入的视频特征集合进行聚合，得到聚合后的特征；
步骤S4：采用互似然分数对聚合后的特征进行比对，完成最终的识别。
进一步地，所述步骤S1具体包括以下步骤：
步骤S11：从网络上获取公开的人脸识别训练集，并获得训练数据的相关标注；
步骤S12：对人脸识别训练集中的人脸图像采用预训练的RetinaFace人脸检测模型输出人脸包围框和人脸关键点位置，并应用相似变换进行人脸对齐，对所有输入的人脸图像的像素值减去均值，并进行归一化；
步骤S13：采用18层的ResNet作为用于人脸深度特征抽取的网络模型，并将其中第一个7×7的卷积核以3个3×3的卷积核代替；同时，将第一个卷积层的步长设为1，使得最后一个特征图的输出大小保持为7×7；此外，将恒等映射所在路径设为步长为2的平均池化接上步长为1的1×1卷积，以防止信息损失；最后，采用大小为7×7的卷积层代替平均池化层，输出最终的人脸特征xi；
步骤S14：设D＝{d1,d2,...,dN}为测试集中的人脸图像，di为第i张人脸图像，E(·)为用于提取深度特征的深度卷积神经网络模型，xi＝E(di)为第i张人脸图像对应的特征，将深度特征xi与最后一个全连接层W的第j列作点积，得到第j个类别的分数zi,j，并输入到Softmax激活函数中生成分类概率Pi,j，其计算公式如下：
Figure BDA0002407730250000021
其中C为总的类别数量，k为不同类别的下标；
步骤S15：设yi为第i个数据对应的标签，
Figure BDA0002407730250000022
为深度特征xi与对应类别权重向量
Figure BDA0002407730250000023
之间的夹角，采用
Figure BDA0002407730250000024
关于
Figure BDA0002407730250000025
的函数曲线中变化率最大的点作为一个基准点，并将该点与
Figure BDA0002407730250000026
相关联，即当设置了第i个样本的动态间隔参数
Figure BDA0002407730250000027
之后，
Figure BDA0002407730250000028
关于
Figure BDA0002407730250000029
的函数曲线在θm处导数的绝对值达到最大，其中θm为使得函数曲线导数最大的基准点，动态间隔参数
Figure BDA00024077302500000210
的计算公式如下：
Figure BDA00024077302500000211
其中v为对应的缩放参数，用于防止分类概率达不到应有的范围，
Figure BDA00024077302500000212
为除自己类别外，所有其他类别分数的总和；
步骤S16：得到分类概率Pi,j和动态间隔参数
Figure BDA00024077302500000213
之后，使用交叉熵损失函数计算预测得到的分类概率Pi与真实概率Qi之间的差异并得到损失值LCE(xi)，其计算公式如下：
Figure BDA0002407730250000031
然后利用梯度下降与反向传播算法更新网络参数。
进一步地，所述步骤S2具体包括以下步骤：
步骤S21：将步骤S1中训练好的人脸识别模型作为特征抽取模型，在同一个训练数据集上提取每一张人脸图像的深度特征xi，输出对应的最后一个特征图作为不确定性模块的输入；
步骤S22：所述不确定性模块为一个浅层的神经网络模型，其包含两个全连接层，采用Relu作为激活函数，并在全连接层与激活函数之间***批量归一化层用于输入的归一化操作，最后采用指数函数作为激活函数输出每张人脸图像对应的不确定性σi，其与深度特征xi具有相同的维度，表示了特征空间中对应特征的方差；
步骤S23：采用如下的函数计算任意两个样本之间的互似然分数s(xi,xj)：
Figure BDA0002407730250000032
其中
Figure BDA0002407730250000033
和
Figure BDA0002407730250000034
分别表示特征均值μ和特征方差σ的第l个维度上的值，h为人脸特征的维度；
步骤S24：根据一个批次中的人脸图像分布情况，采用如下的函数计算最终的损失Lpair：
Figure BDA0002407730250000035
其中R是所有同一个人的人脸对集合，s(·,·)为互似然分数的计算函数，其用于计算两个人脸对之间的互似然分数，该损失函数的目标是最大化同一个人的所有人脸对之间的互似然分数值。
进一步地，所述步骤S3的具体方法为：
特征抽取网络输出的深度人脸特征xi反映了输入的人脸图像最有可能的特征表示，而不确定性模块的输出σi则表示特征在每一个维度上的不确定性，σi的大小随着图像质量的变化而变化，σi反映了对应深度特征在整个输入视频图像集合中的重要程度，将其作为权重对深度特征xi进行加权融合，融合后的特征ai计算如下：
Figure BDA0002407730250000041
其中M为一个批次中的样本数量；
采用最小不确定性的方法将特征对应的不确定性进行融合，即对集合中所有的不确定性向量，取每一个维度的最小值作为最终的向量。
进一步地，所述步骤S4中，对于输入的特征xi以及对应的不确定性σi，采用互似然分数进行比对，具体包括以下步骤：
步骤S41：将训练好的模型在验证集上进行十折交叉验证，得到最终的平均准确率，并在每一折上对可能的阈值进行遍历，取使得最终准确率最高的阈值作为比对阈值t；
步骤S42：设G＝{g1,g2,...,gM}为数据库中的人脸图像，将一张测试的人脸图像特征xi与G中每个人的人脸图像特征xj做比对，并采用最近邻与阈值法作为判断依据；对数据库G以及测试集D中的人脸图像，用训练好的特征抽取模型以及不确定性模块提取对应的深度特征xi以及相应的不确定性σi，计算互似然分数，若分数大于比对阈值t，则认为是同一个人，反之则认为是不同的人；遍历数据库中每一张图像，即得到最终的识别结果。
与现有技术相比，本发明具有以下有益效果：
1、能够有效地对视频中的人脸进行识别，提升了人脸识别的准确率，并降低了图像质量对人脸识别的影响。
2、能够在模型训练过程中逐渐增强约束，提高特征的泛化性。
3、针对传统基于间隔损失函数中，间隔参数难以选择的问题，提出了基于动态间隔的损失函数。该损失函数不需要对间隔参数进行调参，其能够根据不同的数据集与不同的网络结构自适应地调整间隔大小，以此细粒度地控制每一个样本的梯度大小。此外，其能够随着模型的收敛，在训练过程中逐渐增加约束的强度，使模型能持续接收到有效的梯度并对参数进行更新，从而提升最终特征的判别。
4、针对非受限场景下的人脸识别问题，提出了基于概率特征的学习方法，该方法利用预训练网络学习特征的不确定性，并利用该不确定性对集合特征进行融合，最终采用互似然分数对融合后的特征进行比较，能够有效改善非受限场景下人脸识别的效果。
附图说明
图1是本发明实施例的方法实现流程图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图1所示，本发明提供了一种基于动态间隔损失函数和概率特征的视频人脸识别方法，包括以下步骤：
步骤S1：通过人脸识别训练集训练识别网络。具体包括以下步骤：
步骤S11：从网络上获取公开的人脸识别训练集，并获得训练数据的相关标注。
步骤S12：对人脸识别训练集中的人脸图像采用预训练的RetinaFace人脸检测模型输出人脸包围框和人脸关键点位置，并应用相似变换进行人脸对齐，对所有输入的人脸图像的像素值减去均值127.5，并除以128进行归一化。
步骤S13：采用18层的ResNet作为用于人脸深度特征抽取的网络模型，并将其中第一个7×7的卷积核以3个3×3的卷积核代替；同时，将第一个卷积层的步长由2改为1，使得最后一个特征图的输出大小保持为7×7；此外，将恒等映射所在路径改为步长为2的平均池化接上步长为1的1×1卷积，以防止信息损失；最后，采用大小为7×7的卷积层代替平均池化层，输出最终的人脸特征xi。
步骤S14：设D＝{d1,d2,...,dN}为测试集中的人脸图像，di为第i张人脸图像，E(·)为用于提取深度特征的深度卷积神经网络模型，xi＝E(di)为第i张人脸图像对应的特征，将深度特征xi与最后一个全连接层W的第j列作点积，得到第j个类别的分数zi,j，并输入到Softmax激活函数中生成分类概率Pi,j，其计算公式如下：
Figure BDA0002407730250000061
其中C为总的类别数量，k为不同类别的下标。
步骤S15：设yi为第i个数据对应的标签，
Figure BDA0002407730250000062
为深度特征xi与对应类别权重向量
Figure BDA0002407730250000063
之间的夹角，采用
Figure BDA0002407730250000064
关于
Figure BDA0002407730250000065
的函数曲线中变化率最大的点作为一个基准点，并将该点与
Figure BDA0002407730250000066
相关联，即当设置了第i个样本的动态间隔参数
Figure BDA0002407730250000067
之后，
Figure BDA0002407730250000068
关于
Figure BDA0002407730250000069
的函数曲线在θm处导数的绝对值达到最大，其中θm为使得函数曲线导数最大的基准点，而P(θm)接近0.5，在训练初期，
Figure BDA00024077302500000610
相对较大，为了能够对网络的优化提供合适的约束，我们限制基准点θm的值小于π/4，动态间隔参数
Figure BDA00024077302500000611
的计算公式如下：
Figure BDA00024077302500000612
其中v为对应的缩放参数，用于防止分类概率达不到应有的范围，
Figure BDA00024077302500000613
为除自己类别外，所有其他类别分数的总和，一般可取为总的类别数减去一。
步骤S16：得到分类概率Pi,j和动态间隔参数
Figure BDA00024077302500000614
之后，使用交叉熵损失函数计算预测得到的分类概率Pi与真实概率Qi之间的差异并得到损失值LCE(xi)，其计算公式如下：
Figure BDA00024077302500000615
然后利用梯度下降与反向传播算法更新网络参数。
步骤S2：采用已训练的识别网络作为特征提取模块，并通过同一个训练集训练不确定性模块。具体包括以下步骤：
步骤S21：将步骤S1中训练好的人脸识别模型作为特征抽取模型，在同一个训练数据集上提取每一张人脸图像的深度特征xi，输出对应的最后一个特征图作为不确定性模块的输入。
步骤S22：所述不确定性模块为一个浅层的神经网络模型，其包含两个全连接层，采用Relu作为激活函数，并在全连接层与激活函数之间***批量归一化层用于输入的归一化操作，最后采用指数函数作为激活函数输出每张人脸图像对应的不确定性σi，其与深度特征xi具有相同的维度，表示了特征空间中对应特征的方差。
步骤S23：采用如下的函数计算任意两个样本之间的互似然分数s(xi,xj)：
Figure BDA0002407730250000071
其中
Figure BDA0002407730250000072
和
Figure BDA0002407730250000073
分别表示特征均值μ和特征方差σ的第l个维度上的值，h为人脸特征的维度；从公式中可以看出，若深度特征xi和xj有着很大的不确定性，则互似然分数的值将会很低，而不管其特征之间的距离是多少；只有当两个输入都有很小的不确定性且相应的均值非常靠近，互似然分数的值才会很高。
步骤S24：根据一个批次中的人脸图像分布情况，采用如下的函数计算最终的损失Lpair：
Figure BDA0002407730250000074
其中R是所有同一个人的人脸对集合，s(·,·)为互似然分数的计算函数，其用于计算两个人脸对之间的互似然分数，该损失函数的目标是最大化同一个人的所有人脸对之间的互似然分数值。
步骤S3：利用学习到的不确定性作为特征的重要程度，对输入的视频特征集合进行聚合，得到聚合后的特征。
特征抽取网络输出的深度人脸特征xi反映了输入的人脸图像最有可能的特征表示，而不确定性模块的输出σi则表示特征在每一个维度上的不确定性，σi的大小随着图像质量的变化而变化，σi反映了对应深度特征在整个输入视频图像集合中的重要程度，因此将其作为权重对深度特征xi进行加权融合，融合后的特征ai计算如下：
Figure BDA0002407730250000081
其中M为一个批次中的样本数量；
为了能够在测试阶段对聚合后的特征进行比对，采用最小不确定性的方法将特征对应的不确定性进行融合，即对集合中所有的不确定性向量，取每一个维度的最小值作为最终的向量。
步骤S4：采用互似然分数代替余弦相似度对聚合后的特征进行比对，完成最终的识别。
在测试阶段，对于输入的特征xi以及对应的不确定性σi，采用互似然分数代替余弦相似度进行比对，由于互似然分数同时考虑了输入图像的质量对特征的影响，因此其能够更加有效地抑制较差的图像质量对最终识别结果的影响；其具体包括以下步骤：
步骤S41：相比余弦相似度，互似然分数的取值范围更加广泛，因此对于比对阈值的选取也更加困难。为了能够有效选取比对的阈值，将训练好的模型在验证集上进行十折交叉验证，得到最终的平均准确率，并在每一折上对可能的阈值进行遍历，取使得最终准确率最高的阈值作为比对阈值t。
步骤S42：设G＝{g1,g2,...,gM}为数据库中的人脸图像，将一张测试的人脸图像特征xi与G中每个人的人脸图像特征xj做比对，并采用最近邻与阈值法作为判断依据；对数据库G以及测试集D中的人脸图像，用训练好的特征抽取模型以及不确定性模块提取对应的深度特征xi以及相应的不确定性σi，计算互似然分数，若分数大于比对阈值t，则认为是同一个人，反之则认为是不同的人；遍历数据库中每一张图像，即得到最终的识别结果。
以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (3)

1.一种基于动态间隔损失函数和概率特征的视频人脸识别方法，其特征在于，包括以下步骤：
步骤S1：通过人脸识别训练集训练人脸识别网络模型；
步骤S2：采用已训练的人脸识别网络模型作为特征提取模型，并通过同一个训练集训练不确定性模块；
步骤S3：利用学习到的不确定性作为特征的重要程度，对输入的视频图像集合进行聚合，得到聚合后的特征；
步骤S4：采用互似然分数对聚合后的特征进行比对，完成最终的识别；
所述步骤S1具体包括以下步骤：
步骤S11：从网络上获取公开的人脸识别训练集，并获得训练数据的相关标注；
步骤S12：对人脸识别训练集中的人脸图像采用预训练的RetinaFace人脸检测模型输出人脸包围框和人脸关键点位置，并应用相似变换进行人脸对齐，对所有输入的人脸图像的像素值减去均值，并进行归一化；
步骤S13：采用18层的ResNet作为用于人脸深度特征提取的人脸识别网络模型，并将其中第一个7×7的卷积核以3个3×3的卷积核代替；同时，将第一个卷积层的步长设为1，使得最后一个特征图的输出大小保持为7×7；此外，将恒等映射所在路径设为步长为2的平均池化接上步长为1的1×1卷积，以防止信息损失；最后，采用大小为7×7的卷积层代替平均池化层，输出最终的人脸深度特征xi；
步骤S14：设D＝{d1,d2,...,dN}为训练集中的人脸图像，di为第i张人脸图像，E(·)为用于提取深度特征的人脸识别网络模型，xi＝E(di)为第i张人脸图像对应的深度特征，将深度特征xi与最后一个全连接层W的第j列作点积，得到第j个类别的分数zi,j，并输入到Softmax激活函数中生成分类概率Pi,j，其计算公式如下：
Figure FDA0004036320450000011
其中C为总的类别数量，k为不同类别的下标；
步骤S15：设yi为第i张人脸图像对应的标签，
Figure FDA0004036320450000012
为深度特征xi与对应类别权重向量
Figure FDA0004036320450000013
之间的夹角，采用
Figure FDA0004036320450000014
关于
Figure FDA0004036320450000015
的函数曲线中变化率最大的点作为一个基准点，并将该点与
Figure FDA0004036320450000021
相关联，即当设置了第i张人脸图像的动态间隔参数
Figure FDA0004036320450000022
之后，
Figure FDA0004036320450000023
关于
Figure FDA0004036320450000024
的函数曲线在θm处导数的绝对值达到最大，其中θm为使得函数曲线导数最大的基准点，动态间隔参数
Figure FDA0004036320450000025
的计算公式如下：
Figure FDA0004036320450000026
其中v为对应的缩放参数，用于防止分类概率达不到应有的范围，
Figure FDA0004036320450000027
为除自己类别外，所有其他类别分数的总和；
步骤S16：得到分类概率Pi,j和动态间隔参数
Figure FDA0004036320450000028
之后，使用交叉熵损失函数计算预测得到的分类概率Pi,j与真实概率Qi,j之间的差异并得到损失值LCE(xi)，其计算公式如下：
Figure FDA0004036320450000029
然后利用梯度下降与反向传播算法更新网络参数；
所述步骤S2具体包括以下步骤：
步骤S21：将步骤S1中训练好的人脸识别网络模型作为特征提取模型，在同一个训练集上提取每一张人脸图像的深度特征，输出每一张人脸图像的深度特征对应的最后一个特征图作为不确定性模块的输入；
步骤S22：所述不确定性模块为一个浅层的神经网络模型，其包含两个全连接层，采用Relu作为激活函数，并在全连接层与激活函数之间***批量归一化层用于输入的归一化操作，最后采用指数函数作为激活函数输出每张人脸图像对应的不确定性，其与深度特征具有相同的维度，表示了特征空间中对应特征的方差；
步骤S23：采用如下的函数计算任意两个样本之间的互似然分数s(xi,xb)：
Figure FDA00040363204500000210
其中
Figure FDA00040363204500000211
和
Figure FDA00040363204500000212
分别表示深度特征xi和不确定性σi的第l个维度上的值，h为人脸特征的维度；
步骤S24：根据一个批次中的人脸图像分布情况，采用如下的函数计算最终的损失Lpair：
Figure FDA0004036320450000031
其中R是所有同一个人的人脸对集合，s(·,·)为互似然分数的计算函数，其用于计算两个人脸对之间的互似然分数，该损失函数的目标是最大化同一个人的所有人脸对之间的互似然分数值。
2.根据权利要求1所述的基于动态间隔损失函数和概率特征的视频人脸识别方法，其特征在于，所述步骤S3的具体方法为：
人脸识别网络模型输出的深度特征xk反映了输入的人脸图像最有可能的特征表示，而不确定性模块的输出σk则表示特征在每一个维度上的不确定性，σk的大小随着图像质量的变化而变化，σk反映了对应深度特征在整个输入视频图像集合中的重要程度，将其作为权重对深度特征xk进行加权聚合，聚合后的特征af计算如下：
Figure FDA0004036320450000032
其中M为一个批次中的样本数量；
采用最小不确定性的方法将特征对应的不确定性进行聚合，即对集合中所有的不确定性向量，取每一个维度的最小值作为最终的向量。
3.根据权利要求2所述的基于动态间隔损失函数和概率特征的视频人脸识别方法，其特征在于，所述步骤S4具体包括以下步骤：
步骤S41：将训练好的模型在验证集上进行十折交叉验证，得到最终的平均准确率，并在每一折上对可能的阈值进行遍历，取使得最终准确率最高的阈值作为比对阈值t；
步骤S42：设G＝{g1,g2,...,gZ}为数据库中的人脸图像，将一张测试的人脸深度特征与G中每个人的人脸深度特征做比对，并采用最近邻与阈值法作为判断依据；对数据库G以及测试集D中的人脸图像，用训练好的特征提取模型以及不确定性模块提取对应的深度特征以及相应的不确定性，计算聚合后的特征的互似然分数，若分数大于比对阈值t，则认为是同一个人，反之则认为是不同的人；遍历数据库中每一张图像，即得到最终的识别结果。
CN202010166807.8A 2020-03-11 2020-03-11 基于动态间隔损失函数和概率特征的视频人脸识别方法 Active CN111339988B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010166807.8A CN111339988B (zh) 2020-03-11 2020-03-11 基于动态间隔损失函数和概率特征的视频人脸识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010166807.8A CN111339988B (zh) 2020-03-11 2020-03-11 基于动态间隔损失函数和概率特征的视频人脸识别方法

Publications (2)

Publication Number Publication Date
CN111339988A CN111339988A (zh) 2020-06-26
CN111339988B true CN111339988B (zh) 2023-04-07

Family

ID=71182200

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010166807.8A Active CN111339988B (zh) 2020-03-11 2020-03-11 基于动态间隔损失函数和概率特征的视频人脸识别方法

Country Status (1)

Country Link
CN (1) CN111339988B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112116547A (zh) * 2020-08-19 2020-12-22 南京航空航天大学 一种用于无约束视频人脸识别的特征图聚合方法
CN112906810B (zh) * 2021-03-08 2024-04-16 共达地创新技术(深圳)有限公司 目标检测方法、电子设备和存储介质
CN113033345B (zh) * 2021-03-10 2024-02-20 南京航空航天大学 基于公共特征子空间的v2v视频人脸识别方法
CN113378660B (zh) * 2021-05-25 2023-11-07 广州紫为云科技有限公司 一种低数据成本的人脸识别的方法及装置
CN113239866B (zh) * 2021-05-31 2022-12-13 西安电子科技大学 一种时空特征融合与样本注意增强的人脸识别方法及***
CN113205082B (zh) * 2021-06-22 2021-10-15 中国科学院自动化研究所 基于采集不确定性解耦的鲁棒虹膜识别方法
CN113688708A (zh) * 2021-08-12 2021-11-23 北京数美时代科技有限公司 一种基于概率特征的人脸识别方法、***及存储介质
CN113705647B (zh) * 2021-08-19 2023-04-28 电子科技大学 一种基于动态间隔的双重语义特征提取方法
CN113792701A (zh) * 2021-09-24 2021-12-14 北京市商汤科技开发有限公司 一种活体检测方法、装置、计算机设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107103281A (zh) * 2017-03-10 2017-08-29 中山大学 基于聚集损失深度度量学习的人脸识别方法
CN109815801A (zh) * 2018-12-18 2019-05-28 北京英索科技发展有限公司 基于深度学习的人脸识别方法及装置
WO2020029356A1 (zh) * 2018-08-08 2020-02-13 杰创智能科技股份有限公司 一种基于生成对抗网络的脸部变化预测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107103281A (zh) * 2017-03-10 2017-08-29 中山大学 基于聚集损失深度度量学习的人脸识别方法
WO2020029356A1 (zh) * 2018-08-08 2020-02-13 杰创智能科技股份有限公司 一种基于生成对抗网络的脸部变化预测方法
CN109815801A (zh) * 2018-12-18 2019-05-28 北京英索科技发展有限公司 基于深度学习的人脸识别方法及装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Learning Expressionlets via Universal Manifold Model for Dynamic Facial Expression Recognition;Mengyi Liu et al.;《 IEEE Transactions on Image Processing》;20161005;第25卷(第12期);全文 *
基于改进型加性余弦间隔损失函数的深度学***等;《传感技术学报》;20191231(第12期);全文 *
基于视频场景深度学习的人物语义识别模型;高翔等;《计算机技术与发展》;20180207(第06期);全文 *
基于附加间隔Softmax特征的人脸聚类算法;王锟朋等;《计算机应用与软件》;20200212(第02期);全文 *
支持向量机在机器学习中的应用研究;罗瑜;《中国优秀博硕士学位论文全文数据库(博士)信息科技辑》;20080615(第06期);全文 *

Also Published As

Publication number Publication date
CN111339988A (zh) 2020-06-26

Similar Documents

Publication Publication Date Title
CN111339988B (zh) 基于动态间隔损失函数和概率特征的视频人脸识别方法
US7295687B2 (en) Face recognition method using artificial neural network and apparatus thereof
CN108647583B (zh) 一种基于多目标学习的人脸识别算法训练方法
CN109711254B (zh) 基于对抗生成网络的图像处理方法和装置
CN106372581B (zh) 构建及训练人脸识别特征提取网络的方法
CN103605972B (zh) 一种基于分块深度神经网络的非限制环境人脸验证方法
CN105138973B (zh) 人脸认证的方法和装置
Vignolo et al. Feature selection for face recognition based on multi-objective evolutionary wrappers
CN106295694B (zh) 一种迭代重约束组稀疏表示分类的人脸识别方法
CN108427921A (zh) 一种基于卷积神经网络的人脸识别方法
CN101464950B (zh) 基于在线学习和贝叶斯推理的视频人脸识别与检索方法
JP2017517076A (ja) 顔認証方法およびシステム
KR102036957B1 (ko) 딥 러닝 기반의 데이터특징을 이용한 도시영상의 안전도 분류방법
CN108520213B (zh) 一种基于多尺度深度的人脸美丽预测方法
CN110097029B (zh) 基于Highway网络多视角步态识别的身份认证方法
CN112800876A (zh) 一种用于重识别的超球面特征嵌入方法及***
CN102867191A (zh) 一种基于流形子空间学习的降维方法
CN109726703B (zh) 一种基于改进集成学习策略的人脸图像年龄识别方法
CN112232395B (zh) 一种基于联合训练生成对抗网络的半监督图像分类方法
CN112084895A (zh) 一种基于深度学习的行人重识别方法
CN108229432A (zh) 人脸标定方法及装置
Zuobin et al. Feature regrouping for cca-based feature fusion and extraction through normalized cut
Wang et al. Occluded person re-identification via defending against attacks from obstacles
CN109543637A (zh) 一种人脸识别方法、装置、设备以及可读存储介质
Cheng et al. Student action recognition based on deep convolutional generative adversarial network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant