CN114783019A - 人脸特征提取方法、装置、设备及存储介质 - Google Patents
人脸特征提取方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN114783019A CN114783019A CN202210316045.4A CN202210316045A CN114783019A CN 114783019 A CN114783019 A CN 114783019A CN 202210316045 A CN202210316045 A CN 202210316045A CN 114783019 A CN114783019 A CN 114783019A
- Authority
- CN
- China
- Prior art keywords
- feature
- face
- attention
- network
- factor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 86
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000007499 fusion processing Methods 0.000 claims description 20
- 230000001815 facial effect Effects 0.000 claims description 14
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 210000000887 face Anatomy 0.000 description 16
- 230000008569 process Effects 0.000 description 8
- 239000000284 extract Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 210000001508 eye Anatomy 0.000 description 3
- 238000010521 absorption reaction Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及人工智能技术领域，公开了一种人脸特征提取方法、装置、设备及存储介质，用于提高人脸特征提取的准确性。方法包括：获取包含有人脸的目标图像；将目标图像输入至预先训练完成的人脸特征提取模型中；其中，该人脸特征提取模型包括特征网络和注意力网络；通过特征网络输出目标图像中人脸的初始人脸特征；通过注意力网络输出目标图像中的注意力特征；其中，该注意力网络为预设的教师网络的学生网络；注意力网络基于教师网络训练得到；注意力特征用于指示初始人脸特征中特征因子的重要程度；基于注意力特征处理初始人脸特征，得到目标图像中人脸的最终人脸特征。此外，本发明还涉及区块链技术，人脸特征提取的数据可存储于区块链节点中。
Description
技术领域
本发明涉及人工智能领域，尤其涉及一种人脸特征提取方法、装置、设备及存储介质。
背景技术
注意力Attention机制最早在NLP(Neuro-Linguistic Programming神经语言程序学)领域中被提出，基于Attention机制的转换器Transformer结构近年在NLP的各项任务上大放异彩。在视觉任务中，Attention机制也受到了很多的关注，比较有名的方法包括Non-Local Network(非本地网络)，能够在时空 Volume中对全局的关系进行建模，获得了很好的效果。但视觉任务中的自注意力Self-attention模块通常需要进行大矩阵的矩阵乘法，显存占用大且比较耗时。目前在人脸识别或人脸追踪中会遇到下述几个问题：大尺度侧脸，光线明暗，背景(如衣服，墙壁等)，遮挡，即使可以通过特征提取来达到特征距离相似，但是随着不同的环境的变化，这个相似的阈值是随机可变的，导致特征的准确性不稳定；如果单纯的从CNN(Convolutional Neural Networks，卷积神经网络)提取特征，势必会带入非常多的噪声，单纯的数据增广又不能涵盖任意的情况。
发明内容
本发明提供了一种人脸特征提取方法、装置、设备及存储介质，用于提高人脸特征提取的准确性。
为实现上述目的，本发明第一方面提供了一种人脸特征提取方法，包括：获取包含有人脸的目标图像；将目标图像输入至预先训练完成的人脸特征提取模型中；其中，人脸特征提取模型包括特征网络和注意力网络；通过特征网络输出目标图像中人脸的初始人脸特征；通过注意力网络输出目标图像中的注意力特征；其中，该注意力网络为预设的教师网络的学生网络；注意力网络基于教师网络训练得到；注意力特征用于指示初始人脸特征中特征因子的重要程度；基于注意力特征处理初始人脸特征，得到目标图像中人脸的最终人脸特征。
可选的，在本发明第一方面的第一种实现方式中，注意力特征的特征维度与初始人脸特征的特征维度的维度数量相同；基于所述注意力特征处理初始人脸特征，得到目标图像中人脸的最终人脸特征的步骤，包括：将初始人脸特征和注意力特征中，特征维度相同的特征数据进行融合处理，得到目标图像中人脸的最终人脸特征。
可选的，在本发明第一方面的第二种实现方式中，初始人脸特征中包括多个特征因子的初始因子值；注意力特征中包括每个特征因子的权重；将初始人脸特征和所述注意力特征中，特征维度相同的特征数据进行融合处理，得到目标图像中人脸的最终人脸特征的步骤，包括：针对初始人脸特征中的每个特征因子，从注意力特征中提取特征因子的权重，将特征因子的初始因子值乘以权重，得到特征因子的最终因子值；将每个特征因子的最终因子值，确定为目标图像中人脸的最终人脸特征。
可选的，在本发明第一方面的第三种实现方式中，初始人脸特征中包括多个特征因子的初始因子值；注意力特征中包括每个特征因子的指示值；将初始人脸特征和所述注意力特征中，特征维度相同的特征数据进行融合处理，得到目标图像中人脸的最终人脸特征的步骤，包括：针对初始人脸特征中的每个特征因子，从注意力特征中提取特征因子的指示值，如果指示值为预设的第一值，将特征因子的初始因子值确定为特征因子的最终因子值；如果指示值为预设的第二值，删除特征因子以及特征因子的因子值；将剩余的特征因子的最终因子值，确定为目标图像中人脸的最终人脸特征。
可选的，在本发明第一方面的第四种实现方式中，注意力网络具体通过下述方式训练得到：获取包含有人脸的样本图像组；其中，样本图像组包括多张图像，多张图像中的人脸相同，多张图像中人脸的拍摄角度不同；提取样本图像组中第一图像的第一图像特征，将第一图像输入至预设的教师网络，输出第一注意力特征；基于第一图像特征和第一注意力特征得到第一输出结果；提取样本图像组中第二图像的第二图像特征，将第二图像输入至预设的学生网络，输出第二注意力特征；基于第二图像特征和第二注意力特征得到第二输出结果；基于第一输出结果和第二输出结果计算损失值，基于损失值训练学生网络，直至损失值收敛，将损失值收敛时的学生网络确定为注意力网络。
可选的，在本发明第一方面的第五种实现方式中，上述基于第一图像特征和第一注意力特征得到第一输出结果的步骤，包括：将第一图像特征和第一注意力特征中，相同位置上的特征值进行特征融合处理，得到第一输出结果；上述基于第二图像特征和第二注意力特征得到第二输出结果的步骤，包括：将第二图像特征和第二注意力特征中，相同位置上的特征值进行特征融合处理，得到第二输出结果。
可选的，在本发明第一方面的第六种实现方式中，基于第一输出结果和第二输出结果计算损失值，基于该损失值训练学生网络，直至损失值收敛的步骤，包括：基于第一输出结果和第二输出结果计算损失值；基于该损失值分别更新学生网络和教师网络的网络参数；继续执行获取包含有人脸的样本图像组的步骤，直至所述损失值收敛。
本发明第二方面提供了一种人脸特征提取装置，包括获取模块，用于获取包含有人脸的目标图像；输入模块，将目标图像输入至预先训练完成的人脸特征提取模型中；其中，人脸特征提取模型包括特征网络和注意力网络；第一输出模块，用于通过特征网络输出目标图像中人脸的初始人脸特征；第二输出模块，用于通过注意力网络输出目标图像中的注意力特征；其中，注意力网络为预设的教师网络的学生网络；注意力网络基于教师网络训练得到；注意力特征用于指示初始人脸特征中特征因子的重要程度；获得模块，用于基于注意力特征处理初始人脸特征，得到目标图像中人脸的最终人脸特征。
可选的，在本发明第二方面的第一种实现方式中，上述注意力特征的特征维度与初始人脸特征的特征维度的维度数量相同；上述获得模块具体用于：将初始人脸特征和注意力特征中，特征维度相同的特征数据进行融合处理，得到目标图像中人脸的最终人脸特征。
可选的，在本发明第二方面的第二种实现方式中，上述初始人脸特征中包括多个特征因子的初始因子值；上述注意力特征中包括每个特征因子的权重；上述获得模块具体还用于：针对上述初始人脸特征中的每个特征因子，从注意力特征中提取特征因子的权重，将特征因子的初始因子值乘以权重，得到特征因子的最终因子值；将每个特征因子的最终因子值，确定为目标图像中人脸的最终人脸特征。
可选的，在本发明第二方面的第三种实现方式中，上述初始人脸特征中包括多个特征因子的初始因子值；上述注意力特征中包括每个特征因子的指示值；上述获得模块具体还用于：针对上述初始人脸特征中的每个特征因子，从注意力特征中提取所述特征因子的指示值，如果指示值为预设的第一值，将特征因子的初始因子值确定为特征因子的最终因子值；如果指示值为预设的第二值，删除特征因子以及特征因子的因子值；将剩余的特征因子的最终因子值，确定为目标图像中人脸的最终人脸特征。
可选的，在本发明第二方面的第四种实现方式中，上述装置还包括训练模块，用于：获取包含有人脸的样本图像组；其中，该样本图像组包括多张图像，多张图像中的人脸相同，多张图像中人脸的拍摄角度不同；提取样本图像组中第一图像的第一图像特征，将第一图像输入至预设的教师网络，输出第一注意力特征；基于第一图像特征和第一注意力特征得到第一输出结果；提取样本图像组中第二图像的第二图像特征，将第二图像输入至预设的学生网络，输出第二注意力特征；基于第二图像特征和第二注意力特征得到第二输出结果；基于第一输出结果和第二输出结果计算损失值，基于损失值训练学生网络，直至损失值收敛，将损失值收敛时的学生网络确定为注意力网络。
可选的，在本发明第二方面的第五种实现方式中，上述训练模块具体还用于：将所述第一图像特征和所述第一注意力特征中，相同位置上的特征值进行特征融合处理，得到第一输出结果；将所述第二图像特征和所述第二注意力特征中，相同位置上的特征值进行特征融合处理，得到第二输出结果。
可选的，在本发明第二方面的第六种实现方式中，上述训练模块具体还用于：基于第一输出结果和第二输出结果计算损失值；基于损失值分别更新学生网络和教师网络的网络参数；继续执行获取包含有人脸的样本图像组的步骤，直至损失值收敛。
本发明第三方面提供了一种人脸特征提取设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得人脸特征提取设备执行上述的人脸特征提取方法。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的人脸特征提取方法。
本发明提供的技术方案中，获取包含有人脸的目标图像；将该目标图像输入至预先训练完成的人脸特征提取模型中；其中，该人脸特征提取模型包括特征网络和注意力网络；通过特征网络输出目标图像中人脸的初始人脸特征；通过注意力网络输出目标图像中的注意力特征；其中，注意力网络为预设的教师网络的学生网络；注意力网络基于教师网络训练得到；注意力特征用于指示初始人脸特征中特征因子的重要程度；基于注意力特征处理初始人脸特征，得到目标图像中人脸的最终人脸特征。该方式中，人脸特征提取模型不仅提取初始人脸特征，还输出针对人脸特征的注意力特征，该注意力特征用于指示人脸特征中各个特征因子的重要程度，从而突出人脸特征中的重要特征，弱化不重要的特征，提高了人脸特征提取的准确性，可以适用于多种场景中的人脸特征提取和人脸识别，使人脸识别准确度较高。
附图说明
图1为本发明实施例中人脸特征提取方法的一个实施例示意图；
图2为本发明实施例中人脸特征提取方法的另一个实施例示意图；
图3为本发明实施例中人脸特征提取装置的一个实施例示意图；
图4为本发明实施例中人脸特征提取设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种人脸特征提取方法、装置、设备及存储介质，用于提高人脸特征提取的准确性。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中人脸特征提取方法的一个实施例包括：
100、获取包含有人脸的目标图像；
人脸识别技术在生活、工作和学习等领域的应用越来越多。
人脸特征提取是人脸识别技术中最基本的问题之一，人脸特征提取不但从原始模式信息中提取出最有利于模式分类的特征，而且极大地降低模式样本的维数，人脸特征提取是模式识别的前期工作，对后期人脸识别的成果有很大的影响。
在人脸特征提取过程中，首先需要获取包含人脸的目标图像。由于人脸识别技术应用的领域广泛，上述目标图像可以是在不同场景下获取的包括多张人脸的图像，也可以是针对某一目标人物在不同状态下的图像。
具体的，上述目标图像中至少包括一个人脸，实际实现时，若需要确定目标人脸，一种方式中，可以根据人脸在图像中所占比例确定目标人脸，例如，图像中出现多个人脸时，确定图像中所占比例较大的为目标人脸。另一种方式中，可以根据人脸在图像中所处位置确定目标人脸，例如，图像中出现多个人脸时，确定处在图像中央位置或者接近中央位置的人脸为目标人脸，或者，可以人工或智能选择目标人脸。
101、将目标图像输入至预先训练完成的人脸特征提取模型中；其中，所述人脸特征提取模型包括特征网络和注意力网络；
获取模块获取上述目标图像后，将该目标图像输入至预先训练完成的人脸特征提取模型中，该人脸特征提取模型包括特征网络和注意力网络，本发明实施例中，特征网络具体可以用于提取目标图像中人脸的初始人脸特征，该初始人脸特征可以包括多个特征因子，以及每个特征因子的取值，注意力网络具体可以用来指示上述初始人脸特征中特征因子的重要程度。基于此，可以筛选并排除上述初始人脸特征中一些不重要的特征，进而提高人脸重要特征的提取。
102、通过特征网络输出目标图像中人脸的初始人脸特征；
实际实现时，人脸识别模型中的特征网络提取目标图像中人脸的初始人脸特征后，输出初始人脸特征，该初始人脸特征可以通过特征因子来表示。上述初始人脸特征包括面部本身的特征，例如：特定部位(眼睛、鼻子和嘴巴等)和整体的特征信息，另外，上述初始人脸特征还包括在目标图像中的拍摄角度下以及人物所处的情绪状态下的面部表情特征。
103、通过注意力网络输出目标图像中的注意力特征；其中，注意力网络为预设的教师网络的学生网络；所述注意力网络基于所述教师网络训练得到；所述注意力特征用于指示所述初始人脸特征中特征因子的重要程度；
实际实现时，人脸识别模型中的注意力网络提取目标图像中人脸的注意力特征后，输出注意力特征，该注意力特征用于指示上述初始人脸特征中各个特征的重要程度。在一可选的方式中，本发明的人脸特征提取方法，可以应用于智能教学辅助***，用于帮助教师更好的判断学生的学习状态、知识点吸收情况等。上述注意力网络为预设的教师网络的学生网络，具体的，注意力网络是基于教师网络训练得到的。
目标图像输入至预先训练完成的人脸特征提取模型之后，经过该人脸特征提取模型处理，可以输出目标图像中人脸的初始人脸特征和目标图像的注意力特征。可选的，在人脸特征提取模型中，通过特征网络计算并输出目标图像中人脸的初始人脸特征，通过注意力网络计算并输出目标图像中的注意力特征，其中，上述初始人脸特征可以反映人脸的基本特征信息，例如鼻子、眼睛等部位之间的几何特征以及面部表情特征等。其中，上述基本特征信息通过特征因子来表示，上述注意力特征用来指示初始人脸特征中特征因子的重要程度。
在实际实现时，目标图像的获取场景具有多样性，获取目标图像时，人的状态也具有多样性，会导致上述初始人脸特征也不相同，在通过提取人脸特征来实现特征距离相似的目的时，本实施例引入注意力特征来稳固人脸特征的准确性，维持阈值的稳定性，具有较好的鲁棒性，还可以获取精度更高的人脸特征，并且使用场景更广。
本发明实施例应用于智能教学辅助***时，可以更好地帮助教师判断学生的学习状态、知识点吸收情况等相关信息，使教师在教学过程中实时了解每个学生的学习情况，及时采取相应的措施帮助学生更好地学习。
104、基于注意力特征处理初始人脸特征，得到目标图像中人脸的最终人脸特征。
具体的，基于上述注意力特征中指示的初始人脸特征中特征因子的重要程度，可以更有针对性对初始人脸特征进行处理，进而得到目标图像中人脸的最终人脸特征。通过该最终人脸特征可以实现对多种场景下获取的目标图像进行人脸识别。
本步骤在初始人脸特征的基础上增加并存储注意力特征，可以压缩部分特征存储，同时提高了人脸特征的精确度。
本发明实施例中，获取包含有人脸的目标图像；将目标图像输入至预先训练完成的人脸特征提取模型中；其中，该人脸特征提取模型包括特征网络和注意力网络；通过特征网络输出目标图像中人脸的初始人脸特征；通过注意力网络输出目标图像中的注意力特征；其中，注意力网络为预设的教师网络的学生网络；注意力网络基于教师网络训练得到；注意力特征用于指示初始人脸特征中特征因子的重要程度；基于注意力特征处理初始人脸特征，得到目标图像中人脸的最终人脸特征。该方式中，人脸特征提取模型不仅提取初始人脸特征，还输出针对人脸特征的注意力特征，该注意力特征用于指示人脸特征中各个特征因子的重要程度，从而突出人脸特征中的重要特征，弱化不重要的特征，提高了人脸特征提取的准确性，可以适用于多种场景中的人脸特征提取和人脸识别，使人脸识别准确度较高。
在一可选的方式中，注意力特征的特征维度与初始人脸特征的特征维度的维度数量相同，将初始人脸特征和注意力特征中，特征维度相同的特征数据进行融合处理，得到目标图像中人脸的最终人脸特征，可参阅图2。
本实施例中，步骤200-203与上述步骤100-103相同，在此不在赘述。
204、将初始人脸特征和注意力特征中，特征维度相同的特征数据进行融合处理，得到目标图像中人脸的最终人脸特征。
实际实现时，人脸特征具有多个维度，每个维度可以通过一特征向量来表示，上述注意力特征与初始人脸特征也具有多个维度，并且维度数量相同。针对特征维度相同的特征数据进行融合，可以加强目标图像中的特征信息，进而得到目标图像中人脸的最终人脸特征，该最终人脸特征是去除噪声的特征，即，去除妨碍感觉器官对所接收的信源信息理解的因素。基于此，人脸特征提取模型可以更好地对目标图像进行分析，通过引入注意力特征，能够更有针对性的提取目标图像中人脸在不同状态下重要特征位置，从而实现压缩重要特征以及去除噪音干扰的目的。
可选的，初始人脸特征中包括多个特征因子的初始因子值；注意力特征中包括每个特征因子的权重；针对初始人脸特征中的每个特征因子，从注意力特征中提取特征因子的权重，将特征因子的初始因子值乘以权重，得到特征因子的最终因子值；将每个特征因子的最终因子值，确定为目标图像中人脸的最终人脸特征。
可以理解的是，每个人脸都有其独特的特征，同一张人脸在不同的光线、不同的角度会呈现不同的特征。人脸特征包括人脸的关键点信息，例如：眼睛、鼻子和嘴等面部特征之间的几何关系，该关键点信息可以用于人脸相似度比对、人脸辨认等方面。由于目标图像的获取场景具有多样性，获取目标图像时，人的状态也具有多样性，为了更加准确的表达人脸特征，在目标图像中的每个维度特征可以通过特征因子的初始因子值来表达，当影响人脸特征的因素发生变化时，例如：光照变化或者人脸有外物遮挡，以及人脸的面部表情发生变化等等，上述特征因子的初始因子值也会发生相应的改变以准确反应人脸特征，使得不同人脸的特征因子差距尽可能大，同一张人脸的特征因子差距尽可能小。
在实际实现时，针对初始人脸特征中的每个特征因子，从注意力特征中提取特征因子的权重，通过将特征因子的初始因子值与上述权重做乘积处理，得到特征因子的最终因子值。进一步地，将每个特征因子的最终因子值确定为目标图像中人脸的最终人脸特征。基于此，注意力特征通过一层新的权重，将上述目标图像中的关键特征识别并标记出来，让网络学习到每一张目标图像中需要更多关注的区域，实现不同人脸的特征差距尽可能大，同一人脸的特征差距尽可能小，此外，还可以更加灵敏地捕捉人脸的情绪变化。
可选的，初始人脸特征中包括多个特征因子的初始因子值；注意力特征中包括每个特征因子的指示值；针对初始人脸特征中的每个特征因子，从注意力特征中提取特征因子的指示值，如果指示值为预设的第一值，将特征因子的初始因子值确定为特征因子的最终因子值；如果指示值为预设的第二值，删除特征因子以及特征因子的因子值；将剩余的特征因子的最终因子值，确定为目标图像中人脸的最终人脸特征。
进一步地，上述注意力特征中还包括每个特征因子的指示值，该指示值用于指示特征因子的初始因子值是否具有特征价值，预先设置有第一值和第二值，针对上述初始人脸特征中的每个特征因子，从注意力特征中提取上述特征因子的指示值，如果某一特征因子对应的指示值为预设的第一值，则表明该特征因子可以准确表达该特征，并且具有特征价值，进而将该特征因子的初始因子值确定为特征因子的最终因子值；如果某一特征因子对应的指示值为预设的第二值，则表明不需要该特征因子，即，该特征因子不具有特征价值，进而删除该特征因子以及特征因子的因子值；将剩余的特征因子的最终因子值，确定为目标图像中人脸的最终人脸特征。基于此，可以筛选出不需要的特征，进而压缩部分特征存储，减轻***的压力，使得画面反应更快更流畅。
通过采用本步骤，可以针对同一人脸在各种不同场景下的训练，学习提取该人脸在不同状态下重要特征位置，以解决由人脸肤色、表情等因素引起的人脸模式可变性问题。
可选的，注意力网络具体通过下述方式训练得到：获取包含有人脸的样本图像组；其中，样本图像组包括多张图像，多张图像中的人脸相同，多张图像中人脸的拍摄角度不同；提取样本图像组中第一图像的第一图像特征，将第一图像输入至预设的教师网络，输出第一注意力特征；基于第一图像特征和第一注意力特征得到第一输出结果；提取样本图像组中第二图像的第二图像特征，将第二图像输入至预设的学生网络，输出第二注意力特征；基于第二图像特征和第二注意力特征得到第二输出结果；基于第一输出结果和第二输出结果计算损失值，基于损失值训练学生网络，直至损失值收敛，将损失值收敛时的学生网络确定为注意力网络。
具体的，上述注意力网络通过下述方式训练得到：
首先，获取包含有人脸的样本图像组，该样本图像组中包括多张图像，可选的，多张图像中的人脸相同，但是拍摄角度不同，可以理解的是，同一张人脸在不同拍摄角度下，提取的特征数据不同。
其次，提取样本图像组中第一图像的第一图像特征，将第一图像输入至预设的教师网络，输出预测值第一注意力特征，其中，第一图像特征为在第一图像中的拍摄角度下的人脸特征，第一注意力特征用于指示第一图像特征中特征因子的重要程度，将上述第一图像特征和第一注意力特征融合，具体的，将第一图像特征和第一注意力特征中维度相同的数据进行组合，使得第一图像特征中的重要特征更加明显，去掉不重要特征，可以得到第一输出结果；
然后，提取样本图像组中第二图像的第二图像特征，将第二图像输入至预设的学生网络，输出预测值第二注意力特征，其中，第二图像特征为在第二图像中的拍摄角度下的人脸特征，第二注意力特征用于指示第二图像特征中特征因子的重要程度，将上述第二图像特征和第二注意力特征融合，具体的，将第二图像特征和第二注意力特征中维度相同的数据进行组合，使得第二图像特征中的重要特征更加明显，去掉不重要特征，可以得到第二输出结果；
最后，基于上述第一输出结果和第二输出结果计算损失值，该损失值可以有多种实现方式，例如：Cross Entropy Loss函数(交叉熵函数)、Contrastive Loss函数(对比损失函数)等，重复上述步骤，直至损失值收敛，此时第一输出结果和第二输出结果与期望阈值相近，将损失值收敛时的学生网络确定为注意力网络。
通过采用本步骤，可以维持相似阈值的稳定性，很好地解决在人脸识别过程中由于拍摄角度不同、光照强度以及背景(衣服、墙壁等)、遮挡等因素导致相似阈值随机变化的问题，此外，还可以压缩部分特征存储。
可选的，将第一图像特征和第一注意力特征中，相同位置上的特征值进行特征融合处理，得到第一输出结果；将第二图像特征和第二注意力特征中，相同位置上的特征值进行特征融合处理，得到第二输出结果。
实际实现时，通过第一图像特征可以使计算机学习到第一图像中初始人脸特征，然后结合预设的教师网络输出的第一图像的第一注意力特征，将第一图像中相同位置上的第一图像特征和第一注意力特征的特征值进行组合，得到第一输出结果，通过第二图像特征可以使计算机学习到第二图像中初始人脸特征，然后结合预设的教师网络输出的第二图像的第二注意力特征，将第二图像中相同位置上的第二图像特征和第二注意力特征的特征值进行组合，得到第二输出结果。基于此，可以使计算机学习到上述初始人脸特征中重要的特征，提高了人脸重要特征的提取。
进一步地，基于第一输出结果和第二输出结果计算损失值；基于损失值分别更新学生网络和教师网络的网络参数；继续执行获取包含有人脸的样本图像组的步骤，直至损失值收敛。
具体的，上述基于第一输出结果和第二输出结果计算损失值，即，接收预设的教师网络和学生网络的预测值，然后计算预测值与真实值之间的差值，再根据上述损失值分别更新学生网络和教师网络的网络参数，使得预测值与真实值之间的差值无限小，预测值接近于真实值。针对同一个人脸的多个拍摄角度下的图像以及不同人脸的多个拍摄角度下的图像等情形，继续执行上述获取包含有人脸的样本图像组的步骤，直至损失值收敛。基于此，可以获得上述人脸特征提取模型中的注意力网络，并且该注意力网络可以输出用于指示初始人脸特征中特征因子重要程度的注意力特征。
上面对本发明实施例中人脸特征提取方法进行了描述，下面对本发明实施例中人脸特征提取装置进行描述，请参阅图3，本发明实施例中人脸特征提取装置的一个实施例包括：
获取模块300，用于获取包含有人脸的目标图像；
输入模块301，用于将目标图像输入至预先训练完成的人脸特征提取模型中；其中，人脸特征提取模型包括特征网络和注意力网络；
第一输出模块302，用于通过特征网络输出目标图像中人脸的初始人脸特征；
第二输出模块303，用于通过注意力网络输出目标图像中的注意力特征；其中，注意力网络为预设的教师网络的学生网络；注意力网络基于教师网络训练得到；注意力特征用于指示初始人脸特征中特征因子的重要程度；
获得模块304，用于基于注意力特征处理初始人脸特征，得到目标图像中人脸的最终人脸特征。
本发明实施例中，获取包含有人脸的目标图像；将目标图像输入至预先训练完成的人脸特征提取模型中；其中，该人脸特征提取模型包括特征网络和注意力网络；通过特征网络输出目标图像中人脸的初始人脸特征；通过注意力网络输出目标图像中的注意力特征；其中，注意力网络为预设的教师网络的学生网络；注意力网络基于教师网络训练得到；注意力特征用于指示初始人脸特征中特征因子的重要程度；基于注意力特征处理初始人脸特征，得到目标图像中人脸的最终人脸特征。该方式中，人脸特征提取模型不仅提取初始人脸特征，还输出针对人脸特征的注意力特征，该注意力特征用于指示人脸特征中各个特征因子的重要程度，从而突出人脸特征中的重要特征，弱化不重要的特征，提高了人脸特征提取的准确性，可以适用于多种场景中的人脸特征提取和人脸识别，使人脸识别准确度较高。
上述注意力特征的特征维度与初始人脸特征的特征维度的维度数量相同；可选的，获得模块304还可以具体用于：
将初始人脸特征和注意力特征中，特征维度相同的特征数据进行融合处理，得到目标图像中人脸的最终人脸特征。
上述初始人脸特征中包括多个特征因子的初始因子值；上述注意力特征中包括每个特征因子的权重；可选的，上述获得模块304还可以具体还用于：
针对上述初始人脸特征中的每个特征因子，从注意力特征中提取特征因子的权重，将特征因子的初始因子值乘以权重，得到特征因子的最终因子值；将每个特征因子的最终因子值，确定为目标图像中人脸的最终人脸特征。
上述初始人脸特征中包括多个特征因子的初始因子值；上述注意力特征中包括每个特征因子的指示值；可选的，上述获得模块304还可以具体还用于：
针对上述初始人脸特征中的每个特征因子，从注意力特征中提取所述特征因子的指示值，如果指示值为预设的第一值，将特征因子的初始因子值确定为特征因子的最终因子值；如果指示值为预设的第二值，删除特征因子以及特征因子的因子值；将剩余的特征因子的最终因子值，确定为目标图像中人脸的最终人脸特征。
可选的，上述装置还包括训练模块，用于：获取包含有人脸的样本图像组；其中，该样本图像组包括多张图像，多张图像中的人脸相同，多张图像中人脸的拍摄角度不同；提取样本图像组中第一图像的第一图像特征，将第一图像输入至预设的教师网络，输出第一注意力特征；基于第一图像特征和第一注意力特征得到第一输出结果；提取样本图像组中第二图像的第二图像特征，将第二图像输入至预设的学生网络，输出第二注意力特征；基于第二图像特征和第二注意力特征得到第二输出结果；基于第一输出结果和第二输出结果计算损失值，基于损失值训练学生网络，直至损失值收敛，将损失值收敛时的学生网络确定为注意力网络。
可选的，上述训练模块还可以具体还用于：
将第一图像特征和第一注意力特征中，相同位置上的特征值进行特征融合处理，得到第一输出结果；上述基于第二图像特征和第二注意力特征得到第二输出结果的步骤，包括：将第二图像特征和第二注意力特征中，相同位置上的特征值进行特征融合处理，得到第二输出结果。
可选的，上述训练模块还可以具体还用于：
基于第一输出结果和第二输出结果计算损失值；基于损失值分别更新学生网络和教师网络的网络参数；继续执行获取包含有人脸的样本图像组的步骤，直至损失值收敛。
上面图对本发明实施例中的人脸特征提取装置进行详细描述，下面从硬件处理的角度对本发明实施例中人脸特征提取设备进行详细描述。
图4是本发明实施例提供的一种人脸特征提取设备的结构示意图，该人脸特征提取设备400可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)410(例如，一个或一个以上处理器)和存储器420，一个或一个以上存储应用程序433或数据432的存储介质430(例如一个或一个以上海量存储设备)。其中，存储器420和存储介质430可以是短暂存储或持久存储。存储在存储介质430的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对人脸特征提取设备400中的一系列指令操作。更进一步地，处理器410可以设置为与存储介质430通信，在人脸特征提取设备400上执行存储介质430中的一系列指令操作。
人脸特征提取设备400还可以包括一个或一个以上电源440，一个或一个以上有线或无线网络接口450，一个或一个以上输入输出接口460，和/或，一个或一个以上操作***431，例如Windows Serve，Mac OS X，Unix，Linux， FreeBSD等等。本领域技术人员可以理解，图4示出的人脸特征提取设备结构并不构成对人脸特征提取设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，计算机可读存储介质中存储有指令，当指令在计算机上运行时，使得计算机执行人脸特征提取方法的步骤。
本发明还提供一种人脸特征提取设备，人脸特征提取设备包括存储器和处理器，存储器中存储有指令，指令被处理器执行时，使得处理器执行上述各实施例中的人脸特征提取方法的步骤。
进一步地，计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种人脸特征提取方法，其特征在于，所述人脸特征提取方法包括：
获取包含有人脸的目标图像；
将所述目标图像输入至预先训练完成的人脸特征提取模型中；其中，所述人脸特征提取模型包括特征网络和注意力网络；
通过所述特征网络输出所述目标图像中人脸的初始人脸特征；
通过所述注意力网络输出所述目标图像中的注意力特征；其中，所述注意力网络为预设的教师网络的学生网络；所述注意力网络基于所述教师网络训练得到；所述注意力特征用于指示所述初始人脸特征中特征因子的重要程度；
基于所述注意力特征处理所述初始人脸特征，得到所述目标图像中人脸的最终人脸特征。
2.根据权利要求1所述的人脸特征提取方法，其特征在于，所述注意力特征的特征维度与所述初始人脸特征的特征维度的维度数量相同；所述基于所述注意力特征处理所述初始人脸特征，得到所述目标图像中人脸的最终人脸特征的步骤，包括：
将所述初始人脸特征和所述注意力特征中，特征维度相同的特征数据进行融合处理，得到所述目标图像中人脸的最终人脸特征。
3.根据权利要求2所述的人脸特征提取方法，其特征在于，所述初始人脸特征中包括多个特征因子的初始因子值；所述注意力特征中包括每个所述特征因子的权重；所述将所述初始人脸特征和所述注意力特征中，特征维度相同的特征数据进行融合处理，得到所述目标图像中人脸的最终人脸特征的步骤，包括：
针对所述初始人脸特征中的每个特征因子，从所述注意力特征中提取所述特征因子的权重，将所述特征因子的初始因子值乘以所述权重，得到所述特征因子的最终因子值；
将每个所述特征因子的最终因子值，确定为所述目标图像中人脸的最终人脸特征。
4.根据权利要求2所述的人脸特征提取方法，其特征在于，所述初始人脸特征中包括多个特征因子的初始因子值；所述注意力特征中包括每个所述特征因子的指示值；所述将所述初始人脸特征和所述注意力特征中，特征维度相同的特征数据进行融合处理，得到所述目标图像中人脸的最终人脸特征的步骤，包括：
针对所述初始人脸特征中的每个特征因子，从所述注意力特征中提取所述特征因子的指示值，如果所述指示值为预设的第一值，将所述特征因子的初始因子值确定为所述特征因子的最终因子值；如果所述指示值为预设的第二值，删除所述特征因子以及所述特征因子的因子值；
将剩余的特征因子的最终因子值，确定为所述目标图像中人脸的最终人脸特征。
5.根据权利要求1所述的人脸特征提取方法，其特征在于，所述注意力网络具体通过下述方式训练得到：
获取包含有人脸的样本图像组；其中，所述样本图像组包括多张图像，所述多张图像中的人脸相同，所述多张图像中人脸的拍摄角度不同；
提取所述样本图像组中第一图像的第一图像特征，将所述第一图像输入至预设的教师网络，输出第一注意力特征；基于所述第一图像特征和所述第一注意力特征得到第一输出结果；
提取所述样本图像组中第二图像的第二图像特征，将所述第二图像输入至预设的学生网络，输出第二注意力特征；基于所述第二图像特征和所述第二注意力特征得到第二输出结果；
基于所述第一输出结果和所述第二输出结果计算损失值，基于所述损失值训练所述学生网络，直至所述损失值收敛，将所述损失值收敛时的学生网络确定为所述注意力网络。
6.根据权利要求5所述的人脸特征提取方法，其特征在于，所述基于所述第一图像特征和所述第一注意力特征得到第一输出结果的步骤，包括：将所述第一图像特征和所述第一注意力特征中，相同位置上的特征值进行特征融合处理，得到第一输出结果；
所述基于所述第二图像特征和所述第二注意力特征得到第二输出结果的步骤，包括：将所述第二图像特征和所述第二注意力特征中，相同位置上的特征值进行特征融合处理，得到第二输出结果。
7.根据权利要求5所述的人脸特征提取方法，其特征在于，基于所述第一输出结果和所述第二输出结果计算损失值，基于所述损失值训练所述学生网络，直至所述损失值收敛的步骤，包括：
基于所述第一输出结果和所述第二输出结果计算损失值；
基于所述损失值分别更新所述学生网络和所述教师网络的网络参数；
继续执行获取包含有人脸的样本图像组的步骤，直至所述损失值收敛。
8.一种人脸特征提取装置，其特征在于，所述人脸特征提取装置包括：
获取模块，用于获取包含有人脸的目标图像；
输入模块，将所述目标图像输入至预先训练完成的人脸特征提取模型中；其中，所述人脸特征提取模型包括特征网络和注意力网络；
第一输出模块，用于通过所述特征网络输出所述目标图像中人脸的初始人脸特征；
第二输出模块，用于通过所述注意力网络输出所述目标图像中的注意力特征；其中，所述注意力网络为预设的教师网络的学生网络；所述注意力网络基于所述教师网络训练得到；所述注意力特征用于指示所述初始人脸特征中特征因子的重要程度；
获得模块，用于基于所述注意力特征处理所述初始人脸特征，得到所述目标图像中人脸的最终人脸特征。
9.一种人脸特征提取设备，其特征在于，所述人脸特征提取设备包括：存储器和至少一个处理器，所述存储器中存储有指令；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述人脸特征提取设备执行如权利要求1-7中任意一项所述的人脸特征提取方法。
10.一种计算机可读存储介质，其上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-7中任意一项所述的人脸特征提取方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210316045.4A CN114783019A (zh) | 2022-03-29 | 2022-03-29 | 人脸特征提取方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210316045.4A CN114783019A (zh) | 2022-03-29 | 2022-03-29 | 人脸特征提取方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114783019A true CN114783019A (zh) | 2022-07-22 |
Family
ID=82426042
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210316045.4A Pending CN114783019A (zh) | 2022-03-29 | 2022-03-29 | 人脸特征提取方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114783019A (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109815924A (zh) * | 2019-01-29 | 2019-05-28 | 成都旷视金智科技有限公司 | 表情识别方法、装置及*** |
| CN111783606A (zh) * | 2020-06-24 | 2020-10-16 | 北京百度网讯科技有限公司 | 一种人脸识别网络的训练方法、装置、设备及存储介质 |
-
2022
- 2022-03-29 CN CN202210316045.4A patent/CN114783019A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109815924A (zh) * | 2019-01-29 | 2019-05-28 | 成都旷视金智科技有限公司 | 表情识别方法、装置及*** |
| CN111783606A (zh) * | 2020-06-24 | 2020-10-16 | 北京百度网讯科技有限公司 | 一种人脸识别网络的训练方法、装置、设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 孙其功等: "深度神经网络FPGA设计与实现", vol. 1, 31 October 2020, 西安电子科技大学出版社, pages: 231 - 233 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110597991B (zh) | 文本分类方法、装置、计算机设备及存储介质 | |
| CN110852256B (zh) | 时序动作提名的生成方法、装置、设备及存储介质 | |
| CN105678250B (zh) | 视频中的人脸识别方法和装置 | |
| CN108108751B (zh) | 一种基于卷积多特征和深度随机森林的场景识别方法 | |
| CN111709409A (zh) | 人脸活体检测方法、装置、设备及介质 | |
| CN107871014A (zh) | 一种基于深度融合哈希的大数据跨模态检索方法及*** | |
| CN111666919B (zh) | 一种对象识别方法、装置、计算机设备和存储介质 | |
| CN113327279B (zh) | 一种点云数据处理方法、装置、计算机设备及存储介质 | |
| CN107636691A (zh) | 用于识别图像中的文本的方法和设备 | |
| CN110598019B (zh) | 重复图像识别方法及装置 | |
| CN114418030B (zh) | 图像分类方法、图像分类模型的训练方法及装置 | |
| CN112541529A (zh) | 表情与姿态融合的双模态教学评价方法、设备及存储介质 | |
| CN115797606B (zh) | 基于深度学习的3d虚拟数字人交互动作生成方法及*** | |
| CN112949647A (zh) | 三维场景描述方法、装置、电子设备和存储介质 | |
| CN115239593A (zh) | 图像复原方法、装置、电子设备及存储介质 | |
| CN117033609B (zh) | 文本视觉问答方法、装置、计算机设备和存储介质 | |
| Nida et al. | Instructor activity recognition through deep spatiotemporal features and feedforward extreme learning machines | |
| CN109284668A (zh) | 一种基于距离正则化投影和字典学习的行人重识别算法 | |
| CN113254927A (zh) | 一种基于网络防御的模型处理方法、装置及存储介质 | |
| CN111402156A (zh) | 一种涂抹图像的复原方法、装置及存储介质和终端设备 | |
| CN111860118A (zh) | 一种基于人工智能的人体行为分析方法 | |
| CN113362852A (zh) | 一种用户属性识别方法和装置 | |
| CN112990154B (zh) | 一种数据处理方法、计算机设备以及可读存储介质 | |
| US20050185834A1 (en) | Method and apparatus for scene learning and three-dimensional tracking using stereo video cameras | |
| CN113239799A (zh) | 训练方法、识别方法、装置、电子设备和可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |