CN112115790A - 人脸识别方法、装置、可读存储介质和电子设备 - Google Patents

人脸识别方法、装置、可读存储介质和电子设备 Download PDF

Info

Publication number
CN112115790A
CN112115790A CN202010832409.5A CN202010832409A CN112115790A CN 112115790 A CN112115790 A CN 112115790A CN 202010832409 A CN202010832409 A CN 202010832409A CN 112115790 A CN112115790 A CN 112115790A
Authority
CN
China
Prior art keywords
region
feature
face image
image
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010832409.5A
Other languages
English (en)
Inventor
林航东
张法朝
唐剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Didi Infinity Technology and Development Co Ltd
Original Assignee
Beijing Didi Infinity Technology and Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Didi Infinity Technology and Development Co Ltd filed Critical Beijing Didi Infinity Technology and Development Co Ltd
Priority to CN202010832409.5A priority Critical patent/CN112115790A/zh
Publication of CN112115790A publication Critical patent/CN112115790A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种人脸识别方法、装置、可读存储介质和电子设备，所述方法通过获取待识别的目标人脸图像，对目标人脸图像进行特征提取，得到包括其中第一区域特征和第二区域特征的人脸图像特征向量。将根据所述人脸图像特征向量确定的目标特征向量分别输入第一分类器和第二分类器，得到对应的第一区域状态和第二区域状态，以最终确定人脸识别结果。本发明实施例可以在进行人脸识别时，通过包括两个分类器的分类模型框架直接确定包括整个人脸区域的目标人脸图像的人脸识别结果。

Description

人脸识别方法、装置、可读存储介质和电子设备
技术领域
本发明涉及计算机技术领域，尤其涉及一种人脸识别方法、装置、可读存储介质和电子设备。
背景技术
目前人脸识别技术广泛应用于各个领域。在实际应用过程中，由于进行人脸识别的场景多变且复杂，有时会遇到被识别人脸上覆盖有遮挡物的情况。例如，眼部区域带有眼镜、墨镜等装饰物的情况，以及嘴部区域带有口罩、面罩等装饰物的情况，以及用手遮挡脸部等情况。在某些应用场景中，需要识别对人脸上覆盖的遮挡物进行识别。
发明内容
有鉴于此，本发明实施例提供了一种人脸识别方法、装置、可读存储介质和电子设备，旨在对目标人脸图像中人脸上覆盖的遮挡物进行识别。
第一方面，本发明实施例提供了一种人脸识别方法，所述方法包括：
确定待识别的目标人脸图像；
对所述目标人脸图像进行特征提取，以确定包括第一区域特征和第二区域特征的人脸图像特征向量，所述第一区域特征和第二区域特征分别用于表征所述目标人脸图像中第一区域和第二区域的特征信息；
确定所述人脸图像特征向量对应的目标特征向量；
将所述目标特征向量分别输入第一分类器和第二分类器，以分别确定对应的第一区域状态和第二区域状态；
根据所述第一区域状态和第二区域状态确定人脸识别结果。
第二方面，本发明实施例提供了一种人脸识别装置，所述装置包括：
图像确定模块，用于确定待识别的目标人脸图像；
特征提取模块，用于对所述目标人脸图像进行特征提取，以确定包括第一区域特征和第二区域特征的人脸图像特征向量，所述第一区域特征和第二区域特征分别用于表征所述目标人脸图像中第一区域和第二区域的特征信息；
特征转换模块，用于确定所述人脸图像特征向量对应的目标特征向量；
分类模块，用于将所述目标特征向量分别输入第一分类器和第二分类器，以分别确定对应的第一区域状态和第二区域状态；
识别模块，用于根据所述第一区域状态和第二区域状态确定人脸识别结果。
第三方面，本发明实施例提供了一种计算机可读存储介质，用于存储计算机程序指令，所述计算机程序指令在被处理器执行时实现如第一方面所述的方法。
第四方面，本发明实施例提供了一种电子设备，包括存储器和处理器，其特征在于，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如第一方面所述的方法。
本发明实施例通过获取待识别的目标人脸图像，对目标人脸图像进行特征提取，得到包括其中第一区域特征和第二区域特征的人脸图像特征向量。将根据所述人脸图像特征向量确定的目标特征向量分别输入第一分类器和第二分类器，得到对应的第一区域状态和第二区域状态，以最终确定人脸识别结果。本发明实施例可以在进行人脸识别时，通过包括两个分类器的分类模型框架直接确定包括整个人脸区域的目标人脸图像的人脸识别结果。
附图说明
通过以下参照附图对本发明实施例的描述，本发明的上述以及其它目的、特征和优点将更为清楚，在附图中：
图1为本发明实施例的人脸识别方法的流程图；
图2为本发明实施例的目标人脸图像的示意图；
图3为本发明实施例的人脸识别过程的示意图；
图4为本发明实施例的人脸识别方法的数据处理过程示意图；
图5为本发明实施例的人脸识别装置的示意图；
图6为本发明实施例的电子设备的示意图。
具体实施方式
以下基于实施例对本发明进行描述，但是本发明并不仅仅限于这些实施例。在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。为了避免混淆本发明的实质，公知的方法、过程、流程、元件和电路并没有详细叙述。
此外，本领域普通技术人员应当理解，在此提供的附图都是为了说明的目的，并且附图不一定是按比例绘制的。
除非上下文明确要求，否则在说明书的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义；也就是说，是“包括但不限于”的含义。
在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
本发明实施例的人脸识别方法可以通过安装预先训练的分类模型框架的终端设备或服务器实现，即通过终端设备或服务器将待处理的人脸图像输入分类模型框架，得到对应的人脸识别结果。其中，所述终端设备可以是能够运行计算机程序的、具有通信功能通用数据处理终端，例如，智能手机、平板电脑或笔记本电脑等。所述服务器可以是单个服务器、也可以是以分布式方式配置的服务器集群。所述待处理的人脸图像可以通过终端设备上设置的或与服务器连接的图像采集装置获取，也可以通过其他设备向进行人脸识别的终端设备或服务器传输。
图1为本发明实施例的人脸识别方法的流程图，如图1所示，所述人脸识别方法包括以下步骤：
步骤S100、确定待识别的目标人脸图像。
具体地，所述目标人脸图像为需要进行人脸识别的图像，其中包括多个待识别区域，例如眼部、嘴部、鼻部等面部区域。当所述人脸识别方法通过安装预先训练的分类模型框架的终端设备或服务器实现时，所述目标人脸图像可以在输入所述分类模型框架前确定，或通过所述分类模型框架确定。
图2为本发明实施例的目标人脸图像的示意图，如图2所示，所述目标人脸图像20中包括待识别的人脸区域。其中，所述待识别的人脸区域中还可以划分为用于识别人脸眼部附近状态的第一区域21，以及用于识别人脸嘴部附近状态的第二区域22。
在本发明实施例中，所述目标人脸图像的获取过程可以包括以下步骤：
步骤S110、获取人脸图像。
具体地，所述人脸图像的获取方式可以为通过进行人脸识别处理的终端设备上安装或连接的图像采集装置直接采集获取，或通过进行人脸识别处理的服务器连接的图像采集装置直接采集获取。例如，当所述终端设备为笔记本电脑时，可以通过所述笔记本电脑内置的摄像头或连接的摄像装置采集人脸图像。可选地，所述人脸图像还可以通过其他设备向进行人脸识别处理的终端设备或服务器传输。例如，可以通过带有通信功能的图像存储装置将存储的人脸图像传输至终端设备或服务器进行人脸识别。
步骤S120、对所述人脸图像进行预处理，以确定待识别的目标人脸图像。
具体地，所述预处理过程可以包括一个或多个预先设定的预处理步骤。在本发明实施例中，所述预处理步骤可以根据用于进行人脸识别的分类模型框架特征设定。例如，在将所述人脸图像输入所述分类模型框架后，由所述分类模型框架中的预处理层对所述人脸图像进行预处理后得到目标人脸图像。可选地，所述预处理步骤为对所述人脸图像中各像素点进行归一化处理，即将所述人脸图像中各像素点的各通道数值根据预设的归一化条件转换为一个特定范围内的值。例如，由于图像中各像素点的各通道数值范围为0-255，当所述归一化条件为对于所述人脸图像中各像素点的各通道数值image，分别计算(image/255.0)*2.0-1.0，以得到在-1到1之间的数值。
进一步地，所述预处理过程中还可以包括在人脸图像输入所述分类模型框架之前进行的预处理步骤。例如，提取所述人脸图像中的人脸区域，对夜间环境拍摄的人脸图像进行补光等。
步骤S200、对所述目标人脸图像进行特征提取，以确定包括第一区域特征和第二区域特征的人脸图像特征向量。
具体地，所述目标人脸图像中包括多个待识别区域对应的特征信息。在本发明实施例中，可以根据在所述目标人脸图像中的位置确定第一区域、第二区域两个待识别区域。其中，所述第一区域特征用于表征所述目标人脸图像中第一区域的特征信息，所述第二区域特征用于表征所述目标人脸图像中第二区域的特征信息。例如，当确定所述目标人脸图像中眼部所在区域为第一区域，嘴部所在区域为第二区域时，所述第一区域特征用于表征所述目标人脸图像中眼部以及眼部附近的特征信息，所述第二区域特征用于表征所述目标人脸图像中嘴部以及嘴部附近的特征信息。
在本发明实施例中，为提高所述目标人脸图像特征提取过程的准确性，用于人脸识别的分类模型框架中包括常规的特征提取层以及注意力机制层。由此，所述分类模型框架可以通过两种不同的特征提取方式对所述目标人脸图像中指定的第一区域和第二区域进行特征提取，得到准确、全面的人脸图像特征向量。所述特征提取过程包括以下步骤：
步骤S210、通过特征提取层提取所述目标人脸图像中第一区域和第二区域的特征以确定第一图像特征向量。
具体地，所述特征提取层可以为预先训练得到的CNN卷积神经网络，通过对应于第一区域的第一卷积核和对应于第二区域的第二卷积核分别提取所述目标人脸图像中眼部区域的特征和嘴部区域的特征，得到用于表征眼部区域的第一特征映射和用于表征嘴部区域的第二特征映射。合并所述第一特征映射和第二特征映射，即可得到包括眼部特征以及嘴部特征的第一图像特征向量。
步骤S220、通过注意力机制层提取所述目标人脸图像中第一区域和第二区域的特征以确定第二图像特征向量。
具体地，所述注意力机制层中还包括多个注意力模块，可以通过多个注意力模块共同提取所述目标人脸图像中的特征，以确定第二图像特征向量。在本发明实施例中，所述第二图像特征向量的确定过程包括以下步骤：
步骤S221、通过第一注意力模块提取所述目标人脸图像中第一区域的特征和第二区域的特征，以确定通道特征向量。
具体地，所述目标人脸图像在输入注意力机制层后，经过卷积后得到多个特征图像，输入所述注意力机制层中的第一注意力模块。在本发明实施例中，所述第一注意力模块可以为通道注意力模块(Channel attention module)。在将所述目标人脸图像卷积后得到的不同特征图像输入所述通道注意力模块后，分别对各特征图像进行全局池化处理以及平均池化处理得到全局向量和平均向量。其中，所述全局向量用于表征所述目标人脸图像中第一区域特征和第二区域特征，所述平均向量用于表征所述目标人脸图像的整体特征。在确定全局向量和平均向量后，通过感知机(Multilayer Perceptron)处理所述全局向量和平均向量得到全局通道向量和平均通道向量。进一步地，可以通过预设函数计算所述全局通道向量和平均通道向量得到通道特征向量。
步骤S222、通过第二注意力模块提取所述目标人脸图像中第一区域的特征和第二区域的特征，以确定空间特征向量。
具体地，所述目标人脸图像经过卷积后得到多个特征图像还输入所述注意力机制层中的第二注意力模块。在本发明实施例中，所述第二注意力模块为空间注意力模块(Spatial attention module)。在将所述目标人脸图像卷积后得到的不同特征图像输入所述空间注意力模块后，对各所述特征图像相同位置的像素值分别进行全局池化处理以及平均池化处理得到全局向量和平均向量。其中，所述全局向量用于表征所述目标人脸图像中第一区域特征和第二区域特征，所述平均向量用于表征所述目标人脸图像的整体特征。将所述全局向量和平均向量合并后进行卷积，通过激活函数激活卷积后的结果得到空间特征向量。
步骤S223、根据所述通道特征向量和空间特征向量确定第二图像特征向量。
具体地，在通过第一注意力模块和第二注意力模块分别提取到通道特征向量和空间特征向量后，合并所述通道特征向量和空间特征向量得到包括所述目标人脸图像中第一区域和第二区域的特征的第二图像特征向量。
步骤S230、根据所述第一图像特征向量和第二图像特征向量确定人脸图像特征向量。
具体地，所述人脸图像特征向量可以通过将所述第一图像特征向量和第二图像特征向量输入分类模型框架的解码层(decoding)中确定。在将特征提取层提取到的第一图像特征向量和注意力机制层提取到的第二图像特征向量输入解码层后，通过所述解码层对所述第一图像特征向量和第二图像特征向量依次进行合并和卷积，得到包括第一区域特征和第二区域特征的人脸图像特征向量。即当所述第一区域为眼部区域，第二区域为嘴部区域时，所述人脸图像特征向量包括待识别人脸的眼部区域特征和嘴部区域特征。
步骤S300、确定所述人脸图像特征向量对应的目标特征向量。
具体地，所述目标特征向量可以通过将所述人脸图像特征向量输入分类模型框架的后处理层(Postprocessing)确定。所述后处理层用于对所述人脸图像特征向量平铺，即将多维向量转换为一维向量，以确定目标特征向量。
步骤S400、将所述目标特征向量分别输入第一分类器和第二分类器，以分别确定对应的第一区域状态和第二区域状态。
具体地，所述第一分类器和第二分类器为预先训练得到的分类器。其中，所述第一分类器包括多个预设的对应于第一区域的第一候选区域状态，用于根据输入的目标特征向量判断所述目标人脸图像中眼部区域的状态。基于预先设定，所述第一候选区域状态例如可以包括正常、戴眼镜、戴墨镜等状态。所述第二分类器包括多个预设的对应于第二区域的第二候选区域状态，用于根据输入的目标特征向量判断所述目标人脸图像中嘴部区域的状态。基于预先设定，所述第二候选区域状态例如可以包括正常、戴口罩、捂嘴等状态。
在确定目标特征向量后，将所述目标特征向量输入训练好的第一分类器。所述第一分类器对应于训练得到的第一分类函数，用于计算输入的目标特征向量，以输出所述第一分类器对应的各预设的第一候选区域状态的概率值。其中，所述第一分类函数为归一化指数函数(Softmax函数)，各所述第一候选区域状态的概率值均为0～1，且各概率值的和为一。例如，当所述第一分类器对应的第一候选区域状态包括正常、戴眼镜和戴墨镜时，所述目标特征向量输入第一分类器后得到所述目标人脸图像眼部区域正常的概率值、戴眼镜的概率值和戴墨镜的概率值。进一步确定其中最高概率值对应的第一候选区域状态为第一区域状态，即所述目标人脸图像中眼部区域的状态。
同时，将所述目标特征向量输入第二分类器。所述第二分类器对应于训练得到的第二分类函数，用于计算输入的目标特征向量，以输出所述第二分类器对应的各预设的第二候选区域状态的概率值。其中，所述第二分类函数为归一化指数函数(Softmax函数)，各所述第二候选区域状态的概率值均为0～1，且各概率值的和为一。例如，当所述第二分类器对应的第二候选区域状态包括正常、戴口罩和捂嘴时，所述目标特征向量输入第二分类器后得到所述目标人脸图像嘴部区域正常的概率值、戴口罩的概率值和用手捂嘴的概率值。进一步确定其中最高概率值对应的第二候选区域状态为第二区域状态，即所述目标人脸图像中嘴部区域的状态。
进一步地，训练所述分类模型框架的过程中，分别确定所述第一分类器的第一损失和第二分类器的第二损失，并计算所述第一损失和第二损失的和得到第三损失。根据所述第一损失、第二损失和第三损失分别训练所述分类模型框架，以在训练过程中实现针对不同区域内的对抗性训练以及不同区域之间的辅助对抗性训练。
步骤S500、根据所述第一区域状态和第二区域状态确定人脸识别结果。
具体地，在确定第一区域状态和第二区域状态后，根据所述第一区域状态和第二区域状态确定人脸识别结果。以所述第一分类器对应的第一候选区域状态包括正常、戴眼镜和戴墨镜，所述第二分类器对应的第二候选区域状态包括正常、戴口罩和捂嘴为例进行说明。当通过所述第一分类器确定的第一区域状态为戴眼镜，通过所述第二分类器确定的第二区域状态为戴口罩时，最终确定的人脸识别结果为戴眼镜和戴口罩。
图3为本发明实施例的人脸识别过程的示意图。如图3所示，在获取包括第一区域和第二区域两个待识别区域的待识别人脸图像30后，将所述人脸图像30输入训练好的分类模型框架31，输出对应的人脸识别结果32。所述人脸识别结果32包括第一区域状态和第二区域状态，以所述第一区域为眼部区域、第二区域为嘴部区域为例进行说明。所述人脸识别结果32例如可以是眼部戴眼镜嘴部正常、眼部戴眼镜嘴部戴口罩、眼部戴墨镜嘴部正常、眼部正常嘴部正常等。
图4为本发明实施例的人脸识别方法的数据处理过程示意图。如图4所示，所述人脸图像在输入所述分类模型框架40后，先通过所述前处理层41对所述人脸图像进行预处理得到目标人脸图像。将所述目标人脸图像分别输入特征提取层42和注意力机制层43进行特征提取，以分别得到包括所述人脸图像中第一区域的特征和第二区域的特征的第一图像特征向量和第二图像特征向量。在本发明实施例中，所述注意力机制层43中包括第一注意力模块和第二注意力模块。通过第一注意力模块提取所述目标人脸图像对应的通道特征向量，通过第二注意力模块提取所述目标人脸图像对应空间特征向量。将所述通道特征向量和空间特征向量合并卷积后得到第二图像特征向量。
在通过特征提取层42和注意力机制层43分别对所述目标图像进行特征提取后，将得到的所述第一图像特征向量和第二图像特征向量输入解码层44后进行合并、卷积，以确定包括第一区域特征和第二区域特征的人脸图像特征向量。由所述后处理层45对所述人脸图像特征向量进行平铺处理得到分类器可以识别的目标特征向量。将所述目标特征向量分别输入训练好的第一分类器46和第二分类器47。其中，所述第一分类器46包括预设的多个第一候选区域特征，根据输入的目标特征向量在多个第一候选区域特征中确定，并输出所述目标人脸图像中第一区域对应的第一区域特征。所述第二分类器47包括预设的多个第二候选区域特征，根据输入的目标特征向量在多个第二候选区域特征中确定，并输出所述目标人脸图像中第二区域对应的第二区域特征。最后根据所述第一区域特征和第二区域特征得到人脸识别结果。例如，当所述第一区域为眼部区域，第二区域为嘴部区域时，输出包括眼部区域特征和嘴部区域特征的人脸识别结果。
本发明实施例所述的人脸识别方法在进行人脸识别的过程中，通过特征提取层和注意力机制层分别对目标人脸图像进行特征提取，提高了目标人脸图像中提取到特征信息的准确性和完整性。同时，由于所述分类模型框架中包括两个分别对应于目标人脸图像中不同区域的分类器，使得在人脸识别过程中可以不对目标人脸图像进行分割，直接将包括整个人脸区域的目标人脸图像输入分类模型框架中即可得到包括目标人脸图像中两个区域的人脸识别结果。
图5为本发明实施例的人脸识别装置的示意图，如图5所示，所述人脸识别装置包括图像确定模块50、特征提取模块51、特征转换模块52、分类模块53和识别模块54。
具体地，所述图像确定模块50用于确定待识别的目标人脸图像。所述特征提取模块51用于对所述目标人脸图像进行特征提取，以确定包括第一区域特征和第二区域特征的人脸图像特征向量，所述第一区域特征和第二区域特征分别用于表征所述目标人脸图像中第一区域和第二区域的特征信息。所述特征转换模块52用于确定所述人脸图像特征向量对应的目标特征向量。所述分类模块53用于将所述目标特征向量分别输入第一分类器和第二分类器，以分别确定对应的第一区域状态和第二区域状态。所述识别模块54用于根据所述第一区域状态和第二区域状态确定人脸识别结果。
进一步地，所述图像确定模块包括：
图像获取单元，用于获取人脸图像；
预处理单元，用于对所述人脸图像进行预处理，以确定待识别的目标人脸图像。
进一步地，所述特征提取模块包括：
第一特征提取单元，用于通过特征提取层提取所述目标人脸图像中第一区域和第二区域的特征以确定第一图像特征向量；
第二特征提取单元，用于通过注意力机制层提取所述目标人脸图像中第一区域和第二区域的特征以确定第二图像特征向量；
特征确定单元，用于根据所述第一图像特征向量和第二图像特征向量确定人脸图像特征向量。
进一步地，所述第二特征提取单元包括：
第一特征提取子单元，用于通过第一注意力模块提取所述目标人脸图像中第一区域的特征和第二区域的特征，以确定通道特征向量；
第二特征提取子单元，用于第二注意力模块提取所述目标人脸图像中第一区域的特征和第二区域的特征，以确定空间特征向量；
特征确定子单元，用于根据所述通道特征向量和空间特征向量确定第二图像特征向量。
进一步地，所述特征确定单元具体包括：
特征合并子单元，用于将所述第一图像特征和第二图像特征合并得到人脸图像特征向量。
进一步地，所述特征转换模块具体包括：
向量平铺单元，用于平铺所述人脸图像特征向量，以得到目标特征向量。
进一步地，所述第一区域状态为所述目标人脸图像的眼部状态；
所述第二区域状态为所述目标人脸图像的嘴部状态。
本发明实施例所述的人脸识别装置在进行人脸识别的过程中，通过特征提取层和注意力机制层分别对目标人脸图像进行特征提取，提高了目标人脸图像中提取到特征信息的准确性和完整性。同时，由于所述分类模型框架中包括两个分别对应于目标人脸图像中不同区域的分类器，使得在人脸识别过程中可以不对目标人脸图像进行分割，直接将包括整个人脸区域的目标人脸图像输入分类模型框架中即可得到包括目标人脸图像中两个区域的人脸识别结果。
图6为本发明实施例的电子设备的示意图。如图6所示，图6所示的电子设备为通用地址查询装置，其包括通用的计算机硬件结构，其至少包括处理器60和存储器61。处理器60和存储器61通过总线62连接。存储器61适于存储处理器60可执行的指令或程序。处理器60可以是独立的微处理器，也可以是一个或者多个微处理器集合。由此，处理器60通过执行存储器61所存储的指令，从而执行如上所述的本发明实施例的方法流程实现对于数据的处理和对于其它装置的控制。总线62将上述多个组件连接在一起，同时将上述组件连接到显示控制器63和显示装置以及输入/输出(I/O)装置64。输入/输出(I/O)装置64可以是鼠标、键盘、调制解调器、网络接口、触控输入装置、体感输入装置、打印机以及本领域公知的其他装置。典型地，输入/输出装置64通过输入/输出(I/O)控制器65与***相连。
本领域的技术人员应明白，本申请的实施例可提供为方法、装置(设备)或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品。
本申请是参照根据本申请实施例的方法、装置(设备)和计算机程序产品的流程图来描述的。应理解可由计算机程序指令实现流程图中的每一流程。
这些计算机程序指令可以存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现流程图一个流程或多个流程中指定的功能。
也可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程中指定的功能的装置。
本发明的另一实施例涉及一种非易失性存储介质，用于存储计算机可读程序，所述计算机可读程序用于供计算机执行上述部分或全部的方法实施例。
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (16)

1.一种人脸识别方法，其特征在于，所述方法包括：
确定待识别的目标人脸图像；
对所述目标人脸图像进行特征提取，以确定包括第一区域特征和第二区域特征的人脸图像特征向量，所述第一区域特征和第二区域特征分别用于表征所述目标人脸图像中第一区域和第二区域的特征信息；
确定所述人脸图像特征向量对应的目标特征向量；
将所述目标特征向量分别输入第一分类器和第二分类器，以分别确定对应的第一区域状态和第二区域状态；
根据所述第一区域状态和第二区域状态确定人脸识别结果。
2.根据权利要求1所述的方法，其特征在于，所述确定待识别的目标人脸图像包括：
获取人脸图像；
对所述人脸图像进行预处理，以确定待识别的目标人脸图像。
3.根据权利要求1所述的方法，其特征在于，所述对所述目标人脸图像进行特征提取，以确定包括第一区域特征和第二区域特征的人脸图像特征向量包括：
通过特征提取层提取所述目标人脸图像中第一区域和第二区域的特征以确定第一图像特征向量；
通过注意力机制层提取所述目标人脸图像中第一区域和第二区域的特征以确定第二图像特征向量；
根据所述第一图像特征向量和第二图像特征向量确定人脸图像特征向量。
4.根据权利要求3所述的方法，其特征在于，所述通过注意力机制层提取所述目标人脸图像中第一区域和第二区域的特征以确定第二图像特征包括：
通过第一注意力模块提取所述目标人脸图像中第一区域的特征和第二区域的特征，以确定通道特征向量；
通过第二注意力模块提取所述目标人脸图像中第一区域的特征和第二区域的特征，以确定空间特征向量；
根据所述通道特征向量和空间特征向量确定第二图像特征向量。
5.根据权利要求3所述的方法，其特征在于，所述根据所述第一图像特征和第二图像特征确定人脸图像特征向量具体为：
将所述第一图像特征和第二图像特征合并得到人脸图像特征向量。
6.根据权利要求1所述的方法，其特征在于，所述确定所述人脸图像特征向量对应的目标特征向量具体为：
平铺所述人脸图像特征向量，以得到目标特征向量。
7.根据权利要求1所述的方法，其特征在于，所述第一区域状态为所述目标人脸图像的眼部状态；
所述第二区域状态为所述目标人脸图像的嘴部状态。
8.一种人脸识别装置，其特征在于，所述装置包括：
图像确定模块，用于确定待识别的目标人脸图像；
特征提取模块，用于对所述目标人脸图像进行特征提取，以确定包括第一区域特征和第二区域特征的人脸图像特征向量，所述第一区域特征和第二区域特征分别用于表征所述目标人脸图像中第一区域和第二区域的特征信息；
特征转换模块，用于确定所述人脸图像特征向量对应的目标特征向量；
分类模块，用于将所述目标特征向量分别输入第一分类器和第二分类器，以分别确定对应的第一区域状态和第二区域状态；
识别模块，用于根据所述第一区域状态和第二区域状态确定人脸识别结果。
9.根据权利要求8所述的装置，其特征在于，所述图像确定模块包括：
图像获取单元，用于获取人脸图像；
预处理单元，用于对所述人脸图像进行预处理，以确定待识别的目标人脸图像。
10.根据权利要求8所述的装置，其特征在于，所述特征提取模块包括：
第一特征提取单元，用于通过特征提取层提取所述目标人脸图像中第一区域和第二区域的特征以确定第一图像特征向量；
第二特征提取单元，用于通过注意力机制层提取所述目标人脸图像中第一区域和第二区域的特征以确定第二图像特征向量；
特征确定单元，用于根据所述第一图像特征向量和第二图像特征向量确定人脸图像特征向量。
11.根据权利要求10所述的装置，其特征在于，所述第二特征提取单元包括：
第一特征提取子单元，用于通过第一注意力模块提取所述目标人脸图像中第一区域的特征和第二区域的特征，以确定通道特征向量；
第二特征提取子单元，用于第二注意力模块提取所述目标人脸图像中第一区域的特征和第二区域的特征，以确定空间特征向量；
特征确定子单元，用于根据所述通道特征向量和空间特征向量确定第二图像特征向量。
12.根据权利要求10所述的装置，其特征在于，所述特征确定单元具体包括：
特征合并子单元，用于将所述第一图像特征和第二图像特征合并得到人脸图像特征向量。
13.根据权利要求8所述的装置，其特征在于，所述特征转换模块具体包括：
向量平铺单元，用于平铺所述人脸图像特征向量，以得到目标特征向量。
14.根据权利要求8所述的装置，其特征在于，所述第一区域状态为所述目标人脸图像的眼部状态；
所述第二区域状态为所述目标人脸图像的嘴部状态。
15.一种计算机可读存储介质，用于存储计算机程序指令，其特征在于，所述计算机程序指令在被处理器执行时实现如权利要求1-7中任一项所述的方法。
16.一种电子设备，包括存储器和处理器，其特征在于，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如权利要求1-7中任一项所述的方法。
CN202010832409.5A 2020-08-18 2020-08-18 人脸识别方法、装置、可读存储介质和电子设备 Pending CN112115790A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010832409.5A CN112115790A (zh) 2020-08-18 2020-08-18 人脸识别方法、装置、可读存储介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010832409.5A CN112115790A (zh) 2020-08-18 2020-08-18 人脸识别方法、装置、可读存储介质和电子设备

Publications (1)

Publication Number Publication Date
CN112115790A true CN112115790A (zh) 2020-12-22

Family

ID=73805037

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010832409.5A Pending CN112115790A (zh) 2020-08-18 2020-08-18 人脸识别方法、装置、可读存储介质和电子设备

Country Status (1)

Country Link
CN (1) CN112115790A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112560756A (zh) * 2020-12-24 2021-03-26 北京嘀嘀无限科技发展有限公司 识别人脸的方法、装置、电子设备和存储介质
CN113591718A (zh) * 2021-07-30 2021-11-02 北京百度网讯科技有限公司 目标对象识别方法、装置、电子设备和存储介质
CN114327062A (zh) * 2021-12-28 2022-04-12 深圳Tcl新技术有限公司 人机交互方法、装置、电子设备、存储介质和程序产品

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060072833A1 (en) * 2004-10-01 2006-04-06 Microsoft Corporation Method and system for progressive image transmission
CN105678250A (zh) * 2015-12-31 2016-06-15 北京小孔科技有限公司 视频中的人脸识别方法和装置
CN107358573A (zh) * 2017-06-16 2017-11-17 广东欧珀移动通信有限公司 图像美颜处理方法和装置
CN107633235A (zh) * 2017-09-27 2018-01-26 广东欧珀移动通信有限公司 解锁控制方法及相关产品
CN108171149A (zh) * 2017-12-26 2018-06-15 广东工业大学 一种人脸识别方法、装置、设备及可读存储介质
US20180239954A1 (en) * 2015-09-08 2018-08-23 Nec Corporation Face recognition system, face recognition method, display control apparatus, display control method, and display control program
CN109101907A (zh) * 2018-07-28 2018-12-28 华中科技大学 一种基于双边分割网络的车载图像语义分割***
CN110046652A (zh) * 2019-03-18 2019-07-23 深圳神目信息技术有限公司 人脸质量评估方法、装置、终端及可读介质
CN110222686A (zh) * 2019-05-27 2019-09-10 腾讯科技（深圳）有限公司 物体检测方法、装置、计算机设备和存储介质
CN110533724A (zh) * 2019-09-06 2019-12-03 电子科技大学 基于深度学习和注意力机制的单目视觉里程计算方法
CN110569826A (zh) * 2019-09-18 2019-12-13 深圳市捷顺科技实业股份有限公司 一种人脸识别方法、装置、设备及介质
US10594957B2 (en) * 2014-08-06 2020-03-17 Beijing Zhigu Rui Tuo Tech Co., Ltd Image acquisition control methods and apparatuses, and image acquisition devices
US10613323B1 (en) * 2017-12-13 2020-04-07 Facebook Technologies, Llc Transition feature for framing multizone optics
US10706301B2 (en) * 2017-03-31 2020-07-07 Panasonic Intellectual Property Managment Co., Ltd. Detection device, learning device, detection method, learning method, and recording medium
CN111414813A (zh) * 2020-03-03 2020-07-14 南京领行科技股份有限公司 一种危险驾驶行为的识别方法、装置、设备及存储介质
CN111429447A (zh) * 2020-04-03 2020-07-17 深圳前海微众银行股份有限公司 病灶区域检测方法、装置、设备及存储介质

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060072833A1 (en) * 2004-10-01 2006-04-06 Microsoft Corporation Method and system for progressive image transmission
US10594957B2 (en) * 2014-08-06 2020-03-17 Beijing Zhigu Rui Tuo Tech Co., Ltd Image acquisition control methods and apparatuses, and image acquisition devices
US20180239954A1 (en) * 2015-09-08 2018-08-23 Nec Corporation Face recognition system, face recognition method, display control apparatus, display control method, and display control program
CN105678250A (zh) * 2015-12-31 2016-06-15 北京小孔科技有限公司 视频中的人脸识别方法和装置
US10706301B2 (en) * 2017-03-31 2020-07-07 Panasonic Intellectual Property Managment Co., Ltd. Detection device, learning device, detection method, learning method, and recording medium
CN107358573A (zh) * 2017-06-16 2017-11-17 广东欧珀移动通信有限公司 图像美颜处理方法和装置
CN107633235A (zh) * 2017-09-27 2018-01-26 广东欧珀移动通信有限公司 解锁控制方法及相关产品
US10613323B1 (en) * 2017-12-13 2020-04-07 Facebook Technologies, Llc Transition feature for framing multizone optics
CN108171149A (zh) * 2017-12-26 2018-06-15 广东工业大学 一种人脸识别方法、装置、设备及可读存储介质
CN109101907A (zh) * 2018-07-28 2018-12-28 华中科技大学 一种基于双边分割网络的车载图像语义分割***
CN110046652A (zh) * 2019-03-18 2019-07-23 深圳神目信息技术有限公司 人脸质量评估方法、装置、终端及可读介质
CN110222686A (zh) * 2019-05-27 2019-09-10 腾讯科技（深圳）有限公司 物体检测方法、装置、计算机设备和存储介质
CN110533724A (zh) * 2019-09-06 2019-12-03 电子科技大学 基于深度学习和注意力机制的单目视觉里程计算方法
CN110569826A (zh) * 2019-09-18 2019-12-13 深圳市捷顺科技实业股份有限公司 一种人脸识别方法、装置、设备及介质
CN111414813A (zh) * 2020-03-03 2020-07-14 南京领行科技股份有限公司 一种危险驾驶行为的识别方法、装置、设备及存储介质
CN111429447A (zh) * 2020-04-03 2020-07-17 深圳前海微众银行股份有限公司 病灶区域检测方法、装置、设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112560756A (zh) * 2020-12-24 2021-03-26 北京嘀嘀无限科技发展有限公司 识别人脸的方法、装置、电子设备和存储介质
CN113591718A (zh) * 2021-07-30 2021-11-02 北京百度网讯科技有限公司 目标对象识别方法、装置、电子设备和存储介质
CN114327062A (zh) * 2021-12-28 2022-04-12 深圳Tcl新技术有限公司 人机交互方法、装置、电子设备、存储介质和程序产品

Similar Documents

Publication Publication Date Title
EP3539054B1 (en) Neural network image processing apparatus
CN109558832B (zh) 一种人体姿态检测方法、装置、设备及存储介质
US10019655B2 (en) Deep-learning network architecture for object detection
CN109657554B (zh) 一种基于微表情的图像识别方法、装置以及相关设备
CN109902548B (zh) 一种对象属性识别方法、装置、计算设备及***
WO2020078119A1 (zh) 模拟用户穿戴服装饰品的方法、装置和***
CN111797657A (zh) 车辆周边障碍检测方法、装置、存储介质及电子设备
CN112115790A (zh) 人脸识别方法、装置、可读存储介质和电子设备
CN112446270A (zh) 行人再识别网络的训练方法、行人再识别方法和装置
CN110569731A (zh) 一种人脸识别方法、装置及电子设备
KR20210028185A (ko) 사람 자세 분석 시스템 및 방법
CN111310705A (zh) 图像识别方法、装置、计算机设备及存储介质
KR20210142177A (ko) 어린이 상태 검출 방법 및 장치, 전자 기기, 메모리
KR102400609B1 (ko) 딥러닝 네트워크를 이용한 배경 및 얼굴 합성 방법 및 장치
CN113272816A (zh) 进行脸部筛选的全人关联
CN112052746A (zh) 目标检测方法、装置、电子设备和可读存储介质
CN111062328A (zh) 一种图像处理方法、装置及智能机器人
CN112487844A (zh) 手势识别方法、电子设备、计算机可读存储介质和芯片
US20230298348A1 (en) Clothing standardization detection method and apparatus
CN114519877A (zh) 人脸识别方法、人脸识别装置、计算机设备及存储介质
CN112541394A (zh) 黑眼圈及鼻炎识别方法、***及计算机介质
JP2019109843A (ja) 分類装置、分類方法、属性認識装置、及び機械学習装置
CN111104911A (zh) 一种基于大数据训练的行人重识别方法及装置
KR102246471B1 (ko) 이미지 내 동물의 코 영역을 검출하는 방법 및 장치
Jang et al. User oriented language model for face detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201222

RJ01 Rejection of invention patent application after publication