CN111626193A - 一种面部识别方法、面部识别装置及可读存储介质 - Google Patents

一种面部识别方法、面部识别装置及可读存储介质 Download PDF

Info

Publication number
CN111626193A
CN111626193A CN202010457116.3A CN202010457116A CN111626193A CN 111626193 A CN111626193 A CN 111626193A CN 202010457116 A CN202010457116 A CN 202010457116A CN 111626193 A CN111626193 A CN 111626193A
Authority
CN
China
Prior art keywords
sample
image
person
images
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010457116.3A
Other languages
English (en)
Inventor
王艳
张修宝
沈海峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Didi Infinity Technology and Development Co Ltd
Original Assignee
Beijing Didi Infinity Technology and Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Didi Infinity Technology and Development Co Ltd filed Critical Beijing Didi Infinity Technology and Development Co Ltd
Priority to CN202010457116.3A priority Critical patent/CN111626193A/zh
Publication of CN111626193A publication Critical patent/CN111626193A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请提供了一种面部识别方法、面部识别装置及可读存储介质,通过在模型学习过程中,使用面部检测对样本图像进行处理,使得每个样本图像以及对应的每个参考人物图像中人物面部所占比例的不同,结合相应的损失函数,进而使得面部识别模型在识别的过程中能够将关注点放在人物面部上,从而在面部识别模型的使用过程中将无需进行人物面部的检测,而是可以直接进行面部遮挡物佩戴识别的单阶段识别,因此可以快速准确地确定出待识别人物图像中的人物是否佩戴了面部遮挡物,大大减少检测的时间,有助于提高面部遮挡物的佩戴识别的速度。

Description

一种面部识别方法、面部识别装置及可读存储介质
技术领域
本申请涉及图像处理技术领域,具体而言,涉及一种面部识别方法、面部识别装置及可读存储介质。
背景技术
在一些特殊的场景中,通常会要求在这些场景中的相关人员佩戴口罩、面具等面部遮挡物以用于面部防护等,并且要求相关人员在这些场景中全程佩戴面部遮挡物,以确保相关人员的自身安全。
目前,在这些特殊的场景中,通常是安排监督人员定时抽查相关人员面部遮挡物的佩戴情况,但是对于一个场景来说,若场景中的人流量较大,监督人员不能够时时刻刻的跟随一个相关人员移动,在这种情况下,往往需要增加监督人员的数量,才能够实时的对相关人员进行监督,耗费大量人力物力的同时,还会增加监督人员的工作量,因此,如何准确地检测出相关人员面部遮挡物的佩戴情况是亟需解决的问题。
发明内容
有鉴于此,本申请的目的在于提供一种面部识别方法、面部识别装置及可读存储介质,面部识别模型在使用过程中无需进行人物面部的检测,可以直接进行面部遮挡物佩戴识别的单阶段识别,因此可以快速准确地确定出待识别人物图像中的人物是否佩戴了面部遮挡物,大大减少检测的时间,有助于提高面部遮挡物的佩戴识别的速度。
根据本申请的一方面,提供了一种面部识别方法,所述面部识别方法包括:
获取多个样本人物图像,以及每个所述样本人物图像中人物面部是否佩戴面部遮挡物的样本类别标签;
针对每个所述样本人物图像,确定出所述样本人物图像的多个参考人物图像,其中,所述样本人物图像和对应的多个参考人物图像中任意两个图像的人物面部在图像中所占的尺寸比例不同;
基于所述多个样本人物图像、与每个所述样本人物图像对应的多个参考人物图像、每个所述样本人物图像的样本类别标签,对构建的深度卷积神经网络进行训练,得到训练好的面部识别模型;
将采集到的待识别人物图像输入至所述面部识别模型,得到所述待识别人物图像的面部遮挡物识别结果。
在本申请的一些实施例中,所述针对每个样本人物图像,确定出每个所述样本人物图像的多个参考人物图像,其中,所述样本人物图像和对应的多个参考人物图像中任意两个图像的人物面部在图像中所占的尺寸比例不同,包括:
针对于每个所述样本人物图像,确定出所述样本人物图像中人物面部的面部位置区域;
基于所述面部位置区域,确定所述样本人物图像的多个参考人物图像,其中,所述样本人物图像和对应的多个参考人物图像中任意两个图像的人物面部在图像中所占的尺寸比例不同。
在本申请的一些实施例中,所述基于所述面部位置区域,确定所述样本人物图像的多个参考人物图像,包括:
按照人物面部在图像中所占的预设比例,对所述样本人物图像的所述面部位置区域进行区域范围扩充,从所述样本人物图像中得到第一张参考人物图像;
将得到的参考人物图像作为样本人物图像,在该样本人物图像中按照所述预设比例对面部位置区域进行区域范围扩充,得到第二张参考人物图像,以此类推,直至得到与所述样本人物图像对应的预设数量的多个参考人物图像。
在本申请的一些实施例中,所述基于所述面部位置区域,确定所述样本人物图像的多个参考人物图像,包括:
获取人物面部在图像中所占的多个区域比例;
依次按照每个区域比例,对所述样本人物图像中的所述面部位置区域进行区域范围扩充,得到与所述样本人物图像对应的多个参考人物图像。
在本申请的一些实施例中,所述基于所述多个样本人物图像、与每个所述样本人物图像对应的多个参考人物图像、每个所述样本人物图像的样本类别标签,对构建的深度卷积神经网络进行训练,得到训练好的面部识别模型,包括:
将所述多个样本人物图像和与每个样本人物图像对应的多个参考人物图像输入至构建的深度卷积神经网络中,得到每个所述样本人物图像和每个所述参考人物图像的面部遮挡预测值;
基于每个所述样本人物图像和每个所述参考人物图像的面部遮挡预测值,以及每个所述样本人物图像的样本类别标签,确定所述深度卷积神经网络的网络损失值;
基于所述网络损失值,对所述深度卷积神经网络的网络参数进行调整,得到训练好的面部识别模型。
在本申请的一些实施例中,所述基于每个所述样本人物图像和每个所述参考人物图像的面部遮挡预测值,以及每个所述样本人物图像的样本类别标签,确定所述深度卷积神经网络的网络损失值,包括:
基于每个所述样本人物图像和该样本人物图像的每个参考人物图像的面部遮挡预测值,以及每个所述样本人物图像的样本类别标签,确定每个所述样本人物图像的关联损失以及均方误差;
基于确定出的多个所述关联损失以及多个所述均方误差,确定所述深度卷积神经网络的网络损失值。
在本申请的一些实施例中,通过以下步骤确定每个所述样本人物图像的均方误差:
针对每个所述样本人物图像,基于所述样本人物图像的面部遮挡预测值,以及与所述样本人物图像的样本类别标签对应的真实值,确定所述样本人物图像的第一均方误差;
基于与所述样本人物图像对应的每个参考人物图像的面部遮挡预测值,以及与所述样本人物图像的样本类别标签对应的真实值,确定每个所述样本人物图像的多个第二均方误差;
基于所述第一均方误差以及所述多个第二均方误差,确定所述样本人物图像的均方误差。
在本申请的一些实施例中,通过以下步骤确定每个所述样本人物图像的关联损失:
对于每个所述样本人物图像,从包括所述样本人物图像和对应的多个参考人物图像的多个图像中确定出多个关联图像组,其中,所述关联图像组中包括第一图像和第二图像,所述第一图像中人物面部所占的尺寸比例小于所述第二图像中人物面部所占的尺寸比例;
基于每个所述关联图像组中第一图像对应的面部遮挡预测值、第二图像对应的面部遮挡预测值以及所述样本人物图像的样本类别标签对应的真实值,确定每个所述关联图像组的关联组损失差;
基于多个所述关联组损失差,确定每个所述样本人物图像的关联损失。
在本申请的一些实施例中,所述基于所述网络损失值,对所述深度卷积神经网络的网络参数进行调整,得到训练好的面部识别模型,包括:
确定所述损失值是否大于预设损失阈值;
若所述网络损失值大于预设损失阈值,调整所述深度卷积神经网络的网络参数,直至所述网络损失值小于或等于所述预设损失阈值,确定所述深度卷积神经网络训练完毕;
将训练完的所述深度卷积神经网络确定为面部识别模型。
根据本申请的第二方面,提供了一种面部识别装置,所述面部识别装置包括:
图像获取模块,用于获取多个样本人物图像,以及每个所述样本人物图像中人物面部是否佩戴面部遮挡物的样本类别标签;
图像确定模块,用于针对每个所述样本人物图像,确定出所述样本人物图像的多个参考人物图像,其中,所述样本人物图像和对应的多个参考人物图像中任意两个图像的人物面部在图像中所占的尺寸比例不同;
模型训练模块,用于基于所述多个样本人物图像、与每个所述样本人物图像对应的多个参考人物图像、每个所述样本人物图像的样本类别标签,对构建的深度卷积神经网络进行训练,得到训练好的面部识别模型;
图像识别模块,用于将采集到的待识别人物图像输入至所述面部识别模型,得到所述待识别人物图像的面部遮挡物识别结果。
在本申请的一些实施例中,所述图像确定模块在用于针对每个样本人物图像,确定出每个所述样本人物图像的多个参考人物图像,其中,所述样本人物图像和对应的多个参考人物图像中任意两个图像的人物面部在图像中所占的尺寸比例不同时,所述图像确定模块用于:
针对于每个所述样本人物图像,确定出所述样本人物图像中人物面部的面部位置区域;
基于所述面部位置区域,确定所述样本人物图像的多个参考人物图像,其中,所述样本人物图像和对应的多个参考人物图像中任意两个图像的人物面部在图像中所占的尺寸比例不同。
在本申请的一些实施例中,所述图像确定模块在用于基于所述面部位置区域,确定所述样本人物图像的多个参考人物图像时,所述图像确定模块用于:
按照人物面部在图像中所占的预设比例,对所述样本人物图像的所述面部位置区域进行区域范围扩充,从所述样本人物图像中得到第一张参考人物图像;
将得到的参考人物图像作为样本人物图像,在该样本人物图像中按照所述预设比例对面部位置区域进行区域范围扩充,得到第二张参考人物图像,以此类推,直至得到与所述样本人物图像对应的预设数量的多个参考人物图像。
在本申请的一些实施例中,所述图像确定模块在用于基于所述面部位置区域,确定所述样本人物图像的多个参考人物图像时,所述图像确定模块用于:
获取人物面部在图像中所占的多个区域比例;
依次按照每个区域比例,对所述样本人物图像中的所述面部位置区域进行区域范围扩充,得到与所述样本人物图像对应的多个参考人物图像。
在本申请的一些实施例中,所述模型训练模块在用于基于所述多个样本人物图像、与每个所述样本人物图像对应的多个参考人物图像、每个所述样本人物图像的样本类别标签,对构建的深度卷积神经网络进行训练,得到训练好的面部识别模型时,所述模型训练模块用于:
将所述多个样本人物图像和与每个样本人物图像对应的多个参考人物图像输入至构建的深度卷积神经网络中,得到每个所述样本人物图像和每个所述参考人物图像的面部遮挡预测值;
基于每个所述样本人物图像和每个所述参考人物图像的面部遮挡预测值,以及每个所述样本人物图像的样本类别标签,确定所述深度卷积神经网络的网络损失值;
基于所述网络损失值,对所述深度卷积神经网络的网络参数进行调整,得到训练好的面部识别模型。
在本申请的一些实施例中,所述模型训练模块在用于基于每个所述样本人物图像和每个所述参考人物图像的面部遮挡预测值,以及每个所述样本人物图像的样本类别标签,确定所述深度卷积神经网络的网络损失值时,所述模型训练模块用于:
基于每个所述样本人物图像和该样本人物图像的每个参考人物图像的面部遮挡预测值,以及每个所述样本人物图像的样本类别标签,确定每个所述样本人物图像的关联损失以及均方误差;
基于确定出的多个所述关联损失以及多个所述均方误差,确定所述深度卷积神经网络的网络损失值。
在本申请的一些实施例中,所述模型训练模块通过以下步骤确定每个所述样本人物图像的均方误差:
针对每个所述样本人物图像,基于所述样本人物图像的面部遮挡预测值,以及与所述样本人物图像的样本类别标签对应的真实值,确定所述样本人物图像的第一均方误差;
基于与所述样本人物图像对应的每个参考人物图像的面部遮挡预测值,以及与所述样本人物图像的样本类别标签对应的真实值,确定每个所述样本人物图像的多个第二均方误差;
基于所述第一均方误差以及所述多个第二均方误差,确定所述样本人物图像的均方误差。
在本申请的一些实施例中,所述模型训练模块通过以下步骤确定每个所述样本人物图像的关联损失:
对于每个所述样本人物图像,从包括所述样本人物图像和对应的多个参考人物图像的多个图像中确定出多个关联图像组,其中,所述关联图像组中包括第一图像和第二图像,所述第一图像中人物面部所占的尺寸比例小于所述第二图像中人物面部所占的尺寸比例;
基于每个所述关联图像组中第一图像对应的面部遮挡预测值、第二图像对应的面部遮挡预测值以及所述样本人物图像的样本类别标签对应的真实值,确定每个所述关联图像组的关联组损失差;
基于多个所述关联组损失差,确定每个所述样本人物图像的关联损失。
在本申请的一些实施例中,所述模型训练模块在用于基于所述网络损失值,对所述深度卷积神经网络的网络参数进行调整,得到训练好的面部识别模型时,所述模型训练模块用于:
确定所述网络损失值是否大于预设损失阈值;
若所述网络损失值大于预设损失阈值,调整所述深度卷积神经网络的网络参数,直至所述网络损失值小于或等于所述预设损失阈值,确定所述深度卷积神经网络训练完毕;
将训练完的所述深度卷积神经网络确定为面部识别模型。
本申请实施例还提供一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如上述的面部识别方法的步骤。
本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如上述的面部识别方法的步骤。
本申请实施例提供的面部识别方法、面部识别装置及可读存储介质,获取多个样本人物图像,以及每个所述样本人物图像中人物面部是否佩戴面部遮挡物的样本类别标签;针对每个所述样本人物图像,确定出所述样本人物图像的多个参考人物图像,其中,所述样本人物图像和对应的多个参考人物图像中任意两个图像的人物面部在图像中所占的尺寸比例不同;基于所述多个样本人物图像、与每个所述样本人物图像对应的多个参考人物图像、每个所述样本人物图像的样本类别标签,对构建的深度卷积神经网络进行训练,得到训练好的面部识别模型;将采集到的待识别人物图像输入至所述面部识别模型,得到所述待识别人物图像的面部遮挡物识别结果。
这样,本申请通过获取多个用于训练的样本人物图像,确定出每个样本人物图像对应的多个参考人物图像,并通过多个样本人物图像以及每个样本人物图像对应的多个参考人物图像训练深度卷积神经网络,得到面部识别模型,通过面部识别模型对采集到的待识别人物图像进行识别,确定待识别人物图像的面部遮挡物的识别结果,由于在每个样本图像以及该样本图像的每个参考人物图像中人物面部所占比例的不同,使得面部识别模型在识别的过程中能够将关注点放在人物面部上,因此,在面部识别模型的使用过程中将无需进行人物面部的检测,可以直接进行面部遮挡物佩戴识别的单阶段识别,因此可以快速准确地确定出待识别人物图像中的人物是否佩戴了面部遮挡物,大大减少检测的时间,有助于提高面部遮挡物的佩戴识别的速度。
另外,本申请还能够在面部识别模型训练的过程中,结合相应的损失函数调节面部识别模型的相应参数,可以进一步的提高面部识别模型的识别结果的准确性以及识别效率。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种图像识别***的架构示意图;
图2为本申请实施例所提供的一种面部识别方法的流程图;
图3为样本人物图像示意图;
图4为第一参考图像示意图;
图5为第二参考图像示意图;
图6为第三参考图像示意图;
图7为本申请另一实施例所提供的一种面部识别方法的流程图;
图8为本申请实施例所提供的一种面部识别装置的结构示意图;
图9为本申请实施例所提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的每个其他实施例,都属于本申请保护的范围。
为了使得本领域技术人员能够使用本申请内容,结合特定应用场景“人物面部识别”,给出以下实施方式。对于本领域技术人员来说,在不脱离本申请的精神和范围的情况下,可以将这里定义的一般原理应用于其他实施例和应用场景。虽然本申请主要围绕人物面部识别进行描述,但是应该理解,这仅是一个示例性实施例。
需要说明的是,本申请实施例中将会用到术语“包括”,用于指出其后所声明的特征的存在,但并不排除增加其它的特征。
图1为本申请实施例提供的一种图像识别***的架构示意图。所述图像识别***包括图像存储装置,面部识别装置以及图像获取装置。所述图像存储装置中存储有多个样本人物图像,面部识别装置从图像存储装置中获取多个样本人物图像,并确定出每个样本人物图像的多个参考人物图像,通过每个样本人物图像以及该样本人物图像的多个参考人物图形训练深度卷积神经网络,得到面部识别模型,由于在每个样本图像以及该样本图像的每个参考人物图像中人物面部所占比例的不同,使得面部识别模型在识别的过程中能够将关注点放在人物面部上,因此,在面部识别模型的使用过程中将无需进行人物面部的检测,可以直接进行面部遮挡物佩戴识别的单阶段识别,因此可以快速准确地确定出待识别人物图像中的人物是否佩戴了面部遮挡物,大大减少检测的时间,有助于提高面部遮挡物的佩戴识别的速度。
值得注意的是,目前,在这些特殊的场景中,通常是安排监督人员定时抽查相关人员面部遮挡物的佩戴情况,但是对于一个场景来说,若场景中的人流量较大,监督人员不能够时时刻刻的跟随一个相关人员移动,在这种情况下,往往需要增加监督人员的数量,才能够实时的对相关人员进行监督,耗费大量的人力物力的同时,还会增加监督人员的工作量,因此,如何准确地检测出相关人员面部遮挡物的佩戴情况是亟需解决的问题。
例如,在一些工作场景中,为了确保工作人员的人身安全,企业通常会要求工作人员在工作的过程中全程佩戴口罩、护目镜等面部防护物,但是工作人员的工作地点可能并不固定,此时,监督人员并不能够随着工作人员进行移动,因此,不能够实时的对工作人员进行监督,在工作人员忘记佩戴面部遮挡物时,不能够及时的给予工作人员正确的操作指示。
基于此,本申请实施例提供了一种面部识别方法,能够快速准确地确定出待识别人物图像中的人物是否佩戴了面部遮挡物,从而实时地对待识别人物图像中的工作人员进行监督,当待识别人物图像中的工作人员未佩戴或者未正确佩戴面部遮挡物时,能够及时地提醒工作人员佩戴面部遮挡物,进而能够保证工作人员在工作过程中的人身安全,有助于减少检测的时间,可以提高面部遮挡物的佩戴识别的速度。
参照图2所示,为本申请实施例提供的一种面部识别方法的流程示意图。如图2中所示,本申请实施例提供的面部识别方法,包括:
S201、获取多个样本人物图像,以及每个所述样本人物图像中人物面部是否佩戴面部遮挡物的样本类别标签。
该步骤中,在训练深度卷积神经网络前,获取多个用于训练深度卷积神经网络的样本人物图像,以及每个样本人物图像的样本类别标签,其中,样本类别标签能够表明样本人物图像中人物面部是否佩戴面部遮挡物。
其中,在多个样本人物图像中包括多个佩戴有面部遮挡物的正样本人物图像,以及多个未佩戴有面部遮挡物的负样本人物图像,示例性的,对于正样本人物图像来说,其对应的样本类别标签的真实值为1时,相反的,对于负样本人物图像来说,其对应的样本类别标签的真实值则为0。
S202、针对每个所述样本人物图像,确定出所述样本人物图像的多个参考人物图像,其中,所述样本人物图像和对应的多个参考人物图像中任意两个图像的人物面部在图像中所占的尺寸比例不同。
该步骤中,针对于获取到的每个样本人物图像,对每个样本人物图像进行面部识别处理,确定出每个样本人物图像对应的多个参考人物图像,其中,每个样本人物图像与多个参考人物图像之中任意两个图像中的人物面部在图像中所占的尺寸比例不相同,同时,将样本人物图像的样本类别标签确定为多个参考人物图像的样本类别标签,即参考人物图像的与样本人物图像的样本类别标签相同。
示例性的,如图3中所示,图3为样本人物图像示意图,在样本人物图像中人物的面部占整个样本人物图像中的A%(如图3所示),对样本人物图像进行面部识别,识别出样本人物图像中的人物面部,进而改变人物面部在图像中的占比,得到第一参考图像、第二参考图像以及第三参考图像等,其中,在第一参考图像中人物面部的占比为B%(如图4所示,图4为第一参考图像示意图),而第二参考图像中人物面部的占比为C%(如图5所示,图5为第二参考图像示意图),第三参考图像中人物面部的占比为D%(如图6所示,图6为第三参考图像示意图)。
也就是说,随着人物面部所占的尺寸比例的增加,在参考人物图像中包括的背景信息逐渐减少,人物面部信息逐渐增加。
这样,就能够在模型的训练过程中利用人物面部信息去引导模型将注意力放在人物面部上。当模型学习到主动搜索人物面部,并在人物面部中进行面部遮挡物识别,进而在实际应用中就可以不再先进行人物面部检测,也即,在模型的使用过程中将不再进行人物面部的检测,而是直接进行面部遮挡物的佩戴识别,从而节省检测的时间,提高面部遮挡物的佩戴识别的速度。
S203、基于所述多个样本人物图像、与每个所述样本人物图像对应的多个参考人物图像、每个所述样本人物图像的样本类别标签,对构建的深度卷积神经网络进行训练,得到训练好的面部识别模型。
该步骤中,将获取到的多个样本人物图像、与每个样本人物图像对应的多个参考人物图像作为构建好的深度卷积神经网络的输入,将样本人物图像的样本类别标签作为构建好的深度卷积神经网络的输出,训练预先构建好的深度卷积神经网络,得到训练好的面部识别模型。
S204、将采集到的待识别人物图像输入至所述面部识别模型,得到所述待识别人物图像的面部遮挡物识别结果。
该步骤中,采集需要进行面部识别的待识别人物图像,将采集到的待识别人物图像输入至训练好的面部识别模型中,对采集到的待识别人物图像进行识别,从而确定出待识别人物图像的人物的面部遮挡物识别结果,即确定出待识别人物图像中的人物是否佩戴了面部遮挡物。
本申请实施例提供的面部识别方法,获取多个样本人物图像,以及每个所述样本人物图像中人物面部是否佩戴面部遮挡物的样本类别标签;针对每个所述样本人物图像,确定出所述样本人物图像的多个参考人物图像,其中,所述样本人物图像和对应的多个参考人物图像中任意两个图像的人物面部在图像中所占的尺寸比例不同;基于所述多个样本人物图像、与每个所述样本人物图像对应的多个参考人物图像、每个所述样本人物图像的样本类别标签,对构建的深度卷积神经网络进行训练,得到训练好的面部识别模型;将采集到的待识别人物图像输入至所述面部识别模型,得到所述待识别人物图像的面部遮挡物识别结果。
这样,本申请通过获取多个用于训练的样本人物图像,确定出每个样本人物图像对应的多个参考人物图像,并通过多个样本人物图像以及每个样本人物图像对应的多个参考人物图像训练深度卷积神经网络,得到训练好的面部识别模型,通过面部识别模型对采集到的待识别人物图像进行识别,确定待识别人物图像的面部遮挡物的识别结果,由于在每个样本图像以及该样本图像的每个参考人物图像中人物面部所占比例的不同,使得面部识别模型在识别的过程中能够将关注点放在人物面部上,因此,在面部识别模型的使用过程将无需进行人物面部的检测,可以直接进行面部遮挡物佩戴识别的单阶段识别,从而可以快速准确地确定出待识别人物图像中的人物是否佩戴了面部遮挡物,大大减少检测的时间,有助于提高面部遮挡物的佩戴识别的速度。
请参阅图7,图7为本申请另一实施例提供的面部识别方法的流程图。如图7中所示,本申请实施例提供的面部识别方法,包括:
S701、获取多个样本人物图像,以及每个所述样本人物图像中人物面部是否佩戴面部遮挡物的样本类别标签。
S702、针对于每个所述样本人物图像,确定出所述样本人物图像中人物面部的面部位置区域。
该步骤中,针对于获取到的每个样本人物图像,可以通过人脸识别的方法从该样本人物图像中,确定出在该样本人物图像中人物面部的面部位置区域。
S703、基于所述面部位置区域,确定所述样本人物图像的多个参考人物图像,其中,所述样本人物图像和对应的多个参考人物图像中任意两个图像的人物面部在图像中所占的尺寸比例不同。
该步骤中,基于步骤S702确定出的样本人物图像中的面部位置区域之后,根据面部位置区域确定出该样本人物图像对应的多个参考人物图像,也就是说参考人物图像中包括与样本人物图像相同的人物面部,但每一个参考人物图像与多个参考人物图像中其他参考人物图像以及样本人物图像不同的是人物面部在图像中所占的尺寸比例不同。
S704、基于所述多个样本人物图像、与每个所述样本人物图像对应的多个参考人物图像、每个所述样本人物图像的样本类别标签,对构建的深度卷积神经网络进行训练,得到训练好的面部识别模型。
S705、将采集到的待识别人物图像输入至所述面部识别模型,得到所述待识别人物图像的面部遮挡物识别结果。
其中,S701、S704以及S705的描述可以参照S201、S203以及S204的描述,并且能达到相同的技术效果,对此不做赘述。
进一步的,步骤S702包括:按照人物面部在图像中所占的预设比例,对所述样本人物图像的所述面部位置区域进行区域范围扩充,从所述样本人物图像中得到第一张参考人物图像;将得到的参考人物图像作为样本人物图像,在该样本人物图像中按照所述预设比例对面部位置区域进行区域范围扩充,得到第二张参考人物图像,以此类推,直至得到与所述样本人物图像对应的预设数量的多个参考人物图像。
该步骤中,参阅图3所示,图3中3a表示的是样本人物图像中人物面部的面部位置区域,基于确定出的面部位置区域3a,获取预先设置的人物面部在图像中所占的预设比例,按照该预设比例,对样本人物图像中的面部位置区域进行区域位置扩充,就是在面部位置区域3a的基础上向样本人物图像的边缘扩展,即改变面部位置区域3a在样本人物图像中的占比,相当于对样本人物图像中的面部位置区域周围的一定区域范围内的图像进行截取,并将截取后的图像放大,得到第一张参考人物图像;而后将得到的第一张参考人物图像作为样本人物图像,再次按照预设比例对此时的样本人物图像(第一张参考人物图像)中的面部位置区域4a进行区域范围扩充,得到第二张参考人物图像,而后再将第二张参考人物图像作为样本人物参考图像,继续进行面部位置区域5a的区域范围扩充,以此类推,直至得到与样本人物图像对应的预设数量的多个参考人物图像为止。
进一步的,步骤S702包括:获取人物面部在图像中所占的多个区域比例;依次按照每个区域比例,对所述样本人物图像中的所述面部位置区域进行区域范围扩充,得到与所述样本人物图像对应的多个参考人物图像。
该步骤中,参阅图3所示,图3中3a表示的是样本人物图像中人物面部的面部位置区域,获取多个预先设置好的人物面部在图像中所占的多个区域比例,基于样本人物图像中人物面部的面部位置区域3a,依次按照每个区域比例对该面部位置区域3a进行区域范围扩充,就是在面部位置区域的基础上向样本人物图像的边缘扩展,即改变面部位置区域在样本人物图像中的占比,相当于对样本人物图像中的面部位置区域周围的一定区域范围内的图像进行截取,并将截取后的图像放大,得到每个样本人物图像对应的多个参考人物图像,例如,第一参考图像(如图4所示),第二参考图像(如图5所示),以及第三参考图像(如图6所示)。
进一步的,步骤S704包括:将所述多个样本人物图像和与每个样本人物图像对应的多个参考人物图像输入至构建的深度卷积神经网络中,得到每个所述样本人物图像和每个所述参考人物图像的面部遮挡预测值;基于每个所述样本人物图像和每个所述参考人物图像的面部遮挡预测值,以及每个所述样本人物图像的样本类别标签,确定所述深度卷积神经网络的网络损失值;基于所述网络损失值,对所述深度卷积神经网络的网络参数进行调整,得到训练好的面部识别模型。
该步骤中,将获取到的多个样本人物图像以及与每个样本人物图像对应的多个参考人物图像作为输入特征,输入至构建的深度卷积神经网络中,同时,将每个样本人物图像的样本类别标签作为输出特征,输入至构建的深度卷积神经网络中,确定出每个样本人物图像以及该样本人物图像对应的每个参考人物图像的面部遮挡预测值;基于通过深度卷积神经网络确定出每个样本人物图像、该样本人物图像对应的每个参考人物图像的面部遮挡预测值,以及每个样本人物图像对应的样本类别标签,计算深度卷积神经网络的网络损失值;进而,基于确定出的网络损失值,对深度卷积神经网络中的各个网络参数进行调整,得到训练好的面部识别模型。
进一步的,所述基于每个所述样本人物图像和每个所述参考人物图像的面部遮挡预测值,以及每个所述样本人物图像的样本类别标签,确定所述深度卷积神经网络的网络损失值,包括:
基于每个所述样本人物图像和该样本人物图像的每个参考人物图像的面部遮挡预测值,以及每个所述样本人物图像的样本类别标签,确定每个所述样本人物图像的关联损失以及均方误差;基于确定出的多个所述关联损失以及多个所述均方误差,确定所述深度卷积神经网络的网络损失值。
该步骤中,在计算深度卷积神经网络的网络损失值前,首先基于每个样本人物图像以及该样本人物图像的每个参考人物图像的面部遮挡预测值,计算每个样本人物图像的关联损失以及均方误差,然后,再基于得到的每个样本人物图像的关联损失以及均方误差,进一步的经过计算确定出深度卷积神经网络的网络损失值。
具体的,通过以下公式计算所述深度卷积神经网络的损失值:
Figure BDA0002509633610000181
其中,L表示网络损失值,i表示第i个样本人物图像,n表示共有n个样本人物图像,Lmse(i)表示第i个样本人物图像的均方误差,Li表示第i个样本人物图像的关联损失。
进一步的,通过以下步骤确定每个所述样本人物图像的均方误差:
针对每个所述样本人物图像,基于所述样本人物图像的面部遮挡预测值,以及与所述样本人物图像的样本类别标签对应的真实值,确定所述样本人物图像的第一均方误差;基于与所述样本人物图像对应的每个参考人物图像的面部遮挡预测值,以及与所述样本人物图像的样本类别标签对应的真实值,确定每个所述样本人物图像的多个第二均方误差;基于所述第一均方误差以及所述多个第二均方误差,确定所述样本人物图像的均方误差。
该步骤中,基于每个样本人物图像的面部遮挡预测值以及该样本人物图像对应的样本类别标签对应的真实值,确定每个样本人物图像的第一均方误差,其中,样本人物图像的样本类别标签表明在该样本人物图像中的人物是否佩戴面部遮挡物,若样本人物图像中的人物佩戴有面部遮挡物,则该样本人物图像的样本类别标签对应的真实值为1,否则,若样本人物图像中的人物为佩戴面部遮挡物,则该样本人物图像的样本类别标签对应的真实值为0;同时,基于该样本人物图像的每个参考人物图像的面部遮挡预测值与该样本人物图像的样本类别标签对应的真实值,确定出该样本人物图像的第二均方误差;最后,基于每个样本人物图像的第一均方误差以及第二均方误差,通过进一步计算确定出该样本人物图像对应的均方误差。
具体的,通过以下公式计算得到每个样本人物图像的均方误差:
Figure BDA0002509633610000191
其中,Lmse(i)表示第i个样本人物图像的均方误差,xij表示第i个样本人物图像的第j个参考人物图像的面部遮挡预测值,yi表示第i个样本人物图像的样本类别标签的真实值。
进一步的,通过以下步骤确定每个所述样本人物图像的关联损失:对于每个所述样本人物图像,从包括所述样本人物图像和对应的多个参考人物图像的多个图像中确定出多个关联图像组,其中,所述关联图像组中包括第一图像和第二图像,所述第一图像中人物面部所占的尺寸比例小于所述第二图像中人物面部所占的尺寸比例;基于每个所述关联图像组中第一图像对应的面部遮挡预测值、第二图像对应的面部遮挡预测值以及所述样本人物图像的样本类别标签对应的真实值,确定每个所述关联图像组的关联组损失差;基于多个所述关联组损失差,确定每个所述样本人物图像的关联损失。
该步骤中,针对于每个样本人物图像,从该样本人物图像以及该样本人物图像的多个参考人物图像中确定出多个关联图像组,其中,每个关联图像组中包括两张图像,即第一图像与第二图像,第一图像与第二图像的区别在于,在第一图像中人物面部所占的尺寸比例小于在第二图像中人物面部所占的尺寸比例;基于每个关联图像组中第一图像对应的面部遮挡预测值、第二图像对应的面部遮挡预测值以及样本人物图像的样本类别标签的真实值,确定该关联图像组的关联组损失差;最终,基于多个关联图像组对应的关联组损失差,确定每个样本人物图像的关联损失。
具体的,通过以下公式计算每个样本人物图像的关联损失:
Figure BDA0002509633610000201
其中,Li表示第i个样本人物图像的关联损失,xi2表示第二图像的面部遮挡预测值,xi1表示第一图像的面部遮挡预测值,yi表示第i个样本人物图像的样本类别标签的真实值,α为正整数。
另外,关联损失的意义在于:第二图像的面部遮挡预测值和样本人物图像的样本类别标签对应的真实值,与第一图像的面部遮挡预测值和样本人物图像的样本类别标签对应的真实值之间的差值加上一个正数(以α为例),如果大于0则产生损失。
由于第一图像与第二图像中包含的人脸信息依次增加,因此期望它们与样本类别标签对应的真实值之间的差值应该越来越小,也即包含人脸信息越多,模型判断结果越准确,否则,就在模型的训练过程中产生损失。通过这种损失机制,使得模型在学习过程中逐步减小第二图像的面部遮挡预测值与样本类别标签对应的真实值的距离,也即将注意力从整张图上逐步集中到人脸区域,从而不再需要我们通过人脸检测对检测到的人脸区域进行识别。
进一步的,所述基于所述网络损失值,对所述深度卷积神经网络的网络参数进行调整,得到训练好的面部识别模型,包括:确定所述损失值是否大于预设损失阈值;若所述网络损失值大于预设损失阈值,调整所述深度卷积神经网络的网络参数,直至所述网络损失值小于或等于所述预设损失阈值,确定所述深度卷积神经网络训练完毕;将训练完的所述深度卷积神经网络确定为面部识别模型。
该步骤中,基于得到的网络损失值,确定计算出的深度卷积神经网络的网络损失值是否大于预设损失阈值,若深度卷积神经网络的网络损失值大于预设损失阈值,则调整深度卷积神经网络中的各个网络参数,直至深度卷积神经网络的网络损失值小于预设损失阈值为止,确定深度卷积神经网络训练完毕;将深度卷积神经网络确定为面部识别模型,以用于识别待识别人物图像的面部遮挡物识别结果。
本申请实施例提供的面部识别方法,获取多个样本人物图像,以及每个所述样本人物图像中人物面部是否佩戴面部遮挡物的样本类别标签;针对于每个所述样本人物图像,确定出所述样本人物图像中人物面部的面部位置区域;基于所述面部位置区域,确定所述样本人物图像的多个参考人物图像,其中,所述样本人物图像和对应的多个参考人物图像中任意两个图像的人物面部在图像中所占的尺寸比例不同;基于所述多个样本人物图像、与每个所述样本人物图像对应的多个参考人物图像、每个所述样本人物图像的样本类别标签,对构建的深度卷积神经网络进行训练,得到训练好的面部识别模型;将采集到的待识别人物图像输入至所述面部识别模型,得到所述待识别人物图像的面部遮挡物识别结果。
这样,本申请通过获取多个用于训练的样本人物图像,确定每个样本人物图像中人物面部的面部位置区域,并根据面部位置区域确定出每个样本人物图像对应的多个参考人物图像,并通过多个样本人物图像以及每个样本人物图像对应的多个参考人物图像训练深度卷积神经网络,得到面部识别模型,得到训练好的面部识别模型,通过面部识别模型对采集到的待识别人物图像进行识别,确定待识别人物图像的面部遮挡物的识别结果,由于在每个样本图像以及该样本图像的每个参考人物图像中人物面部所占比例的不同,使得面部识别模型在识别的过程中能够将关注点放在人物面部上,因此,面部识别模型的使用过程将无需进行人物面部的检测,可以直接进行面部遮挡物佩戴识别的单阶段识别,因此可以快速准确地确定出待识别人物图像中的人物是否佩戴了面部遮挡物,大大减少检测的时间,有助于提高面部遮挡物的佩戴识别的速度。
另外,本申请还能够在面部识别模型训练的过程中,结合相应的损失函数调节面部识别模型的相应参数,可以进一步的提高面部识别模型的识别结果的准确性。
请参阅图8,图8为本申请实施例所提供的一种面部识别装置的结构示意图,所述面部识别装置800包括:
图像获取模块810,用于获取多个样本人物图像,以及每个所述样本人物图像中人物面部是否佩戴面部遮挡物的样本类别标签;
图像确定模块820,用于针对每个所述样本人物图像,确定出所述样本人物图像的多个参考人物图像,其中,所述样本人物图像和对应的多个参考人物图像中任意两个图像的人物面部在图像中所占的尺寸比例不同;
模型训练模块830,用于基于所述多个样本人物图像、与每个所述样本人物图像对应的多个参考人物图像、每个所述样本人物图像的样本类别标签,对构建的深度卷积神经网络进行训练,得到训练好的面部识别模型;
图像识别模块840,用于将采集到的待识别人物图像输入至所述面部识别模型,得到所述待识别人物图像的面部遮挡物识别结果。
进一步的,所述图像确定模块820在用于针对每个样本人物图像,确定出每个样本人物图像的多个参考人物图像,其中,所述该样本人物图像和对应的多个参考人物图像中任意两个图像的人物面部在图像中所占的尺寸比例不同时,所述图像确定模块820用于:
针对于每个所述样本人物图像,确定出所述样本人物图像中人物面部的面部位置区域;
基于所述面部位置区域,确定所述样本人物图像的多个参考人物图像,其中,所述样本人物图像和对应的多个参考人物图像中任意两个图像的人物面部在图像中所占的尺寸比例不同。
进一步的,所述图像确定模块820在用于基于所述面部位置区域,确定所述样本人物图像的多个参考人物图像时,所述图像确定模块820用于:
按照人物面部在图像中所占的预设比例,对所述样本人物图像的所述面部位置区域进行区域范围扩充,从所述样本人物图像中得到第一张参考人物图像;
将得到的参考人物图像作为样本人物图像,在该样本人物图像中按照所述预设比例对面部位置区域进行区域范围扩充,得到第二张参考人物图像,以此类推,直至得到与所述样本人物图像对应的预设数量的多个参考人物图像。
进一步的,所述图像确定模块820在用于基于所述面部位置区域,确定所述样本人物图像的多个参考人物图像时,所述图像确定模块820用于:
获取人物面部在图像中所占的多个区域比例;
依次按照每个区域比例,对所述样本人物图像中的所述面部位置区域进行区域范围扩充,得到与所述样本人物图像对应的多个参考人物图像。
进一步的,所述模型训练模块830在用于基于所述多个样本人物图像、与每个所述样本人物图像对应的多个参考人物图像、每个所述样本人物图像的样本类别标签,对构建的深度卷积神经网络进行训练,得到训练好的面部识别模型时,所述模型训练模块830用于:
将所述多个样本人物图像和与每个样本人物图像对应的多个参考人物图像输入至构建的深度卷积神经网络中,得到每个所述样本人物图像和每个所述参考人物图像的面部遮挡预测值;
基于每个所述样本人物图像和每个所述参考人物图像的面部遮挡预测值,以及每个所述样本人物图像的样本类别标签,确定所述深度卷积神经网络的网络损失值;
基于所述网络损失值,对所述深度卷积神经网络的网络参数进行调整,得到训练好的面部识别模型。
进一步的,所述模型训练模块830在用于基于每个所述样本人物图像和每个所述参考人物图像的面部遮挡预测值,以及每个所述样本人物图像的样本类别标签,确定所述深度卷积神经网络的网络损失值时,所述模型训练模块830用于:
基于每个所述样本人物图像和该样本人物图像的每个参考人物图像的面部遮挡预测值,以及每个所述样本人物图像的样本类别标签,确定每个所述样本人物图像的关联损失以及均方误差;
基于确定出的多个所述关联损失以及多个所述均方误差,确定所述深度卷积神经网络的网络损失值。
进一步的,所述模型训练模块830通过以下步骤确定每个所述样本人物图像的均方误差:
针对每个所述样本人物图像,基于所述样本人物图像的面部遮挡预测值,以及与所述样本人物图像的样本类别标签对应的真实值,确定所述样本人物图像的第一均方误差;
基于与所述样本人物图像对应的每个参考人物图像的面部遮挡预测值,以及与所述样本人物图像的样本类别标签对应的真实值,确定每个所述样本人物图像的多个第二均方误差;
基于所述第一均方误差以及所述多个第二均方误差,确定所述样本人物图像的均方误差。
进一步的,所述模型训练模块830通过以下步骤确定每个所述样本人物图像的关联损失:
对于每个所述样本人物图像,从包括所述样本人物图像和对应的多个参考人物图像的多个图像中确定出多个关联图像组,其中,所述关联图像组中包括第一图像和第二图像,所述第一图像中人物面部所占的尺寸比例小于所述第二图像中人物面部所占的尺寸比例;
基于每个所述关联图像组中第一图像对应的面部遮挡预测值、第二图像对应的面部遮挡预测值以及所述样本人物图像的样本类别标签对应的真实值,确定每个所述关联图像组的关联组损失差;
基于多个所述关联组损失差,确定每个所述样本人物图像的关联损失。
进一步的,所述模型训练模块830在用于基于所述网络损失值,对所述深度卷积神经网络的网络参数进行调整,得到训练好的面部识别模型时,所述模型训练模块830用于:
确定所述网络损失值是否大于预设损失阈值;
若所述网络损失值大于预设损失阈值,调整所述深度卷积神经网络的网络参数,直至所述网络损失值小于或等于所述预设损失阈值,确定所述深度卷积神经网络训练完毕;
将训练完的所述深度卷积神经网络确定为面部识别模型。
本申请实施例提供的面部识别装置,获取多个样本人物图像,以及每个所述样本人物图像中人物面部是否佩戴面部遮挡物的样本类别标签;针对每个所述样本人物图像,确定出所述样本人物图像的多个参考人物图像,其中,所述样本人物图像和对应的多个参考人物图像中任意两个图像的人物面部在图像中所占的尺寸比例不同;基于所述多个样本人物图像、与每个所述样本人物图像对应的多个参考人物图像、每个所述样本人物图像的样本类别标签,对构建的深度卷积神经网络进行训练,得到训练好的面部识别模型;将采集到的待识别人物图像输入至所述面部识别模型,得到所述待识别人物图像的面部遮挡物识别结果。
这样,本申请通过获取多个用于训练的样本人物图像,确定出每个样本人物图像对应的多个参考人物图像,并通过多个样本人物图像以及每个样本人物图像对应的多个参考人物图像训练深度卷积神经网络,得到面部识别模型,得到训练好的面部识别模型,通过面部识别模型对采集到的待识别人物图像进行识别,确定待识别人物图像的面部遮挡物的识别结果,由于在每个样本图像以及该样本图像的每个参考人物图像中人物面部所占比例的不同,使得面部识别模型在识别的过程中能够将关注点放在人物面部上,因此,在面部识别模型的使用过程将无需进行人物面部的检测,可以直接进行面部遮挡物佩戴识别的单阶段识别,因此可以快速准确地确定出待识别人物图像中的人物是否佩戴了面部遮挡物,大大减少检测的时间,有助于提高面部遮挡物的佩戴识别的速度。
请参阅图9,图9为本申请实施例所提供的一种电子设备的结构示意图。如图9中所示,所述电子设备900包括处理器910、存储器920和总线930。
所述存储器920存储有所述处理器910可执行的机器可读指令,当电子设备900运行时,所述处理器910与所述存储器920之间通过总线930通信,所述机器可读指令被所述处理器910执行时,可以执行如上述图2以及图7示方法实施例中的面部识别方法的步骤,具体实现方式可参见方法实施例,在此不再赘述。
本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时可以执行如上述图2以及图7所示方法实施例中的面部识别方法的步骤,具体实现方式可参见方法实施例,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的***、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本申请的具体实施方式,用以说明本申请的技术方案,而非对其限制,本申请的保护范围并不局限于此,尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

Claims (12)

1.一种面部识别方法,其特征在于,所述面部识别方法包括:
获取多个样本人物图像,以及每个所述样本人物图像中人物面部是否佩戴面部遮挡物的样本类别标签;
针对每个所述样本人物图像,确定出所述样本人物图像的多个参考人物图像,其中,所述样本人物图像和对应的多个参考人物图像中任意两个图像的人物面部在图像中所占的尺寸比例不同;
基于所述多个样本人物图像、与每个所述样本人物图像对应的多个参考人物图像、每个所述样本人物图像的样本类别标签,对构建的深度卷积神经网络进行训练,得到训练好的面部识别模型;
将采集到的待识别人物图像输入至所述面部识别模型,得到所述待识别人物图像的面部遮挡物识别结果。
2.根据权利要求1所述的面部识别方法,其特征在于,所述针对每个所述样本人物图像,确定出每个样本人物图像的多个参考人物图像,其中,所述样本人物图像和对应的多个参考人物图像中任意两个图像的人物面部在图像中所占的尺寸比例不同,包括:
针对于每个所述样本人物图像,确定出所述样本人物图像中人物面部的面部位置区域;
基于所述面部位置区域,确定所述样本人物图像的多个参考人物图像,其中,所述样本人物图像和对应的多个参考人物图像中任意两个图像的人物面部在图像中所占的尺寸比例不同。
3.根据权利要求2所述的面部识别方法,其特征在于,所述基于所述面部位置区域,确定所述样本人物图像的多个参考人物图像,包括:
按照人物面部在图像中所占的预设比例,对所述样本人物图像的所述面部位置区域进行区域范围扩充,从所述样本人物图像中得到第一张参考人物图像;
将得到的参考人物图像作为样本人物图像,在该样本人物图像中按照所述预设比例对面部位置区域进行区域范围扩充,得到第二张参考人物图像,以此类推,直至得到与所述样本人物图像对应的预设数量的多个参考人物图像。
4.根据权利要求2所述的面部识别方法,其特征在于,所述基于所述面部位置区域,确定所述样本人物图像的多个参考人物图像,包括:
获取人物面部在图像中所占的多个区域比例;
依次按照每个区域比例,对所述样本人物图像中的所述面部位置区域进行区域范围扩充,得到与所述样本人物图像对应的多个参考人物图像。
5.根据权利要求1所述的面部识别方法,其特征在于,所述基于所述多个样本人物图像、与每个所述样本人物图像对应的多个参考人物图像、每个所述样本人物图像的样本类别标签,对构建的深度卷积神经网络进行训练,得到训练好的面部识别模型,包括:
将所述多个样本人物图像和与每个样本人物图像对应的多个参考人物图像输入至构建的深度卷积神经网络中,得到每个所述样本人物图像和每个所述参考人物图像的面部遮挡预测值;
基于每个所述样本人物图像和每个所述参考人物图像的面部遮挡预测值,以及每个所述样本人物图像的样本类别标签,确定所述深度卷积神经网络的网络损失值;
基于所述网络损失值,对所述深度卷积神经网络的网络参数进行调整,得到训练好的面部识别模型。
6.根据权利要求5所述的面部识别方法,其特征在于,所述基于每个所述样本人物图像和每个所述参考人物图像的面部遮挡预测值,以及每个所述样本人物图像的样本类别标签,确定所述深度卷积神经网络的网络损失值,包括:
基于每个所述样本人物图像和该样本人物图像的每个参考人物图像的面部遮挡预测值,以及每个所述样本人物图像的样本类别标签,确定每个所述样本人物图像的关联损失以及均方误差;
基于确定出的多个所述关联损失以及多个所述均方误差,确定所述深度卷积神经网络的网络损失值。
7.根据权利要求6所述的面部识别方法,其特征在于,通过以下步骤确定每个所述样本人物图像的均方误差:
针对每个所述样本人物图像,基于所述样本人物图像的面部遮挡预测值,以及与所述样本人物图像的样本类别标签对应的真实值,确定所述样本人物图像的第一均方误差;
基于与所述样本人物图像对应的每个参考人物图像的面部遮挡预测值,以及与所述样本人物图像的样本类别标签对应的真实值,确定每个所述样本人物图像的多个第二均方误差;
基于所述第一均方误差以及所述多个第二均方误差,确定所述样本人物图像的均方误差。
8.根据权利要求6所述的面部识别方法,其特征在于,通过以下步骤确定每个所述样本人物图像的关联损失:
对于每个所述样本人物图像,从包括所述样本人物图像和对应的多个参考人物图像的多个图像中确定出多个关联图像组,其中,所述关联图像组中包括第一图像和第二图像,所述第一图像中人物面部所占的尺寸比例小于所述第二图像中人物面部所占的尺寸比例;
基于每个所述关联图像组中第一图像对应的面部遮挡预测值、第二图像对应的面部遮挡预测值以及所述样本人物图像的样本类别标签对应的真实值,确定每个所述关联图像组的关联组损失差;
基于多个所述关联组损失差,确定每个所述样本人物图像的关联损失。
9.根据权利要求5所述的面部识别方法,其特征在于,所述基于所述网络损失值,对所述深度卷积神经网络的网络参数进行调整,得到训练好的面部识别模型,包括:
确定所述损失值是否大于预设损失阈值;
若所述网络损失值大于预设损失阈值,调整所述深度卷积神经网络的网络参数,直至所述网络损失值小于或等于所述预设损失阈值,确定所述深度卷积神经网络训练完毕;
将训练完的所述深度卷积神经网络确定为面部识别模型。
10.一种面部识别装置,其特征在于,所述面部识别装置包括:
图像获取模块,用于获取多个样本人物图像,以及每个所述样本人物图像中人物面部是否佩戴面部遮挡物的样本类别标签;
图像确定模块,用于针对每个所述样本人物图像,确定出所述样本人物图像的多个参考人物图像,其中,所述样本人物图像和对应的多个参考人物图像中任意两个图像的人物面部在图像中所占的尺寸比例不同;
模型训练模块,用于基于所述多个样本人物图像、与每个所述样本人物图像对应的多个参考人物图像、每个所述样本人物图像的样本类别标签,对构建的深度卷积神经网络进行训练,得到训练好的面部识别模型;
图像识别模块,用于将采集到的待识别人物图像输入至所述面部识别模型,得到所述待识别人物图像的面部遮挡物识别结果。
11.一种电子设备,其特征在于,包括:处理器、存储介质和总线,所述存储介质存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储介质之间通过总线通信,所述处理器执行所述机器可读指令,以执行如权利要求1至9任一所述面部识别方法的步骤。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如权利要求1至9任一所述面部识别方法的步骤。
CN202010457116.3A 2020-05-26 2020-05-26 一种面部识别方法、面部识别装置及可读存储介质 Pending CN111626193A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010457116.3A CN111626193A (zh) 2020-05-26 2020-05-26 一种面部识别方法、面部识别装置及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010457116.3A CN111626193A (zh) 2020-05-26 2020-05-26 一种面部识别方法、面部识别装置及可读存储介质

Publications (1)

Publication Number Publication Date
CN111626193A true CN111626193A (zh) 2020-09-04

Family

ID=72271169

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010457116.3A Pending CN111626193A (zh) 2020-05-26 2020-05-26 一种面部识别方法、面部识别装置及可读存储介质

Country Status (1)

Country Link
CN (1) CN111626193A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112818901A (zh) * 2021-02-22 2021-05-18 成都睿码科技有限责任公司 一种基于眼部注意力机制的戴口罩人脸识别方法

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106658169A (zh) * 2016-12-18 2017-05-10 北京工业大学 一种基于深度学习多层次分割新闻视频的通用方法
CN107145867A (zh) * 2017-05-09 2017-09-08 电子科技大学 基于多任务深度学习的人脸及人脸遮挡物检测方法
CN107492115A (zh) * 2017-08-30 2017-12-19 北京小米移动软件有限公司 目标对象的检测方法及装置
CN107609536A (zh) * 2017-09-29 2018-01-19 百度在线网络技术(北京)有限公司 信息生成方法和装置
CN107633204A (zh) * 2017-08-17 2018-01-26 平安科技(深圳)有限公司 人脸遮挡检测方法、装置及存储介质
CN108491794A (zh) * 2018-03-22 2018-09-04 腾讯科技(深圳)有限公司 面部识别的方法和装置
US20190222817A1 (en) * 2017-09-27 2019-07-18 University Of Miami Vision defect determination and enhancement
CN110059634A (zh) * 2019-04-19 2019-07-26 山东博昂信息科技有限公司 一种大场景人脸抓拍方法
CN110177191A (zh) * 2019-05-10 2019-08-27 惠州市航泰光电有限公司 一种用于3d摄像头人脸识别模块的盖板及其生产方法
CN110443132A (zh) * 2019-07-02 2019-11-12 南京理工大学 一种基于深度学习的人脸检测及面部多属性融合分析方法
CN110490115A (zh) * 2019-08-13 2019-11-22 北京达佳互联信息技术有限公司 人脸检测模型的训练方法、装置、电子设备及存储介质
CN110555339A (zh) * 2018-05-31 2019-12-10 北京嘀嘀无限科技发展有限公司 一种目标检测方法、***、装置及存储介质
US20200012859A1 (en) * 2017-03-28 2020-01-09 Zhejiang Dahua Technology Co., Ltd. Methods and systems for fire detection
CN110781728A (zh) * 2019-09-16 2020-02-11 北京嘀嘀无限科技发展有限公司 一种人脸朝向估计方法、装置、电子设备及存储介质
CN110909690A (zh) * 2019-11-26 2020-03-24 电子科技大学 一种基于区域生成的遮挡人脸图像检测方法
CN110909595A (zh) * 2019-10-12 2020-03-24 平安科技(深圳)有限公司 面部动作识别模型训练方法、面部动作识别方法
CN111046949A (zh) * 2019-12-10 2020-04-21 东软集团股份有限公司 一种图像分类方法、装置及设备
CN111062328A (zh) * 2019-12-18 2020-04-24 中新智擎科技有限公司 一种图像处理方法、装置及智能机器人

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106658169A (zh) * 2016-12-18 2017-05-10 北京工业大学 一种基于深度学习多层次分割新闻视频的通用方法
US20200012859A1 (en) * 2017-03-28 2020-01-09 Zhejiang Dahua Technology Co., Ltd. Methods and systems for fire detection
CN107145867A (zh) * 2017-05-09 2017-09-08 电子科技大学 基于多任务深度学习的人脸及人脸遮挡物检测方法
CN107633204A (zh) * 2017-08-17 2018-01-26 平安科技(深圳)有限公司 人脸遮挡检测方法、装置及存储介质
CN107492115A (zh) * 2017-08-30 2017-12-19 北京小米移动软件有限公司 目标对象的检测方法及装置
US20190222817A1 (en) * 2017-09-27 2019-07-18 University Of Miami Vision defect determination and enhancement
CN107609536A (zh) * 2017-09-29 2018-01-19 百度在线网络技术(北京)有限公司 信息生成方法和装置
CN108491794A (zh) * 2018-03-22 2018-09-04 腾讯科技(深圳)有限公司 面部识别的方法和装置
CN110555339A (zh) * 2018-05-31 2019-12-10 北京嘀嘀无限科技发展有限公司 一种目标检测方法、***、装置及存储介质
CN110059634A (zh) * 2019-04-19 2019-07-26 山东博昂信息科技有限公司 一种大场景人脸抓拍方法
CN110177191A (zh) * 2019-05-10 2019-08-27 惠州市航泰光电有限公司 一种用于3d摄像头人脸识别模块的盖板及其生产方法
CN110443132A (zh) * 2019-07-02 2019-11-12 南京理工大学 一种基于深度学习的人脸检测及面部多属性融合分析方法
CN110490115A (zh) * 2019-08-13 2019-11-22 北京达佳互联信息技术有限公司 人脸检测模型的训练方法、装置、电子设备及存储介质
CN110781728A (zh) * 2019-09-16 2020-02-11 北京嘀嘀无限科技发展有限公司 一种人脸朝向估计方法、装置、电子设备及存储介质
CN110909595A (zh) * 2019-10-12 2020-03-24 平安科技(深圳)有限公司 面部动作识别模型训练方法、面部动作识别方法
CN110909690A (zh) * 2019-11-26 2020-03-24 电子科技大学 一种基于区域生成的遮挡人脸图像检测方法
CN111046949A (zh) * 2019-12-10 2020-04-21 东软集团股份有限公司 一种图像分类方法、装置及设备
CN111062328A (zh) * 2019-12-18 2020-04-24 中新智擎科技有限公司 一种图像处理方法、装置及智能机器人

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
WU, YUE ET AL: "Deep Face Recognition with Center Invariant Loss", 《THEMATIC WORKSHOPS’17》 *
ZHONG-QIU ZHAO ET AL: "Corrupted and occluded face recognition via cooperative sparse representation", 《PATTERN RECOGNITION》 *
***等: "基于深度学习的部分遮挡人脸识别", 《电子技术与软件工程》 *
王莹: "基于深度学习的多形态人脸识别", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
莫剑宏等: "基于面部特征的性别识别", 《社会心理科学》 *
董艳花等: "有遮挡人脸识别方法综述", 《计算机工程与应用》 *
马宁: "基于图像的人脸识别中关键技术研究", 《中国博士学位论文全文数据库 信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112818901A (zh) * 2021-02-22 2021-05-18 成都睿码科技有限责任公司 一种基于眼部注意力机制的戴口罩人脸识别方法

Similar Documents

Publication Publication Date Title
CN108921159B (zh) 用于检测安全帽的佩戴情况的方法和装置
CN111723786B (zh) 一种基于单模型预测的安全帽佩戴检测方法及装置
CN111523480A (zh) 一种面部遮挡物的检测方法、装置、电子设备及存储介质
CN113139500B (zh) 烟雾检测方法、***、介质及设备
CN109063625A (zh) 一种基于级联深度网络的人脸关键点检测方法
CN111652046A (zh) 基于深度学习的安全穿戴检测方法、设备及***
US20230186634A1 (en) Vision-based monitoring of site safety compliance based on worker re-identification and personal protective equipment classification
CN111814612A (zh) 目标的脸部检测方法及其相关装置
KR20150093453A (ko) 차량 번호판 이중 검출 방법 및 장치
CN113516144A (zh) 目标检测方法及装置、计算设备
CN111738080A (zh) 一种人脸检测和对齐的方法及装置
CN111626193A (zh) 一种面部识别方法、面部识别装置及可读存储介质
CN114140663A (zh) 一种基于多尺度注意力学习网络的害虫识别方法及***
CN113314230A (zh) 基于大数据的智能防疫方法、装置、设备及存储介质
CN116137061B (zh) 数量统计模型的训练方法、装置、电子设备及存储介质
CN109600627B (zh) 一种视频识别方法和装置
CN115083004B (zh) 一种身份识别方法、装置和计算机可读存储介质
CN115690514A (zh) 图像识别方法及相关设备
CN115273150A (zh) 基于人体姿态估计的安全帽佩戴的新型识别方法及***
CN112989869B (zh) 人脸质量检测模型的优化方法、装置、设备及存储介质
CN111275693B (zh) 一种图像中物体的计数方法、计数装置及可读存储介质
CN111382628B (zh) 同行判定方法及装置
CN113947795A (zh) 口罩佩戴检测方法、装置、设备及存储介质
CN114913567A (zh) 口罩佩戴的检测方法、装置、终端设备及可读存储介质
CN111325132A (zh) 一种智能监控***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20220311

AD01 Patent right deemed abandoned