CN112581357A - 人脸数据的处理方法、装置、电子设备和存储介质 - Google Patents

人脸数据的处理方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN112581357A
CN112581357A CN202011483096.3A CN202011483096A CN112581357A CN 112581357 A CN112581357 A CN 112581357A CN 202011483096 A CN202011483096 A CN 202011483096A CN 112581357 A CN112581357 A CN 112581357A
Authority
CN
China
Prior art keywords
face
target object
point cloud
cloud data
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011483096.3A
Other languages
English (en)
Inventor
岳冬
王玉宾
叶朝虹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gree Electric Appliances Inc of Zhuhai
Zhuhai Lianyun Technology Co Ltd
Original Assignee
Gree Electric Appliances Inc of Zhuhai
Zhuhai Lianyun Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gree Electric Appliances Inc of Zhuhai, Zhuhai Lianyun Technology Co Ltd filed Critical Gree Electric Appliances Inc of Zhuhai
Priority to CN202011483096.3A priority Critical patent/CN112581357A/zh
Publication of CN112581357A publication Critical patent/CN112581357A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37—Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例中提供一种人脸数据的处理方法、装置、电子设备和存储介质，用于解决相关技术中人脸识别容易受环境影响且效率低的问题。本申请实施例中采集目标对象的人脸的三维点云数据进行人脸识别，能够得到人脸的立体特征。然后将三维点云数据映射到二维平面，能够得到目标对象的平面图像。之后，基于该平面图像进行人人脸识别。本申请实施例中，提取的二维平面图像是由三维点云数据转换而来的，不受环境光的影响，也能够提取到人脸的五官特征。在人脸识别阶段，通过平面图像进行人脸识别还能够提高人脸识别的效率。故此，本申请实施例中提供了一种能够很好的兼顾效率和精度的人脸识别方法。

Description

人脸数据的处理方法、装置、电子设备和存储介质
技术领域
本申请涉及人工智能技术领域，特别涉及一种人脸数据的处理方法、装置、电子设备和存储介质。
背景技术
人脸识别在技术的发展为人们的生活学习提供了很多便利。很多场景中可通过人脸识别技术完成相应的业务。例如考勤打卡，智能门锁控制和安防监控等。
但是人脸识别的准确性，容易受环境和各种因素的影响。例如在昏暗的环境中如何人脸图像采集不清晰会导致无法识别人脸，亦或者由于化妆等因素改变人们面部外观特征也容易导致识别失败。故此，如何进一步提高人脸识别的准确性仍需解决。
发明内容
本申请的目的是提供一种人脸数据的处理方法、装置、电子设备和存储介质，用于解决相关技术中需进一步提高人脸识别的准确性的问题。
第一方面，本申请实施例提供了一种人脸数据的处理方法，包括：
获取目标对象的人脸的三维点云数据；
将所述三维点云数据映射到二维平面，得到所述目标对象的平面图像；
基于所述平面图像对所述目标对象进行人脸识别。
在一些实施例中，所述基于所述平面图像对所述目标对象进行人脸识别，包括：
从所述平面图像中进行人脸区域识别，得到人脸信息，所述人脸信息包括人脸区域和人脸关键点位置；
采用所述人脸信息进行人脸分类处理，确定所述目标对象是否为已知对象。
在一些实施例中，所述将所述三维点云数据映射到二维平面，得到所述目标对象的平面图像，包括：
将所述三维点云数据划分出多个网格；
将每个所述网格内的三维点云数据分别归一化到指定取值空间，得到所述平面图像。
在一些实施例中，所述将每个所述网格内的三维点云数据分别归一化到指定取值空间，包括：
对每个所述网格分别执行：
基于所述网格内的点云数据的位置信息和高度信息为所述网格分配权重，其中，所述权重与高度信息具有正相关关系，且当点云数据的位置越接近中心区域时所述权重越高；
将所述网格的权重进行归一化处理，得到所述平面图像中与所述网格对应的像素点。
在一些实施例中，所述将所述三维点云数据划分出多个网格，包括：
按照每个网格的尺寸，将所述三维点云数据在长度和宽度方向上进行切分，得到所述多个网格。
在一些实施例中，所述从所述平面图像中进行人脸区域识别，得到人脸信息，包括：
采用第一神经网络从所述平面图像中识别出多个第一候选人脸框；
采用第二神经网络对各所述第一候选人脸框进行评分，得到各所述第一候选人脸框的评分值；并，基于评分值从所述多个第一候选人脸框中筛选出第二候选人脸框；
采用第三神经网络对所述多个第二候选人脸框的各自的子图进行处理分析，得到所述人脸信息。
在一些实施例中，所述采用所述人脸信息进行人脸分类处理，确定所述目标对象是否为已知对象，包括：
依据所述人脸信息中的人脸区域和所述人脸关键点位置，从所述平面图像中对所述目标对象进行特征提取，得到所述目标对象的人脸特征；
基于所述人脸特征进行分类识别，得到所述目标对象的人脸类别；
若所述人脸类别为已知目标对象，则确定所述目标对象为已知对象；
若所述人脸类别为未知目标对象，则确定所述目标对象为未知对象。
在一些实施例中，所述方法还包括：
若所述目标对象为已知对象，则控制智能门锁执行开锁操作。
第二方面，本申请还提供一种人脸数据的处理装置，所述装置包括：
点云数据获取模块，用于获取目标对象的人脸的三维点云数据；
平面图像获取模块，用于将所述三维点云数据映射到二维平面，得到所述目标对象的平面图像；
人脸识别模块，用于基于所述平面图像对所述目标对象进行人脸识别。
在一些实施例中，所述人脸识别模块，用于：
从所述平面图像中进行人脸区域识别，得到人脸信息，所述人脸信息包括人脸区域和人脸关键点位置；
采用所述人脸信息进行人脸分类处理，确定所述目标对象是否为已知对象。
在一些实施例中，平面图像获取模块，用于：
将所述三维点云数据划分出多个网格；
将每个所述网格内的三维点云数据分别归一化到指定取值空间，得到所述平面图像。
在一些实施例中，执行所述将每个所述网格内的三维点云数据分别归一化到指定取值空间，所述平面图像获取模块用于：
对每个所述网格分别执行：
基于所述网格内的点云数据的位置信息和高度信息为所述网格分配权重，其中，所述权重与高度信息具有正相关关系，且当点云数据的位置越接近中心区域时所述权重越高；
将所述网格的权重进行归一化处理，得到所述平面图像中与所述网格对应的像素点。
在一些实施例中，执行所述将所述三维点云数据划分出多个网格，所述平面图像获取模块用于：按照每个网格的尺寸，将所述三维点云数据在长度和宽度方向上进行切分，得到所述多个网格。
在一些实施例中，执行所述从所述平面图像中进行人脸区域识别，得到人脸信息时，所述人脸识别模块用于：
采用第一神经网络从所述平面图像中识别出多个第一候选人脸框；
采用第二神经网络对各所述第一候选人脸框进行评分，得到各所述第一候选人脸框的评分值；并，基于评分值从所述多个第一候选人脸框中筛选出第二候选人脸框；
采用第三神经网络对所述多个第二候选人脸框的各自的子图进行处理分析，得到所述人脸信息。
在一些实施例中，执行所述采用所述人脸信息进行人脸分类处理，确定所述目标对象是否为已知对象时，所述人脸识别模块用于：
依据所述人脸信息中的人脸区域和所述人脸关键点位置，从所述平面图像中对所述目标对象进行特征提取，得到所述目标对象的人脸特征；
基于所述人脸特征进行分类识别，得到所述目标对象的人脸类别；
若所述人脸类别为已知目标对象，则确定所述目标对象为已知对象；
若所述人脸类别为未知目标对象，则确定所述目标对象为未知对象。
在一些实施例中，所述装置还包括：
门锁控制模块，用于若所述目标对象为已知对象，则控制智能门锁执行开锁操作。
第三方面，本申请另一实施例还提供了一种电子设备，包括至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请实施例提供的任一人脸数据的处理方法。
第四方面，本申请另一实施例还提供了一种计算机存储介质，其中，所述计算机存储介质存储有计算机程序，所述计算机程序用于使计算机执行本申请实施例中的任一人脸数据的处理方法。
本申请实施例中，采集目标对象的人脸的三维点云数据进行人脸识别，能够得到人脸的立体特征。然后将三维点云数据映射到二维平面，能够得到目标对象的平面图像。之后，基于该平面图像进行人脸识别。本申请实施例中，提取的二维平面图像是由三维点云数据转换而来的，不受环境光的影响，也能够提取到人脸的五官特征。在人脸识别阶段，通过平面图像进行人脸识别还能够提高人脸识别的效率。故此，本申请实施例中提供了一种能够很好的兼顾效率和精度的人脸识别方法。
本申请实施例中，本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，显而易见地，下面所介绍的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为根据本申请一个实施例的应用环境的示意图；
图2为根据本申请一个实施例的人脸数据的处理流程示意图；
图3a为根据本申请一个实施例的门锁***图；
图3b为根据本申请一个实施例的人脸数据的处理流程示意图；
图4为根据本申请一个实施例的人脸数据的处理装置示意图；
图5为根据本申请一个实施例的电子设备的示意图。
具体实施方式
为了使本领域普通人员更好地理解本申请的技术方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本申请的说明书和权利要求书的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
鉴于相关技术中进行人脸识别时，容易受环境的影响和受识别对象的化妆因素的影响，本申请实施例中提供一种人脸数据的处理方法，用于提高人脸识别的准确性。
本申请实施例中，采集目标对象的人脸的三维点云数据进行人脸识别，能够得到人脸的立体特征。然后将三维点云数据映射到二维平面，能够得到目标对象的平面图像。之后，基于该平面图像进行人脸识别。本申请实施例中，提取的二维平面图像是由三维点云数据转换而来的，不受环境光的影响，也能够提取到人脸的五官特征。在人脸识别阶段，通过平面图像进行人脸识别还能够提高人脸识别的效率。故此，本申请实施例中提供了一种能够很好的兼顾效率和精度的人脸识别方法。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
以智能门锁控制为例对本申请实施例中的人脸数据的处理方法进行说明。传统的智能门锁控制，可包括指纹开锁、密码开锁。但这些开锁方式不适用于老人和儿童。人脸识别无需用户执行任何操作即可开锁，所以普及的潜力更大。但鉴于光线和化妆等因素的影响人脸识别准确率不高影响了智能门锁的应用普及。故此，使用本申请实施提供的人脸数据的处理方法能够在效率和准确度上兼顾，应用在智能门锁中时可以方便的进行人脸识别来控制智能门锁。
本申请实施例中，不仅适用于智能门锁控制，在任何需要人脸识别的应用场景均可使用。
图1为根据本申请一个实施例的一应用场景的示意图。
如图1所示，该应用场景中例如可以包括存储***10、服务器20以及终端设备30(例如，30_1与30_2或30_N)。终端设备30可用来进行网络访问的任何合适的电子设备，包括但不限于智能门锁、计算机、笔记本电脑、智能手机、平板电脑、智能手表、智能手环或是其它类型的终端。存储***10能够存储已知对象的特征信息等。当然，智能门锁中各个用户的特征信息可以存储于智能门锁中以便于进行门锁控制。服务器20用于实现与终端设备30的交互，返回给终端设备30。
实施时，以智能门锁为例，智能门锁可以采集人脸的三维点云数据，可以由智能门锁对采集的三维点云数据进行分析得到人脸识别结果，也可以由智能门锁将三维点云数据发送给服务器20由服务20对三维点云数据进行人脸识别，并将识别结果返回给智能门锁。若识别到已知对象，即识别到能够开启智能门锁的对象，则控制智能门锁开锁，否则可以由智能门锁提示无法开锁。
需要说明的是，本申请实施例中，对人脸数据的处理可以由终端设备30来执行，也可以由服务器20来执行，也可以部分由终端设备30部分由服务器20执行，本申请对此不作限定。
终端设备30之间(例如，30_1与30_2或30_N之间)也可以经由网络40彼此通信。例如，智能门锁可以在成功开锁时提示绑定的移动终端，智能门锁的开锁记录也可以导出来在移动终端查看。
网络40可以是广义上的用于信息传递的网络，可以包括一个或多个通信网络，诸如无线通信网络、因特网、私域网、局域网、城域网、广域网或是蜂窝数据网络等。
本申请中的描述中仅就单个服务器或终端设备加以详述，但是本领域技术人员应当理解的是，示出的单个服务器20、终端设备30和存储***10旨在表示本申请的技术方案涉及终端设备、服务器以及存储***的操作。对单个终端设备以及单个服务器和存储***加以详述至少为了说明方便，而非暗示对终端设备和服务器的数量、类型或是位置等具有限制。应当注意，如果向图示环境中添加附加模块或从其中去除个别模块，不会改变本申请的示例实施例的底层概念。另外，虽然为了方便说明而在图1中示出了从存储***10到服务器20的双向箭头，但本领域技术人员可以理解的是，上述数据的收发也是可以通过网络40实现的。
服务器20可以是一台服务器、若干台服务器组成的服务器集群或云计算中心。服务器20可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式***，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。
如图2所示，为本申请实施例中，提供的人脸数据的处理方法，可包括以下步骤：
三维图像是一种特殊的信息表达形式，表达了空间中三个维度的数据。和二维图像相比，三维图像借助第三个维度的信息，可以实现天然的物体-背景解耦。除此之外，对于视觉测量来说，物体的二维信息往往随射影方式而变化，但其三维特征对不同测量方式具有更好的统一性。三维图像的表现形式包括：深度图(以灰度表达物体与相机的距离)，几何模型，点云模型(所有逆向工程设备都将物体采样成点云)。可见，点云数据是最为常见也是最基础的三维模型。点云模型往往由测量直接得到，每个点对应一个测量点，未经过其他处理手段，故包含了最大的信息量。故此，本申请实施例中，在步骤201中，获取目标对象的人脸的三维点云数据。以此来规避环境光，化妆等对人脸识别的影响。
进一步的，本申请实施例中，为了能够提高人脸识别速度，在步骤202中，将所述三维点云数据映射到二维平面，得到所述目标对象的平面图像。然后，在步骤203中，基于所述平面图像对所述目标对象进行人脸识别。
三维点云数据的类型，包括XYZ,XYZC,XYZN,XYZG等很多类型。无论何种类型均包括XYZ空间信息。在人脸三维点云数据中，XY可以表示人脸正面的平面，Z为高度信息，表示人脸五官的立体程度。例如鼻尖相的高度。
为了能够得到简单有效的将三维点云数据映射到二维平面，可以采用栅格化的方式来得到平面图像。如，可以将所述三维点云数据划分出多个网格；然后，将每个所述网格内的三维点云数据分别归一化到指定取值空间，得到所述平面图像。
例如，在人脸的所有三维点云数据中，按照每个网格的尺寸，将所述三维点云数据在长度和宽度方向上进行切分，得到所述多个网格。
如，选择X轴Y轴的最大值和最小值，然后根据实际情况选择合适的像素间隔(可设置在0.1～0.4左右)，最后分别通过X轴最大值与最小值之差除以像素间隔得到X方向的像素数，类似的取Y轴最大值与最小值之差除以像素间隔得到Y轴方向的像素点。继而平面图像的度和长度即可确定下来。
然后每个网格内的点投射到二维平面得到一个像素点的像素值，即可完善三维空间到二维空间的映射。获得人脸的平面图像。
通过上述将人脸五官的三维空间特征映射到平面内，使得平面内包含了五官的形状，足以进行后续的人脸识别。
在一些实施例中，为了能够准确的提取出人脸的无关信息并保留到二维平面中。本申请实施例中可以基于权重分配来实现从三维空间到二维平面的投影。例如，在人脸三维点云数据中鼻尖为人脸最高点，鼻尖所处区域点云数量最稠密，因此该位置权值最大以便于凸显鼻尖部位的特征。此外，在三维人脸数据中，鼻尖大多处于中心区域，在确认权值时，可首先依据该点的Z值(即点高度)来确定，高度越高，相应区域内点云数量越多，则相应的该点的权值也就越大。而对于同一平面上的点(即Z相等时)，则认为离中心区域越近权值越大。故此，一个点越高(即Z值越大)权值越大，高度一样时距离图像中心区域越近则权值越大。也即，权重与高度信息具有正相关关系，且当点云数据的位置越接近中心区域时所述权重越高。基于此，本申请实施例中，可对每个所述网格分别执行：基于该网格内的点云数据的位置信息和高度信息为所述网格分配权重，然后将所述网格的权重进行归一化处理，得到所述平面图像中与所述网格对应的像素点。
例如，要求平面图像中的像素值取值范围为0-255。则归一化化处理时取所有网格的权重最大值Kmax和权重最小值Kmin，若第i个网格的权重为Ki，则第i个网格经归一化处理后的像素值Pi为如公式(1)所示的计算结果：
Figure BDA0002838182580000101
为了进一步提高人脸识别的精度，本申请实施例中，在人脸识别时可以从所述平面图像中进行人脸区域识别，从而实现对人脸区域的准确定位，从而得到人脸信息，其中，所述人脸信息可至少包括人脸区域和人脸关键点位置；该关键点位置可为少量的位置，例如给出两只眼睛、鼻尖和嘴巴的位置即可。然后采用所述人脸信息进行人脸分类处理，确定所述目标对象是否为已知对象。也即，本申请实施例中，对人脸识别采用的是分类识别方式，即对输入的信息进行分类处理，可无需标注人脸三维关键点即可实现对人脸识别。
实施时，可以基于MTCNN模型进行人脸区域的定位，之后采用InceptionV3进行人脸分类处理。
如从所述平面图像中进行人脸区域识别，得到人脸信息可实施为：
步骤A1：采用第一神经网络从所述平面图像中识别出多个第一候选人脸框；
其中，第一神经网络内初步筛选出多个候选人脸框中之后采用非极大值抑制的方法进行筛选。
步骤A2：采用第二神经网络对各所述第一候选人脸框进行评分，得到各所述第一候选人脸框的评分值；并，基于评分值从所述多个第一候选人脸框中筛选出第二候选人脸框；
步骤A3：采用第三神经网络对所述多个第二候选人脸框的各自的子图进行处理分析，得到所述人脸信息。
例如，平面图像输入至P-Net网络，该网络输出为一系列人脸边界候选框，采用非极大值抑制的方法去除一部分无效候选框，余下的候选框即为P-Net的最终输出的第一候选人脸框。
然后，基于P-Net输出的第一人脸候选框对平面图像进行截取，将截取后的子图像输入至R-Net进行进一步的筛选，对每一个输入的子图像计算可能为人脸的概率作为是否为人脸的评分值，将评分值没有达标的第一人脸候选框进行剔除得到第二人脸候选框，达到进一步筛选的目的。
最后用与R-Net相同的方法从图像中截取第二人脸候选框，得到新的子图，将子图输入至O-Net网络进行最终筛选，最终输出为人脸区域以及关键点位置。
在人脸识别时，可依据所述人脸信息中的人脸区域和所述人脸关键点位置，从所述平面图像中对所述目标对象进行特征提取，得到所述目标对象的人脸特征；然后基于所述人脸特征进行分类识别，得到所述目标对象的人脸类别；若所述人脸类别为已知目标对象，则确定所述目标对象为已知对象；若所述人脸类别为未知目标对象，则确定所述目标对象为未知对象。
本申请实施例中，人脸识别结果可应用于防盗门智能门锁控制。已知对象可以为允许打开智能门锁的合法对象。故此，若所述目标对象为已知对象，则控制智能门锁执行开锁操作。
继续以智能门锁控制为例，本申请实施例中，本申请实施例中，图3a是三维人脸识别防盗门门锁控制***示意图，其中包括人脸识别模块和门锁控制模块，人脸识别模块由人脸信息采集器和处理器两个部分组成，门锁控制模块由控制器和门锁开关两个部分组成。实际运行时，用户通过人脸信息采集器采集脸部信息，将采集到的人脸信息发送至处理器进行处理，通过人脸识别算法得到识别结果，再将得到的识别结果发送至门锁控制器中，若该用户为合法用户，可解开门锁，即开锁成功；相反若该用户为不合法用户，则无法解开门锁，即开锁失败。
防盗门使用的人脸识别算法分为人脸检测和人脸识别两个部分。如图3b所示，在步骤301中，采集用户的人脸三维点云数据，然后在步骤302中，将所述三维点云数据映射到二维平面，得到平面图像。在步骤303中，在人脸检测阶段，基于MTCNN模型实现人脸检测，该模型由P-Net、R-Net和O-Net三个网络组成，首先将获取到的用户三维点云数据进行预处理，将三维人脸数据投影到二维平面得到平面图像，再将平面图像输入到P-Net中生成大量人脸边界候选区域；再将P-Net输出结果输入到R-Net网络中对候选区域进行筛选，排除无效区域；最后将结果输入到O-Net中对候选区域进一步筛选，确定人脸边界和面部关键点位置。该过程将输入的三维人脸数据映射到二维平面，将三维人脸数据映射到二维平面后，将映射到二维平面的人脸数据输入至P-Net进行训练，再通过R-Net和O-Net两个网络对数据进行进一步训练，即可对人脸特征点进行确定，该方法中只需标定人脸框位置，无需手动标定三维人脸特征点故此实现起来较为简便。且将映射后的人脸信息作为网络输入，减小了网络的训练时间，提高了识别速度。
在步骤304中，在人脸识别阶段，可以采用Inception V3神经网络模型，对已经进行完人脸检测的三维人脸信息进行进一步的识别，确定是否为合法用户。
需要基于用户之前提供的人脸数据建立人脸识别数据集，该数据集中包含合法用户的人脸信息以便于进行人脸识别。
在实际使用时，将摄像头采集的用户三维人脸信息经检测算法处理后输入到模型中进行判定，输出人脸识别结果。
在步骤305中，若识别为合法用户，则控制智能门卡开锁。
当然，当识别为不合法用户时，可以控制智能门锁发出提示信息即可。
如图4所示，基于相同的发明构思，提出一种人脸数据的处理装置400，包括：
点云数据获取模块401，用于获取目标对象的人脸的三维点云数据；
平面图像获取模块402，用于将所述三维点云数据映射到二维平面，得到所述目标对象的平面图像；
人脸识别模块403，用于基于所述平面图像对所述目标对象进行人脸识别。
在一些实施例中，所述人脸识别模块，用于：
从所述平面图像中进行人脸区域识别，得到人脸信息，所述人脸信息包括人脸区域和人脸关键点位置；
采用所述人脸信息进行人脸分类处理，确定所述目标对象是否为已知对象。
在一些实施例中，平面图像获取模块，用于：
将所述三维点云数据划分出多个网格；
将每个所述网格内的三维点云数据分别归一化到指定取值空间，得到所述平面图像。
在一些实施例中，执行所述将每个所述网格内的三维点云数据分别归一化到指定取值空间，所述平面图像获取模块用于：
对每个所述网格分别执行：
基于所述网格内的点云数据的位置信息和高度信息为所述网格分配权重，其中，所述权重与高度信息具有正相关关系，且当点云数据的位置越接近中心区域时所述权重越高；
将所述网格的权重进行归一化处理，得到所述平面图像中与所述网格对应的像素点。
在一些实施例中，执行所述将所述三维点云数据划分出多个网格，所述平面图像获取模块用于：按照每个网格的尺寸，将所述三维点云数据在长度和宽度方向上进行切分，得到所述多个网格。
在一些实施例中，执行所述从所述平面图像中进行人脸区域识别，得到人脸信息时，所述人脸识别模块用于：
采用第一神经网络从所述平面图像中识别出多个第一候选人脸框；
采用第二神经网络对各所述第一候选人脸框进行评分，得到各所述第一候选人脸框的评分值；并，基于评分值从所述多个第一候选人脸框中筛选出第二候选人脸框；
采用第三神经网络对所述多个第二候选人脸框的各自的子图进行处理分析，得到所述人脸信息。
在一些实施例中，执行所述采用所述人脸信息进行人脸分类处理，确定所述目标对象是否为已知对象时，所述人脸识别模块用于：
依据所述人脸信息中的人脸区域和所述人脸关键点位置，从所述平面图像中对所述目标对象进行特征提取，得到所述目标对象的人脸特征；
基于所述人脸特征进行分类识别，得到所述目标对象的人脸类别；
若所述人脸类别为已知目标对象，则确定所述目标对象为已知对象；
若所述人脸类别为未知目标对象，则确定所述目标对象为未知对象。
在一些实施例中，所述装置还包括：
门锁控制模块，用于若所述目标对象为已知对象，则控制智能门锁执行开锁操作。
关于人脸数据的处理装置中各操作的实施以及有益效果可参见前文方法中的描述，此处不再赘述。
在介绍了本申请示例性实施方式的人脸数据的处理方法和装置之后，接下来，介绍根据本申请的另一示例性实施方式的电子设备。
所属技术领域的技术人员能够理解，本申请的各个方面可以实现为***、方法或程序产品。因此，本申请的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“***”。
在一些可能的实施方式中，根据本申请的电子设备可以至少包括至少一个处理器、以及至少一个存储器。其中，存储器存储有程序代码，当程序代码被处理器执行时，使得处理器执行本说明书上述描述的根据本申请各种示例性实施方式的图像缩放方法中的步骤。例如，处理器可以执行如人脸数据的处理方法中的步骤。
下面参照图5来描述根据本申请的这种实施方式的电子设备130。图5显示的电子设备130仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图5所示，电子设备130以通用电子设备的形式表现。电子设备130的组件可以包括但不限于：上述至少一个处理器131、上述至少一个存储器132、连接不同***组件(包括存储器132和处理器131)的总线133。
总线133表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、***总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。
存储器132可以包括易失性存储器形式的可读介质，例如随机存取存储器(RAM)1321和/或高速缓存存储器1322，还可以进一步包括只读存储器(ROM)1323。
存储器132还可以包括具有一组(至少一个)程序模块1324的程序/实用工具1325，这样的程序模块1324包括但不限于：操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
电子设备130也可以与一个或多个外部设备134(例如键盘、指向设备等)通信，还可与一个或者多个使得用户能与电子设备130交互的设备通信，和/或与使得该电子设备130能与一个或多个其它电子设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口135进行。并且，电子设备130还可以通过网络适配器136与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器136通过总线133与用于电子设备130的其它模块通信。应当理解，尽管图中未示出，可以结合电子设备130使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。
在一些可能的实施方式中，本申请提供的一种人脸数据的处理方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在计算机设备上运行时，程序代码用于使计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的一种人脸数据的处理方法中的步骤。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本申请的实施方式的用于图像缩放的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在电子设备上运行。然而，本申请的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户电子设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户电子设备上部分在远程电子设备上执行、或者完全在远程电子设备或服务端上执行。在涉及远程电子设备的情形中，远程电子设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户电子设备，或者，可以连接到外部电子设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程图像缩放设备的处理器以产生一个机器，使得通过计算机或其他可编程图像缩放设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程图像缩放设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程图像缩放设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (11)

1.一种人脸数据的处理方法，其特征在于，所述方法包括：
获取目标对象的人脸的三维点云数据；
将所述三维点云数据映射到二维平面，得到所述目标对象的平面图像；
基于所述平面图像对所述目标对象进行人脸识别。
2.根据权利要求1所述的方法，其特征在于，所述基于所述平面图像对所述目标对象进行人脸识别，包括：
从所述平面图像中进行人脸区域识别，得到人脸信息，所述人脸信息包括人脸区域和人脸关键点位置；
采用所述人脸信息进行人脸分类处理，确定所述目标对象是否为已知对象。
3.根据权利要求1所述的方法，其特征在于，所述将所述三维点云数据映射到二维平面，得到所述目标对象的平面图像，包括：
将所述三维点云数据划分出多个网格；
将每个所述网格内的三维点云数据分别归一化到指定取值空间，得到所述平面图像。
4.根据权利要求3所述的方法，其特征在于，所述将每个所述网格内的三维点云数据分别归一化到指定取值空间，包括：
对每个所述网格分别执行：
基于所述网格内的点云数据的位置信息和高度信息为所述网格分配权重，其中，所述权重与高度信息具有正相关关系，且当点云数据的位置越接近中心区域时所述权重越高；
将所述网格的权重进行归一化处理，得到所述平面图像中与所述网格对应的像素点。
5.根据权利要求3或4所述的方法，其特征在于，所述将所述三维点云数据划分出多个网格，包括：
按照每个网格的尺寸，将所述三维点云数据在长度和宽度方向上进行切分，得到所述多个网格。
6.根据权利要求2所述的方法，其特征在于，所述从所述平面图像中进行人脸区域识别，得到人脸信息，包括：
采用第一神经网络从所述平面图像中识别出多个第一候选人脸框；
采用第二神经网络对各所述第一候选人脸框进行评分，得到各所述第一候选人脸框的评分值；并，基于评分值从所述多个第一候选人脸框中筛选出第二候选人脸框；
采用第三神经网络对所述多个第二候选人脸框的各自的子图进行处理分析，得到所述人脸信息。
7.根据权利要求2或6所述的方法，其特征在于，所述采用所述人脸信息进行人脸分类处理，确定所述目标对象是否为已知对象，包括：
依据所述人脸信息中的人脸区域和所述人脸关键点位置，从所述平面图像中对所述目标对象进行特征提取，得到所述目标对象的人脸特征；
基于所述人脸特征进行分类识别，得到所述目标对象的人脸类别；
若所述人脸类别为已知目标对象，则确定所述目标对象为已知对象；
若所述人脸类别为未知目标对象，则确定所述目标对象为未知对象。
8.根据权利要求2所述的方法，其特征在于，所述方法还包括：
若所述目标对象为已知对象，则控制智能门锁执行开锁操作。
9.一种人脸数据的处理装置，其特征在于，所述装置包括：
点云数据获取模块，用于获取目标对象的人脸的三维点云数据；
平面图像获取模块，用于将所述三维点云数据映射到二维平面，得到所述目标对象的平面图像；
人脸识别模块，用于基于所述平面图像对所述目标对象进行人脸识别。
10.一种电子设备，其特征在于，包括至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。
11.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序用于使计算机执行权利要求1-8中任一项所述的方法。
CN202011483096.3A 2020-12-16 2020-12-16 人脸数据的处理方法、装置、电子设备和存储介质 Pending CN112581357A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011483096.3A CN112581357A (zh) 2020-12-16 2020-12-16 人脸数据的处理方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011483096.3A CN112581357A (zh) 2020-12-16 2020-12-16 人脸数据的处理方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN112581357A true CN112581357A (zh) 2021-03-30

Family

ID=75135314

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011483096.3A Pending CN112581357A (zh) 2020-12-16 2020-12-16 人脸数据的处理方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN112581357A (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107958223A (zh) * 2017-12-13 2018-04-24 北京小米移动软件有限公司 人脸识别方法及装置、移动设备、计算机可读存储介质
CN111091075A (zh) * 2019-12-02 2020-05-01 北京华捷艾米科技有限公司 人脸识别方法、装置、电子设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107958223A (zh) * 2017-12-13 2018-04-24 北京小米移动软件有限公司 人脸识别方法及装置、移动设备、计算机可读存储介质
CN111091075A (zh) * 2019-12-02 2020-05-01 北京华捷艾米科技有限公司 人脸识别方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN111241989B (zh) 图像识别方法及装置、电子设备
CN109034069B (zh) 用于生成信息的方法和装置
CN107545241A (zh) 神经网络模型训练及活体检测方法、装置及存储介质
TW202026948A (zh) 活體檢測方法、裝置以及儲存介質
CN110135437A (zh) 用于车辆的定损方法、装置、电子设备和计算机存储介质
CN106663196A (zh) 视频中的计算机显著人物识别
US11514605B2 (en) Computer automated interactive activity recognition based on keypoint detection
CN113780270B (zh) 目标检测方法和装置
Thabet et al. Enhanced smart doorbell system based on face recognition
CN111723728A (zh) 基于双向交互网络的行人搜索方法、***、装置
EP3944145A2 (en) Method and device for training image recognition model, equipment and medium
CN116468392A (zh) 一种电网工程项目进度监控方法、装置、设备及存储介质
CN110941978A (zh) 一种未识别身份人员的人脸聚类方法、装置及存储介质
CN108615006B (zh) 用于输出信息的方法和装置
CN114494935A (zh) 视频信息的处理方法、装置、电子设备和介质
CN114943937A (zh) 行人重识别方法、装置、存储介质及电子设备
CN108875500A (zh) 行人再识别方法、装置、***及存储介质
CN112837466B (zh) 票据识别方法、装置、设备以及存储介质
CN111310531A (zh) 图像分类方法、装置、计算机设备及存储介质
CN112926491A (zh) 用户识别方法、装置、电子设备及存储介质
CN115797920A (zh) 车牌识别方法、装置、电子设备及存储介质
CN112529116B (zh) 场景元素融合处理方法、装置和设备及计算机存储介质
CN112581357A (zh) 人脸数据的处理方法、装置、电子设备和存储介质
CN115359468A (zh) 一种目标网站识别方法、装置、设备及介质
CN112801960B (zh) 图像处理方法及装置、存储介质、电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination