CN112818874A - 一种图像处理方法、装置、设备及存储介质 - Google Patents
一种图像处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN112818874A CN112818874A CN202110157197.XA CN202110157197A CN112818874A CN 112818874 A CN112818874 A CN 112818874A CN 202110157197 A CN202110157197 A CN 202110157197A CN 112818874 A CN112818874 A CN 112818874A
- Authority
- CN
- China
- Prior art keywords
- image
- face
- processed
- depth information
- face region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 26
- 238000000034 method Methods 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000000875 corresponding effect Effects 0.000 description 50
- 238000010586 diagram Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种图像处理方法、装置、设备及存储介质，涉及人脸识别技术领域。该方法包括判断待处理图像中是否包含人脸区域，该待处理图像为包含待识别对象的图像；若该待处理图像中包含人脸区域，则根据该人脸区域以及初始参考图像得到该人脸区域的初始深度信息，并获取该人脸区域的二维图像；根据该人脸区域的初始深度信息确定第一目标参考图像；根据该第一目标参考图像以及该人脸区域计算该人脸区域的目标深度信息，以得到该人脸区域的三维图像；基于该人脸区域的三维图像以及该人脸区域的二维图像，对该待识别对象进行识别。应用本申请实施例，可以提高对该待识别对象进行识别的精度。
Description
技术领域
本申请涉及人脸识别技术领域，具体而言，涉及一种图像处理方法、装置、设备及存储介质。
背景技术
随着科技的发展，特别是在人脸识别领域，如人脸解锁、人脸支付等功能的兴起，嵌入3D结构光模组的设备(如手机、平板电脑、智能门锁等)得到了广泛的应用，其中，3D结构光模组与处理器相结合用于对待识别对象进行三维成像。
目前，由处理器直接对利用3D结构光模组获得的待识别对象图像上的整个区域计算其深度数据，通过该深度数据得到的距离判断该待识别对象与哪个参考图像较近，将最近的参考图像作为目标参考图像，最后可根据该目标参考图像对该待识别对象进行三维成像，即对该待识别对象进行识别。
然而，在对人脸进行识别时，可能存在人脸前倾的现象，该现象会使该待识别对象图像上的人脸和身体不在一个平面上，若直接利用该待识别对象图像上的整个区域获取目标参考图像，会使该目标参考图像选取不准确，进而使对该待识别对象进行识别的精度降低。
发明内容
本申请的目的在于，针对上述现有技术中的不足，提供一种图像处理方法、装置、设备及存储介质，可以准确的选取目标参考图像，进而提高对该待识别对象进行识别的精度。
第一方面，本申请实施例提供了一种图像处理方法，所述方法应用于电子设备，所述方法包括：
判断待处理图像中是否包含人脸区域，所述待处理图像为包含待识别对象的图像；
若所述待处理图像中包含人脸区域，则根据所述人脸区域以及初始参考图像得到所述人脸区域的初始深度信息，并获取所述人脸区域的二维图像，其中，所述初始参考图像为所述多个参考图像中的一个，所述多个参考图像预先存储在电子设备中，各参考图像分别对应不同的距离参数，所述距离参数用于表征所述参考图像中包含的对象与所述电子设备之间的距离；
根据所述人脸区域的初始深度信息确定第一目标参考图像；
根据所述第一目标参考图像以及所述人脸区域计算所述人脸区域的目标深度信息，以得到所述人脸区域的三维图像；
基于所述人脸区域的三维图像以及所述人脸区域的二维图像，对所述待识别对象进行识别。
可选地，所述根据所述人脸区域以及初始参考图像得到所述人脸区域的初始深度信息，包括：
根据所述人脸区域对应的人脸框以及预设阈值，判断所述人脸区域是否可信；
若所述人脸区域可信，则根据所述人脸区域以及初始参考图像得到所述人脸区域的初始深度信息。
可选地，所述方法还包括：
若所述人脸区域不可信，则根据所述待处理图像上的可选区域以及所述初始参考图像得到所述待处理图像的初始深度信息，所述可选区域包括所述人脸区域以及所述人脸区域之外的区域。
可选地，所述根据所述人脸区域的初始深度信息确定第一目标参考图像，包括：
根据所述人脸区域的初始深度信息确定所述待识别对象中人脸部位与所述电子设备之间的距离；
根据所述待识别对象中人脸部位与所述电子设备之间的距离以及所述各参考图像对应的距离参数，确定第一目标参考图像。
可选地，所述根据所述人脸区域的初始深度信息确定所述待识别对象中人脸部位与所述电子设备之间的距离，包括：
根据所述人脸区域的初始深度信息，获取所述人脸区域对应的深度数据以及所述深度数据个数；
根据所述人脸区域对应的深度数据以及所述深度数据个数，确定所述待识别对象中人脸部位与所述电子设备之间的距离。
可选地，所述方法还包括：
若所述待处理图像中不包含所述人脸区域，则根据所述待处理图像上的区域以及所述初始参考图像得到所述待处理图像的初始深度信息，并获取所述待识别对象的二维图像；
根据所述待处理图像的初始深度信息确定所述待识别对象与所述电子设备之间的距离；
根据所述待识别对象与所述电子设备之间的距离以及所述各参考图像对应的距离参数，得到第二目标参考图像；
根据所述第二目标参考图像以及所述待处理图像计算所述待处理图像的目标深度信息，以得到所述待识别对象的三维图像；
基于所述待识别对象的三维图像以及所述待识别对象的二维图像，对所述待识别对象进行识别。
可选地，所述根据所述待处理图像的初始深度信息确定所述待识别对象与所述电子设备之间的距离，包括：
根据所述待处理图像的初始深度信息获取所述待处理图像上中心区域对应的初始深度信息；
根据所述待处理图像上中心区域对应的初始深度信息确定所述待识别对象与所述设备之间的距离。
第二方面，本申请实施例还提供了一种图像处理装置，所述装置应用于电子设备，所述装置包括：
判断模块，用于判断待处理图像中是否包含人脸区域，所述待处理图像为包含待识别对象的图像；
第一确定模块，用于若所述待处理图像中包含人脸区域，则根据所述人脸区域以及初始参考图像得到所述人脸区域的初始深度信息，并获取所述人脸区域的二维图像，其中，所述初始参考图像为所述多个参考图像中的一个，所述多个参考图像预先存储在电子设备中，各参考图像分别对应不同的距离参数，所述距离参数用于表征所述参考图像中包含的对象与所述电子设备之间的距离；
第二确定模块，用于根据所述人脸区域的初始深度信息确定第一目标参考图像；
计算模块，用于根据所述第一目标参考图像以及所述人脸区域计算所述人脸区域的目标深度信息，以得到所述人脸区域的三维图像；
识别模块，用于基于所述人脸区域的三维图像以及所述人脸区域的二维图像，对所述待识别对象进行识别。
可选地，所述第一确定模块，具体用于根据所述人脸区域对应的人脸框以及预设阈值，判断所述人脸区域是否可信；若所述人脸区域可信，则根据所述人脸区域以及初始参考图像得到所述人脸区域的初始深度信息。
可选地，所述第一确定模块，还具体用于若所述人脸区域不可信，则根据所述待处理图像上的可选区域以及所述初始参考图像得到所述待处理图像的初始深度信息，所述可选区域包括所述人脸区域以及所述人脸区域之外的区域。
可选地，所述第二确定模块，具体用于根据所述人脸区域的初始深度信息确定所述待识别对象中人脸部位与所述电子设备之间的距离；根据所述待识别对象中人脸部位与所述电子设备之间的距离以及所述各参考图像对应的距离参数，确定第一目标参考图像。
可选地，所述第二确定模块，还具体用于根据所述人脸区域的初始深度信息，获取所述人脸区域对应的深度数据以及所述深度数据个数；根据所述人脸区域对应的深度数据以及所述深度数据个数，确定所述待识别对象中人脸部位与所述电子设备之间的距离。
可选地，所述第一确定模块，还用于若所述待处理图像中不包含所述人脸区域，则根据所述待处理图像上的区域以及所述初始参考图像得到所述待处理图像的初始深度信息，并获取所述待识别对象的二维图像；
所述第二确定模块，还用于根据所述待处理图像的初始深度信息确定所述待识别对象与所述电子设备之间的距离；根据所述待识别对象与所述电子设备之间的距离以及所述各参考图像对应的距离参数，得到第二目标参考图像；
所述计算模块，还用于根据所述第二目标参考图像以及所述待处理图像计算所述待处理图像的目标深度信息，以得到所述待识别对象的三维图像；
所述识别模块，还用于基于所述待识别对象的三维图像以及所述人脸区域的二维图像，对所述待识别对象进行识别。
可选地，所述第二确定模块，还具体用于根据所述待处理图像的初始深度信息获取所述待处理图像上中心区域对应的初始深度信息；根据所述待处理图像上中心区域对应的初始深度信息确定所述待识别对象与所述设备之间的距离。
第三方面，本申请实施例提供了一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当所述电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行上述第一方面的所述图像处理方法的步骤。
第四方面，本申请实施例提供了一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述第一方面的所述图像处理方法的步骤。
本申请的有益效果是：
本申请实施例提供一种图像处理方法、装置、设备及存储介质，该方法可以包括：判断待处理图像中是否包含人脸区域，该待处理图像为包含待识别对象的图像；若该待处理图像中包含人脸区域，则根据该人脸区域以及初始参考图像得到该人脸区域的初始深度信息，并获取该人脸区域的二维图像，其中，该初始参考图像为多个参考图像中的一个，多个参考图像预先存储在电子设备中，各参考图像分别对应不同的距离参数，该距离参数用于表征该参考图像中包含的对象与该电子设备之间的距离；根据该人脸区域的初始深度信息确定第一目标参考图像；根据该第一目标参考图像以及该人脸区域计算该人脸区域的目标深度信息，以得到该人脸区域的三维图像；基于该人脸区域的三维图像以及该人脸区域的二维图像，对该待识别对象进行识别。
采用本申请实施例提供的图像处理方法，该电子设备在获取到待处理图像后，首先会判断该待处理图像中是否包含人脸区域，如果该待处理图像中包含人脸区域，则该电子设备会基于该人脸区域以及初始参考图像从预先存储在其上的多个参考图像中确定出第一目标参考图像，最后再根据该第一目标参考图像以及该人脸区域得到该人脸区域的三维图像，进而对该待处理图像中包含的待识别对象进行识别。也就是说，在该待处理图像中包含人脸区域时，只基于该人脸区域确定第一目标参考图像。这样可以避免在人脸识别场景中，待识别对象上的人脸出现前倾时，目标参考图像选取不佳的现象。即在准确选取目标参考图像的前提下，可以提高对该待识别对象进行识别的精度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的支持人脸识别的电子设备的一种结构示意图；
图2为本申请实施例提供的一种图像处理方法的流程示意图；
图3为本申请实施例提供的另一种图像处理方法的流程示意图；
图4为本申请实施例提供的又一种图像处理方法的流程示意图；
图5为本申请实施例提供的再一种图像处理方法的流程示意图；
图6为本申请实施例提供的一种图像处理装置的结构示意图；
图7为本申请实施例提供的一种电子设备的另一种结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在对本申请实施例进行详细解释之前，首先对本申请的应用场景予以介绍。该应用场景具体可以为对人脸进行识别的场景，如人脸支付、人脸解锁等场景，本申请不对其进行解释。本申请的方法可以应用于支持人脸识别的电子设备中。图1为本申请实施例提供的支持人脸识别的电子设备的一种结构示意图，如图1所示，电子设备可包括结构光模组101、处理器102，结构光模组101与处理器102连接，其中，结构光模组101可包括发射器以及采集器，该发射器具体可以为激光投影仪，该发射器用于将结构光投射到待识别对象的表面上，该采集器用于通过摄像头拍摄该待识别对象，以得到结构光图像，即待处理图像，其中，该摄像头可包括红外摄像头、RGB摄像头。该采集器可将采集到的待处理图像发送给处理器102，处理器102可对该待处理图像上的人脸区域进行识别，在识别到人脸区域时，可基于该人脸区域以及预先设置的初始参考图像确定目标参考图像，再根据该目标参考图像以及该人脸区域得到该人脸区域的三维图像，进而对该待识别对象进行识别。
上述电子设备具体可以为手机、平板电脑、智能门锁以及穿戴设备等，本申请不对其进行限定。
具体的，在人脸解锁场景中，电子设备可通过其上的摄像头采集用户图像，并且对该用户图像进行识别，在识别出该用户图像中包含人脸区域时，可基于该人脸区域得到目标参考图像，然后根据该人脸区域以及该目标参考图像对该用户进行识别，在识别成功时，该电子设备处于解锁状态。
如下结合附图对本申请提到的图像处理方法进行示例说明。图2为本申请实施例提供的一种图像处理方法的流程示意图，该方法可以由上述图像处理***中的处理器102执行。如图2所示，该方法可包括：
S201、判断待处理图像中是否包含人脸区域，该待处理图像为包含待识别对象的图像。
其中，电子设备可通过其上的摄像头获取包含有待识别对象的待处理图像，其中，该待识别对象可以为人或者其他形态对象(如物体、场景等)。需要说明的是，本申请重点对待识别对象为人时这种情况进行介绍。该待识别对象可处于该电子设备的前方，嵌入在该电子设备上的结构光模组可采集该待识别对象的图像作为待处理图像。
处理器获取到该待处理图像后，可从该待处理图像中提取相关的特征数据，基于该特征数据中以及预设的人脸特征数据，则可判断出该待处理图像中是否包括人脸区域。
S202、若该待处理图像中包含人脸区域，则根据该人脸区域以及初始参考图像得到该人脸区域的初始深度信息，并获取该人脸区域的二维图像。
其中，该初始参考图像为多个参考图像中的一个，多个参考图像预先存储在电子设备中，各参考图像分别对应不同的距离参数，该距离参数用于表征该参考图像中包含的对象与该电子设备之间的距离。
电子设备中的结构光模组都有一定的工作范围，该工作范围可以为(0.3m-1.2m)，该工作范围可由结构光模组的特性决定，不同的结构光模组有不同的工作范围。参考图像是预先采集的距离电子设备某一平面上的结构光图像，每个参考图像对应一个参考位置，各参考位置分别用距离参数表示。举例来说，工作范围为(0.3m-1.2m)的结构光模组，对应的参考图像可从3个参考位置上分别获取，每张参考图像对应的距离参数可分别为40cm、60cm、80cm，在获取到参考图像后，可将参考图像与其对应的距离参数进行相关联保存。
一般情况下，该初始图像为多个参考图像中距离参数满足预设条件的参考图像，该预设条件包括：对各距离参数按照数值大小排序后处于中间位置。继续上述举例来说，比如可取距离参数为60cm的参考图像作为初始参考图像。
在该处理器判断出利用红外摄像头采集到的待处理图像中包含人脸区域，可将该人脸区域提亮，并用边框按照人脸边界将该人脸区域框住。提取该边框中的像素信息以及该初始图像中的像素信息，计算两者之间的像素偏差，并根据电子设备的相机参数可计算出该人脸区域对应的初始深度信息。同时，该处理器还可采用上述同样的方式提取利用RGB摄像头采集到的待处理图像中的人脸区域的二维图像。
S203、根据该人脸区域的初始深度信息确定第一目标参考图像。
该处理器可将该人脸区域的初始深度信息中的无效深度信息进行剔除，根据该人脸区域对应的初始深度图像上的有效深度数据以及该有效深度数据的个数计算出该待识别对象上的脸部距离该电子设备的距离，将与该待识别对象上的脸部最近的参考图像作为第一目标参考图像。该第一目标参考图像可能是该初始参考图像，也可能不是该初始参考图像。通过该待处理图像上的人脸区域确定的第一目标参考图像更符合实际情况，进而可以提高待识别对象进行识别的精度。
S204、根据该第一目标参考图像以及该人脸区域计算该人脸区域的目标深度信息，以得到该人脸区域的三维图像。
S205、基于该人脸区域的三维图像以及该人脸区域的二维图像，对该待识别对象进行识别。
以该第一目标参考图像为基准，获取该第一目标参考图像上的像素信息、该人脸区域上的像素信息以及相机参数，可计算出该人脸区域的目标深度信息，根据该目标深度信息可构建出该人脸区域的目标深度图像。最后将该目标深度图像经过图像坐标系、相机坐标系以及世界坐标系三个坐标系之间的变换，可构建出该人脸区域的三维图像。
在人脸识别场景中，如人脸解锁，该处理器可基于该人脸区域的三维图像以及该人脸区域的二维图像，识别该人脸区域，并将识别结果与预先存储的解锁图像进行匹配，如果匹配成功，则代表着该电子设备对该待识别对象识别成功，即该电子设备处于解锁状态。
综上所述，本申请提供的图像处理方法中，该电子设备在获取到待处理图像后，首先会判断该待处理图像中是否包含人脸区域，如果该待处理图像中包含人脸区域，则该电子设备会基于该人脸区域以及初始参考图像从预先存储在其上的多个参考图像中确定出第一目标参考图像，最后再根据该第一目标参考图像以及该人脸区域得到该人脸区域的三维图像，进而对该待处理图像中包含的待识别对象进行识别。也就是说，在该待处理图像中包含人脸区域时，只基于该人脸区域确定第一目标参考图像。相对于现有技术中根据整个待处理图像确定参考图像的方式，本实施例可以避免在人脸识别场景中，待识别对象上的人脸出现前倾时，目标参考图像选取不佳的现象。即在准确选取目标参考图像的前提下，可以提高对该待识别对象进行识别的精度。
图3为本申请实施例提供的另一种图像处理方法的流程示意图。如图3所示，可选地，上述根据该人脸区域以及初始参考图像得到该人脸区域的初始深度信息，包括：
S301、根据该人脸区域对应的人脸框以及预设阈值，判断该人脸区域是否可信。
该电子设备上的结构光模组有对应的工作范围，该工作范围可以为(0.3m-1.2m)，当该待识别对象距离该电子设备越远时(如1.2m)，该待识别对象上的人脸部位在该电子设备上的人脸框越小；当该待识别对象距离该电子设备越远时(如0.3m)，该待识别对象上的人脸部位在该电子设备上的人脸框越大。
一般情况下，该预设阈值是预先根据多个待识别对象分别位于该结构光模组的工作范围最远边界时，对应的人脸框尺寸获取的。具体的，可获取每个待识别对象在工作范围最远边界(如1.2m)时对应的人脸框尺寸，将各人脸框尺寸进行平均，可得到平均后的人脸框尺寸，该平均后的人脸框尺寸可作为该预设阈值。该处理器可将该人脸区域对应的人脸框尺寸与该预设阈值进行比较，根据比较的结果判断该人脸区域是否可信。由于在现实中，每个人的脸部大小是不同的，所以可以基于多个待识别对象获取该阈值，这样可以提高判断该人脸区域的可信度精度。
S302、若该人脸区域可信，则根据该人脸区域以及初始参考图像得到该人脸区域的初始深度信息。
当该人脸区域对应的人脸框尺寸大于该预设阈值时，表征着该待识别对象所处的位置没有超过该结构光模组的工作范围的最远边界，即该人脸区域可信。在该人脸区域可信的前提下，该处理器再根据该人脸区域的像素信息、该初始参考图像的像素信息以及相机参数等计算该人脸区域对应的初始深度信息。
S303、若该人脸区域不可信，则根据该待处理图像上的可选区域以及该初始参考图像得到该待处理图像的初始深度信息。
其中，该可选区域包括该人脸区域以及该人脸区域之外的区域。示例性的，该可选区域可以为包含整个待处理图像的区域，或者，该可选区域还可以为所述待处理图像中包含了上述人脸区域以及人脸区域之外区域的部分区域。当该人脸区域对应的人脸框尺寸小于该预设阈值时，表征着该待识别对象所处的位置超过该结构光模组的工作范围的最远边界，即该人脸区域不可信。在该人脸区域不可信的前提下，该处理器需要根据该待处理图像上的人脸区域对应的像素信息以及该人脸区域之外的区域对应的像素信息、该初始参考图像的像素信息以及相机参数等计算该待处理图像对应的初始深度信息。
通过判断人脸区域是否可信确定获取目标参考图像的依据，也就是说，在人脸区域可信的时候，以该人脸区域为依据，可以提高获取目标参考图像(第一目标参考图像)的精确度，在该目标参考图像精确度高的前提下，进而可以提高对待识别对象进行识别的精确度。
图4为本申请实施例提供的又一种图像处理方法的流程示意图。如图4所示，可选地，上述根据该人脸区域的初始深度信息确定第一目标参考图像，包括：
S401、根据该人脸区域的初始深度信息确定该待识别对象中人脸部位与该电子设备之间的距离。
可选地，根据该人脸区域的初始深度信息，获取该人脸区域对应的深度数据以及该深度数据个数；根据该人脸区域对应的深度数据以及该深度数据个数，确定该待识别对象中人脸部位与该电子设备之间的距离。
该处理器可根据下式计算该待识别对象中人脸部位与该电子设备之间的距离(distance)：
其中，sum表示各深度数据之和，size表示深度数据的个数。
该处理器在获取到该人脸区域的初始深度信息后，可提取其中的有效深度信息，并统计该有效深度信息中包含的深度数据个数，以及计算各深度数据之和，然后基于上式可计算出该待识别对象中人脸部位与该电子设备之间的距离。
S402、根据该待识别对象中人脸部位与该电子设备之间的距离以及各参考图像对应的距离参数，确定第一目标参考图像。
其中，各参考图像与电子设备之间的距离预先存储在该电子设备中，在得到该待识别对象中人脸部位与该电子设备之间的距离后，可基于该距离以及各参考图像与电子设备之间的距离(距离参数)，判断哪个参考图像与该待识别对象中人脸部位最近，将与该待识别对象中人脸部位最近的参考图像作为该第一目标参考图像。
图5为本申请实施例提供的再一种图像处理方法的流程示意图。如图5所示，该方法还可以包括：
S501、若该待处理图像中不包含该人脸区域，则根据该待处理图像上的区域以及该初始参考图像得到该待处理图像的初始深度信息，并获取该待识别对象的二维图像。
其中，该处理器获取到该待处理图像之后，可提取该待处理图像中的特征数据，判断所述特征数据中是否包含人脸特征(如五官特征)，若该待处理图像没有与人脸特征相匹配的特征，则表示该待处理图像中不包含该人脸区域，那么该处理器可根据利用红外摄像头采集到的该待处理图像中的各像素信息、该初始参考图像的像素信息以及相机参数等得到该待处理图像的初始深度信息。同时，该处理器还可从该待处理图像中提取利用RGB摄像头采集到的待处理对象的二维图像。
S502、根据该待处理图像的初始深度信息确定该待识别对象与该电子设备之间的距离。
该处理器可根据该待处理图像的初始深度信息，获取该待处理图像对应的深度数据以及该深度数据个数，然后再根据该待处理图像对应的深度数据以及该深度数据个数，结合上述公式(1)计算出该待识别对象与该电子设备之间的距离。
S503、根据该待识别对象与该电子设备之间的距离以及各参考图像对应的距离参数，得到第二目标参考图像。
其中，各参考图像与电子设备之间的距离预先存储在该电子设备中，在得到该待识别对象与该电子设备之间的距离后，可基于该距离以及各参考图像与电子设备之间的距离(距离参数)，判断哪个参考图像与该待识别对象最近，将与该待识别对象最近的参考图像作为该第二目标参考图像。
S504、根据该第二目标参考图像以及该待处理图像计算该待处理图像的目标深度信息，以得到该待识别对象的三维图像。
S505、基于该待识别对象的三维图像以及该待识别对象的二维图像，对该待识别对象进行识别。
以该第二目标参考图像为基准，获取该第二目标参考图像上的像素信息、该待处理图像的像素信息以及相机参数，可计算出该待处理图像的目标深度信息，根据该目标深度信息可构建出该待处理图像的目标深度图像。最后将该目标深度图像经过图像坐标系、相机坐标系以及世界坐标系三个坐标系之间的变换，可构建出该待识别对象的三维图像，进而根据该待识别对象的三维图像以及该待识别对象的二维图像对该待识别对象进行建模，得到该待识别对象对应的模型。
可选地，上述根据该待处理图像的初始深度信息确定该待识别对象与该电子设备之间的距离，包括：根据该待处理图像的初始深度信息获取该待处理图像上中心区域对应的初始深度信息；根据该待处理图像上中心区域对应的初始深度信息确定该待识别对象与该设备之间的距离。
其中，该待处理图像的初始深度信息包括中心区域的初始深度信息以及非中心区域的初始深度信息，该中心区域可根据实际需求进行设置，本申请不对其进行限定。在确定出该待处理图像的中心区域后，可提取出该待处理图像的中心区域对应的初始深度信息，基于该待处理图像的中心区域对应的初始深度信息，可获取该中心区域对应的深度数据以及该深度数据个数，根据该人脸区域对应的深度数据以及该深度数据个数以及上述公式(1)，计算出该待识别对象与该电子设备之间的距离。
图6为本申请实施例提供的一种图像处理装置的结构示意图。如图6所示，该装置可以包括：
判断模块601，用于判断待处理图像中是否包含人脸区域，该待处理图像为包含待识别对象的图像；
第一确定模块602，用于若该待处理图像中包含人脸区域，则根据该人脸区域以及初始参考图像得到该人脸区域的初始深度信息，并获取该人脸区域的二维图像；
第二确定模块603，用于根据该人脸区域的初始深度信息确定第一目标参考图像；
计算模块604，用于根据该第一目标参考图像以及该人脸区域计算该人脸区域的目标深度信息，以得到该人脸区域的三维图像；
识别模块605，用于基于该人脸区域的三维图像以及该人脸区域的二维图像，对该待识别对象进行识别。
可选地，第一确定模块602，具体用于根据人脸区域对应的人脸框以及预设阈值，判断该人脸区域是否可信；若该人脸区域可信，则根据人脸区域以及初始参考图像得到人脸区域的初始深度信息。
可选地，第一确定模块602，还具体用于若该人脸区域不可信，则根据待处理图像上的可选区域以及初始参考图像得到待处理图像的初始深度信息，可选区域包括人脸区域以及人脸区域之外的区域。
可选地，第二确定模块603，具体用于根据人脸区域的初始深度信息确定待识别对象中人脸部位与电子设备之间的距离；根据待识别对象中人脸部位与电子设备之间的距离以及各参考图像对应的距离参数，确定第一目标参考图像。
可选地，第二确定模块603，还具体用于根据人脸区域的初始深度信息，获取人脸区域对应的深度数据以及深度数据个数；根据人脸区域对应的深度数据以及深度数据个数，确定待识别对象中人脸部位与电子设备之间的距离。
可选地，第一确定模块602，还用于若待处理图像中不包含人脸区域，则根据待处理图像上的区域以及初始参考图像得到待处理图像的初始深度信息，并获取该待识别对象的二维图像；
第二确定模块603，还用于根据待处理图像的初始深度信息确定待识别对象与电子设备之间的距离；根据待识别对象与电子设备之间的距离以及各参考图像对应的距离参数，得到第二目标参考图像；
计算模块604，还用于根据第二目标参考图像以及待处理图像计算待处理图像的目标深度信息，以得到待识别对象的三维图像；
识别模块605，还用于基于待识别对象的三维图像以及该待识别对象的二维图像，对待识别对象进行识别。
可选地，第二确定模块603，还具体用于根据待处理图像的初始深度信息获取待处理图像上中心区域对应的初始深度信息；根据待处理图像上中心区域对应的初始深度信息确定待识别对象与设备之间的距离。
上述装置用于执行前述实施例提供的方法，其实现原理和技术效果类似，在此不再赘述。
以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(Digital Signal Processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上***(system-on-a-chip，简称SOC)的形式实现。
图7为本申请实施例提供的一种电子设备的另一种结构示意图，如图7所示，该电子设备的具体形态可以为手机、平板电脑、穿戴设备等。该电子设备可以包括：处理器701、存储介质702和总线703，存储介质702存储有处理器701可执行的机器可读指令，当该电子设备运行时，处理器701与存储介质702之间通过总线703通信，处理器701执行机器可读指令，以执行上述图像处理方法的步骤。具体实现方式和技术效果类似，这里不再赘述。
可选地，本申请还提供一种存储介质，存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述图像处理方法的步骤。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本申请各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取存储器(英文：Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (10)
1.一种图像处理方法，其特征在于，所述方法应用于电子设备，所述方法包括：
判断待处理图像中是否包含人脸区域，所述待处理图像为包含待识别对象的图像；
若所述待处理图像中包含人脸区域，则根据所述人脸区域以及初始参考图像得到所述人脸区域的初始深度信息，并获取所述人脸区域的二维图像，其中，所述初始参考图像为所述多个参考图像中的一个，所述多个参考图像预先存储在电子设备中，各参考图像分别对应不同的距离参数，所述距离参数用于表征所述参考图像中包含的对象与所述电子设备之间的距离；
根据所述人脸区域的初始深度信息确定第一目标参考图像；
根据所述第一目标参考图像以及所述人脸区域计算所述人脸区域的目标深度信息，以得到所述人脸区域的三维图像；
基于所述人脸区域的三维图像以及所述人脸区域的二维图像，对所述待识别对象进行识别。
2.根据权利要求1所述的方法，其特征在于，所述根据所述人脸区域以及初始参考图像得到所述人脸区域的初始深度信息，包括：
根据所述人脸区域对应的人脸框以及预设阈值，判断所述人脸区域是否可信；
若所述人脸区域可信，则根据所述人脸区域以及初始参考图像得到所述人脸区域的初始深度信息。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
若所述人脸区域不可信，则根据所述待处理图像上的可选区域以及所述初始参考图像得到所述待处理图像的初始深度信息，所述可选区域包括所述人脸区域以及所述人脸区域之外的区域。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述根据所述人脸区域的初始深度信息确定第一目标参考图像，包括：
根据所述人脸区域的初始深度信息确定所述待识别对象中人脸部位与所述电子设备之间的距离；
根据所述待识别对象中人脸部位与所述电子设备之间的距离以及所述各参考图像对应的距离参数，确定第一目标参考图像。
5.根据权利要求4所述的方法，其特征在于，所述根据所述人脸区域的初始深度信息确定所述待识别对象中人脸部位与所述电子设备之间的距离，包括：
根据所述人脸区域的初始深度信息，获取所述人脸区域对应的深度数据以及所述深度数据个数；
根据所述人脸区域对应的深度数据以及所述深度数据个数，确定所述待识别对象中人脸部位与所述电子设备之间的距离。
6.根据权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：
若所述待处理图像中不包含所述人脸区域，则根据所述待处理图像上的区域以及所述初始参考图像得到所述待处理图像的初始深度信息，并获取所述待识别对象的二维图像；
根据所述待处理图像的初始深度信息确定所述待识别对象与所述电子设备之间的距离；
根据所述待识别对象与所述电子设备之间的距离以及所述各参考图像对应的距离参数，得到第二目标参考图像；
根据所述第二目标参考图像以及所述待处理图像计算所述待处理图像的目标深度信息，以得到所述待识别对象的三维图像；
基于所述待识别对象的三维图像以及所述待识别对象的二维图像，对所述待识别对象进行识别。
7.根据权利要求6所述的方法，其特征在于，所述根据所述待处理图像的初始深度信息确定所述待识别对象与所述电子设备之间的距离，包括：
根据所述待处理图像的初始深度信息获取所述待处理图像上中心区域对应的初始深度信息；
根据所述待处理图像上中心区域对应的初始深度信息确定所述待识别对象与所述设备之间的距离。
8.一种图像处理装置，其特征在于，所述装置应用于电子设备，所述装置包括：
判断模块，用于判断待处理图像中是否包含人脸区域，所述待处理图像为包含待识别对象的图像；
第一确定模块，用于若所述待处理图像中包含人脸区域，则根据所述人脸区域以及初始参考图像得到所述人脸区域的初始深度信息，并获取所述人脸区域的二维图像，其中，所述初始参考图像为所述多个参考图像中的一个，所述多个参考图像预先存储在电子设备中，各参考图像分别对应不同的距离参数，所述距离参数用于表征所述参考图像中包含的对象与所述电子设备之间的距离；
第二确定模块，用于根据所述人脸区域的初始深度信息确定第一目标参考图像；
计算模块，用于根据所述第一目标参考图像以及所述人脸区域计算所述人脸区域的目标深度信息，以得到所述人脸区域的三维图像；
识别模块，用于基于所述人脸区域的三维图像以及所述人脸区域的二维图像，对所述待识别对象进行识别。
9.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当所述电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1-7任一项所述图像处理方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1-7任一项所述图像处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110157197.XA CN112818874A (zh) | 2021-02-03 | 2021-02-03 | 一种图像处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110157197.XA CN112818874A (zh) | 2021-02-03 | 2021-02-03 | 一种图像处理方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112818874A true CN112818874A (zh) | 2021-05-18 |
Family
ID=75861512
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110157197.XA Pending CN112818874A (zh) | 2021-02-03 | 2021-02-03 | 一种图像处理方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112818874A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113538315A (zh) * | 2021-08-20 | 2021-10-22 | 支付宝(杭州)信息技术有限公司 | 图像处理方法及装置 |
| CN115273288A (zh) * | 2022-08-03 | 2022-11-01 | 深圳市杉川机器人有限公司 | 基于人脸识别的开锁方法、智能门锁及可读存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106651941A (zh) * | 2016-09-19 | 2017-05-10 | 深圳奥比中光科技有限公司 | 一种深度信息的采集方法以及深度测量*** |
| CN106875435A (zh) * | 2016-12-14 | 2017-06-20 | 深圳奥比中光科技有限公司 | 获取深度图像的方法及*** |
| CN107730445A (zh) * | 2017-10-31 | 2018-02-23 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、存储介质和电子设备 |
| CN109190539A (zh) * | 2018-08-24 | 2019-01-11 | 阿里巴巴集团控股有限公司 | 人脸识别方法及装置 |
| CN111882596A (zh) * | 2020-03-27 | 2020-11-03 | 浙江水晶光电科技股份有限公司 | 结构光模组三维成像方法、装置、电子设备以及存储介质 |
-
2021
- 2021-02-03 CN CN202110157197.XA patent/CN112818874A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106651941A (zh) * | 2016-09-19 | 2017-05-10 | 深圳奥比中光科技有限公司 | 一种深度信息的采集方法以及深度测量*** |
| CN106875435A (zh) * | 2016-12-14 | 2017-06-20 | 深圳奥比中光科技有限公司 | 获取深度图像的方法及*** |
| CN107730445A (zh) * | 2017-10-31 | 2018-02-23 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、存储介质和电子设备 |
| CN109190539A (zh) * | 2018-08-24 | 2019-01-11 | 阿里巴巴集团控股有限公司 | 人脸识别方法及装置 |
| CN111882596A (zh) * | 2020-03-27 | 2020-11-03 | 浙江水晶光电科技股份有限公司 | 结构光模组三维成像方法、装置、电子设备以及存储介质 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113538315A (zh) * | 2021-08-20 | 2021-10-22 | 支付宝(杭州)信息技术有限公司 | 图像处理方法及装置 |
| CN113538315B (zh) * | 2021-08-20 | 2024-02-02 | 支付宝(杭州)信息技术有限公司 | 图像处理方法及装置 |
| CN115273288A (zh) * | 2022-08-03 | 2022-11-01 | 深圳市杉川机器人有限公司 | 基于人脸识别的开锁方法、智能门锁及可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102324706B1 (ko) | 얼굴인식 잠금해제 방법 및 장치, 기기, 매체 | |
| US10699103B2 (en) | Living body detecting method and apparatus, device and storage medium | |
| CN107358149B (zh) | 一种人体姿态检测方法和装置 | |
| WO2018166525A1 (zh) | 人脸防伪检测方法和***、电子设备、程序和介质 | |
| CN110569731B (zh) | 一种人脸识别方法、装置及电子设备 | |
| JP6587435B2 (ja) | 画像処理装置、情報処理方法及びプログラム | |
| CN110728196B (zh) | 一种人脸识别的方法、装置及终端设备 | |
| US20060056664A1 (en) | Security system | |
| CN112487921B (zh) | 一种用于活体检测的人脸图像预处理方法及*** | |
| CN111382592B (zh) | 活体检测方法和设备 | |
| CN113205057B (zh) | 人脸活体检测方法、装置、设备及存储介质 | |
| CN110503760B (zh) | 门禁控制方法及门禁*** | |
| CN110866466A (zh) | 一种人脸识别方法、装置、存储介质和服务器 | |
| JP2009245338A (ja) | 顔画像照合装置 | |
| CN108628442B (zh) | 一种信息提示方法、装置以及电子设备 | |
| CN110008943B (zh) | 一种图像处理方法及装置、一种计算设备及存储介质 | |
| CN112802081B (zh) | 一种深度检测方法、装置、电子设备及存储介质 | |
| CN112818874A (zh) | 一种图像处理方法、装置、设备及存储介质 | |
| CN109816543B (zh) | 一种图像查找方法及装置 | |
| CN112036284B (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN108875549B (zh) | 图像识别方法、装置、***及计算机存储介质 | |
| CN112991555B (zh) | 数据展示方法、装置、设备以及存储介质 | |
| CN112699811A (zh) | 活体检测方法、装置、设备、储存介质及程序产品 | |
| CN106406507B (zh) | 图像处理方法以及电子设备 | |
| CN111192214A (zh) | 图像处理的方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |