CN110168562B - 基于深度的控制方法、基于深度的控制装置和电子装置 - Google Patents

基于深度的控制方法、基于深度的控制装置和电子装置 Download PDF

Info

Publication number
CN110168562B
CN110168562B CN201780081705.2A CN201780081705A CN110168562B CN 110168562 B CN110168562 B CN 110168562B CN 201780081705 A CN201780081705 A CN 201780081705A CN 110168562 B CN110168562 B CN 110168562B
Authority
CN
China
Prior art keywords
area
portrait
processing
portrait area
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780081705.2A
Other languages
English (en)
Other versions
CN110168562A (zh
Inventor
孙剑波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Publication of CN110168562A publication Critical patent/CN110168562A/zh
Application granted granted Critical
Publication of CN110168562B publication Critical patent/CN110168562B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/164—Detection; Localisation; Normalisation using holistic features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Optics & Photonics (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度的控制方法，用于基于电子装置(100)的成像装置(20)采集的场景数据控制电子装置(100)。控制方法包括：(S11)处理场景数据以识别人脸区域；(S13)处理场景数据以获取人脸区域的深度信息；(S15)根据人脸区域和深度信息确定人像区域；(S17)根据人像区域控制电子装置(100)。本发明还公开了一种基于深度的控制装置(10)和电子装置(100)。本发明实施方式的基于深度的控制方法、基于深度的控制装置(10)和电子装置(100)基于深度信息识别人像区域，避免采用传统的基于灰度图像识别人像区域过程中易受亮度等环境因素影响的问题，提升人像识别的准确性，并基于准确识别后的人像区域进行处理，提升图像的处理效果。

Description

基于深度的控制方法、基于深度的控制装置和电子装置
技术领域
本发明涉及图像处理技术领域，特别涉及一种基于深度的控制方法、基于深度的控制装置和电子装置。
背景技术
现有的人像识别方法主要通过灰度图像识别人像的边缘，因此容易受环境亮度的影响，准确度不理想。未识别到较为精确的人像区域，则对人像区域进行处理后得到的图像处理效果也较差。
发明内容
本发明的实施例提供一种基于深度的控制方法、基于深度的控制装置和电子装置。
本发明实施方式的基于深度的控制方法，用于基于电子装置的成像装置采集的场景数据控制所述电子装置，所述控制方法包括：
处理所述场景数据以识别人脸区域；
处理所述场景数据以获取人脸区域的深度信息；
根据所述人脸区域和所述深度信息确定人像区域；和
根据所述人像区域控制所述电子装置。
本发明实施方式的基于深度的控制装置，基于电子装置的成像装置采集的场景数据控制所述电子装置，所诉控制装置包括识别模块、获取模块、确定模块和控制模块。所述识别模块用于处理所述场景数据以识别人脸区域；所述获取模块用于处理所述场景数据以获取人脸区域的深度信息；所述确定模块用于根据所述人脸区域和所述深度信息确定人像区域；所述控制模块用于根据所述人像区域控制所述电子装置。
本发明实施方式的电子装置包括成像装置、显示器和上述的控制装置。所述控制装置与所述成像装置及所述显示器均电连接。
本发明实施方式的基于深度的控制方法、基于深度的控制装置和电子装置基于深度信息识别人像区域，避免采用传统的基于灰度图像识别人像区域过程中易受亮度等环境因素影响的问题，提升人像识别的准确性，并基于准确识别后的人像区域进行处理，提升图像的处理效果。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：
图1是本发明某些实施方式的基于深度的控制方法的流程示意图；
图2是本发明某些实施方式的电子装置的功能模块示意图；
图3是本发明某些实施方式的控制方法的状态示意图；
图4是本发明某些实施方式的控制方法的流程示意图；
图5是本发明某些实施方式的获取模块的功能模块示意图；
图6是本发明某些实施方式的控制方法的流程示意图；
图7是本发明某些实施方式的获取模块的功能模块示意图；
图8是本发明某些实施方式的控制方法的流程示意图；
图9是本发明某些实施方式的确定模块的功能模块示意图；
图10是本发明某些实施方式的控制方法的流程示意图；
图11是本发明某些实施方式的控制装置的功能模块示意图；
图12是本发明某些实施方式的控制方法的状态示意图；
图13是本发明某些实施方式的控制方法的状态示意图；
图14是本发明某些实施方式的控制方法的状态示意图；
图15是本发明某些实施方式的控制方法的流程示意图；
图16是本发明某些实施方式的控制模块的功能模块示意图；
图17是本发明某些实施方式的控制方法的流程示意图；
图18是本发明某些实施方式的第一识别子模块的功能模块示意图；
图19是本发明某些实施方式的控制方法的状态示意图；
图20是本发明某些实施方式的控制方法的流程示意图；
图21是本发明某些实施方式的控制模块的功能模块示意图；
图22是本发明某些实施方式的控制方法的流程示意图；
图23是本发明某些实施方式的确定模块的功能模块示意图；
图24是本发明某些实施方式的控制方法的流程示意图；
图25是本发明某些实施方式的第二识别子模块的功能模块示意图；
图26是本发明某些实施方式的控制方法的流程示意图；
图27是本发明某些实施方式的控制模块的功能模块示意图；
图28是本发明某些实施方式的控制方法的流程示意图；
图29是本发明某些实施方式的第二归并子模块的功能模块示意图；
图30是本发明某些实施方式的控制方法的流程示意图；
图31是本发明某些实施方式的控制装置的功能模块示意图；
图32是本发明某些实施方式的控制方法的流程示意图；
图33是本发明某些实施方式的测光子模块的功能模块示意图；
图34是本发明某些实施方式的控制方法的流程示意图；
图35是本发明某些实施方式的第四判断子模块的功能模块示意图；
图36是本发明某些实施方式的控制方法的流程示意图；
图37是本发明某些实施方式的控制方法的流程示意图；
图38是本发明某些实施方式的控制装置的功能模块示意图；
图39是本发明某些实施方式的控制方法的流程示意图；
图40是本发明某些实施方式的控制方法的流程示意图；
图41是本发明某些实施方式的控制模块的功能模块示意图；
图42是本发明某些实施方式的控制方法的流程示意图；
图43是本发明某些实施方式的控制方法的流程示意图；
图44是本发明某些实施方式的控制模块的功能模块示意图；
图45是本发明某些实施方式的控制方法的流程示意图；
图46是本发明某些实施方式的控制方法的流程示意图；
图47是本发明某些实施方式的控制模块的功能模块示意图；
图48是本发明某些实施方式的控制方法的状态示意图；
图49是本发明某些实施方式的控制方法的流程示意图；
图50是本发明某些实施方式的控制模块的功能模块示意图；
图51是本发明某些实施方式的电子装置的功能模块示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
请一并参阅图1至2，本发明实施方式的基于深度的控制方法，用于基于电子装置100的成像装置20采集的场景数据控制电子装置100。控制方法包括：
S11：处理场景数据以识别人脸区域；
S13：处理场景数据以获取人脸区域的深度信息；
S15：根据人脸区域和深度信息确定人像区域；和
S17：根据人像区域控制电子装置100。
请再参阅图2，本发明实施方式的基于深度的控制方法可以由本发明实施方式的基于深度的控制装置10实现。本发明实施方式的控制装置10包括识别模块11、获取模块13、确定模块15和控制模块17。步骤S11可以由识别模块11实现，步骤S13可以由获取模块13实现，步骤S15可以由确定模块15实现，步骤S17可以由控制模块17实现。
也即是说，识别模块11用于处理场景数据以识别人脸区域；获取模块13用于处理场景数据以获取人脸区域的深度信息；确定模块15用于根据人脸区域和深度信息确定人像区域；控制模块17用于根据人像区域控制电子装置100。
本发明实施方式的控制装置10应用于本发明实施方式的电子装置100。也即是说本发明实施方式的电子装置100包括本发明实施方式的控制装置10。当然，本发明实施方式的电子装置100还包括成像装置20和显示器30。其中，控制装置10、成像装置20和显示器30均电连接。
在某些实施方式中，本发明实施方式的电子装置100包括手机、平板电脑、笔记本电脑、智能手环、智能手表、智能眼镜、智能头盔等，在此不做限制。在本发明的具体实施例中，本发明实施方式的电子装置100为手机。
请参阅图3，可以理解，传统的人像区域的识别是基于灰度图像进行人像识别，易受光照变化、阴影、物体遮挡及环境变化等因素的干扰，导致无法准确识别人像区域。本发明实施方式的控制方法通过成像装置20采集场景数据对应的场景的彩色信息和深度信息，并根据场景的深度信息获取人脸区域的深度信息。由于人脸区域是人像区域的一部分，也即是说，人像区域的深度信息与人脸区域的深度信息同处于一个深度范围内。如此，可以根据人脸区域及人脸区域的深度信息确定人像区域。由于深度信息的获取不易受光照、场景中的色彩分布等因素的影响，因此，本发明实施方式的控制方法可以提升人像区域识别的准确性。根据准确识别到的人像区域对图像进行进一步处理，还可以改善图像处理的效果。
具体地，成像装置20采集的场景数据包括当前场景的彩色信息和深度信息。步骤S11处理场景数据以识别人脸区域可以采用已经训练好的基于彩色信息和深度信息的深度学习模型检测是否存在人脸。如此，可以提升人脸检测的准确性。
请参阅图4，在某些实施方式中，场景数据包括第一缓存主图像和与第一缓存主图像对应的深度图像，步骤S13处理场景数据以获取人脸区域的深度信息的步骤包括：
S131：处理深度图像以获取人脸区域的深度数据；和
S132：处理深度数据以得到深度信息。
请参阅图5，在某些实施方式中，获取模块13包括第一处理子模块131和第二处理子模块132。步骤S131可以由第一处理子模块131实现，步骤S132可以由第二处理子模块132实现。
也即是说，第一处理子模块131用于处理深度图像以获取人脸区域的深度数据，第二处理子模块132用于处理深度数据以得到深度信息。
可以理解，场景数据包括第一缓存主图像和深度图像。其中，第一缓存主图像为RGB彩色图像，深度图像包含场景中各个人或物体的深度信息。由于第一缓存主图像的色彩信息与深度图像的深度信息是一一对应的关系。因此，在检测到人脸区域后，可在对应的深度图像中获取到人脸区域的深度信息。
需要说明的是，在第一缓存主图像中，人脸区域表现为二维图像。由于人脸区域包括鼻子、眼睛、耳朵等特征，因此，在深度图像中，人脸区域中的鼻子、眼睛、耳朵等特征在深度图像中对应的深度数据是不同的，例如对于人脸正对成像装置20的情况下拍得的深度图像中，鼻子对应的深度数据可能较小，而耳朵对应的深度数据可能较大。因此，在本发明的具体实施例中，处理人脸区域的深度数据得到的人脸区域的深度信息可能为一个数值或一个范围。其中，当人脸区域的深度信息为一个数值时，该数值可通过对人脸区域的深度数据取平均值得到，或通过对人脸区域的深度数据取中值得到。
在某些实施方式中，成像装置20包括深度摄像头。深度摄像头可用来获取深度图像。其中，深度摄像头包括基于结构光深度测距的深度摄像头和基于TOF测距的深度摄像头。
具体地，基于结构光深度测距的深度摄像头包括摄像头和投射器。投射器将一定模式的光结构投射到当前待拍摄的场景中，在场景中的各个人或物体表面形成由该场景中的人或物调制后的光条三维图像，再通过摄像头探测上述的光条三维图像即可获得光条二维畸变图像。光条的畸变程度取决于投射器与摄像头之间的相对位置以及当前待拍摄的场景中各个人或物体的表面形廓或高度。由于深度摄像头中的摄像头和投射器之间的相对位置是一定的，因此，由畸变的二维光条图像坐标便可重现场景中各个人或物体的表面三维轮廓，从而可以获取深度信息。结构光深度测距具有较高的分辨率和测量精度，可以提升获取的深度信息的精确度。
基于TOF(time of flight)测距的深度摄像头是通过传感器记录从发光单元发出的调制红外光发射到物体，再从物体反射回来的相位变化，在一个波长的范围内根据光速，可以实时的获取整个场景深度距离。当前待拍摄的场景中各个人或物体所处的深度位置不一样，因此调制红外光从发出到接收所用时间是不同的，如此，便可获取场景的深度信息。基于TOF深度测距的深度摄像头计算深度信息时不受被摄物表面的灰度和特征的影响，且可以快速地计算深度信息，具有很高的实时性。
请参阅图6，在某些实施方式中，场景数据包括与第一缓存主图像对应的缓存副图像，步骤S13处理场景数据以获取人脸区域的深度信息的步骤包括：
S133：处理第一缓存主图像和缓存副图像以获取人脸区域的深度数据；和
S134：处理所深度数据以得到深度信息。
请参阅图7，在某些实施方式中，获取模块13包括第三处理子模块133和第四处理子模块134。步骤S133可以由第三处理子模块133实现，步骤S134可以由第四处理子模块134实现。
也即是说，第三处理子模块133用于处理第一缓存主图像和缓存副图像以获取人脸区域的深度数据；第四处理子模块134用于处理所深度数据以得到深度信息。
在某些实施方式中，成像装置20包括主摄像头和副摄像头。
可以理解，深度信息可以通过双目立体视觉测距方法进行获取，此时场景数据包括第一缓存主图像和缓存副图像。在某些实施方式中，第一缓存主图像可以由主摄像头拍摄得到，缓存副图像可以由副摄像头拍摄得到。第一缓存主图像和缓存副图像均为RGB彩色图像。双目立体视觉测距是运用两个规格相同的摄像头对同一场景从不同的位置成像以获得场景的立体图像对，再通过算法匹配出立体图像对的相应像点，从而计算出视差，最后采用基于三角测量的方法恢复深度信息。如此，通过对第一缓存主图像和缓存副图像这一立体图像对进行匹配便可获得人脸区域的深度数据。随后，对人脸区域的深度数据进行处理获得人脸区域的深度信息。由于人脸区域中包含有多个特征，各个特征对应的深度数据可能不一样，因此，人脸区域的深度信息可以为一个数值范围；或者，可对深度数据进行求平均值处理以得到人脸区域的深度信息，或取深度数据的中值以获得人脸区域的深度信息。
请参阅图8，在某些实施方式中，步骤S15根据人脸区域和深度信息确定人像区域包括：
S1511：根据人脸区域确定预估人像区域；
S1512：根据人脸区域的深度信息确定人像区域的深度范围；
S1513：根据人像区域的深度范围确定与人脸区域连接且落入深度范围的计算人像区域；
S1514：判断计算人像区域与预估人像区域是否匹配；和
S1515：在计算人像区域与预估人像区域匹配时确定计算人像区域为人像区域。
请参阅图9，在某些实施方式中，确定模块15包括第一确定子模块1511、第二确定子模块1512、第三确定子模块1513、第一判断子模块1514和第四确定子模块1515。步骤S1511可以由第一确定子模块1511实现，步骤S1512可以由第二确定子模块1512实现，步骤S1513可以由第三确定子模块1513实现，步骤S1514可以由第一判断子模块1514实现，步骤S1515可以由第四确定子模块1515实现。
也即是说，第一确定子模块1511用于根据人脸区域确定预估人像区域；第二确定子模块1512用于根据人脸区域的深度信息确定人像区域的深度范围；第三确定子模块1513用于根据人像区域的深度范围确定与人脸区域连接且落入深度范围的计算人像区域；第一判断子模块1514用于判断计算人像区域与预估人像区域是否匹配；第四确定子模块1515用于在计算人像区域与预估人像区域匹配时确定计算人像区域为人像区域。
可以理解，由于拍摄的人像存在有多种行为姿势，如站立、蹲坐、直面镜头或侧对镜头等。因此，确定人脸区域后，首先根据人脸区域的当前状态确定预估人像区域，也即是说，根据人脸区域的当前状态确定人像当前的行为姿势。其中，预估人像区域为人像区域的匹配样本库，样本库中包含多种人像的行为姿势信息。由于人像区域包含人脸区域，也即是说，人像区域与人脸区域同处于某一个深度范围内。因此，确定人脸区域的深度信息后，可以根据人脸区域的深度信息设定人像区域的深度范围，并根据人像区域的深度范围提取落入该深度范围内且与人脸区域相连接的计算人像区域。由于拍摄人像时人像所处的场景可能较为复杂，与人像所处位置相邻的位置上可能存在有其他物体，这些物体处于人像区域的深度范围内。因此，计算人像区域的提取仅在人像区域的深度范围内提取与人脸相连接的部分以去除其他落入人像区域的深度范围内的物体。在确定计算人像区域后，需将计算人像区域与预估人像区域进行匹配，匹配成功则可将计算人像区域确定为人像区域。
请参阅图10，在某些实施方式中，本发明实施方式的控制方法在步骤S17根据人像区域控制电子装置100前还包括：
S161：处理第一缓存主图像的人像区域以得到彩色边缘图；
S162：处理第一缓存主图像的人像区域对应的深度信息以得到深度边缘图；和
S163：利用彩色边缘图和深度边缘图修正人像区域。
请参阅图11，在某些实施方式中，控制装置10还包括第一处理模块161、第二处理模块162和修正模块163。步骤S161可以由第一处理模块61实现，步骤S162可以由第二处理模块162实现，步骤S163可以由修正模块163实现。
也即是说，第一处理模块161用于处理第一缓存主图像的人像区域以得到彩色边缘图；第二处理模块162用于处理第一缓存主图像的人像区域对应的深度信息以得到深度边缘图；修正模块163用于利用彩色边缘图和深度边缘图修正人像区域。
请参阅图12，可以理解，由于彩色边缘图包含人像区域内部的边缘信息，如服装的边缘信息等，而目前的深度信息的获取精度有限，如在手指、头发、衣领等边缘存在些许误差。如此，利用彩色边缘图和深度边缘图共同修正人像区域的边缘一方面可以去除人像区域包含的人脸、服装等部分的细节信息，另一方面在手指、头发、衣领等边缘部分有更高的准确度，从而可以获得较为准确的人像区域的外轮廓边缘信息。由于彩色边缘图及深度边缘图只对人像区域部分对应的数据进行处理，因此所需处理的数据量较少，图像处理速度较快。
请参阅图13，具体地，彩色边缘图可以通过边缘检测算法得到。边缘检测算法是通过对第一缓存主图像中人像区域所对应的图像数据求微分以获得具有阶跃变化或屋顶变化的像素点的集合。常用的边缘检测算法包括Roberts算子、Sobel算子、Prewitt算子、Canny算子、Laplacian算子、LOG算子等。Roberts算子是一种利用局部差分算子寻找边缘的算子；Sobel算子用于获取图像的一阶梯度；Prewitt算子是一种一阶微分算子的边缘检测；Canny算子是一种多级边缘检测算法；Laplacian算子是一种二阶微分算子；LOG算子先对图像进行平滑处理，再提取边缘。在本发明的具体实施例中，可以采用上述的任意一种边缘检测算法进行计算以获得彩色边缘图，在此不做任何限制。
请参阅图14，进一步地，在深度边缘图的获取过程中，由于只需要对人像区域对应的深度信息进行处理，因此，首先对步骤S15中获得的人像区域进行膨胀处理，扩大人像区域以保留人像区域对应的深度信息中深度边缘的细节。随后，对膨胀处理后的人像区域对应的深度信息进行滤波处理，从而去除深度信息中携带的高频噪声，以用于平滑步骤S162中深度边缘图的边缘细节。最后，将滤波后的数据转换为灰度值数据，并对灰度数据进行线性逻辑回归组合，再利用图像边缘概率密度算法计算线性逻辑回归组合后的灰度数据以获取深度边缘图。
请参阅图15，在某些实施方式中，步骤S17根据人像区域控制电子装置100包括：
S1711：根据人像区域识别人物肢体以得到肢体识别图像。
请参阅图16，在某些实施方式中，控制模块17包括第一识别子模块1711。步骤S1711可以由第一识别子模块1711实现。也即是说，第一识别子模块1711用于根据人像区域识别人物肢体以得到肢体识别图像。
如此，根据基于深度信息识别出来的较为准确的人像区域识别人物肢体可以提高肢体识别的准确度。
请参阅图17，在某些实施方式中，电子装置100包括存储有肢体模板库的数据库，步骤S1711根据人像区域识别人物肢体以得到肢体识别图像包括：
S17111：根据人像区域在肢体模板库中寻找与人像区域相匹配的肢体模板；和
S17112：根据肢体模板确定人像区域的肢***置以得到肢体识别图像。
请参阅图18，在某些实施方式中，第一识别子模块1711包括第一寻找单元17111和第一确定单元17112。步骤S17111可以由第一寻找单元17111实现，步骤S17112可以由第一确定单元17112实现。
也即是说，第一寻找单元17111用于根据人像区域在肢体模板库中寻找与人像区域相匹配的肢体模板；第一确定单元17112用于根据肢体模板确定人像区域的肢***置以得到肢体识别图像。
请参阅图19，具体地，在获得人像区域后，在肢体模板库中寻找与当前人像区域匹配的肢体模板。首先，匹配人像区域的头部。在头部匹配完成后，对头部相匹配的多个肢体模板进行下一肢体匹配即上半身躯干的匹配。在上半身躯干匹配完成后对头部及上半身躯干均相匹配的多个肢体模板进行下一肢体匹配即上肢体匹配和下肢体的匹配。如此，找到头部、上半身躯干、上肢体和下肢体均和人像区域匹配的模板。随后，根据相匹配的肢体模板确定人像区域的肢***置即可得到肢体识别图像。
请一并参阅图2和图15，在某些实施方式中，步骤S17根据人像区域控制电子装置100还包括：
S1712：发送肢体识别图像至显示器30；和
S1713：控制显示器30显示肢体识别图像。
请再参阅图16，在某些实施方式中，控制模块17还包括发送子模块1712和控制子模块1713。步骤S1712可以由发送子模块1712实现，步骤S1713可以由控制子模块1713实现。
也即是说，发送子模块1712用于发送肢体识别图像至显示器30；控制子模块1713用于控制显示器30显示肢体识别图像。
如此，在显示器30上显示人物肢体识别的结果即肢体识别图像。
请参阅图20，在某些实施方式中，步骤S17根据人像区域控制电子装置100包括：
S1721：根据人像区域识别脸部区域和/或人物肢体区域；和
S1723：根据预设处理方式处理脸部区域和/或人物肢体区域以得到人体美化图像。
请参阅图21，在某些实施方式中，控制模块17包括第二识别子模块1721和美化子模块1723。步骤S1721可以由第二识别子模块1721实现，步骤S1723可以由美化子模块1723实现。
也即是说，第二识别子模块1721用于根据人像区域识别脸部区域和/或人物肢体区域；美化子模块1723用于根据预设处理方式处理脸部区域和/或人物肢体区域以得到人体美化图像。
在某些实施方式中，预设处理方式包括人脸美白、磨皮、瘦脸、瘦腰和/或瘦腿处理方式。
如此，由于人像区域是基于深度信息识别得到的，识别出的人像区域较为准确，因此根据人像区域识别到的人物肢体区域也较为准确。此外，无需用户手动操作即可实现人体的自动美化，提升用户的使用体验。
请参阅图22，在某些实施方式中，步骤S15根据人脸区域和深度信息确定人像区域包括：
S1521：根据深度信息设定预设深度范围；
S1522：根据预设深度范围确定与人脸区域相连接且落入预设深度范围内的初始人像区域；
S1523：划分初始人像区域为多个子区域；
S1524：获取各个子区域的各个像素点的灰度值；
S1525：在每个子区域中选取一个像素点作为原点；
S1526：判断各个子区域中除原点外的其他像素点与原点的灰度值之差是否大于预定阈值；和
S1527：将所有与原点的灰度值之差小于预定阈值的像素点归并为人像区域。
请参阅图23，在某些实施方式中，确定模块15包括设定子模块1521、第五确定子模块1522、第一划分子模块1523、第一获取子模块1524、选取子模块1525、第二判断子模块1526、第一归并子模块1527。步骤S1521可以由设定子模块1521实现，步骤S1522可以由第五确定子模块1522实现，步骤S1523可以由第一划分子模块1523实现，步骤S1524可以由第一获取子模块1524实现，步骤S1525可以由选取子模块1525实现，步骤S1526可以由第二判断子模块1526实现，步骤S1527可以由第一归并子模块1527实现。
也即是说，设定子模块1521用于根据深度信息设定预设深度范围；第五确定子模块1522用于根据预设深度范围确定与人脸区域相连接且落入预设深度范围内的初始人像区域；第一划分子模块1523用于划分初始人像区域为多个子区域；第一获取子模块1524用于获取各个子区域的各个像素点的灰度值；选取子模块1525用于在每个子区域中选取一个像素点作为原点；第二判断子模块1526用于判断各个子区域中除原点外的其他像素点与原点的灰度值之差是否大于预定阈值；第一归并子模块1527用于将所有与原点的灰度值之差小于预定阈值的像素点归并为人像区域。
作为基于人脸区域和深度信息进行人像区域识别的另一实施例，具体地，基于人脸区域属于人像区域的一部分的特点可根据人脸区域的深度信息设定一个预设深度范围并根据这个预设深度范围确定一个初始人像区域。由于拍摄场景中可能有其他物体与人体同处于一个深度位置，如处于用户左右两侧的盆栽等与用户同处于一个深度位置。因此，可以利用区域生长法对初始人像区域进行进一步的修正。区域生长法是从区域的某个像素点开始，按照一定的判定准则，向四周扩展以逐步加入邻近像素。具体地，可将初始人像区域划分为多个子区域，并计算出各个子区域的各个像素点的灰度值，再从各个子区域中选取一个像素点作为原点，从原点向四周扩展将与原点的灰度值之差小于预定阈值的像素点均归并为人像区域。如此，可以修正初始人像区域，去除与人像区域落入同一深度范围内的其他物体。
请再参阅图20，在某些实施方式中，步骤S17根据人像区域控制电子装置100在步骤S1723根据预设处理方式处理脸部区域和/或人物肢体区域以得到人体美化图像前还包括：
S1722：处理第一缓存主图像以判断人像区域是否存在遮挡物；和
在不存在遮挡物时进入步骤S1721根据人像区域识别脸部区域和/或人物肢体区域。
请再参阅图21，在某些实施方式中，步骤S1722可以由第三判断子模块1722实现。在不存在遮挡物时进入步骤S1721根据人像区域识别脸部区域和/或人物肢体区域的步骤可以由第二识别子模块1721实现。
也即是说，第三识别子模块1722用于处理第一缓存主图像以判断人像区域是否存在遮挡物；第二识别子模块1721还用于在不存在遮挡物时进入步骤S1721根据人像区域识别脸部区域和/或人物肢体区域。
可以理解，人像区域是根据预设深度范围进行确定的，在预设深度范围内可能有不属于人体的遮挡物，如处于人像所在位置前方的桌椅等。若在存在遮挡物时进行人物肢体识别及后续的瘦腰、瘦腿等处理，可能会导致图像中的遮挡物发生形变，影响图像的视觉效果。因此，在存在遮挡物时不对第一缓存主图像中的人像区域进行进一步的处理，在不存在遮挡物时才进行脸部区域或人物肢体区域的识别，并对脸部区域和人物肢体区域进行美化处理。其中，判断人像区域是否存在遮挡物可通过判断人像区域的深度信息的变化是否是平滑过渡的，若不是平滑过渡的则表明人像区域存在遮挡物。
请参阅图24，在某些实施方式中，数据库存储有人体模板库，步骤S1721根据人像区域识别脸部区域和/或人物肢体区域包括：
S17211：处理人像区域以获得人体骨骼图像；
S17212：在人体模板库中寻找与人体骨骼图像相匹配的人体模板；和
S17213：根据人体模板确定脸部区域和/或人物肢体区域。
请参阅图25，在某些实施方式中，第二识别子模块1721包括第一处理单元17211、第二寻找单元17212和第二确定单元17213。步骤S17211可以由第一处理单元17211实现，步骤S17212可以由第二寻找单元17212实现，步骤S17213可以由第二确定单元17213实现。
也即是说，第一处理单元17211用于处理人像区域以获得人体骨骼图像；第二寻找单元17212用于在人体模板库中寻找与人体骨骼图像相匹配的人体模板；第二确定单元17213用于根据人体模板确定脸部区域和/或人物肢体区域。
如此，根据匹配到的模板即可确定人像区域中脸部区域、人物肢体区域的位置，实现人脸部分及肢体部分的自主识别。进一步地，可对脸部区域和人物肢体区域进行美白、瘦腰等处理。
请参阅图26，在某些实施方式中，步骤S17根据人像区域控制电子装置100包括：
S1731：处理人像区域以将人像区域中与人脸区域颜色相近的区域归并为人体皮肤区域。
请参阅图27，在某些实施方式中，控制模块17包括第二归并子模块1731。步骤S1731可以由第二归并子模块1731实现。也即是说，第二归并子模块1731用于处理人像区域以将人像区域中与人脸区域颜色相近的区域归并为人体皮肤区域。
可以理解，在识别人体皮肤区域时一般对整幅图像进行人体皮肤识别，找出与人脸皮肤颜色相近的区域归并为人体皮肤区域。但图像中可能包含有与人脸皮肤颜色相近的其他物体，如黄色的桌子，褐色的大理石等。如此，会导致人体皮肤区域识别不准确。而基于深度信息识别到准确的人像区域后，再从人像区域中找出与人脸皮肤颜色相近的区域归并为人体皮肤区域，可以避免将与人脸皮肤相近的其他物体归并到人体皮肤区域中，提升人脸皮肤识别的准确性。
请参阅图28，在某些实施方式中，步骤S1731处理人像区域以将人像区域中与人脸区域颜色相近的区域归并为人体皮肤区域包括：
S17311：处理人像区域以获取人像区域的各个彩色像素点的彩色数据；
S17312：判断彩色数据是否落入预设范围；和
S17313：将彩色数据落入预设范围内的对应的像素点归并为人体皮肤区域。
请参阅图29，在某些实施方式中，第二归并子模块1731包括第二处理单元17311、第一判断单元17312和归并单元17313。步骤S17311可以由第二处理单元17311实现，步骤S17312可以由第一判断单元17312实现，步骤S17313可以由归并单元17313实现。
也即是说，第二处理单元17311用于处理人像区域以获取人像区域的各个彩色像素点的彩色数据；第一判断单元17312用于判断彩色数据是否落入预设范围；归并单元17313用于将彩色数据落入预设范围内的对应的像素点归并为人体皮肤区域。
具体地，首先将RGB格式的第一缓存主图像中的人像区域转换为YCrCb格式的人像区域图像，可以用以下公式进行转换以计算人像区域图像中各个像素点的在YCrCb彩色空间的彩色数据：Y＝0.299R+0.587G+0.114B，Cr＝0.500R+0.419G-0.081B+128，Cb＝-0.169R-0.331G+0.500B+128。在YCrCb格式的人像区域图像中对各个像素点进行检测。若像素点的彩色数据落入预设范围，即133≤Cr≤173及77≤Cb≤127，则将这些像素点归并为人体皮肤区域。
如此，仅对人像区域进行人体皮肤区域的识别，可以去除其他与皮肤区域颜色相近的物体的干扰。此外可以识别出人像区域中所有的人体皮肤区域，包括脸部、颈部、手部等皮肤区域。
请再参阅图26，在某些实施方式中，步骤S17根据人像区域控制所述电子装置100还包括：
S1732：对人体皮肤区域进行特殊效果处理。
请再参阅图27，在某些实施方式中，控制模块17还包括第五处理子模块1732。步骤S1732可以由第五处理子模块1732实现。也即是说，第五处理子模块1732用于对人体皮肤区域进行特殊效果处理。
如此，可以对人体皮肤区域进行美白、磨皮等特殊效果处理，得到视觉效果较佳的图像，提升用户的使用体验。
请参阅图30，在某些实施方式中，步骤S17根据人像区域控制所述电子装置100包括：
S1741：判断人像区域是否曝光不足；
S1742：在人像区域曝光不足时对人像区域进行单独测光以得到修正测光数据；和
S1743：控制成像装置根据修正测光数据采集第二缓存主图像，场景数据包括第二缓存主图像。
请参阅图31，在某些实施方式中，控制模块17包括第四判断子模块1741、测光子模块1742和采集子模块1743。步骤S1741可以由第四判断子模块1741实现，步骤S1742可以由测光子模块1742实现。步骤S1743可以由采集子模块1743实现。
也即是说，第四判断子模块1741用于判断人像区域是否曝光不足；测光子模块1742用于在人像区域曝光不足时对人像区域进行单独测光以得到修正测光数据；采集子模块1743用于控制成像装置根据修正测光数据采集第二缓存主图像，场景数据包括第二缓存主图像。
可以理解，在背光或逆光环境下拍摄图像时，由于采用全局自动测光的方法控制成像装置20曝光，可能导致人像部分曝光不足。而基于深度信息获取到较为准确的人像区域后，对人像区域进行单独测光并根据单独测光的结果对测光数据进行修正(如加重人像区域的权值)，则最终根据修正测光数据采集到的第二缓存主图像由于经过了单独测光和曝光补偿使得人像区域的亮度得到提升，第二缓存主图像的视觉效果更佳。
请再参阅图30，在某些实施方式中，在步骤S11处理场景数据以识别人脸区域的步骤前包括：
S101：控制成像装置20进行全局测光以得到全局测光数据；
S102：控制成像装置20根据全局测光数据采集第一缓存主图像。
请再参阅图31，在某些实施方式中，步骤S101可以由测光子模块1742实现，步骤S102可以由采集子模块1743实现。
也即是说，测光子模块1742还用于控制成像装置20进行全局测光以得到全局测光数据；采集子模块1743还用于控制成像装置20根据全局测光数据采集第一缓存主图像。
具体地，首先对拍摄的场景进行全局测光，根据全局测光数据进行曝光补偿后再进行图像拍摄以得到第一缓存主图像。也即是说，第一缓存主图像是经过全局测光及根据全局测光的数据进行曝光补偿后拍摄得的图像。如此，经全局测光后采集的第一缓存主图像具有较为合适的亮度，便于后续对人脸的检测识别。
请参阅图32，在某些实施方式中，步骤S101控制成像装置20进行全局测光以得到全局测光数据包括：
S1011：划分成像装置20输出的第三缓存主图像为多个第一分析区域，场景数据包括第三缓存主图像；和
S1012：计算每个第一分析区域的亮度信息以得到全局测光数据。
请参阅图33，在某些实施方式中，测光子模块1742包括划分单元17421和计算单元17422。步骤S1011可以由划分单元17421实现，步骤S1742可以由计算单元17422实现。
也即是说，划分单元17421用于划分成像装置20输出的第三缓存主图像为多个第一分析区域，场景数据包括第三缓存主图像；计算单元17422用于计算每个第一分析区域的亮度信息以得到全局测光数据。
具体地，全局测光可以采用中央重点平均测光、中央部分测光、分割侧光等方法。在发明的具体实施例中，全局测光采用分割测光方法。成像装置20首先输出第三缓存主图像，第三缓存主图像为未经过全局测光及曝光补偿处理的图像，划分单元17421将第三缓存主图像划分为多个第一分析区域。计算单元17422统计各个第一分析区域的亮度信息后，采用不同的加权值对各个第一分析区域进行加权计算，并对加权计算后的结果求取平均值以得到最终的测光数据。分割测光是一种智能化测光方法，该方法模拟人脑对拍摄场景的光照均匀或不均匀的情况判断，会对整个场景中的亮度进行测量评估，从而获得整体平衡的曝光效果，使得拍摄的图像效果更佳。
请参阅图34，在某些实施方式中，步骤S1741判断人像区域是否曝光不足包括：
S17411：判断人像区域的亮度与第一缓存主图像的亮度比是否小于预定比值；和
S17412：在亮度比小于预定比值时确定人像区域曝光不足。
请参阅图35，在某些实施方式中，第四判断子模块1741包括第二判断单元17411和第三确定单元17412。步骤S17411可以由第二判断单元17411实现，步骤S17412可以由第三确定单元17412实现。
也即是说，第二判断单元17411用于判断人像区域的亮度与第一缓存主图像的亮度比是否小于预定比值；第三确定单元17412用于在亮度比小于预定比值时确定人像区域曝光不足。
可以理解，第一缓存主图像为经过全局测光并根据全局测光数据进行曝光补偿后拍摄的图像。若人像区域的亮度与第一缓存主图像的亮度比小于预定比值，说明人像区域的亮度较暗，曝光不足，需要对人像区域进行额外的修正和曝光补偿。若人像区域的亮度与第一缓存主图像的亮度比大于预定比值，说明人像区域的曝光充足，无需对人像区域进行额外的修正和曝光补偿。
请参阅图36，在某些实施方式中，步骤S1742在人像区域曝光不足时对人像区域进行单独测光以得到修正测光数据包括：
S17421：划分人像区域为多个第二分析区域；和
S17422：计算每个第二分析区域的亮度信息以得到修正测光数据。
请再参阅图33，步骤S17421可以由划分单元17421实现，步骤S17422可以由计算单元17422实现。
也即是说，划分单元17421还用于划分人像区域为多个第二分析区域；计算单元17422还用于计算每个第二分析区域的亮度信息以得到修正测光数据。
如此，对人像区域进行单独测光，并根据修正测光数据对人像区域进行修正和曝光补偿，提升人像区域的亮度。
请参阅图37，在某些实施方式中，步骤S17根据人像区域控制电子装置100包括：
S1752：对人像区域单独进行白平衡处理以得到人像修正图像。
请参阅图38，在某些实施方式中，控制模块17包括白平衡子模块175。步骤S1752可以由白平衡子模块175实现。
也即是说，白平衡子模块175用于对人像区域单独进行白平衡处理以得到人像修正图像。
如此，对基于深度信息识别到的较为准确的人像区域单独进行白平衡处理可以获得视觉效果较好的图像，提升用户体验。
在某些实施方式中，对人像区域单独进行白平衡处理的方法包括手动白平衡或者根据人像区域的色彩值进行自动白平衡处理等白平衡处理的方法，在此不做任何限制。需要说明的是，手动白平衡是指通过拍摄用户想要拍摄为白色的被摄物体来获得白平衡校正值。
请参阅图39，在某些实施方式中，步骤S17根据人像区域控制电子装置100还包括：
S1751：对第一缓存主图像做全局自动白平衡处理以得到全局修正图像；
步骤S1752对人像区域单独进行白平衡处理以得到人像修正图像包括：
S17521：处理全局修正图像以对人像区域单独白平衡以得到人像修正图像。
请再参阅图38，在某些实施方式中，步骤S1751和步骤S17521均可以由白平衡子模块175实现。
也即是说，白平衡子模块175还用于：
对第一缓存主图像做全局自动白平衡处理以得到全局修正图像；和
处理全局修正图像以对人像区域单独白平衡以得到人像修正图像。
如此，可以减少对除人像区域的外的剩余背景部分的白平衡的影响，使得人像区域的白平衡更加准确，并且人像区域和剩余背景部分的层次更加分明。
请参阅图40，在某些实施方式中，步骤S17根据人像区域控制电子装置100包括：
S1762：处理第一缓存主图像以降低人像区域的饱和度。
请参阅图41，在某些实时方式中，控制模块17包括第六处理子模块1762。步骤S1762可以由第六处理子模块1762实现。
也即是说，第六处理子模块1762用于处理第一缓存主图像以降低人像区域的饱和度。
如此，对基于深度信息识别得到的较为准确的人像区域进行降低饱和度的处理，可以保护人像区域的人物肤色，防止对图像整体进行饱和度调高处理而导致肤色偏黄的问题，提升图像的视觉效果。
请参阅图42，在某些实施方式中，步骤S17根据人像区域控制电子装置100还包括：
S1761：根据人像区域确定肢体区域；
步骤S1762处理第一缓存主图像以降低人像区域的饱和度包括：
S17621：处理第一缓存主图像以降低人脸区域和/或肢体区域的饱和度。
请再参阅图41，在某些实施方式中，控制模块17还包括第六确定子模块1761。步骤S1761可以由第六确定子模块1761实现，步骤S17621可以由第六处理子模块1762实现。
也即是说，第六确定子模块1761用于根据人像区域确定肢体区域；第六处理子模块1762还用于处理第一缓存主图像以降低人脸区域和/或肢体区域的饱和度。
在某些实时方式中，肢体区域包括颈部、手部、臂部、腿部和/或脚部。其中，肢体区域与人脸区域颜色相近。
可以理解，由于人像区域还包括其他肢体区域，当肢体区域呈裸露状态时，在饱和度处理上理应与人脸区域相近似，也即是降低饱和度，以使得人体肤色保持统一。具体的，可根据人像区域及人脸区域预估人体的骨骼分布，例如四肢的分布，从而确定肢体区域，较佳地，由于拍摄过程中，被摄人物的衣着及姿态不确定，仅根据骨骼分布确定肢体区域可能存在误差，因此可结合人脸区域的颜色寻找及确定人像中的肢体区域。从而进一步对确定的肢体区域进行与人脸区域相同的饱和度处理，从而实现对肢体区域进行肤色保护。
请再参阅图42，在某些实时方式中，步骤S17根据人像区域控制电子装置100还包括：
S1763：确定第一缓存主图像除人像区域外的第一背景部分；和
S1764：处理第一缓存主图像以提高第一背景部分的饱和度。
请再参阅图41，在某些实时方式中，控制模块17还包括第七确定子模块1763。步骤S1763可以由第七确定子模块1763实现，步骤S1764可以由第六处理子模块1762实现。
也即是说，第七确定子模块1763用于确定第一缓存主图像除人像区域外的第一背景部分；第六处理子模块1762还用于处理第一缓存主图像以提高第一背景部分的饱和度。
具体地，在确定人像区域后，可将剩余部分作为第一背景部分，此处的第一背景部分应当做广义理解，也即是除人像区域外的全部区域，而并非仅是深度信息大于人像区域的区域。可以理解，提高背景部分的饱和度，可以使得图像背景部分的颜色更加鲜艳明亮。并且由于降低了人像区域的饱和度，将使得人像区域，特别是人物皮肤的色彩更加自然。
请参阅图43，在某些实时方式中，步骤S17根据人像区域控制电子装置100包括：
S1773：根据人像区域获取人像区域中的服饰色彩参数；和
S1774：根据服饰色彩参数和设定处理方式处理人像区域中人脸区域的色彩参数以得到优化图像。
请参阅图44，在某些实时方式中，控制模块17包括第二获取子模块1773和第七处理子模块1774。步骤S1773可以由第二获取子模块1773实现，步骤S1774可以由第七处理子模块1774实现。
也即是说，第二获取子模块1773用于根据人像区域获取人像区域中的服饰色彩参数；第七处理子模块1774用于根据服饰色彩参数和设定处理方式处理人像区域中人脸区域的色彩参数以得到优化图像。
如此，基于深度信息识别到较为准确的人像区域后，根据服装色彩信息和相对应的设定处理方式对人脸区域做相应的色彩参数，使得人脸区域的色彩参数处理与被摄场景等更加匹配，并且无需根据肤色特征进行色彩调整，效果更佳，用户体验较好。
请参阅图45，在某些实施方式中，步骤S17根据人像区域控制电子装置100还包括：
S1771：识别第一缓存主图像除人像区域外的第二背景部分；
S1772：获取第二背景部分的背景色彩参数；
步骤S1774根据服饰色彩参数和设定处理方式处理人像区域中人脸区域的色彩参数以得到优化图像的步骤还包括：
S17741：根据服饰色彩参数、背景色彩参数和设定处理方式处理人像区域中人脸区域的色彩参数以得到优化图像。
请再参阅图44，在某些实施方式中，控制模块17还包括第三识别子模块1771和第三获取子模块1772。步骤S1771可以由第三识别子模块1771实现，步骤S1772可以由第三获取子模块1772实现，步骤S17741可以由第七处理子模块1774实现。
也即是说，第三识别子模块1771用于识别第一缓存主图像除人像区域外的第二背景部分；第三获取子模块1772用于获取第二背景部分的背景色彩参数；第七处理子模块1774还用于根据服饰色彩参数、背景色彩参数和设定处理方式处理人像区域中人脸区域的色彩参数以得到优化图像。
具体地，在确定人像区域后，可将剩余部分作为第二背景部分，此处的第二背景部分应当做广义理解，也即是除人像区域外的全部区域，而并非仅是深度信息大于人像区域的区域。可以理解，对人像的处理不仅要考虑到服饰的色彩参数，还应当考虑到拍摄场景或者说背景的色彩参数，例如背景主要以天空或大海等蓝色为主的色彩时，可根据其色彩参数将人脸区域的肤色的饱和度适当提高，并提高亮度，从而得到优化图像。
在某些实施方式中，设定处理方式包括：
提高人脸区域的饱和度、降低人脸区域的饱和度和提高人脸区域的亮度中的一种或多种。
可以理解，每个用户对图像的视觉感受均不相同，因此电子装置100出厂前可预置某些场景的设定处理方式，后期用户在使用中也可根据需求自行添加从而满足拍摄需求。
请参阅图46，在某些实施方式中，场景数据包括第四缓存主图像，步骤S17根据人像区域控制电子装置100包括：
S1781：根据人像区域确定人体特征数据；和
S1782：根据人体特征数据跟踪第四缓存主图像的所述人像区域。
请参阅图47，在某些实施方式中，控制模块17包括第八确定子模块1781和跟踪子模块1782。步骤S1781可以由第八确定子模块1781实现，步骤S1782可以由跟踪子模块1782实现。
也即是说，第八确定子模块1781用于根据人像区域确定人体特征数据；跟踪子模块1782用于根据人体特征数据跟踪第四缓存主图像的所述人像区域。
具体地，第一缓存主图像为当前帧图像，第四缓存主图像为下一帧图像。
可以理解，由于传统的人体跟踪方法是基于RGB彩色图像的跟踪，容易受到光照、阴影、物体遮挡等环境因素的影响，人像的识别率及人体跟踪的鲁棒性会大大降低。因此，基于深度信息对人像进行识别，并根据深度信息和人像区域对人体进行跟踪可以提升人体跟踪的鲁棒性。
请参阅图48，在某些实施方式中，人体征数据包括肩颈部位置数据、头部位置数据及人体质心数据。
具体地，在确定人像区域后，可根据人体比例、骨骼点、深度信息等确定人体特征数据，如肩部位置数据、颈部位置数据、头部位置数据等。在第一缓存主图像中确定了颈部、肩部及头部等人体特征后，可以采用基于卡尔曼滤波器的人体跟踪算法对人体的速度、加速度等信息进行估计并对人体在第四缓存主图像中的位置进行预测。如此，可以实现对人体的实时跟踪。
请参阅图49，在某些实施方式中，场景数据包括第五缓存主图像，步骤S17根据人像区域控制电子装置100包括：
S1791：判断人脸区域是否为正向人脸区域；
S1792：在人脸区域为正向人脸区域时根据人像区域确定肩颈特征数据；
S1793：处理第五缓存主图像以判断是否存在正向人脸区域；和
S1794：在不存在正向人脸区域时结合肩颈特征数据检测人脸区域。
请参阅图50，在某些实施方式中，控制模块17包括第五判断子模块1791、第九确定子模块1792、第六判断子模块1793和检测子模块1794。步骤S1791可以由第五判断子模块1791实现，步骤S1792可以由第九确定子模块1792实现，步骤S1793可以由第六判断子模块1793，步骤S1794可以由检测子模块1794实现。
也即是说，第五判断子模块1791用于判断人脸区域是否为正向人脸区域；第九确定子模块1792用于在人脸区域为正向人脸区域时根据人像区域确定肩颈特征数据；第六判断子模块1793用于处理第五缓存主图像以判断是否存在正向人脸区域；检测子模块1794用于在不存在正向人脸区域时结合肩颈特征数据检测人脸区域。
具体地，第一缓存主图像为当前帧图像，第五缓存主图像为下一帧图像。
可以理解，在日常摄影过程中，特别是对于人像进行拍摄时，人脸往往是图像中用户感兴趣的区域，因此需要检测出来加以应用，例如保持对人脸对焦，或调高对人脸的曝光以提高亮度等，一般地，人脸区域朝向成像装置200，人脸检测基于人脸特征进行检测，例如通过特征点及彩色信息等人脸特征进行检测，而当人脸发生扭动时，人脸不再正对成像装置200，可用于检测人脸区域的特征信息丢失，将无法检测出人脸区域，而此时，原有针对人脸区域调节的相关参数或动作将无法继续进行。因此，基于深度信息识别人像区域并根据人像区域确定肩颈特征数据后，在人脸发生偏转无法获取人脸特征使得人脸识别失败时，可以结合人像轮廓以及将肩颈特征数据来反推人脸区域。例如，当人脸转动时，一般肩颈也发生轻微转动，肩颈所构成的特征结构或者说肩颈特征数据也发生微小变化，可以设置肩颈特征数据的变化预定阈值，当变化在预定阈值范围内时，可据此确定人脸区域，从而实现在人脸转动时持续识别人脸区域。如此，在人脸发生偏转的情况下，仍能检测人脸区域以对人脸区域进行追踪，改善用户体验。
请参阅图51，本发明实施方式的电子装置100包括处理器40、存储器50、电路板60、电源电路70和壳体80。其中，电路板60安置在壳体80围成的空间内部，处理器40和存储器50设置在电路板上；电源电路70用于为电子装置100的各个电路或器件供电；存储器50用于存储可执行程序代码；处理器40通过读取存储器50中存储的可执行代码来运行与可执行程序代码对应的程序以实现本发明任一实时方式的基于深度的控制方法。在执行上述的控制方法的过程中，处理器40用于执行以下步骤：
处理场景数据以识别人脸区域；
处理场景数据以获取人脸区域的深度信息；
根据人脸区域和深度信息确定人像区域；和
根据人像区域控制所述电子装置。
在某些实施方式中，处理器40还可用于执行以下步骤：
根据人像区域识别脸部区域和/或人物肢体区域；和
根据预设处理方式处理脸部区域和/或人物肢体区域以得到人体美化图像。
在某些实施方式中，处理器40还可用于执行以下步骤：
判断人像区域是否曝光不足；
在人像区域曝光不足时对人像区域进行单独测光以得到修正测光数据；和
控制成像装置20根据修正测光数据采集第二缓存主图像，场景数据包括第二缓存主图像。
在某些实施方式中，处理器40还可用于执行以下步骤：
根据人像区域确定人体特征数据；和
根据人体特征数据跟踪第四缓存主图像的人像区域。
需要说明的是，前述对本发明实施方式的控制方法和控制装置10的解释说明也适用于本发明实施方式的电子装置100，此处不再赘述。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，″计算机可读介质″可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (65)

1.一种基于深度的控制方法，用于基于电子装置的成像装置采集的场景数据控制所述电子装置，其特征在于，所述控制方法包括：
处理所述场景数据以识别人脸区域；
处理所述场景数据以获取人脸区域的深度信息；
根据所述人脸区域和所述深度信息确定人像区域；和
根据所述人像区域控制所述电子装置；
所述场景数据包括第一缓存主图像和与所述第一缓存主图像对应的深度图像，所述处理所述场景数据以获取所述人脸区域的深度信息的步骤包括：
处理所述深度图像以获取所述人脸区域的深度数据；和
处理所述深度数据以得到所述深度信息；
所述根据所述人像区域控制所述电子装置的步骤包括：
判断所述人像区域是否曝光不足；
在所述人像区域曝光不足时对所述人像区域进行单独测光以得到修正测光数据；和
控制所述成像装置根据所述修正测光数据采集第二缓存主图像，所述场景数据包括所述第二缓存主图像。
2. 根据权利要求1所述的控制方法，其特征在于，所述场景数据包括与所述第一缓存主图像对应的缓存副图像，所述处理所处场景数据以获取所述人脸区域的深度信息的步骤包括：
处理所述第一缓存主图像和所述缓存副图像以获取所述人脸区域的深度数据；和
处理所述深度数据以得到所述深度信息。
3.根据权利要求1所述的控制方法，其特征在于，所述根据所述人脸区域和所述深度信息确定人像区域的步骤包括：
根据所述人脸区域确定预估人像区域；
根据所述人脸区域的深度信息确定所述人像区域的深度范围；
根据所述人像区域的深度范围确定与所述人脸区域连接且落入所述深度范围的计算人像区域；
判断所述计算人像区域与所述预估人像区域是否匹配；和
在所述计算人像区域与所述预估人像区域匹配时确定所述计算人像区域为所述人像区域。
4.根据权利要求3所述的控制方法，其特征在于，所述控制方法在所述根据所述人像区域控制所述电子装置的步骤前还包括：
处理所述第一缓存主图像的人像区域以得到彩色边缘图；
处理所述第一缓存主图像的人像区域对应的深度信息以得到深度边缘图；和
利用所述彩色边缘图和所述深度边缘图修正所述人像区域。
5.根据权利要求1所述的控制方法，其特征在于，所述根据所述人像区域控制所述电子装置的步骤包括：
根据所述人像区域识别人物肢体以得到肢体识别图像。
6. 根据权利要求5所述的控制方法，其特征在于，所述电子装置包括存储有肢体模板库的数据库，所述根据所述人像区域识别人物肢体以得到肢体识别图像的步骤包括：
根据所述人像区域在所述肢体模板库中寻找与所述人像区域相匹配的肢体模板；和
根据所述肢体模板确定所述人像区域的肢***置以得到所述肢体识别图像。
7. 根据权利要求6所述的控制方法，其特征在于，所述电子装置包括显示器，所述根据人像区域控制所述电子装置的步骤还包括：
发送所述肢体识别图像至所述显示器；和
控制所述显示器显示所述肢体识别图像。
8. 根据权利要求1所述的控制方法，其特征在于，所述根据所述人像区域控制所述电子装置的步骤包括：
根据所述人像区域识别脸部区域和/或人物肢体区域；和
根据预设处理方式处理所述脸部区域和/或所述人物肢体区域以得到人体美化图像。
9.如权利要求1或8所述的控制方法，其特征在于，所述根据所述人脸区域和所述深度信息确定人像区域的步骤包括：
根据所述深度信息设定预设深度范围；
根据所述预设深度范围确定与所述人脸区域相连接且落入所述预设深度范围内的初始人像区域；
划分所述初始人像区域为多个子区域；
获取各个所述子区域的各个像素点的灰度值；
在每个所述子区域中选取一个像素点作为原点；
判断各个所述子区域中除所述原点外的其他所述像素点与所述原点的灰度值之差是否大于预定阈值；和
将所有与所述原点的灰度值之差小于所述预定阈值的所述像素点归并为所述人像区域。
10. 根据权利要求8所述的控制方法，其特征在于，在所述根据预设处理方式处理所述脸部区域和/或所述人物肢体区域以得到人体美化图像的步骤前还包括：
处理所述第一缓存主图像以判断所述人像区域是否存在遮挡物；和
在不存在所述遮挡物时进入所述根据所述人像区域识别脸部区域和/或人物肢体区域的步骤。
11.根据权利要求10所述的控制方法，其特征在于，所述电子装置包括数据库，所述数据库存储有人体模板库，所述根据所述人像区域识别脸部区域和/或人物肢体区域的步骤包括：
处理所述人像区域以获得人体骨骼图像；
在所述人体模板库中寻找与所述人体骨骼图像相匹配的人体模板；和
根据所述人体模板确定所述脸部区域和/或所述人物肢体区域。
12.根据权利要求8所述的控制方法，其特征在于，所述预设处理方式包括人脸美白、磨皮、瘦脸、瘦腰和/或瘦腿处理方式。
13.根据权利要求1所述的控制方法，其特征在于，所述根据所述人像区域控制所述电子装置的步骤包括：
处理所述人像区域以将所述人像区域中与所述人脸区域颜色相近的区域归并为人体皮肤区域。
14.根据权利要求13所述的控制方法，其特征在于，所述处理所述人像区域以将所述人像区域中与所述人脸区域颜色相近的区域归并为人体皮肤区域的步骤包括：
处理所述人像区域以获取所述人像区域的各个彩色像素点的彩色数据；
判断所述彩色数据是否落入预设范围；和
将所述彩色数据落入所述预设范围内的对应的像素点归并为所述人体皮肤区域。
15.根据权利要求13所述的控制方法，其特征在于，所述根据所述人像区域控制所述电子装置的步骤还包括：
对所述人体皮肤区域进行特殊效果处理。
16.根据权利要求1所述的控制方法，其特征在于，在所述处理所述场景数据以识别人脸区域的步骤前包括：
控制所述成像装置进行全局测光以得到全局测光数据；
控制所述成像装置根据所述全局测光数据采集所述第一缓存主图像。
17. 根据权利要求16所述的控制方法，其特征在于，所述控制所述成像装置进行全局测光以得到全局测光数据的步骤包括：
划分所述成像装置输出的第三缓存主图像为多个第一分析区域，所述场景数据包括所述第三缓存主图像；和
计算每个所述第一分析区域的亮度信息以得到所述全局测光数据。
18. 根据权利要求1所述的控制方法，其特征在于，所述判断所述人像区域是否曝光不足的步骤包括：
判断所述人像区域的亮度与所述第一缓存主图像的亮度比是否小于预定比值；和
在所述亮度比小于预定比值时确定所述人像区域曝光不足。
19. 根据权利要求1所述的控制方法，其特征在于，所述在所述人像区域曝光不足时对所述人像区域进行单独测光以得到修正测光数据的步骤包括：
划分所述人像区域为多个第二分析区域；和
计算每个所述第二分析区域的亮度信息以得到修正测光数据。
20.根据权利要求1所述的控制方法，其特征在于，所述根据所述人像区域控制所述电子装置的步骤包括：
对所述人像区域单独进行白平衡处理以得到人像修正图像。
21.根据权利要求20所述的控制方法，其特征在于，所述根据所述人像区域控制所述电子装置的步骤还包括：
对所述第一缓存主图像做全局自动白平衡处理以得到全局修正图像；
所述对所述人像区域单独进行白平衡处理以得到人像修正图像的步骤包括：
处理所述全局修正图像以对所述人像区域单独白平衡以得到所述人像修正图像。
22.根据权利要求1所述的控制方法，其特征在于，所述根据所述人像区域控制所述电子装置的步骤包括：
处理所述第一缓存主图像以降低所述人像区域的饱和度。
23.根据权利要求22所述的控制方法，其特征在于，所述根据所述人像区域控制所述电子装置的步骤还包括：
根据所述人像区域确定肢体区域；
所述处理所述第一缓存主图像以降低所述人像区域的饱和度的步骤包括：
处理所述第一缓存主图像以降低所述人脸区域和/或所述肢体区域的饱和度。
24.根据权利要求23所述的控制方法，其特征在于，所述肢体区域包括颈部、手部、臂部、腿部和/或脚部，所述肢体区域与所述人脸区域颜色相近。
25. 根据权利要求22所述的控制方法，其特征在于，所述根据所述人像区域控制所述电子装置的步骤还包括：
确定所述第一缓存主图像除所述人像区域外的第一背景部分；和
处理所述第一缓存主图像以提高所述第一背景部分的饱和度。
26. 根据权利要求1所述的控制方法，其特征在于，所述根据所述人像区域控制所述电子装置的步骤包括：
根据所述人像区域获取所述人像区域中的服饰色彩参数；和
根据所述服饰色彩参数和设定处理方式处理所述人像区域中人脸区域的色彩参数以得到优化图像。
27.根据权利要求26所述的控制方法，其特征在于，所述根据所述人像区域控制所述电子装置的步骤还包括：
识别所述第一缓存主图像除所述人像区域外的第二背景部分；
获取所述第二背景部分的背景色彩参数；
所述根据所述服饰色彩参数和设定处理方式处理所述人像区域中人脸区域的色彩参数以得到优化图像的步骤包括：
根据所述服饰色彩参数、所述背景色彩参数和设定处理方式处理所述人像区域中人脸区域的色彩参数以得到优化图像。
28.根据权利要求26所述的控制方法，其特征在于，所述设定处理方式包括：
提高所述人脸区域的饱和度、降低所述人脸区域的饱和度和提高所述人脸区域的亮度中的一种或多种。
29. 根据权利要求1所述的控制方法，其特征在于，所述场景数据包括第四缓存主图像，所述根据所述人像区域控制所述电子装置的步骤包括：
根据所述人像区域确定人体特征数据；和
根据所述人体特征数据跟踪所述第四缓存主图像的所述人像区域。
30.根据权利要求29所述的控制方法，其特征在于，所述人体特征数据包括肩颈部位置数据、头部位置数据及人体质心数据。
31.根据权利要求1所述的控制方法，其特征在于，所述场景数据包括第五缓存主图像，所述根据所述人像区域控制所述电子装置的步骤包括：
判断所述人脸区域是否为正向人脸区域；
在所述人脸区域为正向人脸区域时根据所述人像区域确定肩颈特征数据；
处理所述第五缓存主图像以判断是否存在所述正向人脸区域；和
在不存在所述正向人脸区域时结合所述肩颈特征数据检测人脸区域。
32.一种基于深度的控制装置，用于基于电子装置的成像装置采集的场景数据控制所述电子装置，其特征在于，所述控制装置包括：
识别模块，所述识别模块用于处理所述场景数据以识别人脸区域；
获取模块，所述获取模块用于处理所述场景数据以获取人脸区域的深度信息；
确定模块，所述确定模块用于根据所述人脸区域和所述深度信息确定人像区域；和
控制模块，所述控制模块用于根据所述人像区域控制所述电子装置；
所述场景数据包括第一缓存主图像和与所述第一缓存主图像对应的深度图像，所述获取模块包括：
第一处理子模块，所述第一处理子模块用于处理所述深度图像以获取所述人脸区域的深度数据；和
第二处理子模块，所述第二处理子模块用于处理所述深度数据以得到所述深度信息；
所述控制模块包括：
第四判断子模块，所述第四判断子模块用于判断所述人像区域是否曝光不足；
测光子模块，所述测光子模块用于在所述人像区域曝光不足时对所述人像区域进行单独测光以得到修正测光数据；和
采集子模块，所述采集子模块用于控制所述成像装置根据所述修正测光数据采集第二缓存主图像，所述场景数据包括所述第二缓存主图像。
33. 根据权利要求32所述的控制装置，其特征在于，所述场景数据包括与所述第一缓存主图像对应的缓存副图像，所述获取模块包括：
第三处理子模块，所述第三处理子模块用于处理所述第一缓存主图像和所述缓存副图像以获取所述人脸区域的深度数据；和
第四处理子模块，所述第四处理子模块用于处理所述深度数据以得到所述深度信息。
34.根据权利要求32所述的控制装置，其特征在于，所述确定模块包括：
第一确定子模块，所述第一确定子模块用于根据所述人脸区域确定预估人像区域；
第二确定子模块，所述第二确定子模块用于根据所述人脸区域的深度信息确定所述人像区域的深度范围；
第三确定子模块，所述第三确定子模块用于根据所述人像区域的深度范围确定与所述人脸区域连接且落入所述深度范围的计算人像区域；
第一判断子模块，所述第一判断子模块用于判断所述计算人像区域与所述预估人像区域是否匹配；和
第四确定子模块，所述第四确定子模块用于在所述计算人像区域与所述预估人像区域匹配时确定所述计算人像区域为所述人像区域。
35.根据权利要求34所述的控制装置，其特征在于，所述控制装置还包括：
第一处理模块，所述第一处理模块用于处理所述第一缓存主图像的人像区域以得到彩色边缘图；
第二处理模块，所述第二处理模块用于处理所述第一缓存主图像的人像区域对应的深度信息以得到深度边缘图；和
修正模块，所述修正模块用于利用所述彩色边缘图和所述深度边缘图修正所述人像区域。
36.根据权利要求32所述的控制装置，其特征在于，所述控制模块包括：
第一识别子模块，所述第一识别子模块用于根据所述人像区域识别人物肢体以得到肢体识别图像。
37. 根据权利要求36所述的控制装置，其特征在于，所述电子装置包括存储有肢体模板库的数据库，所述第一识别子模块包括：
第一寻找单元，所述第一寻找单元用于根据所述人像区域在所述肢体模板库中寻找与所述人像区域相匹配的肢体模板；和
第一确定单元，所述第一确定单元用于根据所述肢体模板确定所述人像区域的肢***置以得到所述肢体识别图像。
38. 根据权利要求37所述的控制装置，其特征在于，所述电子装置包括显示器，所述控制模块还包括：
发送子模块，所述发送子模块用于发送所述肢体识别图像至所述显示器；和
控制子模块，所述控制子模块用于控制所述显示器显示所述肢体识别图像。
39. 根据权利要求32所述的控制装置，其特征在于，所述控制模块包括：
第二识别子模块，所述第二识别子模块用于根据所述人像区域识别脸部区域和/或人物肢体区域；和
美化子模块，所述美化子模块用于根据预设处理方式处理所述脸部区域和/或所述人物肢体区域以得到人体美化图像。
40.根据权利要求32或39所述的控制装置，其特征在于，所述确定模块包括：
设定子模块，所述设定子模块用于根据所述深度信息设定预设深度范围；
第五确定子模块，所述第五确定子模块用于根据所述预设深度范围确定与所述人脸区域相连接且落入所述预设深度范围内的初始人像区域；
第一划分子模块，所述第一划分子模块用于划分所述初始人像区域为多个子区域；
第一获取子模块，所述第一获取子模块用于获取各个所述子区域的各个像素点的灰度值；
选取子模块，所述选取子模块用于在每个所述子区域中选取一个像素点作为原点；
第二判断子模块，所述第二判断子模块用于判断各个所述子区域中除所述原点外的其他所述像素点与所述原点的灰度值之差是否大于预定阈值；和
第一归并子模块，所述第一归并子模块用于将所有与所述原点的灰度值之差小于所述预定阈值的所述像素点归并为所述人像区域。
41. 根据权利要求39所述的控制装置，其特征在于，所述控制模块还包括：
第三判断子模块，所述第三判断子模块用于处理所述第一缓存主图像以判断所述人像区域是否存在遮挡物；和
所述第二识别子模块还用于在不存在所述遮挡物时进入所述根据所述人像区域识别脸部区域和/或人物肢体区域的步骤。
42.根据权利要求41所述的控制装置，其特征在于，所述电子装置包括数据库，所述数据库存储有人体模板库，所述第二识别子模块包括：
第一处理单元，所述第一处理单元用于处理所述人像区域以获得人体骨骼图像；
第二寻找单元，所述第二寻找单元用于在所述人体模板库中寻找与所述人体骨骼图像相匹配的人体模板；和
第二确定单元，所述第二确定单元用于根据所述人体模板确定所述脸部区域和/或所述人物肢体区域。
43.根据权利要求39所述的控制装置，其特征在于，所述预设处理方式包括人脸美白、磨皮、瘦脸、瘦腰和/或瘦腿处理方式。
44.根据权利要求32所述的控制装置，其特征在于，所述控制模块包括：
第二归并子模块，所述第二归并子模块用于处理所述人像区域以将所述人像区域中与所述人脸区域颜色相近的区域归并为人体皮肤区域。
45.根据权利要求44所述的控制装置，其特征在于，所述第二归并子模块包括：
第二处理单元，所述第二处理单元用于处理所述人像区域以获取所述人像区域的各个彩色像素点的彩色数据；
第一判断单元，所述第一判断单元用于判断所述彩色数据是否落入预设范围；和
归并单元，所述归并单元用于将所述彩色数据落入所述预设范围内的对应的像素点归并为所述人体皮肤区域。
46.根据权利要求44所述的控制装置，其特征在于，所述控制模块还包括：
第五处理子模块，所述第五处理子模块用于对所述人体皮肤区域进行特殊效果处理。
47.根据权利要求32所述的控制装置，其特征在于，所述测光子模块还用于控制所述成像装置进行全局测光以得到全局测光数据；
所述采集子模块还用于控制所述成像装置根据所述全局测光数据采集所述第一缓存主图像。
48. 根据权利要求47所述的控制装置，其特征在于，所述测光子模块包括：
划分单元，所述划分单元用于划分所述成像装置输出的第三缓存主图像为多个第一分析区域，所述场景数据包括所述第三缓存主图像；和
计算单元，所述计算单元用于计算每个所述第一分析区域的亮度信息以得到所述全局测光数据。
49. 根据权利要求32所述的控制装置，其特征在于，所述第四判断子模块包括：
第二判断单元，所述第二判断单元用于判断所述人像区域的亮度与所述第一缓存主图像的亮度比是否小于预定比值；和
第三确定单元，所述第三确定单元用于在所述亮度比小于预定比值时确定所述人像区域曝光不足。
50.根据权利要求32所述的控制装置，其特征在于，所述测光子模块包括划分单元和计算单元，所述划分单元还用于划分所述人像区域为多个第二分析区域；和
所述计算单元还用于计算每个所述第二分析区域的亮度信息以得到修正测光数据。
51.根据权利要求32所述的控制装置，其特征在于，所述控制模块包括：
白平衡子模块，所述白平衡子模块用于对所述人像区域单独进行白平衡处理以得到人像修正图像。
52. 根据权利要求51所述的控制装置，其特征在于，所述白平衡子模块还用于：
对所述第一缓存主图像做全局自动白平衡处理以得到全局修正图像；和
处理所述全局修正图像以对所述人像区域单独白平衡以得到所述人像修正图像。
53.根据权利要求32所述的控制装置，其特征在于，所述控制模块包括：
第六处理子模块，所述第六处理子模块用于处理所述第一缓存主图像以降低所述人像区域的饱和度。
54.根据权利要求53所述的控制装置，其特征在于，所述控制模块还包括：
第六确定子模块，所述第六确定子模块用于根据所述人像区域确定肢体区域；
所述第六处理子模块还用于：
处理所述第一缓存主图像以降低所述人脸区域和/或所述肢体区域的饱和度。
55.根据权利要求54所述的控制装置，其特征在于，所述肢体区域包括颈部、手部、臂部、腿部和/或脚部，所述肢体区域与所述人脸区域颜色相近。
56. 根据权利要求53所述的控制装置，其特征在于，所述控制模块还包括：
第七确定子模块，所述第七确定子模块用于确定所述第一缓存主图像除所述人像区域外的第一背景部分；和
所述第六处理子模块还用于处理所述第一缓存主图像以提高所述第一背景部分的饱和度。
57. 根据权利要求32所述的控制装置，其特征在于，所述控制模块包括：
第二获取子模块，所述第二获取子模块用于根据所述人像区域获取所述人像区域中的服饰色彩参数；和
第七处理子模块，所述第七处理子模块用于根据所述服饰色彩参数和设定处理方式处理所述人像区域中人脸区域的色彩参数以得到优化图像。
58.根据权利要求57所述的控制装置，其特征在于，所述控制模块还包括：
第三识别子模块，所述第三识别子模块用于识别所述第一缓存主图像除所述人像区域外的第二背景部分；
第三获取子模块，所述第三获取子模块用于获取所述第二背景部分的背景色彩参数；和
所述第七处理子模块进一步用于根据所述服饰色彩参数、所述背景色彩参数和设定处理方式处理所述人像区域中人脸区域的色彩参数以得到优化图像。
59.根据权利要求57所述的控制装置，其特征在于，所述设定处理方式包括：
提高所述人脸区域的饱和度、降低所述人脸区域的饱和度和提高所述人脸区域的亮度中的一种或多种。
60. 根据权利要求32所述的控制装置，其特征在于，所述场景数据包括第四缓存主图像，所述控制模块包括：
第八确定子模块，所述第八确定子模块用于根据所述人像区域确定人体特征数据；和
跟踪子模块，所述跟踪子模块用于根据所述人体特征数据跟踪所述第四缓存主图像的所述人像区域。
61.根据权利要求60所述的控制装置，其特征在于，所述人体特征数据包括肩颈部位置数据、头部位置数据及人体质心数据。
62.根据权利要求32所述的控制装置，其特征在于，所述场景数据包括第五缓存主图像，所述控制模块包括：
第五判断子模块，所述第五判断子模块用于判断所述人脸区域是否为正向人脸区域；
第九确定子模块，所述第九确定子模块用于在所述人脸区域为正向人脸区域时根据所述人像区域确定肩颈特征数据；
第六判断子模块，所述第六判断子模块用于处理所述第五缓存主图像以判断是否存在所述正向人脸区域；和
检测子模块，所述检测子模块用于在不存在所述正向人脸区域时结合所述肩颈特征数据检测人脸区域。
63.一种电子装置，其特征在于，所述电子装置包括：
成像装置；
显示器；
权利要求32至62任意一项所述的控制装置，所述控制装置与所述成像装置及所述显示器均电连接。
64.根据权利要求63所述的电子装置，其特征在于，所述成像装置包括主摄像头和副摄像头。
65.根据权利要求63所述的电子装置，其特征在于，所述成像装置包括深度摄像头。
CN201780081705.2A 2017-03-09 2017-03-09 基于深度的控制方法、基于深度的控制装置和电子装置 Active CN110168562B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/076028 WO2018161289A1 (zh) 2017-03-09 2017-03-09 基于深度的控制方法、基于深度的控制装置和电子装置

Publications (2)

Publication Number Publication Date
CN110168562A CN110168562A (zh) 2019-08-23
CN110168562B true CN110168562B (zh) 2023-06-09

Family

ID=63447234

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780081705.2A Active CN110168562B (zh) 2017-03-09 2017-03-09 基于深度的控制方法、基于深度的控制装置和电子装置

Country Status (4)

Country Link
US (1) US11227368B2 (zh)
EP (1) EP3588363A4 (zh)
CN (1) CN110168562B (zh)
WO (1) WO2018161289A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10671837B2 (en) * 2015-09-08 2020-06-02 Nec Corporation Face recognition system, face recognition method, display control apparatus, display control method, and display control program
CN107025635B (zh) * 2017-03-09 2020-01-24 Oppo广东移动通信有限公司 基于景深的图像饱和度的处理方法、处理装置和电子装置
EP3759580A4 (en) * 2018-02-27 2021-11-24 Levi Strauss & Co. TOOL FOR LASER FINISHING DRAWINGS
TWI676136B (zh) 2018-08-31 2019-11-01 雲云科技股份有限公司 使用雙重分析之影像偵測方法以及影像偵測裝置
TWI680440B (zh) * 2018-08-31 2019-12-21 雲云科技股份有限公司 判斷使用者之姿勢之影像偵測方法以及影像偵測裝置
TWI702570B (zh) * 2018-08-31 2020-08-21 雲云科技股份有限公司 選取使用者之代表性影像之影像偵測方法以及影像偵測裝置
CN112446842A (zh) * 2019-08-28 2021-03-05 深圳市光鉴科技有限公司 基于稀疏和稠密深度图图像重建方法、***、设备及介质
US10997752B1 (en) * 2020-03-09 2021-05-04 Adobe Inc. Utilizing a colorization neural network to generate colorized images based on interactive color edges
CN111915539B (zh) * 2020-07-14 2024-06-18 维沃移动通信有限公司 图像处理方法及装置
CN113971822A (zh) * 2020-07-22 2022-01-25 武汉Tcl集团工业研究院有限公司 一种人脸检测方法、智能终端及存储介质
JP2022088887A (ja) * 2020-12-03 2022-06-15 セイコーエプソン株式会社 調整方法、計測方法、投写システム、情報処理装置、及びプログラム
US11854131B2 (en) * 2021-01-13 2023-12-26 Adobe Inc. Content-specific-preset edits for digital images
CN114468973B (zh) * 2022-01-21 2023-08-11 广州视域光学科技股份有限公司 一种智能视力检测***
CN116485786B (zh) * 2023-06-15 2023-09-01 贵州医科大学附属医院 一种内分泌试纸智能分析方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009278155A (ja) * 2008-05-12 2009-11-26 Canon Inc 撮像装置、撮像装置の制御方法、及びプログラム
CN103559505A (zh) * 2013-11-18 2014-02-05 庄浩洋 一种3d骨架建模与手检测方法
CN103679175A (zh) * 2013-12-13 2014-03-26 电子科技大学 一种基于深度摄像机的快速3d骨骼模型检测方法
CN104281839A (zh) * 2014-09-26 2015-01-14 深圳市同洲电子股份有限公司 一种人体姿势识别方法和装置
CN106331492A (zh) * 2016-08-29 2017-01-11 广东欧珀移动通信有限公司 一种图像处理方法及终端

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5128711A (en) * 1989-04-28 1992-07-07 Fuji Photo Film Co., Ltd. Apparatus for recording position information of principal image and method of detecting principal image
US5463470A (en) * 1991-10-09 1995-10-31 Fuji Photo Film Co., Ltd. Methods of collecting photometric image data and determining light exposure by extracting feature image data from an original image
US7683964B2 (en) * 2005-09-05 2010-03-23 Sony Corporation Image capturing apparatus and image capturing method
JP5116393B2 (ja) * 2007-07-31 2013-01-09 キヤノン株式会社 画像処理装置及び画像処理方法
JP2010204304A (ja) * 2009-03-02 2010-09-16 Panasonic Corp 撮像装置、運転者監視装置および顔部測距方法
JP5136664B2 (ja) * 2010-07-09 2013-02-06 カシオ計算機株式会社 画像処理装置、及びプログラム
KR101870902B1 (ko) * 2011-12-12 2018-06-26 삼성전자주식회사 영상 처리 장치 및 영상 처리 방법
JP6265640B2 (ja) * 2013-07-18 2018-01-24 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
JP6343200B2 (ja) * 2014-07-31 2018-06-13 キヤノン株式会社 撮像装置およびその制御方法ならびにプログラム
JP6512810B2 (ja) * 2014-12-11 2019-05-15 キヤノン株式会社 撮像装置および制御方法とプログラム
US20170163953A1 (en) * 2015-12-08 2017-06-08 Le Holdings (Beijing) Co., Ltd. Method and electronic device for processing image containing human face
US10885610B2 (en) * 2016-03-31 2021-01-05 Nikon Corporation Image device, image processing device, and electronic apparatus
CN106851121B (zh) * 2017-01-05 2019-07-05 Oppo广东移动通信有限公司 控制方法及控制装置
CN106851123B (zh) * 2017-03-09 2020-12-22 Oppo广东移动通信有限公司 曝光控制方法、曝光控制装置及电子装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009278155A (ja) * 2008-05-12 2009-11-26 Canon Inc 撮像装置、撮像装置の制御方法、及びプログラム
CN103559505A (zh) * 2013-11-18 2014-02-05 庄浩洋 一种3d骨架建模与手检测方法
CN103679175A (zh) * 2013-12-13 2014-03-26 电子科技大学 一种基于深度摄像机的快速3d骨骼模型检测方法
CN104281839A (zh) * 2014-09-26 2015-01-14 深圳市同洲电子股份有限公司 一种人体姿势识别方法和装置
CN106331492A (zh) * 2016-08-29 2017-01-11 广东欧珀移动通信有限公司 一种图像处理方法及终端

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
2DHOOF-2DPCA contour based optical flow algorithm for human activity recognition;FAWZY FADWA等;《2013 IEEE 56th International Midwest Symposium on Circuits and Systems (MWSCAS)》;20131202;全文 *
Automatic image quality enhancement based on exposure correction and dominate color detection;LIN GUO-SHIANG等;《2013 9th International Conference on Information, Communications & Signal Processing》;20140407;全文 *
Automatic seeded region growing for color image segmentation;SHIH F Y等;《Image and Vision Computing》;20050920;全文 *
Face Detection with Automatic White Balance for Digital Still Camera;YUANKAI WANG等;《2008 International Conference on Intelligent Information Hiding and Multimedia Signal Processin》;20080822;全文 *
Seeing Human Weight from a Single RGB-D Image;NGUYEN TAM V等;《Journal of Computer Science and Technology》;20140912;全文 *
基于肤色及深度信息的人脸轮廓提取;刘岗等;《江南大学学报(自然科学版)》;20061030(第05期);全文 *

Also Published As

Publication number Publication date
WO2018161289A1 (zh) 2018-09-13
EP3588363A1 (en) 2020-01-01
US20190392564A1 (en) 2019-12-26
EP3588363A4 (en) 2020-05-27
US11227368B2 (en) 2022-01-18
CN110168562A (zh) 2019-08-23

Similar Documents

Publication Publication Date Title
CN110168562B (zh) 基于深度的控制方法、基于深度的控制装置和电子装置
CN106991654B (zh) 基于深度的人体美化方法和装置及电子装置
CN107025635B (zh) 基于景深的图像饱和度的处理方法、处理装置和电子装置
CN106937049B (zh) 基于景深的人像色彩的处理方法、处理装置和电子装置
CN106909911B (zh) 图像处理方法、图像处理装置和电子装置
CN108447017B (zh) 人脸虚拟整容方法和装置
CN107169405B (zh) 基于双目摄像机活体识别的方法及装置
CN103106401B (zh) 一种具有人机交互机制的移动终端虹膜识别装置
US20140275948A1 (en) Information terminal device
US10755418B2 (en) Background blurred method and electronic device based on foreground image
CN109993115B (zh) 图像处理方法、装置及可穿戴设备
US9961321B2 (en) Image processing device and image processing method having function for reconstructing multi-aspect images, and recording medium
CN107018323B (zh) 控制方法、控制装置和电子装置
CN106851238A (zh) 白平衡控制方法、白平衡控制装置及电子装置
CN108022124A (zh) 互动式服饰试穿方法及其显示***
CN103902958A (zh) 人脸识别的方法
CN106997457B (zh) 人物肢体识别方法、人物肢体识别装置及电子装置
CN110264493A (zh) 一种针对运动状态下的多目标对象追踪方法和装置
EP3241151A1 (en) An image face processing method and apparatus
US10945657B2 (en) Automated surface area assessment for dermatologic lesions
CN109461186A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
KR20090038857A (ko) 눈동자색 보정 장치 및 기록 매체
CN106845449A (zh) 一种图像处理装置、方法以及人脸识别***
US20210256747A1 (en) Body measurement device and method for controlling the same
CN111767756A (zh) 自动检测脸部瑕疵的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant