CN106991379A - 结合深度信息的人体皮肤识别方法及装置和电子装置 - Google Patents
结合深度信息的人体皮肤识别方法及装置和电子装置 Download PDFInfo
- Publication number
- CN106991379A CN106991379A CN201710139681.3A CN201710139681A CN106991379A CN 106991379 A CN106991379 A CN 106991379A CN 201710139681 A CN201710139681 A CN 201710139681A CN 106991379 A CN106991379 A CN 106991379A
- Authority
- CN
- China
- Prior art keywords
- human body
- body skin
- depth
- portrait area
- face region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000009434 installation Methods 0.000 title claims abstract description 20
- 238000003384 imaging method Methods 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims description 40
- 230000000694 effects Effects 0.000 claims description 6
- 238000011282 treatment Methods 0.000 claims description 5
- 241001269238 Data Species 0.000 claims description 4
- 238000000605 extraction Methods 0.000 abstract description 3
- 238000007688 edging Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000003708 edge detection Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004020 luminiscence type Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000004579 marble Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 210000003733 optic disk Anatomy 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002087 whitening effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/164—Detection; Localisation; Normalisation using holistic features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种结合深度信息的人体皮肤识别方法,用于处理成像装置采集的场景数据。人体皮肤识别方法包括:处理场景数据以识别人脸区域;处理场景数据以获取人脸区域的深度信息;根据人脸区域和深度信息确定人像区域;处理人像区域以将人像区域中与人脸区域颜色相近的区域归并为人体皮肤区域。本发明还公开了一种人体皮肤识别装置和电子装置。本发明实施方式的结合深度信息的人体皮肤识别方法、人体皮肤识别装置和电子装置基于深度信息提取人像区域,并在人像区域中识别人体皮肤区域,避免出现对整幅图像进行人体皮肤区域识别从而将与人体皮肤颜色相近的其他物体识别为人体区域的问题,提升人体皮肤区域识别的准确性。
Description
技术领域
本发明涉及图像处理技术,尤其涉及一种结合深度信息的人体皮肤识别方法、人体皮肤识别装置和电子装置。
背景技术
现有的人体皮肤识别方法通过寻找与人脸色彩相接近的区域进行人体皮肤的识别,可能将与人体皮肤颜色相近的其他物体识别为人体皮肤区域,影响人体皮肤区域识别的准确性。
发明内容
本发明的实施例提供了一种结合深度信息的人体皮肤识别方法及装置和电子装置。
本发明是实施方式的结合深度信息的人体皮肤识别方法,用于处理成像装置采集的场景数据,所述人体皮肤识别方法包括以下步骤:
处理所述场景数据以识别人脸区域;
处理所述场景数据以获取所述人脸区域的深度信息;
根据所述人脸区域和所述深度信息确定人像区域;和
处理所述人像区域以将所述人像区域中与所述人脸区域颜色相近的区域归并为人体皮肤区域。
本发明实施方式的结合深度信息的人体皮肤识别装置,用于处理成像装置采集的场景数据,所述人体皮肤识别装置包括识别模块、获取模块、确定模块和归并模块。所述识别模块用于处理所述场景数据以识别人脸区域;所述获取模块用于处理所述场景数据以获取所述人脸区域的深度信息;所述确定模块用于根据所述人脸区域和所述深度信息确定人像区域;所述归并模块用于处理所述人像区域以将所述人像区域中与所述人脸区域颜色相近的区域归并为人体皮肤区域。
本发明实施方式的电子装置包括成像装置和上述的人体皮肤识别装置,所述人体皮肤识别装置与所述成像装置电连接。
本发明实施方式的结合深度信息的人体皮肤识别方法、结合深度信息的人体皮肤识别装置和电子装置基于深度信息提取人像区域,并在人像区域中识别人体皮肤区域,避免出现对整幅图像进行人体皮肤区域识别从而将与人体皮肤颜色相近的其他物体识别为人体区域的问题,提升人体皮肤区域识别的准确性。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解,其中:
图1是本发明实施方式的结合深度信息的人体皮肤识别方法的流程示意图;
图2是本发明实施方式的电子装置的功能模块示意图;
图3是本发明实施方式的结合深度信息的人体皮肤识别方法的状态示意图;
图4是本发明某些实施方式的结合深度信息的人体皮肤识别方法的流程示意图;
图5是本发明某些实施方式的获取模块的功能模块示意图;
图6是本发明某些实施方式的结合深度信息的人体皮肤识别方法的流程示意图;
图7是本发明某些实施方式的获取模块的功能模块示意图;
图8是本发明某些实施方式的结合深度信息的人体皮肤识别方法的流程示意图;
图9是本发明某些实施方式的确定模块的功能模块示意图;
图10是本发明某些实施方式的结合深度信息的人体皮肤识别方法的状态示意图;
图11是本发明某些实施方式的结合深度信息的人体皮肤识别方法的状态示意图;
图12是本发明某些实施方式的结合深度信息的人体皮肤识别方法的流程示意图;
图13是本发明某些实施方式的归并模块的功能模块示意图;
图14是本发明某些实施方式的结合深度信息的人体皮肤识别方法的流程示意图;
图15是本发明某些实施方式的电子装置的功能模块示意图;和
图16是本发明某些实施方式的结合深度信息的人体皮肤识别方法的状态示意图。
具体实施方式
下面详细描述本发明的实施方式,所述实施方式的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
请一并参阅图1至2,本发明实施方式的结合深度信息的人体皮肤识别方法用于处理成像装置20采集的场景数据,人体皮肤识别方法包括以下步骤:
S11:处理所述场景数据以识别人脸区域;
S12:处理所述场景数据以获取所述人脸区域的深度信息;
S13:根据所述人脸区域和所述深度信息确定人像区域;和
S14:处理所述人像区域以将所述人像区域中与所述人脸区域颜色相近的区域归并为人体皮肤区域。
本发明实施方式的结合深度信息的人体皮肤识别方法应用于本发明实施方式的人体皮肤识别装置10。本发明实施方式的人体皮肤识别装置10包括识别模块11、获取模块12、确定模块13和归并模块14。步骤S11可以由识别模块11实现,步骤S12可以由获取模块12实现,步骤S13可以由确定模块13实现,步骤S14可以由归并模块14实现。
也即是说,识别模块11用于处理所述场景数据以识别人脸区域;获取模块12用于处理所述场景数据以获取所述人脸区域的深度信息;确定模块13用于根据所述人脸区域和所述深度信息确定人像区域;归并模块14用于处理所述人像区域以将所述人像区域中与所述人脸区域颜色相近的区域归并为人体皮肤区域。
本发明实施方式的人体皮肤识别装置10可以应用于本发明实施方式的电子装置100。也即是说本发明实施方式的电子装置100包括本发明实施方式的人体皮肤识别装置10。当然,本发明实施方式的电子装置100还包括成像装置20。其中,人体皮肤识别装置10与成像装置20电连接。
在某些实施方式中,电子装置100包括手机和/或平板电脑。在此不作任何限制。在本发明的具体实施例中,电子装置100为手机。
在识别人体皮肤区域时,一般对整幅图像进行人体皮肤识别,找出与人脸皮肤颜色相近的区域,并将这些区域归并为人体皮肤区域。但图像中可能包含有与人脸皮肤颜色相近的其他物体,如黄色的桌子、褐色的大理石等。如此,会导致人体皮肤区域的识别不准确。
请参阅图3,在本发明的实施方式中,首先识别人脸区域,并根据人脸区域即人脸区域的深度信息确定人像区域,最终在人像区域中找出与人脸皮肤颜色相近的区域并将这些区域归并为人体皮肤区域。如此,可以避免将与人脸皮肤颜色相近的其他物体归并到人体皮肤区域中,提升人脸皮肤识别的准确性。此外,本发明实施方式的中的人像区域是基于深度信息进行提取的。由于深度信息的获取不易受光照等外部环境因素的影响,因此提取得的人像区域的精度较高,可进一步提升人脸皮肤识别的准确性。
较佳地,对于人脸区域识别过程,可以采用已训练好的基于彩色信息和深度信息的深度学习模型检测场景主图像中是否存在人脸。深度学习模型在给定训练集时,训练集中的数据包括人脸的彩色信息和深度信息。因此,训练过后的深度学习训练模型可以根据当前场景的彩色信息和深度信息推断当前场景中是否存在人脸区域。由于人脸区域的深度信息的获取不易受光照等环境因素的影响,可以提升人脸检测准确性。进一步地,根据人脸可确定基本位于同一深度的人像区域。
请参阅图4,在某些实施方式中,所述场景数据包括场景主图像和与所述场景主图像对应的深度图像,步骤S12处理所述场景数据以获取所述人脸区域的深度信息包括以下步骤:
S121:处理所述深度图像以获取对应所述人脸区域的深度数据;和
S122:处理所述深度数据以得到所述深度信息。
请参阅图5,在某些实施方式中,获取模块11包括第一处理单元111和第二处理单元112。步骤S111可以由第一处理单元111实现,步骤S112可以由第二处理单元112实现。
也即是说,第一处理单元111用于处理所述深度图像以获取对应所述人脸区域的深度数据;第二处理单元112用于处理所述深度数据以得到所述深度信息。
可以理解,场景数据包括场景主图像和与场景主图像对应的深度图像。其中,场景主图像为RGB彩色图像,深度图像包含场景中各个人或物体的深度信息。由于场景主图像的色彩信息与深度图像的深度信息是一一对应的关系,因此,检测到人脸区域后,即可在对应的深度图像中获取到人脸区域的深度信息。
需要说明的是,由于人脸区域包括鼻子、眼睛、耳朵等特征,因此,在深度图像中,人脸区域中鼻子、眼睛、耳朵等特征在深度图像中所对应的深度数据是不同的,例如对于人脸正对成像装置20的情况下所拍摄得的深度图像中,鼻子对应的深度数据可能较小,而耳朵对应的深度数据可能较大。因此,在本发明的具体实施例中,处理人脸区域的深度数据得到的人脸区域深度信息可能为一个数值或一个数值范围。其中,当人脸区域的深度信息为一个数值时,该数值可通过对人脸区域的深度数据取平均值得到,或通过对人脸区域的深度数据取中值得到。
在某些实施方式中,成像装置20包括深度摄像头。深度摄像头可用来获取深度图像。其中,深度摄像头包括基于结构光深度测距的深度摄像头和基于TOF测距的深度摄像头。
具体地,结构光深度测距的深度摄像头包括摄像头和投射器。投射器将一定模式的光结构投射到当前待拍摄的场景中,在场景中的各个人或物体表面形成由该场景中的人或物调制后的光条三维图像,再通过摄像头探测上述的光条三维图像即可获得光条二维畸变图像。光条的畸变程度取决于投射器与摄像头之间的相对位置以及当前待拍摄场景中的各个人或物体表面的形廓或高度。由于深度摄像头中的摄像头和投射器之间的相对位置是一定的,因此,由畸变的二维光条图像坐标便可重现场景中各个人或物体表面的三维轮廓,从而可以获取深度信息。结构光深度测距具有较高的分辨率和测量精度,可以提升获取的深度信息的精确度。
基于TOF(time of flight)测距的深度摄像头是通过传感器记录从发光单元发出的调制红外光发射到物体,再从物体反射回来的相位变化,在一个波长的范围内根据光速,可以实时的获取整个场景深度距离。当前待拍摄的场景中各个人或物体所处的深度位置不一样,因此调制红外光从发出到接收所用时间是不同的,如此,便可获取场景的深度信息。基于TOF深度测距的深度摄像头计算深度信息时不受被摄物表面的灰度和特征的影响,且可以快速地计算深度信息,具有很高的实时性。
请参阅图6,在某些实施方式中,所述场景数据包括场景主图像和与所述场景主图像对应的场景副图像,步骤S12包括以下步骤:
S123:处理所述场景主图像和所述场景副图像以获取对应所述人脸区域的深度数据;和
S124:处理所述深度数据以得到所述深度信息。
请参阅图7,在某些实施方式中,获取模块12包括第三处理单元123和第四处理单元124。步骤S123可以由第三处理单元123实现,步骤S124可以由第四处理单元124实现。
也即是说,第三处理单元123用于处理所述场景主图像和所述场景副图像以获取对应所述人脸区域的深度数据;第四处理单元124用于处理所述深度数据以得到所述深度信息。
在某些实施方式中,成像装置20包括主摄像头和副摄像头。
可以理解,深度信息可以通过双目立体视觉测距的方法进行获取,此时场景数据包括场景主图像和场景副图像。其中,场景主图像由主摄像头拍摄得到,场景副图像由副摄像头拍摄得到,且场景主图像与场景副图像均为RGB彩色图像。在一些示例中,主摄像头和副摄像头可以是相同规格的两个摄像头,双目立体视觉测距是运用两个规格相同的摄像头对同一场景从不同的位置成像以获得场景的立体图像对,再通过算法匹配出立体图像对的响应想点,从而计算出视差,最后采用基于三角测量的方法恢复深度信息。在以下示例中,主摄像头和副摄像头可以是不用规格的摄像头,主设想回头用于获取当前场景的彩色信息,副摄像头用于记录场景的深度数据。如此,通过对场景主图像和场景副图像这一立体图像对进行匹配便可获得人脸区域的深度数据。随后,对正想人脸区域的深度数据进行处理获得人脸区域的深度信息。由于人脸区域中包含多个特征,各个特征对应的深度数据可能不一样,因此,人脸区域的深度信息可以为一个数值范围;或者,可对深度信息进行求取平均值处理以得到人脸区域的深度信息,或取深度数据的中值以获得人脸区域的深度信息。
请参阅图8,在某些实施方式中,步骤S13包括以下子步骤:
S131:根据所述人脸区域确定预估人像区域;
S132:根据所述人脸区域的深度信息确定所述人像区域的深度范围;
S133:根据所述人像区域的深度范围确定与所述人脸区域连接且落入所述深度范围的计算人像区域;
S134:判断所述计算人像区域与所述预估人像区域是否匹配;
S135:在所述计算人像区域与所述预估人像区域匹配时确定所述计算人像区域为所述人像区域。
请参阅图9,在某些实施方式中,确定模块13包括第一确定单元131、第二确定单元132、第三确定单元133、第一判断单元134和第四确定单元135。步骤S131可以由第一确定单元131实现,步骤S132可以由第二确定单元132实现,步骤S133可以由第三确定单元133实现,步骤S134可以由第一判断单元134实现,步骤S135可以由第四确定单元135实现。
也即是说,第一确定单元131用于根据所述人脸区域确定预估人像区域;第二确定单元132用于根据所述人脸区域的深度信息确定所述人像区域的深度范围;第三确定单元133用于根据所述人像区域的深度范围确定与所述人脸区域连接且落入所述深度范围的计算人像区域;第一判断单元134用于判断所述计算人像区域与所述预估人像区域是否匹配;第四确定单元135用于在所述计算人像区域与所述预估人像区域匹配时确定所述计算人像区域为所述人像区域。
请参阅图10,具体地,由于拍摄过程中的人像存在有多种行为姿势,如站立、蹲坐等,因此,确定人脸区域后,首先根据人脸区域的当前状态确定预估人像区域,也即是说,根据人脸区域的当前状态确定人像当前的行为姿势的信息。其中,预估人像区域为人像区域的匹配样本库,样本库中包含多种人像的行为姿势信息。由于人像区域包含人脸区域,也即是说,人像区域与人脸区域同处于某一个深度范围内,因此,确定人脸区域的深度信息后,可以根据人脸区域的深度信息设定人像区域的深度范围,并根据人像区域的深度范围提取落入该深度范围内且与人脸区域相连接的计算人像区域。由于拍摄人像时人像所处的场景可能较为复杂,也即是说,与人像所处位置相邻的位置上可能存在有其他物体并且这些物体与人体发生接触,这些物体处于人像区域的深度范围内,因此,计算人像区域的提取仅在人像区域的深度范围内提取与人脸相连接的部分以去除其他落入人像区域的深度范围内的物体。在确定计算人像区域后,需将计算人像区域与预估人像区域进行匹配,匹配成功则可将计算人像区域确定为人像区域。若匹配不成功,则表明计算人像区域中还可能包含有除人像外的其他物体,人像区域的识别失败。
在另一示例中,针对拍摄场景中较为复杂的情况,还可对计算得到人像进行区域划分,并将面积较小的区域去除,可以理解,相对于人像区域,其他面积较小的区域可明显确定为非人像,如此可排除与人像处于同一深度范围内的其他物体的干扰。
在某些实施方式中,对获取的人像区域处理还包括以下步骤:
处理场景主图像的人像区域以得到彩色边缘图;
处理场景主图像的人像区域对应的深度信息以得到深度边缘图;和
利用彩色边缘图和深度边缘图修正人像区域的边缘。
请参阅图11,可以理解,由于彩色边缘图包含人像区域内部的边缘信息,如服装的边缘信息等,而目前获取的深度信息的精度有限,如在手指、头发、衣领等边缘存在些许误差。如此,利用彩色边缘图和深度边缘图共同修正人像区域的边缘一方面可以去除人像区域包含的人脸、服装等部分的边缘及细节信息,另一方面在手指、头发、衣领等边缘部分有更高的准确度,从而可以获得较为准确的人像区域的外轮廓的边缘信息。由于彩色边缘图及深度边缘图均只对人像区域部分对应的数据进行处理,因此所需处理的数据量较少,处理的速度较快。
具体地,彩色边缘图可以通过边缘检测算法得到。边缘检测算法是通过对场景主图像中人像区域所对应的图像数据求微分以获得具有阶跃变化或屋顶变化的像素点的集合。常用的边缘检测算法那包括Roberts算子、Sobel算子、Prewitt算子、Canny算子、Laplacian算子、LOG算子等。在一些示例中,可以采用上述的任一种边缘检测算法进行计算以获得彩色边缘图,在此不做任何限制。
进一步地,在深度边缘图的获取过程中,由于只需要对人像区域对应的深度信息进行处理,因此,首先对获得的人像区域进行膨胀处理,扩大人像区域以保留人像区域对应的深度信息中深度边缘的细节。随后,对膨胀处理后的人像区域对应的深度信息进行滤波处理,从而去除深度信息中携带的高频噪声,以用于平滑深度边缘图的边缘细节。最后,将滤波后的数据转换为灰度值数据,并对灰度数据进行线性逻辑回归组合,再利用图像边缘概率密度算法对线性逻辑回归组合以获取深度边缘图。
单一的彩色边缘图会保留人像内部区域的边缘,而单一的深度边缘图存在些许误差因此,需要通过深度边缘图去除彩色边缘概率中人像内部边缘,并通过彩色边缘图修正深度边缘图中外轮廓的精度。如此,利用深度边缘图和彩色边缘图修正所述人像区域的边缘,可得到较为精准的人像区域。
请参阅图12,在某些实施方式中,步骤S14处理所述人像区域以将所述人像区域中与所述人脸区域颜色相近的区域归并为人体皮肤区域包括以下子步骤:
S141:处理所述人像区域以获取所述人像区域的各个像素点的彩色数据;
S142:判断所述彩色数据是否落入预设范围;和
S143:将所有所述彩色数据落入所述预设范围的对应的像素点归并为所述人体皮肤区域。
请参阅图13,在某些实施方式中,归并模块14包括第五处理单元141、第二判断单元142和归并单元143。步骤S141可以由第五处理单元141实现,步骤S142可以由第二判断单元142实现,步骤S143可以由归并单元143实现。
也即是说,第五处理单元141用于处理所述人像区域以获取所述人像区域的各个像素点的彩色数据;第二判断单元142用于判断所述彩色数据是否落入预设范围;归并单元143用于将所有所述彩色数据落入所述预设范围的对应的像素点归并为所述人体皮肤区域。
具体地,首先将RGB格式的场景主图像中的人像区域图像转换为YCrCb格式的人像区域图像,可以用以下公式进行转换以计算人像区域图像中各个像素点的在YCrCb彩色空间的彩色数据:Y=0.299R+0.587G+0.114B,Cr=0.500R+0.419G-0.081B+128,Cb=-0.169R-0.331G+0.500B+128。在YCrCb格式的人像区域图像中对各个像素点进行检测。若像素点的彩色数据落入预设范围,即133≤Cr≤173及77≤Cb≤127,则将这些像素点归并为人体皮肤区域。
如此,仅对人像区域进行人体皮肤区域的识别,可以去除其他与皮肤区域颜色相近的物体的干扰。此外可以识别出人像区域中所有的人体皮肤区域,包括脸部、颈部、手部等皮肤区域。
请参阅图14,本发明实施方式的人体皮肤识别方法还包括以下步骤:
S15:对所述人体皮肤区域进行特殊效果处理。
请参阅图15,在某些实施方式中,人体皮肤识别装置10还包括处理模块15。步骤S15可以由处理模块15实现。
也即是说,处理模块15用于对所述人体皮肤区域进行特殊效果处理。
请参阅图16,如此,可以对人体皮肤区域进行美白、磨皮等特殊效果处理,得到视觉效果较佳的图像,提升用户的使用体验。
本发明实施方式的电子装置100还包括壳体、存储器、电路板和电源电路。其中,电路板安置在壳体围成的空间内部,处理器和存储器设置在电路板上;电源电路用于为电子装置100的各个电路或器件供电;存储器用于存储可执行程序代码;人体皮肤识别装置10通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序以实现上述的本发明的任一实施方式的人体皮肤识别方法。
在本说明书的描述中,参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用,或结合这些指令执行***、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本发明的实施方式,可以理解的是,上述实施方式是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施方式进行变化、修改、替换和变型。
Claims (15)
1.一种结合深度信息的人体皮肤识别方法,用于处理成像装置采集的场景数据,其特征在于,所述人体皮肤识别方法包括以下步骤:
处理所述场景数据以识别人脸区域;
处理所述场景数据以获取所述人脸区域的深度信息;
根据所述人脸区域和所述深度信息确定人像区域;和
处理所述人像区域以将所述人像区域中与所述人脸区域颜色相近的区域归并为人体皮肤区域。
2.如权利要求1所述的人体皮肤识别方法,其特征在于,所述场景数据包括场景主图像和与所述场景主图像对应的深度图像,所述处理所述场景数据以获取所述人脸区域的深度信息的步骤包括以下子步骤:
处理所述深度图像以获取对应所述人脸区域的深度数据;和
处理所述深度数据以得到所述深度信息。
3.如权利要求1所述的人体皮肤识别方法,其特征在于,所述场景数据包括场景主图像和与所述场景主图像对应的场景副图像,所述处理所述场景数据以获取所述人脸区域的深度信息的步骤包括以下子步骤:
处理所述场景主图像和所述场景副图像以获取对应所述人脸区域的深度数据;和
处理所述深度数据以得到所述深度信息。
4.如权利要求1所述的人体皮肤识别方法,其特征在于,所述根据所述人脸区域和所述深度信息确定人像区域的步骤包括以下子步骤:
根据所述人脸区域确定预估人像区域;
根据所述人脸区域的深度信息确定所述人像区域的深度范围;
根据所述人像区域的深度范围确定与所述人脸区域连接且落入所述深度范围的计算人像区域;
判断所述计算人像区域与所述预估人像区域是否匹配;
在所述计算人像区域与所述预估人像区域匹配时确定所述计算人像区域为所述人像区域。
5.如权利要求1所述的人体皮肤识别算法,其特征在于,所述处理所述人像区域以将所述人像区域中与所述人脸区域颜色相近的区域归并为人体皮肤区域的步骤包括以下子步骤:
处理所述人像区域以获取所述人像区域的各个像素点的彩色数据;
判断所述彩色数据是否落入预设范围;和
将所有所述彩色数据落入所述预设范围的对应的像素点归并为所述人体皮肤区域。
6.如权利要求1所述的人体皮肤识别方法,其特征在于,所述人体皮肤识别算法还包括以下步骤:
对所述人体皮肤区域进行特殊效果处理。
7.一种结合深度信息的人体皮肤识别装置,用于处理成像装置采集的场景数据,其特征在于,所述人体皮肤识别装置包括:
识别模块,所述识别模块用于处理所述场景数据以识别人脸区域;
获取模块,所述获取模块用于处理所述场景数据以获取所述人脸区域的深度信息;
确定模块,所述确定模块用于根据所述人脸区域和所述深度信息确定人像区域;和
归并模块,所述归并模块用于处理所述人像区域以将所述人像区域中与所述人脸区域颜色相近的区域归并为人体皮肤区域。
8.如权利要求7所述的人体皮肤识别装置,其特征在于,所述场景数据包括场景主图像和与所述场景主图像对应的深度图像,所述获取模块包括:
第一处理单元,所述第一处理单元用于处理所述深度图像以获取对应所述人脸区域的深度数据;和
第二处理单元,所述第二处理单元用于处理所述深度数据以得到所述深度信息。
9.如权利要求7所述的人体皮肤识别装置,其特征在于,所述场景数据包括场景主图像和与所述场景主图像对应的场景副图像,所述获取模块包括:
第三处理单元,所述第三处理单元用于处理所述场景主图像和所述场景副图像以获取对应所述人脸区域的深度数据;和
第四处理单元,所述第四处理单元用于处理所述深度数据以得到所述深度信息。
10.如权利要求7所述的人体皮肤识别装置,其特征在于,所述确定模块包括:
第一确定单元,所述第一确定单元用于根据所述人脸区域确定预估人像区域;
第二确定单元,所述第二确定单元用于根据所述人脸区域的深度信息确定所述人像区域的深度范围;
第三确定单元,所述第三确定单元用于根据所述人像区域的深度范围确定与所述人脸区域连接且落入所述深度范围的计算人像区域;
第一判断单元,所述第一判断单元用于判断所述计算人像区域与所述预估人像区域是否匹配;
第四确定单元,所述第四确定单元用于在所述计算人像区域与所述预估人像区域匹配时确定所述计算人像区域为所述人像区域。
11.如权利要求7所述的人体皮肤识别装置,其特征在于,所述归并模块包括:
第五处理单元,所述第五处理单元用于处理所述人像区域以获取所述人像区域的各个像素点的彩色数据;
第二判断单元,所述第二判断单元用于判断所述彩色数据是否落入预设范围;和
归并单元,所述归并单元用于将所有所述彩色数据落入所述预设范围的对应的像素点归并为所述人体皮肤区域。
12.如权利要求7所述的人体皮肤识别装置,其特征在于,所述人体皮肤识别装置还包括:
处理模块,所述处理模块用于对所述人体皮肤区域进行特殊效果处理。
13.一种电子装置,其特征在于,所述电子装置包括:
成像装置;和
如权利要求7至12任意一项所述的人体皮肤识别装置,所述人体皮肤识别装置与所述成像装置电连接。
14.如权利要求13所述的电子装置,其特征在于,所述成像装置包括主摄像头和副摄像头。
15.如权利要求13所述的电子装置,其特征在于,所述成像装置包括深度摄像头。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710139681.3A CN106991379B (zh) | 2017-03-09 | 2017-03-09 | 结合深度信息的人体皮肤识别方法及装置和电子装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710139681.3A CN106991379B (zh) | 2017-03-09 | 2017-03-09 | 结合深度信息的人体皮肤识别方法及装置和电子装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106991379A true CN106991379A (zh) | 2017-07-28 |
CN106991379B CN106991379B (zh) | 2020-07-10 |
Family
ID=59413137
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710139681.3A Expired - Fee Related CN106991379B (zh) | 2017-03-09 | 2017-03-09 | 结合深度信息的人体皮肤识别方法及装置和电子装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106991379B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107465903A (zh) * | 2017-09-08 | 2017-12-12 | 广东欧珀移动通信有限公司 | 图像白平衡方法、装置和计算机可读存储介质 |
CN107509031A (zh) * | 2017-08-31 | 2017-12-22 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、移动终端及计算机可读存储介质 |
CN107563302A (zh) * | 2017-08-09 | 2018-01-09 | 广东欧珀移动通信有限公司 | 移除眼镜的人脸还原方法和装置 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101287607A (zh) * | 2005-08-12 | 2008-10-15 | 里克·B·耶格尔 | 用于喷涂反射率修改剂以改善人的皮肤的视觉美观度的***和方法 |
CN102737368A (zh) * | 2011-03-29 | 2012-10-17 | 索尼公司 | 图像处理设备、方法和程序 |
CN103268475A (zh) * | 2013-05-10 | 2013-08-28 | 中科创达软件股份有限公司 | 一种基于人脸、肤色检测的皮肤美容方法 |
CN104243951A (zh) * | 2013-06-07 | 2014-12-24 | 索尼电脑娱乐公司 | 图像处理设备、图像处理***以及图像处理方法 |
CN104966267A (zh) * | 2015-07-02 | 2015-10-07 | 广东欧珀移动通信有限公司 | 一种美颜用户图像的方法及装置 |
CN105069007A (zh) * | 2015-07-02 | 2015-11-18 | 广东欧珀移动通信有限公司 | 一种建立美颜数据库的方法及装置 |
CN105224917A (zh) * | 2015-09-10 | 2016-01-06 | 成都品果科技有限公司 | 一种利用颜色空间创建肤色概率图的方法和*** |
CN106407909A (zh) * | 2016-08-31 | 2017-02-15 | 北京云图微动科技有限公司 | 人脸识别方法、装置及*** |
-
2017
- 2017-03-09 CN CN201710139681.3A patent/CN106991379B/zh not_active Expired - Fee Related
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101287607A (zh) * | 2005-08-12 | 2008-10-15 | 里克·B·耶格尔 | 用于喷涂反射率修改剂以改善人的皮肤的视觉美观度的***和方法 |
CN102737368A (zh) * | 2011-03-29 | 2012-10-17 | 索尼公司 | 图像处理设备、方法和程序 |
CN103268475A (zh) * | 2013-05-10 | 2013-08-28 | 中科创达软件股份有限公司 | 一种基于人脸、肤色检测的皮肤美容方法 |
CN104243951A (zh) * | 2013-06-07 | 2014-12-24 | 索尼电脑娱乐公司 | 图像处理设备、图像处理***以及图像处理方法 |
CN104966267A (zh) * | 2015-07-02 | 2015-10-07 | 广东欧珀移动通信有限公司 | 一种美颜用户图像的方法及装置 |
CN105069007A (zh) * | 2015-07-02 | 2015-11-18 | 广东欧珀移动通信有限公司 | 一种建立美颜数据库的方法及装置 |
CN105224917A (zh) * | 2015-09-10 | 2016-01-06 | 成都品果科技有限公司 | 一种利用颜色空间创建肤色概率图的方法和*** |
CN106407909A (zh) * | 2016-08-31 | 2017-02-15 | 北京云图微动科技有限公司 | 人脸识别方法、装置及*** |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107563302A (zh) * | 2017-08-09 | 2018-01-09 | 广东欧珀移动通信有限公司 | 移除眼镜的人脸还原方法和装置 |
CN107509031A (zh) * | 2017-08-31 | 2017-12-22 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、移动终端及计算机可读存储介质 |
CN107509031B (zh) * | 2017-08-31 | 2019-12-27 | Oppo广东移动通信有限公司 | 图像处理方法、装置、移动终端及计算机可读存储介质 |
CN107465903A (zh) * | 2017-09-08 | 2017-12-12 | 广东欧珀移动通信有限公司 | 图像白平衡方法、装置和计算机可读存储介质 |
CN107465903B (zh) * | 2017-09-08 | 2019-04-26 | Oppo广东移动通信有限公司 | 图像白平衡方法、装置和计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN106991379B (zh) | 2020-07-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106909911A (zh) | 图像处理方法、图像处理装置和电子装置 | |
CN106991688A (zh) | 人体跟踪方法、人体跟踪装置和电子装置 | |
CN106991654A (zh) | 基于深度的人体美化方法和装置及电子装置 | |
CN106851238B (zh) | 白平衡控制方法、白平衡控制装置及电子装置 | |
CN106991377A (zh) | 结合深度信息的人脸识别方法、人脸识别装置和电子装置 | |
CN107016348A (zh) | 结合深度信息的人脸检测方法、检测装置和电子装置 | |
CN106997457A (zh) | 人物肢体识别方法、人物肢体识别装置及电子装置 | |
CN107025635B (zh) | 基于景深的图像饱和度的处理方法、处理装置和电子装置 | |
CN107018323B (zh) | 控制方法、控制装置和电子装置 | |
CN106993112A (zh) | 基于景深的背景虚化方法及装置和电子装置 | |
US9087232B2 (en) | 3D object recognition | |
US8406510B2 (en) | Methods for evaluating distances in a scene and apparatus and machine readable medium using the same | |
EP3803682B1 (en) | Object recognition using depth and multi-spectral camera | |
Neal et al. | Measuring shape | |
US9195904B1 (en) | Method for detecting objects in stereo images | |
KR100631235B1 (ko) | 스테레오 이미지의 에지를 체인으로 연결하는 방법 | |
CN110168562A (zh) | 基于深度的控制方法、基于深度的控制装置和电子装置 | |
CN106937049A (zh) | 基于景深的人像色彩的处理方法、处理装置和电子装置 | |
CN108764071A (zh) | 一种基于红外和可见光图像的真实人脸检测方法及装置 | |
CN107341467A (zh) | 虹膜采集方法及设备、电子装置和计算机可读存储介质 | |
Dib et al. | A review on negative road anomaly detection methods | |
CN108510491A (zh) | 虚化背景下人体骨骼关键点检测结果的过滤方法 | |
CN111126393A (zh) | 车辆外观改装判断方法、装置、计算机设备及存储介质 | |
CN108416291A (zh) | 人脸检测识别方法、装置和*** | |
CN106991379A (zh) | 结合深度信息的人体皮肤识别方法及装置和电子装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18 Applicant after: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd. Address before: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18 Applicant before: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd. |
|
CB02 | Change of applicant information | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200710 |
|
CF01 | Termination of patent right due to non-payment of annual fee |