CN105354793A - 人脸图像处理方法及装置 - Google Patents
人脸图像处理方法及装置 Download PDFInfo
- Publication number
- CN105354793A CN105354793A CN201510834545.7A CN201510834545A CN105354793A CN 105354793 A CN105354793 A CN 105354793A CN 201510834545 A CN201510834545 A CN 201510834545A CN 105354793 A CN105354793 A CN 105354793A
- Authority
- CN
- China
- Prior art keywords
- facial image
- mask
- skin color
- area
- key position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001815 facial effect Effects 0.000 title claims abstract description 136
- 238000003672 processing method Methods 0.000 title abstract 3
- 238000001914 filtration Methods 0.000 claims abstract description 78
- 238000000034 method Methods 0.000 claims abstract description 51
- 238000012545 processing Methods 0.000 claims description 47
- 238000001514 detection method Methods 0.000 claims description 46
- 239000011159 matrix material Substances 0.000 claims description 8
- 230000001143 conditioned effect Effects 0.000 claims description 6
- 230000000694 effects Effects 0.000 abstract description 12
- 210000000697 sensory organ Anatomy 0.000 abstract 2
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 6
- 210000004709 eyebrow Anatomy 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000000717 retained effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000000712 assembly Effects 0.000 description 3
- 238000000429 assembly Methods 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- KLDZYURQCUYZBL-UHFFFAOYSA-N 2-[3-[(2-hydroxyphenyl)methylideneamino]propyliminomethyl]phenol Chemical compound OC1=CC=CC=C1C=NCCCN=CC1=CC=CC=C1O KLDZYURQCUYZBL-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 201000001098 delayed sleep phase syndrome Diseases 0.000 description 1
- 208000033921 delayed sleep phase type circadian rhythm sleep disease Diseases 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011982 device technology Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本公开是关于人脸图像处理方法及装置,其中,该方法包括:检测人脸图像中的肤色区域和关键部位;根据所述肤色区域和关键部位,构造与所述人脸图像对应的掩模,所述掩模用于暴露所述肤色区域中的去除所述关键部位后的区域;以所述掩模为权重图对所述人脸图像进行线性滤波。本公开中,终端设备仅对人脸中掩模暴露的区域进行线性滤波,由于掩模中仅暴露肤色区域中要处理的部分,不包括例如五官等具有细节的图像以及五官轮廓、脸部轮廓等线条的关键部位,因此,通过使用简单的掩模和线性滤波,就能达到非线性滤波的效果。
Description
技术领域
本公开涉及图像处理技术领域,尤其涉及人脸图像处理方法及装置。
背景技术
随着终端设备技术的不断发展和普及,越来越多的用户使用带有摄像头的终端设备进行拍照。为了美化拍摄的照片,已经开发出了一些可以美化照片的应用(APP)。例如,可以对人脸进行滤波处理实现磨皮嫩肤的效果。目前对人脸进行滤波多是采用非线性滤波的方式,这是由于非线性滤波在某些条件下既可去除噪声又可保护图像细节和边缘,滤波效果好。但是,非线性滤波的算法复杂度较高,不能满足需要快速处理的需求。
发明内容
本公开实施例提供人脸图像处理方法及装置。所述技术方案如下:
根据本公开实施例的第一方面,提供一种人脸图像处理方法,包括:
检测人脸图像中的肤色区域和关键部位;
根据所述肤色区域和关键部位,构造与所述人脸图像对应的掩模,所述掩模用于暴露所述肤色区域中的去除所述关键部位后的区域;
以所述掩模为权重图对所述人脸图像进行线性滤波。
可选地,所述以所述掩模为权重图对所述人脸图像进行线性滤波,包括:
以所述掩模为权重图,按以下公式对所述人脸图像进行线性滤波:
其中,res表示滤波后的输出,im表示所述人脸图像,M表示所述掩模,·表示矩阵点乘,表示卷积,X表示线性滤波模板。
可选地,所述检测人脸图像中的肤色区域和关键部位,包括:
将所述人脸图像转换为YUV格式;
在YUV格式的人脸图像的U、V空间检测人脸图像中的肤色区域和关键部位。
可选地,所述在U、V空间检测人脸图像中的肤色区域,包括:
当像素的U、V值满足预设条件时,将所述像素确认为肤色区域;或者,
在U、V空间使用肤色模型检测人脸图像中的肤色区域。
可选地,所述根据所述肤色区域和关键部位构造掩模,包括:
构造与所述人脸图像对应的第一掩模,在所述第一掩模中,与所述人脸图像的所述肤色区域对应的位置的值为1,所述第一掩模中的其余位置的值为0;
将所述第一掩模中与所述关键部位对应的位置的值置为0,而所述第一掩模中其余位置的值保持不变得到第二掩模;
所述以所述掩模为权重图对所述人脸图像进行线性滤波,包括:
以所述第二掩模为权重图对所述人脸图像进行线性滤波。
可选地,所述检测人脸图像中的关键部位,包括:
检测人脸图像中的包括五官区域和线条区域的关键部位。
根据本公开实施例的第二方面,提供一种人脸图像处理装置,包括:
检测模块,用于检测人脸图像中的肤色区域和关键部位;
构造模块,用于根据所述检测模块所检测的所述肤色区域和关键部位,构造与所述人脸图像对应的掩模,所述掩模用于暴露所述肤色区域中的去除所述关键部位后的区域;
处理模块,用于以所述构造模块构造的所述掩模为权重图对所述人脸图像进行线性滤波。
可选地,所述处理模块,用于:
以所述掩模为权重图,按以下公式对所述人脸图像进行线性滤波:
其中,res表示滤波后的输出,im表示所述人脸图像,M表示所述掩模,·表示矩阵点乘,表示卷积,X表示线性滤波模板。
可选地,所述检测模块,包括:
转换子模块,用于将所述人脸图像转换为YUV格式;
检测子模块,用于在YUV格式的人脸图像的U、V空间检测人脸图像中的肤色区域和关键部位。
可选地,所述检测子模块,用于:
当像素的U、V值满足预设条件时,将所述像素确认为肤色区域;或者,
在U、V空间使用肤色模型检测人脸图像中的肤色区域。
可选地,所述构造模块,包括:
第一构造子模块,用于构造与所述人脸图像对应的第一掩模,在所述第一掩模中,与所述人脸图像的所述检测模块得到的所述肤色区域对应的位置的值为1,所述第一掩模中的其余位置的值为0;
第二构造子模块,用于将所述第一构造子模块得到的第一掩模中与所述检测模块得到的所述关键部位对应的位置的值置为0,而所述第一掩模中的其余位置的值保持不变得到第二掩模;
所述处理模块,用于以所述第二构造子模块得到的所述第二掩模为权重图对所述人脸图像进行线性滤波。
可选地,所述检测模块,用于:
检测人脸图像中的包括五官区域和线条区域的关键部位。
根据本公开实施例的第三方面,提供一种人脸图像处理装置,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
检测人脸图像中的肤色区域和关键部位;
根据所述肤色区域和关键部位,构造与所述人脸图像对应的掩模,所述掩模用于暴露所述肤色区域中的去除所述关键部位后的区域;
以所述掩模为权重图对所述人脸图像进行线性滤波。
本公开的实施例提供的技术方案可以包括以下有益效果:
上述技术方案,终端设备在进行人脸图像处理时,首先检测人脸图像中的肤色区域和关键部位,然后利用检测的肤色区域和关键部位构造掩模。由于掩模仅暴露了肤色区域中要处理的部分,而不包括例如五官等具有细节的图像以及五官轮廓、脸部轮廓等线条的关键部位,因此,实现了快速在模糊皮肤同时保持五官区域的效果;同时,由于有线条区域检测,模糊不会超出人脸区域,也就是达到了既去除噪声又保护图像细节和边缘的效果。所以,本实施例通过使用简单的掩模和线性滤波,就能达到非线性滤波的效果,特别适合对算法速度要求高的场景。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的人脸图像处理方法的流程图。
图2是根据另一示例性实施例示出的人脸图像处理方法的流程图。
图3是根据一示例性实施例示出的人脸图像处理装置的框图。
图4是根据另一示例性实施例示出的人脸图像处理装置的框图。
图5是根据一示例性实施例示出的一种用于人脸图像处理的装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本公开实施例提供的技术方案,涉及能够进行图像处理的终端设备,终端设备例如包括智能手机、平板电脑、笔记本电脑、智能相机等。
图1是根据一示例性实施例示出的一种人脸图像处理方法的流程图,如图1所示,人脸图像处理方法用于终端设备中,包括以下步骤S11-S13:
在步骤S11中,检测人脸图像中的肤色区域和关键部位。
关键部位例如可以包括五官区域和线条区域。五官区域包括:眼睛、眉毛、鼻子、嘴等区域。线条区域包括:有较大尺度的线条区域,例如脸部轮廓、鼻翼轮廓等。这些关键部位由于要保留较多的细节和边缘,所以可以不需要进行滤波处理。
在步骤S12中,根据所述肤色区域和关键部位,构造与所述人脸图像对应的掩模,所述掩模用于暴露所述肤色区域中的去除所述关键部位后的区域。
在步骤S13中,以所述掩模为权重图对所述人脸图像进行线性滤波。
本实施例中,终端设备在进行人脸图像处理时,首先检测人脸图像中的肤色区域和关键部位,然后利用检测的肤色区域和关键部位构造掩模。由于掩模仅暴露了肤色区域中要处理的部分,而不包括例如五官等具有细节的图像以及五官轮廓、脸部轮廓等线条的关键部位,因此,实现了快速在模糊皮肤同时保持五官区域的效果;同时,由于有线条区域检测,模糊不会超出人脸区域,也就是达到了既去除噪声又保护图像细节和边缘的效果。所以,本实施例通过使用简单的掩模和线性滤波,就能达到非线性滤波的效果,特别适合对算法速度要求高的场景。
图2是根据另一示例性实施例示出的一种人脸图像处理方法的流程图,如图2所示,在另一个实施例中,人脸图像处理方法包括以下步骤:
在步骤S21中,获取人脸图像。
在步骤S22中,将人脸图像转为YUV格式。
其中Y代表亮度信息,U、V代表色调信息。
在步骤S23中,在YUV格式的人脸图像的U、V空间检测人脸图像中的肤色区域。
在本公开的一个实施例中,可以通过判断像素U、V值是否满足预设条件来判断该像素是否为肤色。预设条件例如可以是:(U>77&U<127)&(V>133&V<173)。U、V的值在上述范围内的像素,即判断为肤色区域。
在本公开的另一个实施例中,可以在U、V空间使用肤色模型来检测人脸图像中的肤色区域。常用的肤色模型例如包括:高斯模型、高斯混合模型(GaussianmixturemodelGMM)、椭圆肤色模型和统计直方图模型等等。其中,高斯模型是利用正态分布曲线来描述肤色概率密度分布情况,高斯模型假定肤色分布服从单峰高斯分布,通过统计理论对肤色像素点的特性进行分析,计算出高斯分布的参数即各色度分量的均值与方差,然后通过概率密度公式计算图像中的像素点属于肤色点的概率。单峰高斯分布并不能全面的表达所有种族的肤色直方图,当肤色直方图不满足高斯分布时,就引入一种具有多峰高斯分布的混合高斯模型对肤色直方图进行表示。混合高斯模型与其它模型相比具有检测高、误检率低的特点。统计直方图模型是采用直方图来描述肤色在色彩空间中分布的一种模型,该模型首先通过直方图统计出样本集中肤色像素点和非肤色像素点的分布,然后在直方图统计出的肤色像素点分布特征的基础上,采用贝叶斯决策规则构建肤色分类器。
在步骤S24中,构造与所述人脸图像对应的第一掩模,所述第一掩模中,与所述人脸图像的所述肤色区域对应的位置的值为1,所述第一掩模中的其余位置的值为0。
掩模是由0和1组成的一个二进制图像。应用掩模时,1值区域被暴露出来进行处理,0值区域被屏蔽,不被处理。第一掩模例如为与人脸图像大小一致的图像,在该图像中,与人脸图像的肤色区域对应的位置的值为1,该图像的其余位置的值为0。
在步骤S25中,检测人脸图像中的关键部位。
关键部位例如可以包括眼睛、眉毛、鼻子、嘴等区域,和较大尺度的线条(脸部轮廓)区域等。这些关键部位需要保留细节和轮廓,不需要进行滤波处理。
其中,检测五官区域可以使用基于机器学习的SDM(SupervisedDescentMethod)算法、基于主动形状模型(ActiveShapeModel,ASM)和基于主动表观模型(ActiveAppearanceMode,AAM)的关键部位的定位算法等。
检测线条区域例如可以使用拉普拉斯算子(Laplace)、梯度算子(Gradientoperators)、Sobel算子等进行检测。
在本公开的另一个实施例中,检测到线条区域之后,还可以进一步地对线条区域进行膨胀操作。膨胀操作可以填充图像中的孔洞,使目标区域成为一个连通的区域,膨胀按选取结构元素的不同主要可分为二方向膨胀、四方向膨胀和八方向膨胀。
请注意,该步骤S25可以在步骤S23后执行,或者与步骤S23同时执行。
在步骤S26中,将第一掩模中与所述关键部位对应的位置的值置为0,而所述第一掩模中其余位置的值保持不变得到第二掩模。
在步骤S24中构造的第一掩模中,与肤色区域对应的位置的值为1,其余位置的值为0。由于肤色检测时会将关键部位也包括在内,所以,必须要再对第一掩模进行去除关键部位的处理得到第二掩模,以确保第二掩模中仅有需要滤波处理的位置(对应于肤色区域中的去除关键部位后的区域)的值为1,其余位置的值则都为0。
在步骤S27中,以第二掩模为权重图,按以下公式对人脸图像进行高斯线性滤波:
其中,res表示滤波后的输出,im表示人脸图像,M表示第二掩模,·表示矩阵点乘,表示卷积,gs表示高斯卷积核,所述高斯卷积核的方差决定滤波的程度。
本实施例中使用的高斯滤波是一种线性平滑滤波,适用于消除高斯噪声,广泛应用于图像处理的减噪过程。高斯滤波是对整幅图像进行加权平均的过程,每一个像素点的值,都由其本身和邻域内的其他像素值经过加权平均后得到。高斯滤波算法简便,通过与步骤S26中得到的第二掩模配合,本实施例可以仅对人脸图像中对应的第二掩模的值为1的区域进行高斯滤波,而人脸图像中对应的第二掩模的值为0的区域由于不进行高斯滤波,这些区域中的细节、线条则得以保留。
在本公开的其他实施例中,还可以使用其他低通滤波算法,例如均值滤波算法。均值滤波也称为线性滤波,其采用的主要方法为邻域平均法。线性滤波的基本原理是用均值代替原图像中的各个像素值,即对待处理的当前像素点(x,y),选择一个模板,该模板由其近邻的若干像素组成,求模板中所有像素的均值,再把该均值赋予当前像素点(x,y),作为处理后图像在该点上的灰度g(x,y),即个g(x,y)=1/m∑f(x,y),m为该模板中包含当前像素在内的像素总个数。
下述为本公开装置实施例,可以用于执行本公开方法实施例。
图3是根据一示例性实施例示出的一种人脸图像处理装置的框图,该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图3所示,该人脸图像处理装置包括:
检测模块31,被配置为检测人脸图像中的肤色区域和关键部位;
关键部位例如可以包括五官区域和线条区域。五官区域包括:眼睛、眉毛、鼻子、嘴等区域。线条区域包括:有较大尺度的线条区域,例如脸部轮廓、鼻翼轮廓等。这些关键部位由于要保留较多的细节和边缘,所以可以不需要进行滤波处理。
构造模块32,被配置为根据所述检测模块31所检测的所述肤色区域和关键部位,构造与所述人脸图像对应的掩模,所述掩模用于暴露所述肤色区域中的去除所述关键部位后的区域;
处理模块33,被配置为用于以所述构造模块32构造的所述掩模为权重图对所述人脸图像进行线性滤波。
本实施例中,终端设备在进行人脸图像处理时,首先检测人脸图像中的肤色区域和关键部位,然后利用检测的肤色区域和关键部位构造掩模。由于掩模仅暴露了肤色区域中要处理的部分,而不包括例如五官等具有细节的图像以及五官轮廓、脸部轮廓等线条的关键部位,因此,实现了快速在模糊皮肤同时保持五官区域的效果;同时,由于有线条区域检测,模糊不会超出人脸区域,也就是达到了既去除噪声又保护图像细节和边缘的效果。所以,本实施例通过使用简单的掩模和线性滤波,就能达到非线性滤波的效果,特别适合对算法速度要求高的场景。
在本公开另一实施例中,所述处理模块33,被配置为:
以所述掩模为权重图,按以下公式对所述人脸图像进行线性滤波:
其中,res表示滤波后的输出,im表示所述人脸图像,M表示所述掩模,·表示矩阵点乘,表示卷积,X表示线性滤波模板。
例如,在本公开一实施例中,可以以掩模为权重图,使用高斯滤波对所述人脸图像进行线性滤波:
其中,res表示滤波后的输出,im表示人脸图像,M表示掩模,·表示矩阵点乘,表示卷积,gs表示高斯卷积核,所述高斯卷积核的方差决定滤波的程度。
本实施例中使用的高斯滤波是一种线性平滑滤波,适用于消除高斯噪声,广泛应用于图像处理的减噪过程。高斯滤波是对整幅图像进行加权平均的过程,每一个像素点的值,都由其本身和邻域内的其他像素值经过加权平均后得到。高斯滤波算法简便,通过与掩模配合,本实施例可以仅对人脸图像中掩模的值为1的区域进行高斯滤波,而人脸图像中掩模的值为0的区域由于不进行高斯滤波,这些区域中的细节、线条则得以保留。
在本公开的其他实施例中,还可以使用其他低通滤波算法,例如均值滤波算法。均值滤波也称为线性滤波,其采用的主要方法为邻域平均法。线性滤波的基本原理是用均值代替原图像中的各个像素值,即对待处理的当前像素点(x,y),选择一个模板,该模板由其近邻的若干像素组成,求模板中所有像素的均值,再把该均值赋予当前像素点(x,y),作为处理后图像在该点上的灰度g(x,y),即个g(x,y)=1/m∑f(x,y),m为该模板中包含当前像素在内的像素总个数。
图4是根据一示例性实施例示出的一种人脸图像处理装置的框图,在该实施例中,所述检测模块31,包括:
转换子模块311,被配置为将所述人脸图像转换为YUV格式;
其中Y代表亮度信息,U、V代表色调信息。
检测子模块312,被配置为在YUV格式的人脸图像的U、V空间检测人脸图像中的肤色区域和关键部位。。
在本公开另一实施例中,所述检测子模块312,被配置为:
当像素的U、V值满足预设条件时,将所述像素确认为肤色区域;预设条件例如可以是:(U>77&U<127)&(V>133&V<173)。U、V的值在上述范围内的像素,即判断为肤色区域。或者,
在U、V空间使用肤色模型检测人脸图像中的肤色区域。
常用的肤色模型例如包括:高斯模型、高斯混合模型(GaussianmixturemodelGMM)、椭圆肤色模型和统计直方图模型等等。其中,高斯模型是利用正态分布曲线来描述肤色概率密度分布情况,高斯模型假定肤色分布服从单峰高斯分布,通过统计理论对肤色像素点的特性进行分析,计算出高斯分布的参数即各色度分量的均值与方差,然后通过概率密度公式计算图像中的像素点属于肤色点的概率。单峰高斯分布并不能全面的表达所有种族的肤色直方图,当肤色直方图不满足高斯分布时,就引入一种具有多峰高斯分布的混合高斯模型对肤色直方图进行表示。混合高斯模型与其它模型相比具有检测高、误检率低的特点。统计直方图模型是采用直方图来描述肤色在色彩空间中分布的一种模型,该模型首先通过直方图统计出样本集中肤色像素点和非肤色像素点的分布,然后在直方图统计出的肤色像素点分布特征的基础上,采用贝叶斯决策规则构建肤色分类器。
在本公开另一实施例中,所述构造模块32,包括:
第一构造子模块321,被配置为构造与所述人脸图像对应的第一掩模,在所述第一掩模中,与所述人脸图像的所述检测模块31得到的所述肤色区域对应的位置的值为1,所述第一掩模中的其余位置的值为0;
掩模是由0和1组成的一个二进制图像。应用掩模时,1值区域被暴露出来进行处理,0值区域被屏蔽,不被处理。第一掩模例如为与人脸图像大小一致的图像,在该图像中,与人脸图像的肤色区域对应的位置的值为1,该图像的其余位置的值为0。
第二构造子模块322,被配置为将所述第一构造子模块321得到的第一掩模中与所述检测模块31得到所述关键部位对应的位置的值置为0,而所述第一掩模中的其余位置的值保持不变得到第二掩模;
所述处理模块33,被配置为以所述第二构造子模块322得到的所述第二掩模为权重图对所述人脸图像进行线性滤波。
在第一掩模中,与肤色区域对应的位置的值为1,其余位置的值为0。是由于肤色检测时会将关键部位也包括在内,所以,必须要再对第一掩模进行去除关键部位的处理得到第二掩模,以确保第二掩模中仅有需要滤波处理的位置(对应于肤色区域中的去除关键部位后的区域)的值为1,其余位置的值则都为0。
在本公开另一实施例中,所述检测模块31,被配置为:
检测人脸图像中的包括五官区域和线条区域的关键部位。
关键部位例如可以包括眼睛、眉毛、鼻子、嘴等五官区域,和较大尺度的线条(脸部轮廓)区域等。这些关键部位需要保留细节和轮廓,不需要进行滤波处理。
其中,检测五官区域可以使用基于机器学习的SDM(SupervisedDescentMethod)算法、基于主动形状模型(ActiveShapeModel,ASM)和基于主动表观模型(ActiveAppearanceMode,AAM)的关键部位的定位算法等。
检测线条区域例如可以使用拉普拉斯算子(Laplace)、梯度算子(Gradientoperators)、Sobel算子等进行检测。
在本公开的另一个实施例中,检测到线条区域之后,还可以进一步地对线条区域进行膨胀操作。膨胀操作可以填充图像中的孔洞,使目标区域成为一个连通的区域,膨胀按选取结构元素的不同主要可分为二方向膨胀、四方向膨胀和八方向膨胀。
本公开还提供一种人脸图像处理装置,包括:
处理器;
被配置为存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
检测人脸图像中的肤色区域和关键部位;
根据所述肤色区域和关键部位,构造与所述人脸图像对应的掩模,所述掩模用于暴露所述肤色区域中的去除所述关键部位后的区域;
以所述掩模为权重图对所述人脸图像进行线性滤波。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图5是根据一示例性实施例示出的一种用于人脸图像处理的装置800的框图。例如,装置800可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图5,装置800可以包括以下一个或多个组件:处理组件802,存储器804,电源组件806,多媒体组件808,音频组件810,输入/输出(I/O)的接口812,传感器组件814,以及通信组件816。
处理组件802通常控制装置800的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件802可以包括一个或多个模块,便于处理组件802和其他组件之间的交互。例如,处理组件802可以包括多媒体模块,以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电力组件806为装置800的各种组件提供电力。电力组件806可以包括电源管理***,一个或多个电源,及其他与为装置800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如,音频组件810包括一个麦克风(MIC),当装置800处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中,音频组件810还包括一个扬声器,用于输出音频信号。
I/O接口812为处理组件802和***接口模块之间提供接口,上述***接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器,用于为装置800提供各个方面的状态评估。例如,传感器组件814可以检测到设备800的打开/关闭状态,组件的相对定位,例如所述组件为装置800的显示器和小键盘,传感器组件814还可以检测装置800或装置800一个组件的位置改变,用户与装置800接触的存在或不存在,装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件814还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信部件816经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中,所述通信部件816还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器804,上述指令可由装置800的处理器820执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质,当所述存储介质中的指令由移动终端的处理器执行时,使得移动终端能够执行一种人脸图像处理方法,所述方法包括:
检测人脸图像中的肤色区域和关键部位;
根据所述肤色区域和关键部位,构造与所述人脸图像对应的掩模,所述掩模用于暴露所述肤色区域中的去除所述关键部位后的区域;
以所述掩模为权重图对所述人脸图像进行线性滤波。
可选地,所述以所述掩模为权重图对所述人脸图像进行线性滤波,包括:
以所述掩模为权重图,按以下公式对所述人脸图像进行线性滤波:
其中,res表示滤波后的输出,im表示所述人脸图像,M表示所述掩模,·表示矩阵点乘,表示卷积,X表示线性滤波模板。
可选地,所述检测人脸图像中的肤色区域和关键部位,包括:
将所述人脸图像转换为YUV格式;
在YUV格式的人脸图像的U、V空间检测人脸图像中的肤色区域和关键部位。
可选地,所述在U、V空间检测人脸图像中的肤色区域,包括:
当像素的U、V值满足预设条件时,将所述像素确认为肤色区域;或者,
在U、V空间使用肤色模型检测人脸图像中的肤色区域。
可选地,所述根据所述肤色区域和关键部位构造掩模,包括:
构造与所述人脸图像对应的第一掩模,所述第一掩模中,与所述人脸图像的所述肤色区域对应的位置的值为1,所述第一掩模中的其余位置的值为0;
将所述第一掩模中与所述关键部位对应的位置的值置为0,而所述第一掩模中其余位置的值保持不变得到第二掩模;
所述以所述掩模为权重图对所述人脸图像进行线性滤波,包括:
以所述第二掩模为权重图对所述人脸图像进行线性滤波。
可选地,所述检测人脸图像中的关键部位,包括:
检测人脸图像中的包括五官区域和线条区域的关键部位。
本领域技术人员在考虑说明书及实践这里公开的公开后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (13)
1.一种人脸图像处理方法,其特征在于,所述方法包括:
检测人脸图像中的肤色区域和关键部位;
根据所述肤色区域和关键部位,构造与所述人脸图像对应的掩模,所述掩模用于暴露所述肤色区域中的去除所述关键部位后的区域;
以所述掩模为权重图对所述人脸图像进行线性滤波。
2.根据权利要求1所述的方法,其特征在于,所述以所述掩模为权重图对所述人脸图像进行线性滤波,包括:
以所述掩模为权重图,按以下公式对所述人脸图像进行线性滤波:
其中,res表示滤波后的输出,im表示所述人脸图像,M表示所述掩模,·表示矩阵点乘,表示卷积,X表示线性滤波模板。
3.根据权利要求1所述的方法,其特征在于,所述检测人脸图像中的肤色区域和关键部位,包括:
将所述人脸图像转换为YUV格式;
在YUV格式的人脸图像的U、V空间检测人脸图像中的肤色区域和关键部位。
4.根据权利要求3所述的方法,其特征在于,所述在U、V空间检测人脸图像中的肤色区域,包括:
当像素的U、V值满足预设条件时,将所述像素确认为肤色区域;或者,
在U、V空间使用肤色模型检测人脸图像中的肤色区域。
5.根据权利要求1所述的方法,其特征在于,所述根据所述肤色区域和关键部位构造掩模,包括:
构造与所述人脸图像对应的第一掩模,所述第一掩模中,与所述人脸图像的所述肤色区域所对应的位置的值为1,所述第一掩模中的其余位置的值为0;
将所述第一掩模中与所述关键部位所对应的位置的值置为0,而所述第一掩模中其余位置的值保持不变得到第二掩模;
所述以所述掩模为权重图对所述人脸图像进行线性滤波,包括:
以所述第二掩模为权重图对所述人脸图像进行线性滤波。
6.根据权利要求1所述的方法,其特征在于,所述检测人脸图像中的关键部位,包括:
检测人脸图像中的包括五官区域和线条区域的关键部位。
7.一种人脸图像处理装置,其特征在于,包括:
检测模块,用于检测人脸图像中的肤色区域和关键部位;
构造模块,用于根据所述检测模块所检测的所述肤色区域和关键部位,构造与所述人脸图像对应的掩模,所述掩模用于暴露所述肤色区域中的去除所述关键部位后的区域;
处理模块,用于以所述构造模块构造的所述掩模为权重图对所述人脸图像进行线性滤波。
8.根据权利要求7所述的装置,其特征在于,所述处理模块,用于:
以所述掩模为权重图,按以下公式对所述人脸图像进行线性滤波:
其中,res表示滤波后的输出,im表示所述人脸图像,M表示所述掩模,·表示矩阵点乘,表示卷积,X表示线性滤波模板。
9.根据权利要求7所述的装置,其特征在于,所述检测模块,包括:
转换子模块,用于将所述人脸图像转换为YUV格式;
检测子模块,用于在YUV格式的人脸图像的U、V空间检测人脸图像中的肤色区域和关键部位。
10.根据权利要求9所述的装置,其特征在于,所述检测子模块,用于:
当像素的U、V值满足预设条件时,将所述像素确认为肤色区域;或者,
在U、V空间使用肤色模型检测人脸图像中的肤色区域。
11.根据权利要求7所述的装置,其特征在于,所述构造模块,包括:
第一构造子模块,用于构造与所述人脸图像对应的第一掩模,在所述第一掩模中,与所述人脸图像的所述检测模块得到的所述肤色区域对应的位置的值为1,所述第一掩模中的其余位置的值为0;
第二构造子模块,用于将所述第一构造子模块得到的第一掩模中与所述检测模块得到的所述关键部位对应的位置的值置为0,而所述第一掩模中的其余位置的值保持不变得到第二掩模;
所述处理模块,用于以所述第二构造子模块得到的所述第二掩模为权重图对所述人脸图像进行线性滤波。
12.根据权利要求7所述的装置,其特征在于,所述检测模块,用于:
检测人脸图像中的包括五官区域和线条区域的关键部位。
13.一种人脸图像处理装置,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
检测人脸图像中的肤色区域和关键部位;
根据所述肤色区域和关键部位,构造与所述人脸图像对应的掩模,所述掩模用于暴露所述肤色区域中的去除所述关键部位后的区域;
以所述掩模为权重图对所述人脸图像进行线性滤波。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510834545.7A CN105354793A (zh) | 2015-11-25 | 2015-11-25 | 人脸图像处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510834545.7A CN105354793A (zh) | 2015-11-25 | 2015-11-25 | 人脸图像处理方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105354793A true CN105354793A (zh) | 2016-02-24 |
Family
ID=55330760
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510834545.7A Pending CN105354793A (zh) | 2015-11-25 | 2015-11-25 | 人脸图像处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105354793A (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105787878A (zh) * | 2016-02-25 | 2016-07-20 | 杭州格像科技有限公司 | 一种美颜处理方法及装置 |
CN105844242A (zh) * | 2016-03-23 | 2016-08-10 | 湖北知本信息科技有限公司 | 图像中的肤色检测方法 |
CN105869159A (zh) * | 2016-03-28 | 2016-08-17 | 联想(北京)有限公司 | 一种图像分割方法及装置 |
CN107392166A (zh) * | 2017-07-31 | 2017-11-24 | 北京小米移动软件有限公司 | 肤色检测方法、装置及计算机可读存储介质 |
CN107492079A (zh) * | 2017-08-28 | 2017-12-19 | 维沃移动通信有限公司 | 一种图像磨皮方法及移动终端 |
CN107680096A (zh) * | 2017-10-30 | 2018-02-09 | 北京小米移动软件有限公司 | 图像处理方法及装置 |
CN107798314A (zh) * | 2017-11-22 | 2018-03-13 | 北京小米移动软件有限公司 | 肤色检测方法及装置 |
CN108320266A (zh) * | 2018-02-09 | 2018-07-24 | 北京小米移动软件有限公司 | 一种生成美颜图片的方法和装置 |
CN110036422A (zh) * | 2016-11-30 | 2019-07-19 | 罗伯特·博世有限公司 | 用于对监控区进行监控的摄像机和监控设备以及用于对监控区进行监控的方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090196475A1 (en) * | 2008-02-01 | 2009-08-06 | Canfield Scientific, Incorporated | Automatic mask design and registration and feature detection for computer-aided skin analysis |
US20100177981A1 (en) * | 2009-01-12 | 2010-07-15 | Arcsoft Hangzhou Co., Ltd. | Face image processing method |
CN103268475A (zh) * | 2013-05-10 | 2013-08-28 | 中科创达软件股份有限公司 | 一种基于人脸、肤色检测的皮肤美容方法 |
CN104794693A (zh) * | 2015-04-17 | 2015-07-22 | 浙江大学 | 一种人脸关键区域自动检测蒙版的人像优化方法 |
CN105069431A (zh) * | 2015-08-07 | 2015-11-18 | 成都明图通科技有限公司 | 人脸的定位方法和装置 |
-
2015
- 2015-11-25 CN CN201510834545.7A patent/CN105354793A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090196475A1 (en) * | 2008-02-01 | 2009-08-06 | Canfield Scientific, Incorporated | Automatic mask design and registration and feature detection for computer-aided skin analysis |
US20100177981A1 (en) * | 2009-01-12 | 2010-07-15 | Arcsoft Hangzhou Co., Ltd. | Face image processing method |
CN103268475A (zh) * | 2013-05-10 | 2013-08-28 | 中科创达软件股份有限公司 | 一种基于人脸、肤色检测的皮肤美容方法 |
CN104794693A (zh) * | 2015-04-17 | 2015-07-22 | 浙江大学 | 一种人脸关键区域自动检测蒙版的人像优化方法 |
CN105069431A (zh) * | 2015-08-07 | 2015-11-18 | 成都明图通科技有限公司 | 人脸的定位方法和装置 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105787878A (zh) * | 2016-02-25 | 2016-07-20 | 杭州格像科技有限公司 | 一种美颜处理方法及装置 |
CN105787878B (zh) * | 2016-02-25 | 2018-12-28 | 杭州格像科技有限公司 | 一种美颜处理方法及装置 |
CN105844242A (zh) * | 2016-03-23 | 2016-08-10 | 湖北知本信息科技有限公司 | 图像中的肤色检测方法 |
CN105869159A (zh) * | 2016-03-28 | 2016-08-17 | 联想(北京)有限公司 | 一种图像分割方法及装置 |
CN110036422A (zh) * | 2016-11-30 | 2019-07-19 | 罗伯特·博世有限公司 | 用于对监控区进行监控的摄像机和监控设备以及用于对监控区进行监控的方法 |
US10956752B2 (en) | 2016-11-30 | 2021-03-23 | Robert Bosch Gmbh | Camera for monitoring a monitored area and monitoring device, and method for monitoring a monitored area |
CN107392166A (zh) * | 2017-07-31 | 2017-11-24 | 北京小米移动软件有限公司 | 肤色检测方法、装置及计算机可读存储介质 |
CN107492079A (zh) * | 2017-08-28 | 2017-12-19 | 维沃移动通信有限公司 | 一种图像磨皮方法及移动终端 |
CN107680096A (zh) * | 2017-10-30 | 2018-02-09 | 北京小米移动软件有限公司 | 图像处理方法及装置 |
CN107798314A (zh) * | 2017-11-22 | 2018-03-13 | 北京小米移动软件有限公司 | 肤色检测方法及装置 |
CN108320266A (zh) * | 2018-02-09 | 2018-07-24 | 北京小米移动软件有限公司 | 一种生成美颜图片的方法和装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105354793A (zh) | 人脸图像处理方法及装置 | |
CN105809704B (zh) | 识别图像清晰度的方法及装置 | |
CN105469356B (zh) | 人脸图像处理方法及装置 | |
US10007841B2 (en) | Human face recognition method, apparatus and terminal | |
CN104408426B (zh) | 人脸图像眼镜去除方法及装置 | |
CN105512605A (zh) | 人脸图像处理方法及装置 | |
CN106228556B (zh) | 图像质量分析方法和装置 | |
CN104484858B (zh) | 人物图像处理方法及装置 | |
CN106682736A (zh) | 图像识别方法及装置 | |
CN106980840A (zh) | 脸型匹配方法、装置及存储介质 | |
CN107463903B (zh) | 人脸关键点定位方法及装置 | |
CN105488511A (zh) | 图像的识别方法及装置 | |
CN104361558B (zh) | 图像处理方法、装置及设备 | |
CN106454411B (zh) | 台标处理方法和装置 | |
EP3975046B1 (en) | Method and apparatus for detecting occluded image and medium | |
CN104850852A (zh) | 特征向量计算方法和装置 | |
CN104408404A (zh) | 人脸识别方法及装置 | |
CN105528078A (zh) | 控制电子设备的方法及装置 | |
CN109784327B (zh) | 边界框确定方法、装置、电子设备及存储介质 | |
CN113409342A (zh) | 图像风格迁移模型的训练方法、装置及电子设备 | |
CN104077563A (zh) | 人脸识别方法和装置 | |
CN103996211A (zh) | 图像重定位方法及装置 | |
CN105095860A (zh) | 字符分割方法和装置 | |
CN105574834B (zh) | 图像处理方法及装置 | |
CN105138956A (zh) | 人脸检测方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20160224 |