CN106296617B - 人脸图像的处理方法及装置 - Google Patents

人脸图像的处理方法及装置 Download PDF

Info

Publication number
CN106296617B
CN106296617B CN201610700384.7A CN201610700384A CN106296617B CN 106296617 B CN106296617 B CN 106296617B CN 201610700384 A CN201610700384 A CN 201610700384A CN 106296617 B CN106296617 B CN 106296617B
Authority
CN
China
Prior art keywords
pixel
facial image
value
highlight area
repairing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610700384.7A
Other languages
English (en)
Other versions
CN106296617A (zh
Inventor
袁同根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Tencent Cloud Computing Beijing Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201610700384.7A priority Critical patent/CN106296617B/zh
Publication of CN106296617A publication Critical patent/CN106296617A/zh
Application granted granted Critical
Publication of CN106296617B publication Critical patent/CN106296617B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/77Retouching; Inpainting; Scratch removal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种人脸图像的处理方法及装置,该处理方法包括以下步骤:获取人脸图像的高光区域,所述高光区域包括多个边界像素点;获取预设区域内肤色概率最大的像素点的像素值,其中所述预设区域为距离一所述边界像素点预设值的区域;根据所述肤色概率最大的像素点的像素值对所述边界像素点的像素值进行优化处理,以获取所述边界像素点的优化像素值;根据所述优化像素值获取与所述高光区域对应的初始修补图;根据所述初始修补图对所述高光区域进行修复处理。本发明具有有利于提高人脸图像的修复效果。

Description

人脸图像的处理方法及装置
技术领域
本发明属于通信技术领域,尤其涉及一种人脸图像的处理方法及装置。
背景技术
在拍摄过程中,由于人脸部较油或者由于光线等原因,会导致拍摄出来的照片的人脸的某些区域会呈现高光的效果,影响用户正常观看照片,造成不好的用户体验。
现有技术中已经存在很多中去除人脸图像的高光的方法,但是,其提取出的高光区域往往不是很精确,尤其在高光区域与正常区域的交界处的像素点的提取的精确尤其不精确,导致后续生成的修补图效果较差,与原图的匹配度达不到预定的需求。
因此,如何提高人脸图像处理中对于高光区域的提取的精确度的技术问题,需要迫切得到解决。
发明内容
本发明实施例提供一种人脸图像的处理方法及装置,以解决现有人脸图像处理中对于高光区域的提取的精确度不高的技术问题。
本发明实施例提供一种人脸图像的处理方法,包括以下步骤:
获取人脸图像的高光区域,所述高光区域包括多个边界像素点;
获取预设区域内肤色概率最大的像素点的像素值,其中所述预设区域为距离一所述边界像素点预设值的区域;
根据所述肤色概率最大的像素点的像素值对所述边界像素点的像素值进行优化处理,以获取所述边界像素点的优化像素值;
根据所述优化像素值获取与所述高光区域对应的初始修补图;
根据所述初始修补图对所述高光区域进行修复处理。
本发明实施例还提供了一种人脸图像的处理装置,包括:
第一获取模块,用于获取人脸图像的高光区域,所述高光区域包括多个边界像素点;
第二获取模块,用于获取预设区域内肤色概率最大的像素点的像素值,其中所述预设区域为距离一所述边界像素点预设值的区域;
优化模块,用于根据所述肤色概率最大的像素点的像素值对所述边界像素点的像素值进行优化处理,以获取所述边界像素点的优化像素值;
第三获取模块,用于根据所述优化像素值获取与所述高光区域对应的初始修补图;
修复模块,用于根据所述初始修补图对所述高光区域进行修复处理。
本发明实施例通过获取人脸图像的高光区域;获取预设区域内肤色概率最大的像素点的像素值,其中所述预设区域为距离一所述边界像素点预设值的区域;根据所述肤色概率最大的像素点的像素值对所述边界像素点的像素值进行优化处理,以获取所述边界像素点的优化像素值;根据所述优化像素值获取与所述高光区域对应的初始修补图;根据所述初始修补图对所述高光区域进行修复处理,从而完成对人脸图像的除去高光的操作,并且由于在提取高光区域的过程中,采用了肤色概率最大的像素点的像素值对所述边界像素点的像素值进行优化处理,使得高光区域的边界像素点更加接近于正常区域的像素值,有利于提高高光区域提取的精确度,使得根据该优化像素值生成的初始修补图与该人脸图像的正常区域更加契合,有利于提高去除高光的修复效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的人脸图像的处理方法的流程图;
图2是本发明实施例提供的人脸图像的处理方法的另一流程图;
图3是本发明实施例提供的人脸图像的处理装置的结构示意图;
图4是本发明实施例提供的人脸图像的处理装置的第一获取模块的结构示意图;
图5是本发明实施例提供的人脸图像的处理装置的修复模块的结构示意图;
图6是本发明实施例提供的一种终端的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明提供一种人脸图像的处理方法及装置。
其中,该人脸图像的处理装置可以集成在移动终端中,例如手机、平板电脑等,也可以集成在服务器中。例如,用户采用手机拍摄了一张自拍照,然后存储到相册里,手机从该相册里获取到该自拍照进行修复处理。首先,先将从相册里获取该自拍照,然后对从该自拍照提取出高光区域,然后对该高光区域的边界像素点的像素值进行优化,得到优化像素值;根据优化像素值获取与高光区域对应的初始修补图,最后根据初始修补图对高光区域进行修复处理;从而完成对该自拍照的去除高光的修复。
以下分别进行详细说明。需说明的是,以下实施例的序号不作为对实施例优选顺序的限定。
实施例一、
在本实施例中,提供一种人脸图像的处理方法,包括以下步骤:获取人脸图像的高光区域,所述高光区域包括多个边界像素点;获取预设区域内肤色概率最大的像素点的像素值,其中所述预设区域为距离一所述边界像素点预设值的区域;根据所述肤色概率最大的像素点的像素值对所述边界像素点的像素值进行优化处理,以获取所述边界像素点的优化像素值;根据所述优化像素值获取与所述高光区域对应的初始修补图;根据所述初始修补图对所述高光区域进行修复处理。
如图1所示,本实施例中以移动终端为实施主体,该人脸图像的处理方法包括以下步骤:
S101、获取人脸图像的高光区域,所述高光区域包括多个边界像素点;
其中,该多个边界像素点组成该高光区域的边界。在具体实施过程中,可以根据人脸图像在HSV(Hue,Saturation,Value)空间的亮度分量L以及饱和度分量V来实现提取对于高光区域的提取。当然,其并不限于此,也可以采用其他的提取算法,从该人脸图像中提取出高光区域。
S102、获取预设区域内肤色概率最大的像素点的像素值,其中所述预设区域为距离一所述边界像素点预设值的区域。
其中,肤色概率是该像素点属于皮肤区域的概率。
在具体实施过程中,首先,根据肤色检测算法计算出人脸图像的各个像素点属于人脸皮肤区域的肤色概率P。其中,该肤色检测算法是算法,其主要是通过检测该像素点的像素值,以测算出该像素点属于人脸皮肤区域的肤色概率P。
然后,分别获取每一边界像素点的预设区域内的各个像素点的肤色概率P,并从中筛选出肤色概率最大的像素点的肤色概率P。其中,该预设区域是距离对应的边界像素点预设值的区域,具体地,在本实施例中,该预设区域为该边界像素点的预定邻域。
S103、根据所述肤色概率最大的像素点的像素值对所述边界像素点的像素值进行优化处理,以获取所述边界像素点的优化像素值。
其中,对所述边界像素点的像素值进行优化处理的方式可以有多种,例如,可以如下:
在具体实施过程中,若所述肤色概率最大的像素点的肤色概率小于第一预设值,则以所述边界像素点的像素值作为所述边界像素点的优化像素值。若所述肤色概率最大的像素点的肤色概率大于或等于第一预设值,则以所述肤色概率最大的像素点的像素值作为所述边界像素点的优化像素值。其中,该第一预设值可以根据实际应用的需求进行设置,比如,该第一预设值可以为0.7。
S104、根据所述优化像素值获取与所述高光区域对应的初始修补图。
具体实施过程中,采用对所有边界像素点的优化像素值进行双线性差值处理,从而将边界之内的区域的各个像素点的像素值补充完整,进而得到该初始修补图。
S105、根据所述初始修补图对所述高光区域进行修复处理。
具体实施过程中,可以直接将该初始修补图与人脸图像的原图进行混合叠加处理,也即是用该初始修补图去替换原图的高光区域,从而完成修复处理。也可以采取优化算法对该初始修补图进行优化处理,然后再采用优化处理后的修补图与原图进行混合叠加处理,从而完成修复处理。
由上可知,本实施例提供的人脸图像的处理方法通过获取人脸图像的高光区域,所述高光区域包括多个边界像素点;获取预设区域内肤色概率最大的像素点的像素值,其中所述预设区域为距离一所述边界像素点预设值的区域;根据所述肤色概率最大的像素点的像素值对所述边界像素点的像素值进行优化处理,以获取所述边界像素点的优化像素值;根据所述优化像素值获取与所述高光区域对应的初始修补图;根据所述初始修补图对所述高光区域进行修复处理,从而完成对人脸图像的除去高光的操作,并且由于在提取高光区域的过程中,采用了肤色概率最大的像素点的像素值对所述边界像素点的像素值进行优化处理,使得高光区域的边界像素点更加接近于正常区域的像素值,使得根据该优化像素值生成的初始修补图与该人脸图像的正常区域更加契合,有利于提高去除高光的修复效果。
实施例二、
在本实施例中,提供一种人脸图像的处理方法,包括以下步骤:获取人脸图像的高光区域,所述高光区域包括多个边界像素点;获取预设区域内肤色概率最大的像素点的像素值,其中所述预设区域为距离一所述边界像素点预设值的区域;根据所述肤色概率最大的像素点的像素值对所述边界像素点的像素值进行优化处理,以获取所述边界像素点的优化像素值;根据所述优化像素值获取与所述高光区域对应的初始修补图;根据所述初始修补图对所述高光区域进行修复处理。
如图2所示,以实施主体为移动终端为实施主体,该人脸图像的处理方法包括以下步骤:
S201、获取人脸图像的高光区域,所述高光区域包括多个边界像素点;
其中,该多个边界像素点组成该高光区域的边界。可以根据人脸图像在HSV空间的亮度分量L以及饱和度分量V来实现提取对于高光区域的提取。当然,其并不限于此,也可以采用现有的提取算法,从该人脸图像中提取出高光区域。
在具体实施过程中,该步骤S201包括以下子步骤:
S2011、获取待处理的人脸图像。
例如,移动终端可以从本地相册或者网络上获取待处理器的人脸图像。
其中,该待处理的人脸图像的格式可以根据实际应用的需求而定,比如,该待处理的人脸图像是RGB(红、绿、蓝)彩色图像。
S2012、对该人脸图像进行去处噪声处理。
为了减少噪声点对影响,应对获取的人脸图像进行去除噪声处理。
其中,去除噪声处理的方式可以有多种,比如,在本实施例中,可以采用双边滤波器对人脸图像进行去噪处理。
S2013、对该人脸图像进行顶帽变换处理。
在具体实施过程在,采用白顶帽变换来增加图像高光区域和非高光区域的对比度,以便于后续的高光区域的提取操作。
S2014、将该人脸图像转换到HSV空间,以分别获取该人脸图像的各个像素点的亮度分量L以及饱和度分量S。
由于人脸图像在RGB彩色空间的数据不便于分析其亮度以及饱和度,因此,在本实施例中选择把人脸图像由RGB彩色空间转换到HSV空间进行分析处理。
S2015、根据每一所述像素点的亮度分量L和饱和度分量S获取所述多个像素点的亮度分量L的均值M1以及方差V1、饱和度分量S的均值M2以及方差V2
其中,本实施例中采用将该人脸图像的亮度分量L以及饱和度分量S进行直方图统计,从而分别计算出该人脸图像所有像素点的亮度分量的均值以及方差,亮度分量的均值以及方差。
S2016、根据所述多个像素点的亮度分量的均值M1以及方差V1、所述多个像素点的饱和度分量的均值M2以及方差V2、每一所述像素点的亮度分量L以及饱和度分量S,提取出所述人脸图像的高光区域。
其中,在具体实施过程中,先根据公式ST=M 2-1.5V2计算出饱和度阈值ST,以及根据公式LT=M 1+V1计算出亮度阈值LT。然后,根据公式Q=(L/S)/(LT/ST),计算出该像素点属于高光区域的可能性Q值。当该Q值大于1时,判断该像素点为高光区域的像素点,当该Q值小于或等于1时,判断该像素点为非高光区域的像素点,由此提取出该人脸图像的一个或各个高光区域。
S202、获取预设区域内肤色概率最大的像素点的像素值,其中,所述预设区域为距离一所述边界像素点预设值的区域;
在具体实施过程中,首先,根据肤色检测算法计算出人脸图像的各个像素点是人脸皮肤的肤色概率P。其中,该肤色检测算法是主要是通过检测该像素点的像素值,以得出一个该像素点属于人脸皮肤的肤色概率P。
然后,分别获取每一边界像素点的预设区域内的各个像素点的肤色概率PP,并从中筛选出肤色概率最大的像素点的肤色概率PP。其中,该预设区域时距离对应的边界像素点预设值的区域,具体地,在本实施例中,该预设区域为该边界像素点的预定邻域。
S203、根据所述肤色概率最大的像素点的像素值对所述边界像素点的像素值进行优化处理,以获取所述边界像素点的优化像素值。
在具体实施过程中,若所述肤色概率最大的像素点的肤色概率小于第一预设值,则以所述边界像素点的像素值作为所述边界像素点的优化像素值;若所述肤色概率最大的像素点的肤色概率大于或等于第一预设值,则以所述肤色概率最大的像素点的像素值作为所述边界像素点的优化像素值。可以根据实际应用的需求进行设置,比如,该第一预设值为0.7。
S204、根据所述优化像素值获取与所述高光区域对应的初始修补图。
具体实施过程中,采用对所有边界像素点的优化像素值进行双线性差值处理,从而将边界之内的区域的各个像素点的像素值补充完整,进而得到该初始修补图。
S205、根据所述初始修补图对所述高光区域进行修复处理。
其中,可以采取优化算法对该初始修补图进行优化处理,然后再采用优化处理后的修补图与原图进行混合叠加处理,从而完成修复处理。
其中,在具体实施过程中,该步骤S205包括以下子步骤:
S2051、根据所述高光区域周围预定范围内的像素点的像素值对所述初始修补图做高斯模糊处理,以获取平滑修补图。其中,该高光区域周围预定范围可以是指距离该高光区域的边界像素点预定个数的像素点的范围内,例如100个或者200个像素点。该高斯模糊处理采用高斯分布公式进行处理,其具体原理不赘述。对该初始修补图进行高斯模糊处理可以使得平滑修补图与高光区域周围的像素点的过渡更加平滑,有利于提高对高光区域修补的效果。
S2052、获取人脸图像的纹理信息。其中,具体实施过程中,该人脸图像的纹理信息采用该人脸图像的二阶导数来量化表示,其采用公式Δ2f(x,y)=δ2f/δx22f/δy2求出,其中,x和y分别代表对应像素点的横坐标与纵坐标,f代表该像素点的像素值。
S2053、根据所述纹理信息对所述平滑修补图进行纹理叠加处理,以获取目标修补图。具体实施过程中,采用的计算方法是将平滑修补图乘以该人脸图像的二阶导数Δ2f(x,y),即可得到该目标修补图。
S2054、根据所述目标修补图对所述高光区域进行修复处理。具体实施过程中,将该目标修补图与该原图进行混合叠加,也即是采用将该目标修补图去替换原图中的高光区域,即可得到修补后的人脸图像。
由上可知,本实施例提供的人脸图像的处理方法通过获取人脸图像的高光区域,所述高光区域包括多个边界像素点;获取预设区域内肤色概率最大的像素点的像素值,其中所述预设区域为距离一所述边界像素点预设值的区域;根据所述肤色概率最大的像素点的像素值对所述边界像素点的像素值进行优化处理,以获取所述边界像素点的优化像素值;根据所述优化像素值获取与所述高光区域对应的初始修补图;根据所述初始修补图对所述高光区域进行修复处理,从而完成对人脸图像的除去高光的操作,并且由于在提取高光区域的过程中,采用了肤色概率最大的像素点的像素值对所述边界像素点的像素值进行优化处理,使得高光区域的边界像素点更加接近于正常区域的像素值,使得根据该优化像素值生成的初始修补图与该人脸图像的正常区域更加契合,有利于提高后续的去除高光的修复效果;进一步地,由于在对该初始修补图依次进行了高斯模糊处理以及纹理叠加操作,从而得到目标修补图,该目标修补图相对于初始修补图更接近于人脸图像的真实情况,有利于进一步提高修复效果。
实施例三、
为了更好的实现上述方法,本发明还提供了一种人脸图像的处理装置,如图3所示,该人脸图像的处理装置包括:第一获取模块301、第二获取模块302、优化模块303、第三获取模块304以及修复模块305。
其中,该第一获取模块301用于获取人脸图像的高光区域,所述高光区域包括多个边界像素点。
其中,如图4所示,该第一获取模块301包括:
获取单元3011,用于获取待处理的人脸图像,该待处理的人脸图像是RGB彩色图像。其中,该待处理的人脸图像可以是该移动终端从本地相册或者网络上获取待处理器的人脸图像。
去噪单元3012,用于对该人脸图像进行去处噪声处理。为了减少噪声点对影响,必须对获取的人脸图像去除噪声处理。在本实施例中,采用双边滤波器对人脸图像进行去噪处理。
顶帽变换单元3013,用于对该人脸图像进行顶帽变换处理。具体地,顶帽变换单元采用白顶帽变换来增加图像高光区域和非高光区域的对比度,以便于后续的高光区域的提取操作。
转换单元3014,用于将该人脸图像转换到HSV空间,以分别获取该人脸图像的各个像素点的亮度分量L以及饱和度分量S。由于人脸图像在RGB彩色空间的数据不便于分析其亮度以及饱和度,因此,在本实施例中选择把人脸图像RGB彩色空间转换到HSV空间进行分析处理。
计算单元3015,用于根据每一所述像素点的亮度分量L和饱和度分量S获取所述多个像素点的亮度分量L的均值M1以及方差V1、饱和度分量S的均值M2以及方差V2。其中,本实施例中采用将该人脸图像的亮度分量L以及饱和度分量S进行直方图统计,从而分别计算出该人脸图像所有像素点的亮度分量的均值以及方差,亮度分量的均值以及方差。
提取单元3016,用于根据所述多个像素点的亮度分量的均值M1以及方差V1、所述多个像素点的饱和度分量的均值M2以及方差V2、每一所述像素点的亮度分量L以及饱和度分量S,提取出所述人脸图像的高光区域。其中,在具体实施过程中,先根据公式ST=M 2-1.5V2计算出饱和度阈值ST,以及根据公式LT=M1+V1计算出亮度阈值LT。然后,根据公式Q=(L/S)/(LT/ST),计算出该像素点属于高光区域的可能性Q值。当该Q值大于1时,判断该像素点为高光区域的像素点,当该Q值小于或等于1时,判断该像素点为非高光区域的像素点,由此提取出该人脸图像的高光区域。
该第二获取模块302用于获取预设区域内肤色概率最大的像素点的像素值,其中所述预设区域为距离一所述边界像素点预设值的区域。
该优化模块303用于根据所述肤色概率最大的像素点的像素值对所述边界像素点的像素值进行优化处理,以获取所述边界像素点的优化像素值。其中,若所述肤色概率最大的像素点的肤色概率小于第一预设值,则以所述边界像素点的像素值作为所述边界像素点的优化像素值。若所述肤色概率最大的像素点的肤色概率大于或等于第一预设值,则以所述肤色概率最大的像素点的像素值作为所述边界像素点的优化像素值。其中,该第一预设值可以为0.7。
该第三获取模块304用于根据所述优化像素值获取与所述高光区域对应的初始修补图。具体地,该第三获取模块304采用对所有边界像素点的优化像素值进行双线性差值处理,从而将边界之内的区域的各个像素点的像素值补充完整,进而得到该初始修补图。
修复模块305用于根据所述初始修补图对所述高光区域进行修复处理。其中,如图5所示,该修复模块305包括:
高斯处理单元3051,用于根据所述高光区域周围预定范围内的像素点的像素值对所述初始修补图做高斯模糊处理,以获取平滑修补图。其中,该高光区域周围预定范围可以是指距离该高光区域的边界像素点预定个数的像素点的范围内,例如100个或者200个像素点。该高斯模糊处理采用高斯分布公式进行处理,其具体原理不赘述。对该初始修补图进行高斯模糊处理之后可以使得平滑修补图与高光区域周围的像素点的过渡更加平滑,有利于提高对高光区域修补的效果。
纹理信息获取单元3052,用于获取人脸图像的纹理信息。其中,具体实施过程中,该人脸图像的纹理信息采用该人脸图像的二阶导数来量化,其采用公式Δ2f(x,y)=δ2f/δx22f/δy2求出,其中,x和y分别代表对应像素点的横坐标与纵坐标,f代表该像素点的像素值。
叠加单元3053,用于根据所述纹理信息对所述平滑修补图进行纹理叠加处理,以获取目标修补图。具体实施过程中,采用的计算方法是将平滑修补图乘以该人脸图像的二阶导数Δ2f(x,y),即可得到该目标修补图。
修复单元3054,用于根据所述目标修补图对所述高光区域进行修复处理。
由上可知,本实施例提供的人脸图像的处理装置第一获取模块通过获取人脸图像的高光区域,所述高光区域包括多个边界像素点;第二获取模块获取预设区域内肤色概率最大的像素点的像素值,其中所述预设区域为距离一所述边界像素点预设值的区域;优化模块根据所述肤色概率最大的像素点的像素值对所述边界像素点的像素值进行优化处理,以获取所述边界像素点的优化像素值;第三获取模块根据所述优化像素值获取与所述高光区域对应的初始修补图;修复模块根据所述初始修补图对所述高光区域进行修复处理,从而完成对人脸图像的除去高光的操作,并且由于在提取高光区域的过程中,第三获取模块采用了肤色概率最大的像素点的像素值对所述边界像素点的像素值进行优化处理,使得高光区域的边界像素点更加接近于正常区域的像素值,使得根据该优化像素值生成的初始修补图与该人脸图像的正常区域更加契合,有利于提高后续的去除高光的修复效果;进一步地,由于修复模块对该初始修补图依次进行了高斯模糊处理以及纹理叠加操作,从而得到目标修补图,该目标修补图相对于初始修补图更接近于人脸图像的真实情况,有利于进一步提高修复效果。
本发明实施例提供的,譬如为计算机、平板电脑、具有触摸功能的手机等等,该人脸图像的处理装置与上文实施例中的人脸图像的处理方法属于同一构思,在该人脸图像的处理装置上可以运行该人脸图像的处理方法实施例中提供的任一方法,其具体实现过程详见该人脸图像的处理方法实施例,此处不再赘述。
实施例四、
相应的,本发明实施例还提供一种终端,如图6所示,该终端可以包括射频(RF,Radio Frequency)电路601、包括有一个或一个以上计算机可读存储介质的存储器602、输入单元603、显示单元604、传感器605、音频电路606、无线保真(WiFi,Wireless Fidelity)模块607、包括有一个或者一个以上处理核心的处理器608、以及电源609等部件。本领域技术人员可以理解,图6中示出的终端结构并不构成对终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
RF电路601可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,交由一个或者一个以上处理器608处理;另外,将涉及上行的数据发送给基站。通常,RF电路601包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(SIM,SubscriberIdentity Module)卡、收发信机、耦合器、低噪声放大器(LNA,LowNoiseAmplifier)、双工器等。此外,RF电路601还可以通过无线通信与网络和其他设备通信。所述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯***(GSM,Global System ofMobile communication)、通用分组无线服务(GPRS,General PacketRadio Service)、码分多址(CDMA,Code Division Multiple Access)、宽带码分多址(WCDMA,Wideband Code Division MultipleAccess)、长期演进(LTE,Long TermEvolution)、电子邮件、短消息服务(SMS,Short Messaging Service)等。
存储器602可用于存储软件程序以及模块,处理器608通过运行存储在存储器602的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器602可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据终端的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器602可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器602还可以包括存储器控制器,以提供处理器608和输入单元603对存储器602的访问。
输入单元603可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地,在一个具体的实施例中,输入单元603可包括触敏表面以及其他输入设备。触敏表面,也称为触摸显示屏或者触控板,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面上或在触敏表面附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触敏表面可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器608,并能接收处理器608发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面。除了触敏表面,输入单元603还可以包括其他输入设备。具体地,其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元604可用于显示由用户输入的信息或提供给用户的信息以及终端的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元604可包括显示面板,可选的,可以采用液晶显示器(LCD,Liquid Crystal Display)、有机发光二极管(OLED,Organic Light-Emitting Diode)等形式来配置显示面板。进一步的,触敏表面可覆盖显示面板,当触敏表面检测到在其上或附近的触摸操作后,传送给处理器608以确定触摸事件的类型,随后处理器608根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然在图6中,触敏表面与显示面板是作为两个独立的部件来实现输入和输入功能,但是在某些实施例中,可以将触敏表面与显示面板集成而实现输入和输出功能。
终端还可包括至少一种传感器605,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板的亮度,接近传感器可在终端移动到耳边时,关闭显示面板和/或背光。作为运动传感器的一种,重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于终端还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路606、扬声器,传声器可提供用户与终端之间的音频接口。音频电路606可将接收到的音频数据转换后的电信号,传输到扬声器,由扬声器转换为声音信号输出;另一方面,传声器将收集的声音信号转换为电信号,由音频电路606接收后转换为音频数据,再将音频数据输出处理器608处理后,经RF电路601以发送给比如另一终端,或者将音频数据输出至存储器602以便进一步处理。音频电路606还可能包括耳塞插孔,以提供外设耳机与终端的通信。
WiFi属于短距离无线传输技术,终端通过WiFi模块607可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图6示出了WiFi模块607,但是可以理解的是,其并不属于终端的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器608是终端的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器602内的软件程序和/或模块,以及调用存储在存储器602内的数据,执行终端的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器608可包括一个或多个处理核心;优选的,处理器608可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作***、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器608中。
终端还包括给各个部件供电的电源609(比如电池),优选的,电源可以通过电源管理***与处理器608逻辑相连,从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。电源609还可以包括一个或一个以上的直流或交流电源、再充电***、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管未示出,终端还可以包括摄像头、蓝牙模块等,在此不再赘述。具体在本实施例中,终端中的处理器608会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器602中,并由处理器608来运行存储在存储器602中的应用程序,从而实现各种功能:
获取人脸图像的高光区域,所述高光区域包括多个边界像素点;
获取预设区域内肤色概率最大的像素点的像素值,其中所述预设区域为距离一所述边界像素点预设值的区域;
根据所述肤色概率最大的像素点的像素值对所述边界像素点的像素值进行优化处理,以获取所述边界像素点的优化像素值;
根据所述优化像素值获取与所述高光区域对应的初始修补图;根据所述初始修补图对所述高光区域进行修复处理。
由上可知,该终端通过处理器608运行存储在存储器602中的应用程序,从而实现获取人脸图像的高光区域,所述高光区域包括多个边界像素点;获取预设区域内肤色概率最大的像素点的像素值,其中所述预设区域为距离一所述边界像素点预设值的区域;根据所述肤色概率最大的像素点的像素值对所述边界像素点的像素值进行优化处理,以获取所述边界像素点的优化像素值;根据所述优化像素值获取与所述高光区域对应的初始修补图;根据所述初始修补图对所述高光区域进行修复处理;进而完成对人脸图像的高光区域的修复;由于在提取高光区域的过程中,采用了肤色概率最大的像素点的像素值对所述边界像素点的像素值进行优化处理,使得高光区域的边界像素点更加接近于正常区域的像素值,使得根据该优化像素值生成的初始修补图与该人脸图像的正常区域更加契合,有利于提高后续的去除高光的修复效果。需要说明的是,对本发明人脸图像的处理方法而言,本领域普通测试人员可以理解实现本发明实施例该人脸图像的处理方法的全部或部分流程,是可以通过计算机程序来控制相关的硬件来完成,该计算机程序可存储于一计算机可读取存储介质中,如存储在终端的存储器中,并被该终端内的至少一个处理器执行,在执行过程中可包括如该导航信息的显示方法的实施例的流程。其中,该的存储介质可为磁碟、光盘、只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)等。
对本发明实施例的人脸图像的处理装置而言,其各功能模块可以集成在一个处理芯片中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。该集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中,该存储介质譬如为只读存储器,磁盘或光盘等。
以上对本发明实施例所提供的一种人脸图像的处理方法及装置进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种人脸图像的处理方法,其特征在于,包括以下步骤:
获取人脸图像的高光区域,所述高光区域包括多个边界像素点;
获取预设区域内肤色概率最大的像素点的像素值,其中,所述预设区域为距离一所述边界像素点预设值的区域;
若所述肤色概率最大的像素点的肤色概率小于第一预设值,则以所述边界像素点的像素值作为所述边界像素点的优化像素值;
若所述肤色概率最大的像素点的肤色概率大于或等于第一预设值,则以所述肤色概率最大的像素点的像素值作为所述边界像素点的优化像素值;
根据所述肤色概率最大的像素点的像素值对所述边界像素点的像素值进行优化处理,以获取所述边界像素点的优化像素值;
对所述边界像素点的优化像素值进行处理,以将边界之内的区域的各个像素点的像素值补充完整,得到与所述高光区域对应的初始修补图;
根据所述初始修补图对所述高光区域进行修复处理。
2.根据权利要求1所述的人脸图像的处理方法,其特征在于,所述对所述边界像素点的优化像素值进行处理,以将边界之内的区域的各个像素点的像素值补充完整,得到与所述高光区域对应的初始修补图的步骤包括:
对所述多个边界像素点的优化像素值作双线性插值处理,以获取与所述高光区域对应的初始修补图。
3.根据权利要求1所述的人脸图像的处理方法,其特征在于,所述根据所述初始修补图对所述高光区域进行修复处理的步骤包括:
根据所述高光区域周围预定范围内的像素点的像素值对所述初始修补图做高斯模糊处理,以获取平滑修补图;
获取所述人脸图像的纹理信息;
根据所述纹理信息对所述平滑修补图进行纹理叠加处理,以获取目标修补图;
根据所述目标修补图对所述高光区域进行修复处理。
4.根据权利要求1至3任一项所述的人脸图像的处理方法,其特征在于,所述获取人脸图像的高光区域的步骤包括:
根据人脸图像的每一像素点的亮度分量和饱和度分量获取人脸图像的各个像素点的亮度分量的均值以及方差、饱和度分量的均值以及方差;
根据所述亮度分量的均值以及方差、所述饱和度分量的均值以及方差、每一所述像素点的亮度分量以及饱和度分量,提取出所述人脸图像的高光区域。
5.根据权利要求1至3任一项所述的人脸图像的处理方法,其特征在于,所述获取人脸图像的高光区域的步骤之前还包括以下步骤:
对所述人脸图像进行顶帽变换处理以增强所述人脸图像的对比度。
6.一种人脸图像的处理装置,其特征在于,包括:
第一获取模块,用于获取人脸图像的高光区域,所述高光区域包括多个边界像素点;
第二获取模块,用于获取预设区域内肤色概率最大的像素点的像素值,其中,所述预设区域为距离一所述边界像素点预设值的区域;
优化模块,用于:
若所述肤色概率最大的像素点的肤色概率小于第一预设值,则以所述边界像素点的像素值作为所述边界像素点的优化像素值;
若所述肤色概率最大的像素点的肤色概率大于或等于第一预设值,则以所述肤色概率最大的像素点的像素值作为所述边界像素点的优化像素值;
第三获取模块,用于对所述边界像素点的优化像素值进行处理,以将边界之内的区域的各个像素点的像素值补充完整,得到所述高光区域对应的初始修补图;
修复模块,用于根据所述初始修补图对所述高光区域进行修复处理。
7.根据权利要求6所述的人脸图像的处理装置,其特征在于,所述第三获取模块具体用于:
对所述多个所述边界像素点的优化像素值作双线性插值处理,以获取与所述高光区域对应的初始修补图。
8.根据权利要求6所述的人脸图像的处理装置,其特征在于,所述修复模块包括:
高斯处理单元,用于根据所述高光区域周围预定范围内的像素点的像素值对所述初始修补图做高斯模糊处理,以获取平滑修补图;
纹理信息获取单元,用于获取所述人脸图像的纹理信息;
叠加单元,用于根据所述纹理信息对所述平滑修补图进行纹理叠加处理,以获取目标修补图;
修复单元,用于根据所述目标修补图对所述高光区域进行修复处理。
9.根据权利要求6-8任一项所述的人脸图像的处理装置,其特征在于,所述第一获取模块,包括:
计算单元,用于根据人脸图像的每一像素点的亮度分量和饱和度分量获取人脸图像的各个像素点的亮度分量的均值以及方差、饱和度分量的均值以及方差;
提取单元,用于根据所述亮度分量的均值以及方差、所述饱和度分量的均值以及方差、每一所述像素点的亮度分量以及饱和度分量,提取出所述人脸图像的高光区域。
10.根据权利要求6-8任一项所述的人脸图像的处理装置,其特征在于,所述第一获取模块,还包括:
顶帽变换单元,用于对所述人脸图像进行顶帽变换处理以增强所述人脸图像的对比度。
CN201610700384.7A 2016-08-22 2016-08-22 人脸图像的处理方法及装置 Active CN106296617B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610700384.7A CN106296617B (zh) 2016-08-22 2016-08-22 人脸图像的处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610700384.7A CN106296617B (zh) 2016-08-22 2016-08-22 人脸图像的处理方法及装置

Publications (2)

Publication Number Publication Date
CN106296617A CN106296617A (zh) 2017-01-04
CN106296617B true CN106296617B (zh) 2019-03-05

Family

ID=57661083

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610700384.7A Active CN106296617B (zh) 2016-08-22 2016-08-22 人脸图像的处理方法及装置

Country Status (1)

Country Link
CN (1) CN106296617B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107038715B (zh) * 2017-03-21 2022-03-08 腾讯科技(深圳)有限公司 一种图像处理方法及装置
CN108665421B (zh) * 2017-03-31 2021-05-14 北京旷视科技有限公司 人脸图像高光分量去除装置和方法、存储介质产品
CN107194374A (zh) * 2017-06-16 2017-09-22 广东欧珀移动通信有限公司 人脸区域的去油光方法、装置及终端
CN107392859B (zh) * 2017-06-16 2020-08-04 Oppo广东移动通信有限公司 高光区域的消除方法、装置及终端
CN107610059B (zh) * 2017-08-28 2020-10-16 维沃移动通信有限公司 一种图像处理方法及移动终端
CN108122212A (zh) * 2017-12-21 2018-06-05 北京小米移动软件有限公司 图像修复方法及装置
CN108346128B (zh) * 2018-01-08 2021-11-23 北京美摄网络科技有限公司 一种美颜磨皮的方法和装置
CN109344752B (zh) * 2018-09-20 2019-12-10 北京字节跳动网络技术有限公司 用于处理嘴部图像的方法和装置
CN110069974B (zh) * 2018-12-21 2021-09-17 北京字节跳动网络技术有限公司 高光图像处理方法、装置和电子设备
CN111241934A (zh) * 2019-12-30 2020-06-05 成都品果科技有限公司 一种获取人脸图像中油光区域的方法和装置
CN113221618B (zh) * 2021-01-28 2023-10-17 深圳市雄帝科技股份有限公司 人脸图像去高光的方法、***及其存储介质
CN115965735B (zh) * 2022-12-22 2023-12-05 百度时代网络技术(北京)有限公司 纹理贴图的生成方法和装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2460179A1 (en) * 2001-09-14 2003-03-27 Pixology Limited Image processing to remove red-eye features
CN102301694A (zh) * 2009-11-18 2011-12-28 松下电器产业株式会社 图像处理方法及图像处理装置
CN102693532A (zh) * 2011-02-25 2012-09-26 微软公司 图像阴影和高光的自动局部调整
CN102722872A (zh) * 2012-05-30 2012-10-10 山东神思电子技术股份有限公司 数字图像局部高光溢出消除方法
KR20120113005A (ko) * 2011-04-04 2012-10-12 주식회사 매크로그래프 얼굴 표면의 반사 속성 추정 방법 및 데이터 처리 장치
CN103020579A (zh) * 2011-09-22 2013-04-03 上海银晨智能识别科技有限公司 人脸识别方法及***、人脸图像的眼镜框去除方法与装置
CN103337088A (zh) * 2013-07-10 2013-10-02 北京航空航天大学 一种基于边缘保持的人脸图像光影编辑方法
CN103985098A (zh) * 2014-05-27 2014-08-13 广州商景网络科技有限公司 一种证件图像的高光去除方法及***
CN105023249A (zh) * 2015-06-26 2015-11-04 清华大学深圳研究生院 基于光场的高光图像修复方法及装置
CN105719234A (zh) * 2016-01-26 2016-06-29 厦门美图之家科技有限公司 用于人脸区域的自动去油光方法、***及拍摄终端
CN105741249A (zh) * 2016-02-03 2016-07-06 哈尔滨理工大学 一种强反射表面高光去除方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7981403B2 (en) * 2006-10-06 2011-07-19 L'oreal Artificial hair color removal compositions and methods
US8861851B2 (en) * 2011-05-13 2014-10-14 Dolby Laboratories Licensing Corporation Color highlight reconstruction

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2460179A1 (en) * 2001-09-14 2003-03-27 Pixology Limited Image processing to remove red-eye features
CN102301694A (zh) * 2009-11-18 2011-12-28 松下电器产业株式会社 图像处理方法及图像处理装置
CN102693532A (zh) * 2011-02-25 2012-09-26 微软公司 图像阴影和高光的自动局部调整
KR20120113005A (ko) * 2011-04-04 2012-10-12 주식회사 매크로그래프 얼굴 표면의 반사 속성 추정 방법 및 데이터 처리 장치
CN103020579A (zh) * 2011-09-22 2013-04-03 上海银晨智能识别科技有限公司 人脸识别方法及***、人脸图像的眼镜框去除方法与装置
CN102722872A (zh) * 2012-05-30 2012-10-10 山东神思电子技术股份有限公司 数字图像局部高光溢出消除方法
CN103337088A (zh) * 2013-07-10 2013-10-02 北京航空航天大学 一种基于边缘保持的人脸图像光影编辑方法
CN103985098A (zh) * 2014-05-27 2014-08-13 广州商景网络科技有限公司 一种证件图像的高光去除方法及***
CN105023249A (zh) * 2015-06-26 2015-11-04 清华大学深圳研究生院 基于光场的高光图像修复方法及装置
CN105719234A (zh) * 2016-01-26 2016-06-29 厦门美图之家科技有限公司 用于人脸区域的自动去油光方法、***及拍摄终端
CN105741249A (zh) * 2016-02-03 2016-07-06 哈尔滨理工大学 一种强反射表面高光去除方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Highlight Removal by Illumination-Constrained Inpainting;Ping Tan et al.;《Proceedings of the Ninth IEEE International Conference on Computer Vision》;20031231;全文
实时单幅图片高光去除算法;周伟等;《计算机工程与应用》;20111231;第47卷(第26期);全文
彩色图像啊人脸高光区域的自动检测与校正方法;陈锻生等;《软件学报》;20031231;第14卷(第11期);全文

Also Published As

Publication number Publication date
CN106296617A (zh) 2017-01-04

Similar Documents

Publication Publication Date Title
CN106296617B (zh) 人脸图像的处理方法及装置
CN104135609B (zh) 辅助拍照方法、装置及终端
CN108875451B (zh) 一种定位图像的方法、装置、存储介质和程序产品
CN106558025B (zh) 一种图片的处理方法和装置
CN107589963B (zh) 一种图片处理方法、移动终端及计算机可读存储介质
CN108259758B (zh) 图像处理方法、装置、存储介质和电子设备
CN111476780A (zh) 一种图像检测方法、装置、电子设备以及存储介质
US20170064199A1 (en) Electronic device and method for processing image
CN106204552B (zh) 一种视频源的检测方法和装置
CN107749046B (zh) 一种图像处理方法及移动终端
CN106296634B (zh) 一种检测相似图像的方法和装置
CN105989572B (zh) 图片处理方法及装置
JP2016511875A (ja) 画像サムネイルの生成方法、装置、端末、プログラム、及び記録媒体
CN106204423A (zh) 一种基于增强现实的图片调整方法、装置及终端
CN108038431A (zh) 图像处理方法、装置、计算机设备和计算机可读存储介质
CN111368820A (zh) 文本标注方法、装置及存储介质
CN112488914A (zh) 图像拼接方法、装置、终端及计算机可读存储介质
CN109086761A (zh) 图像处理方法和装置、存储介质、电子设备
CN105898561B (zh) 一种视频图像处理方法和装置
CN106296640B (zh) 一种识别模糊图像的方法和装置
KR20150141426A (ko) 전자 장치 및 전자 장치에서의 이미지 처리 방법
CN112541489A (zh) 图像检测方法、装置、移动终端及存储介质
CN103869977A (zh) 图像显示方法、装置和电子设备
CN110717486B (zh) 文本检测方法、装置、电子设备和存储介质
US10719926B2 (en) Image stitching method and electronic device

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210927

Address after: 518057 Tencent Building, No. 1 High-tech Zone, Nanshan District, Shenzhen City, Guangdong Province, 35 floors

Patentee after: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd.

Patentee after: TENCENT CLOUD COMPUTING (BEIJING) Co.,Ltd.

Address before: 2, 518000, East 403 room, SEG science and Technology Park, Zhenxing Road, Shenzhen, Guangdong, Futian District

Patentee before: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd.

TR01 Transfer of patent right