CN108428214A - 一种图像处理方法及装置 - Google Patents
一种图像处理方法及装置 Download PDFInfo
- Publication number
- CN108428214A CN108428214A CN201710075865.8A CN201710075865A CN108428214A CN 108428214 A CN108428214 A CN 108428214A CN 201710075865 A CN201710075865 A CN 201710075865A CN 108428214 A CN108428214 A CN 108428214A
- Authority
- CN
- China
- Prior art keywords
- pixel
- face
- detection
- video frame
- target signature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 238000001514 detection method Methods 0.000 claims abstract description 203
- 238000000034 method Methods 0.000 claims abstract description 38
- 238000012545 processing Methods 0.000 claims description 64
- 210000000056 organ Anatomy 0.000 claims description 29
- 230000001815 facial effect Effects 0.000 claims description 22
- 238000005070 sampling Methods 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 4
- 238000007689 inspection Methods 0.000 claims description 2
- 230000005055 memory storage Effects 0.000 claims description 2
- 230000001960 triggered effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 13
- 241000700647 Variola virus Species 0.000 description 8
- 230000037303 wrinkles Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000035800 maturation Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 238000005429 filling process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000002087 whitening effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种图像处理方法及装置，该方法包括：获取第一图像；检测得到所述第一图像中的人脸，确定所述人脸中的目标特征的检测区域，所述目标特征为所述人脸的皮肤上具有一定形状的区域且该区域的亮度不同于人脸皮肤的亮度；在所述目标特征检测区域内，根据检测模板对待检测像素以及所述待检测像素周围的像素的亮度进行比较，确定出所述人脸上的第一目标特征；其中，所述检测模板为M×N像素块，所述像素块中包括一个位于所述像素块中部的第一像素以及分布于所述像素块边缘的多个第二像素，所述第一像素用于对应待检测像素，所述多个第二像素用于对应待检测像素周围的像素，M和N均为大于1的整数。
Description
技术领域
本申请涉及计算机技术领域，尤其涉及一种图像处理方法及装置。
背景技术
随着图像处理技术的发展，具有拍摄(比如拍照或摄像)功能的终端对于拍摄到的图像具有图像处理功能。终端对拍摄到的图像经过图像处理后可在拍摄预览界面实时显示。所述图像处理可包括美颜处理，比如美白、磨皮等。
对于拍摄到的图像，如果人脸上有与周围皮肤亮度相差较大的目标特征，比如人脸上的黑痣或痘痘，可以通过终端中的美颜功能去除该目标特征。但是，目前用于去除图像中人脸上的黑痣或痘痘等目标特征的图像处理算法技术实现较为复杂、效率低。
由此可见，提供一种高效的图像处理方案以去除图像中人脸上的黑痣或痘痘等目标特征是目前业界需要解决的问题。
发明内容
第一方面，本申请实施例提供一种图像处理方法及装置，该方法包括：
获取第一图像；
检测得到所述第一图像中的人脸，确定所述人脸中的目标特征的检测区域，所述目标特征为所述人脸的皮肤上具有一定形状的区域且该区域的亮度不同于人脸皮肤的亮度；
针对所述目标特征检测区域，根据检测模板对待检测像素以及所述待检测像素周围的像素的亮度进行比较，确定出所述人脸上的第一目标特征；其中，所述检测模板为M×N像素块，所述像素块中包括一个位于所述像素块中部的第一像素以及分布于所述像素块边缘的多个第二像素，所述第一像素用于对应待检测像素，所述多个第二像素用于对应待检测像素周围的像素，M和N均为大于1的整数。
本申请实施例提供一种图像处理装置，包括：
预处理模块，用于获取第一图像，检测得到所述第一图像中的人脸，确定所述人脸中的目标特征的检测区域，所述目标特征为所述人脸的皮肤上具有一定形状的区域且该区域的亮度不同于人脸皮肤的亮度；
目标检测模块，用于针对所述目标特征检测区域，根据检测模板对待检测像素以及所述待检测像素周围的像素的亮度进行比较，确定出所述人脸上的第一目标特征；其中，所述检测模板为M×N像素块，所述像素块中包括一个位于所述像素块中部的第一像素以及分布于所述像素块边缘的多个第二像素，所述第一像素用于对应待检测像素，所述多个第二像素用于对应待检测像素周围的像素，M和N均为大于1的整数。
本申请实施例提供一种图像处理设备，包括：
显示器；
存储器，用于存储计算机程序指令；
处理器，耦合到所述存储器，用于读取所述存储器存储的计算机程序指令，并作为响应，执行本申请实施例中任意一种图像处理方法。
本申请实施例提供一个或多个计算机可读介质，所述可读介质上存储有指令，所述指令被一个或多个处理器执行时，使得图像处理设备执行本申请实施例中任意一种图像处理方法。
本申请的上述实施例中，获取第一图像；检测得到第一图像中的人脸，确定该人脸中目标特征的检测区域；在目标特征的检测区域内，根据检测模板对待检测像素以及所述待检测像素周围的像素的亮度进行比较，确定出该人脸上的第一目标特征，缩小了目标特征的检测范围，进而提高了目标特征的检测速度，降低了误检发生的概率，提高了目标特征检测的准确性。
第二方面，本申请实施例还提供了另一种图像处理方法及装置，该方法包括：
获取视频帧序列中的第一视频帧；
若所述第一视频帧为关键检测帧，则检测得到所述第一视频帧中人脸上的目标特征，并确定检测出的目标特征与所述人脸中的人脸关键点之间的相对位置；其中，所述关键检测帧包括所述视频帧序列中的第一个视频帧以及按照设定间隔得到的视频帧，所述目标特征为所述人脸的皮肤上具有一定形状的区域且该区域的亮度不同于人脸皮肤的亮度；
若所述第一视频帧不是关键检测帧，则根据所述视频帧序列中的第二视频帧中检测出的目标特征与所述人脸关键点之间的相对位置以及所述第一视频帧中所述人脸关键点的位置，确定所述第一视频帧中人脸上的目标特征，其中，所述第二视频帧为所述第一视频帧的前一视频帧；
对所述目标特征所在的区域进行肤色填充。
本申请实施例提供一种图像处理装置，包括：
获取模块，用于获取视频帧序列中的第一视频帧；
控制模块，用于判断所述获取模块获取的第一视频帧是否为关键检测帧，其中，所述关键检测帧包括所述视频帧序列中的第一个视频帧以及按照设定间隔得到的视频帧，若是，触发第一处理模块，否则，触发第二处理模块；
所述第一处理模块，用于检测得到所述第一视频帧中人脸上的目标特征，并确定检测出的目标特征与所述人脸中的人脸关键点之间的相对位置，其中，所述目标特征为所述人脸的皮肤上具有一定形状的区域且该区域的亮度不同于人脸皮肤的亮度；
所述第二处理模块，用于根据所述视频帧序列中的第二视频帧中检测出的目标特征与所述人脸关键点之间的相对位置以及所述第一视频帧中所述人脸关键点的位置，确定所述第一视频帧中人脸上的目标特征，其中，所述第二视频帧为所述第一视频帧的前一视频帧；
填充模块，用于对所述目标特征所在的区域进行肤色填充。
本申请的上述实施例中，若视频帧序列中的第一视频帧为关键检测帧，则检测得到第一视频帧中的人脸，确定该人脸中目标特征的检测区域，在人脸中目标特征的检测区域内，根据检测模板确定人脸上的目标特征，并确定检测出的目标特征与该人脸中的人脸关键点之间的相对位置，否则，根据视频帧序列中的第一视频帧的前一视频帧中检测出的目标特征与该人脸关键点之间的相对位置以及第一视频帧中该人脸关键点的位置，确定第一视频帧中人脸上的目标特征，并对所确定的目标特征所在的区域进行肤色填充，实现了对视频序列中相邻关键帧之间每个视频帧中目标特征的跟踪检测，并去除每个视频帧中的目标特征，且跟踪方法运算量小、对跟踪对象的要求低、易于实现。
附图说明
本申请的实施例通过示例而非限制的方式示出在所附附图中，类似的附图标记表示类似的元素。
图1为本申请实施例图像处理装置100的结构示意图；
图2为本申请实施例第一种图像处理方法的流程示意图；
图3为本申请实施例第一种检测模板的示意图；
图4为本申请实施例第二种检测模板的示意图；
图5为本申请实施例人脸轮廓点与器官点的示意图；
图6为本申请实施例检测区域掩膜示意图；
图7为本申请实施例对第一目标特征进行肤色填充的方法流程示意图；
图8为本申请实施例肤色填充区域网格化示意图；
图9为本申请实施例目标特征肤色填充效果示意图；
图10为本申请实施例图像处理装置1000的结构示意图；
图11为本申请实施例第二种图像处理方法的流程示意图；
图12a为本申请实施例第二视频帧中目标特征的位置示意图；
图12b为本申请实施例第一视频帧中估计得到的目标特征的位置示意图；
图13为本申请实施例提供的图像处理设备的结构示意图。
具体实施方式
虽然本申请的概念易于进行各种修改和替代形式，但是其具体实施例已经通过附图中的示例示出并且将在本文中详细描述。然而，应当理解，没有意图将本申请的概念限制为所公开的特定形式，而是相反，意图是覆盖与本申请以及所附权利要求一致的所有修改、等同物和替代物。
说明书中对“一个实施例”、“实施例”、“说明性实施例”等的引用，指示所描述的实施例可包括特定特征、结构或特性，但是每个实施例可以或可以不必包括特定特征、结构或特性。此外，这样的短语不一定指的是相同的实施例。进一步地，认为在本领域技术人员的知识范围内，当结合实施例描述特定特征、结构或特性时，结合无论是否明确描述的其它实施例影响这样的特征，结构或特性。另外，应当理解，以“A，B和C中的至少一个”的形式包括在列表中的项目可以表示(A)；(B)；(C)；(A和B)；(A和C)；(B和C)；或(A，B和C)。类似地，以“A，B或C中的至少一个”的形式列出的项目可以表示(A)；(B)；(C)；(A和B)；(A和C)；(B和C)或(A，B和C)。
在一些情况下，所公开的实施例可以在硬件、固件、软件或其任何组合中实现。所公开的实施例还可以被实现为由一个或多个暂时性或非暂时性机器可读(例如，计算机可读)存储介质携带或存储的指令，其可以由一个或多个处理器读取和执行。机器可读存储介质可以体现为用于以机器可读形式(例如，易失性或非易失性存储器、介质盘或其他介质)存储或传输信息的任何存储设备，机制或其他物理结构的设备)。
在附图中，一些结构或方法特征可以以特定布置和/或顺序示出。然而，应当理解，可能不需要这样的具体布置和/或排序。相反，在一些实施例中，这些特征可以以与说明性附图中所示不同的方式和/或顺序来布置。另外，在特定图中包括结构或方法特征并不意味着暗示这种特征在所有实施例中都是需要的，并且在一些实施例中可以不包括或可以与其他特征组合。
本申请实施例中，目标特征为人脸皮肤上具有一定形状的区域，且该区域的亮度与周围皮肤的亮度相差较大的特征，包括黑痣、痘痘和色斑等。
本申请实施例可应用于具有拍摄(比如拍照或摄像)功能的终端，比如，该终端可以是：智能手机、平板电脑、笔记本电脑、个人数字助理(Personal Digital Assistant，PDA)、智能穿戴设备或类似设备。
下面结合附图对本申请实施例进行详细描述。
如图1所示，本申请实施例提供的一种图像处理装置100包括预处理模块101和目标检测模块102。图像处理装置100可处理单张图像，也可处理视频序列中的视频帧。
图像处理装置100中，预处理模块101用于获取第一图像，检测得到第一图像中的人脸，确定该人脸中的目标特征的检测区域，该目标特征为该人脸的皮肤上具有一定形状的区域且该区域的亮度不同于人脸皮肤的亮度。目标检测模块102用于在预处理模块101所确定的目标特征检测区域内，根据检测模板对待检测像素以及所述待检测像素周围的像素的亮度进行比较，确定出该人脸上的第一目标特征。
以智能手机为例，智能手机中图像处理装置100从图像采集装置(比如该智能手机上配置的相机拍摄镜头或摄像头)中获取待处理图像，检测该待处图像中的目标特征，对检测出的目标特征进行肤色填充，并将处理后的图像发送给显示装置，以使显示装置显示处理后的图像。这样，当用户使用智能手机拍摄人物照片或视频时，所拍摄得到的照或视频片可通过图像处理装置100进行美颜处理，美颜处理后的照片或视频显示在预览页面中，从而实现实时的美颜处理。
可选地，本申请实施例所使用的检测模板为M×N像素块，该像素块中包括一个位于所述像素块中部的第一像素以及分布于该像素块边缘的多个第二像素，第一像素用于对应待检测像素，所述多个第二像素用于对应待检测像素周围的像素，M和N均为大于1的整数。其中，M和N的取值越大，目标特征检测的准确性越高，而目标特征的检测速度越慢，因此，M和N的取值需要综合考虑目标特征检测的准确性和检测速度。
作为一个例子，图2示例性地示出了一个5×5的检测模板，第一像素为该像素块的中心像素，第二像素包括以第一像素为中心，半径为3个像素的离散圆上的12个像素，其中，灰色的圆点表示第一像素，黑色的圆点表示第二像素。
作为另一个例子，图3示例性地示出了一个为7×7的检测模板，第一像素为该像素块的中心像素，第二像素包括以第一像素为中心，半径为4个像素的离散圆上的16个像素。
图4示例性地示出了本申请实施例中的一种图像处理流程，该流程可由上述图像处理装置100执行。该流程可包括以下步骤：
步骤401～步骤402：获取第一图像，检测得到第一图像中的人脸，确定该人脸中目标特征的检测区域。可选地，步骤401和步骤402通过图像处理装置100中预处理模块101实现。
具体地，拍摄得到第一图像。其中，第一图像可以是视频序列中的一个视频帧，也可以是单张图像。比如，可以是拍摄得到的一张照片，也可以是拍摄得到的一段视频序列中的一个视频帧。
可选地，步骤402中，对第一图像进行人脸检测，得到人脸轮廓点与器官点；根据该人脸轮廓点与该器官点，确定人脸中目标特征的检测区域。其中，该检测区域为在该人脸轮廓特征点所描绘的人脸区域内，排除该器官点所描绘的器官所在区域，比如，该检测区域可以是人脸区域内排除眼睛、嘴和眉毛区域的人脸部分。以目标特征为黑痣为例，一般情况下，由于人脸上眼睛、嘴和眉毛区域一般不会存在黑痣，因此，确定检测区域时排除眼睛、嘴和眉毛区域，这样在检测目标特征时只需对该检测区域进行检测，提高了目标特征的检测速度。
作为一个例子，进行人脸检测后得到如图5所示的人脸轮廓点与器官点，其中，圆圈表示人脸轮廓点，黑点表示器官点。根据得到的人脸轮廓点与器官点生成如图6所示检测区域的掩膜(mask)，其中该掩膜是一个二值图，用白色(即灰度值为255)表示需要检测的区域，用黑色(即灰度值为0)表示不需要检测的区域。黑色区域包括两部分，一部分是第一图像的背景区域，即人脸以外的区域，另一部分是人脸的器官区域，包括眼睛、嘴和眉毛所在的区域。
步骤403：针对目标特征的检测区域，根据检测模板对待检测像素以及所述待检测像素周围的像素的亮度进行比较，确定出该人脸上的第一目标特征。
具体地，针对检测区域内的任一待检测像素，执行：将检测模板中第一像素与待检测像素对齐，根据该检测模板中的第二像素，确定检测区域中相应位置的像素的亮度值，若确定该待检测像素的亮度值小于检测区域中相应位置的每个像素的亮度值，且后者减去前者的差值均大于设定阈值，则确定该待检测像素为第一目标特征所在区域内的像素，根据被检测为第一目标特征所在区域内的像素，得到该检测区域内的目标特征。其中，该设定阈值可以根据仿真结果或者经验值确定。该实施方式中，检测人脸上目标特征的方法简单、所需计算时间短，能够对特征目标进行实时检测，并且当检测区域中与第二像素对应的每个像素的亮度值与待检测像素的亮度值的差值均大于设定阈值时，确定待检测像素为目标特征所在区域内的像素，对目标特征所在区域内的像素检测的要求更严格，进一步提高了目标特征检测的准确性。
其中，确定第一图像中像素的亮度值的方法包括但不限于以下两种方法：方法一、将第一图像转化为灰度图，此时，第一图像中像素的亮度值可以用该像素的灰度值表示。方法二、用像素的RGB值中R值、G值和B值的加权平均值表示该像素的亮度值。
可选地，根据所有满足条件的像素的分布特征(位置关系)确定第一目标特征所在的区域，将分布较集中的满足条件的像素所在的区域确定为第一目标特征所在的区域。
可选地，在一些实施例中，可采用图像分层方式来检测特征目标。具体地，确定第一图像的人脸中的检测区域后，构建第一图像的图像金字塔，其中，该图像金字塔的层数D1为检测模板中第二像素所描绘的区域的尺寸，D2为检测模板所能检测的目标特征的最大尺寸，β为图像金字塔相邻两层之间的缩放倍数。针对该图像金字塔的每一层图像，在所确定的目标特征检测区域内，将检测模板中第一像素与待检测像素对齐，根据该检测模板中的每个第二像素，确定该检测区域中相应位置的每个像素的亮度值，若该待检测像素的亮度值Icenter以及该检测区域中相应位置的每个像素的亮度值满足Icircle-Icentre＞ε，其中，Icircle表示该检测区域中相应位置的任意一个像素的亮度值，ε表示设定阈值，则确定该待检测像素为目标特征所在的区域内的像素。将从该图像金字塔的每一层图像中获得的目标特征所在的区域内的像素进行合并，得到该检测区域内的第一目标特征。
可选地，为了剔除误检测出的目标特征(如眼镜框的边缘或颜色较深的皱纹)，进一步提高目标特征检测的准确性，确定出人脸上的第一目标特征之后，可以通过以下三种方式对检测出的第一目标特征进行过滤：
方式一、检测得到第一目标特征的边缘像素的梯度方向，统计每个梯度方向对应的像素个数，并计算该像素个数的方差，若方差大于设定阈值，则过滤掉第一目标特征，其中，该方差的预设阈值的范围可以是[0.1，0.3]。具体地，确定出人脸上的人脸上的第一目标特征之后，通过边缘检测算法(如sobel边缘检测算法)，检测出第一目标特征的边缘上的像素，根据该像素统计第一目标特征的边缘的梯度方向直方图，并计算该直方图中各个柱状图表示的像素个数的方差，若该方差大于预设阈值，则过滤掉第一目标特征。例如，假设所要检测的目标特征为黑痣或痘痘，由于黑痣或痘痘的形状接近于圆形，而眼镜框或皱纹的形状接近于长条形，因此黑痣或痘痘的边缘的梯度方向直方图接近于平均分布，即黑痣或痘痘的边缘的梯度方向直方图中每个梯度方向对应的像素个数的差异较小，而眼镜框或皱纹的边缘的度方向直方图在长边的方向上有明显的分布，即眼镜框或皱纹的边缘的度方向直方图中长边的方向上对应的像素个数较多，其他方向上对应的像素的个数较少。
方式二、使用基于目标特征样本训练得到的分类器，对检测出的第一目标特征进行过滤。其中，该分类器根据目标特征样本(正样本)和可能被检测为目标特征的误检测特征(如眼镜框、皱纹等)样本训练得到，该分类器可以为支持向量机(Support VectorMachine，SVM)分类器或Adaboost分类器。
方式三、若第一图像为视频序列中的一个视频帧，可以基于对该视频帧的前一个视频帧中与第一目标特征对应的目标特征的跟踪结果，对第一目标特征进行过滤。具体地，获取视频帧序列中的第二视频帧中的第二目标特征与人脸关键点之间的相对位置，其中，第二视频帧为第一视频帧的前一视频帧，第二目标特征与第一目标特征对应，例如按照相同的规则对视频序列中每个视频帧中确定出的目标特征根据该目标特征在人脸中的位置进行编号，相邻两个视频帧中编号一致的目标特征互相对应。根据第二视频帧中第二目标特征与人脸关键点之间的相对位置以及第一视频帧中该人脸关键点的位置，预估第一视频帧中人脸上的第一目标特征的位置。若预估出的人脸上第一目标特征的位置与确定出的人脸上第一目标特征的位置的差异大于预设值，则过滤掉第一视频帧中的第一目标特征，其中该预设值可以根据仿真结果或经验值确定。
可选地，确定出该人脸上的第一目标特征之后，对确定出的第一目标特征所在的区域进行肤色填充，以去除人脸上检测出的目标特征。其中，第一目标特征所在的区域肤色填充过程可以通过图像处理装置100中的肤色填充模块103实现。
可选地，如图7所示，对确定出的第一目标特征所在的区域进行肤色填充包括以下步骤：
步骤701：针对确定出的第一目标特征，确定肤色填充区域。其中，肤色填充区域大于第一目标特征所覆盖的区域，以保证得到的采样点的不包括第一目标特征边界上的像素，实现对目标特征所在区域的正确填充，例如肤色填充区域的边界与目标特征的边界之间的距离为设定个数个像素。
步骤702：对肤色填充区域边界上的像素进行间隔采样得到采样点，根据该采样点将该肤色填充区域网格化，一条网格线与该肤色填充区域边界上的两个交叉点分别为该采样点中的两个采样点。优选地，可以对肤色填充区域边界上的像素进行等间隔采样得到采样点。
步骤703：针对任意一个网格线交叉点，根据每个采样点与该交叉点的距离分别确定每个采样点的权重，确定所有采样点的颜色值与对应的权重的第一加全权均值，根据第一加权平均值设置交叉点的颜色值，其中，一个采样点对应的权重与该采样点到交叉点的距离成反比。
步骤704：针对每个网格内的任一待填充像素，根据网格的每个顶点与待填充像素的距离分别确定每个顶点的权重，确定每个顶点的颜色值与对应的权重的第二加权平均值，根据所述第二加权平均值设置待填充像素的颜色值，其中，一个网格顶点对应的权重与该网格顶点到待填充像素的距离成反比。
例如，图8所示的肤色填充区域中顶点为a、b、c、d的网格中的待填充像素O的颜色值Co＝w1Ca+w2Cb+w3Cc+w4Cd，其中，Ca、Cb、Cc、Cd分别为a、b、c、d点的颜色值，w1、w2、w3、w4分别为a、b、c、d点的权重，若O点到a、b、c、d点的距离分别La、Lb、Lc、Ld且满足Lb>Lc>Ld>La，则w2<w3<w4<w1。
该实施方式中，根据肤色填充区域边界上的所有采样点的颜色值的第一加权平均值确定肤色填充区域中网格线交叉点的颜色值，再根据网格顶点的颜色值的第二加权平均值确定网格内部待填充像素的颜色值，使得肤色填充区域中各像素的颜色过渡自然，提高了用户体验，且肤色填充方法简单，所需计算时间少，能够对肤色填充区域进行实时填充。
可选地，对确定出的第一目标特征所在的区域进行肤色填充之后，将肤色填充后的第一图像进行显示，其中，肤色填充后的第一图像的显示可以通过图像处理装置100中的显示模块104实现。图9示例性地示出了肤色填充后的效果。如图所示，对确定出的黑痣所在的区域进行肤色填充，去除人脸上的黑痣，使得第一图像中人脸图像更加美观。
本申请实施例中，获取第一图像；检测得到第一图像中的人脸，确定该人脸中目标特征的检测区域；在目标特征的检测区域内，根据检测模板对待检测像素以及所述待检测像素周围的像素的亮度进行比较，确定出该人脸上的第一目标特征，缩小了目标特征的检测范围，进而提高了目标特征的检测速度，降低了误检发生的概率，提高了目标特征检测的准确性。
如图10所示，本申请实施例提供的图像处理装置1000包括获取模块1001、控制模块1002、第一处理模块1003、第二处理模块1004和填充模块1005。图像处理装置1000可处理视频序列中的视频帧。
图像处理装置1000中，获取模块1001，用于获取视频帧序列中的第一视频帧。控制模块1002，用于判断获取模块1001获取的第一视频帧是否为关键检测帧，其中，该关键检测帧包括所述视频帧序列中的第一个视频帧以及按照设定间隔得到的视频帧，若是，触发第一处理模块1003，否则，触发第二处理模块1004。第一处理模块1003，用于检测得到第一视频帧中人脸上的目标特征，并确定检测出的目标特征与该人脸中的人脸关键点之间的相对位置。第二处理模块1004，用于根据该视频帧序列中的第二视频帧中检测出的目标特征与该人脸关键点之间的相对位置以及第一视频帧中该人脸关键点的位置，确定第一视频帧中人脸上的目标特征，其中，第二视频帧为第一视频帧的前一视频帧。填充模块1005，用于对所确定出的目标特征所在的区域进行肤色填充。
如图11所示，本申请实施例第二种图像处方法包括以下步骤：
步骤1101：获取视频帧序列中的第一视频帧。具体地，步骤1101通过图像处理装置1000中的获取模块1001实现。
具体地，拍摄得到视频帧序列中的第一视频帧。
步骤1102：判断第一视频帧是否为关键检测帧，其中，该关键检测帧包括该视频帧序列中的第一个视频帧以及按照设定间隔得到的视频帧，若是，执行步骤1103，否则，执行步骤1104。具体地，步骤1102通过图像处理装置1000中的控制模块1002实现。
步骤1103：检测得到第一视频帧中人脸上的目标特征，并确定检测出的目标特征与该人脸中的人脸关键点之间的相对位置。具体地，步骤1103通过图像处理装置1000中的第一处理模块1003实现。
其中，检测得到第一视频帧中人脸上的目标特征的方法参见步骤402和步骤403的描述，此处不再赘述。需要说明的是，步骤402和步骤403所描述的目标特征检测方法只是举例说明，任何能够检测得到第一视频帧中人脸上的目标特征的方法均适用于本申请实施例。
可选地，人脸关键点的数量至少为3个。其中，人脸关键点可以是对第一图像进行人脸检测时得到的器官点。
步骤1104：根据视频帧序列中的第二视频帧中检测出的目标特征与该人脸关键点之间的相对位置以及第一视频帧中该人脸关键点的位置，确定第一视频帧中人脸上的目标特征，其中，第二视频帧为第一视频帧的前一视频帧。具体地，步骤1104通过图像处理装置1000中的第二处理模块1004实现。
实施中，根据视频帧序列中的第二视频帧中检测出的目标特征与该人脸关键点之间的相对位置以及第一视频帧中该人脸关键点的位置，确定第一视频帧中人脸上的目标特征，实现了对视频帧序列中人脸上的目标特征的跟踪，且运算量小、对跟踪对象的要求低(跟踪对象可以不是特征不变的角点)、易于实现。
具体地，图12a为第二视频帧，图12b为第一视频帧，a，b，c为人脸中的人脸关键点，S为第二视频帧中检测出的目标特征，a的坐标为(xa，ya)，b的坐标为(xb，yb),c的坐标为(xc，yc)，S的坐标为(xS，yS),且a，b，c和S的坐标满足以下关系：
其中，w1，w2，w3为S的坐标系数。若第一视频帧不是关键检测帧，根据第一视频帧中人脸关键点a，b，c，以及根据第二视频帧确定的S的坐标系数w1，w2，w3，估计第二视频帧中目标特征S在第一视频帧中的位置S’。
可选地，若第一视频帧不是关键检测帧，则判断第一视频帧中的人脸姿态与第三视频帧中的人脸姿态的差异，若该差异大于设定阈值，则检测得到第一视频帧中人脸上的目标特征，并确定检测出的目标特征与人脸中的人脸关键点之间的相对位置，其中，第三视频帧为第一视频帧的前一个关键检测帧，以避免第一视频帧中人脸大角度偏转导致人脸关键点定位不准确，使得根据第二视频帧中检测出的目标特征与该人脸关键点之间的相对位置以及关键点的位置得到的第一视频帧中人脸上的目标特征误差较大。其中，该设定阈值根据仿真结果确定，检测得到第一视频帧中人脸上的目标特征的方法参见步骤402和步骤403的描述，此处不再赘述。
步骤1105：对所确定的目标特征所在的区域进行肤色填充。具体地，步骤1105通过图像处理装置1000中的填充模块1005实现。
其中，对所确定的目标特征所在的区域进行肤色填充的具体过程参见步骤701-步骤704的描述，此处不再赘述。
可选地，对所确定出的目标特征所在的区域进行肤色填充之后，将肤色填充后的第一视频帧进行显示，其中，肤色填充后的第一视频帧的显示通过图像处理装置1000中的显示模块1006实现。
基于相同的技术构思，本申请实施例还提供了一种图像处理设备1300，该设备1300可实现图4或图11所示的流程。
如图13所示，本申请实施例提供的一种图像处理设备1300包括：显示器1301、存储器1302和处理器1303。
其中，显示器1301用于显示获取到的图片(或视频)，和/或显示肤色填充后的图片(或视频)。存储器1302具体可包括内部存储器和/或外部存储器，比如随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质。处理器1303可以是通用处理器(比如微处理器或者任何常规的处理器等)、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
处理器1303与其他各模块之间存在数据通信连接，比如可基于总线架构进行数据通信。总线架构可以包括任意数量的互联的总线和桥，具体由处理器1303代表的一个或多个处理器和存储器1302代表的存储器的各种电路链接在一起。总线架构还可以将诸如***设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。处理器1303负责管理总线架构和通常的处理，存储器1302可以存储处理器1303在执行操作时所使用的数据。
本申请实施例揭示的流程，可以应用于处理器1303中，或者由处理器1303实现。在实现过程中，前述实施例描述的流程的各步骤可以通过处理器1303中的硬件的集成逻辑电路或者软件形式的指令完成。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。
具体地，处理器1303，耦合到存储器1302，用于读取存储器1302存储的计算机程序指令，并作为响应，执行本申请实施例中任意一种图像处理方法。
基于相同的技术构思，本申请实施例还提供了一个或多个计算机可读介质，该可读介质上存储有指令，该指令被一个或多个处理器执行时，使得设备执行本申请实施例中任意一种图像处理方法。
Claims (36)
1.一种图像处理方法，其特征在于，所述方法包括：
获取第一图像；
检测得到所述第一图像中的人脸，确定所述人脸中的目标特征的检测区域，所述目标特征为所述人脸的皮肤上具有一定形状的区域且该区域的亮度不同于人脸皮肤的亮度；
针对所述目标特征检测区域，根据检测模板对待检测像素以及所述待检测像素周围的像素的亮度进行比较，确定出所述人脸上的第一目标特征；其中，所述检测模板为M×N像素块，所述像素块中包括一个位于所述像素块中部的第一像素以及分布于所述像素块边缘的多个第二像素，所述第一像素用于对应待检测像素，所述多个第二像素用于对应待检测像素周围的像素，M和N均为大于1的整数。
2.如权利要求1所述的方法，其特征在于，确定出所述人脸上的第一目标特征之后，所述方法还包括：
对确定出的第一目标特征所在的区域进行肤色填充。
3.如权利要求2所述的方法，其特征在于，对确定出的第一目标特征所在的区域进行肤色填充，包括：
针对确定出的第一目标特征，确定肤色填充区域；
对所述肤色填充区域边界上的像素进行间隔采样得到采样点，根据所述采样点将所述肤色填充区域网格化，一条网格线与所述肤色填充区域边界上的两个交叉点分别为所述采样点中的两个采样点；
针对任意一个网格线交叉点，根据交叉点与每个采样点的距离分别确定每个采样点的权重，确定所有采样点的颜色值与对应的权重的第一加权平均值，根据所述第一加权平均值设置交叉点的颜色值，其中，一个采样点对应的权重与该采样点到交叉点的距离成反比；
针对每个网格内的任一待填充像素，根据待填充像素与网格的每个顶点的距离分别确定每个顶点的权重，确定每个顶点的颜色值与对应的权重的第二加权平均值，根据所述第二加权平均值设置待填充像素的颜色值，其中，一个网格顶点对应的权重与该网格顶点到待填充像素的距离成反比。
4.如权利要求1所述的方法，其特征在于，检测得到所述第一图像中的人脸，确定所述人脸中的目标特征的检测区域，包括：
对所述第一图像进行人脸检测，得到人脸轮廓点与器官点；
根据所述人脸轮廓点与所述器官点，确定所述人脸中的目标特征的检测区域；其中，所述检测区域为在所述人脸轮廓特征点所描绘的人脸区域内，排除所述器官点所描绘的器官所在区域。
5.如权利要求1所述的方法，其特征在于，根据检测模板对待检测像素以及所述待检测像素周围的像素的亮度进行比较，确定出所述人脸上的第一目标特征，包括：
针对所述检测区域内的任一待检测像素，执行：将所述检测模板中第一像素与待检测像素对齐，根据所述检测模板中的第二像素，确定所述检测区域中对应位置的像素的亮度值，若所述待检测像素的亮度值小于所述检测区域中相应位置的每个像素的亮度值，且后者减去前者的差值均大于设定阈值，则确定所述待检测像素为第一目标特征所在区域内的像素；
根据被检测为第一目标特征所在区域内的像素，得到所述检测区域内的第一目标特征。
6.如权利要求1至5中任一项所述的方法，其特征在于，确定出所述人脸上的第一目标特征之后，还包括：
确定所述第一目标特征的边缘像素的梯度方向，统计每个梯度方向对应的像素个数，并计算所述像素个数的方差，若所述方差大于设定阈值，则过滤掉所述第一目标特征；或者，
使用基于目标特征样本训练得到的分类器，对所述第一目标特征进行过滤。
7.如权利要求1至5中任一项所述的方法，其特征在于，所述第一图像为视频帧序列中的第一视频帧；
获取所述视频帧序列中的第二视频帧中的第二目标特征与所述人脸关键点之间的相对位置；其中，所述第二视频帧为所述第一视频帧的前一视频帧，所述第二目标特征与所述第一目标特征对应；
根据所述第二视频帧中所述第二目标特征与所述人脸关键点之间的相对位置以及所述第一视频帧中所述人脸关键点的位置，预估所述第一视频帧中人脸上的第一目标特征的位置；
若预估出的所述人脸上第一目标特征的位置与确定出的所述人脸上第一目标特征的位置的差异大于预设值，则过滤掉所述第一视频帧中的所述第一目标特征。
8.如权利要求1至5中任一项所述的方法，其特征在于，获取第一图像，包括：拍摄得到第一图像；
对确定出的第一目标特征所在的区域进行肤色填充之后，还包括：将肤色填充后的第一图像进行显示。
9.一种图像处理方法，其特征在于，包括：
获取视频帧序列中的第一视频帧；
若所述第一视频帧为关键检测帧，则检测得到所述第一视频帧中人脸上的目标特征，并确定检测出的目标特征与所述人脸中的人脸关键点之间的相对位置；其中，所述关键检测帧包括所述视频帧序列中的第一个视频帧以及按照设定间隔得到的视频帧，所述目标特征为所述人脸的皮肤上具有一定形状的区域且该区域的亮度不同于人脸皮肤的亮度；
若所述第一视频帧不是关键检测帧，则根据所述视频帧序列中的第二视频帧中检测出的目标特征与所述人脸关键点之间的相对位置以及所述第一视频帧中所述人脸关键点的位置，确定所述第一视频帧中人脸上的目标特征，其中，所述第二视频帧为所述第一视频帧的前一视频帧；
对所述目标特征所在的区域进行肤色填充。
10.如权利要求9所述的方法，其特征在于，对所述目标特征所在的区域进行肤色填充，包括：
针对所述目标特征，确定肤色填充区域；
对所述肤色填充区域边界上的像素进行间隔采样得到采样点，根据所述采样点将所述肤色填充区域网格化，一条网格线与所述肤色填充区域边界上的两个交叉点分别为所述采样点中的两个采样点；
针对任意一个网格线交叉点，根据交叉点与每个采样点的距离分别确定每个采样点的权重，确定所有采样点的颜色值与对应的权重的第一加权平均值，根据所述第一加权平均值设置交叉点的颜色值，其中，一个采样点对应的权重与该采样点到交叉点的距离成反比；
针对每个网格内的任一待填充像素，根据待填充像素与网格的每个顶点的距离分别确定每个顶点的权重，确定每个顶点的颜色值与对应的权重的的第二加权平均值，根据所述第二加权平均值设置待填充像素的颜色值，其中，一个网格顶点对应的权重与该网格顶点到待填充像素的距离成反比。
11.如权利要求9所述的方法，其特征在于，还包括：
若所述第一视频帧不是关键检测帧，则判断所述第一视频帧中的人脸姿态与第三视频帧中的人脸姿态的差异；
若所述差异大于设定阈值，则检测得到所述第一视频帧中人脸上的目标特征，并确定检测出的目标特征与所述人脸中的人脸关键点之间的相对位置，其中所述第三视频帧为所述第一视频帧的前一个关键检测帧。
12.如权利要求9或11所述的方法，其特征在于，检测得到所述第一视频帧中人脸上的目标特征，包括：
检测得到所述第一图像中的人脸，确定所述人脸中目标特征的检测区域，针对所述目标特征的检测区域，根据检测模板对待检测像素以及所述待检测像素周围的像素的亮度进行比较，确定出所述人脸上的目标特征，其中，所述检测模板为M×N像素块，所述像素块中包括一个位于所述像素块中部的第一像素以及分布于所述像素块边缘的多个第二像素，所述第一像素用于对应所述待检测像素，所述多个第二像素用于对应所述待检测像素周围的像素，M和N均为大于1的整数。
13.如权利要求9至11任一项所述的方法，其特征在于，所述人脸关键点的数量至少为3个。
14.如权利要求13所述的方法，其特征在于，检测得到所述第一视频帧中的人脸，并确定所述人脸中目标特征的检测区域，包括：
对所述第一视频帧进行人脸检测，得到人脸轮廓点与器官点；
根据所述人脸轮廓点与所述器官点，确定所述人脸中目标特征的检测区域；其中，所述检测区域为在所述人脸轮廓特征点所描绘的人脸区域内，排除所述器官点所描绘的器官所在区域。
15.如权利要求13或14所述的方法，其特征在于，根据检测模板对待检测像素以及所述待检测像素周围的像素的亮度进行比较，确定出所述人脸上的目标特征，包括：
针对所述检测区域内的任一待检测像素，执行：将所述检测模板中第一像素与待检测像素对齐，根据所述检测模板中的第二像素，确定所述检测区域中相应位置的像素的亮度值，若确定所述待检测像素的亮度值小于所述检测区域中相应位置的每个像素的亮度值，且后者减去前者的差值均大于设定阈值，则确定所述待检测像素为目标特征所在区域内的像素；
根据被检测为第一目标特征所在区域内的像素，得到所述检测区域内的目标特征。
16.如权利要求9至11中任一项所述的方法，其特征在于，获取视频帧序列中的第一视频帧，包括：拍摄得到视频帧序列中的第一视频帧；
对所确定出的目标特征所在的区域进行肤色填充之后，还包括：将肤色填充后的第一视频帧进行显示。
17.一种图像处理装置，其特征在于，包括：
预处理模块，用于获取第一图像，检测得到所述第一图像中的人脸，确定所述人脸中的目标特征的检测区域，所述目标特征为所述人脸的皮肤上具有一定形状的区域且该区域的亮度不同于人脸皮肤的亮度；
目标检测模块，用于针对所述目标特征检测区域，根据检测模板对待检测像素以及所述待检测像素周围的像素的亮度进行比较，确定出所述人脸上的第一目标特征；其中，所述检测模板为M×N像素块，所述像素块中包括一个位于所述像素块中部的第一像素以及分布于所述像素块边缘的多个第二像素，所述第一像素用于对应待检测像素，所述多个第二像素用于对应待检测像素周围的像素，M和N均为大于1的整数。
18.如权利要求17所述的装置，其特征在于，所述装置还包括：
肤色填充模块，用于在所述目标检测模块确定出所述人脸上的第一目标特征之后，对确定出的第一目标特征所在的区域进行肤色填充。
19.如权利要求18所述的装置，其特征在于，所述处理模块具体用于：
针对确定出的第一目标特征，确定肤色填充区域；
对所述肤色填充区域边界上的像素进行间隔采样得到采样点，根据所述采样点将所述肤色填充区域网格化，一条网格线与所述肤色填充区域边界上的两个交叉点分别为所述采样点中的两个采样点；
针对任意一个网格线交叉点，根据交叉点与每个采样点的距离分别确定每个采样点的权重，确定所有采样点的颜色值与对应的权重的第一加权平均值，根据所述第一加权平均值设置交叉点的颜色值，其中，一个采样点对应的权重与该采样点到交叉点的距离成反比；
针对每个网格内的任一待填充像素，根据待填充像素与网格的每个顶点的距离分别确定每个顶点的权重，确定每个顶点的颜色值与对应的权重的第二加权平均值，根据所述第二加权平均值设置待填充像素的颜色值，其中，一个网格顶点对应的权重与该网格顶点到待填充像素的距离成反比。
20.如权利要求17所述的装置，其特征在于，所述目标检测模块具体用于：
对所述第一图像进行人脸检测，得到人脸轮廓点与器官点；
根据所述人脸轮廓点与所述器官点，确定所述人脸中的目标特征的检测区域；其中，所述检测区域为在所述人脸轮廓特征点所描绘的人脸区域内，排除所述器官点所描绘的器官所在区域。
21.如权利要求17所述的装置，其特征在于，所述目标检测模块具体用于：
针对所述检测区域内的任一待检测像素，执行：将所述检测模板中第一像素与待检测像素对齐，根据所述检测模板中的第二像素，确定所述检测区域中对应位置的像素的亮度值，若所述待检测像素的亮度值小于所述检测区域中相应位置的每个像素的亮度值，且后者减去前者的差值均大于设定阈值，则确定所述待检测像素为第一目标特征所在区域内的像素；
根据被检测为第一目标特征所在区域内的像素，得到所述检测区域内的第一目标特征。
22.如权利要求17至21中任一项所述的装置，其特征在于，所述目标检测模块还用于：
确定所述第一目标特征的边缘像素的梯度方向，统计每个梯度方向对应的像素个数，并计算所述像素个数的方差，若所述方差大于设定阈值，则过滤掉所述第一目标特征；或者，
使用基于目标特征样本训练得到的分类器，对所述第一目标特征进行过滤。
23.如权利要求17至21中任一项所述的装置，其特征在于，所述第一图像为视频帧序列中的第一视频帧，所述目标检测模块还用于：
获取所述视频帧序列中的第二视频帧中的第二目标特征与所述人脸关键点之间的相对位置；其中，所述第二视频帧为所述第一视频帧的前一视频帧，所述第二目标特征与所述第一目标特征对应；
根据所述第二视频帧中所述第二目标特征与所述人脸关键点之间的相对位置以及所述第一视频帧中所述人脸关键点的位置，预估所述第一视频帧中人脸上的第一目标特征的位置；
若预估出的所述人脸上第一目标特征的位置与确定出的所述人脸上第一目标特征的位置的差异大于预设值，则过滤掉所述第一视频帧中的所述第一目标特征。
24.如权利要求17至21中任一项所述的装置，其特征在于，所述预处理模块具体用于获取拍摄得到的第一图像；
还包括显示模块用于：在所述肤色填充模块对确定出的第一目标特征所在的区域进行肤色填充之后，将肤色填充后的第一图像进行显示。
25.一种图像处理装置，其特征在于，包括：
获取模块，用于获取视频帧序列中的第一视频帧；
控制模块，用于判断所述获取模块获取的第一视频帧是否为关键检测帧，其中，所述关键检测帧包括所述视频帧序列中的第一个视频帧以及按照设定间隔得到的视频帧，若是，触发第一处理模块，否则，触发第二处理模块；
所述第一处理模块，用于检测得到所述第一视频帧中人脸上的目标特征，并确定检测出的目标特征与所述人脸中的人脸关键点之间的相对位置，其中，所述目标特征为所述人脸的皮肤上具有一定形状的区域且该区域的亮度不同于人脸皮肤的亮度；
所述第二处理模块，用于根据所述视频帧序列中的第二视频帧中检测出的目标特征与所述人脸关键点之间的相对位置以及所述第一视频帧中所述人脸关键点的位置，确定所述第一视频帧中人脸上的目标特征，其中，所述第二视频帧为所述第一视频帧的前一视频帧；
填充模块，用于对所述目标特征所在的区域进行肤色填充。
26.如权利要求25所述的装置，其特征在于，所述填充模块具体用于：
针对所述目标特征，确定肤色填充区域；
对所述肤色填充区域边界上的像素进行间隔采样得到采样点，根据所述采样点将所述肤色填充区域网格化，一条网格线与所述肤色填充区域边界上的两个交叉点分别为所述采样点中的两个采样点；
针对任意一个网格线交叉点，根据交叉点与每个采样点的距离分别确定每个采样点的权重，确定所有采样点的颜色值与对应的权重的第一加权平均值，根据所述第一加权平均值设置交叉点的颜色值，其中，一个采样点对应的权重与该采样点到交叉点的距离成反比；
针对每个网格内的任一待填充像素，根据待填充像素与网格的每个顶点的距离分别确定每个顶点的权重，确定每个顶点的颜色值与对应的权重的的第二加权平均值，根据所述第二加权平均值设置待填充像素的颜色值，其中，一个网格顶点对应的权重与该网格顶点到待填充像素的距离成反比。
27.如权利要求25所述的装置，其特征在于，所述第二处理模块还用于：
若所述第一视频帧不是关键检测帧，则判断所述第一视频帧中的人脸姿态与第三视频帧中的人脸姿态的差异；
若所述差异大于设定阈值，则检测得到所述第一视频帧中人脸上的目标特征，并确定检测出的目标特征与所述人脸中的人脸关键点之间的相对位置，其中所述第三视频帧为所述第一视频帧的前一个关键检测帧。
28.如权利要求25所述的装置，其特征在于，所述第一处理模块具体用于：
检测得到所述第一图像中的人脸，确定所述人脸中目标特征的检测区域，针对所述目标特征的检测区域，根据检测模板对待检测像素以及所述待检测像素周围的像素的亮度进行比较，确定出所述人脸上的目标特征，其中，所述检测模板为M×N像素块，所述像素块中包括一个位于所述像素块中部的第一像素以及分布于所述像素块边缘的多个第二像素，所述第一像素用于对应所述待检测像素，所述多个第二像素用于对应所述待检测像素周围的像素，M和N均为大于1的整数。
29.如权利要求27所述的装置，其特征在于，所述第二处理模块具体用于：
检测得到所述第一图像中的人脸，确定所述人脸中目标特征的检测区域，针对所述目标特征的检测区域，根据检测模板对待检测像素以及所述待检测像素周围的像素的亮度进行比较，确定出所述人脸上的目标特征，其中，所述检测模板为M×N像素块，所述像素块中包括一个位于所述像素块中部的第一像素以及分布于所述像素块边缘的多个第二像素，所述第一像素用于对应所述待检测像素，所述多个第二像素用于对应所述待检测像素周围的像素，M和N均为大于1的整数。
30.如权利要求28所述的装置，其特征在于，所述第一处理模块具体用于：
对所述第一视频帧进行人脸检测，得到人脸轮廓点与器官点；
根据所述人脸轮廓点与所述器官点，确定所述人脸中目标特征的检测区域；其中，所述检测区域为在所述人脸轮廓特征点所描绘的人脸区域内，排除所述器官点所描绘的器官所在区域。
31.如权利要求29所述的装置，其特征在于，所述第二处理模块具体用于：
对所述第一视频帧进行人脸检测，得到人脸轮廓点与器官点；
根据所述人脸轮廓点与所述器官点，确定所述人脸中目标特征的检测区域；其中，所述检测区域为在所述人脸轮廓特征点所描绘的人脸区域内，排除所述器官点所描绘的器官所在区域。
32.如权利要求28或30所述的装置，其特征在于，所述第一处理模块具体用于：
针对所述检测区域内的任一待检测像素，执行：将所述检测模板中第一像素与待检测像素对齐，根据所述检测模板中的每个第二像素，确定所述检测区域中相应位置的每个像素的亮度值，若确定所述待检测像素的亮度值小于所述检测区域中相应位置的每个像素的亮度值，且后者减去前者的差值均大于设定阈值，则确定所述待检测像素为目标特征所在区域内的像素；
根据被检测为第一目标特征所在区域内的像素，得到所述检测区域内的目标特征。
33.如权利要求29或31所述的装置，其特征在于，所述第二处理模块具体用于：
针对所述检测区域内的任一待检测像素，执行：将所述检测模板中第一像素与待检测像素对齐，根据所述检测模板中的每个第二像素，确定所述检测区域中相应位置的每个像素的亮度值，若确定所述待检测像素的亮度值小于所述检测区域中相应位置的每个像素的亮度值，且后者减去前者的差值均大于设定阈值，则确定所述待检测像素为目标特征所在区域内的像素；
根据被检测为第一目标特征所在区域内的像素，得到所述检测区域内的目标特征。
34.如权利要求25至31中任一项所述的装置，其特征在于，所述获取模块具体用于：获取拍摄得到的视频帧序列中的第一视频帧；
还包括显示模块，用于在所述填充模块对所确定出的目标特征所在的区域进行肤色填充之后，将肤色填充后的第一视频帧进行显示。
35.一种图像处理设备，其特征在于，包括：
显示器；
存储器，用于存储计算机程序指令；
处理器，耦合到所述存储器，用于读取所述存储器存储的计算机程序指令，并作为响应，执行如权利要求1至16中任一项所述的方法。
36.一个或多个计算机可读介质，其特征在于，所述可读介质上存储有指令，所述指令被一个或多个处理器执行时，使得图像处理设备执行如权利要求1至16中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710075865.8A CN108428214B (zh) | 2017-02-13 | 2017-02-13 | 一种图像处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710075865.8A CN108428214B (zh) | 2017-02-13 | 2017-02-13 | 一种图像处理方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108428214A true CN108428214A (zh) | 2018-08-21 |
| CN108428214B CN108428214B (zh) | 2022-03-08 |
Family
ID=63147241
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710075865.8A Active CN108428214B (zh) | 2017-02-13 | 2017-02-13 | 一种图像处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108428214B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109948590A (zh) * | 2019-04-01 | 2019-06-28 | 启霖世纪（北京）教育科技有限公司 | 姿态问题检测方法及装置 |
| CN110211211A (zh) * | 2019-04-25 | 2019-09-06 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN110443764A (zh) * | 2019-08-01 | 2019-11-12 | 北京百度网讯科技有限公司 | 视频修复方法、装置及服务器 |
| CN110874821A (zh) * | 2018-08-31 | 2020-03-10 | 赛司医疗科技（北京）有限公司 | 一种自动过滤***中非***成分的图像处理方法 |
| CN110909568A (zh) * | 2018-09-17 | 2020-03-24 | 北京京东尚科信息技术有限公司 | 用于面部识别的图像检测方法、装置、电子设备及介质 |
| CN111179156A (zh) * | 2019-12-23 | 2020-05-19 | 北京中广上洋科技股份有限公司 | 一种基于人脸检测的视频美化方法 |
| CN112106102A (zh) * | 2019-07-30 | 2020-12-18 | 深圳市大疆创新科技有限公司 | 图像处理方法、***、设备、可移动平台和存储介质 |
| CN112417930A (zh) * | 2019-08-23 | 2021-02-26 | 深圳市优必选科技股份有限公司 | 一种处理图像的方法及机器人 |
| CN113938603A (zh) * | 2021-09-09 | 2022-01-14 | 联想(北京)有限公司 | 一种图像处理方法、装置及电子设备 |
| CN114582003A (zh) * | 2022-04-24 | 2022-06-03 | 慕思健康睡眠股份有限公司 | 一种基于云计算服务的睡眠健康管理*** |
| CN114598919A (zh) * | 2022-03-01 | 2022-06-07 | 腾讯科技（深圳）有限公司 | 视频处理方法、装置、计算机设备和存储介质 |
| WO2023165369A1 (zh) * | 2022-03-01 | 2023-09-07 | 北京沃东天骏信息技术有限公司 | 图像处理方法和装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101916370A (zh) * | 2010-08-31 | 2010-12-15 | 上海交通大学 | 人脸检测中非特征区域图像处理的方法 |
| US20110025709A1 (en) * | 2009-07-30 | 2011-02-03 | Ptucha Raymond W | Processing digital templates for image display |
| CN103927718A (zh) * | 2014-04-04 | 2014-07-16 | 北京金山网络科技有限公司 | 一种图片处理方法及装置 |
| US20140369554A1 (en) * | 2013-06-18 | 2014-12-18 | Nvidia Corporation | Face beautification system and method of use thereof |
| CN104952036A (zh) * | 2015-06-18 | 2015-09-30 | 福州瑞芯微电子有限公司 | 一种即时视频中的人脸美化方法和电子设备 |
| CN105046661A (zh) * | 2015-07-02 | 2015-11-11 | 广东欧珀移动通信有限公司 | 一种提升视频美颜效率的方法、装置及智能终端 |
| WO2016141866A1 (zh) * | 2015-03-09 | 2016-09-15 | 夏普株式会社 | 图像处理设备和方法 |
| CN105956995A (zh) * | 2016-04-19 | 2016-09-21 | 浙江大学 | 一种基于实时视频本征分解的人脸外观编辑方法 |
-
2017
- 2017-02-13 CN CN201710075865.8A patent/CN108428214B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110025709A1 (en) * | 2009-07-30 | 2011-02-03 | Ptucha Raymond W | Processing digital templates for image display |
| CN101916370A (zh) * | 2010-08-31 | 2010-12-15 | 上海交通大学 | 人脸检测中非特征区域图像处理的方法 |
| US20140369554A1 (en) * | 2013-06-18 | 2014-12-18 | Nvidia Corporation | Face beautification system and method of use thereof |
| CN103927718A (zh) * | 2014-04-04 | 2014-07-16 | 北京金山网络科技有限公司 | 一种图片处理方法及装置 |
| WO2016141866A1 (zh) * | 2015-03-09 | 2016-09-15 | 夏普株式会社 | 图像处理设备和方法 |
| CN104952036A (zh) * | 2015-06-18 | 2015-09-30 | 福州瑞芯微电子有限公司 | 一种即时视频中的人脸美化方法和电子设备 |
| CN105046661A (zh) * | 2015-07-02 | 2015-11-11 | 广东欧珀移动通信有限公司 | 一种提升视频美颜效率的方法、装置及智能终端 |
| CN105956995A (zh) * | 2016-04-19 | 2016-09-21 | 浙江大学 | 一种基于实时视频本征分解的人脸外观编辑方法 |
Non-Patent Citations (1)
| Title |
|---|
| 韩静亮: "数字图像中人脸美化算法的研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 * |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110874821B (zh) * | 2018-08-31 | 2023-05-30 | 赛司医疗科技（北京）有限公司 | 一种自动过滤***中非***成分的图像处理方法 |
| CN110874821A (zh) * | 2018-08-31 | 2020-03-10 | 赛司医疗科技（北京）有限公司 | 一种自动过滤***中非***成分的图像处理方法 |
| CN110909568A (zh) * | 2018-09-17 | 2020-03-24 | 北京京东尚科信息技术有限公司 | 用于面部识别的图像检测方法、装置、电子设备及介质 |
| CN109948590A (zh) * | 2019-04-01 | 2019-06-28 | 启霖世纪（北京）教育科技有限公司 | 姿态问题检测方法及装置 |
| CN110211211A (zh) * | 2019-04-25 | 2019-09-06 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN110211211B (zh) * | 2019-04-25 | 2024-01-26 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN112106102A (zh) * | 2019-07-30 | 2020-12-18 | 深圳市大疆创新科技有限公司 | 图像处理方法、***、设备、可移动平台和存储介质 |
| CN110443764A (zh) * | 2019-08-01 | 2019-11-12 | 北京百度网讯科技有限公司 | 视频修复方法、装置及服务器 |
| CN112417930A (zh) * | 2019-08-23 | 2021-02-26 | 深圳市优必选科技股份有限公司 | 一种处理图像的方法及机器人 |
| CN112417930B (zh) * | 2019-08-23 | 2023-10-13 | 深圳市优必选科技股份有限公司 | 一种处理图像的方法及机器人 |
| CN111179156A (zh) * | 2019-12-23 | 2020-05-19 | 北京中广上洋科技股份有限公司 | 一种基于人脸检测的视频美化方法 |
| CN111179156B (zh) * | 2019-12-23 | 2023-09-19 | 北京中广上洋科技股份有限公司 | 一种基于人脸检测的视频美化方法 |
| CN113938603A (zh) * | 2021-09-09 | 2022-01-14 | 联想(北京)有限公司 | 一种图像处理方法、装置及电子设备 |
| CN113938603B (zh) * | 2021-09-09 | 2023-02-03 | 联想(北京)有限公司 | 一种图像处理方法、装置及电子设备 |
| WO2023165369A1 (zh) * | 2022-03-01 | 2023-09-07 | 北京沃东天骏信息技术有限公司 | 图像处理方法和装置 |
| CN114598919A (zh) * | 2022-03-01 | 2022-06-07 | 腾讯科技（深圳）有限公司 | 视频处理方法、装置、计算机设备和存储介质 |
| CN114598919B (zh) * | 2022-03-01 | 2024-03-01 | 腾讯科技（深圳）有限公司 | 视频处理方法、装置、计算机设备和存储介质 |
| CN114582003B (zh) * | 2022-04-24 | 2022-07-29 | 慕思健康睡眠股份有限公司 | 一种基于云计算服务的睡眠健康管理*** |
| CN114582003A (zh) * | 2022-04-24 | 2022-06-03 | 慕思健康睡眠股份有限公司 | 一种基于云计算服务的睡眠健康管理*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108428214B (zh) | 2022-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108428214A (zh) | 一种图像处理方法及装置 | |
| WO2022134337A1 (zh) | 人脸遮挡检测方法、***、设备及存储介质 | |
| US10872420B2 (en) | Electronic device and method for automatic human segmentation in image | |
| US8761446B1 (en) | Object detection with false positive filtering | |
| CN109086718A (zh) | 活体检测方法、装置、计算机设备及存储介质 | |
| US20180157899A1 (en) | Method and apparatus detecting a target | |
| CN103914676B (zh) | 一种在人脸识别中使用的方法和装置 | |
| CN108351961A (zh) | 图像及特征质量、用于眼部血管及面部识别的图像增强及特征提取及针对生物识别***融合眼部血管与面部及/或子面部信息 | |
| KR101405410B1 (ko) | 객체 검출 장치 및 시스템 | |
| CN110059666B (zh) | 一种注意力检测方法及装置 | |
| CN111626295B (zh) | 车牌检测模型的训练方法和装置 | |
| CN111598065B (zh) | 深度图像获取方法及活体识别方法、设备、电路和介质 | |
| WO2007074844A1 (ja) | 顔パーツの位置の検出方法及び検出システム | |
| WO2019015477A1 (zh) | 图像矫正方法、计算机可读存储介质和计算机设备 | |
| CN101211411A (zh) | 一种人体检测的方法和装置 | |
| CN107172354A (zh) | 视频处理方法、装置、电子设备及存储介质 | |
| CN110268420A (zh) | 在图像中检测背景物上的外来物的计算机实现的方法、在图像中检测背景物上的外来物的设备以及计算机程序产品 | |
| WO2022137603A1 (ja) | 判定方法、判定装置、及び判定プログラム | |
| CN106650615A (zh) | 一种图像处理方法及终端 | |
| CN110533732A (zh) | 图像中肤色的识别方法、装置、电子设备及存储介质 | |
| CN107256543A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN113449623A (zh) | 一种基于深度学习的轻型活体检测方法 | |
| CN112836653A (zh) | 人脸隐私化方法、设备、装置及计算机存储介质 | |
| CN111325107A (zh) | 检测模型训练方法、装置、电子设备和可读存储介质 | |
| Yoo et al. | Red-eye detection and correction using inpainting in digital photographs |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20201214 Address after: Room 603, 6 / F, Roche Plaza, 788 Cheung Sha Wan Road, Kowloon, China Applicant after: Zebra smart travel network (Hong Kong) Limited Address before: Cayman Islands Grand Cayman capital building, a four storey No. 847 mailbox Applicant before: Alibaba Group Holding Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |