CN112598591A - 图像处理方法、装置、电子设备及存储介质 - Google Patents

图像处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112598591A
CN112598591A CN202011510796.7A CN202011510796A CN112598591A CN 112598591 A CN112598591 A CN 112598591A CN 202011510796 A CN202011510796 A CN 202011510796A CN 112598591 A CN112598591 A CN 112598591A
Authority
CN
China
Prior art keywords
image
flaw
area
face
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011510796.7A
Other languages
English (en)
Other versions
CN112598591B (zh
Inventor
肖雪
秦文煜
刘晓坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202011510796.7A priority Critical patent/CN112598591B/zh
Publication of CN112598591A publication Critical patent/CN112598591A/zh
Application granted granted Critical
Publication of CN112598591B publication Critical patent/CN112598591B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本公开是关于一种图像处理方法、装置、电子设备及存储介质，涉及图像处理技术领域。该方法包括：对第一图像进行人脸识别，得到目标人脸的第一人脸标识；在数据库中查找第一人脸标识对应的第一瑕疵点信息；第一瑕疵点信息中包括目标人脸上N个瑕疵点在第二图像中的第一位置；对N个瑕疵点的第一位置进行位置映射，得到N个瑕疵点在第一图像中的第二位置；对于每个瑕疵点，根据该瑕疵点在第一图像中的第二位置，在第一图像中确定第一区域和第二区域；第二区域包括位置映射后的该瑕疵点，第一区域是在第二区域的基础上向外扩张目标尺寸后得到的；根据第一区域和第二区域的色彩均值，对该瑕疵点进行重定位。本公开能提高瑕疵点定位精度，定位速度快。

Description

图像处理方法、装置、电子设备及存储介质
技术领域
本公开涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
由于人体面部的瑕疵点(比如痘、痣、斑等)非常影响美观，因此在对人脸图像进行美颜时，去除面部瑕疵点便成了一个非常重要的环节。其中，去除面部瑕疵点之前还需先在人脸上定位瑕疵点，即检测瑕疵点的位置和大小。
另外，精准地对瑕疵点进行定位是实现瑕疵点准确去除的基础，基于此，目前亟需一种新的图像处理方法，以实现瑕疵点的高精度定位，进而确保人像美颜效果。
发明内容
本公开提供一种图像处理方法、装置、电子设备及存储介质，该方法能够兼顾瑕疵点的定位精度和定位速度。即，该方法不但实现了瑕疵点的高精度定位，而且定位速度较快。
根据本公开实施例的第一方面，提供一种图像处理方法，所述方法包括：
对第一图像进行人脸识别，得到目标人脸的第一人脸标识；
在数据库中查找所述第一人脸标识对应的第一瑕疵点信息；所述数据库用于存储多个人脸标识以及所述多个人脸标识对应的瑕疵点信息；所述第一瑕疵点信息中包括所述目标人脸上N个瑕疵点在第二图像中的第一位置,N为正整数；
对所述N个瑕疵点的第一位置进行位置映射，得到所述N个瑕疵点在所述第一图像中的第二位置；
对于每个所述瑕疵点，根据所述瑕疵点在所述第一图像中的第二位置，在所述第一图像中确定第一区域和第二区域；其中，所述第二区域包括位置映射后的所述瑕疵点，所述第一区域是在所述第二区域的基础上向外扩张目标尺寸后得到的；根据所述第一区域和所述第二区域的色彩均值，在所述第一区域内对所述瑕疵点进行重定位。
在一些实施例中，所述第一瑕疵点信息中还包括所述N个瑕疵点在所述第二图像中的第一尺寸；
所述根据所述瑕疵点在所述第一图像中的第二位置，在所述第一图像中确定第一区域和第二区域，包括：
根据第一检测框的尺寸、第二检测框的尺寸和所述瑕疵点在所述第二图像中的第一尺寸，确定所述瑕疵点在所述第一图像中的第二尺寸；
以所述瑕疵点的第二位置为中心，根据所述第二尺寸和目标尺寸在所述第一图像中确定所述第一区域；以及，以所述瑕疵点的第二位置为中心，根据所述第二尺寸在所述第一图像中确定所述第二区域；
其中，所述第一检测框和所述第二检测框用于定位所述目标人脸；所述第一检测框的尺寸是通过对所述第一图像进行人脸识别得到的；所述第二检测框的尺寸存储在所述数据库中，且是通过对所述第二图像进行人脸识别得到的。
在一些实施例中，所述方法还包括：
对所述第一图像进行语义分割处理，得到第一类区域和第二类区域；其中，所述第一类区域为所述第一图像中未被遮挡物遮挡的人脸皮肤区域；所述第二类区域为所述第一图像中除了所述第一类区域之外的其他区域；
确定所述N个瑕疵点中位于所述第二类区域的M个瑕疵点；其中，所述M个瑕疵点为不进行重定位的瑕疵点；M为正整数且M小于N。
在一些实施例中，所述对于每个所述瑕疵点，根据所述瑕疵点在所述第一图像中的第二位置，在所述第一图像中确定第一区域和第二区域，包括：
对于剩余的N-M个瑕疵点中的每个瑕疵点，根据所述瑕疵点在所述第一图像中的第二位置，在所述第一图像中确定所述第一区域和所述第二区域；其中，所述第一区域和所述第二区域均位于所述第一类区域内。
在一些实施例中，所述根据所述第一区域和所述第二区域的色彩均值，对所述瑕疵点进行重定位，包括：
确定所述第一区域的色彩均值与所述第二区域的色彩均值之间的差值；响应于所述差值的绝对值不大于目标阈值，在所述第一区域内对所述瑕疵点进行重定位。
在一些实施例中，响应于所述差值的绝对值大于所述目标阈值，将位置映射后所述瑕疵点的第二位置作为当前的瑕疵点位置。
在一些实施例中，所述在所述第一区域内对所述瑕疵点进行重定位，包括：
在所述第一区域内提取若干个候选特征点；
将每个所述候选特征点分别与所述第二图像中的所述瑕疵点进行特征匹配；
将匹配度最高的候选特征点的位置作为新的瑕疵点位置。
在一些实施例中，所述方法还包括：
获取人脸数据，所述人脸数据中包括多张候选图像；
对于每张所述候选图像，对所述候选图像进行人脸识别，得到第二人脸标识和候选检测框；以及，对所述候选图像进行瑕疵点检测，得到第二瑕疵点信息；
其中，所述第二瑕疵点信息中包括候选人脸中X个瑕疵点在所述候选图像中的位置和尺寸,X为正整数；
建立所述候选人脸标识与所述候选检测框之间的绑定关系，建立所述候选人脸标识与所述第二瑕疵点信息之间的绑定关系，并将所述候选人脸标识、所述候选检测框的尺寸和所述第二瑕疵点信息存储至所述数据库。
在一些实施例中，所述根据第一检测框的尺寸、第二检测框的尺寸和所述瑕疵点在所述第二图像中的第一尺寸，确定所述瑕疵点在所述第一图像中的第二尺寸，包括：
获取所述第一检测框的宽度和高度的第一和值；
获取所述第二检测框的宽度和高度的第二和值；
获取所述第一和值与目标数值之间的第一比值；
获取所述第二和值与所述目标数值之间的第二比值；
获取所述第一比值与所述第二比值的相除结果，将所述第一尺寸与所述相除结果的乘积值，作为所述瑕疵点在所述第一图像中的第二尺寸。
根据本公开实施例的第二方面，提供一种图像处理装置，所述装置包括：
人脸识别模块，被配置为对第一图像进行人脸识别，得到目标人脸的第一人脸标识；
查找模块，被配置为在数据库中查找所述第一人脸标识对应的第一瑕疵点信息；所述数据库用于存储多个人脸标识以及所述多个人脸标识对应的瑕疵点信息；所述第一瑕疵点信息中包括所述目标人脸上N个瑕疵点在第二图像中的第一位置,N为正整数；
位置映射模块，被配置为对所述N个瑕疵点的第一位置进行位置映射，得到所述N个瑕疵点在所述第一图像中的第二位置；
第一处理模块，被配置为对于每个所述瑕疵点，根据所述瑕疵点在所述第一图像中的第二位置，在所述第一图像中确定第一区域和第二区域；其中，所述第二区域包括位置映射后的所述瑕疵点，所述第一区域是在所述第二区域的基础上向外扩张目标尺寸后得到的；根据所述第一区域和所述第二区域的色彩均值，在所述第一区域内对所述瑕疵点进行重定位。
在一些实施例中，所述第一瑕疵点信息中还包括所述N个瑕疵点在所述第二图像中的第一尺寸；所述第一处理模块，包括：
第一确定单元，被配置为根据第一检测框的尺寸、第二检测框的尺寸和所述瑕疵点在所述第二图像中的第一尺寸，确定所述瑕疵点在所述第一图像中的第二尺寸；
第二确定单元，被配置为以所述瑕疵点的第二位置为中心，根据所述第二尺寸和目标尺寸在所述第一图像中确定所述第一区域；以及，以所述瑕疵点的第二位置为中心，根据所述第二尺寸在所述第一图像中确定所述第二区域；
其中，所述第一检测框和所述第二检测框用于定位所述目标人脸；所述第一检测框的尺寸是通过对所述第一图像进行人脸识别得到的；所述第二检测框的尺寸存储在所述数据库中，且是通过对所述第二图像进行人脸识别得到的。
在一些实施例中，所述装置还包括：
第二处理模块，被配置为对所述第一图像进行语义分割处理，得到第一类区域和第二类区域；其中，所述第一类区域为所述第一图像中未被遮挡物遮挡的人脸皮肤区域；所述第二类区域为所述第一图像中除了所述第一类区域之外的其他区域；确定所述N个瑕疵点中位于所述第二类区域的M个瑕疵点；其中，所述M个瑕疵点为不进行重定位的瑕疵点；M为正整数且M小于N。
在一些实施例中，所述第一处理模块，被配置为对于剩余的N-M个瑕疵点中的每个瑕疵点，根据所述瑕疵点在所述第一图像中的第二位置，在所述第一图像中确定所述第一区域和所述第二区域；其中，所述第一区域和所述第二区域均位于所述第一类区域内。
在一些实施例中，所述第一处理模块，还包括：
第一处理单元，被配置为确定所述第一区域的色彩均值与所述第二区域的色彩均值之间的差值；响应于所述差值的绝对值不大于目标阈值，在所述第一区域内对所述瑕疵点进行重定位。
在一些实施例中，所述第一处理模块，还包括：
第二处理单元，被配置为响应于所述差值的绝对值大于所述目标阈值，将位置映射后所述瑕疵点的第二位置作为当前的瑕疵点位置。
在一些实施例中，所述第一处理单元，被配置为在所述第一区域内提取若干个候选特征点；将每个所述候选特征点分别与所述第二图像中的所述瑕疵点进行特征匹配；将匹配度最高的候选特征点的位置作为新的瑕疵点位置。
在一些实施例中，所述装置还包括：
预处理模块，被配置为获取人脸数据，所述人脸数据中包括多张候选图像；对于每张所述候选图像，对所述候选图像进行人脸识别，得到第二人脸标识和候选检测框；以及，对所述候选图像进行瑕疵点检测，得到第二瑕疵点信息；其中，所述第二瑕疵点信息中包括候选人脸中X个瑕疵点在所述候选图像中的位置和尺寸,X为正整数；建立所述候选人脸标识与所述候选检测框之间的绑定关系，建立所述候选人脸标识与所述第二瑕疵点信息之间的绑定关系，并将所述候选人脸标识、所述候选检测框的尺寸和所述第二瑕疵点信息存储至所述数据库。
在一些实施例中，所述第一确定单元，被配置为获取所述第一检测框的宽度和高度的第一和值；获取所述第二检测框的宽度和高度的第二和值；获取所述第一和值与目标数值之间的第一比值；获取所述第二和值与所述目标数值之间的第二比值；获取所述第一比值与所述第二比值的相除结果，将所述第一尺寸与所述相除结果的乘积值，作为所述瑕疵点在所述第一图像中的第二尺寸。
根据本公开实施例的第三方面，提供一种电子设备，包括：
一个或多个处理器；
用于存储所述一个或多个处理器可执行指令的一个或多个存储器；
其中，所述一个或多个处理器被配置为执行上述的图像处理方法。
根据本公开实施例的第四方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述的图像处理方法。
根据本公开实施例的第五方面，提供一种计算机程序产品，所述计算机程序产品中的指令由电子设备的处理器执行时，使得电子设备能够执行上述的图像处理方法。
本公开的实施例提供的技术方案可以包括以下有益效果：
在进行面部瑕疵点检测时，本公开实施例首先对待检测图像进行人脸识别得到人脸标识，之后根据该人脸标识到数据库中匹配瑕疵点信息，其中，该数据库中存储了多个人脸标识以及多个人脸标识对应的瑕疵点信息。即，本公开实施例提前定位瑕疵，进而在实时检测时，根据该数据库中存储的瑕疵点信息即可快速完成位置映射，得到待检测图像包括的初映射瑕疵信息；这大大加快了定位速度；另外，在位置映射之后，本公开实施例还会通过瑕疵局部搜索在局部区域内进行面部瑕疵重定位，进一步地确保了定位精度。综上所述，该方法能够兼顾瑕疵点的定位精度和定位速度。即，该方法不但实现了瑕疵点的高精度定位，而且定位速度较快。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种图像处理方法的流程图。
图2是根据一示例性实施例示出的另一种图像处理方法的流程图。
图3是根据一示例性实施例示出的一种预计算阶段的流程示意图。
图4是根据一示例性实施例示出的一种实时计算阶段的流程示意图。
图5是根据一示例性实施例示出的一种图像处理装置的框图。
图6是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本公开所涉及的用户信息可以为经用户授权或者经过各方充分授权的信息。
首先对本公开实施例涉及到的一些名词进行解释。
人像美颜：是指对人脸进行美化和修饰处理，其中，人像美颜处理包括但不限于瘦脸、上妆、去除面部瑕疵等。
面部瑕疵点：是指人脸的皮肤区域(除了眉毛、眼睛、嘴巴等)上出现的诸如痘、痣或斑等影响美观的特征点。
下面对本公开实施例涉及的图像处理方案涉及的实施环境进行介绍。
本公开实施例提供的图像处理方案用于对人脸进行面部瑕疵点定位。由于同一人脸的面部瑕疵在一定时长内位置通常不会改变，因此可以采用预计算的方式提前定位面部瑕疵点，比如采用3DMM(3D Morphable Models，三维形变模型)人脸重建技术，提前预计算出面部瑕疵点的位置，在实时计算阶段再完成面部瑕疵点的位置映射。
另外，为了提高面部瑕疵点的定位精度，本公开实施例会在位置映射之后加入面部瑕疵点的局部搜索过程，以对面部瑕疵点进行重定位。该方案能够提高面部瑕疵的定位精度，且耗时较短可以达到实时。
在一些实施例中，该方案可以应用于对面部瑕疵点具有检测需求的任意场景下，本公开实施例对此不做限制。比如，医美场景、直播场景、线上或线下的人像美颜场景等。
其中，该方案的执行主体为电子设备。示例性地，该电子设备为终端，终端的类型包括但不限于智能手机、台式电脑、笔记本电脑、平板电脑等。另外，该电子设备也可以为服务器，比如终端将人脸图像上传至服务器，由于服务器来执行面部瑕疵点定位，本公开实施例对此不进行具体限定。
在另一些实施例中，以上述电子设备为终端为例，则该终端当前处理的人脸图像可以为本地已存储的图像、新拍摄的一张图像、视频通话或视频直播中的一个视频帧、其他终端发送的图像，本公开实施例对此不做限制。以上述电子设备为服务器为例，则该服务器当前处理的人脸图像可以为终端上传的人脸图像。
下面通过以下实施例对本公开实施例的目标跟踪方案进行详细地解释说明。
图1是根据一示例性实施例示出的一种图像处理方法的流程图，该方法用于电子设备中，包括以下步骤。
在101中，对第一图像进行人脸识别，得到目标人脸的第一人脸标识。
在102中，在数据库中查找第一人脸标识对应的第一瑕疵点信息；该数据库用于存储多个人脸标识以及多个人脸标识对应的瑕疵点信息；第一瑕疵点信息中包括目标人脸上N个瑕疵点在第二图像中的第一位置,N为正整数。
在103中，对N个瑕疵点的第一位置进行位置映射，得到N个瑕疵点在第一图像中的第二位置。
在104中，对于每个瑕疵点，根据该瑕疵点在第一图像中的第二位置，在第一图像中确定第一区域和第二区域；其中，第二区域包括位置映射后的该瑕疵点，第一区域是在第二区域的基础上向外扩张目标尺寸后得到的；根据第一区域和第二区域的色彩均值，在第一区域内对该瑕疵点进行重定位。
本公开实施例提供的方法，在进行面部瑕疵点检测时，本公开实施例首先对待检测图像进行人脸识别得到人脸标识，之后根据该人脸标识到数据库中匹配瑕疵点信息，其中，该数据库中存储了多个人脸标识以及多个人脸标识对应的瑕疵点信息。即，本公开实施例提前定位瑕疵，进而在实时检测时，根据该数据库中存储的瑕疵点信息即可快速完成位置映射，得到待检测图像包括的初映射瑕疵信息；这大大加快了定位速度；另外，在位置映射之后，本公开实施例还会通过瑕疵局部搜索在局部区域内进行面部瑕疵重定位，进一步地确保了定位精度。综上所述，该方法能够兼顾瑕疵点的定位精度和定位速度。即，该方法不但实现了瑕疵点的高精度定位，而且定位速度较快。
在一些实施例中，所述第一瑕疵点信息中还包括所述N个瑕疵点在所述第二图像中的第一尺寸；
所述根据所述瑕疵点在所述第一图像中的第二位置，在所述第一图像中确定第一区域和第二区域，包括：
根据第一检测框的尺寸、第二检测框的尺寸和所述瑕疵点在所述第二图像中的第一尺寸，确定所述瑕疵点在所述第一图像中的第二尺寸；
以所述瑕疵点的第二位置为中心，根据所述第二尺寸和目标尺寸在所述第一图像中确定所述第一区域；以及，以所述瑕疵点的第二位置为中心，根据所述第二尺寸在所述第一图像中确定所述第二区域；
其中，所述第一检测框和所述第二检测框用于定位所述目标人脸；所述第一检测框的尺寸是通过对所述第一图像进行人脸识别得到的；所述第二检测框的尺寸存储在所述数据库中，且是通过对所述第二图像进行人脸识别得到的。
在一些实施例中，所述方法还包括：
对所述第一图像进行语义分割处理，得到第一类区域和第二类区域；其中，所述第一类区域为所述第一图像中未被遮挡物遮挡的人脸皮肤区域；所述第二类区域为所述第一图像中除了所述第一类区域之外的其他区域；
确定所述N个瑕疵点中位于所述第二类区域的M个瑕疵点；其中，所述M个瑕疵点为不进行重定位的瑕疵点；M为正整数且M小于N。
在一些实施例中，所述对于每个所述瑕疵点，根据所述瑕疵点在所述第一图像中的第二位置，在所述第一图像中确定第一区域和第二区域，包括：
对于剩余的N-M个瑕疵点中的每个瑕疵点，根据所述瑕疵点在所述第一图像中的第二位置，在所述第一图像中确定所述第一区域和所述第二区域；其中，所述第一区域和所述第二区域均位于所述第一类区域内。
在一些实施例中，所述根据所述第一区域和所述第二区域的色彩均值，对所述瑕疵点进行重定位，包括：
确定所述第一区域的色彩均值与所述第二区域的色彩均值之间的差值；响应于所述差值的绝对值不大于目标阈值，在所述第一区域内对所述瑕疵点进行重定位。
在一些实施例中，响应于所述差值的绝对值大于所述目标阈值，将位置映射后所述瑕疵点的第二位置作为当前的瑕疵点位置。
在一些实施例中，所述在所述第一区域内对所述瑕疵点进行重定位，包括：
在所述第一区域内提取若干个候选特征点；
将每个所述候选特征点分别与所述第二图像中的所述瑕疵点进行特征匹配；
将匹配度最高的候选特征点的位置作为新的瑕疵点位置。
在一些实施例中，所述方法还包括：
获取人脸数据，所述人脸数据中包括多张候选图像；
对于每张所述候选图像，对所述候选图像进行人脸识别，得到第二人脸标识和候选检测框；以及，对所述候选图像进行瑕疵点检测，得到第二瑕疵点信息；
其中，所述第二瑕疵点信息中包括候选人脸中X个瑕疵点在所述候选图像中的位置和尺寸,X为正整数；
建立所述候选人脸标识与所述候选检测框之间的绑定关系，建立所述候选人脸标识与所述第二瑕疵点信息之间的绑定关系，并将所述候选人脸标识、所述候选检测框的尺寸和所述第二瑕疵点信息存储至所述数据库。
在一些实施例中，所述根据第一检测框的尺寸、第二检测框的尺寸和所述瑕疵点在所述第二图像中的第一尺寸，确定所述瑕疵点在所述第一图像中的第二尺寸，包括：
获取所述第一检测框的宽度和高度的第一和值；
获取所述第二检测框的宽度和高度的第二和值；
获取所述第一和值与目标数值之间的第一比值；
获取所述第二和值与所述目标数值之间的第二比值；
获取所述第一比值与所述第二比值的相除结果，将所述第一尺寸与所述相除结果的乘积值，作为所述瑕疵点在所述第一图像中的第二尺寸。
上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。
图2是根据一示例性实施例示出的一种图像处理方法的流程图。该方法包括预计算阶段和实时计算阶段。其中，该方法用于电子设备中，包括以下步骤。
预计算阶段
在201中，获取人脸数据，该人脸数据中包括多张候选图像。
在一些实施例中，该人脸数据可以来源于一个或多个人脸数据集，本公开实施例对此不做限制。另外，为了便于后续区分，本公开实施例将预计算阶段涉及到的人脸图像统称为候选图像。对候选图像进行人脸识别得到的人脸标识和人脸检测框，分别称为第二人脸标识和候选检测框。
在202中，对于每张候选图像，对该候选图像进行人脸识别，得到第二人脸标识和候选检测框。
在本公开实施例中，通过人脸识别模型进行人脸识别。针对人脸识别，通常会将在人脸图像中识别到的人脸用检测框标注出来，并给出该检测框的位置信息，即给出识别到的人脸在该人脸图像中的位置。在一些实施例中，既可以采取深度学习的人脸识别算法进行人脸识别，也可以采取非深度学习的人脸识别算法进行人脸识别，本公开实施例对此不做限制。作为一个示例，可以基于预先标注好的人脸数据，训练人脸识别模型用于人脸识别。
需要说明的是，本公开实施例除了会对每张候选图像进行人脸识别之外，还会对每张候选图像均执行如下步骤203和步骤204。
在203中，对该候选图像进行瑕疵点检测，得到第二瑕疵点信息。
在本公开实施例中，通过面部瑕疵检测模型进行瑕疵点检测。
在一些实施例中，面部瑕疵检测模型的训练过程包括但不限于：
2031、获取训练样本图像和对训练样本图像的标注信息。
其中，上述训练样本图像可以是痘痘严重的人脸图像、斑点较多的人脸图像或疤痕较多的人脸图像。每张训练样本图像中既可以包括一个类别的瑕疵特征，也可以包括多个类别的瑕疵特征，本公开实施例对此不做限制。另外，上述训练样本图像中还可以包括各种不同瑕疵类别的男性人脸图像和女性人脸图像。
在一些实施例中，可以采用手动标记的方式对训练样本图像中的瑕疵点进行标记，其中，该标注信息用于记录被标记的瑕疵点的位置和大小。
2032、将训练样本图像输入至深度学习模型中；基于目标损失函数，确定深度学习模型输出的对训练样本图像的预测结果与标注信息是否匹配。
作为一个示例，上述目标损失函数为交叉熵损失函数，深度学习模型为卷积神经网络，本公开实施例对此不做限制。
2033、当输出的预测结果与标注信息不匹配时，反复循环地迭代更新深度学习模型的网络参数，直至模型收敛，得到该面部瑕疵检测模型。
在保证样本多样性的基础上，通过对训练样本图像进行瑕疵特征的标注处理，能够提升训练出来的面部瑕疵检测模型的检测精准度。另外，由于样本数量较大，因此能够进一步确保训练出来的面部瑕疵检测模型的检测精准度。
其中，第二瑕疵点信息中包括候选人脸中X个瑕疵点在该候选图像中的位置和尺寸,X为正整数。在本开实施例中，X个瑕疵点为该候选人脸中的全部瑕疵点。
在204中，建立候选人脸标识与候选检测框之间的绑定关系，建立候选人脸标识与第二瑕疵点信息之间的绑定关系，并将候选人脸标识、候选检测框的尺寸和第二瑕疵点信息存储至数据库。
其中，候选检测框的尺寸包括候选检测框的高度和宽度。
另外，将上述步骤202至步骤204的操作处理应用到步骤201中的大批量人脸数据中，便会得到一个瑕疵数据丰富的数据库。即，该数据库至少用于存储多个人脸标识以及多个人脸标识对应的瑕疵点信息；在一些实施例中，该瑕疵点信息包括但不限于：瑕疵点的位置信息和大小信息。其中，基于该数据库能够实现瑕疵位置的***，确保了后续实时计算阶段瑕疵点的定位速度，为实时的面部瑕疵检测提供了保障。
在本公开实施例中，基于该数据库，便可进入到下面的实时计算阶段。
实时计算阶段
在205中，对待检测的第一图像进行人脸识别，得到目标人脸的第一人脸标识。
其中，对第一图像进行人脸识别的实现方式可参考上述步骤202，此处不再赘述。
在206中，在该数据库中查找第一人脸标识对应的第一瑕疵点信息。
本步骤即是根据第一人脸标识从该数据库中进行人脸ID匹配。其中，第二图像是指包括目标人脸的另一张图像。换言之，第一图像和第二图像中包括同一张人脸。
在本公开实施例中，第一瑕疵点信息中包括目标人脸上N个瑕疵点在第二图像中的位置信息和大小信息,N为正整数。其中，上述位置信息在本公开实施例中称为第一位置，上述大小信息在本公开实施例中称为第一尺寸。即，第一瑕疵点信息中包括目标人脸上N个瑕疵点在第二图像中的第一位置和第一尺寸。
在207中，对目标人脸上N个瑕疵点在第二图像中的第一位置进行位置映射，得到N个瑕疵点在第一图像中的第二位置。
由于同一人脸在不同图像中可能大小不同，因此同一人脸上的瑕疵点在不同图像上可能存在大小和位置不一致的情况，所以在数据库中匹配到瑕疵点信息后，还需进行位置映射。在一些实施例中，本公开实施例采用3DMM人脸重建模型进行位置映射。其中，人脸3D重建是指从一张或多张二维人脸图像中重建出人脸的三维模型。在本公开实施例中，将目标人脸上N个瑕疵点在第二图像中的第一位置输入该3DMM人脸重建模型，即可得到这N个瑕疵点在第一图像中的第二位置。
需要说明的是，上述第一位置在本公开实施例中也被称为瑕疵点的预知位置，上述第二位置在本公开实施例中也被称为瑕疵点的初映射位置。
假设目标人脸上有4个瑕疵点，且这四个瑕疵点的预知位置分别为(x1,y1),(x2,y2),(x3,y3),(x4,y4)，相应地，每个瑕疵点的大小为(d1,d2,d3,d4)。那么在经过位置映射后，便会得到这4个瑕疵点的初映射位置(x1’,y1’),(x2’,y2’),(x3’,y3’),(x4’,y4’)。
在208中，对第一图像进行语义分割处理，得到第一类区域和第二类区域；确定N个瑕疵点中位于第二类区域的M个瑕疵点；剔除该M个瑕疵点。
其中，第一类区域为第一图像中未被遮挡物遮挡的人脸皮肤区域；第二类区域为第一图像中除了第一类区域之外的其他区域。
在一些实施例中，本公开实施例采用脸部皮肤分割模型分割出脸部皮肤区域(第一类区域)，排除被手部、头发或其他遮挡物遮挡的区域(第二类区域)。换言之，本公开实施例会基于预先训练好的脸部皮肤分割模型对第一图像进行语义分割处理，进而得到上述第一类区域和上述第二类区域。而脸部皮肤分割模型作为一种图像语义分割模型通常对边缘较为敏感，因此利用图像语义分割模型能够得到更为准确的分割边缘，确保了分割效果。
在一些实施例中，脸部皮肤分割模型的训练过程包括但不限于：
2081、获取训练样本图像和对训练样本图像的标注分割结果。
其中，训练样本图像中包括的大量人脸区域被比如手或物体等遮挡物遮挡的图像，以及对这些训练样本图像进行人工标注的标注分割结果。示例性地，标注分割结果中由人工给出了各个训练样本图像中未被遮挡的可见人脸区域和被遮挡的不可见人脸区域。
2082、将训练样本图像输入至深度学习模型中；基于目标损失函数，确定深度学习模型输出的对训练样本图像的预测分割结果与标注分割结果是否匹配。
作为一个示例，上述目标损失函数可为交叉熵损失函数，深度学习模型可为卷积神经网络，比如全卷积神经网络，本公开实施例对此不进行具体限定。
2083、当预测分割结果与标注分割结果不匹配时，反复循环地迭代更新深度学习模型的网络参数，直至模型收敛，得到脸部皮肤分割模型。
另外，本公开实施例会剔除目标人脸上位于第二类区域中的瑕疵点，并对剩下的瑕疵点进行重定位，即对剩余的瑕疵点进行进一步地校验，检测出真正的瑕疵点，进而提高瑕疵点的定位精度。
需要说明的是，本公开实施例会对剩下的N-M个瑕疵点依次进行遍历，即通过下述步骤209至步骤210示出的瑕疵局部搜索来依次对剩余的每个瑕疵点进行重定位。
在209中，对于N-M个瑕疵点中的每个瑕疵点，根据该瑕疵点在第一图像中的第二位置，在第一图像中确定第一区域和第二区域；其中，第二区域包括位置映射后的该瑕疵点，第一区域是在第二区域的基础上向外扩张目标尺寸后得到的。
在一些实施例中，根据该瑕疵点在第二图像中的第一位置和在第一图像中的第二位置，在第一图像中确定第一区域和第二区域，包括：
2091、根据该瑕疵点在第二图像中的第一尺寸、第一检测框的尺寸和第二检测框的尺寸，确定该瑕疵点在第一图像中的第二尺寸。
其中，第一检测框和第二检测框用于在不同图像中定位目标人脸；第一检测框的尺寸是通过对第一图像进行人脸识别得到的；第二检测框的尺寸存储在数据库中，且是在预计算阶段通过对第二图像进行人脸识别得到的。
在一些实施例中，根据第一检测框的尺寸、第二检测框的尺寸和该瑕疵点在第二图像中的第一尺寸，确定该瑕疵点在第一图像中的第二尺寸，包括：获取第一检测框的宽度和高度的第一和值；获取第二检测框的宽度和高度的第二和值；获取第一和值与目标数值之间的第一比值；获取第二和值与目标数值之间的第二比值；获取第一比值与第二比值的相除结果，将第一尺寸与相除结果的乘积值，作为该瑕疵点在第一图像中的第二尺寸。
以上述瑕疵点(x1’,y1’)为例，假设经过3DMM人脸重建模型得到的该瑕疵点的初映射位置和实际位置之间的距离不远，那么本公开实施例会以初映射位置为中心，截取出附近的一块正方形区域(第一区域)，在该区域中该瑕疵点的新的大小为：
d1’＝((face_width’+face_height’)/2)*d1/(face_width+face_height)/2
其中，face_height’和face_width’指代上述第一检测框的尺寸，face_width+face_height之地啊上述第二检测框的尺寸，d1指代瑕疵点(x1’,y1’)在第二图像中的第一尺寸；d1’指代瑕疵点(x1’,y1’)在第一图像中的第二尺寸。
由上式可知，瑕疵点大小的更新依据人脸大小的缩放比例。即，在实时计算阶段，本申请实施例依据人脸大小的缩放比例，来更新瑕疵点的大小，确保了瑕疵点大小的计算精度。
2092、以该瑕疵点的第二位置为中心，根据第二尺寸和目标尺寸在第一图像中确定第一区域；以及，以该瑕疵点的第二位置为中心，根据第二尺寸在第一图像中确定第二区域。
继续以上述瑕疵点(x1’,y1’)为例，则第一区域的大小为recD1＝d1’+expand_width，其中，expand_width指代目标尺寸，expand_width的取值可自行定义。比如，expand_width的取值不用太大，仅需保证第一区域内有候选特征点即可，在一些实施例中，expand_width的取值为40。其中，第二区域recD2是以(x1’,y1’)为中心，d1’为半径的区域。示例性地，该区域同为正方形区域。
综上所述，第一区域包括位置映射后的该瑕疵点和位于该瑕疵点周围的人脸皮肤区域，第二区域包括位置映射后的该瑕疵点，也即，第一区域是在第二区域的基础上向外扩张目标尺寸后得到的。另外，在位置映射之后，本公开实施例还会通过瑕疵局部搜索进行面部瑕疵重定位，进一步地确保了定位精度。示例性地，第一区域和第二区域均位于上述第一类区域内。
在步骤210中，根据第一区域和第二区域的色彩均值，对该瑕疵点进行重定位。
在一些实施例中，根据第一区域和第二区域的色彩均值，对该瑕疵点进行重定位，包括：确定第一区域的色彩均值与第二区域的色彩均值之间的差值；响应于该差值的绝对值不大于目标阈值，对该瑕疵点进行重定位。
示例性地，第一区域的色彩均值是指第一区域中全部像素点在R通道的色彩平均值、在G通道的色彩平均值以及在B通道的色彩平均值；第二区域的色彩均值是指第二区域中全部像素点在R通道的色彩平均值、在G通道的色彩平均值以及在B通道的色彩平均值；第一区域的色彩均值与第二区域的色彩均值之间的差值，可以分别是在三个通道上的平均值之差，本公开实施例对此不做限制。
其中，以第一区域的色彩均值为m0，第二区域的色彩均值为m1为例，若m0与m1之间差值的绝对值大于目标阈值M，则代表经过3DMM人脸重建模型的位置映射后得到的瑕疵点(x1’,y1’)与周围皮肤区域的均值相差很大，该瑕疵点有极大可能是真正的瑕疵点，可以不需要进行进一步的重定位；若m0与m1之间差值的绝对值小于或等于目标阈值M，则代表经过3DMM人脸重建模型的位置映射后得到的瑕疵点(x1’,y1’)与周围皮肤区域的均值相差很小，该瑕疵点很有可能不是真正的瑕疵点，需要进行进一步的重定位。
由于瑕疵点和普通皮肤区域的颜色通常不一样，因此利用色彩均值来判断某一个瑕疵点是否为真正的瑕疵点更为精准，这进一步确保了后续的瑕疵点定位精度。
在另一些实施例中，对该瑕疵点进行重定位，包括但不限于：
2101、在第一区域内提取若干个候选特征点。
示例性地，在第一区域内提取SIFT特征。也即，本公开实施例在截取出的正方形区域内提取SIFT特征。其中，SIFT特征提取通常分为如下几个步骤：
a、提取特征点。示例性地，可以通过建立高斯差分(Difference of Gaussian，DOG)函数的方法来检测第一区域内的若干个特征点。
b、对每一个特征点附加详细的信息(局部特征)，也即是描述符。
对于每一个特征点，拥有三个信息：位置、尺度以及方向。接下来，为检测到的每一个特征点分别建立一个描述符，即用一组向量将特征点描述出来，使其不随各种变化而改变，比如光照变化、视角变化等等。并且，描述符应该具有较高的独特性，以便于提高特征点正确匹配的概率。其中，提取特征点和对特征点附加详细的信息可以称为SIFT特征生成，即从图像中提取对尺度缩放、旋转、亮度变化无关的特征向量。
示例性地，可以对每一个特征点提取64维或128维的SIFT特征。比如，在实际应用过程中，为了增强匹配的稳健性，可以对每个特征点使用4×4共16个种子点来描述，而每个种子点有8个方向的向量信息，这样一个特征点便可以产生一个128维的SIFT特征向量。即，在第一区域内提取若干个候选特征点，包括但不限于：在第一区域内进行特征点检测，得到若干个特征点；分别为检测到的每一个特征点建立一个描述符，其中，该描述符通过固定维度的特征向量表征。
2102、将每个候选特征点分别与第二图像中的该瑕疵点进行特征匹配；将匹配度最高的候选特征点的位置作为新的瑕疵点位置。
在本公开实施例中，假设得到若干个候选特征((p1,q1),(p2,q2)....，则将每个候选特征点分别与来源于数据库的瑕疵点(x1,y1)逐个进行特征匹配，并将匹配度最高的候选特征点的位置作为瑕疵重定位后的最终位置(x1”,y1”)。
在一些实施例中，通过计算每个候选特征点与瑕疵点(x1,y1)之间的特征距离，来进行特征匹配。示例性地，该特征距离为欧式距离，本公开实施例对此不做限制。
本公开实施例在瑕疵点重定位过程中，通过寻找候选特征点、特征匹配、以及将匹配度最高的候选特征点的位置作为瑕疵重定位后的最终位置，使得在位置映射后，能够搜索到更精确的瑕疵点位置，确保了瑕疵点的定位精度。
本公开实施例提供的方法，在进行面部瑕疵点检测时，本公开实施例首先对待检测图像进行人脸识别得到人脸标识，之后根据该人脸标识到数据库中匹配瑕疵点信息，其中，该数据库中存储了多个人脸标识以及多个人脸标识对应的瑕疵点信息。即，本公开实施例提前定位瑕疵，进而在实时检测时，根据该数据库中存储的瑕疵点信息即可快速完成位置映射，得到待检测图像包括的初映射瑕疵信息；这大大加快了定位速度；另外，在位置映射之后，本公开实施例还会通过瑕疵局部搜索进行面部瑕疵重定位，进一步地确保了定位精度。综上所述，该方法能够兼顾瑕疵点的定位精度和定位速度。即，该方法不但实现了瑕疵点的高精度定位，而且定位速度较快。
下面结合图3和图4对本公开实施例提供的图像处理方法的整体执行流程进行介绍。
其中，图3示出了预计算阶段的执行流程，该过程包括如下步骤301至步骤304。
在301中，对于一张人脸图像img，通过人脸识别模型进行人脸识别，得到人脸ID和人脸检测框，其中，人脸检测框长为face_height，宽为face_width。
在302中，基于面部瑕疵检测模型，对人脸图像img进行瑕疵点检测。假设该模型的检测精度较高，那么可以准确定位该人脸图像中的瑕疵点位置。
示例性地，假设该人脸图像包括的目标人脸有4个瑕疵点，那么该模型输出的即为4个瑕疵点的预知位置((x1,y1),(x2,y2),(x3,y3),(x4,y4))和预知大小(d1,d2,d3,d4)。
在303中，将该人脸ID、上述4个瑕疵点的位置和大小信息、以及人脸检测框的尺寸绑定后存入数据库中。
在304中，将上述操作应用到大批量的人脸数据上，得到一个大的瑕疵点数据库。
其中，图4示出了实时计算阶段的执行流程，该过程包括如下步骤401至步骤407。
在401中，输入目标人脸的另一张图像img’，通过人脸识别模型进行人脸识别，得到人脸ID和人脸检测框，其中，人脸检测框长为face_height’，宽为face_width’。
在402中，基于该数据库进行匹配，查找与该人脸ID对应的瑕疵点信息。
其中，从该数据库中可得知，目标人脸上一共有4个瑕疵点，且这4个瑕疵点的预知位置分别为((x1,y1),(x2,y2),(x3,y3),(x4,y4))，每个瑕疵点的大小分别为(d1,d2,d3,d4)。
在403中，基于3DMM人脸重建模型进行位置映射。
即，输入上述4个瑕疵点的预知位置((x1,y1),(x2,y2),(x3,y3),(x4,y4))，该模型的输出为上述4个瑕疵点的初映射位置(x1’,y1’),(x2’,y2’),(x3’,y3’),(x4’,y4’)。
在404中，基于脸部皮肤分割模型对图像img’进行语义分割，切割出脸部皮肤区域，排除诸如手部、头发或被其他遮挡物遮挡的区域。假设在上述4个瑕疵点中，瑕疵点(x4’,y4’)位于遮挡区域，则将该瑕疵点剔除。
接下来，对剩余的3个瑕疵点依次进行遍历，通过瑕疵局部搜索完成瑕疵点重定位。
示例性地，以瑕疵点(x1’,y1’)为例，假设经过3DMM人脸重建模型得到的该瑕疵点的初映射位置和实际位置之间的距离不远，那么本公开实施例会以初映射位置为中心，截取出附近的一块正方形区域(第一区域)，在该区域中该瑕疵点的新的大小为：
d1’＝((face_width’+face_height’)/2)*d1/(face_width+face_height)/2
继续以上述瑕疵点(x1’,y1’)为例，则第一区域的大小为recD1＝d1’+expand_width，其中expand_width可自行定义。比如，expand_width的取值不用太大，仅需保证第一区域内有候选特征点即可，在一些实施例中，expand_width的取值为40。
其中，第二区域recD2是以(x1’,y1’)为中心，d1’为半径的区域。
在405中，获取第一区域的色彩均值m0和第二区域的色彩均值m1；若m0与m1之间差值的绝对值大于目标阈值M，则代表经过3DMM人脸重建模型的位置映射后得到的瑕疵点(x1’,y1’)与周围皮肤区域的均值相差很大，该瑕疵点有极大可能是真正的瑕疵点，可以不需要进行进一步的重定位；若m0与m1之间差值的绝对值小于或等于目标阈值M，则代表经过3DMM人脸重建模型的位置映射后得到的瑕疵点(x1’,y1’)与周围皮肤区域的均值相差很小，该瑕疵点很有可能不是真正的瑕疵点，需要进行进一步的重定位。
在406中，在截取出的正方形区域内，提取SIFT特征，假设得到若干个候选特征((p1,q1),(p2,q2)....，将每个候选特征点与数据库中的瑕疵点(x1,y1)逐个进行特征匹配；并将匹配度最高的候选特征点的位置作为瑕疵重定位后的最终位置(x1”,y1”)。
在407中，将剩余的3个瑕疵点全部经历上述步骤405至步骤407，重定位完成。
本公开实施例提供的方法，在进行面部瑕疵点检测时，本公开实施例首先对待检测图像进行人脸识别得到人脸标识，之后根据该人脸标识到数据库中匹配瑕疵点信息，其中，该数据库中存储了多个人脸标识以及多个人脸标识对应的瑕疵点信息。即，本公开实施例提前定位瑕疵，进而在实时检测时，根据该数据库中存储的瑕疵点信息即可快速完成位置映射，得到待检测图像包括的初映射瑕疵信息；这大大加快了定位速度；另外，在位置映射之后，本公开实施例还会通过瑕疵局部搜索进行面部瑕疵重定位，进一步地确保了定位精度。综上所述，该方法能够兼顾瑕疵点的定位精度和定位速度。即，该方法不但实现了瑕疵点的高精度定位，而且定位速度较快。
图5是根据一示例性实施例示出的一种图像处理装置的框图。参照图5，该装置包括人脸识别模块501、查找模块502、位置映射模块503和第一处理模块504。
其中，人脸识别模块501，被配置为对第一图像进行人脸识别，得到目标人脸的第一人脸标识；
查找模块502，被配置为在数据库中查找所述第一人脸标识对应的第一瑕疵点信息；所述数据库用于存储多个人脸标识以及所述多个人脸标识对应的瑕疵点信息；所述第一瑕疵点信息中包括所述目标人脸上N个瑕疵点在第二图像中的第一位置,N为正整数；
位置映射模块503，被配置为对所述N个瑕疵点的第一位置进行位置映射，得到所述N个瑕疵点在所述第一图像中的第二位置；
第一处理模块504，被配置为对于每个所述瑕疵点，根据所述瑕疵点在所述第一图像中的第二位置，在所述第一图像中确定第一区域和第二区域；其中，所述第二区域包括位置映射后的所述瑕疵点，所述第一区域是在所述第二区域的基础上向外扩张目标尺寸后得到的；根据所述第一区域和所述第二区域的色彩均值，在所述第一区域内对所述瑕疵点进行重定位。
本公开实施例提供的装置，在进行面部瑕疵点检测时，本公开实施例首先对待检测图像进行人脸识别得到人脸标识，之后根据该人脸标识到数据库中匹配瑕疵点信息，其中，该数据库中存储了多个人脸标识以及多个人脸标识对应的瑕疵点信息。即，本公开实施例提前定位瑕疵，进而在实时检测时，根据该数据库中存储的瑕疵点信息即可快速完成位置映射，得到待检测图像包括的初映射瑕疵信息；这大大加快了定位速度；另外，在位置映射之后，本公开实施例还会通过瑕疵局部搜索进行面部瑕疵重定位，进一步地确保了定位精度。综上所述，该方法能够兼顾瑕疵点的定位精度和定位速度。即，该方法不但实现了瑕疵点的高精度定位，而且定位速度较快。
在一些实施例中，所述第一瑕疵点信息中还包括所述N个瑕疵点在所述第二图像中的第一尺寸；所述第一处理模块，包括：
第一确定单元，被配置为根据第一检测框的尺寸、第二检测框的尺寸和所述瑕疵点在所述第二图像中的第一尺寸，确定所述瑕疵点在所述第一图像中的第二尺寸；
第二确定单元，被配置为以所述瑕疵点的第二位置为中心，根据所述第二尺寸和目标尺寸在所述第一图像中确定所述第一区域；以及，以所述瑕疵点的第二位置为中心，根据所述第二尺寸在所述第一图像中确定所述第二区域；
其中，所述第一检测框和所述第二检测框用于定位所述目标人脸；所述第一检测框的尺寸是通过对所述第一图像进行人脸识别得到的；所述第二检测框的尺寸存储在所述数据库中，且是通过对所述第二图像进行人脸识别得到的。
在一些实施例中，该装置还包括：
第二处理模块，被配置为对所述第一图像进行语义分割处理，得到第一类区域和第二类区域；其中，所述第一类区域为所述第一图像中未被遮挡物遮挡的人脸皮肤区域；所述第二类区域为所述第一图像中除了所述第一类区域之外的其他区域；确定所述N个瑕疵点中位于所述第二类区域的M个瑕疵点；其中，所述M个瑕疵点为不进行重定位的瑕疵点；M为正整数且M小于N。
在一些实施例中，所述第一处理模块，被配置为对于剩余的N-M个瑕疵点中的每个瑕疵点，根据所述瑕疵点在所述第一图像中的第二位置，在所述第一图像中确定所述第一区域和所述第二区域；其中，所述第一区域和所述第二区域均位于所述第一类区域内。
在一些实施例中，所述第一处理模块，还包括：
第一处理单元，被配置为确定所述第一区域的色彩均值与所述第二区域的色彩均值之间的差值；响应于所述差值的绝对值不大于目标阈值，在所述第一区域内对所述瑕疵点进行重定位。
在一些实施例中，所述第一处理模块，还包括：
第二处理单元，被配置为响应于所述差值的绝对值大于所述目标阈值，将位置映射后所述瑕疵点的第二位置作为当前的瑕疵点位置。
在一些实施例中，所述第一处理单元，被配置为在所述第一区域内提取若干个候选特征点；将每个所述候选特征点分别与所述第二图像中的所述瑕疵点进行特征匹配；将匹配度最高的候选特征点的位置作为新的瑕疵点位置。
在一些实施例中，该装置还包括：
预处理模块，被配置为获取人脸数据，所述人脸数据中包括多张候选图像；对于每张所述候选图像，对所述候选图像进行人脸识别，得到第二人脸标识和候选检测框；以及，对所述候选图像进行瑕疵点检测，得到第二瑕疵点信息；其中，所述第二瑕疵点信息中包括候选人脸中X个瑕疵点在所述候选图像中的位置和尺寸,X为正整数；建立所述候选人脸标识与所述候选检测框之间的绑定关系，建立所述候选人脸标识与所述第二瑕疵点信息之间的绑定关系，并将所述候选人脸标识、所述候选检测框的尺寸和所述第二瑕疵点信息存储至所述数据库。
在一些实施例中，所述第一确定单元，被配置为获取所述第一检测框的宽度和高度的第一和值；获取所述第二检测框的宽度和高度的第二和值；获取所述第一和值与目标数值之间的第一比值；获取所述第二和值与所述目标数值之间的第二比值；获取所述第一比值与所述第二比值的相除结果，将所述第一尺寸与所述相除结果的乘积值，作为所述瑕疵点在所述第一图像中的第二尺寸。
上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图6示出了本公开一个示例性实施例提供的一种电子设备600的结构框图。通常，设备600包括有：处理器601和存储器602。
处理器601可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器601可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器601也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器601可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器601还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器602可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器602还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器602中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器601所执行以实现本公开中方法实施例提供的图像处理方法。
在一些实施例中，设备600还可选包括有：***设备接口603和至少一个***设备。处理器601、存储器602和***设备接口603之间可以通过总线或信号线相连。各个***设备可以通过总线、信号线或电路板与***设备接口603相连。具体地，***设备包括：电源609。
***设备接口603可被用于将I/O(Input/Output，输入/输出)相关的至少一个***设备连接到处理器601和存储器602。在一些实施例中，处理器601、存储器602和***设备接口603被集成在同一芯片或电路板上；在一些其他实施例中，处理器601、存储器602和***设备接口603中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
电源604用于为设备600中的各个组件进行供电。电源604可以是交流电、直流电、一次性电池或可充电电池。当电源604包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
本领域技术人员可以理解，图6中示出的结构并不构成对设备600的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器，上述指令可由电子设备600的处理器执行以完成上述图像处理方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供了一种计算机程序产品，所述计算机程序产品中的指令由电子设备600的处理器执行时，使得电子设备600能够执行如上述方法实施例中的图像处理方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本公开旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：
对第一图像进行人脸识别，得到目标人脸的第一人脸标识；
在数据库中查找所述第一人脸标识对应的第一瑕疵点信息；所述数据库用于存储多个人脸标识以及所述多个人脸标识对应的瑕疵点信息；所述第一瑕疵点信息中包括所述目标人脸上N个瑕疵点在第二图像中的第一位置，N为正整数；
对所述N个瑕疵点的第一位置进行位置映射，得到所述N个瑕疵点在所述第一图像中的第二位置；
对于每个所述瑕疵点，根据所述瑕疵点在所述第一图像中的第二位置，在所述第一图像中确定第一区域和第二区域；其中，所述第二区域包括位置映射后的所述瑕疵点，所述第一区域是在所述第二区域的基础上向外扩张目标尺寸后得到的；根据所述第一区域和所述第二区域的色彩均值，在所述第一区域内对所述瑕疵点进行重定位。
2.根据权利要求1所述的图像处理方法，其特征在于，所述第一瑕疵点信息中还包括所述N个瑕疵点在所述第二图像中的第一尺寸；
所述根据所述瑕疵点在所述第一图像中的第二位置，在所述第一图像中确定第一区域和第二区域，包括：
根据第一检测框的尺寸、第二检测框的尺寸和所述瑕疵点在所述第二图像中的第一尺寸，确定所述瑕疵点在所述第一图像中的第二尺寸；
以所述瑕疵点的第二位置为中心，根据所述第二尺寸和目标尺寸在所述第一图像中确定所述第一区域；以及，以所述瑕疵点的第二位置为中心，根据所述第二尺寸在所述第一图像中确定所述第二区域；
其中，所述第一检测框和所述第二检测框用于定位所述目标人脸；所述第一检测框的尺寸是通过对所述第一图像进行人脸识别得到的；所述第二检测框的尺寸存储在所述数据库中，且是通过对所述第二图像进行人脸识别得到的。
3.根据权利要求1所述的图像处理方法，其特征在于，所述方法还包括：
对所述第一图像进行语义分割处理，得到第一类区域和第二类区域；其中，所述第一类区域为所述第一图像中未被遮挡物遮挡的人脸皮肤区域；所述第二类区域为所述第一图像中除了所述第一类区域之外的其他区域；
确定所述N个瑕疵点中位于所述第二类区域的M个瑕疵点；其中，所述M个瑕疵点为不进行重定位的瑕疵点；M为正整数且M小于N。
4.根据权利要求3所述的图像处理方法，其特征在于，所述对于每个所述瑕疵点，根据所述瑕疵点在所述第一图像中的第二位置，在所述第一图像中确定第一区域和第二区域，包括：
对于剩余的N-M个瑕疵点中的每个瑕疵点，根据所述瑕疵点在所述第一图像中的第二位置，在所述第一图像中确定所述第一区域和所述第二区域；其中，所述第一区域和所述第二区域均位于所述第一类区域内。
5.根据权利要求1至4中任一项所述的图像处理方法，其特征在于，所述根据所述第一区域和所述第二区域的色彩均值，在所述第一区域内对所述瑕疵点进行重定位，包括：
确定所述第一区域的色彩均值与所述第二区域的色彩均值之间的差值；
响应于所述差值的绝对值不大于目标阈值，在所述第一区域内对所述瑕疵点进行重定位。
6.根据权利要求1至4中任一项所述的图像处理方法，其特征在于，所述在所述第一区域内对所述瑕疵点进行重定位，包括：
在所述第一区域内提取若干个候选特征点；
将每个所述候选特征点分别与所述第二图像中的所述瑕疵点进行特征匹配；
将匹配度最高的候选特征点的位置作为新的瑕疵点位置。
7.一种图像处理装置，其特征在于，所述装置包括：
人脸识别模块，被配置为对第一图像进行人脸识别，得到目标人脸的第一人脸标识；
查找模块，被配置为在数据库中查找所述第一人脸标识对应的第一瑕疵点信息；所述数据库用于存储多个人脸标识以及所述多个人脸标识对应的瑕疵点信息；所述第一瑕疵点信息中包括所述目标人脸上N个瑕疵点在第二图像中的第一位置,N为正整数；
位置映射模块，被配置为对所述N个瑕疵点的第一位置进行位置映射，得到所述N个瑕疵点在所述第一图像中的第二位置；
第一处理模块，被配置为对于每个所述瑕疵点，根据所述瑕疵点在所述第一图像中的第二位置，在所述第一图像中确定第一区域和第二区域；其中，所述第二区域包括位置映射后的所述瑕疵点，所述第一区域是在所述第二区域的基础上向外扩张目标尺寸后得到的；根据所述第一区域和所述第二区域的色彩均值，在所述第一区域内对所述瑕疵点进行重定位。
8.一种电子设备，其特征在于，包括：
一个或多个处理器；
用于存储所述一个或多个处理器可执行指令的一个或多个存储器；
其中，所述一个或多个处理器被配置为执行权利要求1-6中任一项所述的图像处理方法。
9.一种非临时性计算机可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行权利要求1-6中任一项所述的图像处理方法。
10.一种计算机程序产品，其特征在于，所述计算机程序产品中的指令由电子设备的处理器执行时，使得电子设备能够执行权利要求1-6中任一项所述的图像处理方法。
CN202011510796.7A 2020-12-18 2020-12-18 图像处理方法、装置、电子设备及存储介质 Active CN112598591B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011510796.7A CN112598591B (zh) 2020-12-18 2020-12-18 图像处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011510796.7A CN112598591B (zh) 2020-12-18 2020-12-18 图像处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112598591A true CN112598591A (zh) 2021-04-02
CN112598591B CN112598591B (zh) 2024-06-07

Family

ID=75199589

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011510796.7A Active CN112598591B (zh) 2020-12-18 2020-12-18 图像处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112598591B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113344957A (zh) * 2021-07-19 2021-09-03 北京城市网邻信息技术有限公司 图像处理方法、图像处理装置和非瞬时性存储介质
TWI808019B (zh) * 2022-10-03 2023-07-01 漢通科技股份有限公司 基於人工神經網路的物件表面型態的篩選方法與系統

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101334836A (zh) * 2008-07-30 2008-12-31 电子科技大学 一种融合色彩、尺寸和纹理特征的车牌定位方法
JP2011048748A (ja) * 2009-08-28 2011-03-10 Seiko Epson Corp 画像処理装置
CN103927719A (zh) * 2014-04-04 2014-07-16 北京金山网络科技有限公司 图片处理方法及装置
CN108323204A (zh) * 2017-07-17 2018-07-24 深圳和而泰智能控制股份有限公司 一种检测人脸瑕疵点的方法和智能终端
CN110111245A (zh) * 2019-05-13 2019-08-09 Oppo广东移动通信有限公司 图像处理方法、装置、终端及计算机可读存储介质
CN110443747A (zh) * 2019-07-30 2019-11-12 Oppo广东移动通信有限公司 图像处理方法、装置、终端及计算机可读存储介质
WO2020156409A1 (zh) * 2019-02-02 2020-08-06 阿里巴巴集团控股有限公司 数据处理方法、瑕疵的检测方法、计算设备及存储介质
CN111767858A (zh) * 2020-06-30 2020-10-13 北京百度网讯科技有限公司 图像识别方法、装置、设备和计算机存储介质
CN111914834A (zh) * 2020-06-18 2020-11-10 绍兴埃瓦科技有限公司 图像识别方法、装置、计算机设备和存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101334836A (zh) * 2008-07-30 2008-12-31 电子科技大学 一种融合色彩、尺寸和纹理特征的车牌定位方法
JP2011048748A (ja) * 2009-08-28 2011-03-10 Seiko Epson Corp 画像処理装置
CN103927719A (zh) * 2014-04-04 2014-07-16 北京金山网络科技有限公司 图片处理方法及装置
CN108323204A (zh) * 2017-07-17 2018-07-24 深圳和而泰智能控制股份有限公司 一种检测人脸瑕疵点的方法和智能终端
WO2019014812A1 (zh) * 2017-07-17 2019-01-24 深圳和而泰智能控制股份有限公司 一种检测人脸瑕疵点的方法和智能终端
WO2020156409A1 (zh) * 2019-02-02 2020-08-06 阿里巴巴集团控股有限公司 数据处理方法、瑕疵的检测方法、计算设备及存储介质
CN110111245A (zh) * 2019-05-13 2019-08-09 Oppo广东移动通信有限公司 图像处理方法、装置、终端及计算机可读存储介质
CN110443747A (zh) * 2019-07-30 2019-11-12 Oppo广东移动通信有限公司 图像处理方法、装置、终端及计算机可读存储介质
CN111914834A (zh) * 2020-06-18 2020-11-10 绍兴埃瓦科技有限公司 图像识别方法、装置、计算机设备和存储介质
CN111767858A (zh) * 2020-06-30 2020-10-13 北京百度网讯科技有限公司 图像识别方法、装置、设备和计算机存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
袁铭择等: "人脸特征点跟踪***与仿真分析", 《***仿真学报》, 8 December 2018 (2018-12-08) *
黄舒婷: "人脸皮肤瑕疵检测与评价***", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》, 15 February 2020 (2020-02-15) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113344957A (zh) * 2021-07-19 2021-09-03 北京城市网邻信息技术有限公司 图像处理方法、图像处理装置和非瞬时性存储介质
TWI808019B (zh) * 2022-10-03 2023-07-01 漢通科技股份有限公司 基於人工神經網路的物件表面型態的篩選方法與系統

Also Published As

Publication number Publication date
CN112598591B (zh) 2024-06-07

Similar Documents

Publication Publication Date Title
CN109558864B (zh) 人脸关键点检测方法、装置及存储介质
CN109359538B (zh) 卷积神经网络的训练方法、手势识别方法、装置及设备
CN108701216B (zh) 一种人脸脸型识别方法、装置和智能终端
Cheng et al. Global contrast based salient region detection
CN107944020B (zh) 人脸图像查找方法及装置、计算机装置和存储介质
CN111310624B (zh) 遮挡识别方法、装置、计算机设备及存储介质
CN110675487B (zh) 基于多角度二维人脸的三维人脸建模、识别方法及装置
CN109829448B (zh) 人脸识别方法、装置及存储介质
US9349076B1 (en) Template-based target object detection in an image
WO2020078119A1 (zh) 模拟用户穿戴服装饰品的方法、装置和***
CN111354079A (zh) 三维人脸重建网络训练及虚拟人脸形象生成方法和装置
Tejani et al. Latent-class hough forests for 6 DoF object pose estimation
AU2018206791A1 (en) Systems and methods for detecting grasp poses for handling target objects
US11900557B2 (en) Three-dimensional face model generation method and apparatus, device, and medium
WO2020103700A1 (zh) 一种基于微表情的图像识别方法、装置以及相关设备
CN111597884A (zh) 面部动作单元识别方法、装置、电子设备及存储介质
US11915362B2 (en) UV mapping on 3D objects with the use of artificial intelligence
CN112598591B (zh) 图像处理方法、装置、电子设备及存储介质
CN113570052B (zh) 图像处理方法、装置、电子设备及存储介质
US10297026B1 (en) Tracking of a dynamic container in a video
CN113822965A (zh) 图像渲染处理方法、装置和设备及计算机存储介质
Kerdvibulvech A methodology for hand and finger motion analysis using adaptive probabilistic models
CN109635755A (zh) 人脸提取方法、装置及存储介质
CN107977618B (zh) 一种基于双层级联神经网络的人脸对齐方法
CN114049674A (zh) 一种三维人脸重建方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant