CN113421197B - 一种美颜图像的处理方法及其处理*** - Google Patents

一种美颜图像的处理方法及其处理*** Download PDF

Info

Publication number
CN113421197B
CN113421197B CN202110650610.6A CN202110650610A CN113421197B CN 113421197 B CN113421197 B CN 113421197B CN 202110650610 A CN202110650610 A CN 202110650610A CN 113421197 B CN113421197 B CN 113421197B
Authority
CN
China
Prior art keywords
beauty
image
face
beautifying
probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110650610.6A
Other languages
English (en)
Other versions
CN113421197A (zh
Inventor
张鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202110650610.6A priority Critical patent/CN113421197B/zh
Publication of CN113421197A publication Critical patent/CN113421197A/zh
Application granted granted Critical
Publication of CN113421197B publication Critical patent/CN113421197B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供了一种美颜图像的处理方法及其处理***，该处理方法包括：接收包含有人脸区域的待处理图像；将待处理图像输入人脸美颜检测模型，得到第一美颜概率图，其中，第一美颜概率图包括人脸区域中所有像素点的美颜概率值；将待处理图像输入人脸五官分割模型，得到包含有面部特征区域的分割图；根据第一美颜概率图和分割图，得到第二美颜概率图，其中，第二美颜概率图包括面部特征区域的美颜概率值；根据第二美颜概率图和待处理图像，得到人脸美颜程度检测图，以得到更加准确的美颜区域信息及美颜程度信息，获取美颜区域和非美颜区域的差异信息。

Description

一种美颜图像的处理方法及其处理***
技术领域
本发明涉及人脸识别技术领域，尤其涉及一种美颜图像的处理方法及其处理***。
背景技术
随着图像处理技术的飞速发展，以及计算机、智能手机等终端设备的快速普及应用，利用其中的应用程序，人们可以方便而快捷地对照片中的人像进行修改与美化，并将这些照片发布于互联网上。在一些需要真实人像作为输入的场景中(如人脸识别、人脸验证等)，这些被修改过的图片会对***的稳定运行产生干扰，因此需要先将这些图片筛选出来。
现有技术中存在通过对皮肤区域的高频图进行皮肤像素的梯度统计来判断待处理图像的美颜程度，在进行后续的图像处理过程中，根据不同图像的美颜程度使用不同的处理方案。这种方式只能得到皮肤区域整体的美颜程度，而无法给出具体每个五官区域的美颜程度，因此无法直观的获取人像中具体被美颜的区域信息、以及美颜区域和非美颜区域的差异。
发明内容
本发明提供了一种美颜图像的处理方法及其处理***，使用户能够直观的获取到人像中具体被美颜的区域信息、以及美颜程度信息，还能够获取到美颜区域和非美颜区域的差异信息。
第一方面，本发明提供了一种美颜图像的处理方法，该处理方法包括：接收包含有人脸区域的待处理图像；将待处理图像输入人脸美颜检测模型，得到第一美颜概率图，其中，第一美颜概率图包括人脸区域中所有像素点的美颜概率值；将待处理图像输入人脸五官分割模型，得到包含有面部特征区域的分割图；根据第一美颜概率图和分割图，得到第二美颜概率图，其中，第二美颜概率图包括面部特征区域的美颜概率值；根据第二美颜概率图和待处理图像，得到人脸美颜程度检测图。
在上述的方案中，通过分别将待处理图像输入人脸美颜检测模型和人脸五官分割模型，得到第一美颜概率图和包含有面部特征区域的分割图，以体现出人脸区域中所有像素点的美颜概率值。之后根据第一美颜概率图和分割图，得到第二美颜概率图，以得到更加准确的美颜区域信息及美颜程度信息，获取美颜区域和非美颜区域的差异信息。
在一个具体的实施方式中，在将待处理图像输入人脸美颜检测模型输入人脸美颜检测模型及人脸五官分割模型之前，处理方法还包括：对待处理图像进行预处理操作，其中，预处理操作包括人脸检测、人脸关键点检测和人脸对齐。
在一个具体的实施方式中，面部特征区域包括额头区域、眼睛区域、眉毛区域、鼻子区域、嘴巴区域、下巴区域和脸颊区域中的至少一个区域。便于获取人脸中额头、眼睛、眉毛、鼻子、嘴巴、下巴和脸颊等重点区域的位置信息，能够选择所想要了解的面部特征区域的美颜程度，忽略掉不想了解的美颜程度信息，同时便于针对性地对特定的美颜区域和非美颜区域进行比对。
在一个具体的实施方式中，根据第一美颜概率图和分割图，得到第二美颜概率图包括：预设敏感系数，该敏感系数与面部特征区域存在对应关系；采用敏感系数调节第一美颜概率图中对应的面部特征区域中所有像素点的概率值，得到第二美颜概率图。可以给不同的面部特征区域赋予不同的敏感系数，结合包含有面部特征区域的分割图，可以按重要程度给予不同面部特征区域以不同的敏感系数，从而调节整体的美颜概率图的可视化观感。
在一个具体的实施方式中，预设敏感系数包括：面部特征区域的面积越大，为该面部特征区域所预设的敏感系数越小。以更准确的体现出不同面部特征区域被真实美颜的程度。
在一个具体的实施方式中，根据第一美颜概率图和分割图，得到第二美颜概率图包括：结合第一美颜概率图和分割图，计算第一美颜概率图中每个面部特征区域中所有像素点的概率值的加权平均值，得到第二美颜概率图。以便于获取到每个面部特征区域整体的美颜概率，提供更多的美颜参考信息。
在一个具体的实施方式中，将待处理图像输入人脸美颜检测模型，得到第一美颜概率图包括：将待处理图像输入人脸美颜检测模型，得到美颜模板和第一美颜概率图；其中，该美颜模板包含每个像素点的坐标位移大小信息和色彩变化幅值信息。以便于获取到该待处理图像美颜过程中的美颜模板，便于后续将该待处理图像的美颜方式迁移到其他的待美颜图像中。
在一个具体的实施方式中，待处理图像的个数为至少一个，每个待处理图像对应保存有至少一个美颜模板。该处理方法还包括：从至少一个美颜模板中选择一美颜模板作为目标美颜模板；接收包含有待美颜人脸区域的待美颜图像；根据目标美颜模板中每个像素点的坐标位移大小信息和色彩变化幅度信息，对待美颜图像进行美颜处理，得到美颜后人脸区域；将美颜后人脸区域的像素点覆盖待美颜图像中的待美颜人脸区域的像素点，得到美颜后图像。通过将前述步骤中得到的美颜模板选取一目标美颜模板，并作用于预处理好的另一张待美颜人脸区域，得到与原人脸区域一致的美颜效果，实现美颜效果由一张美颜图像向另一张待美颜图像上的迁移。
在一个具体的实施方式中，根据第二美颜概率图和待处理图像，得到人脸美颜程度检测图包括：将待处理图像中逐个像素点的值和第二美颜概率图中对应像素点的值进行加权，得到人脸美颜程度检测图。
第二方面，本发明还提供了一种美颜图像的处理***，该处理***包括：接收模块、人脸美颜检测模型、人脸五官分割模型、美颜程度调节模块以及叠加模块。其中，接收模块用于接收包含有人脸区域的待处理图像；人脸美颜检测模型用于对输入的待处理图像进行计算，得到第一美颜概率图，其中，第一美颜概率图包括人脸区域中所有像素点的美颜概率值；人脸五官分割模型用于对输入的待处理图像进行分割，得到包含有面部特征区域的分割图；叠加模块用于根据第二美颜概率图和待处理图像，得到人脸美颜程度检测图。
在上述的方案中，通过分别将待处理图像输入人脸美颜检测模型和人脸五官分割模型，得到第一美颜概率图和包含有面部特征区域的分割图，以体现出人脸区域中所有像素点的美颜概率值。之后根据第一美颜概率图和分割图，得到第二美颜概率图，以得到更加准确的美颜区域信息及美颜程度信息，获取美颜区域和非美颜区域的差异信息。
在一个具体的实施方式中，该处理***还包括预处理操作模块，在将待处理图像输入人脸美颜检测模型输入人脸美颜检测模型及人脸五官分割模型之前，该预处理操作模块用于对待处理图像进行预处理操作，其中，预处理操作包括人脸检测、人脸关键点检测和人脸对齐。
在一个具体的实施方式中，人脸五官分割模型用于对输入的待处理图像进行分割，得到包含有面部特征区域的分割图，其中，该面部特征区域包括额头区域、眼睛区域、眉毛区域、鼻子区域、嘴巴区域、下巴区域和脸颊区域中的至少一个区域。
在一个具体的实施方式中，美颜程度调节模块包括预设敏感系数模块、第一计算模块。其中，预设敏感系数模块用于预设敏感系数，敏感系数与面部特征区域存在对应关系；第一计算模块用于采用敏感系数调节第一美颜概率图中对应的面部特征区域中所有像素点的概率值，得到第二美颜概率图。
在一个具体的实施方式中，预设敏感系数模块采用如下规则进行预设：在面部特征区域的面积越大，为该面部特征区域所预设的敏感系数越小。
在一个具体的实施方式中，美颜程度调节模块用于结合第一美颜概率图和分割图，计算第一美颜概率图中每个面部特征区域中所有像素点的概率值的加权平均值，得到第二美颜概率图。
在一个具体的实施方式中，人脸美颜检测模型用于根据输入的待处理图像，输出美颜模板和第一美颜概率图；其中，美颜模板包含每个像素点的坐标位移大小信息和色彩变化幅值信息。
在一个具体的实施方式中，待处理图像的个数为至少一个，每个待处理图像对应保存有至少一个美颜模板。该处理***还包括美颜迁移模块，该美颜迁移模块用于从至少一个美颜模板中选择一美颜模板作为目标美颜模板；还用于接收包含有待美颜人脸区域的待美颜图像；还用于根据目标美颜模板中每个像素点的坐标位移大小信息和色彩变化幅值信息，对待美颜图像进行美颜处理，得到美颜后人脸区域；还用于将美颜后人脸区域的像素点覆盖待美颜图像中的待美颜人脸区域的像素点，得到美颜后图像。
附图说明
图1为本发明实施例提供的一种美颜图像的处理方法的流程图；
图2为本发明实施例提供的一种美颜图像的处理流程图；
图3为本发明实施例提供的另一种美颜图像的处理方法的流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了方便理解本发明实施例提供的美颜图像的处理方法，下面首先说明一下本发明实施例提供的处理方法的应用场景，该处理方法应用于处理美颜图像的过程中，用于检测人脸图像被美颜的区域信息和程度信息。下面结合附图对该处理方法进行详细的叙述。
参考图1，本发明实施例提供的美颜图像的处理方法包括：
Step10：接收包含有人脸区域的待处理图像；
Step20：将待处理图像输入人脸美颜检测模型，得到第一美颜概率图，其中，第一美颜概率图包括人脸区域中所有像素点的美颜概率值；将待处理图像输入人脸五官分割模型，得到包含有面部特征区域的分割图；
Step30：根据第一美颜概率图和分割图，得到第二美颜概率图，其中，第二美颜概率图包括面部特征区域的美颜概率值；
Step40：根据第二美颜概率图和待处理图像，得到人脸美颜程度检测图。
在上述的方案中，通过分别将待处理图像输入人脸美颜检测模型和人脸五官分割模型，得到第一美颜概率图和包含有面部特征区域的分割图，以体现出人脸区域中所有像素点的美颜概率值。之后根据第一美颜概率图和分割图，得到第二美颜概率图，以得到更加准确的美颜区域信息及美颜程度信息，获取美颜区域和非美颜区域的差异信息。下面结合附图对上述各个步骤进行详细的介绍。
首先，参考图1及图2，接收包含有人脸区域的待处理图像。该待处理图像可以是由照相机或如手机等具有摄像功能的终端拍摄而成。该待处理图像是在拍摄的原始图像的基础上进行了图像修改，做了一定程度的美颜。当人脸图像进行了局部修改时，如调小脸颊、调大眼睛等，会导致原始图像的整体一致性遭到破坏，而美颜检测可以利用该点进行美颜程度检测。
接下来，如图1、图2及图3所示，将待处理图像输入人脸美颜检测模型，得到第一美颜概率图，其中，第一美颜概率图包括人脸区域中所有像素点的美颜概率值。还将待处理图像输入人脸五官分割模型，得到包含有面部特征区域的分割图。即分别将待处理图像输入到人脸美颜检测模型和五官分割模型，以得到第一美颜概率图和第二美颜概率图。
在将待处理图像输入到人脸美颜检测模型和人脸五官分割模型的过程中，可以将接收的待处理图像不经处理直接输入到人脸美颜检测模型和人脸五官分割模型。当然，还可以将接收的待处理图像进行预处理操作，之后再将经过预处理操作的待处理图像输入到人脸美颜检测模型和人脸五官分割模型中。其中，该预处理操作可以包括人脸检测，以从待处理图像中得到人脸区域。应当理解的是，该预处理操作并不限于仅仅人脸检测的处理方式，还可以采用诸如人脸关键点检测和人脸对齐的处理方式。其中的人脸关键点检测是指将待处理图像输入到人脸关键点检测模型中，获得人脸区域中每个人脸关键点在待处理图像中的坐标信息。其中的人脸对齐是使用放射变化把输入人脸的关键点所在区域映射至人为定义的模板人脸的固定区域，该模板人脸是人为定义的一个标准人脸，主要是指定各个人脸关键点在待处理图像中的坐标信息。
参考图2，在将待处理图像输入到人脸美颜检测模型进行计算后，得到的第二美颜概率图可以为像素级的美颜概率图，还可以为诸如特征级的美颜概率图等。所得到的第二美颜概率图由人脸区域中所有像素点的美颜概率值组成，每个像素点的美颜概率值表征该像素点的美颜概率大小。具体的，每个像素点的美颜概率值在0～1之间，越接近于1表征该像素点美颜的概率越大，越接近0表征该像素点美颜的概率越小，以体现出人脸区域中所有像素点的美颜概率程度信息。
在将待处理图像输入到人脸五官检测模型经过计算，得到的包含有面部特征区域的分割图。参考图2，上述面部特征区域可以包括额头区域、眼睛区域、眉毛区域、鼻子区域、嘴巴区域、下巴区域和脸颊区域中的至少一个区域。便于获取人脸中额头、眼睛、眉毛、鼻子、嘴巴、下巴和脸颊等重点区域的位置信息，能够选择所想要了解的面部特征区域的美颜程度，忽略掉不想了解的美颜程度信息，同时便于针对性地对特定的美颜区域和非美颜区域进行比对。
接下来，参考图1、图2及图3，根据第一美颜概率图和分割图，得到第二美颜概率图，其中，第二美颜概率图包括面部特征区域的美颜概率值。即可以根据得到的第一美颜概率图和分割图，可以对第一美颜概率图进行修正、调节的处理，以得到更准确更适用的第二美颜概率图。
在具体根据第一美颜概率图和分割图进行修正与调节等，得到第二美颜概率图时，可以先预设敏感系数，其中，该敏感系数与面部特征区域存在对于关系；接下来，采用敏感系数调节第一美颜概率图中对应的面部特征区域中所有像素点的概率值，得到第二美颜概率图。即对每个面部特征区域进行预设对应的敏感系数，之后采用敏感系数调节第一美颜概率图中各个面部特征区域中所有像素点的概率值。具体的，可以给不同的面部特征区域赋予不同的敏感系数，结合包含有面部特征区域的分割图，可以按重要程度给予不同面部特征区域以不同的敏感系数，使处理后的得到的第二美颜概率图能够更准确的反映不同面部特征区域的美颜程度,从而调节整体的美颜概率图的可视化观感。
其中，在给面部特征区域预设敏感系数时，可以为每个面部特征区域赋予与之相匹配的敏感系数。由于面部特征区域大小不一，在可视化中的重要程度也是不一样的，例如相同的修改幅度作用于眼睛上和脸颊上给用户的感受是不一样的。因此在可视化时可以给不同的面部特征区域赋予不同的敏感系数，结合包含有面部特征区域的分割图，可以按重要程度给予不同面部特征区域以不同的敏感系数，从而调节整体的美颜概率图的可视化观感。另外，在具体为每个面部特征区域赋予与之相匹配的敏感系数时，可以使面部特征区域的面积越大，为该面部特征区域所赋予的敏感系数越小；对应的，面部特征区域的面积越小，为该面部特征区域所赋予的敏感系数越大。以更准确的体现出不同面部特征区域被真实美颜的程度。例如，可以给鼻子区域预设的对应敏感系数为0.9，给眼睛区域预设对应的敏感系数为2，给脸颊区域预设的敏感系数为0.4等。
应当理解的是，根据第一美颜概率图和分割图，得到第二美颜概率图的方式并不限于上述示出的赋予敏感系数的方式，还可以采用其他的方式处理。例如，还可以采用均值计算的方式。具体的，在得到第一美颜概率图和分割图之后，还可以结合第一美颜概率图和分割图，计算第一美颜概率图中每个面部特征区域中所有像素点的概率值的加权平均值，得到第二美颜概率图。以便于获取到每个面部特征区域整体的美颜概率，提供更多的美颜参考信息。需要注意的是，前述均值计算和赋予敏感系数的处理方式可以叠加使用，以提高最后得到的人脸美颜程度检测图反映不同面部特征区域的美颜程度的准确性。在具体叠加时，可以先采用敏感系数调节，再采用均值计算的处理方式；也可以采用先进行均值计算，再采用敏感系数调节的处理方式。
接下来，参考图1、图2及图3，根据第二美颜概率图和待处理图像，得到人脸美颜程度检测图。通过对第二美颜概率图和待处理图像进行处理，得到人脸美颜程度检测图。在具体处理时，可以将待处理图像中逐个像素点的值和第二美颜概率图中对应像素点的值进行加权，得到人脸美颜程度检测图。在具体进行加权时，假设待处理图像中某一像素点的值为A，该像素点对应的第一美颜概率图中的概率值为P，则加权之后的值为B＝f(A，P)，其中f()为加权函数。还可以先将第二美颜概率图转换为伪彩图像，并使用人脸对齐的逆变换，针对上述经过人脸对齐的预操作后的人脸区域，使用仿射变换的逆变换方法，将伪彩图像映射到待处理图像上，以将伪彩图像叠加至输入的待处理图像上，得到可视化的人脸美颜程度检测图。所得到的人脸美颜程度检测图可以为如图2最右侧所示出的图像，其中的“P额头＝0”是指额头区域被美颜的概率值为0；“P眼睛＝0”是指眼睛区域被美颜的概率值为0；“P鼻子＝0.99”是指鼻子区域被美颜的概率值为0.99；“P嘴巴＝0”是指嘴巴区域被美颜的概率值为0.78；“P脸颊＝0.71”是指脸颊区域被美颜的概率值为0.71。
另外，在将待处理图像输入人脸美颜检测模型，得到第一美颜概率图时，还可以由人脸美颜检测模型进过计算得到该待处理图像的第一美颜概率图和美颜模板，其中，该美颜模板包含每个像素点的坐标位移大小信息和色彩变化幅值信息。即在人脸美颜检测模型对待处理图像进行计算后，得到的不仅包括该待处理图像的第一美颜概率图，还包括该待处理图像对应的美颜模板，以便于获取到该待处理图像美颜过程中的美颜模板，便于后续将该待处理图像的美颜方式迁移到其他的待美颜图像中。美颜模板中包含有每个像素点的坐标位移大小信息和色彩变化幅值信息，其中的坐标位移大小信息和色彩变化幅值信息是指：假设待美颜图像中某一像素点的坐标为X值，该像素点的像素值为A，美颜模板对该像素点的操作为像素值增加δA，位移δX，则这个像素点新的值为A+δA，坐标偏移至X+δX。
另外，待处理图像的个数可以为至少一个，人脸美颜检测模型可以对每个待处理图像进行计算，得到至少一个第一美颜概率图和至少一个美颜模板，其中，每个待处理图像对应有一个第一美颜概率图和一个美颜模板。具体的，待处理图像的个数可以为3个，对应的第一美颜概率图也有3个，美颜模板也有3个。
在具体实现美颜效果的迁移时，可以先从至少一个美颜模板中选择一美颜模板作为目标美颜模板。例如，可以从前述3个美颜模板中选取一个美颜模板作为目标美颜模板。参考图3，之后接收包含有待美颜人脸区域的待美颜图像，该待美颜图像的来源可以同样是由照相机或如手机等具有摄像功能的终端拍摄而成。该待美颜图像可以是没有经过任何修改美颜的原始图像。再后来，根据目标美颜模板中每个像素点的坐标位移大小信息和色彩变化幅度信息，对待美颜图像进行美颜处理，得到美颜后人脸区域。再后来，将美颜后人脸区域的像素点覆盖待美颜图像中的待美颜人脸区域的像素点，得到美颜后图像。通过从前述步骤中得到的至少美颜模板选择一目标美颜模板，并将目标美颜模板作用于另一张待美颜人脸区域，从而得到与目标美颜模板一致的美颜效果，实现美颜效果由原美颜图像向另一张待美颜图像上的迁移。
另外，在接收待美颜图像之后，可以先对该待美颜图像进行预处理操作，该预处理操作可以包括人脸检测、人脸关键点检测与人脸对齐等。其中的人脸检测的目的为从待美颜图像中检测出待美颜人脸区域；人脸关键点检测为将待美颜图像输入到人脸关键点检测模型中，获得待美颜人脸区域中每个人脸关键点在待美颜图像中的坐标信息；人脸对齐是使用放射变化把输入人脸的关键点所在区域映射至人为定义的模板人脸的固定区域，该模板人脸是人为定义的一个标准人脸，主要是指定各个人脸关键点在待美颜图像中的坐标信息。之后，依据待美颜人脸区域中的每个关键点在待美颜图像中的坐标信息，将上述目标美颜模板施加于待美颜图像的待美颜人脸区域中，得到与目标美颜模板一致的美颜效果，从而实现美颜迁移。其中的“施加于”是指根据目标美颜模板中每个像素点的坐标位移大小信息和色彩变化幅度信息，对待美颜图像进行美颜处理，得到美颜后人脸区域。
通过分别将待处理图像输入人脸美颜检测模型和人脸五官分割模型，得到第一美颜概率图和包含有面部特征区域的分割图，以体现出人脸区域中所有像素点的美颜概率值。之后根据第一美颜概率图和分割图，得到第二美颜概率图，以得到更加准确的美颜区域信息及美颜程度信息，获取美颜区域和非美颜区域的差异信息。
另外，本发明实施例还提供了一种美颜图像的处理***，该处理***包括：接收模块、人脸美颜检测模型、人脸五官分割模型、美颜程度调节模块以及叠加模块。其中，接收模块用于接收包含有人脸区域的待处理图像；人脸美颜检测模型用于对输入的待处理图像进行计算，得到第一美颜概率图，其中，第一美颜概率图包括人脸区域中所有像素点的美颜概率值；人脸五官分割模型用于对输入的待处理图像进行分割，得到包含有面部特征区域的分割图；叠加模块用于根据第二美颜概率图和待处理图像，得到人脸美颜程度检测图。
在上述的方案中，通过分别将待处理图像输入人脸美颜检测模型和人脸五官分割模型，得到第一美颜概率图和包含有面部特征区域的分割图，以体现出人脸区域中所有像素点的美颜概率值。之后根据第一美颜概率图和分割图，得到第二美颜概率图，以得到更加准确的美颜区域信息及美颜程度信息，获取美颜区域和非美颜区域的差异信息。
另外，该处理***还可以包括预处理操作模块，在将待处理图像输入人脸美颜检测模型输入人脸美颜检测模型及人脸五官分割模型之前，该预处理操作模块用于对待处理图像进行预处理操作，其中，预处理操作包括人脸检测、人脸关键点检测和人脸对齐。
其中的人脸五官分割模型可以用于对输入的待处理图像进行分割，得到包含有面部特征区域的分割图，其中，该面部特征区域包括额头区域、眼睛区域、眉毛区域、鼻子区域、嘴巴区域、下巴区域和脸颊区域中的至少一个区域。
其中的美颜程度调节模块可以包括预设敏感系数模块、第一计算模块。其中，预设敏感系数模块用于预设敏感系数，敏感系数与面部特征区域存在对应关系；第一计算模块用于采用敏感系数调节第一美颜概率图中对应的面部特征区域中所有像素点的概率值，得到第二美颜概率图。
预设敏感系数模块可以采用如下规则进行预设：在面部特征区域的面积越大，为该面部特征区域所预设的敏感系数越小。
另外，美颜程度调节模块用于结合第一美颜概率图和分割图，计算第一美颜概率图中每个面部特征区域中所有像素点的概率值的加权平均值，得到第二美颜概率图。
人脸美颜检测模型还可以用于根据输入的待处理图像，输出美颜模板和第一美颜概率图；其中，美颜模板包含每个像素点的坐标位移大小信息和色彩变化幅值信息。
另外，待处理图像的个数可以为至少一个，每个待处理图像对应保存有至少一个美颜模板。该处理***还包括美颜迁移模块，该美颜迁移模块用于从至少一个美颜模板中选择一美颜模板作为目标美颜模板；还用于接收包含有待美颜人脸区域的待美颜图像；还用于根据目标美颜模板中每个像素点的坐标位移大小信息和色彩变化幅值信息，对待美颜图像进行美颜处理，得到美颜后人脸区域；还用于将美颜后人脸区域的像素点覆盖待美颜图像中的待美颜人脸区域的像素点，得到美颜后图像。
需要解释的是，上述各个功能模块不仅包括具有逻辑运行和存储功能的硬件，还包括存储或运行在其上，以实现前述示出的功能步骤的软件程序。其中，前述具有逻辑运行和存储功能的硬件可以包括诸如中央处理器、图像处理器等的处理器，以及各种存储介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (9)

1.一种美颜图像的处理方法，其特征在于，包括：
接收包含有人脸区域的待处理图像；
将所述待处理图像输入人脸美颜检测模型，得到第一美颜概率图；其中，所述第一美颜概率图包括所述人脸区域中所有像素点的美颜概率值；
将所述待处理图像输入人脸五官分割模型，得到包含有面部特征区域的分割图；
根据所述第一美颜概率图和所述分割图，得到第二美颜概率图；其中，所述第二美颜概率图包括所述面部特征区域的美颜概率值；
根据所述第二美颜概率图和所述待处理图像，得到人脸美颜程度检测图；
其中，所述将所述待处理图像输入人脸美颜检测模型，得到第一美颜概率图包括：
将所述待处理图像输入所述人脸美颜检测模型，得到美颜模板和第一美颜概率图；其中，所述美颜模板包含每个像素点的坐标位移大小信息和色彩变化幅值信息。
2.如权利要求1所述的处理方法，其特征在于，在将所述待处理图像输入人脸美颜检测模型输入所述人脸美颜检测模型及所述人脸五官分割模型之前，所述处理方法还包括：
对所述待处理图像进行预处理操作，其中，所述预处理操作包括人脸检测、人脸关键点检测和人脸对齐。
3.如权利要求1所述的处理方法，其特征在于，所述面部特征区域包括额头区域、眼睛区域、眉毛区域、鼻子区域、嘴巴区域、下巴区域和脸颊区域中的至少一个区域。
4.如权利要求1所述的处理方法，其特征在于，所述根据所述第一美颜概率图和所述分割图，得到第二美颜概率图包括：
预设敏感系数，所述敏感系数与所述面部特征区域存在对应关系；
采用所述敏感系数调节所述第一美颜概率图中对应的面部特征区域中所有像素点的概率值，得到所述第二美颜概率图。
5.如权利要求4所述的处理方法，其特征在于，所述预设敏感系数包括：
所述面部特征区域的面积越大，为该面部特征区域所预设的敏感系数越小。
6.如权利要求1所述的处理方法，其特征在于，所述根据所述第一美颜概率图和所述分割图，得到第二美颜概率图还包括：
结合所述第一美颜概率图和所述分割图，计算所述第一美颜概率图中每个面部特征区域中所有像素点的概率值的加权平均值，得到所述第二美颜概率图。
7.如权利要求1所述的处理方法，其特征在于，所述待处理图像的个数为至少一个，每个待处理图像对应保存有至少一个美颜模板；
所述处理方法还包括：
从所述至少一个美颜模板中选择一美颜模板作为目标美颜模板；
接收包含有待美颜人脸区域的待美颜图像；
根据目标美颜模板中每个像素点的坐标位移大小信息和色彩变化幅值信息，对所述待美颜图像进行美颜处理，得到美颜后人脸区域；
将所述美颜后人脸区域的像素点覆盖所述待美颜图像中的待美颜人脸区域的像素点，得到美颜后图像。
8.如权利要求1所述的处理方法，其特征在于，所述根据所述第二美颜概率图和所述待处理图像，得到人脸美颜程度检测图包括：
将所述待处理图像中逐个像素点的值和所述第二美颜概率图中对应像素点的值进行加权，得到所述人脸美颜程度检测图。
9.一种美颜图像的处理***，其特征在于，包括：
接收模块，用于接收包含有人脸区域的待处理图像；
人脸美颜检测模型，用于对输入的所述待处理图像进行计算，得到第一美颜概率图；其中，所述第一美颜概率图包括所述人脸区域中所有像素点的美颜概率值；
人脸五官分割模型，用于对输入的所述待处理图像进行分割，得到包含有面部特征区域的分割图；
美颜程度调节模块，用于根据所述第一美颜概率图和所述分割图，得到第二美颜概率图；其中，所述第二美颜概率图包括所述面部特征区域的美颜概率值；
叠加模块，用于根据所述第二美颜概率图和所述待处理图像，得到人脸美颜程度检测图；
且所述人脸美颜检测模型用于根据输入的待处理图像，输出美颜模板和第一美颜概率图；其中，美颜模板包含每个像素点的坐标位移大小信息和色彩变化幅值信息。
CN202110650610.6A 2021-06-10 2021-06-10 一种美颜图像的处理方法及其处理*** Active CN113421197B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110650610.6A CN113421197B (zh) 2021-06-10 2021-06-10 一种美颜图像的处理方法及其处理***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110650610.6A CN113421197B (zh) 2021-06-10 2021-06-10 一种美颜图像的处理方法及其处理***

Publications (2)

Publication Number Publication Date
CN113421197A CN113421197A (zh) 2021-09-21
CN113421197B true CN113421197B (zh) 2023-03-10

Family

ID=77788278

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110650610.6A Active CN113421197B (zh) 2021-06-10 2021-06-10 一种美颜图像的处理方法及其处理***

Country Status (1)

Country Link
CN (1) CN113421197B (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4840426B2 (ja) * 2008-09-24 2011-12-21 ソニー株式会社 電子機器、ぼけ画像選別方法及びプログラム
CN107392110A (zh) * 2017-06-27 2017-11-24 五邑大学 基于互联网的人脸美化***
CN108257097A (zh) * 2017-12-29 2018-07-06 努比亚技术有限公司 美颜效果调整方法、终端及计算机可读存储介质
CN109447031B (zh) * 2018-11-12 2022-02-18 北京旷视科技有限公司 图像处理方法、装置、设备及存储介质
CN112001285B (zh) * 2020-08-14 2024-02-02 深圳世间乐见科技有限公司 一种美颜图像的处理方法、装置、终端和介质
CN112508777A (zh) * 2020-12-18 2021-03-16 咪咕文化科技有限公司 一种美颜方法、电子设备及存储介质
CN112784773B (zh) * 2021-01-27 2022-09-27 展讯通信（上海）有限公司 图像处理方法及装置、存储介质、终端

Also Published As

Publication number Publication date
CN113421197A (zh) 2021-09-21

Similar Documents

Publication Publication Date Title
CN108229278B (zh) 人脸图像处理方法、装置和电子设备
CN109829930B (zh) 人脸图像处理方法、装置、计算机设备及可读存储介质
CN108229279B (zh) 人脸图像处理方法、装置和电子设备
CN109952594B (zh) 图像处理方法、装置、终端及存储介质
CN108447017B (zh) 人脸虚拟整容方法和装置
WO2019228473A1 (zh) 人脸图像的美化方法和装置
CN106682632B (zh) 用于处理人脸图像的方法和装置
CN106056064B (zh) 一种人脸识别方法及人脸识别装置
JP4862955B1 (ja) 画像処理装置、画像処理方法、および制御プログラム
JP4760999B1 (ja) 画像処理装置、画像処理方法、および制御プログラム
CN107818305A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
KR101141643B1 (ko) 캐리커쳐 생성 기능을 갖는 이동통신 단말기 및 이를 이용한 생성 방법
CN108428214B (zh) 一种图像处理方法及装置
CN108682050B (zh) 基于三维模型的美颜方法和装置
CN109272579B (zh) 基于三维模型的美妆方法、装置、电子设备和存储介质
CN111062891A (zh) 图像处理方法、装置、终端及计算机可读存储介质
CN112214773B (zh) 基于隐私保护的图像处理方法、装置和电子设备
CN109242760B (zh) 人脸图像的处理方法、装置和电子设备
CN113610723B (zh) 图像处理方法及相关装置
CN111369478B (zh) 人脸图像增强方法、装置、计算机设备和存储介质
WO2023273247A1 (zh) 人脸图像处理方法及装置、计算机可读存储介质、终端
CN114187166A (zh) 图像处理方法、智能终端及存储介质
CN113421197B (zh) 一种美颜图像的处理方法及其处理***
CN110766631A (zh) 人脸图像的修饰方法、装置、电子设备和计算机可读介质
CN112488965A (zh) 一种图像处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant