CN112001285B - 一种美颜图像的处理方法、装置、终端和介质 - Google Patents

一种美颜图像的处理方法、装置、终端和介质 Download PDF

Info

Publication number
CN112001285B
CN112001285B CN202010820036.XA CN202010820036A CN112001285B CN 112001285 B CN112001285 B CN 112001285B CN 202010820036 A CN202010820036 A CN 202010820036A CN 112001285 B CN112001285 B CN 112001285B
Authority
CN
China
Prior art keywords
image
detected
face region
optical flow
prediction model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010820036.XA
Other languages
English (en)
Other versions
CN112001285A (zh
Inventor
孙颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Worldview Technology Co ltd
Original Assignee
Shenzhen Worldview Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Worldview Technology Co ltd filed Critical Shenzhen Worldview Technology Co ltd
Priority to CN202010820036.XA priority Critical patent/CN112001285B/zh
Publication of CN112001285A publication Critical patent/CN112001285A/zh
Application granted granted Critical
Publication of CN112001285B publication Critical patent/CN112001285B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了一种美颜图像的处理方法、装置、终端和介质。该方法包括：获取样本图像的人脸区域和与所述样本图像对应的原始图像的人脸区域；根据所述样本图像的人脸区域和与所述样本图像对应的原始图像的人脸区域计算所述样本图像中每个像素点的光流矢量；基于所述样本图像和所述光流矢量对待训练的预测模型进行训练，生成预测模型；获取待检测图像的人脸区域，将所述待检测图像的人脸区域输入至所述预测模型中，根据所述预测模型输出的光流矢量对待检测图像进行恢复。本发明实施例的技术方案，解决了图片由于美颜导致失真的问题，实现了将美颜图像恢复为原始图像，保障图像真实性的效果。

Description

一种美颜图像的处理方法、装置、终端和介质
技术领域
本发明实施例涉及模式识别和机器学习领域，尤其涉及一种美颜图像的处理方法、装置、终端和介质。
背景技术
随着手机等带有摄像头的移动终端的快速发展，使人们拍摄照片越来越简单，满足了人们对拍摄照片的需求。
在通过移动终端拍摄照片后，通常要对照片进行美颜处理，再对照片在社交网络上进行分享，随着美颜技术的不断发展，美颜效果越来越好，仅用人眼无法分别照片是否经过美颜，需要对社交网络上的照片进行美颜检测和恢复，来保障照片的真实性。
发明内容
本发明实施例提供一种美颜图像的处理方法、装置、终端和介质，以实现对照片进行美颜检测并去除美颜，保障照片的真实性。
第一方面，本发明实施例提供了一种美颜图像的处理方法，该方法包括：
获取样本图像的人脸区域和与所述样本图像对应的原始图像的人脸区域；
根据所述样本图像的人脸区域和与所述样本图像对应的原始图像的人脸区域计算所述样本图像中每个像素点的光流矢量；
基于所述样本图像和所述光流矢量对待训练的预测模型进行训练，生成预测模型；
获取待检测图像的人脸区域，将所述待检测图像的人脸区域输入至所述预测模型中，根据所述预测模型输出的光流矢量对待检测图像进行恢复。
第二方面，本发明实施例还提供了一种美颜检测和恢复装置，该装置包括：
人脸区域获取模块，用于获取样本图像的人脸区域和与所述样本图像对应的原始图像的人脸区域；
预测模型生成模块，用于根据所述样本图像的人脸区域和与所述样本图像对应的原始图像的人脸区域计算所述样本图像中每个像素点的光流矢量，基于所述光流矢量对待训练的预测模型进行训练，生成预测模型；
美颜恢复模块，用于获取待检测图像的人脸区域，将所述待检测图像的人脸区域输入至所述预测模型中，根据所述预测模型输出的光流矢量对待检测图像进行恢复。
第三方面，本发明实施例还提供了一种终端，其中，所述终端包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例所提供的美颜图像的处理方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如本发明任意实施例所提供的美颜图像的处理方法。
本发明实施例通过获取样本图像的人脸区域和与所述样本图像对应的原始图像的人脸区域；根据所述样本图像的人脸区域和与所述样本图像对应的原始图像的人脸区域计算所述样本图像中每个像素点的光流矢量；通过光流矢量可以得到图像的美化程度，光流矢量强度越强，图像美化程度越高；基于所述样本图像和所述光流矢量对待训练的预测模型进行训练，生成预测模型；通过预测模型可以得到待检测图像人脸区域所有的光流矢量；获取待检测图像的人脸区域，将所述待检测图像的人脸区域输入至所述预测模型中，根据所述预测模型输出的光流矢量对待检测图像进行恢复，解决了图片由于美颜导致失真的问题，实现了将美颜图像恢复为原始图像，保障图像真实性的效果。
附图说明
图1是本发明实施例一中的一种美颜图像的处理方法的流程图；
图2是本发明实施例一中的光流矢量形成的示意图；
图3是本发明实施例二中的一种美颜图像的处理方法的流程图；
图4是本发明实施例三中的一种美颜图像的处理装置的结构图；
图5是本发明实施例四中的一种终端的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种美颜图像的处理的流程图，本实施例可适用于将美颜图像恢复为原始图像的情况，该方法可以由美颜图像的处理装置来执行，具体包括如下步骤：
S110、获取样本图像的人脸区域和与所述样本图像对应的原始图像的人脸区域。
原始图像是由照相机或如手机等具有摄像功能的移动终端拍摄而成。样本图像是在原始图像的基础上进行图像修改，当人脸图像进行了局部修改时，如调小脸颊、调大眼睛等，会导致原始图像的整体一致性遭到破坏，这就给进行美颜检测和恢复，提供了可能。由于样本图像是在原始图像的基础上进行修改后得到的，故样本图像与原始图像间存在对应关系，根据该对应关系获取与样本图像对应的原始图像。对样本图像和原始图像进行人脸检测，根据检测结果进行图像分割处理获取人脸区域，示例性的，可采用Yolo v3算法对人脸进行检测。将样本图像的人脸区域和原始图像的人脸区域进行归一化，使二者的人脸区域的尺寸相同，方便后续处理。
S120、根据所述样本图像的人脸区域和与所述样本图像对应的原始图像的人脸区域计算所述样本图像中每个像素点的光流矢量。
当脸部区域的脸颊、五官进行了几何调整时，如位置调整、形状调整或大小调整时，可通过光流矢量来表征脸部区域调整的程度。示例性的，如图2所示，以图像中左眼角点为例，将原始图像作为基准图像，以修改前原始图像中该点坐标为原点，以修改后样本图像中该点坐标为终点，从而形成具有方向和强度的光流矢量。可以理解的是，光流矢量的原点、终点的选择并不一定要求以原始图像为基准，采用修改后的样本图像为基准得到的光流矢量与本发明实施例具有方向相反，强度相同的关系，两者之间是可以转换的。
可选的，所述根据所述样本图像的人脸区域和与所述样本图像对应的原始图像的人脸区域计算所述样本图像中每个像素点的光流矢量，包括：将所述样本图像的人脸区域与所述原始图像的人脸区域进行逐像素点匹配；根据匹配后的对应像素点的像素值计算所述样本图像中每个像素点的光流矢量。在计算光流矢量前，需通过算法对样本图像和原始图像的人脸区域进行逐像素点匹配，示例性的，可通过NCC(Normalized Crosscorrelation，归一化互相关)算法实现像素点匹配。使样本图像人脸区域中的像素点与原始图像人脸区域中的像素点一一对应，便于每个像素点光流矢量的计算。当样本图像人脸区域中的像素点与原始图像人脸区域中的像素点匹配完成后，进行逐像素点计算由于图像修改得到的光流矢量，从而得到全人脸区域图像的光流矢量场。
S130、基于所述样本图像和所述光流矢量对待训练的预测模型进行训练，生成预测模型。
示例性的，为了便于表示，对每个像素点的光流矢量按照/>方向进行正交分解，得到对应方向分解的标量值mx和my，并保留各像素点的位置关系，得到/>方向分解的光流场强度Mx和My，从而生成全人脸区域的光流矢量场，可选的，还可将光流矢量的模值和方向分别进行存储作为神经网络所需要预测的输出结果。将样本图像输入至待训练的预测模型中，获取该预测模型输出的预测结果，预测结果包括人脸图像的预测光流矢量场，当预测的光流矢量场和计算的光流矢量场不同时，计算损失函数，将损失函数反向输入至待训练的检测模型中，基于梯度下降方法调节检测模模型中的网络参数。迭代执行上述训练方法，直到完成预设次数的训练或者检测模型的检测精度达到预设精度时，确定检测模型训练完成。其中，检测模型的网络参数包括但不限于权重和偏移值。示例性的，可通过随机梯度下降算法进行迭代优化。
可选的，所述预测模型包括依次连接的残差网络和反卷积网络。由于预测模型的输出是光流场，是一个2通道的矩阵结构，故需要对一般常用的深度神经网络结构进行改进，本发明采用残差网络和反卷积网实现，其中，残差网络为至少一个。
S140、获取待检测图像的人脸区域，将所述待检测图像的人脸区域输入至所述预测模型中，根据所述预测模型输出的光流矢量对待检测图像进行恢复。
当预测模型训练完成后，将待检测图像输入至预测模型可得到待检测图像人脸区域的光流矢量场。
可选的，获取待检测图像所述获取待检测图像的人脸区域，将所述待检测图像的人脸区域输入至所述预测模型中，包括：对所述待检测图像进行人脸检测得到人脸检测结果，根据人脸检测结果进行图像分割得到所述人脸区域；对所述人脸区域进行特征点定位，根据所述特征点对所述人脸区域进行归一化；将归一化后的人脸区域输入至所述预测模型。对待检测图像进行人脸检测，经图像分割处理后得到人脸区域，对人脸区域进行特征点定位，通过特征点对该人脸区域进行归一化，使待检测图像人脸区域的大小与训练样本一致。将归一化后的人脸区域输入至预测模型，得到待检测图像人脸区域的光流矢量场。
可选的，所述根据所述预测模型输出的光流矢量对待检测图像进行恢复，包括：根据所述待检测图像的光流矢量和对应的像素点坐标生成待恢复像素点的第一坐标；对所述待恢复像素点的第一坐标进行向上取整和向下取整得到第二坐标；从所述待检测图像中获取所述第二坐标对应的像素值，并进行加权插值得到恢复像素值；基于所述对应的像素点坐标将所述恢复像素值填充至所述待检测图像中，形成所述待检测图像对应的恢复图像。获取预测模型输出的待检测图像人脸区域的光流矢量对应的像素点坐标(i,j)，由于光流矢量进行了正交分解，故分别计算光流矢量在x方向和y方向上的模值mx和my，将像素点坐标与光流矢量的模值相加得到(i+mx，j+my)作为待恢复像素点的第一坐标，由于mx和my是保留浮点精度的，那么i+mx，j+my也是浮点值，不能精确回到原图上的某一个像素，故将待恢复像素点的第一坐标(i+mx，j+my)进行向上和向下取整得到第二坐标，从待检测图像中获取与第二坐标对应的像素值，得到与浮点坐标(i+mx，j+my)相邻的像素值。将与浮点坐标(i+mx，j+my)相邻的像素值进行加权插值计算得到恢复像素值，将恢复像素值按照与待检测图像的光流矢量对应的像素点坐标即坐标(i,j)填充至待检测图像中，得到恢复图像。
本发明实施例通过获取样本图像的人脸区域和与所述样本图像对应的原始图像的人脸区域；根据所述样本图像的人脸区域和与所述样本图像对应的原始图像的人脸区域计算所述样本图像中每个像素点的光流矢量；通过光流矢量可以得到图像的美化程度，光流矢量强度越强，图像美化程度越高；基于所述样本图像和所述光流矢量对待训练的预测模型进行训练，生成预测模型；通过预测模型可以得到待检测图像人脸区域所有的光流矢量；获取待检测图像的人脸区域，将所述待检测图像的人脸区域输入至所述预测模型中，根据所述预测模型输出的光流矢量对待检测图像进行恢复，解决了图片由于美颜导致失真的问题，实现了将美颜图像恢复为原始图像，保障图像真实性的效果。
实施例二
图3是本发明实施例二提供的一种美颜图像的处理方法的流程图，本实施例以上述实施例为基础进行优化，美颜图像的处理方法还包括：计算所述预测模型输出的光流矢量的模值；根据所述模值和与所述光流矢量对应的像素点坐标生成美颜热度图，将所述美颜热度图作为待检测图像的美颜检测结果。通过美颜热度图可直观的观察待检测图像中进行美颜的位置及各部位的美颜程度，美颜热度图可作为图像是否经过美颜的依据。
如图3所示，该方法具体包括：
S210、获取样本图像的人脸区域和与所述样本图像对应的原始图像的人脸区域。
S220、根据所述样本图像的人脸区域和与所述样本图像对应的原始图像的人脸区域计算所述样本图像中每个像素点的光流矢量。
S230、基于所述样本图像和所述光流矢量对待训练的预测模型进行训练，生成预测模型。
S240、获取待检测图像的人脸区域，将所述待检测图像的人脸区域输入至所述预测模型中，根据所述预测模型输出的光流矢量对待检测图像进行恢复。
S250、计算所述预测模型输出的光流矢量的模值；根据所述模值和与所述光流矢量对应的像素点坐标生成美颜热度图，将所述美颜热度图作为待检测图像的美颜检测结果。
计算预测模型输出的所有光流矢量的模值，将模值按照光流矢量对应的像素点坐标填充至待检测图像中，从而生成美颜热度图，将美颜热度图作为待检测图像的美颜检测结果，通过美颜热度图可直观观察待检测图像是否经过美颜以及美颜的部位和各部位的美颜程度，便于用户对待检测图像进行美颜分析。
可选的，美颜检测结果还包括美颜置信度，所述美颜置信度基于所述光流矢量的模值进行求和后除以预设数值确定。将待检测图像的所有光流矢量的模值进行求和除以预设数值可得到美颜置信度，该预设数值为一经验值。美颜置信度为0到1之间的数值，美颜置信度表示待检测图像的人脸区域是否进行美颜的概率值，通过美颜置信度可判断待检测图像的人脸区域整体的美颜程度，便于用户对待检测图像整体的美颜程度进行分析。
本发明实施例通过获取样本图像的人脸区域和与所述样本图像对应的原始图像的人脸区域；根据所述样本图像的人脸区域和与所述样本图像对应的原始图像的人脸区域计算所述样本图像中每个像素点的光流矢量；通过光流矢量可以得到图像的美化程度，光流矢量强度越强，图像美化程度越高；基于所述样本图像和所述光流矢量对待训练的预测模型进行训练，生成预测模型；通过预测模型可以得到待检测图像人脸区域所有的光流矢量；获取待检测图像的人脸区域，将所述待检测图像的人脸区域输入至所述预测模型中，根据所述预测模型输出的光流矢量对待检测图像进行恢复；计算所述预测模型输出的光流矢量的模值；根据所述模值和与所述光流矢量对应的像素点坐标生成美颜热度图，将所述美颜热度图作为待检测图像的美颜检测结果。通过美颜热度图可直观的观察待检测图像中进行美颜的位置及各部位的美颜程度美颜热度图可作为图像是否经过美颜的依据。解决了图片由于美颜导致失真的问题，实现了将美颜图像恢复为原始图像，保障图像真实性的效果。
实施例三
图4为本发明实施例三提供的一种美颜图像的处理装置的结构图，该美颜图像的处理装置包括：人脸区域获取模块310、光流矢量计算模块320、预测模型生成模块330和美颜恢复模块340。
其中，人脸区域获取模块310，用于获取样本图像的人脸区域和与所述样本图像对应的原始图像的人脸区域；
光流矢量计算模块320，用于根据所述样本图像的人脸区域和与所述样本图像对应的原始图像的人脸区域计算所述样本图像中每个像素点的光流矢量；
预测模型生成模块330，用于基于所述样本图像和所述光流矢量对待训练的预测模型进行训练，生成预测模型；
美颜恢复模块340，用于获取待检测图像的人脸区域，将所述待检测图像的人脸区域输入至所述预测模型中，根据所述预测模型输出的光流矢量对待检测图像进行恢复。
在上述实施例的技术方案中，光流矢量计算模块320，包括：
像素点匹配单元，用于将所述样本图像的人脸区域与所述原始图像的人脸区域进行逐像素点匹配；
光流矢量计算单元，用于根据匹配后的对应像素点的像素值计算所述样本图像中每个像素点的光流矢量。
在上述实施例的技术方案中，美颜图像的处理装置，还包括：
光流矢量模值计算模块，用于计算所述预测模型输出的光流矢量的模值；
美颜热度图生成模块，用于根据所述模值和与所述光流矢量对应的像素点坐标生成美颜热度图，将所述美颜热度图作为待检测图像的美颜检测结果。
可选的，所述美颜检测结果还包括美颜置信度。
在上述实施例的技术方案中，美颜图像的处理装置，还包括：
美颜置信度计算模块，用于基于所述光流矢量的模值进行求和后除以预设数值确定美颜置信度。
在上述实施例的技术方案中，美颜恢复模块340，包括：
第一坐标生成单元，用于根据所述待检测图像的光流矢量和对应的像素点坐标生成待恢复像素点的第一坐标；
第二坐标生成单元，用于对所述待恢复像素点的第一坐标进行向上取整和向下取整得到第二坐标；
恢复像素值获取单元，用于从所述待检测图像中获取所述第二坐标对应的像素值，并进行加权插值得到恢复像素值；
恢复图像生成单元，用于基于所述对应的像素点坐标将所述恢复像素值填充至所述待检测图像中，形成所述待检测图像对应的恢复图像。
在上述实施例的技术方案中，美颜恢复模块340，还包括：
人脸区域生成单元，用于对所述待检测图像进行人脸检测得到人脸检测结果，根据人脸检测结果进行图像分割得到所述人脸区域；
人脸区域归一化单元，用于对所述人脸区域进行特征点定位，根据所述特征点对所述人脸区域进行归一化；
人脸区域输入单元，用于将归一化后的人脸区域输入至所述预测模型。
可选的，所述预测模型包括依次连接的残差网络和反卷积网络。
本发明实施例通过获取样本图像的人脸区域和与所述样本图像对应的原始图像的人脸区域；根据所述样本图像的人脸区域和与所述样本图像对应的原始图像的人脸区域计算所述样本图像中每个像素点的光流矢量；通过光流矢量可以得到图像的美化程度，光流矢量强度越强，图像美化程度越高；基于所述样本图像和所述光流矢量对待训练的预测模型进行训练，生成预测模型；通过预测模型可以得到待检测图像人脸区域所有的光流矢量；获取待检测图像的人脸区域，将所述待检测图像的人脸区域输入至所述预测模型中，根据所述预测模型输出的光流矢量对待检测图像进行恢复，解决了图片由于美颜导致失真的问题，实现了将美颜图像恢复为原始图像，保障图像真实性的效果。
本发明实施例所提供的美颜检测和恢复装置可执行本发明任意实施例所提供的美颜检测和恢复方法，具备执行方法相应的功能模块和有益效果。
实施例四
图5为本发明实施例四提供的一种终端的结构示意图，如图5所示，该终端包括处理器410、存储器420、输入装置430和输出装置440；终端中处理器410的数量可以是一个或多个，图5中以一个处理器410为例；终端中的处理器410、存储器420、输入装置430和输出装置440可以通过总线或其他方式连接，图5中以通过总线连接为例。
存储器420作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的美颜检测和恢复方法对应的程序指令/模块(例如，美颜检测和恢复装置中的人脸区域获取模块310、光流矢量计算模块320、预测模型生成模块330和美颜恢复模块340)。处理器410通过运行存储在存储器420中的软件程序、指令以及模块，从而执行终端的各种功能应用以及数据处理，即实现上述的美颜检测和恢复方法。
存储器420可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器420可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器420可进一步包括相对于处理器410远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置430可用于接收输入的数字或字符信息，以及产生与终端的用户设置以及功能控制有关的键信号输入。输出装置440可包括显示屏等显示设备。
实施例五
本发明实施例五还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种美颜检测和恢复方法，该方法包括：
获取样本图像的人脸区域和与所述样本图像对应的原始图像的人脸区域；
根据所述样本图像的人脸区域和与所述样本图像对应的原始图像的人脸区域计算所述样本图像中每个像素点的光流矢量；
基于所述样本图像和所述光流矢量对待训练的预测模型进行训练，生成预测模型；
获取待检测图像的人脸区域，将所述待检测图像的人脸区域输入至所述预测模型中，根据所述预测模型输出的光流矢量对待检测图像进行恢复。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的美颜检测和恢复方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述美颜检测和恢复装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (8)

1.一种美颜图像的处理方法，其特征在于，包括：
获取样本图像的人脸区域和与所述样本图像对应的原始图像的人脸区域；
根据所述样本图像的人脸区域和与所述样本图像对应的原始图像的人脸区域计算所述样本图像中每个像素点的光流矢量；
基于所述样本图像和所述光流矢量对待训练的预测模型进行训练，生成预测模型；
获取待检测图像的人脸区域，将所述待检测图像的人脸区域输入至所述预测模型中，根据所述预测模型输出的光流矢量对待检测图像进行恢复；
所述根据所述预测模型输出的光流矢量对待检测图像进行恢复，包括：
根据所述待检测图像的光流矢量和对应的像素点坐标生成待恢复像素点的第一坐标；
对所述待恢复像素点的第一坐标进行向上取整和向下取整得到第二坐标；
从所述待检测图像中获取所述第二坐标对应的像素值，并进行加权插值得到恢复像素值；
基于所述对应的像素点坐标将所述恢复像素值填充至所述待检测图像中，形成所述待检测图像对应的恢复图像；
所述获取待检测图像的人脸区域，将所述待检测图像的人脸区域输入至所述预测模型中，包括：
对所述待检测图像进行人脸检测得到人脸检测结果，根据人脸检测结果进行图像分割得到所述人脸区域；
对所述人脸区域进行特征点定位，根据所述特征点对所述人脸区域进行归一化；
将归一化后的人脸区域输入至所述预测模型。
2.根据权利要求1所述的方法，其特征在于，所述根据所述样本图像的人脸区域和与所述样本图像对应的原始图像的人脸区域计算所述样本图像中每个像素点的光流矢量，包括：
将所述样本图像的人脸区域与所述原始图像的人脸区域进行逐像素点匹配；
根据匹配后的对应像素点的像素值计算所述样本图像中每个像素点的光流矢量。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
计算所述预测模型输出的光流矢量的模值；
根据所述模值和与所述光流矢量对应的像素点坐标生成美颜热度图，将所述美颜热度图作为待检测图像的美颜检测结果。
4.根据权利要求3所述的方法，其特征在于，所述美颜检测结果还包括美颜置信度，所述美颜置信度基于所述光流矢量的模值进行求和后除以预设数值确定。
5.根据权利要求1所述的方法，其特征在于，所述预测模型包括依次连接的残差网络和反卷积网络。
6.一种美颜检测和恢复装置，其特征在于，包括：
人脸区域获取模块，用于获取样本图像的人脸区域和与所述样本图像对应的原始图像的人脸区域；
光流矢量计算模块，用于根据所述样本图像的人脸区域和与所述样本图像对应的原始图像的人脸区域计算所述样本图像中每个像素点的光流矢量；
预测模型生成模块，用于基于所述样本图像和所述光流矢量对待训练的预测模型进行训练，生成预测模型；
美颜恢复模块，用于获取待检测图像的人脸区域，将所述待检测图像的人脸区域输入至所述预测模型中，根据所述预测模型输出的光流矢量对待检测图像进行恢复；
美颜恢复模块，还包括：
第一坐标生成单元，用于根据所述待检测图像的光流矢量和对应的像素点坐标生成待恢复像素点的第一坐标；
第二坐标生成单元，用于对所述待恢复像素点的第一坐标进行向上取整和向下取整得到第二坐标；
恢复像素值获取单元，用于从所述待检测图像中获取所述第二坐标对应的像素值，并进行加权插值得到恢复像素值；
恢复图像生成单元，用于基于所述对应的像素点坐标将所述恢复像素值填充至所述待检测图像中，形成所述待检测图像对应的恢复图像；
人脸区域生成单元，用于对所述待检测图像进行人脸检测得到人脸检测结果，根据人脸检测结果进行图像分割得到所述人脸区域；
人脸区域归一化单元，用于对所述人脸区域进行特征点定位，根据所述特征点对所述人脸区域进行归一化；
人脸区域输入单元，用于将归一化后的人脸区域输入至所述预测模型。
7.一种终端，其特征在于，所述终端包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的美颜图像的处理方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的美颜图像的处理方法。
CN202010820036.XA 2020-08-14 2020-08-14 一种美颜图像的处理方法、装置、终端和介质 Active CN112001285B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010820036.XA CN112001285B (zh) 2020-08-14 2020-08-14 一种美颜图像的处理方法、装置、终端和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010820036.XA CN112001285B (zh) 2020-08-14 2020-08-14 一种美颜图像的处理方法、装置、终端和介质

Publications (2)

Publication Number Publication Date
CN112001285A CN112001285A (zh) 2020-11-27
CN112001285B true CN112001285B (zh) 2024-02-02

Family

ID=73473233

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010820036.XA Active CN112001285B (zh) 2020-08-14 2020-08-14 一种美颜图像的处理方法、装置、终端和介质

Country Status (1)

Country Link
CN (1) CN112001285B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112634126A (zh) * 2020-12-22 2021-04-09 厦门美图之家科技有限公司 人像减龄处理方法、训练方法、装置、设备及存储介质
CN113421197B (zh) * 2021-06-10 2023-03-10 杭州海康威视数字技术股份有限公司 一种美颜图像的处理方法及其处理***
CN114283472A (zh) * 2021-12-17 2022-04-05 厦门市美亚柏科信息股份有限公司 一种基于光流估计的人脸图像美颜检测方法及***

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110503619A (zh) * 2019-06-27 2019-11-26 北京奇艺世纪科技有限公司 图像处理方法、装置及可读存储介质
CN110738678A (zh) * 2019-10-18 2020-01-31 厦门美图之家科技有限公司 脸部细纹检测方法、装置、电子设备及可读存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110503619A (zh) * 2019-06-27 2019-11-26 北京奇艺世纪科技有限公司 图像处理方法、装置及可读存储介质
CN110738678A (zh) * 2019-10-18 2020-01-31 厦门美图之家科技有限公司 脸部细纹检测方法、装置、电子设备及可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Detecting Photoshopped Faces by Scripting Photoshop;Sheng-Yu Wang;《arXiv》;1-16 *

Also Published As

Publication number Publication date
CN112001285A (zh) 2020-11-27

Similar Documents

Publication Publication Date Title
WO2019237846A1 (zh) 图像处理方法、人脸识别方法、装置和计算机设备
US10713532B2 (en) Image recognition method and apparatus
CN112001285B (zh) 一种美颜图像的处理方法、装置、终端和介质
CN110222573B (zh) 人脸识别方法、装置、计算机设备及存储介质
WO2021036059A1 (zh) 图像转换模型训练方法、异质人脸识别方法、装置及设备
CN109389562B (zh) 图像修复方法及装置
CN113343826B (zh) 人脸活体检测模型的训练方法、人脸活体检测方法及装置
CN111754396B (zh) 脸部图像处理方法、装置、计算机设备和存储介质
KR20200118076A (ko) 생체 검출 방법 및 장치, 전자 기기 및 저장 매체
CN112560753B (zh) 基于特征融合的人脸识别方法、装置、设备及存储介质
CN111597884A (zh) 面部动作单元识别方法、装置、电子设备及存储介质
JP2022133378A (ja) 顔生体検出方法、装置、電子機器、及び記憶媒体
CN111339897B (zh) 活体识别方法、装置、计算机设备和存储介质
CN110705353A (zh) 基于注意力机制的遮挡人脸的识别方法和装置
CN111274947A (zh) 一种多任务多线索人脸识别方法、***及存储介质
CN112561879B (zh) 模糊度评价模型训练方法、图像模糊度评价方法及装置
US20230036338A1 (en) Method and apparatus for generating image restoration model, medium and program product
WO2022194079A1 (zh) 天空区域分割方法、装置、计算机设备和存储介质
CN112528318A (zh) 一种图像脱敏的方法、装置及电子设备
CN111382791B (zh) 深度学习任务处理方法、图像识别任务处理方法和装置
WO2023279799A1 (zh) 对象识别方法、装置和电子***
US20220207917A1 (en) Facial expression image processing method and apparatus, and electronic device
CN116453232A (zh) 人脸活体检测方法、人脸活体检测模型的训练方法和装置
Wang et al. Pert: a progressively region-based network for scene text removal
CN111881740A (zh) 人脸识别方法、装置、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant