CN110555812A - 图像调整方法、装置和计算机设备 - Google Patents

图像调整方法、装置和计算机设备 Download PDF

Info

Publication number
CN110555812A
CN110555812A CN201910670790.7A CN201910670790A CN110555812A CN 110555812 A CN110555812 A CN 110555812A CN 201910670790 A CN201910670790 A CN 201910670790A CN 110555812 A CN110555812 A CN 110555812A
Authority
CN
China
Prior art keywords
image
points
face
triangular
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910670790.7A
Other languages
English (en)
Inventor
邹超洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Original Assignee
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Shiyuan Electronics Thecnology Co Ltd filed Critical Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority to CN201910670790.7A priority Critical patent/CN110555812A/zh
Publication of CN110555812A publication Critical patent/CN110555812A/zh
Priority to PCT/CN2019/126719 priority patent/WO2021012599A1/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/14Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G06T3/147Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/94Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种图像调整方法、装置和计算机设备,该方法包括如下步骤:对输入图像进行人脸检测,获取人脸特征点集;根据所述人脸特征点集对所述输入图像进行三角剖分,获得关于所述输入图像的多个原始三角形图像;对所述人脸特征点集的部分人脸特征点进行坐标调整,获得过渡图像;根据坐标调整后的所述人脸特征点集对所述过渡图像进行三角剖分,获得关于所述过渡图像的多个变形三角形图像;判断对应的原始三角形图像和变形三角形图像的顶点坐标是否相同;若不相同,则对所述原始三角形图像中的像素点进行仿射变换,获得像素点在变形三角形图像中的变换坐标。该方法具有局部变形,计算量少的优点,对非变形区域和图像背景具有很好的保持效果。

Description

图像调整方法、装置和计算机设备
技术领域
本发明涉及图像处理技术领域,特别涉及一种图像调整方法、装置和计算机设备。
背景技术
随着人像美化技术的发展与推广,用户已不满足于基础的人像美化技术,用户对人脸变形技术的兴趣愈发浓厚。人像美化技术中最为典型的应用功能为人像大眼瘦脸、人像大头和其他局部变形功能。
目前的人像美化技术通常是对整幅图像进行整体操作,虽然人像美化效果达标,但是计算量非常大,占用很多计算资源,处理速度慢;而且在进行人脸局部区域美化的时候没有考虑背景的维持,在区域边缘的背景会出现明显的变形。
发明内容
基于此,本发明实施例的目的在于,提供一种图像调整方法、装置和计算机设备,其具有局部变形,计算量少的优点,并且对非变形区域和图像背景具有很好的保持效果。
第一方面,本发明实施例提供一种图像调整方法,包括如下步骤:
对输入图像进行人脸检测,获取人脸特征点集;
根据所述人脸特征点集对所述输入图像进行三角剖分,获得关于所述输入图像的多个原始三角形图像;
对所述人脸特征点集的部分人脸特征点进行坐标调整,获得过渡图像;
根据坐标调整后的所述人脸特征点集对所述过渡图像进行三角剖分,获得关于所述过渡图像的多个变形三角形图像;
判断对应的原始三角形图像和变形三角形图像的顶点坐标是否相同,其中,对应的原始三角形图像和变形三角形图像分别以坐标调整前后的相同的三个人脸特征点为顶点;若不相同,则对所述原始三角形图像中的像素点进行仿射变换,获得像素点在变形三角形图像中的变换坐标;
根据所述变换坐标填充所述变形三角形图像的像素值,获得目标图像。
进一步地,所述人脸特征点集包括人脸轮廓特征点、眉毛特征点、眼睛特征点、鼻子特征点和嘴巴特征点。
进一步地,所述获取人脸特征点集的步骤还包括:选取若干个所述人脸轮廓特征点进行坐标加权计算,获得位于脸颊区域的脸颊特征点。
进一步地,所述选取若干个所述人脸轮廓特征点进行坐标加权计算,获得位于脸颊区域的脸颊特征点的步骤,包括:
在所述人脸轮廓特征点的左右两边各选取一个最高点和一个最低点,分别对左右两边选取的所述最高点和所述最低点进行坐标加权计算,获取位于两边脸颊区域的脸颊特征点。
本发明实施例的图像调整方法通过由人脸轮廓特征点进行坐标加权运算获得在人脸脸颊中部出的脸颊特征点,由此在人脸脸颊处三角剖分获得更多细小的三角形,从而对脸颊的调整更加平滑,特别是进行瘦脸和胖脸的人像美化时,使得瘦脸或胖脸的效果更自然。
进一步地,所述对所述人脸特征点集的部分人脸特征点进行坐标调整,包括:
按照如下公式对所述人脸特征点集的部分人脸特征点进行坐标调整:
fx=a1+b1cos(w1i)+c1sin(w1i)+d1cos(2w1i)+e1sin(2w1i)
fy=a2+b2cos(w2i)+c2sin(w2i)+d2cos(2w2i)+e2sin(2w2i)+fcos(3w2i)+gsin(3w2i)
上述公式中,i表示人脸特征点的编号,fx、fy分别表示人脸特征点的横坐标和纵坐标的位移量,a1、b1、c1、d1、e1和a2、b2、c2、d2、e2、f、g为常数,w1和w2为正弦分量和余弦分量的频率。
本发明实施例的图像调整方法提供的人脸特征点的调整公式是基于多次试验和统计结果通过方程拟合获得的,通过该调整公式进行图像变形,能获得最为平滑自然的图像。
进一步地,所述根据所述人脸特征点集对所述输入图像进行三角剖分和根据坐标调整后的所述人脸特征点集对所述过渡图像进行三角剖分,包括如下步骤:
将所有人脸特征点以及所述输入图像或过渡图像的四个顶点连接为若干个三角形,对图像区域进行剖分。
进一步地,所述对所述原始三角形图像中的像素点进行仿射变换,获得像素点在变形三角形图像中的变换坐标的步骤,包括:
根据对应的原始三角形图像和变形三角形图像的顶点坐标计算对应的原始三角形图像和变形三角形图像之间的仿射变换矩阵;
根据所述仿射变换矩阵对所述原始三角形图像中的像素点进行仿射变换,获得像素点在变形三角形图像中的变换坐标。
进一步地,所述根据所述变换坐标填充所述变形三角形图像的像素值,包括根据所述变换坐标对所述变形三角形图像进行双线性插值。
第二方面,本发明实施例提供了一种图像调整装置,所述装置包括:
人脸检测模块,用于对输入图像进行人脸检测,获取人脸特征点集
第一三角剖分模块,用于根据所述人脸特征点集对所述输入图像进行三角剖分,获得关于所述输入图像的多个原始三角形图像;
坐标调整模块,对所述人脸特征点集的部分人脸特征点进行坐标调整,获得过渡图像;
第二三角剖分模块,用于根据坐标调整后的所述人脸特征点集对所述过渡图像进行三角剖分,获得关于所述过渡图像的多个变形三角形图像;
坐标变换模块,用于判断对应的原始三角形图像和变形三角形图像的顶点坐标是否相同,其中,对应的原始三角形图像和变形三角形图像分别以坐标调整前后的相同的三个人脸特征点为顶点;若不相同,则对所述原始三角形图像中的像素点进行仿射变换,获得像素点在变形三角形图像中的变换坐标;
像素值填充模块,用于根据所述变换坐标填充所述变形三角形图像的像素值,获得目标图像。
第三方面,本发明实施例还提供了一种计算机设备,所述计算机设备包括:
存储器以及处理器;
所述存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如本发明第一方面所述的图像调整方法。
本发明实施例所述的图像调整方法,通过对人脸特征点进行精准定位,通过三角剖分将输入图像和过渡图像划分为多个三角形,针对对应的原始三角形图像和变形三角形图像的顶点坐标发生了变化的像素点,通过仿射变换与填充像素值的方式,可实现平滑的人脸局部变形。由于仅调整顶点坐标发生了变化的三角形区域的像素点,而不是对整幅图像进行调整,计算量小,处理速度快,并且对非变形区域和图像背景具有很好的保持效果;此外,还可以同时对输入图像的多个局部位置进行变形,只要同时变形的多个局部位置涉及的人脸特征点不相同,就不会互相影响和干扰。
为了更好地理解和实施,下面结合附图详细说明本发明。
附图说明
图1为在一个示例性实施例中示出的本发明图像调整方法的流程图;
图2为在一个示例性实施例中示出的本发明图像调整方法的人脸特征点图;
图3为在一个示例性实施例中示出的本发明图像调整方法的人脸轮廓特征点位移变化图;
图4为在一个示例性实施例中示出的本发明图像调整方法的三角剖分示意图;
图5为在一个示例性实施例中示出的本发明图像调整方法的进行仿射变换的流程图;
图6为在一个示例性实施例中利用本发明图像调整方法获得的效果图;
图7为在一个示例性实施例中示出的本发明图像调整装置的结构框图;
图8为在一个示例性实施例中示出的本发明计算机设备的结构框图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部内容。
在本发明使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本发明可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本发明范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
如图1所示,在一个示例性的实施例中,本实施例的图像调整方法包括如下步骤:
步骤S101:对输入图像进行人脸检测,获取人脸特征点集。
步骤S102:根据所述人脸特征点集对所述输入图像进行三角剖分,获得关于所述输入图像的多个原始三角形图像。
步骤S103:对所述人脸特征点集的部分人脸特征点进行坐标调整,获得过渡图像。
步骤S104:根据坐标调整后的所述人脸特征点集对所述过渡图像进行三角剖分,获得关于所述过渡图像的多个变形三角形图像;。
步骤S105:判断对应的原始三角形图像和变形三角形图像的顶点坐标是否相同,其中,对应的原始三角形图像和变形三角形图像分别以坐标调整前后的相同的三个人脸特征点为顶点;若不相同,则对所述原始三角形图像中的像素点进行仿射变换,获得像素点在变形三角形图像中的变换坐标。
步骤S106:根据所述变换坐标填充所述变形三角形图像的像素值,获得目标图像。
本发明实施例所述的人脸特征点集包括了位于人脸不同部位的多个人脸特征点,可选地,所述人脸特征点集包括人脸轮廓特征点、眉毛特征点、眼睛特征点、鼻子特征点和嘴巴特征点。选取上述的人脸特征点能够表征人脸的大部分特征和有效区分不同的人脸。所述人脸特征点集可以通过现有的各种人脸检测算法对输入图像进行检测和识别,具体地,在本发明实施例中,通过Dlib人脸检测算法对所述输入图像进行人脸检测,获得68个人脸特征点。
在一个示例性实施例中,考虑到现有的人脸检测算法识别的人脸特征点几乎没有涉及到眼睛以下,鼻子左右两侧的脸颊中部(俗称脸蛋位置)的脸颊特征点,导致在根据人脸特征点集进行三角剖分的时候。在脸颊中部的形成面积较大的三角形区域,从而脸颊中部区域得不到有效的调整,例如在瘦脸或胖脸的处理算法中只调整了人脸轮廓,瘦脸或胖脸后,脸颊中部(脸蛋)不改变,瘦脸或胖脸后的图像不够平滑自然,图像变形效果差。为了克服上述缺陷,在本发明实施例中,所述获取人脸特征点集的步骤还包括:选取若干个所述人脸轮廓特征点进行坐标加权计算,获得位于脸颊区域的脸颊特征点。选取人脸轮廓特征点的原因在于:人脸轮廓特征点的分布决定了脸颊的形状和大小等信息,由人脸轮廓特征点坐标加权计算获得的脸颊特征点,能更准确反映脸颊的特点。人脸轮廓特征点个数和位置的选取可根据经验和/或计算量要求决定。
优选地,所述选取若干个所述人脸轮廓特征点进行坐标加权计算,获得位于脸颊区域的脸颊特征点的步骤,包括:
在所述人脸轮廓特征点的左右两边各选取一个最高点和一个最低点,分别对左右两边选取的所述最高点和所述最低点进行坐标加权计算,获取位于两边脸颊区域的脸颊特征点。
选取最高点和最低点进行坐标加权计算,能够较准确地定位脸颊中部位置,使得获取到的脸颊特征点的坐标调整对脸颊的整体调整效果更平滑不突兀。
具体地,所述脸颊特征点为两点;选取位于左脸颊最高点的人脸轮廓特征点和位于下巴处的人脸轮廓特征点进行坐标加权计算,获取位于左脸颊的脸颊特征点;选取位于右脸颊最高点的人脸轮廓特征点和位于下巴处的人脸轮廓特征点进行坐标加权计算,获取位于右脸颊的脸颊特征点。在进行左、右脸颊的脸颊特征点的获取时,选取的位于下巴处的人脸轮廓特征点为同一点。
在一个具体的实施例中,请参阅图2,在步骤S101采用Dlib人脸检测算法获得68个人脸特征点的基础上,先对所述人脸特征点集的人脸特征点按照预设的规则进行编号,再选取位于左脸颊最高点的人脸轮廓特征点(编号为0)、位于右脸颊最高点的人脸轮廓特征点(编号为16)和位于下巴处的人脸轮廓特征点(编号为8)进行坐标加权运算:
左脸颊的脸颊特征点:
右脸颊的脸颊特征点:
式中,[0].x和[0].y为编号为0的人脸轮廓特征点的坐标,[8].x和[8].y为编号为8的人脸轮廓特征点的坐标,[16].x和[16].y为编号为16的人脸轮廓特征点的坐标,x和y为脸颊特征点的坐标。0.4和0.6为权重比例,该权重是经过多次测验确定,使用0.4和0.6的权重比例,对于脸颊的调整不会造成扭曲,并且调整后的图像自然。
在一个示例性实施例中,所述对所述人脸特征点集的部分人脸特征点进行坐标调整的步骤中,坐标调整的位移量由拟合的不同谐波的正弦分量和余弦分量的叠加获得。
具体地,按照如下公式对所述人脸特征点集的部分人脸特征点进行坐标调整:
fx=a1+b1cos(w1i)+c1sin(w1i)+d1cos(2w1i)+e1sin(2w1i)
fy=a2+b2cos(w2i)+c2sin(w2i)+d2cos(2w2i)+e2sin(2w2i)+fcos(3w2i)+gsin(3w2i)
上述公式中,i表示人脸特征点的编号,对于人脸特征点的编号可以参阅图2的方式,先对人脸轮廓点从左到右进行编号,再依次对眉毛特征点、眼睛特征点、鼻子特征点和嘴巴特征点进行编号。fx、fy分别表示人脸特征点横坐标和纵坐标的位移量,a1、b1、c1、d1、e1和a2、b2、c2、d2、e2、f、g为常数,w1和w2为正弦分量和余弦分量的频率。
本发明实施例的图像调整方法提供的人脸特征点的坐标调整的位移量获得方法是基于多次试验和统计结果通过方程拟合获得的,根据该位移量获得方法计算的位移量进行图像变形,能获得最为平滑自然的图像。
通过人像美化试验,基于统计结果进行方程拟合,获得a1、b1、c1、d1、e1和a2、b2、c2、d2、e2、f、g,w1和w2的常数值,一个具体的参考设计可以是:
fx=-0.4856+1.725cos(w1i)+2.111sin(w1i)-0.8245cos(2w1i)-0.152sin(2w1i)
fy=-2.348+0.7059cos(w2i)-0.2756sin(w2i)+0.9887cos(2w2i)-0.1879sin(2w2i)
-0.3125cos(3w2i)+0.5605sin(3w2i)
其中,w1=0.3181,w2=0.3612
以人像大眼瘦脸或小眼胖脸为例,请参阅图3,由上述调整公式控制人脸轮廓特征点在X方向、Y方向随人脸特征点编号变化如图所示。fx、fy的值为正,则对人脸执行瘦脸变形操作,胖脸变换则是将fx、fy的值取负。眼睛部位人脸特征点的调整策略与人脸轮廓特征点一样,眼睛部位人脸特征点的坐标位移量由人脸轮廓特征点的坐标位移量依比例计算得到。
在一个示例性实施例中,请参阅图4,所述根据所述人脸特征点集对所述输入图像进行三角剖分和根据坐标调整后的所述人脸特征点集对所述过渡图像进行三角剖分,包括如下步骤:
将所有人脸特征点以及所述输入图像或过渡图像的四个顶点连接为若干个三角形,对图像区域进行剖分;在进行三角剖分时,按照如下特性进行三角形剖分:
a.除了顶点,剖分的图像区域中的三角形不包含人脸特征点集中的任何点。
b.没有相交边。
c.图像区域中剖分获得所有的图形都是三角形,且所有三角形的合集是人脸特征点集的凸包。
与此同时,剖分获得的任意两个相邻的三角形构成的凸四边形具有如下特点:其对角线互换后,两个内角的最小角不再增大。
本发明实施例的图像调整方法进行三角剖分采用的是Delaunay三角剖分,由于包括了所述输入图像或过渡图像的四个顶点,对于人脸特征点与四个顶点之间的人脸像素点和图像背景也能进行调整,有利于使得调整后的图像更平滑自然。
对于输入图像的每一像素点来说,其与一个原始三角形图像对应,位于由特定的三个人脸特征点或图像顶点构成的原始三角形内部,而该原始三角形又通过坐标调整后的上述特定的三个人脸特征点与变形三角形相对应,在通过步骤S103将部分人脸特征点移动到目标位置后,由于部分人脸特征点移动而使原始三角形图像发生变化成为变形三角形图像,再将原始三角形内部的像素点按照相同的变形方式变换至变形三角形图像中。该种相同的变形方式可以参照对应的原始三角形图像和变形三角形图像的顶点坐标之间的仿射变换。在一个示例性实施例中,请参阅图5,所述对所述原始三角形图像中的像素点进行仿射变换,获得像素点在变形三角形图像中的变换坐标的步骤,包括:
步骤S501:根据对应的原始三角形图像和变形三角形图像的顶点坐标计算对应的原始三角形图像和变形三角形图像之间的仿射变换矩阵;
步骤S502:根据所述仿射变换矩阵对所述原始三角形图像中的像素点进行仿射变换,获得像素点在变形三角形图像中的变换坐标。
在进行了像素点的坐标变换之后,还需进行像素值的填充。在一个示例性实施例中,所述根据所述变换坐标填充所述变形三角形图像的像素值,包括根据所述变换坐标对所述变形三角形图像进行双线性插值。由于仿射变换涉及到X方向和Y方向两个方向的变换,在此基础上,进行双线性插值是更为适宜的。示例性地,通过步骤S101~106对人像进行大眼瘦脸或小眼胖脸的结果如图6所示。
本发明的有益效果包括:
1、针对不同尺寸人脸,可自适应获得脸颊、眼睛、鼻子等区域的形变控制量。
2、计算量小,仅对调整的三角形区域进行变换,处理速度快。
3、多个局部位置可以同时进行调整,不会互相影响和干扰。如处理眼睛、鼻子、脸颊等区域,可同时进行,不会因一个区域调整而影响其他区域的处理效果。
一种图像调整装置,包括:
人脸检测模块701,用于对输入图像进行人脸检测,获取人脸特征点集
第一三角剖分模块702,用于根据所述人脸特征点集对所述输入图像进行三角剖分,获得关于所述输入图像的多个原始三角形图像;
坐标调整模块703,对所述人脸特征点集的部分人脸特征点进行坐标调整,获得过渡图像;
第二三角剖分模块704,用于根据坐标调整后的所述人脸特征点集对所述过渡图像进行三角剖分,获得关于所述过渡图像的多个变形三角形图像;
坐标变换模块705,用于判断对应的原始三角形图像和变形三角形图像的顶点坐标是否相同,其中,对应的原始三角形图像和变形三角形图像分别以坐标调整前后的相同的三个人脸特征点为顶点;若不相同,则对所述原始三角形图像中的像素点进行仿射变换,获得像素点在变形三角形图像中的变换坐标;
像素值填充模块706,用于根据所述变换坐标填充所述变形三角形图像的像素值,获得目标图像。
在一个示例性实施例中,所述人脸特征点集包括人脸轮廓特征点、眉毛特征点、眼睛特征点、鼻子特征点和嘴巴特征点。
在一个示例性实施例中,所述人脸检测模块701还包括:
辅助特征点生成模块7011:用于选取若干个所述人脸轮廓特征点进行坐标加权计算,获得位于脸颊区域的脸颊特征点。
在一个示例性实施例中,所述辅助特征点生成模块7011生成的脸颊特征点为两点,其包括:
左脸颊特征点生成模块,用于选取位于左脸颊最高点的人脸轮廓特征点和位于下巴处的人脸轮廓特征点进行坐标加权计算,获取位于左脸颊的脸颊特征点;
右脸颊特征点生成模块,还用于选取位于右脸颊最高点的人脸轮廓特征点和位于下巴处的人脸轮廓特征点进行坐标加权计算,获取位于右脸颊的脸颊特征点。
在一个示例性实施例中,所述坐标调整模块703中,坐标调整的位移量由拟合的不同谐波的正弦分量和余弦分量的叠加获得。所述坐标调整模块703还包括位移量计算模块7031:用于按照如下公式对所述人脸特征点集的部分人脸特征点进行坐标调整:
fx=a1+b1cos(w1i)+c1sin(w1i)+d1cos(2w1i)+e1sin(2w1i)
fy=a2+b2cos(w2i)+c2sin(w2i)+d2cos(2w2i)+e2sin(2w2i)+fcos(3w2i)+gsin(3w2i)
上述公式中,i表示人脸特征点的编号,fx、fy分别表示人脸特征点的横坐标和纵坐标的位移量,a1、b1、c1、d1、e1和a2、b2、c2、d2、e2、f、g为常数,w1和w2为正弦分量和余弦分量的频率。
在一个示例性实施例中,所述第一三角剖分模块702和第二三角剖分模块704,用于将所有人脸特征点以及所述输入图像或过渡图像的四个顶点连接为若干个三角形,对图像区域进行剖分;其中,在形成的两个相邻的三角形构成凸四边形的对角线,在相互交换后,两个内角的最小角不再增大。
在一个示例性实施例中,所述坐标变换模块705,包括
仿射变换矩阵计算模块7051:用于根据对应的原始三角形图像和变形三角形图像的顶点坐标计算对应的原始三角形图像和变形三角形图像之间的仿射变换矩阵;
像素点仿射变换模块7052:根据所述仿射变换矩阵对所述原始三角形图像中的像素点进行仿射变换,获得像素点在变形三角形图像中的变换坐标。
在一个示例性实施例中,所述像素值填充模块706,用于根据所述变换坐标对所述变形三角形图像进行双线性插值。
本发明还提供一种计算机设备,包括:
处理器;
存储器,用于存储可由所述处理器执行的计算机程序;
其中,所述处理器执行所述程序时实现上述任一实施例所记载的图像调整方法。
如图8所示,图8是本发明根据一示例性实施例示出的一种计算机设备的结构框图。
实施例中,计算机设备可以是计算机、手机、平板电脑、交互式智能平板、PDA(Personal Digital Assistant,个人数字助理)、电子书阅读器、多媒体播放器等。实施例中,以计算机设备为交互智能平板为例,进行描述。
存储器801作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明任意实施例所述的图像调整方法程序,以及本发明任意实施例所述的图像调整方法对应的程序指令/模块(例如,图像调整装置中的人脸检测模块701,第一三角剖分模块702,坐标调整模块703,第二三角剖分模块704,坐标变换模块705,像素值填充模块706等)。存储器801可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序;存储数据区可存储根据设备的使用所创建的数据等。此外,存储器801可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器801可进一步包括相对于处理器800远程设置的存储器,这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器800通过运行存储在存储器801中的软件程序、指令以及模块,从而执行设备的各种功能应用以及数据处理,即实现上述的图像调整方法。
具体的,在一个示例性的实施例中,处理器800执行存储器801中存储的一个或多个程序时,具体实现如下操作:输入图像进行人脸检测,获取人脸特征点集;根据所述人脸特征点集对所述输入图像进行三角剖分,获得关于所述输入图像的多个原始三角形图像;对所述人脸特征点集的部分人脸特征点进行坐标调整,获得过渡图像;根据坐标调整后的所述人脸特征点集对所述过渡图像进行三角剖分,获得关于所述过渡图像的多个变形三角形图像;判断对应的原始三角形图像和变形三角形图像的顶点坐标是否相同,其中,对应的原始三角形图像和变形三角形图像分别以坐标调整前后的相同的三个人脸特征点为顶点;若不相同,则对所述原始三角形图像中的像素点进行仿射变换,获得像素点在变形三角形图像中的变换坐标;根据所述变换坐标填充所述变形三角形图像的像素值,获得目标图像。
在上述实施例的基础上,所述人脸特征点集包括人脸轮廓特征点、眉毛特征点、眼睛特征点、鼻子特征点和嘴巴特征点。
在上述实施例的基础上,所述获取人脸特征点集,还包括:选取若干个所述人脸轮廓特征点进行坐标加权计算,获得位于脸颊区域的脸颊特征点。
在上述实施例的基础上,所述选取若干个所述人脸轮廓特征点进行坐标加权计算,获得位于脸颊区域的脸颊特征点,包括:
所述脸颊特征点为两点;
选取位于左脸颊最高点的人脸轮廓特征点和位于下巴处的人脸轮廓特征点进行坐标加权计算,获取位于左脸颊的脸颊特征点;
选取位于右脸颊最高点的人脸轮廓特征点和位于下巴处的人脸轮廓特征点进行坐标加权计算,获取位于右脸颊的脸颊特征点。
在上述实施例的基础上,所述对所述人脸特征点集的部分人脸特征点进行坐标调整,坐标调整的位移量由拟合的不同谐波的正弦分量和余弦分量的叠加获得,包括:
对所述人脸特征点集的人脸特征点按照预设的规则进行编号;
根据人脸特征点的编号并按照如下公式对所述人脸特征点集的部分人脸特征点进行坐标调整:
fx=a1+b1cos(w1i)+c1sin(w1i)+d1cos(2w1i)+e1sin(2w1i)
fy=a2+b2cos(w2i)+c2sin(w2i)+d2cos(2w2i)+e2sin(2w2i)+fcos(3w2i)+gsin(3w2i)
上述公式中,i表示人脸特征点的编号,fx、fy分别表示人脸特征点的横坐标和纵坐标的位移量,a1、b1、c1、d1、e1和a2、b2、c2、d2、e2、f、g为常数,w1和w2为正弦分量和余弦分量的频率。
在上述实施例的基础上,所述根据所述人脸特征点集对所述输入图像进行三角剖分和根据坐标调整后的所述人脸特征点集对所述过渡图像进行三角剖分,包括:
将所有人脸特征点以及所述输入图像或过渡图像的四个顶点连接为若干个三角形,对图像区域进行剖分;其中,在形成的两个相邻的三角形构成凸四边形的对角线,在相互交换后,两个内角的最小角不再增大。
在上述实施例的基础上,所述对所述原始三角形图像中的像素点进行仿射变换,获得像素点在变形三角形图像中的变换坐标,包括:
根据对应的原始三角形图像和变形三角形图像的顶点坐标计算对应的原始三角形图像和变形三角形图像之间的仿射变换矩阵;
根据所述仿射变换矩阵对所述原始三角形图像中的像素点进行仿射变换,获得像素点在变形三角形图像中的变换坐标。
在上述实施例的基础上,所述根据所述变换坐标填充所述变形三角形图像的像素值,包括根据所述变换坐标对所述变形三角形图像进行双线性插值。
上述提供的计算机设备可用于执行上述任意实施例提供的图像调整方法,具备相应的功能和有益效果。上述设备中各个组件的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
对于设备实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的设备实施例仅仅是示意性的,其中所述作为分离部件说明的组件可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。

Claims (10)

1.一种图像调整方法,其特征在于,包括如下步骤:
对输入图像进行人脸检测,获取人脸特征点集;
根据所述人脸特征点集对所述输入图像进行三角剖分,获得关于所述输入图像的多个原始三角形图像;
对所述人脸特征点集的部分人脸特征点进行坐标调整,获得过渡图像;
根据坐标调整后的所述人脸特征点集对所述过渡图像进行三角剖分,获得关于所述过渡图像的多个变形三角形图像;
判断对应的原始三角形图像和变形三角形图像的顶点坐标是否相同,其中,对应的原始三角形图像和变形三角形图像分别以坐标调整前后的相同的三个人脸特征点为顶点;若不相同,则对所述原始三角形图像中的像素点进行仿射变换,获得像素点在变形三角形图像中的变换坐标;
根据所述变换坐标填充所述变形三角形图像的像素值,获得目标图像。
2.根据权利要求1所述的图像调整方法,其特征在于:所述人脸特征点集包括人脸轮廓特征点、眉毛特征点、眼睛特征点、鼻子特征点和嘴巴特征点。
3.根据权利要求2所述的图像调整方法,其特征在于,所述获取人脸特征点集的步骤还包括:选取若干个所述人脸轮廓特征点进行坐标加权计算,获得位于脸颊区域的脸颊特征点。
4.根据权利要求3所述的图像调整方法,其特征在于,所述选取若干个所述人脸轮廓特征点进行坐标加权计算,获得位于脸颊区域的脸颊特征点的步骤,包括:
在所述人脸轮廓特征点的左右两边各选取一个最高点和一个最低点,分别对左右两边选取的所述最高点和所述最低点进行坐标加权计算,获取位于两边脸颊区域的脸颊特征点。
5.根据权利要求1~4任一项所述的图像调整方法,其特征在于,所述对所述人脸特征点集的部分人脸特征点进行坐标调整的步骤中,坐标调整的位移量由拟合的不同谐波的正弦分量和余弦分量的叠加获得。
6.根据权利要求1~4任一项所述的图像调整方法,其特征在于,所述根据所述人脸特征点集对所述输入图像进行三角剖分和根据坐标调整后的所述人脸特征点集对所述过渡图像进行三角剖分,包括如下步骤:
将所有人脸特征点以及所述输入图像或过渡图像的四个顶点连接为若干个三角形,对图像区域进行剖分。
7.根据权利要求1所述的图像调整方法,其特征在于,所述对所述原始三角形图像中的像素点进行仿射变换,获得像素点在变形三角形图像中的变换坐标的步骤,包括:
根据对应的原始三角形图像和变形三角形图像的顶点坐标计算对应的原始三角形图像和变形三角形图像之间的仿射变换矩阵;
根据所述仿射变换矩阵对所述原始三角形图像中的像素点进行仿射变换,获得像素点在变形三角形图像中的变换坐标。
8.根据权利要求1所述的图像调整方法,其特征在于:所述根据所述变换坐标填充所述变形三角形图像的像素值,包括根据所述变换坐标对所述变形三角形图像进行双线性插值。
9.一种图像调整装置,其特征在于,所述装置包括:
人脸检测模块,用于对输入图像进行人脸检测,获取人脸特征点集
第一三角剖分模块,用于根据所述人脸特征点集对所述输入图像进行三角剖分,获得关于所述输入图像的多个原始三角形图像;
坐标调整模块,对所述人脸特征点集的部分人脸特征点进行坐标调整,获得过渡图像;
第二三角剖分模块,用于根据坐标调整后的所述人脸特征点集对所述过渡图像进行三角剖分,获得关于所述过渡图像的多个变形三角形图像;
坐标变换模块,用于判断对应的原始三角形图像和变形三角形图像的顶点坐标是否相同,其中,对应的原始三角形图像和变形三角形图像分别以坐标调整前后的相同的三个人脸特征点为顶点;若不相同,则对所述原始三角形图像中的像素点进行仿射变换,获得像素点在变形三角形图像中的变换坐标;
像素值填充模块,用于根据所述变换坐标填充所述变形三角形图像的像素值,获得目标图像。
10.一种计算机设备,其特征在于,包括:
存储器以及处理器;
所述存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-8中任一所述的图像调整方法。
CN201910670790.7A 2019-07-24 2019-07-24 图像调整方法、装置和计算机设备 Pending CN110555812A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910670790.7A CN110555812A (zh) 2019-07-24 2019-07-24 图像调整方法、装置和计算机设备
PCT/CN2019/126719 WO2021012599A1 (zh) 2019-07-24 2019-12-19 图像调整方法、装置和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910670790.7A CN110555812A (zh) 2019-07-24 2019-07-24 图像调整方法、装置和计算机设备

Publications (1)

Publication Number Publication Date
CN110555812A true CN110555812A (zh) 2019-12-10

Family

ID=68735883

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910670790.7A Pending CN110555812A (zh) 2019-07-24 2019-07-24 图像调整方法、装置和计算机设备

Country Status (2)

Country Link
CN (1) CN110555812A (zh)
WO (1) WO2021012599A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021012599A1 (zh) * 2019-07-24 2021-01-28 广州视源电子科技股份有限公司 图像调整方法、装置和计算机设备
CN112488977A (zh) * 2020-12-22 2021-03-12 北京达佳互联信息技术有限公司 一种图像处理方法、装置、电子设备及存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112884642B (zh) * 2021-03-23 2022-07-08 福州大学 一种基于人脸识别技术的实时面部老化模拟方法
CN113436063B (zh) * 2021-07-30 2024-03-05 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN113961746B (zh) * 2021-09-29 2023-11-21 北京百度网讯科技有限公司 视频生成方法、装置、电子设备及可读存储介质
CN115187822B (zh) * 2022-07-28 2023-06-30 广州方硅信息技术有限公司 人脸图像数据集分析方法、直播人脸图像处理方法及装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002003709A2 (en) * 2000-06-30 2002-01-10 Intel Corporation Method of video coding the movement of a human face from a sequence of images
CN101347332A (zh) * 2008-08-22 2009-01-21 深圳先进技术研究院 一种人脸三维面形数字化测量***的测量方法及设备
CN102663413A (zh) * 2012-03-09 2012-09-12 中盾信安科技(江苏)有限公司 一种面向多姿态和跨年龄的人脸图像认证方法
CN105894446A (zh) * 2016-05-09 2016-08-24 西安北升信息科技有限公司 一种视频中的自动脸部轮廓修饰方法
CN106980809A (zh) * 2016-01-19 2017-07-25 深圳市朗驰欣创科技股份有限公司 一种基于asm的人脸特征点检测方法
CN107527034A (zh) * 2017-08-28 2017-12-29 维沃移动通信有限公司 一种面部轮廓调整方法及移动终端
CN108537126A (zh) * 2018-03-13 2018-09-14 东北大学 一种人脸图像处理***及方法
CN108876705A (zh) * 2017-11-23 2018-11-23 北京旷视科技有限公司 图像合成的方法、装置及计算机存储介质
CN109242905A (zh) * 2018-08-31 2019-01-18 华中科技大学 一种基于数字图像衍射确定物***移量及方向的方法
CN109522910A (zh) * 2018-12-25 2019-03-26 浙江商汤科技开发有限公司 关键点检测方法及装置、电子设备和存储介质
CN110049351A (zh) * 2019-05-23 2019-07-23 北京百度网讯科技有限公司 视频流中人脸变形的方法和装置、电子设备、计算机可读介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109697688B (zh) * 2017-10-20 2023-08-04 虹软科技股份有限公司 一种用于图像处理的方法和装置
CN110555812A (zh) * 2019-07-24 2019-12-10 广州视源电子科技股份有限公司 图像调整方法、装置和计算机设备

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002003709A2 (en) * 2000-06-30 2002-01-10 Intel Corporation Method of video coding the movement of a human face from a sequence of images
CN101347332A (zh) * 2008-08-22 2009-01-21 深圳先进技术研究院 一种人脸三维面形数字化测量***的测量方法及设备
CN102663413A (zh) * 2012-03-09 2012-09-12 中盾信安科技(江苏)有限公司 一种面向多姿态和跨年龄的人脸图像认证方法
CN106980809A (zh) * 2016-01-19 2017-07-25 深圳市朗驰欣创科技股份有限公司 一种基于asm的人脸特征点检测方法
CN105894446A (zh) * 2016-05-09 2016-08-24 西安北升信息科技有限公司 一种视频中的自动脸部轮廓修饰方法
CN107527034A (zh) * 2017-08-28 2017-12-29 维沃移动通信有限公司 一种面部轮廓调整方法及移动终端
CN108876705A (zh) * 2017-11-23 2018-11-23 北京旷视科技有限公司 图像合成的方法、装置及计算机存储介质
CN108537126A (zh) * 2018-03-13 2018-09-14 东北大学 一种人脸图像处理***及方法
CN109242905A (zh) * 2018-08-31 2019-01-18 华中科技大学 一种基于数字图像衍射确定物***移量及方向的方法
CN109522910A (zh) * 2018-12-25 2019-03-26 浙江商汤科技开发有限公司 关键点检测方法及装置、电子设备和存储介质
CN110049351A (zh) * 2019-05-23 2019-07-23 北京百度网讯科技有限公司 视频流中人脸变形的方法和装置、电子设备、计算机可读介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SHERIN F. ALY: "Techniques for Facial Expression Recognition using the Kinect", 《VTECHWORKS.LIB.VT.EDU》 *
郑青碧 等: "基于关键特征点的人脸纹理映射", 《计算机与数字工程》 *
陈鸿: "人脸图像变形技术研究", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021012599A1 (zh) * 2019-07-24 2021-01-28 广州视源电子科技股份有限公司 图像调整方法、装置和计算机设备
CN112488977A (zh) * 2020-12-22 2021-03-12 北京达佳互联信息技术有限公司 一种图像处理方法、装置、电子设备及存储介质
CN112488977B (zh) * 2020-12-22 2024-06-11 北京达佳互联信息技术有限公司 一种图像处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
WO2021012599A1 (zh) 2021-01-28

Similar Documents

Publication Publication Date Title
CN110555812A (zh) 图像调整方法、装置和计算机设备
US10691927B2 (en) Image deformation processing method and apparatus, and computer storage medium
CN106846241B (zh) 一种图像融合的方法、装置和设备
CN111784821B (zh) 三维模型生成方法、装置、计算机设备及存储介质
CN107564080B (zh) 一种人脸图像的替换***
AU2018253460B2 (en) Framework for local parameterization of 3d meshes
US20160163083A1 (en) Real-time reconstruction of the human body and automated avatar synthesis
CN107507216A (zh) 图像中局部区域的替换方法、装置及存储介质
CN109711419A (zh) 图像处理方法、装置、计算机设备及存储介质
CN111951384A (zh) 一种基于单张人脸图片的三维人脸重建方法和***
CN115239861A (zh) 人脸数据增强方法、装置、计算机设备和存储介质
CN105551001B (zh) 一种图像重建方法、装置及设备
CN114424239A (zh) 用于光线追踪应用中的循环模糊的去噪技术
CN107590858A (zh) 基于ar技术的医学样品展示方法和计算机设备、存储介质
CN109035380B (zh) 基于三维重建的人脸修饰方法、装置、设备及存储介质
JP6852224B2 (ja) 全視角方向の球体ライトフィールドレンダリング方法
WO2018140223A1 (en) Stereo rendering
CN113223137B (zh) 透视投影人脸点云图的生成方法、装置及电子设备
CN108876704B (zh) 人脸图像变形的方法、装置及计算机存储介质
CN111275610B (zh) 一种人脸变老图像处理方法及***
CN116109803B (zh) 信息构建方法、装置、设备及存储介质
KR20180105210A (ko) 이미지 처리 방법 및 장치
CN116977539A (zh) 图像处理方法、装置、计算机设备、存储介质和程序产品
An et al. Self-adaptive polygon mesh reconstruction based on ball-pivoting algorithm
CN113064539B (zh) 特效控制方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191210

RJ01 Rejection of invention patent application after publication