CN108109115B - 人物图像的增强方法、装置、设备及存储介质 - Google Patents

人物图像的增强方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN108109115B
CN108109115B CN201711284845.8A CN201711284845A CN108109115B CN 108109115 B CN108109115 B CN 108109115B CN 201711284845 A CN201711284845 A CN 201711284845A CN 108109115 B CN108109115 B CN 108109115B
Authority
CN
China
Prior art keywords
image
portrait
preset
value
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711284845.8A
Other languages
English (en)
Other versions
CN108109115A (zh
Inventor
张小燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201711284845.8A priority Critical patent/CN108109115B/zh
Publication of CN108109115A publication Critical patent/CN108109115A/zh
Application granted granted Critical
Publication of CN108109115B publication Critical patent/CN108109115B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明适用图像处理技术领域，提供了一种人物图像的增强方法、装置、设备及存储介质，该方法包括：当接收到人物图像的增强请求时，对人物图像的前景和背景进行窗口的分割，得到分割后的背景区域图像、皮肤区域图像以及剩余区域图像，根据预设的特征点提取数量，提取背景区域图像、皮肤区域图像以及剩余区域图像的图像特征以及各个区域图像之间的关系特征，根据提取到的图像特征以及关系特征，在预设的肖像画数据库中选择参考肖像画，根据选择到的参考肖像画和预设的对比度增强算法，对人物图像进行对比度增强，以得到增强后的人物图像，从而提高了人物图像的画面美感，使得增强后的人物在图像中的特征更显著。

Description

人物图像的增强方法、装置、设备及存储介质
技术领域
本发明属于图像处理技术领域，尤其涉及一种人物图像的增强方法、装置、设备及存储介质。
背景技术
图像增强的主要目的是改善图像的视觉效果，针对给定图像的应用场合，有目的地强调图像的整体或局部特性，将原来不清晰的图像变得清晰或强调某些感兴趣的特征，扩大图像中不同物体特征之间的差别，抑制不感兴趣的特征，改善图像质量、丰富信息量，加强图像判读和识别效果。
随着近来图像增强的发展，目前国内外针对图像增强做了大量的研究，其中，人像渲染已经成为计算机视觉和计算机图形研究界的一个有趣的话题。科尔顿提出使用非真实感渲染(NPR)***来自动生成艺术风格的人物图像，这种NPR***的艺术风格主要基于绘画材料、调色板和画笔模型，最近的一些研究工作也试图以艺术风格渲染人物图像，然而，风格仅限于模拟抽象、线条样式等，人脸图像是另一个受欢迎的研究课题，使用面部照明模板或示例面部图像作为参考，以引导人脸图像为输入图像，所有这些关于人物图像主题的研究工作只关注于人脸的处理，而没有考虑图像中脸部与背景和其它部分的关系，导致处理后的图像整体效果不佳。
发明内容
本发明的目的在于提供一种人物图像的增强方法、装置、设备及存储介质，旨在解决由于现有技术无法提供一种有效的人物图像的增强方法，导致人物图像的人物特征不明显、画面美感差的问题。
一方面，本发明提供了一种人物图像的增强方法，所述方法包括下述步骤：
当接收到人物图像的增强请求时，对所述人物图像的前景和背景进行窗口的分割，得到分割后的背景区域图像、皮肤区域图像以及剩余区域图像；
根据预设的特征点提取数量，提取所述背景区域图像、所述皮肤区域图像以及所述剩余区域图像的图像特征以及各个区域图像之间的关系特征；
根据提取到的所述图像特征以及所述关系特征，在预设的肖像画数据库中选择参考肖像画；
根据所述选择到的参考肖像画和预设的对比度增强算法，对所述人物图像进行对比度增强，以得到增强后的人物图像。
另一方面，本发明提供了一种人物图像的增强装置，所述装置包括：
图像分割单元，用于当接收到人物图像的增强请求时，对所述人物图像的前景和背景进行窗口的分割，得到分割后的背景区域图像、皮肤区域图像以及剩余区域图像；
特征提取单元，用于根据预设的特征点提取数量，提取所述背景区域图像、所述皮肤区域图像以及所述剩余区域图像的图像特征以及各个区域图像之间的关系特征；
肖像画选择单元，用于根据提取到的所述图像特征以及所述关系特征，在预设的肖像画数据库中选择参考肖像画；以及
对比度增强单元，用于根据所述选择到的参考肖像画和预设的对比度增强算法，对所述人物图像进行对比度增强，以得到增强后的人物图像。
另一方面，本发明还提供了一种计算设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如前所述方法的步骤。
另一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如前所述方法的步骤。
本发明当接收到人物图像的增强请求时，对人物图像的前景和背景进行窗口的分割，得到分割后的背景区域图像、皮肤区域图像以及剩余区域图像，根据预设的特征点提取数量，提取背景区域图像、皮肤区域图像以及剩余区域图像的图像特征以及各个区域图像之间的关系特征，根据提取到的图像特征以及关系特征，在预设的肖像画数据库中选择参考肖像画，根据选择到的参考肖像画和预设的对比度增强算法，对人物图像进行对比度增强，以得到增强后的人物图像，从而提高了人物图像的画面美感，使得增强后的人物在图像中的特征更显著。
附图说明
图1是本发明实施例一提供的人物图像的增强方法的实现流程图；
图2是本发明实施例二提供的人物图像的增强装置的结构示意图；
图3是本发明实施例二提供的人物图像的增强装置的优选结构示意图；
图4是本发明实施例三提供的计算设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
以下结合具体实施例对本发明的具体实现进行详细描述：
实施例一：
图1示出了本发明实施例一提供的人物图像的增强方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
在步骤S101中，当接收到人物图像的增强请求时，对人物图像的前景和背景进行窗口的分割，得到分割后的背景区域图像、皮肤区域图像以及剩余区域图像。
本发明实施例适用于计算设备，例如，个人计算机、智能手机、平板等。当接收到人物图像的增强请求时，使用图像分割算法对人物图像的前景和背景进行窗口的分割，优选地，在对前景进行分割时，可以通过对面部皮肤区域进行检测，在这里可以使用Haar检测器检测面部，根据检测到的面部皮肤区域的位置和大小来估计上半身区域，从而获取比较精确的前景人物轮廓，提高前景分割的准确性。具体地，上半身区域的窗口被定义为R＝F+diag(A)B，其中F＝[x，y，W，H]T，B＝[W，H，W，H]T，A是预设的放大面部窗口的比例向量，(x，y)为预设的左上角位置坐标，W为面部的宽度，H为面部的高度。进一步优选地，对于具有复杂背景的人物图像，前景分割不太准确，提供一个用户界面，用于接收用户绘制输入的、用于分割前景图像的笔画，以通过人工优化图像分割，从而进一步提高了前景分割的准确性。
在步骤S102中，根据预设的特征点提取数量，提取背景区域图像、皮肤区域图像以及剩余区域图像的图像特征以及各个区域图像之间的关系特征。
在本发明实施例中，根据预设的特征点提取数量，提取各个区域图像的图像特征以及各个区域图像之间的关系特征，预设的特征点为各个区域图像的亮度和饱和度的平均值、亮度和饱和度的10位直方图、亮度和饱和度分布的最大值、最小值、亮度和饱和度对比度值以及各个区域图像之间的亮度和饱和度的对比度值。优选地，通过特征向量
Figure BDA0001498225490000041
来描述各个区域图像的图像特征以及各个区域图像之间的关系特征，其中ψ＝{ψS,ψO,ψB}，ψS，ψO，ψB分别是皮肤区域图像，剩余区域图像和背景区域图像的图像特征，
Figure BDA0001498225490000042
Figure BDA0001498225490000043
分别是皮肤区域图像和剩余区域图像，皮肤区域图像和背景区域图像以及剩余区域图像和背景区域图像之间的关系特征，从而简化对图像特征和关系特征的描述。
在步骤S103中，根据提取到的图像特征以及关系特征，在预设的肖像画数据库中选择参考肖像画。
在本发明实施例中，根据提取到的人物图像的原始图像特征以及关系特征，在预设的肖像画数据库中选择与人物图像相似的参考肖像画，优选地，采用基于图表模型的距离度量学习来确定肖像画和人物图像的相似性，首先，通过最小化目标函数
Figure BDA0001498225490000051
进行机器学习，确定人物图像和参考肖像画的相似度参数γ，其中，
Figure BDA0001498225490000052
D(i,j)表示预先构建的训练照片库中的训练照片和预设的肖像画数据库中的肖像画的距离度量，
Figure BDA0001498225490000053
是第i个训练照片的第k个特征点的特征，
Figure BDA0001498225490000054
是以与训练照片相同的方式形成的第j个肖像画的第k个特征点的特征，N为预设的特征点提取数量，
Figure BDA0001498225490000055
表示目标距离函数，S(i,j)是以第j个肖像画作为参考的对第i个训练照片的预设指定得分，之后，根据确定的人物图像和参考肖像画的相似度参数γ，通过公式
Figure BDA0001498225490000056
计算人物图像和预设的肖像画数据库中的肖像画的距离，之后，当计算得到的距离满足预设阈值时，选取满足预设阈值的预设的肖像画数据库中的肖像画作为参考肖像画，从而提高了选择到的参考肖像画与人物图像的相似性。
在步骤S104中，根据选择到的参考肖像画和预设的对比度增强算法，对人物图像进行对比度增强，以得到增强后的人物图像。
在本发明实施例中，根据选择到的参考肖像画和预设的对比度增强算法，对前述人物图像分割得到的背景区域图像、皮肤区域图像以及剩余区域图像进行对比度增强，以得到增强后的人物图像。
优选地，使用对比度拉伸对人物图像进行对比度增强，在区域图像的对比度拉伸过程中，区域图像的扩散范围可以表示为最大-最小值，因此，可以映射得到区域图像的图像特征最大值和最小值，以提高人物图像对比度的增强效率。进一步优选地，对人物图像进行对比度增强时，首先，根据公式
Figure BDA0001498225490000057
以及
Figure BDA00014982254900000510
分别计算每个区域图像的目标平均值
Figure BDA0001498225490000061
目标对比度值
Figure BDA0001498225490000062
目标最大值
Figure BDA0001498225490000063
以及目标最小值
Figure BDA0001498225490000064
其中，ms为人物图像的一个区域图像提取的平均值，mr为参考肖像画和人物图像对应区域图像的平均值，α为预设的移位幅度，α∈[0，1]，Cs为人物图像的一个区域图像提取的对比度值，Cr为参考肖像画和人物图像对应区域图像的对比度值，β为预设的权重，β∈[0，1]，
Figure BDA0001498225490000065
为区域图像扩散范围的增强度，
Figure BDA0001498225490000066
和
Figure BDA0001498225490000067
是参考肖像画和人物图像对应区域图像的最小值和最大值，之后，根据计算得到的目标平均值
Figure BDA0001498225490000068
目标最大值
Figure BDA0001498225490000069
和目标最小值
Figure BDA00014982254900000610
将人物图像的一个区域图像提取的平均值ms、最大值Imax和最小值Imin与目标平均值
Figure BDA00014982254900000611
目标最大值
Figure BDA00014982254900000612
和目标最小值
Figure BDA00014982254900000613
进行对比度映射，对比度映射可以表达为
Figure BDA00014982254900000614
经过迭代，将人物图像的该区域图像的平均值ms、最大值Imax和最小值Imin收敛到目标值，以完成对人物图像的对比度增强，从而提高了对比度增强效果。
为了有效地执行对比度映射，进一步优选地，通过分段二次插值方法对人物图像的平均值、最大值以及最小值进行调整，对于给定的一组控制点(ak,bk,dk)，使用分段理论二次插值样条：
Figure BDA00014982254900000615
其中
Figure BDA00014982254900000617
x∈[ak-1，ak]，ak为人物图像的一区域图像特征点的特征，bk＝f(ak)为该特征经过映射后输出的值，K为控制点的个数，dk＝ft(ak)是对ak进行调整的斜率。作为示例地，给定三个控制点为
Figure BDA00014982254900000618
Figure BDA00014982254900000619
和
Figure BDA00014982254900000620
两个端点(0,0,d0)和(1,1,d4)，初始化
Figure BDA00014982254900000621
则
Figure BDA00014982254900000623
其中，
Figure BDA00014982254900000624
和
Figure BDA00014982254900000625
是斜率权重，F(x)是累积分布函数，k＝{1，2，3}，从而进一步提高了对比度增强效果。
优选地，通过能量成本函数
Figure BDA0001498225490000071
对区域图像之间的边界进行平滑，其中，
Figure BDA0001498225490000072
D为输出的差分图像，F为CIELCH空间中的L或C通道，p为差分图像的像素索引，d为输入的差分图像，(Dx,Dy)是D的梯度，(gx,gy)是F的梯度，θ是预设的控制对梯度的灵敏度，ε是预设的正则化常数，
Figure BDA0001498225490000073
τ1大于τ2，从而使得增强后的人物图像的边界平滑，提高了人物图像的美感。
在本发明实施例中，当接收到人物图像的增强请求时，对人物图像的前景和背景进行窗口的分割，得到分割后的背景区域图像、皮肤区域图像以及剩余区域图像，根据预设的特征点提取数量，提取背景区域图像、皮肤区域图像以及剩余区域图像的图像特征以及各个区域图像之间的关系特征，根据提取到的图像特征以及关系特征，在预设的肖像画数据库中选择参考肖像画，根据选择到的参考肖像画和预设的对比度增强算法，对人物图像进行对比度增强，以得到增强后的人物图像，从而提高了人物图像的画面美感，使得增强后的人物在图像中的特征更显著。
实施例二：
图2示出了本发明实施例二提供的人物图像的增强装置的结构，为了便于说明，仅示出了与本发明实施例相关的部分，其中包括：
图像分割单元21，用于当接收到人物图像的增强请求时，对人物图像的前景和背景进行窗口的分割，得到分割后的背景区域图像、皮肤区域图像以及剩余区域图像；
特征提取单元22，用于根据预设的特征点提取数量，提取背景区域图像、皮肤区域图像以及剩余区域图像的图像特征以及各个区域图像之间的关系特征；
肖像画选择单元23，用于根据提取到的图像特征以及关系特征，在预设的肖像画数据库中选择参考肖像画；以及
对比度增强单元24，用于根据选择到的参考肖像画和预设的对比度增强算法，对人物图像进行对比度增强，以得到增强后的人物图像。
如图3所示，优选地，本发明实施例的人物图像的增强装置还包括：
边界平滑单元25，用于通过公式
Figure BDA0001498225490000081
对区域图像之间的边界进行平滑，其中，
Figure BDA0001498225490000082
D为输出的差分图像，F为CIELCH空间中的L或C通道，p为差分图像的像素索引，d为输入的差分图像，(Dx,Dy)是D的梯度，(gx,gy)是F的梯度，θ是预设的控制对梯度的灵敏度，ε是预设的正则化常数，
Figure BDA0001498225490000083
τ1大于τ2。
其中，肖像画选择单元23包括：
参数学习单元231，用于通过最小化目标函数
Figure BDA0001498225490000084
进行机器学习，确定人物图像和参考肖像画的相似度参数γ，其中，
Figure BDA0001498225490000085
D(i,j)表示预先构建的训练照片库中的训练照片和预设的肖像画数据库中的肖像画的距离度量，
Figure BDA0001498225490000086
是第i个训练照片的第k个特征点的特征，
Figure BDA0001498225490000087
是以与训练照片相同的方式形成的第j个肖像画的第k个特征点的特征，N为预设的特征点提取数量，
Figure BDA0001498225490000088
表示目标距离函数，S(i,j)是以第j个肖像画作为参考的对第i个训练照片的预设指定得分；
距离计算单元232，用于根据确定的人物图像和参考肖像画的相似度参数γ，通过公式
Figure BDA0001498225490000089
计算人物图像和预设的肖像画数据库中的肖像画的距离；以及
肖像画选择子单元233，用于当计算得到的距离满足预设阈值时，选取满足预设阈值的预设的肖像画数据库中的肖像画作为参考肖像画。
对比度增强单元24包括：
目标值计算单元241，用于根据公式
Figure BDA0001498225490000092
Figure BDA0001498225490000093
以及
Figure BDA0001498225490000094
分别计算区域图像的目标平均值
Figure BDA0001498225490000095
目标对比度值
Figure BDA0001498225490000096
目标最大值
Figure BDA0001498225490000097
以及目标最小值
Figure BDA0001498225490000098
其中，ms为人物图像的一个区域图像提取的平均值，mr为参考肖像画和人物图像对应区域图像的平均值，α为预设的移位幅度，α∈[0，1]，Cs为人物图像的一个区域图像提取的对比度值，Cr为参考肖像画和人物图像对应区域图像的对比度值，β为预设的权重，β∈[0，1]，
Figure BDA0001498225490000099
为区域图像扩散范围的增强度，
Figure BDA00014982254900000915
和
Figure BDA00014982254900000910
是参考肖像画和人物图像对应区域图像的最小值和最大值；以及
对比度增强子单元242，用于根据计算得到的目标平均值
Figure BDA00014982254900000911
目标最大值
Figure BDA00014982254900000912
和目标最小值
Figure BDA00014982254900000913
通过对对比度映射
Figure BDA00014982254900000914
进行迭代，将人物图像的区域图像的平均值ms、最大值Imax和最小值Imin收敛到目标值，以完成对人物图像的对比度增强。
在本发明实施例中，人物图像的增强装置的各单元可由相应的硬件或软件单元实现，各单元可以为独立的软、硬件单元，也可以集成为一个软、硬件单元，在此不用以限制本发明，各单元的具体实施方式可参考实施例一的描述，在此不再赘述。
实施例三：
图4示出了本发明实施例三提供的计算设备的结构，为了便于说明，仅示出了与本发明实施例相关的部分。
本发明实施例的计算设备4包括处理器40、存储器41以及存储在存储器41中并可在处理器40上运行的计算机程序42。该处理器40执行计算机程序42时实现上述人物图像的增强方法实施例中的步骤，例如图1所示的步骤S101至S104。或者，处理器40执行计算机程序42时实现上述各装置实施例中各单元的功能，例如图2所示单元21至24的功能。
在本发明实施例中，当接收到人物图像的增强请求时，对人物图像的前景和背景进行窗口的分割，得到分割后的背景区域图像、皮肤区域图像以及剩余区域图像，根据预设的特征点提取数量，提取背景区域图像、皮肤区域图像以及剩余区域图像的图像特征以及各个区域图像之间的关系特征，根据提取到的图像特征以及关系特征，在预设的肖像画数据库中选择参考肖像画，根据选择到的参考肖像画和预设的对比度增强算法，对人物图像进行对比度增强，以得到增强后的人物图像，从而提高了人物图像的画面美感，使得增强后的人物在图像中的特征更显著。
本发明实施例的计算设备可以为个人计算机、智能手机、平板。该计算设备4中处理器40执行计算机程序42时实现人物图像的增强方法时实现的步骤可参考前述方法实施例的描述，在此不再赘述。
实施例四：
在本发明实施例中，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述人物图像的增强方法实施例中的步骤，例如，图1所示的步骤S101至S104。或者，该计算机程序被处理器执行时实现上述各装置实施例中各单元的功能，例如图2所示单元21至24的功能。
在本发明实施例中，当接收到人物图像的增强请求时，对人物图像的前景和背景进行窗口的分割，得到分割后的背景区域图像、皮肤区域图像以及剩余区域图像，根据预设的特征点提取数量，提取背景区域图像、皮肤区域图像以及剩余区域图像的图像特征以及各个区域图像之间的关系特征，根据提取到的图像特征以及关系特征，在预设的肖像画数据库中选择参考肖像画，根据选择到的参考肖像画和预设的对比度增强算法，对人物图像进行对比度增强，以得到增强后的人物图像，从而提高了人物图像的画面美感，使得增强后的人物在图像中的特征更显著。
本发明实施例的计算机可读存储介质可以包括能够携带计算机程序代码的任何实体或装置、记录介质，例如，ROM/RAM、磁盘、光盘、闪存等存储器。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种人物图像的增强方法，其特征在于，所述方法包括下述步骤：
当接收到人物图像的增强请求时，对所述人物图像的前景和背景进行窗口分割，得到分割后的背景区域图像、皮肤区域图像以及剩余区域图像，在对前景进行分割时，使用Haar检测器检测所述人物图像的面部，根据检测到的面部皮肤区域的位置和大小来估计上半身区域，上半身区域的窗口定义为R＝F+diag(A)B，其中，F＝[x，y，W，H]T，B＝[W，H，W，H]T，A是预设的放大面部窗口的比例向量，(x，y)为预设的左上角位置坐标，W为面部的宽度，H为面部的高度；
根据预设的特征点提取数量，提取所述背景区域图像、所述皮肤区域图像以及所述剩余区域图像的图像特征以及各个区域图像之间的关系特征；
根据提取到的所述图像特征以及所述关系特征，在预设的肖像画数据库中选择参考肖像画；
根据所述选择到的参考肖像画和预设的对比度增强算法，对所述人物图像进行对比度增强，以得到增强后的人物图像。
2.如权利要求1所述的方法，其特征在于，根据提取到的所述图像特征以及所述关系特征，在预设的肖像画数据库中选择参考肖像画的步骤，包括：
通过最小化目标函数
Figure FDA0003228973020000011
进行机器学习，确定所述人物图像和所述参考肖像画的相似度参数γ，其中，
Figure FDA0003228973020000012
D(i,j)表示预先构建的训练照片库中的训练照片和所述预设的肖像画数据库中的肖像画的距离度量，
Figure FDA0003228973020000013
是所述第i个训练照片的第k个特征点的特征，
Figure FDA0003228973020000014
是以与训练照片相同的方式形成的所述第j个肖像画的第k个特征点的特征，N为所述预设的特征点提取数量，
Figure FDA0003228973020000015
表示目标距离函数，S(i,j)是以所述第j个肖像画作为参考的对所述第i个训练照片的预设指定得分；
根据确定的所述人物图像和所述参考肖像画的相似度参数γ，通过公式
Figure FDA0003228973020000021
计算所述人物图像和所述预设的肖像画数据库中的肖像画的距离；
当计算得到的所述距离满足预设阈值时，选取满足所述预设阈值的所述预设的肖像画数据库中的肖像画作为参考肖像画。
3.如权利要求1所述的方法，其特征在于，根据所述选择到的参考肖像画和预设的对比度增强算法，对所述人物图像进行对比度增强的步骤，包括：
根据公式
Figure FDA0003228973020000022
以及
Figure FDA0003228973020000023
分别计算区域图像的目标平均值
Figure FDA0003228973020000024
目标对比度值
Figure FDA0003228973020000025
目标最大值
Figure FDA0003228973020000026
以及目标最小值
Figure FDA0003228973020000027
其中，ms为所述人物图像的一个区域图像提取的平均值，mr为所述参考肖像画和所述人物图像对应区域图像的平均值，α为预设的移位幅度，α∈[0，1]，Cs为所述人物图像的一个区域图像提取的对比度值，Cr为所述参考肖像画和所述人物图像对应区域图像的对比度值，β为预设的权重，β∈[0，1]，
Figure FDA0003228973020000028
为区域图像扩散范围的增强度，
Figure FDA0003228973020000029
和
Figure FDA00032289730200000210
是所述参考肖像画和所述人物图像对应区域图像的最小值和最大值；
根据计算得到的所述目标平均值
Figure FDA00032289730200000211
所述目标最大值
Figure FDA00032289730200000212
和所述目标最小值
Figure FDA00032289730200000213
通过对对比度映射
Figure FDA00032289730200000214
进行迭代，将所述人物图像的区域图像的平均值ms、最大值Imax和最小值Imin收敛到目标值，以完成对所述人物图像的对比度增强。
4.如权利要求1所述的方法，其特征在于，根据所述选择到的参考肖像画和预设的对比度增强算法，对所述人物图像进行对比度增强的步骤之后，包括：
通过公式
Figure FDA00032289730200000215
对区域图像之间的边界进行平滑，其中，
Figure FDA0003228973020000031
D为输出的差分图像，F为CIE LCH空间中的L或C通道，p为差分图像的像素索引，d为输入的差分图像，(Dx,Dy)是D的梯度，(gx,gy)是F的梯度，θ是预设的控制对梯度的灵敏度，ε是预设的正则化常数，
Figure FDA0003228973020000032
τ1大于τ2。
5.一种人物图像的增强装置，其特征在于，所述装置包括：
图像分割单元，用于当接收到人物图像的增强请求时，对所述人物图像的前景和背景进行窗口分割，得到分割后的背景区域图像、皮肤区域图像以及剩余区域图像，在对前景进行分割时，使用Haar检测所述人物图像的面部，根据检测到的面部皮肤区域的位置和大小来估计上半身区域，上半身区域的窗口定义为R＝F+diag(A)B，其中，F＝[x，y，W，H]T，B＝[W，H，W，H]T，A是预设的放大面部窗口的比例向量，(x，y)为预设的左上角位置坐标，W为面部的宽度，H为面部的高度；
特征提取单元，用于根据预设的特征点提取数量，提取所述背景区域图像、所述皮肤区域图像以及所述剩余区域图像的图像特征以及各个区域图像之间的关系特征；
肖像画选择单元，用于根据提取到的所述图像特征以及所述关系特征，在预设的肖像画数据库中选择参考肖像画；以及
对比度增强单元，用于根据所述选择到的参考肖像画和预设的对比度增强算法，对所述人物图像进行对比度增强，以得到增强后的人物图像。
6.如权利要求5所述的装置，其特征在于，所述肖像画选择单元包括：
参数学习单元，用于通过最小化目标函数
Figure FDA0003228973020000033
进行机器学习，确定所述人物图像和所述参考肖像画的相似度参数γ，其中，
Figure FDA0003228973020000034
D(i,j)表示预先构建的训练照片库中的训练照片和所述预设的肖像画数据库中的肖像画的距离度量，
Figure FDA0003228973020000041
是所述第i个训练照片的第k个特征点的特征，
Figure FDA0003228973020000042
是以与训练照片相同的方式形成的所述第j个肖像画的第k个特征点的特征，N为所述预设的特征点提取数量，
Figure FDA0003228973020000043
表示目标距离函数，S(i,j)是以所述第j个肖像画作为参考的对所述第i个训练照片的预设指定得分；
距离计算单元，用于根据确定的所述人物图像和所述参考肖像画的相似度参数γ，通过公式
Figure FDA0003228973020000044
计算所述人物图像和所述预设的肖像画数据库中的肖像画的距离；以及
肖像画选择子单元，用于当计算得到的所述距离满足预设阈值时，选取满足所述预设阈值的所述预设的肖像画数据库中的肖像画作为参考肖像画。
7.如权利要求5所述的装置，其特征在于，所述对比度增强单元包括：
目标值计算单元，用于根据公式
Figure FDA0003228973020000045
Figure FDA0003228973020000046
以及
Figure FDA0003228973020000047
分别计算区域图像的目标平均值
Figure FDA0003228973020000048
目标对比度值
Figure FDA0003228973020000049
目标最大值
Figure FDA00032289730200000410
以及目标最小值
Figure FDA00032289730200000411
其中，ms为所述人物图像的一个区域图像提取的平均值，mr为所述参考肖像画和所述人物图像对应区域图像的平均值，α为预设的移位幅度，α∈[0，1]，Cs为所述人物图像的一个区域图像提取的对比度值，Cr为所述参考肖像画和所述人物图像对应区域图像的对比度值，β为预设的权重，β∈[0，1]，
Figure FDA00032289730200000412
为区域图像扩散范围的增强度，
Figure FDA00032289730200000413
和
Figure FDA00032289730200000414
是所述参考肖像画和所述人物图像对应区域图像的最小值和最大值；以及
对比度增强子单元，用于根据计算得到的所述目标平均值
Figure FDA00032289730200000415
所述目标最大值
Figure FDA00032289730200000416
和所述目标最小值
Figure FDA00032289730200000417
通过对对比度映射
Figure FDA00032289730200000418
进行迭代，将所述人物图像的区域图像的平均值ms、最大值Imax和最小值Imin收敛到目标值，以完成对所述人物图像的对比度增强。
8.如权利要求5所述的装置，其特征在于，所述装置还包括：
边界平滑单元，用于通过公式
Figure FDA0003228973020000051
对区域图像之间的边界进行平滑，其中，
Figure FDA0003228973020000052
D为输出的差分图像，F为CIE LCH空间中的L或C通道，p为差分图像的像素索引，d为输入的差分图像，(Dx,Dy)是D的梯度，(gx,gy)是F的梯度，θ是预设的控制对梯度的灵敏度，ε是预设的正则化常数，
Figure FDA0003228973020000053
τ1大于τ2。
9.一种计算设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述方法的步骤。
CN201711284845.8A 2017-12-07 2017-12-07 人物图像的增强方法、装置、设备及存储介质 Active CN108109115B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711284845.8A CN108109115B (zh) 2017-12-07 2017-12-07 人物图像的增强方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711284845.8A CN108109115B (zh) 2017-12-07 2017-12-07 人物图像的增强方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN108109115A CN108109115A (zh) 2018-06-01
CN108109115B true CN108109115B (zh) 2021-11-23

Family

ID=62208248

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711284845.8A Active CN108109115B (zh) 2017-12-07 2017-12-07 人物图像的增强方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN108109115B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110992283A (zh) * 2019-11-29 2020-04-10 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、电子设备和可读存储介质
CN111223058B (zh) * 2019-12-27 2023-07-18 杭州雄迈集成电路技术股份有限公司 一种图像增强方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101034481A (zh) * 2007-04-06 2007-09-12 湖北莲花山计算机视觉和信息科学研究院 一种肖像画的自动生成方法
US8306283B2 (en) * 2009-04-21 2012-11-06 Arcsoft (Hangzhou) Multimedia Technology Co., Ltd. Focus enhancing method for portrait in digital image
CN104616006B (zh) * 2015-03-11 2017-08-25 湖南智慧平安科技有限公司 一种面向监控视频的胡须人脸检测方法
CN107316333B (zh) * 2017-07-07 2019-10-18 华南理工大学 一种自动生成日漫肖像的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Exemplar-based Portrait Photograph Enhancement as informed by Portrait Paintings;Xiaoyan Zhang 等;《Computer Graphics Forum》;20140613;第33卷(第8期);第1-15页 *

Also Published As

Publication number Publication date
CN108109115A (zh) 2018-06-01

Similar Documents

Publication Publication Date Title
JP7413400B2 (ja) 肌質測定方法、肌質等級分類方法、肌質測定装置、電子機器及び記憶媒体
CN108446694B (zh) 一种目标检测方法及装置
WO2014144408A2 (en) Systems, methods, and software for detecting an object in an image
US11282257B2 (en) Pose selection and animation of characters using video data and training techniques
CN108197534A (zh) 一种人头部姿态检测方法、电子设备及存储介质
MX2013002904A (es) Aparato de proceso de imagenes de personas y metodo para procesar imagenes de personas.
CN103810490A (zh) 一种确定人脸图像的属性的方法和设备
US20130314437A1 (en) Image processing apparatus, image processing method, and computer program
CN111008935B (zh) 一种人脸图像增强方法、装置、***及存储介质
CN110688947A (zh) 一种同步实现人脸三维点云特征点定位和人脸分割的方法
CN104794693A (zh) 一种人脸关键区域自动检测蒙版的人像优化方法
CN103279936A (zh) 基于画像的人脸伪照片自动合成及修正方法
CN102024156A (zh) 彩色人脸图像中的唇部区域定位方法
Wang et al. Depth map enhancement based on color and depth consistency
CN108109115B (zh) 人物图像的增强方法、装置、设备及存储介质
CN115713794A (zh) 一种基于图像的视线落点估计方法、装置
WO2023273247A1 (zh) 人脸图像处理方法及装置、计算机可读存储介质、终端
CN108647605B (zh) 一种结合全局颜色与局部结构特征的人眼凝视点提取方法
CN107153806B (zh) 一种人脸检测方法及装置
Kim Image enhancement using patch-based principal energy analysis
US11361467B2 (en) Pose selection and animation of characters using video data and training techniques
CN106650554A (zh) 静态手势识别方法
CN111368674B (zh) 图像识别方法及装置
CN111080754B (zh) 一种头部肢体特征点连线的人物动画制作方法及装置
CN110288621A (zh) 基于b样条的唇线补全方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant