CN107871303B - 一种图像处理方法及装置 - Google Patents

一种图像处理方法及装置 Download PDF

Info

Publication number
CN107871303B
CN107871303B CN201610853241.XA CN201610853241A CN107871303B CN 107871303 B CN107871303 B CN 107871303B CN 201610853241 A CN201610853241 A CN 201610853241A CN 107871303 B CN107871303 B CN 107871303B
Authority
CN
China
Prior art keywords
image
brightness
filtering
pixel point
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610853241.XA
Other languages
English (en)
Other versions
CN107871303A (zh
Inventor
陈宇
王明琛
梅元刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kingsoft Cloud Network Technology Co Ltd
Beijing Kingsoft Cloud Technology Co Ltd
Original Assignee
Beijing Kingsoft Cloud Network Technology Co Ltd
Beijing Kingsoft Cloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kingsoft Cloud Network Technology Co Ltd, Beijing Kingsoft Cloud Technology Co Ltd filed Critical Beijing Kingsoft Cloud Network Technology Co Ltd
Priority to CN201610853241.XA priority Critical patent/CN107871303B/zh
Publication of CN107871303A publication Critical patent/CN107871303A/zh
Application granted granted Critical
Publication of CN107871303B publication Critical patent/CN107871303B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/04Context-preserving transformations, e.g. by using an importance map
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/77Retouching; Inpainting; Scratch removal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了一种图像处理方法及装置。该方法包括:分离出原始图像的亮度分量以及色度分量,得到原始亮度图像以及原始色度图像;基于快速滤波算法,对该原始亮度图像进行滤波处理,得到第一亮度图像;对该原始亮度图像进行曲线调整,得到第二亮度图像;基于阿尔法融合算法和第一亮度图像,对该原始亮度图像和该第二亮度图像进行图像融合,获得目标亮度图像;基于该目标亮度图像和该原始色度图像,获得目标图像。应用本发明实施例提供的方案进行图像处理时,在保证处理效果的同时,还能保证图像处理算法占用的***资源少,相对于现有技术,提升了图像处理的速度。

Description

一种图像处理方法及装置
技术领域
本发明涉及计算机技术领域,特别涉及一种图像处理方法及装置。
背景技术
图像处理(image processing),是指用计算机对图像进行分析,以达到所需结果的技术。图像美化处理属于常见的一种图像处理方式,是指利用计算机对图像信息进行加工以满足人的视觉心理或者应用需求的图像处理方式,例如,人脸美化等。随着计算机技术的迅速发展,图像美化处理也在不断地发展,以满足人们的需求。
在现有技术中,基于曲线调整的图像美化算法是一种常用的图像美化处理方法,通过该算法可以适当地调整图像中较暗的瑕疵区域的亮度,同时还可以保留原图像的对比度,例如,对于图像中的人脸区域进行美化时,首先通过该算法找出图像人脸区域中的斑点区域,然后对整幅图像进行高斯模糊处理,实现对图像中人脸区域的美化,该算法对于头发等特别暗的区域保留比较好的对比度,处理后得到的结果图较为清晰,该算法可以增加图像中斑点区域的亮度,使斑点的亮度接近人体肤色,从而达到人脸美化的效果。
但是,现有的基于曲线调整的图像美化算法中,进行高斯模糊处理时所采用的模糊半径较大,导致整个算法运行时***资源占用量大,因而对于设备的性能要求高,以致移动设备等性能较差的设备,无法完成对图像的实时处理。
发明内容
本发明实施例公开了一种图像处理方法及装置,用于在对图像进行美化处理的过程中,降低图像处理算法占用的***资源。技术方案如下:
为达上述目的,第一方面,本发明实施例提供了一种图像处理方法,所述方法包括:
分离出原始图像的亮度分量以及色度分量,得到原始亮度图像以及原始色度图像;
基于快速滤波算法,对所述原始亮度图像进行滤波处理,得到第一亮度图像;
对所述原始亮度图像进行曲线调整,得到第二亮度图像;
基于阿尔法融合算法以及所述第一亮度图像,对所述原始亮度图像和所述第二亮度图像进行图像融合,获得目标亮度图像;
基于所述目标亮度图像和所述原始色度图像,获得目标图像。
优选的,所述快速滤波算法为导向图滤波法、快速高斯滤波法以及盒子滤波法中的任意一种。
优选的,所述基于阿尔法融合算法以及所述第一亮度图像,对所述原始亮度图像和所述第二亮度图像进行图像融合,获得目标亮度图像,包括:
按照像素点位置,分别计算所述原始亮度图像与所述第一亮度图像中各个像素点的亮度分量之差,获得各个像素点的亮度差异值;
基于各个像素点的亮度差异值,确定各个像素点对应的阿尔法分量;
基于各个像素点对应的阿尔法分量,对所述原始亮度图像和所述第二亮度图像进行图像融合,获得目标亮度图像。
优选的,所述基于快速滤波算法,对所述原始亮度图像进行滤波处理,得到第一亮度图像,包括:
对所述原始亮度图像进行缩小处理,获得第三亮度图像;
基于快速滤波算法以及所述第三亮度图像,获得对所述原始亮度图像进行滤波处理后得到的第一亮度图像。
优选的,当所述快速滤波算法为导向图滤波法时,所述基于快速滤波算法,对所述原始亮度图像进行滤波处理,得到第一亮度图像,包括:
按照以下方式,对所述原始亮度图像中每一像素点进行滤波处理,并根据滤波结果获得第一亮度图像:
确定以第一像素点为中心的第一类预设窗口内的像素点,其中,所述第一像素点为所述原始亮度图像内的任一像素点;
计算所确定像素点的亮度分量对应的第一方差和第一平均值;
根据所述第一方差和所述第一平均值,对所述第一像素点进行滤波处理。
优选的,所述计算所确定像素点的亮度分量对应的第一方差和第一平均值,包括:
获得第四亮度图像,其中,所述第四亮度图像为:根据所述原始亮度图像中每个像素点Y分量的平方值确定的图像;
获得分别对应所述原始亮度图像以及所述第四亮度图像的第一积分图像以及第二积分图像;
基于所述第一积分图像以及所述第二积分图像,计算所确定像素点的亮度分量对应的第一方差和第一平均值。
优选的,所述根据所述第一方差和所述第一平均值,对所述第一像素点进行滤波处理,包括:
按照如下公式,对所述第一像素点进行滤波处理:
Figure BDA0001120683910000031
式中,Yb为所述第一像素点滤波后的亮度分量;σ1为所述第一方差;ε1为预设的第一平滑参数;Y为所述第一像素点的亮度分量;
Figure BDA0001120683910000032
为所述第一平均值。
优选的,所述对所述原始亮度图像进行曲线调整,得到第二亮度图像,包括:
按照如下公式,调整所述原始亮度图像中每个像素点的亮度分量,获得第二亮度图像:
Figure BDA0001120683910000033
式中,k为比例系数,Yh(i,j)表示所述原始亮度图像中像素坐标为(i,j)的像素点对应的调整后的亮度分量,Y(i,j)表示所述原始亮度图像中像素坐标为(i,j)的像素点的亮度分量。
优选的,所述基于所述目标亮度图像和所述原始色度图像,得到目标图像,包括:
对所述原始色度图像进行导向图滤波处理,获得目标色度图像;
合并所述目标亮度图像和所述目标色度图像,得到目标图像。
优选的,所述原始色度图像包括U分量对应的第一色度图像以及V分量对应的第二色度图像,
所述对所述原始色度图像进行导向图滤波处理,获得目标色度图像,包括:
按照以下方式,对所述第一色度图像中每一像素点进行滤波处理,并根据滤波结果获得第一目标色度图像,对所述第二色度图像中每一像素点进行滤波处理,并根据滤波结果获得第二目标色度图像:
确定以第二像素点为中心的第二类预设窗口内的像素点,其中,所述第二像素点为所述第一色度图像或所述第二色度图像内的任一像素点;
计算所确定像素点的像素值对应的第二方差和第二平均值;
根据所述第二方差和所述第二平均值,对所述第二像素点进行滤波处理。
优选的,所述根据所述第二方差和所述第二平均值,对所述第二像素点进行滤波处理,包括:
按照如下公式,对所述第二像素点进行滤波处理:
Figure BDA0001120683910000041
式中,Xb为所述第二像素点滤波后的像素值;σ2为所述第二方差;ε2为预设的第二平滑参数;X为所述第二像素点的像素值;
Figure BDA0001120683910000042
为所述第二平均值。
第二方面,本发明实施例提供了一种图像处理装置,所述装置包括:
分离模块,用于分离出原始图像的亮度分量以及色度分量,得到原始亮度图像以及原始色度图像;
滤波处理模块,用于基于快速滤波算法,对所述原始亮度图像进行滤波处理,得到第一亮度图像;
曲线调整模块,用于对所述原始亮度图像进行曲线调整,得到第二亮度图像;
融合模块,用于基于阿尔法融合算法以及所述第一亮度图像,对所述原始亮度图像和所述第二亮度图像进行图像融合,获得目标亮度图像;
获得模块,用于基于所述目标亮度图像和所述原始色度图像,获得目标图像。
优选的,所述快速滤波算法为导向图滤波法、快速高斯滤波法以及盒子滤波法中的任意一种。
优选的,所述融合模块,包括:
第一计算子模块,用于按照像素点位置,分别计算所述原始亮度图像与所述第一亮度图像中各个像素点的亮度分量之差,获得各个像素点的亮度差异值;
第一确定子模块,用于基于各个像素点的亮度差异值,确定各个像素点对应的阿尔法分量;
融合子模块,用于基于各个像素点对应的阿尔法分量,对所述原始亮度图像和所述第二亮度图像进行图像融合,获得目标亮度图像。
优选的,所述滤波处理模块,包括:
处理子模块,用于对所述原始亮度图像进行缩小处理,获得第三亮度图像;
获得子模块,用于基于快速滤波算法以及所述第三亮度图像,获得对所述原始亮度图像进行滤波处理后得到的第一亮度图像。
优选的,当所述快速滤波算法为导向图滤波法时,所述滤波处理模块,具体用于:
对所述原始亮度图像中每一像素点进行滤波处理,并根据滤波结果获得第一亮度图像;
其中,所述滤波处理模块,包括:
第二确定子模块,用于确定以第一像素点为中心的第一类预设窗口内的像素点;所述第一像素点为所述原始亮度图像内的任一像素点;
第二计算子模块,用于计算所确定像素点的亮度分量对应的第一方差和第一平均值;
滤波处理子模块,用于根据所述第一方差和所述第一平均值,对所述第一像素点进行滤波处理。
优选的,所述第二计算子模块,包括:
第一获得单元,用于获得第四亮度图像,其中,所述第四亮度图像为:根据所述原始亮度图像中每个像素点Y分量的平方值确定的图像;
第二获得单元,用于获得分别对应所述原始亮度图像以及所述第四亮度图像的第一积分图像以及第二积分图像;
第一计算单元,用于基于所述第一积分图像以及所述第二积分图像,计算所确定像素点的亮度分量对应的第一方差和第一平均值。
优选的,所述滤波处理子模块,具体用于:
按照如下公式,对所述第一像素点进行滤波处理:
Figure BDA0001120683910000061
式中,Yb为所述第一像素点滤波后的亮度分量;σ1为所述第一方差;ε1为预设的第一平滑参数;Y为所述第一像素点的亮度分量;
Figure BDA0001120683910000062
为所述第一平均值。
优选的,所述曲线调整模块,具体用于:
按照如下公式,调整所述原始亮度图像中每个像素点的亮度分量,获得第二亮度图像:
Figure BDA0001120683910000063
式中,k为比例系数,Yh(i,j)表示所述原始亮度图像中像素坐标为(i,j)的像素点对应的调整后的亮度分量,Y(i,j)表示所述原始亮度图像中像素坐标为(i,j)的像素点的亮度分量。
优选的,所述获得模块,包括:
导向图滤波处理子模块,用于对所述原始色度图像进行导向图滤波处理,获得目标色度图像;
合并子模块,用于合并所述目标亮度图像和所述目标色度图像,得到目标图像。
优选的,所述原始色度图像包括:U分量对应的第一色度图像以及V分量对应的第二色度图像,所述导向图滤波处理子模块,具体用于:
对所述第一色度图像中每一像素点进行滤波处理,并根据滤波结果获得第一目标色度图像,对所述第二色度图像中每一像素点进行滤波处理,并根据滤波结果获得第二目标色度图像;
其中,所述导向图滤波处理子模块,包括:
确定单元,用于确定以第二像素点为中心的第二类预设窗口内的像素点,其中,所述第二像素点为所述第一色度图像或所述第二色度图像内的任一像素点;
第二计算单元,用于计算所确定像素点的像素值对应的第二方差和第二平均值;
滤波处理单元,用于根据所述第二方差和所述第二平均值,对所述第二像素点进行滤波处理。
优选的,所述滤波处理单元,具体用于:
按照如下公式,对所述第二像素点进行滤波处理:
Figure BDA0001120683910000071
式中,Xb为所述第二像素点滤波后的像素值;σ2为所述第二方差;ε2为预设的第二平滑参数;X为所述第二像素点的像素值;
Figure BDA0001120683910000072
为所述第二平均值。
由以上可见,本发明实施例提供的方案中,首先分离出原始图像的亮度分量以及色度分量,得到原始亮度图像以及原始色度图像;再基于快速滤波算法,对该原始亮度图像进行滤波处理,得到第一亮度图像;并对该原始亮度图像进行曲线调整,得到第二亮度图像;然后基于阿尔法融合算法和第一亮度图像,对该原始亮度图像和该第二亮度图像进行图像融合,获得目标亮度图像;最后基于该目标亮度图像和该原始色度图像,获得目标图像。与现有技术相比,本方案中采用的滤波算法为区别于高斯滤波法的快速滤波算法,此类快速滤波算法对图像进行滤波处理时,在保证图像处理效果的同时,还能保证图像处理算法占用的***资源少,图像处理速度快,因此,本方案还可以应用于移动设备等性能较差的设备,以使得上述性能较差的设备可以对高质量视频图像进行实时处理。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种图像处理方法的第一种流程示意图;
图2为本发明实施例提供的一种图像处理方法中涉及的公式(1)的函数图像;
图3为本发明实施例提供的一种图像处理方法中涉及的函数f(x)的函数图像;
图4为本发明实施例提供的一种图像处理方法的第二种流程示意图;
图5为本发明实施例提供的一种图像处理装置的第一种结构示意图;
图6为本发明实施例提供的一种图像处理装置的第二种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面首先对本发明涉及的技术术语进行简单介绍。
图像处理:如上所述,图像处理技术是指用计算机对图像进行分析,以达到所需结果的技术。在现有技术中,可以对工业相机、扫描仪等设备经过拍摄得到的单张图像进行图像处理,当然,还可以对摄像机拍摄到的或者视频播放器在播放视频时所播放的每一帧图像实时地进行图像处理。
图像的亮度分量以及色度分量:在现有技术中,YUV是一种主要应用于电视***以及模拟视频领域的颜色编码方式,YUV图像分为三个分量,“Y”表示明亮度(Luminance或Luma),也就是灰度值;而“U”和“V”表示的则是色度(Chrominance或Chroma),作用是描述影像色彩及饱和度,用于指定像素的颜色。图像的亮度分量可以是指YUV编码格式下图像的Y分量,而色度分量则可以是指YUV编码格式下图像的U分量以及V分量。
下面再通过具体实施例对本发明进行详细介绍。
图1为本发明实施例提供的一种图像处理方法的第一种流程示意图,该方法包括:
S101:分离出原始图像的亮度分量以及色度分量,得到原始亮度图像以及原始色度图像。
此处的亮度分量对应为Y分量,色度分量可以是指U分量和V分量。如上所述,此颜色空间的图像包括三个分量,所以,可以依据现有技术分离此处的亮度分量以及色度分量。
例如,对于数码相机常用的I420格式的图像,本领域技术人员公知的是,I420格式的图像在存储时,先存储图像中各个像素点的Y分量,再存储各个像素点的U分量,最后存储各个像素点的V分量;在读取图像中的数据时,分别找到Y、U和V三个分量的起始点,就可以从图像中分别读取到图像中所有的Y、U和V三个分量;可见,对于I420格式的图像,亮度分量和色度分量的分离非常方便快捷,不需要额外的内存拷贝和颜色转换。
可以理解,得到的原始亮度图像中,每一个像素点的亮度分量为对应在该原始图像中相同位置的像素点的亮度分量,同理,得到的原始色度图像中,每一个像素点的色度分量为对应在该原始图像中相同位置的像素点的色度分量。
S102:基于快速滤波算法,对该原始亮度图像进行滤波处理,得到第一亮度图像。
此处的快速滤波算法为导向图滤波法、快速高斯滤波法以及盒子滤波法中的任意一种。上述导向图滤波法、快速高斯滤波法以及盒子滤波法为现有技术中常用的滤波算法,本领域技术人员可以参照现有技术对图像记性滤波处理,本发明在此不再赘述。
此类快速滤波算法,相对于现有的应用于图像处理的高斯滤波法,其在对图像进行滤波处理时,可以在不降低图像处理效果的前提下,保证图像处理算法占用的***资源少,图像处理速度快,例如,此类快速滤波算法运行时对设备的CPU(Central ProcessingUnit,中央处理器)占用率低,减少设备发热量。
本发明实施例中,为了加快滤波处理的速度,上述基于快速滤波算法,对该原始亮度图像进行滤波处理,得到第一亮度图像(S102),可以包括两个步骤:
第一步:对该原始亮度图像进行缩小处理,获得第三亮度图像。
可以理解,对图像做缩小处理,可以是将图像缩小预设倍数,当然也可以将图像缩小到预设大小的图像。缩小后获得的第三亮度图像中,每个像素点的亮度分量可以为:在原始亮度图像中对应的多个像素点的亮度分量的平均值。
例如:对该原始亮度图像的长和宽均缩小4倍,则此时获得的第三亮度图像中,坐标值为(1,1)的像素点对应的亮度分量应该为:原始亮度图像中坐标值分别为(1,1)和(4,4)的两个像素点所组成的矩形区域中,所有像素点的亮度分量的平均值。
第二步:基于快速滤波算法以及该第三亮度图像,获得对该原始亮度图像进行滤波处理后得到的第一亮度图像。
第三亮度图像中的像素点的数量显然是小于原始亮度图像中像素点的数量,所以缩小处理后,减少了需要进行滤波处理的像素点的数量,进而加快了对图像滤波处理的速度。
可以理解,此处所述的第二步中,需要对该第三亮度图像执行快速滤波算法,另外,执行滤波算法后的得到的图像还应该进行放大处理,以获得第一亮度图像。具体的放大处理方法,可参考现有技术,本发明实施例不做详细介绍。
应该说明的是,相对于盒子滤波(box blur)和快速高斯滤波,导向图滤波法对***资源的占用更少,所以本发明实施例中,该快速滤波算法优选为导向图滤波法。当该快速滤波算法为导向图滤波法时,上述基于快速滤波算法,对该原始亮度图像进行滤波处理,得到第一亮度图像(S102),包括:
按照以下方式,对该原始亮度图像中每一像素点进行滤波处理,并根据滤波结果获得第一亮度图像:
第一步:确定以第一像素点为中心的第一类预设窗口内的像素点,其中,该第一像素点为该原始亮度图像内的任一像素点。
该第一类预设窗口是指具有预设窗口大小值的窗口,其中心就是上述第一像素点,即,当前正在进行滤波处理的像素点。例如,对原始亮度图像中的像素点a进行滤波处理时,该第一像素点即为像素点a;假设该第一类预设窗口的大小为5×5,像素点a的像素坐标为(x,y),则像素点a对应的第一类预设窗口为:原始亮度图像中,像素坐标分别为(x-2,y-2)和(x+2,y+2)的两个像素点作为左上角和右下角所构成的矩形区域,此时,所确定的像素点即为该矩形区域内的所有像素点。
在实际使用过程中,该第一类预设窗口的窗口大小值应根据图像的大小选择,例如,对于1920×1080的图像,可以选择该窗口大小值为5×5。
第二步:计算所确定像素点的亮度分量对应的第一方差和第一平均值。
当确定第一类预设窗口中的像素点后,可以依据通用的数学公式计算获得该第一方差和第一平均值。但是,当该第一类预设窗口的窗口大小值较大时,计算该第一平均值以及第一方差的运算时间就会较长,例如:对于一个11×11的第一类预设窗口,其中的像素点总数为121个,所以计算第一平均值以及第一方差所采用的数据量大,以致运算时间长。
在本发明实施例中,为了加快计算该第一方差和第一平均值,可以采用积分图加速处理。上述计算所确定像素点的亮度分量对应的第一方差和第一平均值,包括:
步骤一:获得第四亮度图像,其中,该第四亮度图像为:根据原始亮度图像中每个像素点Y分量的平方值确定的图像。
即表示,第四亮度图像中,每个像素点的亮度分量为原始亮度图像中对应在相同位置的像素点的亮度分量的平方,例如,在原始亮度图像中,坐标值为(m,n)的像素点b的的亮度分量为M,则在第四亮度图像中,坐标值为(m,n)的像素点b’的亮度分量为M2
步骤二:获得分别对应该原始亮度图像以及该第四亮度图像的第一积分图像以及第二积分图像;
可以理解,积分图像的任意一像素点(x,y)的亮度分量等于从原图像的左上角到该像素点的所构成的矩形区域内所有的像素点的亮度分量之和。所以第一积分图像中,任一像素点(x,y)的亮度分量等于从原始亮度图像的左上角到原始亮度图像的像素点(x,y)所构成的矩形区域内所有的像素点的亮度分量之和;第二积分图像中,任一像素点(x,y)的亮度分量等于从第四亮度图像的左上角到第四亮度图像的像素点(x,y)所构成的矩形区域内所有的像素点的亮度分量之和。
步骤三:基于该第一积分图像以及该第二积分图像,计算所确定像素点的亮度分量对应的第一方差和第一平均值。
例如,上述第一像素点的坐标为(100,50),第一预设窗口的窗口大小值为11×11,假设在原始亮度图像中,以坐标为(100,50)的像素点为中心的11×11区域内,所有像素点的亮度分量的平均值为
Figure BDA0001120683910000121
在第二积分图像中,以坐标为(100,50)的像素点为中心的11×11区域内,所有像素点的亮度分量的平均值为
Figure BDA0001120683910000122
则此时所确定的像素点对应的第一方差
Figure BDA0001120683910000123
其中,再假设第一积分图像中,该坐标为(100,50)的像素点的亮度分量为I1,坐标为(105,44)的像素点的亮度分量为I2,坐标为(94,55)的像素点的亮度分量为I3,坐标为(94,44)的像素点的亮度分量为I4,则所确定的像素点对应的第一平均值
Figure BDA0001120683910000124
本领域技术人员公知的是,积分图可以用以加速计算方差和平均值,具体原理可参照现有技术,本发明实施例在此不做详细介绍。
第三步:根据该第一方差和该第一平均值,对第一像素点进行滤波处理。
在获得第一像素点对应的第一方差和第一平均值后,本领域技术人员可以基于现有技术中的公式获得滤波处理后的第一像素点的亮度分量对应的滤波值。而在本发明实施例中,上述根据该第一方差和该第一平均值,对第一像素点进行滤波处理,可以是:
按照如下公式,对第一像素点进行滤波处理:
Figure BDA0001120683910000131
式中,Yb为第一像素点滤波后的亮度分量,即第一亮度图像中对应的像素点的亮度分量;σ1为该第一方差;ε1为预设的第一平滑参数;Y为第一像素点的亮度分量;
Figure BDA0001120683910000132
为该第一平均值。
在实际应用过程中,ε1的取值可以基于实际情况,通常为15~20。
相较于现有技术中的快速导向图滤波法所采用的滤波处理公式,本发明中采用的滤波处理的公式更加简单,去掉了对系数二次求平均值的操作,减小了计算滤波值的繁琐程度,而且几乎不影响图像的处理效果。
应该说明的是,本发明实施例中,最优的,可以结合上述缩小处理技术和积分图加速处理技术来进行滤波处理操作。
例如,将原始亮度图像缩小k倍,记缩小后得到的图像为X;然后计算图像X中每个像素点的Y分量的平方值,获得图像Y;再获得分别对应该图像X以及该图像Y的积分图像W以及积分图像V。
然后,基于积分图像W以及积分图像V,计算图像X中,每一个像素点对应的具有预设窗口大小值的窗口中所有的像素点对应的方差和平均值。例如,在图像X中像素坐标为(i,j)的像素点所对应的窗口中,所有的像素点的方差为σ3,平均值为
Figure BDA0001120683910000133
那么此时,在原始亮度图像中以(ki,kj)为左上角,大小为k×k的正方形区域内任一像素点都按照如下公式计算滤波后的值:
Figure BDA0001120683910000134
式中,Y’为原始亮度图像中该正方形区域内的某一像素点的亮度分量,Yc为原始亮度图像中该像素点对应的滤波处理后的亮度分量,ε1仍然为前述第一平滑参数。
S103:对该原始亮度图像进行曲线调整,得到第二亮度图像。
对原始亮度图像的曲线调整可以通过现有技术中的上凸函数来实现,例如通过三次样条曲线来调整。为了使曲线调整的参数调整更加方便,设置了一种全新的二次曲线,即在本发明实施例中,上述对该原始亮度图像进行曲线调整,得到第二亮度图像(S103),包括:
按照如下公式,调整该原始亮度图像中每个像素点的亮度分量,获得第二亮度图像:
Figure BDA0001120683910000141
式中,k为比例系数,Yh(i,j)表示该原始亮度图像中像素坐标为(i,j)的像素点对应的调整后的亮度分量,Y(i,j)表示该原始亮度图像中像素坐标为(i,j)的像素点的亮度分量。
可以理解,当k的取值较大时,曲线调整后的亮度分量的增加量可能会过大,而当k的取值较小时,曲线调整后的亮度分量的增加量可能会偏小,所以在实际应用中,优选的,k=0.4~0.6。
此曲线调整的公式可以由如下两个公式合并得到:
c(x)=k(1-x)x+x (1)
Figure BDA0001120683910000142
公式(1)对应的函数图像如图2所示,由于公式(1)对应的函数的值域和定义域都是[0,1],因此必须通过
Figure BDA0001120683910000143
将输入的值转换为[0,1]中的一个数值。
应该强调的是,上述曲线调整的公式中,数值255的取值是基于常用的256级灰度确定的,实际使用过程中,还可能会出现1024级灰度等,所以上述曲线调整的公式可以为:
Figure BDA0001120683910000151
式中,t表示灰度级数。例如,对于1024级灰度,t=1024。
可以理解,采用上述曲线调整公式获得的第二亮度图像中,每个像素点的亮度分量均大于原始亮度图像中相同位置的像素点的亮度分量,所以可以把第二亮度图像看成是针对于原始亮度图像的高亮图像。另外,对于包含有人脸的图像,由于图像的亮度得到提升,相当于是对图像中的人脸做了肤色美白效果,所以相对于现有技术,本发明实施例用于图像美颜时,不需要额外的美白操作。
应该强调的是,曲线调整并不限于增加亮度分量,也可以是降低亮度分量,例如,用下凹函数来降低亮度分量,得到的第二亮度图像中,每个像素点的亮度分量均小于原始亮度图像中相同位置的像素点的亮度分量。
S104:基于阿尔法融合算法以及第一亮度图像,对该原始亮度图像和该第二亮度图像进行图像融合,获得目标亮度图像。
在本发明实施例中,此处所述的基于阿尔法融合算法以及第一亮度图像,对该原始亮度图像和该第二亮度图像进行图像融合,获得目标亮度图像(S104),可以包括如下三个步骤:
步骤一:按照像素点位置,分别计算该原始亮度图像与该第一亮度图像中各个像素点的亮度分量之差,获得各个像素点的亮度差异值。
应该说明,直接计算原始亮度图像与第一亮度图像中相同的像素点的亮度分量之差得到的差值,以256级灰度为例,该差值会在-255~255的范围内,为了将该范围控制在0~255,首先通过如下公式对该差值添加一个大小为128的偏移量:
D(i,j)=clip(Y(i,j)-Yb(i,j)+128);
式中,D(i,j)表示初步得到的差异值,Y(i,j)表示原始亮度图像中坐标为(i,j)的像素点的亮度分量,Yb(i,j)表示第一亮度图像中坐标为(i,j)的像素点的亮度分量,另外,clip()表示一个定义如下的函数:
Figure BDA0001120683910000161
在本发明实施例中,可以将该初步得到的差异值作为步骤一最终得到的像素点的亮度差异值。但是为了增加亮度差异值的差异幅度,可以将该初步得到的差异值作为自变量输入如下函数:
Figure BDA0001120683910000162
函数f(x)的函数图像如图3所示。通过函数f(x)计算出来的结果值乘以数值255后得到的值,可以作为步骤一最终得到的像素点的亮度差异值。当然,还可以通过f(x)进行多次拉伸操作,即进一步的增加亮度差异值的差异幅度。本发明实施例并不限于用f(x)来完成拉伸操作,还可以是现有技术中的线性变换。
具体的拉伸次数可以根据实际情况而定,通常情况下,可以进行三次拉伸,此时,最终得到的像素点的亮度差异值为:
Figure BDA0001120683910000163
式中,M(i,j)为最终得到的像素点的亮度差异值。
应该说明,以M(i,j)为像素点(i,j)的亮度分量,可以获得一亮度差异图像。另外,此步骤中所涉及的各个像素点可以是指原始亮度图像中的各个像素点,可以理解,原始亮度图像中的每个像素点都对应有一个亮度差异值。
步骤二:基于各个像素点的亮度差异值,确定各个像素点对应的阿尔法分量。
原始亮度图像中的像素点(i,j)的阿尔法通道值为M(i,j),该像素点(i,j)的阿尔法分量可以为
Figure BDA0001120683910000171
其中,t表示灰度级数;以256级灰度为例,此原始亮度图像中的像素点(i,j)的阿尔法分量可以为
Figure BDA0001120683910000172
步骤三:基于各个像素点对应的阿尔法分量,对该原始亮度图像和该第二亮度图像进行图像融合,获得目标亮度图像。
对于步骤三,可以通过如下公式进行融合,进而获得目标亮度图像:
Yr(i,j)=(M(i,j)Y(i,j)+(255-M(i,j))Yh(i,j))/255;
式中,Yr(i,j)表示目标亮度图像中像素坐标为(i,j)的像素点的亮度分量,Y(i,j)表示原始亮度图像中坐标为(i,j)的像素点的亮度分量,Yh(i,j)表示该第二亮度图像中像素坐标为(i,j)的像素点的亮度分量。
应该说明的是,步骤三可以理解为以上述亮度差异图为阿尔法通道,对该原始亮度图像和该第二亮度图像进行图像融合,获得目标亮度图像。
S105:基于该目标亮度图像和该原始色度图像,获得目标图像。
此处可以直接将获得的目标亮度图像与原始色度图像进行合并,获得目标图像。具体的合并方法,属于现有技术,本发明实施例在此不做详细说明。
应用本发明实施例提供的方案后,图像处理的速度大幅度增加,因此,对于图像的实时处理可以很容易地在移动设备等性能较差的设备上处理。下表1对比了不同的移动设备上分别应用现有技术以及本发明实施例提供的图像处理方法时,每秒处理的图像帧数。
表1
Figure BDA0001120683910000181
应该说明,表1中的现有技术以及本发明实施例的图像处理方法,均未结合现有技术中的Neon(一种单指令多数据扩展结构)优化技术,如果结合Neon优化技术,现有技术以及本发明实施例提供的图像处理方法每秒处理的图像帧数还可以提升30%~50%。
由以上可见,本发明实施例提供的方案中,首先分离出原始图像的亮度分量以及色度分量,得到原始亮度图像以及原始色度图像;再基于快速滤波算法,对该原始亮度图像进行滤波处理,得到第一亮度图像;并对该原始亮度图像进行曲线调整,得到第二亮度图像;然后基于阿尔法融合算法和第一亮度图像,对该原始亮度图像和该第二亮度图像进行图像融合,获得目标亮度图像;最后基于该目标亮度图像和该原始色度图像,获得目标图像。与现有技术相比,本方案中采用的滤波算法为区别于高斯滤波法的快速滤波算法,此类快速滤波算法对图像进行滤波处理时,在保证图像处理效果的同时,还能保证图像处理算法占用的***资源少,图像处理速度快,因此,本方案还可以应用于移动设备等性能较差的设备,以使得上述性能较差的设备可以对高质量视频图像进行实时处理。
以图像中的人脸美化算法为例,本发明实施例可以对图像中的人脸进行美化处理,使图像中的人脸更加美白光洁,达到磨皮的效果。本发明实施例可以应用在具有美颜功能的软件产品中;也可以用在具有人脸检测功能的软件产品中,在人脸检测功能的软件产品检测到图像中的人脸后,对该人脸进行美化处理。
在图像的人脸美化技术领域,众所周知的是,随着手机的普及,手机相机的应用也越来越多,其中与手机拍照相关的应用最多,需求量也是最大的。但是传统的手机只能简单的拍照,对于照片的美化一般需要在PC(personal computer,个人计算机)上手工完成,虽然也有一些自动化工具,但是这类工具大多是针对PC的CPU设计的。近来随着照片美化需求的增大,手机上也出现了一些针对照片美化的App(Application,应用程序),但这类App大多都是拍完照后,专门针对单张照片进行特定的美化,很少能够在预览的时候做到实时的美颜处理。
现有技术中,基于曲线调整的美颜算法可以分为以下几步:首先用高斯滤波找出斑点等颜色偏暗的区域,用一个大的高斯半径对原图的亮度图进行高斯滤波,然后用原图亮度图减去高斯滤波的图像得到一张差异图,差异图中的暗区域就是斑点所在的区域;找到暗区域后,然后对原图的亮度进行曲线调整,其方法就是用一条上凸的曲线对原图的亮度进行重新映射,这样就得到了一张高亮图,经过适当的调整可以使得高亮图中斑点的亮度与原始图中的肤色亮度接近,然后将该差异图映射到[0,1]区间,并以此作为alpha(阿尔法)通道将原图与高亮图进行融合,这样就得到了祛除斑点或是斑点变暗的图像,从而达到美颜的效果。
基于曲线调整的美颜算法图像的亮度分量是整体按照平滑曲线进行调整的,所以对于头发等特别暗的区域可以比较好地保留对比度,这样进行图像调整后得到的整个图像较清晰。但是,现有技术中基于曲线调整的美颜算法进行图像处理时,需要首先找出斑点区域,对图像进行高斯模糊,而且要选用模糊半径比较大的高斯模糊,这样,美颜算法运行时会占用较多的***资源,算法运行速度慢,对于大的视频图像无法在手机等性能较差的设备上进行实时处理。
应用本发明实施例,在保证图像处理效果的同时,还能保证图像处理算法占用的***资源少,图像处理速度快,在移动设备上处理1280x720分辨率的视频图像,移动设备只需要单核CPU就可以实现实时处理图像,移动设备的CPU占用率低,发热量少。
应该说明的是,目前用于移动设备的美颜算法主要有两大类:一种是基于曲线调整的美颜算法,而另一种是基于保边滤波的美颜算法。
基于保边滤波的美颜算法可以根据选用的保边滤波算法不同细分为多类,常用的保边滤波有双边滤波,表面模糊,局部均方差,导向图滤波,场域变换等。此类美颜算法基本思想就是利用保边滤波对原图像进行处理,从而平滑掉人脸的斑点和痘痘等瑕疵,而对于像眼睛,眉毛这种面积比较大,并且对比度明显的区域基本保持不变,从而达到人脸美化的效果。
基于保边滤波的美颜算法可以很好地祛除图像中人脸上的斑点和痘痘等瑕疵,但是对于图像中头发等比较细的物体容易一并被模糊了,同时对于图像中像鼻子边缘等分界不是特别明显的地方容易造成模糊;图像中像眼睛等对比度比较明显的区域,虽然能够保持的比较好,但是还是有一定程度的模糊,图像整体上会有一定的朦胧感。
但是当本发明实施例中的快速滤波算法选用导向图滤波法时,不存在现有技术中的保边滤波算法造成的图像清晰度下降的问题。
相对于图1,如图4所示的一种图像处理方法的第二种流程示意图,上述基于该目标亮度图像和该原始色度图像,得到目标图像(S105),可以包括:
S1051:对该原始色度图像进行导向图滤波处理,获得目标色度图像。
应该说明的是,原始色度图像包括U分量对应的第一色度图像以及V分量对应的第二色度图像,本发明实施例中,除了对原始亮度图像进行滤波处理外,还可以对原始色度图像进行滤波处理,即分别对该第一色度图像以及第二色度图像进行滤波处理。
本发明实施例中,对于原始色度图像的滤波处理方法可以与对原始亮度图像的滤波处理方法相似,具体细节可以参照前述方法实施例。具体的,上述对该原始色度图像进行导向图滤波处理,获得目标色度图像(S1051),可以包括:
按照以下方式,对该原始色度图像中每一像素点进行滤波处理,并根据滤波结果获得目标色度图像:
第一步:确定以第二像素点为中心的第二类预设窗口内的像素点,其中,所述第二像素点为所述第一色度图像或所述第二色度图像内的任一像素点。
该第二类预设窗口是指具有预设窗口大小值的窗口,该第二类预设窗口的中心就是上述第二像素点,即,当前正在进行滤波处理的像素点。例如,对第一色度图像中的像素点a进行滤波处理时,该第二像素点即为像素点a;同时,假设该第二类预设窗口的大小为3×3,像素点a的像素坐标为(x,y),则像素点a对应的第二类预设窗口为:原始色度图像中,像素坐标分别为(x-1,y-1)和(x+1,y+1)的两个像素点所构成的矩形区域,此时,所确定的像素点即为该矩形区域内的所有像素点。
在实际使用过程中,该第二类预设窗口的窗口大小值应根据图像的大小选择,例如,对于1920×1080的图像,可以选择该窗口大小值为3×3。
应该说明的是,对应同一原始图像的第一类预设窗口的窗口大小值大于第二类预设窗口的窗口大小值。
第二步:计算所确定像素点的像素值对应的第二方差和第二平均值,可以理解,当该原始色度图像为前述第一色度图像时,该像素值为像素点对应的U分量,当该原始色度图像为前述第二色度图像时,该像素值为像素点对应的V分量。
当确定像素点后,可以依据通用的数学公式计算获得该第二方差和第二平均值。但是,当该第二类预设窗口的窗口大小值较大时,计算该第二平均值以及第二方差的运算时间就会较长,例如:对于一个11×11的第二类预设窗口,其中的像素点总数为121个,所以计算第二平均值以及第二方差所采用的数据量大,以致运算时间长。
在本发明实施例中,为了加快计算该第二方差和第二平均值,可以采用积分图加速处理。上述计算所确定像素点的像素值对应的第二方差和第二平均值,包括:
步骤一:计算该原始色度图像中每个像素点的像素值的平方值,获得第三色度图像。
即表示,第三色度图像中,每个像素点的像素值为原始色度图像中对应在相同位置的像素点的像素值的平方,例如,在原始色度图像中,坐标值为(m,n)的像素点b的的像素值为M,则在第三色度图像中,坐标值为(m,n)的像素点b’的的像素值为M2
步骤二:获得分别对应该原始色度图像以及该第三色度图像的第三积分图像以及第四积分图像;
可以理解,第三积分图像中,任一像素点(x,y)的像素值等于从原始色度图像的左上角到原始色度图像的像素点(x,y)所构成的矩形区域内所有的像素点的像素值之和;第四积分图像中,任一像素点(x,y)的像素值等于从第三色度图像的左上角到第三色度图像的像素点(x,y)所构成的矩形区域内所有的像素点的像素值之和。
步骤三:基于该第三积分图像以及该第四积分图像,计算所确定像素点的像素值对应的第二方差和第二平均值。
例如,上述第二像素点的坐标为(100,50),第二预设窗口的窗口大小值为11×11,假设在原始色度图像中,以坐标为(100,50)的像素点为中心的11×11区域内,所有像素点的像素值的平均值为
Figure BDA0001120683910000221
在第四积分图像中,以坐标为(100,50)的像素点为中心的11×11区域内,所有像素点的像素值的平均值为
Figure BDA0001120683910000222
则此时所确定的像素点对应的第二方差
Figure BDA0001120683910000223
其中,再假设第三积分图像中,该坐标为(100,50)的像素点的像素值为Z1,坐标为(105,44)的像素点的像素值为Z2,坐标为(94,55)的像素点的像素值为Z3,坐标为(94,44)的像素点的像素值为Z4,则所确定的像素点对应的第二平均值
Figure BDA0001120683910000224
本领域技术人员公知的是,积分图可以用以加速计算方差和平均值,具体原理可参照现有技术以及前述对于亮度分量的滤波处理过程,本发明实施例在此不做详细介绍。
第三步:根据该第二方差和该第二平均值,对第二像素点进行滤波处理。
在本发明实施例中,上述根据该第二方差和该第二平均值,对第二像素点进行滤波处理,可以是:
按照如下公式,对第二像素点进行滤波处理:
Figure BDA0001120683910000225
式中,Xb为第二像素点滤波后的像素值;σ2为该第二方差;ε2为预设的第二平滑参数;X为第二像素点的像素值;
Figure BDA0001120683910000231
为该第二平均值。
在实际应用过程中,ε2的取值可以基于实际情况,但是对应于同一原始图像,ε2的取值应小于ε1的取值,ε2取值可以是6~10,最优取值为8。
本发明实施例中,为了使得对第二像素点的滤波处理更加简单,占用的较少的***资源,所以使用上述滤波处理的公式。当然,对第二像素点的滤波处理所采用的公式还可以参照现有技术,本发明实施例在此不做限定。
另外,分别对U、V通道(色度分量)进行滤波处理时,可以参考对亮度分量的滤波处理,结合图像缩小处理技术和积分图加速处理技术来进行色度分量的滤波处理。
可以理解,对U、V通道进行滤波处理,可以使得最终得到的目标图像的颜色过渡更加自然。并且,应该强调的是,如果对于亮度分量的滤波处理占用较多的***资源,那么***中的资源可能不足以支持对U、V通道(色度分量)进行的滤波处理,但是由于本发明实施例中,对于亮度分量的滤波处理占用的***资源少,所以***中有足够的资源支持对U、V通道(色度分量)进行的滤波处理。
S1052:合并该目标亮度图像和该目标色度图像,得到目标图像。
当然,合并该目标亮度图像和该目标色度图像的具体方法参考现有技术,本发明实施例在此不做详细介绍。
与现有技术相比,本方案中采用的滤波算法为区别于高斯滤波法的快速滤波算法,此类快速滤波算法对图像进行滤波处理时,在保证图像处理效果的同时,还能保证图像处理算法占用的***资源少,图像处理速度快,因此,本方案还可以应用于移动设备等性能较差的设备,以使得上述性能较差的设备可以对高质量视频图像进行实时处理。更重要的,由于由于本发明实施例中,对于亮度分量的滤波处理占用的***资源少,所以***中有足够的资源支持对U、V通道(色度分量)进行的滤波处理,使最终得到的目标图像的颜色过渡更加自然,提升图像处理效果。
相应于图1,如图5所示的本发明实施例提供的一种图像处理装置的第一种结构示意图,该装置包括:
分离模块110,用于分离出原始图像的亮度分量以及色度分量,得到原始亮度图像以及原始色度图像;
滤波处理模块120,用于基于快速滤波算法,对所述原始亮度图像进行滤波处理,得到第一亮度图像;
曲线调整模块130,用于对所述原始亮度图像进行曲线调整,得到第二亮度图像;
融合模块140,用于基于阿尔法融合算法以及所述第一亮度图像,对所述原始亮度图像和所述第二亮度图像进行图像融合,获得目标亮度图像;
获得模块150,用于基于所述目标亮度图像和所述原始色度图像,获得目标图像。
具体的,所述快速滤波算法为导向图滤波法、快速高斯滤波法以及盒子滤波法中的任意一种。
具体的,所述融合模块140,包括第一计算子模块、第一确定子模块和融合子模块(图中未示出)。
该第一计算子模块,用于按照像素点位置,分别计算所述原始亮度图像与所述第一亮度图像中各个像素点的亮度分量之差,获得各个像素点的亮度差异值;
该第一确定子模块,用于基于各个像素点的亮度差异值,确定各个像素点对应的阿尔法分量;
该融合子模块,用于基于各个像素点对应的阿尔法分量,对所述原始亮度图像和所述第二亮度图像进行图像融合,获得目标亮度图像。
具体的,所述滤波处理模块120,包括处理子模块和获得子模块(图中未示出)。
该处理子模块,用于对所述原始亮度图像进行缩小处理,获得第三亮度图像;
该获得子模块,用于基于快速滤波算法以及所述第三亮度图像,获得对所述原始亮度图像进行滤波处理后得到的第一亮度图像。
具体的,当所述快速滤波算法为导向图滤波法时,所述滤波处理模块120,具体用于:
对所述原始亮度图像中每一像素点进行滤波处理,并根据滤波结果获得第一亮度图像;
其中,所述滤波处理模块120,包括第二确定子模块、第二计算子模块和滤波处理子模块(图中未示出)。
该第二确定子模块,用于确定以第一像素点为中心的第一类预设窗口内的像素点;所述第一像素点为所述原始亮度图像内的任一像素点;
该第二计算子模块,用于计算所确定像素点的亮度分量对应的第一方差和第一平均值;
该滤波处理子模块,用于根据所述第一方差和所述第一平均值,对所述第一像素点进行滤波处理。
在实际应用中,具体的,所述第二计算子模块,包括第一获得单元、第二获得单元和第一计算单元(图中未示出)。
该第一获得单元,用于获得第四亮度图像,其中,所述第四亮度图像为:根据所述原始亮度图像中每个像素点Y分量的平方值确定的图像;
该第二获得单元,用于获得分别对应所述原始亮度图像以及所述第四亮度图像的第一积分图像以及第二积分图像;
该第一计算单元,用于基于所述第一积分图像以及所述第二积分图像,计算所确定像素点的亮度分量对应的第一方差和第一平均值。
在实际应用中,所述滤波处理子模块,具体用于:
按照如下公式,对所述第一像素点进行滤波处理:
Figure BDA0001120683910000251
式中,Yb为所述第一像素点滤波后的亮度分量;σ1为所述第一方差;ε1为预设的第一平滑参数;Y为所述第一像素点的亮度分量;
Figure BDA0001120683910000261
为所述第一平均值。
在实际应用中,所述曲线调整模块130,具体用于:
按照如下公式,调整所述原始亮度图像中每个像素点的亮度分量,获得第二亮度图像:
Figure BDA0001120683910000262
式中,k为比例系数,Yh(i,j)表示所述原始亮度图像中像素坐标为(i,j)的像素点对应的调整后的亮度分量,Y(i,j)表示所述原始亮度图像中像素坐标为(i,j)的像素点的亮度分量。
由以上可见,本发明实施例提供的方案中,首先分离出原始图像的亮度分量以及色度分量,得到原始亮度图像以及原始色度图像;再基于快速滤波算法,对该原始亮度图像进行滤波处理,得到第一亮度图像;并对该原始亮度图像进行曲线调整,得到第二亮度图像;然后基于阿尔法融合算法和第一亮度图像,对该原始亮度图像和该第二亮度图像进行图像融合,获得目标亮度图像;最后基于该目标亮度图像和该原始色度图像,获得目标图像。与现有技术相比,本方案中采用的滤波算法为区别于高斯滤波法的快速滤波算法,此类快速滤波算法对图像进行滤波处理时,在保证图像处理效果的同时,还能保证图像处理算法占用的***资源少,图像处理速度快,因此,本方案还可以应用于移动设备等性能较差的设备,以使得上述性能较差的设备可以对高质量视频图像进行实时处理。
相应于图4所示方法实施例,如图6所示本的发明实施例提供的一种图像处理装置的第二种结构示意图,所述获得模块150,包括:
导向图滤波处理子模块1501,用于对所述原始色度图像进行导向图滤波处理,获得目标色度图像;
合并子模块1502,用于合并所述目标亮度图像和所述目标色度图像,得到目标图像。
在实际应用中,所述原始色度图像包括U分量对应的第一色度图像以及V分量对应的第二色度图像,所述导向图滤波处理子模块,具体用于:
对所述第一色度图像中每一像素点进行滤波处理,并根据滤波结果获得第一目标色度图像,对所述第二色度图像中每一像素点进行滤波处理,并根据滤波结果获得第二目标色度图像;
其中,所述导向图滤波处理子模块1501,包括确定单元、第三计算单元和滤波处理单元(图中未示出)。
确定单元,用于确定以第二像素点为中心的第二类预设窗口内的像素点,其中,所述第二像素点为所述第一色度图像或所述第二色度图像内的任一像素点;
第二计算单元,用于计算所确定像素点的像素值对应的第二方差和第二平均值;
滤波处理单元,用于根据所述第二方差和所述第二平均值,对所述第二像素点进行滤波处理。
具体的,所述第三计算单元,可以包括第一计算子单元、获得子单元和第二计算子单元(图中未示出)。
第一计算子单元,用于计算所述原始色度图像中每个像素点的像素值的平方值,获得第三色度图像;
获得子单元,用于获得分别对应所述原始色度图像以及所述第三色度图像的第三积分图像以及第四积分图像;
第二计算子单元,用于基于所述第三积分图像以及所述第四积分图像,计算所确定像素点的像素值对应的第二方差和第二平均值。
在实际应用中,所述滤波处理单元,具体用于:
按照如下公式,对所述第二像素点进行滤波处理:
Figure BDA0001120683910000271
式中,Xb为所述第二像素点滤波后的像素值;σ2为所述第二方差;ε2为预设的第二平滑参数;X为所述第二像素点的像素值;
Figure BDA0001120683910000281
为所述第二平均值。
与现有技术相比,本方案中采用的滤波算法为区别于高斯滤波法的快速滤波算法,此类快速滤波算法对图像进行滤波处理时,在保证图像处理效果的同时,还能保证图像处理算法占用的***资源少,图像处理速度快,因此,本方案还可以应用于移动设备等性能较差的设备,以使得上述性能较差的设备可以对高质量视频图像进行实时处理。更重要的,由于由于本发明实施例中,对于亮度分量的滤波处理占用的***资源少,所以***中有足够的资源支持对U、V通道(色度分量)进行的滤波处理,使最终得到的目标图像的颜色过渡更加自然,提升图像处理效果。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,所述的程序可以存储于计算机可读取存储介质中,这里所称得的存储介质,如:ROM/RAM、磁碟、光盘等。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (20)

1.一种图像处理方法,其特征在于,所述方法包括:
分离出原始图像的亮度分量以及色度分量,得到原始亮度图像以及原始色度图像;
基于快速滤波算法,对所述原始亮度图像进行滤波处理,得到第一亮度图像;
对所述原始亮度图像进行曲线调整,得到第二亮度图像;
基于阿尔法融合算法以及所述第一亮度图像,对所述原始亮度图像和所述第二亮度图像进行图像融合,获得目标亮度图像;
基于所述目标亮度图像和所述原始色度图像,获得目标图像;
其中,所述基于阿尔法融合算法以及所述第一亮度图像,对所述原始亮度图像和所述第二亮度图像进行图像融合,获得目标亮度图像,包括:
按照像素点位置,分别计算所述原始亮度图像与所述第一亮度图像中各个像素点的亮度分量之差,获得各个像素点的亮度差异值;
基于各个像素点的亮度差异值,确定各个像素点对应的阿尔法分量;
基于各个像素点对应的阿尔法分量,对所述原始亮度图像和所述第二亮度图像进行图像融合,获得目标亮度图像。
2.根据权利要求1所述的方法,其特征在于,所述快速滤波算法为导向图滤波法、快速高斯滤波法以及盒子滤波法中的任意一种。
3.根据权利要求1所述的方法,其特征在于,所述基于快速滤波算法,对所述原始亮度图像进行滤波处理,得到第一亮度图像,包括:
对所述原始亮度图像进行缩小处理,获得第三亮度图像;
基于快速滤波算法以及所述第三亮度图像,获得对所述原始亮度图像进行滤波处理后得到的第一亮度图像。
4.根据权利要求1所述的方法,其特征在于,当所述快速滤波算法为导向图滤波法时,所述基于快速滤波算法,对所述原始亮度图像进行滤波处理,得到第一亮度图像,包括:
按照以下方式,对所述原始亮度图像中每一像素点进行滤波处理,并根据滤波结果获得第一亮度图像:
确定以第一像素点为中心的第一类预设窗口内的像素点,其中,所述第一像素点为所述原始亮度图像内的任一像素点;
计算所确定像素点的亮度分量对应的第一方差和第一平均值;
根据所述第一方差和所述第一平均值,对所述第一像素点进行滤波处理。
5.根据权利要求4所述的方法,其特征在于,所述计算所确定像素点的亮度分量对应的第一方差和第一平均值,包括:
获得第四亮度图像,其中,所述第四亮度图像为:根据所述原始亮度图像中每个像素点Y分量的平方值确定的图像;
获得分别对应所述原始亮度图像以及所述第四亮度图像的第一积分图像以及第二积分图像;
基于所述第一积分图像以及所述第二积分图像,计算所确定像素点的亮度分量对应的第一方差和第一平均值。
6.根据权利要求4所述的方法,其特征在于,所述根据所述第一方差和所述第一平均值,对所述第一像素点进行滤波处理,包括:
按照如下公式,对所述第一像素点进行滤波处理:
Figure FDA0002728452370000021
式中,Yb为所述第一像素点滤波后的亮度分量;σ1为所述第一方差;ε1为预设的第一平滑参数;Y为所述第一像素点的亮度分量;
Figure FDA0002728452370000022
为所述第一平均值。
7.根据权利要求1所述的方法,其特征在于,所述对所述原始亮度图像进行曲线调整,得到第二亮度图像,包括:
按照如下公式,调整所述原始亮度图像中每个像素点的亮度分量,获得第二亮度图像:
Figure FDA0002728452370000031
式中,k为比例系数,Yh(i,j)表示所述原始亮度图像中像素坐标为(i,j)的像素点对应的调整后的亮度分量,Y(i,j)表示所述原始亮度图像中像素坐标为(i,j)的像素点的亮度分量。
8.根据权利要求1所述的方法,其特征在于,所述基于所述目标亮度图像和所述原始色度图像,得到目标图像,包括:
对所述原始色度图像进行导向图滤波处理,获得目标色度图像;
合并所述目标亮度图像和所述目标色度图像,得到目标图像。
9.根据权利要求8所述的方法,其特征在于,所述原始色度图像包括:U分量对应的第一色度图像以及V分量对应的第二色度图像,
所述对所述原始色度图像进行导向图滤波处理,获得目标色度图像,包括:
按照以下方式,对所述第一色度图像中每一像素点进行滤波处理,并根据滤波结果获得第一目标色度图像,对所述第二色度图像中每一像素点进行滤波处理,并根据滤波结果获得第二目标色度图像:
确定以第二像素点为中心的第二类预设窗口内的像素点,其中,所述第二像素点为所述第一色度图像或所述第二色度图像内的任一像素点;
计算所确定像素点的像素值对应的第二方差和第二平均值;
根据所述第二方差和所述第二平均值,对所述第二像素点进行滤波处理。
10.根据权利要求9所述的方法,其特征在于,所述根据所述第二方差和所述第二平均值,对所述第二像素点进行滤波处理,包括:
按照如下公式,对所述第二像素点进行滤波处理:
Figure FDA0002728452370000032
式中,Xb为所述第二像素点滤波后的像素值;σ2为所述第二方差;ε2为预设的第二平滑参数;X为所述第二像素点的像素值;
Figure FDA0002728452370000041
为所述第二平均值。
11.一种图像处理装置,其特征在于,所述装置包括:
分离模块,用于分离出原始图像的亮度分量以及色度分量,得到原始亮度图像以及原始色度图像;
滤波处理模块,用于基于快速滤波算法,对所述原始亮度图像进行滤波处理,得到第一亮度图像;
曲线调整模块,用于对所述原始亮度图像进行曲线调整,得到第二亮度图像;
融合模块,用于基于阿尔法融合算法以及所述第一亮度图像,对所述原始亮度图像和所述第二亮度图像进行图像融合,获得目标亮度图像;
获得模块,用于基于所述目标亮度图像和所述原始色度图像,获得目标图像;
其中,所述融合模块,包括:
第一计算子模块,用于按照像素点位置,分别计算所述原始亮度图像与所述第一亮度图像中各个像素点的亮度分量之差,获得各个像素点的亮度差异值;
第一确定子模块,用于基于各个像素点的亮度差异值,确定各个像素点对应的阿尔法分量;
融合子模块,用于基于各个像素点对应的阿尔法分量,对所述原始亮度图像和所述第二亮度图像进行图像融合,获得目标亮度图像。
12.根据权利要求11所述的装置,其特征在于,所述快速滤波算法为导向图滤波法、快速高斯滤波法以及盒子滤波法中的任意一种。
13.根据权利要求11所述的装置,其特征在于,所述滤波处理模块,包括:
处理子模块,用于对所述原始亮度图像进行缩小处理,获得第三亮度图像;
获得子模块,用于基于快速滤波算法以及所述第三亮度图像,获得对所述原始亮度图像进行滤波处理后得到的第一亮度图像。
14.根据权利要求11所述的装置,其特征在于,当所述快速滤波算法为导向图滤波法时,所述滤波处理模块,具体用于:
对所述原始亮度图像中每一像素点进行滤波处理,并根据滤波结果获得第一亮度图像;
其中,所述滤波处理模块,包括:
第二确定子模块,用于确定以第一像素点为中心的第一类预设窗口内的像素点;所述第一像素点为所述原始亮度图像内的任一像素点;
第二计算子模块,用于计算所确定像素点的亮度分量对应的第一方差和第一平均值;
滤波处理子模块,用于根据所述第一方差和所述第一平均值,对所述第一像素点进行滤波处理。
15.根据权利要求14所述的装置,其特征在于,所述第二计算子模块,包括:
第一获得单元,用于获得第四亮度图像,其中,所述第四亮度图像为:根据所述原始亮度图像中每个像素点Y分量的平方值确定的图像;
第二获得单元,用于获得分别对应所述原始亮度图像以及所述第四亮度图像的第一积分图像以及第二积分图像;
第一计算单元,用于基于所述第一积分图像以及所述第二积分图像,计算所确定像素点的亮度分量对应的第一方差和第一平均值。
16.根据权利要求14所述的装置,其特征在于,所述滤波处理子模块,具体用于:
按照如下公式,对所述第一像素点进行滤波处理:
Figure FDA0002728452370000051
式中,Yb为所述第一像素点滤波后的亮度分量;σ1为所述第一方差;ε1为预设的第一平滑参数;Y为所述第一像素点的亮度分量;
Figure FDA0002728452370000052
为所述第一平均值。
17.根据权利要求11所述的装置,其特征在于,所述曲线调整模块,具体用于:
按照如下公式,调整所述原始亮度图像中每个像素点的亮度分量,获得第二亮度图像:
Figure FDA0002728452370000061
式中,k为比例系数,Yh(i,j)表示所述原始亮度图像中像素坐标为(i,j)的像素点对应的调整后的亮度分量,Y(i,j)表示所述原始亮度图像中像素坐标为(i,j)的像素点的亮度分量。
18.根据权利要求11所述的装置,其特征在于,所述获得模块,包括:
导向图滤波处理子模块,用于对所述原始色度图像进行导向图滤波处理,获得目标色度图像;
合并子模块,用于合并所述目标亮度图像和所述目标色度图像,得到目标图像。
19.根据权利要求18所述的装置,其特征在于,所述原始色度图像包括:U分量对应的第一色度图像以及V分量对应的第二色度图像,所述导向图滤波处理子模块,具体用于:
对所述第一色度图像中每一像素点进行滤波处理,并根据滤波结果获得第一目标色度图像,对所述第二色度图像中每一像素点进行滤波处理,并根据滤波结果获得第二目标色度图像;
其中,所述导向图滤波处理子模块,包括:
确定单元,用于确定以第二像素点为中心的第二类预设窗口内的像素点,其中,所述第二像素点为所述第一色度图像或所述第二色度图像内的任一像素点;
第二计算单元,用于计算所确定像素点的像素值对应的第二方差和第二平均值;
滤波处理单元,用于根据所述第二方差和所述第二平均值,对所述第二像素点进行滤波处理。
20.根据权利要求19所述的装置,其特征在于,所述滤波处理单元,具体用于:
按照如下公式,对所述第二像素点进行滤波处理:
Figure FDA0002728452370000071
式中,Xb为所述第二像素点滤波后的像素值;σ2为所述第二方差;ε2为预设的第二平滑参数;X为所述第二像素点的像素值;
Figure FDA0002728452370000072
为所述第二平均值。
CN201610853241.XA 2016-09-26 2016-09-26 一种图像处理方法及装置 Active CN107871303B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610853241.XA CN107871303B (zh) 2016-09-26 2016-09-26 一种图像处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610853241.XA CN107871303B (zh) 2016-09-26 2016-09-26 一种图像处理方法及装置

Publications (2)

Publication Number Publication Date
CN107871303A CN107871303A (zh) 2018-04-03
CN107871303B true CN107871303B (zh) 2020-11-27

Family

ID=61752179

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610853241.XA Active CN107871303B (zh) 2016-09-26 2016-09-26 一种图像处理方法及装置

Country Status (1)

Country Link
CN (1) CN107871303B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110858281B (zh) * 2018-08-22 2022-10-04 浙江宇视科技有限公司 图像处理方法、装置、电子眼及存储介质
CN109580619B (zh) * 2018-12-03 2021-09-17 余姚市腾翔电子科技有限公司 浴缸堵塞报警机构
CN109829859B (zh) * 2018-12-05 2024-05-24 平安科技(深圳)有限公司 图像处理方法及终端设备
CN109308868B (zh) * 2018-12-18 2021-03-19 惠科股份有限公司 一种显示面板的驱动方法、***及显示装置
CN110379358B (zh) * 2019-07-04 2021-03-30 南京宇丰晔禾信息科技有限公司 Led显示屏图像播控方法、装置
CN112106352A (zh) * 2019-09-29 2020-12-18 深圳市大疆创新科技有限公司 一种图像处理方法及设备
EP3937492A1 (en) * 2020-07-07 2022-01-12 Google LLC Alpha channel post processing in image coding
CN111899197B (zh) * 2020-08-05 2024-04-30 广州市百果园信息技术有限公司 一种图像增亮去噪方法、装置、移动终端和存储介质
CN111918095B (zh) * 2020-08-05 2022-06-03 广州市百果园信息技术有限公司 一种暗光增强方法、装置、移动终端和存储介质
CN113793247A (zh) * 2021-07-08 2021-12-14 福建榕基软件股份有限公司 一种首饰图像美化方法及终端

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5831604A (en) * 1996-06-03 1998-11-03 Intel Corporation Alpha blending palettized image data
CN102231206A (zh) * 2011-07-14 2011-11-02 浙江理工大学 适用于汽车辅助驾驶***的彩色夜视图像亮度增强方法
CN104240194A (zh) * 2014-04-29 2014-12-24 西南科技大学 一种基于抛物线函数的低照度图像增强算法
CN104537615A (zh) * 2014-12-04 2015-04-22 大连理工大学 一种基于HSV色彩空间的局部Retinex增强算法
CN105931206A (zh) * 2016-05-10 2016-09-07 深圳市和天创科技有限公司 一种颜色恒常的彩色图像清晰度增强方法
CN105956993A (zh) * 2016-05-03 2016-09-21 成都索贝数码科技股份有限公司 一种基于gpu的移动端视频美颜的即时呈现方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7970206B2 (en) * 2006-12-13 2011-06-28 Adobe Systems Incorporated Method and system for dynamic, luminance-based color contrasting in a region of interest in a graphic image
TW201432622A (zh) * 2012-11-07 2014-08-16 Koninkl Philips Nv 產生一關於一影像之深度圖
US9654700B2 (en) * 2014-09-16 2017-05-16 Google Technology Holdings LLC Computational camera using fusion of image sensors

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5831604A (en) * 1996-06-03 1998-11-03 Intel Corporation Alpha blending palettized image data
CN102231206A (zh) * 2011-07-14 2011-11-02 浙江理工大学 适用于汽车辅助驾驶***的彩色夜视图像亮度增强方法
CN104240194A (zh) * 2014-04-29 2014-12-24 西南科技大学 一种基于抛物线函数的低照度图像增强算法
CN104537615A (zh) * 2014-12-04 2015-04-22 大连理工大学 一种基于HSV色彩空间的局部Retinex增强算法
CN105956993A (zh) * 2016-05-03 2016-09-21 成都索贝数码科技股份有限公司 一种基于gpu的移动端视频美颜的即时呈现方法
CN105931206A (zh) * 2016-05-10 2016-09-07 深圳市和天创科技有限公司 一种颜色恒常的彩色图像清晰度增强方法

Also Published As

Publication number Publication date
CN107871303A (zh) 2018-04-03

Similar Documents

Publication Publication Date Title
CN107871303B (zh) 一种图像处理方法及装置
EP3341913B1 (en) Inverse tone mapping based on luminance zones
US9661239B2 (en) System and method for online processing of video images in real time
US9495582B2 (en) Digital makeup
US9916518B2 (en) Image processing apparatus, image processing method, program and imaging apparatus
US8488896B2 (en) Image processing apparatus and image processing method
WO2018082185A1 (zh) 图像处理方法和装置
JP4858609B2 (ja) ノイズ低減装置、ノイズ低減方法、及びノイズ低減プログラム
KR101366596B1 (ko) 이차원 정지 화상에 대해 몰입감을 생성하는 방법 및시스템 그리고 상기 몰입감 생성을 위한 팩터 조절 방법,이미지 콘텐트 분석 방법 및 스케일링 파라미터 예측 방법
US20140079319A1 (en) Methods for enhancing images and apparatuses using the same
CN105243371A (zh) 一种人脸美颜程度的检测方法、***及拍摄终端
CN105850114A (zh) 用于图像的逆色调映射的方法
CN113518185B (zh) 视频转换处理方法、装置、计算机可读介质及电子设备
CN108965647B (zh) 一种前景图像获得方法及装置
CN108090876B (zh) 一种图像处理方法及装置
CN108961299B (zh) 一种前景图像获得方法及装置
JP2018527675A (ja) 逆トーンマッピングの方法及び装置
CN110944176B (zh) 图像帧降噪方法和计算机存储介质
CN110730381A (zh) 基于视频模板合成视频的方法、装置、终端及存储介质
JP2002232728A (ja) 画像処理プログラム、画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体、画像処理装置および画像処理方法
CN113034509A (zh) 图像处理方法及装置
Lee et al. Correction of the overexposed region in digital color image
US9672447B2 (en) Segmentation based image transform
US10616471B2 (en) Image adjustments based on depth of field estimations
CN108961258B (zh) 一种前景图像获得方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant