CN111915528B - 一种图像增亮方法、装置、移动终端和存储介质 - Google Patents

一种图像增亮方法、装置、移动终端和存储介质 Download PDF

Info

Publication number
CN111915528B
CN111915528B CN202010780012.6A CN202010780012A CN111915528B CN 111915528 B CN111915528 B CN 111915528B CN 202010780012 A CN202010780012 A CN 202010780012A CN 111915528 B CN111915528 B CN 111915528B
Authority
CN
China
Prior art keywords
image data
brightness
target
original
illumination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010780012.6A
Other languages
English (en)
Other versions
CN111915528A (zh
Inventor
杨敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Baiguoyuan Information Technology Co Ltd
Original Assignee
Guangzhou Baiguoyuan Information Technology Co Ltd
Filing date
Publication date
Application filed by Guangzhou Baiguoyuan Information Technology Co Ltd filed Critical Guangzhou Baiguoyuan Information Technology Co Ltd
Priority to CN202010780012.6A priority Critical patent/CN111915528B/zh
Publication of CN111915528A publication Critical patent/CN111915528A/zh
Application granted granted Critical
Publication of CN111915528B publication Critical patent/CN111915528B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明实施例公开了一种图像增亮方法、装置、移动终端和存储介质,该方法包括:采集原始图像数据,原始图像数据中具有表示亮度的原始亮度图像数据;在降低对比度的条件下,以至少两种尺度对原始亮度图像数据进行滤波处理,获得至少两帧目标亮度图像数据;将至少两帧目标亮度图像数据融合为光照图像数据;参照光照图像数据,从原始图像数据中分解出反射图像数据;在提高光照图像数据的亮度之后,与反射图像数据合成为目标图像数据。本发明实施例兼顾了暗光增强的性能与图像数据的质量,从而确保视频数据的质量,在诸如移动终端等性能受限的情况下,可以实现实时性的暗光增强,并且,保证后续的图像处理的质量。

Description

一种图像增亮方法、装置、移动终端和存储介质
技术领域
本发明实施例涉及计算机视觉的技术,尤其涉及一种图像增亮方法、装置、移动终端和存储介质。
背景技术
随着移动互联网与移动终端的迅速发展,移动终端中的视频数据已成为人类活动中常用的信息载体,如直播、视频通话等,它们包含着物体的大量信息,成为人们获取外界原始信息的途径之一。
当用户在暗光环境下拍摄视频数据时,视频数据中的图像数据会呈现对比度差和可见度低等问题,影响用户的观感,并且由于图像数据质量较差,会降低后续的图像处理的性能,如美颜、人脸检测,最后导致视频数据的质量严重下降。
目前暗光增强算法可以分为深度学习和非深度学习,基于深度学习的暗光增强,由于较大的计算量,大多是用于针对图像进行暗光增强,难以在移动终端等性能受限的设备下应用。
基于非深度学习的暗光增强算法主要是基于Retinex模型,即基于视网膜和大脑皮层的图像增强算法,应用Retinex模型的前提是分离出较为理想的光照图,光照图的分解需要求解较为复杂的线性方程组,在移动终端等性能受限的设备下求解线性方程组较为困难,对于实时性的视频数据尤为明显。
发明内容
本发明实施例提供一种发明名称,以解决在性能受限的情况下进行暗光增强,如何平衡暗光增强的性能与图像数据的质量。
第一方面,本发明实施例提供了一种图像增亮方法,包括:
采集原始图像数据,所述原始图像数据中具有表示亮度的原始亮度图像数据;
在降低对比度的条件下,以至少两种尺度对所述原始亮度图像数据进行滤波处理,获得至少两帧目标亮度图像数据;
将至少两帧所述目标亮度图像数据融合为光照图像数据;
参照所述光照图像数据,从所述原始图像数据中分解出反射图像数据;
在提高所述光照图像数据的亮度之后,与所述反射图像数据合成为目标图像数据。
第二方面,本发明实施例还提供了一种图像增亮装置,包括:
原始图像数据采集模块,用于采集原始图像数据,所述原始图像数据中具有表示亮度的原始亮度图像数据;
目标亮度图像数据生成模块,用于在降低对比度的条件下,以至少两种尺度对所述原始亮度图像数据进行滤波处理,获得至少两帧目标亮度图像数据;
光照图像数据融合模块,用于将至少两帧所述目标亮度图像数据融合为光照图像数据;
反射图像数据分解模块,用于参照所述光照图像数据,从所述原始图像数据中分解出反射图像数据;
目标图像数据合成模块,用于在提高所述光照图像数据的亮度之后,与所述反射图像数据合成为目标图像数据。
第三方面,本发明实施例还提供了一种移动终端,所述移动终端包括:
一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如第一方面所述的图像增亮方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如第一方面所述的图像增亮方法。
在本实施例中,采集原始图像数据,原始图像数据中具有表示亮度的原始亮度图像数据,在降低对比度的条件下,以至少两种尺度对原始亮度图像数据进行滤波处理,获得至少两帧目标亮度图像数据,将至少两帧目标亮度图像数据融合为光照图像数据,参照光照图像数据,从原始图像数据中分解出反射图像数据,在提高光照图像数据的亮度之后,与反射图像数据合成为目标图像数据,一方面,使用不同尺度对原始亮度图像数据进行滤波处理之后,不同的目标亮度图像数据可呈现对边缘的保护、平坦区域中细节或噪声的平滑存在不同的处理效果,据此进行融合,可以获得质量较高的光照图像数据,从而保证Retinex模型对原始图像数据的增亮效果,即改善图像数据的亮度与对比度,另一方面,滤波处理较为简单,计算量小,占用的计算资源少,可以保证计算速度,从而兼顾了暗光增强的性能与图像数据的质量,从而确保视频数据的质量,在诸如移动终端等性能受限的情况下,可以实现实时性的暗光增强,并且,图像数据、视频数据在增亮之后,为后续的图像处理提供一个较高的输入,从而保证后续的图像处理的质量。
附图说明
图1为本发明实施例一提供的一种图像增亮方法的流程图;
图2为本发明实施例一提供的一种图像增亮的架构示意图;
图3为本发明实施例一提供的一种Retinex的原理图;
图4是本发明实施例二提供的一种图像增亮方法的流程图;
图5为本发明实施例二提供的一种生成光照图像数据的架构示意图;
图6为本发明实施例二提供的一种对数图;
图7是本发明实施例二提供的一种图像增亮的效果对比图;
图8为本发明实施例三提供的一种图像增亮装置的结构示意图;
图9为本发明实施例四提供的一种移动终端的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种图像增亮方法的流程图,本实施例可适用于通过多尺度滤波估算光照图像数据,从而应用Retinex模型对视频数据进行暗光增强的情况,该方法可以由图像增亮装置来执行,该图像增亮装置可以由软件和/或硬件实现,可配置在移动终端中,例如,手机、平板电脑、智能穿戴设备(如智能手表、智能眼镜等),该方法具体包括如下步骤:
S101、采集原始图像数据。
在实际应用中,若在暗光的环境中生成图像数据,图像数据的亮度较低,则采集这些图像数据等待暗光增强,该图像数据可以称之为原始图像数据。
所谓暗光的环境,可以指光线较少(如光照在50lux-300lux)的环境,如夜晚的室外、透光较差的室内,等等。
在一种情况中,原始图像数据为在实时性的业务场景中所生成、传输或播放的视频数据中的图像数据。
一般情况下,在生成该视频数据的移动终端中对该视频数据进行增亮,此时,如图2所示,在S201中,开启移动终端的摄像头,在S202中,摄像头采集视频数据,在S203中,从视频数据中提取原始图像数据。
其中,S202中的视频数据为原始的视频数据,未经过其他图像处理,其原始图像数据处于第一颜色空间,具有表示亮度的原始亮度图像数据,还具有表示色度的原始色度图像数据,例如,视频数据为YUV格式,Y表示亮度(Luminance或Luma),即灰度值,UV表示色度(Chrominance或Chroma),即Y通道下的像素点组成原始亮度图像数据,U通道、V通道下的像素点组成原始色度图像数据。
当然,除了YUV格式之外,视频数据还可以为其他格式的数据,如HSL(H表示色相、S表示饱和度、L表示亮度),即L通道下的像素点组成原始亮度图像数据,等等,本实施例对此不加以限制。
此外,除了在生成该视频数据的移动终端中对该视频数据进行暗光增强之外,也可以在播放该视频数据的移动终端对该视频数据进行暗光增强,本实施例对此亦不加以限制。
例如,在直播的业务场景中,等待暗光增强的视频数据可以指用于承载直播内容的视频数据,主播用户所登录的移动终端产生视频数据,以及,将该视频数据通过直播平台分发到各个观众用户所登录的设备进行播放,此时,通常在主播用户所登录的移动终端对该视频数据进行暗光增强。
又例如,在视频通话的业务场景中,等待暗光增强的视频数据可以指用于承载通话内容的视频数据,发起通话的用户所登录的移动终端产生视频数据,以及,将该视频数据发送到各个被邀请通话的用户所登录的设备进行播放,此时,通常在发起通话的用户所登录的移动终端对该视频数据进行暗光增强。
又例如,在视频会议的业务场景中,等待暗光增强的视频数据可以指用于承载会议内容的视频数据,正在发言的用户所登录的移动终端产生视频数据,以及,将该视频数据发送到各个参与该会议的用户所登录的设备进行播放,此时,通常正在发言的用户所登录的移动终端对该视频数据进行暗光增强。
除了直播、视频通话、视频会议等对实时性要求的视频数据之外,等待去噪的视频数据也可以指在实时性要求较低的业务场景中所生成的视频数据,如短视频等,本实施例对此不加以限制。
S102、在降低对比度的条件下,以至少两种尺度对原始亮度图像数据进行滤波处理,获得至少两帧目标亮度图像数据。
在暗光的环境下拍摄的原始图像数据,整体的亮度较低,较难分辨出细节,在本实施例中,降低原始亮度图像数的对比度,即降低亮度的对比度,可以减少高灰度值部分的细节,从而强调低灰度部分,便于在滤波处理时,平滑细节、噪声。
如图2所示,在S204中,在降低亮度的对比度的情况下,以至少两种尺度对原始亮度图像数据进行滤波处理,从而保持边缘、降噪平滑,获得至少两帧目标亮度图像数据。
其中,滤波处理可以包括导向滤波(Guided Filtering,GF)、双边滤波(BilateralFilters,BF),等等。
需要说明的是,降低亮度的对比度,是为了对原始亮度图像数据进行滤波处理,在完成对原始亮度图像数据进行滤波处理之后,恢复亮度的对比度。
使用不同尺度对原始亮度图像数据进行滤波处理之后,不同的目标亮度图像数据可呈现对边缘的保护、平坦区域中细节或噪声的平滑存在不同的处理效果。
其中,平坦区域可以指面积比较大的区域,如天空、墙壁、道路等,内部的纹理较为单一。
S103、将至少两帧目标亮度图像数据融合为光照图像数据。
在本实施例中,如图2所示,在S205中,在边缘、平坦区域的处理存在差异的情况下,可以针对这些差异,对至少两帧目标亮度图像数据进行融合,得到质量较高的图像数据,作为Retinex模型中的光照图像数据。
通过多尺度的滤波处理并进行融合得到光照图像数据,近似于约束方法求解光照图像数据,但是,计算量远远小于约束方法。
S104、参照光照图像数据,从原始图像数据中分解出反射图像数据。
Retinex属于合成词,由Retina(视网膜)和Cortex(大脑皮层)组成,其建立在以下的基础之上:
一、真实世界是无颜色的,所感知的颜色是光与物质的相互作用的结果。
二、每一颜色区域由给定波长的红、绿、蓝三原色构成的。
三、三原色决定了每个单位区域的颜色。
在Retinex理论中,物体的颜色是由物体对长波(红)、中波(绿)和短波(蓝)光线的反射能力决定的,而不是由反射光强度的绝对值决定的,并且物体的色彩不受光照非均性的影响,具有一致性。
即Retinex理论是以色感一致性(颜色恒常性)为基础的,所谓一致性,是指人眼能够在不同亮度下仍能辨认物体本来颜色的能力。
如图3所示,在Retinex理论中,人眼得到的图像数据取决于入射光和物体表面对入射光的反射。先是由入射光照射,经由物体反射进入成像***,形成所看到的图像数据。该过程中,反射率由物体本身决定,不受入射光影响,可以用如下公式表示:
L=I·T
其中,L代表被观察或照相机接收到的原始图像数据,I代表环境光的照射分量,即光照图像数据,T表示携带图像细节信息的目标物体的反射分量,即反射图像数据。
一般情况下,光照图像数据I决定了一帧原始图像数据中各个像素点能达到的动态范围,反射图像数据T决定了原始图像数据的内在性质,在确定了原始图像数据L中的光照图像数据I之后,如图2所示,在S206中,运行Retinex模型,可从原始图像数据L中抛开光照图像数据I的性质,从而分离出物体的本来面貌,即反射图像数据T,消除光照不均的影响。
原始图像数据处于第一颜色空间,而Retinex模型分解反射图像数据通常是在第二颜色空间,因此,可通过指定的转换关系式将原始图像数据从第一颜色空间转换至第二颜色空间。
为使本领域技术人员更好地理解本实施例,在本实施例中,将YUV颜色空间作为第一颜色空间的示例、RGB(R表示红、G表示绿、B表示蓝)颜色空间作为第二颜色空间的示例进行说明。
例如,通过如下转换关系式可以将原始图像数据从YUV颜色空间转换至RGB颜色空间:
R=Y+1.4075*(V-128)
G=Y-0.3455*(U-128)-0.7169*(V-128)
B=Y+1.779*(U-128)
遍历原始图像数据与光照图像数据中的每一个像素点,针对同一位置的像素点,分别确定像素点在第二颜色空间表示的原始色彩分量、像素点在第一颜色空间表示的亮度值。
计算原始色彩分量与亮度值之间的比值,作为反射图像数据中像素点表示的反射色彩分量。
例如,反射图像数据中像素点表示的反射色彩分量R'G'B'表示如下:
R'=R/Y
G'=G/Y
B'=B/Y
其中,RGB表示原始图像数据中的原始色彩分量,Y表示亮度值。
S105、在提高光照图像数据的亮度之后,与反射图像数据合成为目标图像数据。
在本实施例中,如图2所示,在S207中,可对光照图像数据进行增亮,从而提高光照图像数据的亮度,此后,运行Retinex模型,合成提高亮度之后的光照图像数据与反射图像数据,获得目标图像数据,从而实现在保证颜色真实的情况下,对低亮度的原始图像数据增亮,该过程表示如下:
I'=Iγ
L'=I'·T
其中,Iγ表示对光照图像数据I进行增亮,I'表示增亮之后的光照图像数据,T表示反射图像数据,L'表示目标图像数据。
在具体实现中,可对光照图像数据进行伽马(gamma)校正,以提高光照图像数据中各个像素点的亮度值。
其中,伽马校正就是对光照图像数据的伽马曲线进行编辑,以对光照图像数据进行非线性色调编辑,检出光照图像数据中的灰度多高的部分和灰度过低的部分,并使两者比例增大,从而提高光照图像数据的对比度。
在完成伽马校正之后,针对同一位置的像素点,分别确定反射图像数据中像素点表示的反射色彩分量、光照图像数据中像素点表示的亮度值;计算反射色彩分量与亮度值之间的乘积,作为目标图像数据中像素点表示的目标色彩分量。
例如,目标图像数据中像素点表示的目标色彩分量R''G''B''表示如下:
R''=R'·Yγ
G''=G'·Yγ
B''=B'·Yγ
其中,R'G'B'表示反射图像数据中像素点表示的反射色彩分量,γ表示伽马校正的伽马系数,Yγ表示伽马校正之后的亮度值。
γ值以1为分界,值越小,对光照图像数据低灰度部分的扩展作用就越强,值越大,对光照图像数据高灰度部分的扩展作用就越强,通过不同的γ值,就可以达到增强低灰度或高灰度部分细节的作用。
此后,可通过指定的转换关系式将目标图像数据从第二颜色空间转换至第一颜色空间,以便于后续的处理。
例如,通过如下转换关系式可以将目标图像数据从RGB颜色空间转换至YUV颜色空间:
Y=0.299*R+0.587*G+0.114*B
将目标图像数据转换成RGB等第二颜色空间,可以最大化保证增亮后的目标图像数据不产生色差,减少由于在第一颜色空间进行下采样、下采样时可能会带来的块效应。
对于增亮之后的目标图像数据,可以根据业务场景进行后续的处理,本实施例对此不加以限制。
例如,如图2所示,在S208中,对增亮之后的目标图像数据进行其他图像处理,如人脸检测、美颜处理等,在S209中,将图像处理之后的目标图像数据显示在屏幕,以及,在S210中,对图像处理之后的目标图像数据进行编码,即对视频数据进行编码,如按照H.264的格式编码,并封装为FLV(Flash Video,流媒体)格式,等待发送至播放该视频数据的设备。
在本实施例中,采集原始图像数据,原始图像数据中具有表示亮度的原始亮度图像数据,在降低对比度的条件下,以至少两种尺度对原始亮度图像数据进行滤波处理,获得至少两帧目标亮度图像数据,将至少两帧目标亮度图像数据融合为光照图像数据,参照光照图像数据,从原始图像数据中分解出反射图像数据,在提高光照图像数据的亮度之后,与反射图像数据合成为目标图像数据,一方面,使用不同尺度对原始亮度图像数据进行滤波处理之后,不同的目标亮度图像数据可呈现对边缘的保护、平坦区域中细节或噪声的平滑存在不同的处理效果,据此进行融合,可以获得质量较高的光照图像数据,从而保证Retinex模型对原始图像数据的增亮效果,即改善图像数据的亮度与对比度,另一方面,滤波处理较为简单,计算量小,占用的计算资源少,可以保证计算速度,从而兼顾了暗光增强的性能与图像数据的质量,从而确保视频数据的质量,在诸如移动终端等性能受限的情况下,可以实现实时性的暗光增强,并且,图像数据、视频数据在增亮之后,为后续的图像处理提供一个较高的输入,从而保证后续的图像处理的质量。
实施例二
图4为本发明实施例二提供的一种图像增亮方法的流程图,本实施例以前述实施例为基础,进一步细化生成光照图像数据的处理操作,该方法具体包括如下步骤:
S401、采集原始图像数据。
在本实施例中,如图5所示,在S501中采集视频数据,从视频数据中提取原始图像数据,从原始图像数据中提取表示亮度的原始亮度图像数据。
S402、对原始亮度图像数据进行下采样。
在本实施例中,如图5所示,在S502中,通过最近邻元法、双线性内插法等方式对原始亮度图像数据进行下采样(subsampled),以便缩小原始图像数据,降低后续对原始亮度图像数据进行至少两次滤波处理所占用的计算资源。
需要说明的是,如果移动终端的计算资源比较充足,可以不对原始亮度图像数据进行下采样,直接进行至少两次滤波处理,本实施例对此不加以限制。
S403、通过预设的凸曲线将原始亮度图像数据从实数域转换至目标域,以降低对比度。
在本实施例中,可预先设置凸曲线,该凸曲线以函数表示,如对数函数、多项式函数等。
原始亮度图像数据中各个像素点的亮度值处于实数域,将原始亮度图像数据中各个像素点的亮度值输入该凸曲线所表示的函数中,输出映射之后的亮度值,从而将原始亮度图像数据中各个像素点的亮度值从实数域映射到另一个域,作为目标域。
对于凸曲线,原始亮度图像数据中各个像素点的亮度值映射到中间的部分会比较集中,原始亮度图像数据中各个像素点的亮度值映射到两边的部分会比较稀疏,这样子,对于原始亮度图像数据而言,高灰度与低灰度则会区分开来,从而降低亮度的对比对。
通过下采样与降低对比度,可在保证原始亮度图像数据的结构信息的同时,去除细节信息,从而达到了保护原始亮度图像数据的对比度和降低增亮后噪声带来的画质下降。
在一个示例中,目标域包括对数域,则如图5所示,在S503中,可以对原始亮度图像数据中各个像素点的亮度值进行对数(LOG)转换,以将原始亮度图像数据从实数域转换至对数域。
对数转换可以将原始亮度图像数据的低灰度值部分扩展,显示出低灰度部分更多的细节,将其高灰度值部分压缩,减少高灰度值部分的细节,从而强调原始亮度图像数据中低灰度部分。
对数转换对原始亮度图像数据中低灰度部分细节增强,可参见如图6所示的不同的底数的对数图,其中,x轴为输入的强度等级(input intensity level),y轴为输出的强度等级(output intensity level)。
x轴的0.4大约对应了y轴的0.8,即原始亮度图像数据上0~0.4的低灰度部分经过对数转换后扩展到0~0.8的部分,而整个0.4~1的高灰度部分被投影到只有0.8~1的区间,这样就达到了扩展和增强低灰度部分,压缩高灰度部分的值的功能。
需要说明的是,对于不同的底数,底数越大,对低灰度部分的扩展就越强,对高灰度部分的压缩也就越强,在本实施例中,底数可设置为2或自然数e。
S404、在目标域中,以至少两种尺度对原始亮度图像数据进行滤波处理,获得至少两帧目标亮度图像数据。
在本实施例中,原始亮度图像数据中各个像素点的亮度值处于目标域,此时,分别以至少两种尺度对原始亮度图像数据进行滤波处理,从而获得至少两帧目标亮度图像数据。
其中,所谓尺度,可以指滤波半径的大小,即尺度越大,滤波半径越大,反之,尺度越小,滤波半径越小。
在一个示例中,如图5所示,在S504、S505中,分别以大尺度、小尺度对原始亮度图像数据进行滤波处理,从而获得两帧目标亮度图像数据,为便于区分,目标亮度图像数据包括第一亮度图像数据、第二亮度图像数据。
在此示例中,可以确定第一目标值、第二目标值,其中,第一目标值大于第二目标值,即第一目标值用于大尺度的滤波处理,第二目标值用于小尺度的滤波处理。
进一步而言,第一目标值在预设的范围中,该范围的一个端点值为第二目标值的n倍,范围的另一个端点值为第二目标值的m倍,其中,n、m均为大于1的整数,且m>n,例如,n为2,m为3,此时,第一目标值为11×11,第二目标值为5×5。
在目标域中,以第一目标值作为滤波半径对原始亮度图像数据进行滤波处理,获得第一亮度图像数据。
在目标域(如对数域)中,以第二目标值作为滤波半径对原始亮度图像数据进行滤波处理,获得第二亮度图像数据。
大尺度的滤波处理可以得到较为理想的光照图像数据的平滑信息,但是其结构信息也有相应的丢失,而小尺度的滤波处理可以得到较为清晰的光照图像数据的结构信息,将两者信息相结合,则可以得到理想的光照图像数据。
当然,上述滤波处理的方式只是作为示例,在实施本发明实施例时,可以根据实际情况设置其他滤波处理的方式,例如,使用三种滤波半径对原始亮度图像数据进行滤波处理,获得三帧目标亮度图像数据,等等,本发明实施例对此不加以限制。另外,除了上述滤波处理的方式外,本领域技术人员还可以根据实际需要采用其它滤波处理的方式,本发明实施例对此也不加以限制。
S405、通过凸曲线将至少两帧目标亮度图像数据从目标域转换至实数域。
在生成目标亮度图像数据之后,则可以将目标亮度图像数据中各个像素点的亮度值输入凸曲线所表示的函数中,输出映射之后的亮度值,从而将目标亮度图像数据中各个像素点的亮度值从目标域映射回实数域,便于后续的处理。
在一个示例中,如图5所示,在S506、S507中,将至少两帧目标亮度图像数据中各个像素点的亮度值进行逆对数(LOG)转换,以将目标亮度图像数据从对数域转换至实数域,即对第一亮度图像数据进行逆对数(LOG)转换,以将第一亮度图像数据从对数域转换至实数域,对第二亮度图像数据进行逆对数(LOG)转换,以将第二亮度图像数据从对数域转换至实数域。
当然,除了对数之外,若凸曲线以其他函数表示,则可以通过相应的函数将至少两帧目标亮度图像数据从目标域转换至实数域,本实施例对此不加以限制。
S406、对至少两帧目标亮度图像数据进行上采样。
若在先对原始亮度图像数据进行了下采样(subsampled),则相应地,可以通过最近邻元法、双线性内插法等方式分别对每帧目标亮度图像数据进行上采样(upsampling),以使目标亮度图像数据恢复至下采样(subsampled)之前的尺寸,以便后续的处理。
例如,如图5所示,在S508中,对第一亮度图像数据进行上采样,在S509中,对第二亮度图像数据进行上采样。
需要说明的是,如果移动终端的计算资源比较充足,在先未对原始亮度图像数据进行下采样,则在生成目标亮度图像数据之后,可忽略对目标亮度图像数据进行上采样,本实施例对此不加以限制。
S407、在原始亮度图像数据中检测边缘信息。
在本实施例中,如图5所示,在S510中,以通过Prewitt算子、Sobel算子、Laplacian算子、Canny算子等方式在原始亮度图像数据中检测边缘信息。
S408、在维持边缘信息的条件下,将至少两帧目标亮度图像数据中各个像素点的亮度值进行合并,获得光照图像数据。
在本实施例中,边缘信息可以在辅助获取清晰的结构信息的同时,最大化平滑细节信息,如图5所示,在S511中,以边缘信息作为合并的参考,使用线性融合等方式将至少两帧目标亮度图像数据中各个像素点的亮度值进行合并,合并之后的图像数据为光照图像数据。
在一个示例中,目标亮度图像数据包括第一亮度图像数据、第二亮度图像数据,其中,第一亮度图像数据为大尺度对原始亮度图像数据滤波之后的图像数据、第二亮度图像数据为小尺度对原始亮度图像数据滤波之后的图像数据。
在此示例中,将边缘信息输入预设的映射函数中,从而将边缘信息映射为第一权重,其中,映射函数可以为线性函数,使得第一权重与边缘信息正相关,即边缘信息的值越大,属于边缘的概率越大,则第一权重越大,反之,边缘信息的值越大,属于边缘的概率越小,则第一权重越小,滤波之后会存在抹掉边缘的可能性,通过配置第一权重可增加保留边缘的概率,从而去除噪声、细节。
基于第一权重计算第二权重,通常,将一减去第一权重,即为第二权重。
此后,一方面,对第一亮度图像数据中各个像素点的亮度值配置第一权重,获得第一候选图像数据;另一方面,对第二亮度图像数据中各个像素点的亮度值配置第二权重,获得第二候选图像数据;叠加第一候选图像数据与第二候选图像数据,获得光照图像数据。
在本示例中,合成光照图像数据的过程如下表示:
Wi=f1(Ei)
Ii=(wi)*Y′i+(1-wi)*″i
其中,Wi为第i个像素点的第一权重,f1()为映射函数,Ei为第i个像素点的边缘信息,Ii为第i个像素点在光照图像数据中表示的亮度值,Y′i为第i个像素点在第一亮度图像数据中表示的亮度值,Y″i为第i个像素点在第二亮度图像数据中表示的亮度值。
在本实施例中,通过大尺度的滤波处理,可以平滑细节,通过小尺度的滤波处理可以保护边缘,两者在边缘信息的限定下进行融合,可以极大地压缩计算量,并且可以得到质量较好的光照图像数据。
当然,上述融合目标亮度图像数据的方式只是作为示例,在实施本发明实施例时,可以根据实际情况设置其他融合目标亮度图像数据的方式,例如,使用核函数进行非线性融合,等等,本发明实施例对此不加以限制。另外,除了上述融合目标亮度图像数据的方式外,本领域技术人员还可以根据实际需要采用其它融合目标亮度图像数据的方式,本发明实施例对此也不加以限制。
S409、参照光照图像数据,从原始图像数据中分解出反射图像数据。
S410、在提高光照图像数据的亮度之后,与反射图像数据合成为目标图像数据。
为使本领域技术人员更好地理解本发明实施例,以下通过具体的示例来说明本发明实施例中基于Retinex对图像数据的增亮方法。
如图7所示,用户在夜晚的室外进行视频通话,图像数据701为在低亮度的条件下进行美颜处理后的图像数据,图像数据702为应用本实施例对图像数据增亮后进行磨皮处理的图像数据,对比图像数据701、图像数据702,可看出在暗光的环境下,低亮度会明显影响其他图像处理的效果,而利用本实施例可以改善这个问题,并且,本实施例在保证暗光增亮的效果的同时,考虑了计算复杂度,使得应用在实时的视频通信或者是短视频采集过程中成为可能。
实施例三
图8为本发明实施例三提供的一种图像增亮装置的结构示意图,该装置具体可以包括如下模块:
原始图像数据采集模块801,用于采集原始图像数据,所述原始图像数据中具有表示亮度的原始亮度图像数据;
目标亮度图像数据生成模块802,用于在降低对比度的条件下,以至少两种尺度对所述原始亮度图像数据进行滤波处理,获得至少两帧目标亮度图像数据;
光照图像数据融合模块803,用于将至少两帧所述目标亮度图像数据融合为光照图像数据;
反射图像数据分解模块804,用于参照所述光照图像数据,从所述原始图像数据中分解出反射图像数据;
目标图像数据合成模块805,用于在提高所述光照图像数据的亮度之后,与所述反射图像数据合成为目标图像数据。
在本发明的一个实施例中,所述目标亮度图像数据生成模块802包括:
域转换子模块,用于通过预设的凸曲线将所述原始亮度图像数据从实数域转换至目标域,以降低对比度;
滤波处理子模块,用于在所述目标域中,以至少两种尺度对所述原始亮度图像数据进行滤波处理,获得至少两帧目标亮度图像数据;
域恢复子模块,用于通过所述凸曲线将至少两帧所述目标亮度图像数据从所述目标域转换至所述实数域。
在本发明的一个实施例中,所述目标亮度图像数据生成模块802还包括:
下采样子模块,用于对所述原始亮度图像数据进行下采样;
上采样子模块,用于对至少两帧所述目标亮度图像数据进行上采样。
在本发明的一个实施例中,所述目标域包括对数域;
所述域转换子模块包括:
对数转换单元,用于对所述原始亮度图像数据中各个像素点的亮度值进行对数转换,以将所述原始亮度图像数据从实数域转换至对数域;
所述域恢复子模块包括:
逆对数转换单元,用于将至少两帧所述目标亮度图像数据中各个像素点的亮度值进行逆对数转换,以将所述目标亮度图像数据从所述对数域转换至所述实数域。
在本发明的一个实施例中,所述目标亮度图像数据包括第一亮度图像数据、第二亮度图像数据;
所述滤波处理子模块包括:
目标值确定单元,用于确定第一目标值、第二目标值,所述第一目标值大于所述第二目标值;
大尺度滤波单元,用于在所述目标域中,以所述第一目标值作为滤波半径对所述原始亮度图像数据进行滤波处理,获得第一亮度图像数据;
小尺度滤波单元,用于在所述目标域中,以所述第二目标值作为滤波半径对所述原始亮度图像数据进行滤波处理,获得第二亮度图像数据。
在具体实现中,所述第一目标值在预设的范围中,所述范围的一个端点值为所述第二目标值的n倍,所述范围的另一个端点值为所述第二目标值的m倍。
在本发明的一个实施例中,所述光照图像数据融合模块803包括:
边缘信息检测子模块,用于在所述原始亮度图像数据中检测边缘信息;
图像合并子模块,用于在维持所述边缘信息的条件下,将至少两帧所述目标亮度图像数据中各个像素点的亮度值进行合并,获得光照图像数据。
在本发明的一个实施例中,所述目标亮度图像数据包括第一亮度图像数据、第二亮度图像数据;
所述图像合并子模块包括:
第一权重映射单元,用于将所述边缘信息映射为第一权重,所述第一权重与所述边缘信息正相关;
第二权重计算单元,用于基于所述第一权重计算第二权重;
第一候选图像数据生成单元,用于对所述第一亮度图像数据中各个像素点的亮度值配置所述第一权重,获得第一候选图像数据;
第二候选图像数据生成单元,用于对所述第二亮度图像数据中各个像素点的亮度值配置所述第二权重,获得第二候选图像数据;
候选图像数据叠加单元,用于叠加所述第一候选图像数据与所述第二候选图像数据,获得光照图像数据。
在本发明的一个实施例中,所述反射图像数据分解模块804包括:
颜色空间转换子模块,用于将所述原始图像数据从第一颜色空间转换至第二颜色空间;
第一像素点参数确定子模块,用于针对同一位置的像素点,分别确定所述像素点在所述第二颜色空间表示的原始色彩分量、所述像素点在所述第一颜色空间表示的亮度值;
比值计算子模块,用于计算所述原始色彩分量与所述亮度值之间的比值,作为反射图像数据中所述像素点表示的反射色彩分量。
在本发明的一个实施例中,所述目标图像数据合成模块805包括:
伽马校正子模块,用于对所述光照图像数据进行伽马校正,以提高所述光照图像数据中各个像素点的亮度值;
第二像素点参数确定子模块,用于在完成所述伽马校正之后,针对同一位置的像素点,分别确定所述反射图像数据中所述像素点表示的反射色彩分量、所述光照图像数据中所述像素点表示的亮度值;
乘积计算子模块,用于计算所述反射色彩分量与所述亮度值之间的乘积,作为目标图像数据中所述像素点表示的目标色彩分量。
在本发明的一个实施例中,所述目标图像数据合成模块805还包括:
颜色空间恢复子模块,用于将所述目标图像数据从第二颜色空间转换至第一颜色空间。
本发明实施例所提供的图像增亮装置可执行本发明任意实施例所提供的图像增亮方法,具备执行方法相应的功能模块和有益效果。
实施例四
图9为本发明实施例四提供的一种移动终端的结构示意图。如图9所示,该移动终端包括处理器900、存储器901、通信模块902、输入装置903和输出装置904;移动终端中处理器900的数量可以是一个或多个,图9中以一个处理器900为例;移动终端中的处理器900、存储器901、通信模块902、输入装置903和输出装置904可以通过总线或其他方式连接,图9中以通过总线连接为例。
存储器901作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本实施例中的图像增亮方法对应的模块(例如,如图8所示的图像增亮装置中的原始图像数据采集模块801、目标亮度图像数据生成模块802、光照图像数据融合模块803、反射图像数据分解模块804和目标图像数据合成模块805)。处理器900通过运行存储在存储器901中的软件程序、指令以及模块,从而执行移动终端的各种功能应用以及数据处理,即实现上述的图像增亮方法。
存储器901可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序;存储数据区可存储根据移动终端的使用所创建的数据等。此外,存储器901可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器901可进一步包括相对于处理器900远程设置的存储器,这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
通信模块902,用于与显示屏建立连接,并实现与显示屏的数据交互。
输入装置903可用于接收输入的数字或字符信息,以及产生与移动终端的用户设置以及功能控制有关的键信号输入,还可以是用于获取图像的摄像头以及获取音频数据的拾音设备。
输出装置904可以包括扬声器等音频设备。
需要说明的是,输入装置903和输出装置904的具体组成可以根据实际情况设定。
处理器900通过运行存储在存储器901中的软件程序、指令以及模块,从而执行设备的各种功能应用以及数据处理,即实现上述的图像增亮方法。
本实施例提供的移动终端,可执行本发明任一实施例提供的图像增亮方法,具体相应的功能和有益效果。
实施例五
本发明实施例五还提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现一种图像增亮方法,该方法包括:
采集原始图像数据,所述原始图像数据中具有表示亮度的原始亮度图像数据;
在降低对比度的条件下,以至少两种尺度对所述原始亮度图像数据进行滤波处理,获得至少两帧目标亮度图像数据;
将至少两帧所述目标亮度图像数据融合为光照图像数据;
参照所述光照图像数据,从所述原始图像数据中分解出反射图像数据;
在提高所述光照图像数据的亮度之后,与所述反射图像数据合成为目标图像数据。
当然,本发明实施例所提供的计算机可读存储介质,其计算机程序不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的图像增亮方法中的相关操作。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是,上述图像增亮装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (13)

1.一种图像增亮方法,其特征在于,包括:
采集原始图像数据,所述原始图像数据中具有表示亮度的原始亮度图像数据;
在降低对比度的条件下,以至少两种尺度对所述原始亮度图像数据进行滤波处理,获得至少两帧目标亮度图像数据;
将至少两帧所述目标亮度图像数据融合为光照图像数据;
参照所述光照图像数据,从所述原始图像数据中分解出反射图像数据;
在提高所述光照图像数据的亮度之后,与所述反射图像数据合成为目标图像数据;
所述将至少两帧所述目标亮度图像数据融合为光照图像数据,包括:
在所述原始亮度图像数据中检测边缘信息;
在维持所述边缘信息的条件下,将至少两帧所述目标亮度图像数据中各个像素点的亮度值进行合并,获得光照图像数据。
2.根据权利要求1所述的方法,其特征在于,所述在降低对比度的条件下,以至少两种尺度对所述原始亮度图像数据进行滤波处理,获得至少两帧目标亮度图像数据,包括:
通过预设的凸曲线将所述原始亮度图像数据从实数域转换至目标域,以降低对比度;
在所述目标域中,以至少两种尺度对所述原始亮度图像数据进行滤波处理,获得至少两帧目标亮度图像数据;
通过所述凸曲线将至少两帧所述目标亮度图像数据从所述目标域转换至所述实数域。
3.根据权利要求2所述的方法,其特征在于,在所述通过预设的凸曲线将所述原始亮度图像数据从实数域转换至目标域之前,还包括:
对所述原始亮度图像数据进行下采样;
在所述通过所述凸曲线将至少两帧所述目标亮度图像数据从所述目标域转换至所述实数域之后,还包括:
对至少两帧所述目标亮度图像数据进行上采样。
4.根据权利要求2所述的方法,其特征在于,所述目标域包括对数域;
所述通过预设的凸曲线将所述原始亮度图像数据从实数域转换至目标域,包括:
对所述原始亮度图像数据中各个像素点的亮度值进行对数转换,以将所述原始亮度图像数据从实数域转换至对数域;
所述通过所述凸曲线将至少两帧所述目标亮度图像数据从所述目标域转换至所述实数域,包括:
将至少两帧所述目标亮度图像数据中各个像素点的亮度值进行逆对数转换,以将所述目标亮度图像数据从所述对数域转换至所述实数域。
5.根据权利要求2所述的方法,其特征在于,所述目标亮度图像数据包括第一亮度图像数据、第二亮度图像数据;
所述在所述目标域中,以至少两种尺度对所述原始亮度图像数据进行滤波处理,获得至少两帧目标亮度图像数据,包括:
确定第一目标值、第二目标值,所述第一目标值大于所述第二目标值;
在所述目标域中,以所述第一目标值作为滤波半径对所述原始亮度图像数据进行滤波处理,获得第一亮度图像数据;
在所述目标域中,以所述第二目标值作为滤波半径对所述原始亮度图像数据进行滤波处理,获得第二亮度图像数据。
6.根据权利要求5所述的方法,其特征在于,所述第一目标值在预设的范围中,所述范围的一个端点值为所述第二目标值的n倍,所述范围的另一个端点值为所述第二目标值的m倍。
7.根据权利要求1所述的方法,其特征在于,所述目标亮度图像数据包括第一亮度图像数据、第二亮度图像数据;
所述在维持所述边缘信息的条件下,将两帧或两帧以上的所述目标亮度图像数据中各个像素点的亮度值进行合并,获得光照图像数据,包括:
将所述边缘信息映射为第一权重,所述第一权重与所述边缘信息正相关;
基于所述第一权重计算第二权重;
对所述第一亮度图像数据中各个像素点的亮度值配置所述第一权重,获得第一候选图像数据;
对所述第二亮度图像数据中各个像素点的亮度值配置所述第二权重,获得第二候选图像数据;
叠加所述第一候选图像数据与所述第二候选图像数据,获得光照图像数据。
8.根据权利要求1-7任一项所述的方法,其特征在于,所述参照所述光照图像数据,从所述原始图像数据中分解出反射图像数据,包括:
将所述原始图像数据从第一颜色空间转换至第二颜色空间;
针对同一位置的像素点,分别确定所述像素点在所述第二颜色空间表示的原始色彩分量、所述像素点在所述第一颜色空间表示的亮度值;
计算所述原始色彩分量与所述亮度值之间的比值,作为反射图像数据中所述像素点表示的反射色彩分量。
9.根据权利要求1-7所述的方法,其特征在于,所述在提高所述光照图像数据的亮度之后,与所述反射图像数据合成为目标图像数据,包括:
对所述光照图像数据进行伽马校正,以提高所述光照图像数据中各个像素点的亮度值;
在完成所述伽马校正之后,针对同一位置的像素点,分别确定所述反射图像数据中所述像素点表示的反射色彩分量、所述光照图像数据中所述像素点表示的亮度值;
计算所述反射色彩分量与所述亮度值之间的乘积,作为目标图像数据中所述像素点表示的目标色彩分量。
10.根据权利要求9所述的方法,其特征在于,所述在提高所述光照图像数据的亮度之后,与所述反射图像数据合成为目标图像数据,还包括:
将所述目标图像数据从第二颜色空间转换至第一颜色空间。
11.一种图像增亮装置,其特征在于,包括:
原始图像数据采集模块,用于采集原始图像数据,所述原始图像数据中具有表示亮度的原始亮度图像数据;
目标亮度图像数据生成模块,用于在降低对比度的条件下,以至少两种尺度对所述原始亮度图像数据进行滤波处理,获得至少两帧目标亮度图像数据;
光照图像数据融合模块,用于将至少两帧所述目标亮度图像数据融合为光照图像数据;
反射图像数据分解模块,用于参照所述光照图像数据,从所述原始图像数据中分解出反射图像数据;
目标图像数据合成模块,用于在提高所述光照图像数据的亮度之后,与所述反射图像数据合成为目标图像数据;
所述光照图像数据融合模块,还包括:
边缘信息检测子模块,用于在所述原始亮度图像数据中检测边缘信息;
图像合并子模块,用于在维持所述边缘信息的条件下,将至少两帧所述目标亮度图像数据中各个像素点的亮度值进行合并,获得光照图像数据。
12.一种移动终端,其特征在于,所述移动终端包括:
一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-10中任一所述的图像增亮方法。
13.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1-10中任一所述的图像增亮方法。
CN202010780012.6A 2020-08-05 一种图像增亮方法、装置、移动终端和存储介质 Active CN111915528B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010780012.6A CN111915528B (zh) 2020-08-05 一种图像增亮方法、装置、移动终端和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010780012.6A CN111915528B (zh) 2020-08-05 一种图像增亮方法、装置、移动终端和存储介质

Publications (2)

Publication Number Publication Date
CN111915528A CN111915528A (zh) 2020-11-10
CN111915528B true CN111915528B (zh) 2024-06-21

Family

ID=

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104182947A (zh) * 2014-09-10 2014-12-03 安科智慧城市技术(中国)有限公司 一种低照度图像增强方法和***
CN111383181A (zh) * 2018-12-28 2020-07-07 展讯通信(上海)有限公司 图像增强方法及装置、存储介质、终端

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104182947A (zh) * 2014-09-10 2014-12-03 安科智慧城市技术(中国)有限公司 一种低照度图像增强方法和***
CN111383181A (zh) * 2018-12-28 2020-07-07 展讯通信(上海)有限公司 图像增强方法及装置、存储介质、终端

Similar Documents

Publication Publication Date Title
US9495582B2 (en) Digital makeup
CN112767289B (zh) 图像融合方法、装置、介质及电子设备
CN111899197B (zh) 一种图像增亮去噪方法、装置、移动终端和存储介质
JP6461165B2 (ja) 画像の逆トーンマッピングの方法
US8059911B2 (en) Depth-based image enhancement
US8766999B2 (en) Systems and methods for local tone mapping of high dynamic range images
JP6803378B2 (ja) 逆トーンマッピングの方法及び装置
CN111445564B (zh) 人脸纹理图像生成方法、装置、计算机设备和存储介质
CN111260580B (zh) 图像去噪方法、计算机装置及计算机可读存储介质
CN111918095B (zh) 一种暗光增强方法、装置、移动终端和存储介质
US10002408B2 (en) Restoring color and infrared images from mosaic data
US11017511B2 (en) Method and system of haze reduction for image processing
CN110248242B (zh) 一种图像处理和直播方法、装置、设备和存储介质
US8488899B2 (en) Image processing apparatus, method and recording medium
CN111429357A (zh) 训练数据确定方法、视频处理方法、装置、设备及介质
CN111915528B (zh) 一种图像增亮方法、装置、移动终端和存储介质
CN116468636A (zh) 低照度增强方法、装置、电子设备和可读存储介质
CN115578273A (zh) 图像多帧融合的方法、装置、电子设备及存储介质
CN115330633A (zh) 图像色调映射方法及装置、电子设备、存储介质
CN111915528A (zh) 一种图像增亮方法、装置、移动终端和存储介质
KR100741517B1 (ko) 잡음에 강한 채널 간 상관관계를 고려한 고해상도 색상보간 방법
CN110874816A (zh) 一种图像处理方法、装置、移动终端及存储介质
CN116542879A (zh) 图像处理方法及装置
Basheer et al. Nighttime Image Enhancement: A Review of Topical Concepts
CN117745543A (zh) 图像处理方法、装置、终端及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant