CN109447930B - 小波域光场全聚焦图像生成算法 - Google Patents

Abstract

本发明的小波域光场全聚焦图像生成算法属于全聚焦图像融合领域，本发明有效避免传统空域光场图像融合算法的块效应，获得较高质量的光场全聚焦图像，通过对微透镜阵列光场相机获得的4D光场数据进行空间变换与投影，得到用于全聚焦图像融合的多聚焦图像，对各帧多聚焦图像进行小波分解提取高、低频子图像集，提出区域均衡拉普拉斯算子、像素可见度函数分别构建融合图像的高、低频小波系数实现图像融合，其性能优于传统的区域清晰度评价函数，实验验证了本发明所提方法的正确性和有效性，采用Lytro光场相机的原始数据计算了融合全聚焦图像，与传统图像融合算法相比，人眼视觉效果更好，客观图像指标也得到了提高。

Description

小波域光场全聚焦图像生成算法

技术领域

本发明属于全聚焦图像融合领域，特别是涉及一种小波域光场全聚焦图像生成算法。

背景技术

伴随着计算摄影学新型学科领域的兴起及光场成像理论的发展，光场相机成为近十年来国内外诸多领域关注的热点。相对于传统相机，微透镜光场相机在主镜头后加入了微透镜阵列同时记录空间光线的位置与方向信息。多维度光场信息的记录为光场相机后期图像的处理及应用提供了便利，如利用光场相机数字重聚焦、全聚焦图像生成及深度信息计算等。光场相机可以在单次拍照后计算空间任意深度的重聚焦图像，是光场相机得以普遍关注的最突出技术亮点。基于此，各类光场高质量纹理图像获取及高精度深度信息计算得到深入研究。由于不受传统相机多次对焦拍摄获取多聚焦图像的限制，基于光场数字重聚焦技术的全聚焦图像融合成为光场相机的一个重要分支应用，其对于后期纹理图像及深度图像的超分辨率重构、光场视频文件的生成也具有重要意义。

目前，针对传统图像的全聚焦融合主要分为空间域和变换域，空间域基于像素或块进行清晰度评价，从不同图像中提取质量好的像素来构成全聚焦图像，计算时间快但存在块效应问题。变换域将图像分解为不同分辨率层或不同频带的子图像，通过评价重建分辨层或子图像构建重聚焦图像，可有效避免块效应。作为变换域的一种普遍方法，小波变换将待融合图像分解到一系列频率信道中，利用其分解后的塔形结构构建高、低频子图像，分别对高、低频子图像进行融合后经小波反变换得到全聚焦图像。小波变换融合图像的质量决定于高、低频子图像的融合规则选择：对于低频子图像，一般采用均值计算法实现融合；对于高频子图像，常采用Sobel算子、Prewitt算子及拉普拉斯算子等进行评价建立融合规则。

传统的拉普拉斯算子在x方向和y方向的二阶导数极可能出现符号相反的情况，而且现有拉普拉斯算子算法的抗噪能力低，微透镜标定误差会引起重聚焦图像产生局部噪声。另外，现有的低频信号融合加权平均法会降低融合图像的对比度并丢失原图像中一些有用信息。

发明内容

本发明针对现有民用级光场相机拍摄图像对比度不高、经数字重聚焦技术获得的多聚焦图像集分辨率有限、且存在由标定误差造成的局部噪声的问题，旨在提供一种基于小波域光场全聚焦图像生成算法，本算法通过建立高频系数区域均衡拉普拉斯算子、低频系数像素可见度函数的清晰度评价函数实现光场全聚焦图像生成，有效实现了光场原始数据到全聚焦图像的转化，且图像融合质量较传统算法有所提高。

为解决上述技术问题，本发明采用的技术方案为：小波域光场全聚焦图像生成算法，按照以下步骤实现：

步骤1)：将光场原图经数据解码后得到4D光场，选择不同的α_n(n＝1,2,3…)，利用数字重聚焦技术得到不同空间深度的重聚焦图像

步骤2)计算每一帧重聚焦图像的小波高、低频子图像

步骤3)对高、低频子图像分别采用区域均衡拉普拉斯BL算子和像素可见度PV函数作为图像融合清晰度评价指标，实现高、低频系数的融合；

步骤4)将高低频系数经过小波逆变换得到融合后的全聚焦图像。

进一步地，步骤3)中采用的BL算子为区域均衡拉普拉斯算子，该算子的表达式如下：

其中，其中S×T表示均衡区域大小，且S、T只能取奇数；s、t表示水平垂直方向二阶导步长；

表示权重因子，距离中心点越近的点，权重因子越大，对拉普拉斯算子值贡献越大，反之，距离中心点越远，对拉普拉斯算子值贡献越小。

进一步地，步骤3)中PV函数为像素可见度函数，具体表达式如下：

其中，S×T表示以当前像素点为中心的矩形邻域，且S、T只能取奇数；s、t表示在矩形邻域内水平垂直方向的扫描步长；

表示S×T区域像素的平均灰度值。

进一步地，低频系数和高频系数融合规则相同，以高频系数融合为例，规则如下：

其中，

代表不同空间深度各重聚焦图像经小波分解后各自的高频子图像，n＝1,2,3…N，N表示参与全聚焦图像融合的重聚焦图像帧数；

代表任意2幅高频子图像对应点的均衡拉普拉斯算子的差值；max[·]、min[·]为取最大值、最小值操作；H_H为自定义门限阈值(H_H取0.1，因为当两者差值小于0.1时表示两者区域均衡拉普拉斯值差异很小可以忽略不计)，当差值的最小值大于门限阈值时，取N帧图像中均衡拉普拉斯能量最大者所对应的高频系数作为融合系数，当两者差值小于门限阈值时，由多帧图像高频系数乘以权重因子来决定最后的融合系数，其中权重因子

本发明采用小波变换的方法来进行图像的融合。首先解码4D光场并采用数字重聚焦算法得到不同深度的多聚焦图像，通过对各多聚焦图像集进行小波分解及塔型重构构建高、低频子图像集，最后提出区域均衡拉普拉斯算子、像素可见度函数分别构建融合图像的高、低频小波系数实现图像融合。本算法有效实现了光场原始数据到全聚焦图像的转化，有效避免传统空域图像融合算法的块效应，获得较高质量的光场全聚焦图像，图像融合质量较传统算法有所提高。

附图说明

下面结合附图对本发明做进一步详细的说明。

图1为本发明算法的流程图。

图2为光场双平面参数化模型。

图3为光场相机数字重聚焦原理图。

图4为BL算子示意图。

图5为Leaves样本图像的融合过程演示图。

图6为Flower样本图像不同融合算法对比图。

图7为Forest样本图像不同融合算法对比图。

图8为Zither样本图像不同融合算法对比图。

具体实施方式

为使本发明的目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。

如图1所示，本算法的具体流程为：

步骤1)光场原图经数据解码后得到4D光场，选择不同的α_n(n＝1,2,3…)，利用数字重聚焦技术得到不同空间深度的重聚焦图像

步骤2)计算每一帧重聚焦图像的小波高、低频子图像

步骤3)高、低频子图像分别采用BL算子和PV函数作为图像融合清晰度评价指标，实现高低频系数的融合；

步骤4)最后经小波逆变换得到融合后的全聚焦图像。

步骤1)的具体过程如下：根据光场的双平面参数化模型，如图2所示，空间任一光线均可用其与两平面的交点确定，设光场相机的主透镜平面为(u,v)面，传感器平面为(x,y)面，光场相机记录的4D光场为L_F(x,y,u,v)，由经典光辐射公式可得到全光相机焦平面的积分图像：

其中F表示主透镜平面和焦平面间的距离，用X×Y×U×V表示4D光场矩阵L_F(x,y,u,v)的大小。如果将像平面由F移动到F′，新的4D光场矩阵用L_F′(x′,y′,u′,v′)表示，此时相机焦平面重聚焦图像表示为：

令F′＝α_n·F，为了方便图形表示，取4D空间的一个切面来得到坐标间的几何关系，如图3所示。根据相似三角形原理，可得到新光场与原始光场的坐标满足：

x′＝u+(x-u)·α_n＝α_n·x+(1-α_n)·u (3)

u′＝u (4)

同理可得到：

y′＝v+(y-v)·α_n＝α_n·y+(1-α_n)·v (5)

v′＝v (6)

公式(3)-(6)可表示为矩阵形式：

其中，[x′,y′,u′,v′]^T表示行向量[x′,y′,u′,v′]的转置，

表示坐标变换矩阵，具体形式如下：

公式(7)也等价于下式：

根据公式(9)，公式(2)可改写为：

改变α_n的取值，即可达到改变像平面的位置的目的，继而得到不同空间深度的重聚焦图片。

步骤2)的具体过程如下：根据小波变换图像融合理论，通过小波变换将待融合图像分解到一系列频率信道中，利用其分解后的塔形结构构建高、低频子图像，该过程可描述为：

其中(x,y)表示图像坐标系，(i,j)表示小波域坐标系，W[·]表示小波塔型分解操作符，W_H[·]表示小波塔型分解后提取高频系数(高频子图像)，W_L[·]表示小波塔型分解后提取低频系数(低频子图像)。

步骤3)中采用的BL算子为区域均衡拉普拉斯算子，该算子的表达式如下：

其中，其中S×T表示均衡区域大小，且S、T只能取奇数；s、t表示水平垂直方向二阶导步长；

表示权重因子，距离中心点越近的点，权重因子越大，对拉普拉斯算子值贡献越大，反之，距离中心点越远，对拉普拉斯算子值贡献越小。图4为S＝5、T＝5时的均衡拉普拉斯算子。

小波变换的高频子图像反映图像的亮度突变特性，即边界特性，拉普拉斯算子能对任何走向的边界和线条进行锐化，且保持各向同性特性，在对高频子图像进行清晰度评价时被广泛使用。针对拉普拉斯算子在x方向和y方向的二阶导数极可能出现符号相反的情况，同时充分考虑了周边点对当前位置清晰度评价函数的影响，本发明提出区域均衡拉普拉斯算子，通过增加二阶导的数量和方向来实现能量均衡。

考虑到微透镜标定误差会引起重聚焦图像产生局部噪声，拉普拉斯算子对噪声敏感的缺点，在对高频子图像进行融合前先进行双边滤波预处理，本发明基于区域均衡拉普拉斯算子的高频系数融合规则如下：

其中，

代表不同空间深度各重聚焦图像经小波分解后各自的高频子图像，n＝1,2,3···N，N表示参与全聚焦图像融合的重聚焦图像帧数；D(BL_αn(i,j))代表任意2幅高频子图像对应点的均衡拉普拉斯算子的差值；max[·]、min[·]为取最大值、最小值操作；HH为自定义门限阈值(HH取0.1，因为当两者差值小于0.1时表示两者区域均衡拉普拉斯值差异很小可以忽略不计)，当差值的最小值大于门限阈值时，取N帧图像中均衡拉普拉斯能量最大者所对应的高频系数作为融合系数，当两者差值小于门限阈值时，由多帧图像高频系数乘以权重因子来决定最后的融合系数，其中权重因子

步骤2)中小波塔型分解得到的低频系数，主要反应了原图像的平均灰度特征。计算低频融合系数的最简单方法是加权平均法，但加权平均法会降低融合图像的对比度并丢失原图像中一些有用信息。此外，空间频率法、点锐度算子等一些计算梯度的方法也被应用到低频融合系数的计算中。在本发明的光场图像低频系数融合中，借鉴了基于人类视觉特性的图像可见度(Image visibility，简称VI)的概念，其定义如下：

其中P×Q表示图像I(i,j)的大小；

表示图像I(i,j)的平均值；γ表示视觉常量，其取值范围为0.6～0.7，VI的值越大，代表图像可见度越高。

在低频子图像的融合过程中，如果直接采用(15)式计算，只能得到整幅图像的VI值，无法用于多幅图像的区域级或像素级融合。为了合理建立有效的低频系数评价指标，我们对式(15)进行改进，建立基于像素的图像可见度函数(Pixel visibility，简称PV)，具体表达式如下：

其中，S×T表示以当前像素点为中心的矩形邻域，且S、T只能取奇数；s、t表示在矩形邻域内水平垂直方向的扫描步长；

表示S×T区域像素的平均灰度值。在低频系数融合过程中，采用与高频系数相同的融合规则。

最后将融合后的高低频系数经小波逆变换得到融合后的全聚焦图像。

上面对本发明小波域光场全聚焦图像生成算法进行详细描述，下面通过具体实例来验证本算法的有效性。

本发明采用Lytro光场相机拍摄的原图进行了实验。图5(a)为光场原图，图5(b)、(c)、(d)分别为α＝0.52、α＝0.78、α＝0.98时根据公式(10)计算得到的三幅不同空间深度的多聚焦图像，聚焦深度从前景逐渐变化到背景。图5(e)为采用本发明方法计算得到的全聚焦图像，红色虚线所框区域清晰度明显高于(b)图对应区域，黄色虚线所框区域清晰度明显高于(c)图对应区域，白色虚线所框区域清晰度明显高于(d)图对应区域，可见本发明算法可有效利用光场原图像得到全聚焦图像。

为了从视觉上评价本发明所提算法的优势，选取三种经典的基于小波变换的图像融合方法(Sobel算法、Prewitt算法、Laplace算法)与本发明所提算法进行对比，实验数据采用三组光场原图(Flower、Forest、Zither)。

图6、图7、图8为对应实验结果：每幅图的(a)、(b)分别为三幅光场原图对应α＝1、α＝2时得到的重聚焦图像，聚焦深度从前景变换到背景；图6-8的(c)、(d)、(e)、(f)为Sobel算法、Prewitt算法、传统拉普拉斯算法及本发明算法得到的全聚焦图像。从视觉效果看，图6Sobel算法、Prewitt算法得到的融合图像在虚线所框矩形区域的清晰度明显不如本发明算法；图7虚线所框区域Sobel算法、Prewitt算法得到清晰度也明显不如本发明算法；图8采用Prewitt算法融合的植物叶子对应虚线所框区域(核对虚线框的位置)的清晰度也明显不如本发明算法；说明本发明所提光场全聚焦图像融合方法在视觉效果上具有一定优势。

另外，考虑到人眼视觉限制，本发明进一步选取了一些客观评价指标对图像质量进行评价，验证本发明算法的优越性。本发明分别选取信息熵(E)、平均梯度(AG)、图像清晰度(FD)和边缘强度(EI)作为评价指标，对图6、图7、图8中多种方法得到的全聚焦图像的质量进行评价。

其中E是度量信息大小的一个物理量，其值越大表示图像信息量越大。AG可以敏感的反应图像对微小细节反差能力，其值越高，代表它的能力越强。FD代表图像清晰程度，其值越高，代表其清晰程度越好。EI反映了图像的边缘强度，其值越高，代表图像边缘越清晰，具体评价指标对应结果如表1、表2、表3所示。

对比表中数据可知，本发明算法在图像的四种客观评价指标上，均优于其它三种传统的小波变换方法，体现了本发明算法的可行性和有效性。

表1 Flower样本图像不同融合算法性能指标比较

Table 1 Comparison ofperformance indexes ofdifferentfusion algorithmsforFlower sample images

	E	FD	AG	EI
					Sobel算法	6.8676	6.8991	6.2470	66.5340
Prewitt算法	6.8634	6.3270	5.8326	62.6420
					Laplace算法	6.8830	7.6837	6.8668	72.3073
本发明算法	6.8896	7.8498	7.0055	73.7203

表2 Cucurbit样本图像不同融合算法性能指标比较

Table 2 Comparison ofperformance indexes ofdifferent fusionalgorithms for Cucurbit sample images

	E	FD	AG	EI
					Sobel算法	5.7544	2.9136	2.5328	26.5157
Prewitt算法	5.7492	2.5766	2.2905	24.2735
					Laplace算法	5.8011	3.5235	3.0018	31.0134
本发明算法	5.8099	3.6305	3.0875	31.9033

表3 Zither样本图像不同融合算法性能指标比较

Table 3 Comparison ofperformance indexes ofdifferent fusionalgorithms forZither sample images

	E	FD	AG	EI
					Sobel算法	6.2935	5.1865	4.4675	48.3854
Prewitt算法	6.2695	4.5182	4.0184	43.7566
					Laplace算法	6.2716	5.6773	4.8649	52.4474
本发明算法	6.2987	6.2987	4.9425	53.1501

本发明完成了光场原图到全聚焦图像的计算，采用基于小波域清晰度评价的方法实现了全聚焦图像的融合，避免了传统空域图像融合算法造成的块效应。首先对解码得到4D光场数据进行空间变换与投影，得到用于全聚焦图像融合的多聚焦图像，然后通过对各多聚焦图像集进行小波分解及塔型重构构建高、低频子图像集实现图像融合。在小波高频子图像的融合中，本发明提出了基于区域均衡拉普拉斯算子的清晰度评价函数；在小波低频子图像融合中，本发明提出了基于像素可见度的清晰度评价函数，来提高全聚焦图像的融合质量。通过上面的实验表明，本发明所提方法与基于小波变换的传统算法相比，最终融合图像从主观视觉到客观指标上都得到了提高。

上面结合附图对本发明的实施例作了详细说明，但是本发明并不限于上述实施例，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (2)

1.小波域光场全聚焦图像生成方法，其特征在于，按照以下步骤实现：

步骤1)：将光场原图经数据解码后得到4D光场，选择不同的α_n,n＝1,2,3···N，利用数字重聚焦技术得到不同空间深度的重聚焦图像

步骤2)计算每一帧重聚焦图像的小波高、低频子图像

步骤3)对高、低频子图像分别采用区域均衡拉普拉斯BL算子和像素可见度PV函数作为图像融合清晰度评价指标，实现高低频系数的融合；

BL算子为区域均衡拉普拉斯算子，该算子的表达式如下：

其中，其中S×T表示均衡区域大小，且S、T只能取奇数；s、t表示水平、垂直方向二阶导步长；

表示权重因子，距离中心点越近的点，权重因子越大，对拉普拉斯算子值贡献越大，反之，距离中心点越远，对拉普拉斯算子值贡献越小；

PV函数为像素可见度函数，具体表达式如下：

其中，S×T表示以当前像素点为中心的矩形邻域，且S、T只能取奇数；s、t表示在矩形邻域内水平垂直方向的扫描步长；

表示S×T区域像素的平均灰度值；

步骤4)将高低频系数经过小波逆变换得到融合后的全聚焦图像。

2.根据权利要求1所述的小波域光场全聚焦图像生成方法，其特征在于：低频系数和高频系数融合规则相同，以高频系数融合为例，规则如下：

其中，

代表不同空间深度各重聚焦图像经小波分解后各自的高频子图像，n＝1,2,3···N，N表示参与全聚焦图像融合的重聚焦图像帧数；

代表任意2幅高频子图像对应点的均衡拉普拉斯算子的差值；max[·]、min[·]为取最大值、最小值操作；H_H为自定义门限阈值，当差值的最小值大于门限阈值时，取N帧图像中均衡拉普拉斯能量最大者所对应的高频系数作为融合系数，当两者差值小于门限阈值时，由多帧图像高频系数乘以权重因子来决定最后的融合系数，其中权重因子

Images