CN103237168A - 一种基于综合增益的高动态范围图像视频处理方法 - Google Patents

Abstract

本发明公开了属于图像视频处理技术领域的一种基于综合增益的高动态范围图像视频处理方法，该方法包括根据摄像机模型对综合增益值进行估计，计算全局HDR图像并生成HDR视频，具体步骤包括：1）从输入视频中选择关键帧并将所有视频帧进行对齐；2）将关键帧进行分组，在组内分别计算综合增益值；3）从关键帧中自动选择特征点，按照综合增益值计算全局HDR图像；4）从全局HDR图像上按照视频帧对齐数据进行反变换，得到最终的HDR视频。本发明具有不依赖特殊硬件设备、应用范围广的优点，能够满足将普通拍摄的视频转化为HDR视频的要求。

Description

一种基于综合增益的高动态范围图像视频处理方法

技术领域

本发明属于图像处理技术领域，特别涉及一种基于综合增益的高动态范围图像视频处理方法。尤其涉及一种不依赖于特殊硬件设备，可以处理普通摄像机直接拍摄视频的高动态范围（HDR，High DynamicRange）视频处理技术。

背景技术

近年来，随着数码照相机、数码摄像机以及各种有拍摄功能的手持电子设备的普及，海量的图像和视频正在不间断地产生。互联网上社交网站和图片视频分享网站的兴起，更是强化了人们对于图像、视频的拍摄需求，每天有数以万计的媒体信息在互联网上被传输和分享。但是作为人类视觉***的辅助工具，摄像设备现在已经开始显露出来它的不足，近些年来许多研究人员不断地从各个方面改进摄像设备的能力，除了对设备本身的更新以外，还对其输出的图像和视频进行后期处理，以期得到更好的效果。

在各种图像后期处理的研究中， 图像HDR处理能够在现有的图像采集设备和显示设备条件下，尽可能地得到类似于人眼观察景象的效果，所以成为了当今图像处理领域研究的热点。目前图像HDR 处理已经比较成熟，不仅有很多成熟的HDR处理软件，能够直接将多张不同曝光的图像处理成HDR 图像，而且不少消费级的数码相机和手机上都已经内置了简单的HDR 处理功能。但是就目前来说，视频HDR 的处理还比较落后，还没有可以直接商业化的成果。当前流行的HDR 视频处理方法不仅处理速度慢，而且还需要特殊的视频采集设备，这样就大大限制了HDR 视频应用的范围。

1.HDR图像处理算法

Debevec 等人受到传统摄像机成像原理的启发，将胶片特征曲线的映射过程应用到了HDR 图像处理领域，恢复了含有场景的原始亮度的HDR 图像。作者在文章中使用了一个简化的摄像机模型，用特征函数来表示相机拍照时的亮度映射过程：

Z_ij=f(E_iΔt_j)

其中: f(·) 表示特征函数，Z_ij 表示在第j 张图像上的第i个像素点的亮度值，E_i表示真实环境中i对应点的实际亮度，即最终HDR图像中的亮度值，Δt_j 表示第j张图像拍摄时的曝光时间。

作者使用了二次约束函数来估计特征函数：

其中，g(Z_ij)=lnf^-1(Z_ij)=lnE_i+lnΔt_j。

特征函数计算完毕后，便可以通过反向映射得到对应的HDR图像。

2.HDR视频处理算法

视频与图像处理的不同之处在于，除了视频帧内部的空间相关性以外，还存在着视频帧间的时间相关性。所以在视频处理时，可以充分利用已有的图像处理方法。在HDR 图像处理中最重要的一个条件就是要获得不同曝光条件的多张图像，在图像处理中，可以通过手动改变曝光值的方法来获取这些图像，但是在视频处理中，这个问题变得比较复杂，因为无法实时有效地在摄像机上完成类似于照相机的曝光控制。目前常用的方法是使用特殊的摄像设备在加上后期处理来解决这个问题，比如采用同时多种曝光设置的摄像设备，或者不断切换摄像机的曝光模式等等。但是特殊设备的使用极大地影响了视频HDR的应用范围。

发明内容

本发明的目的是为了克服已有技术的不足之处，提出了一种基于综合增益的高动态范围图像视频处理方法，其特征在于，包括：

1）利用摄像机内置的AGC（自动增益控制）功能，提取视频画面的内容和整体亮度变化，用于图像HDR处理中调节曝光参数；

2）根据带有AGC的摄像机的特殊性，提出了综合增益值（SGV）的概念，并进一步提出了带有AGC的摄像机模型。按照此模型可以从视频中恢复出所有关键帧的综合增益值；将视频HDR的处理转化为图像HDR处理的方式，恢复出全局HDR图像；最终按照帧对齐的逆变换，得到处理后的HDR视频；并在恢复出关键帧的过程中加入关键帧选取和关键帧分组的步骤，有效地减少了计算量，提高了处理速度；

所述高动态范围图像视频处理方法的流程处理步骤包括从视频中恢复出所有关键帧的综合增益值；将视频HDR的处理转化为图像HDR处理的过程，恢复出全局HDR图像（即输入视频）；在恢复出关键帧的过程中进行关键帧选取，将选取的关键帧的划分为关键帧和非关键帧，然后，关键帧和非关键帧分别进行对齐，并将关键帧对齐的信息输入非关键帧对齐步骤，非关键帧对齐后，则生成HDR视频、结束；在关键帧对齐后对关键帧分组、计算综合增益值、关键（视频）帧的插值补偿、特征点选取、计算HDR全局图像及色调映射，最终按照帧对齐的逆变换生成HDR视频，得到处理后的HDR视频，程序结束；

所述综合增益值是在摄像机中以感光度的形式存在，较低的增益值产生的感光度较低，使得到的图像整理较暗；而较高的增益值产生的感光度较高，能够使图像的整体变得更亮，但是会带来更多的噪声影响。所以，可以把增益值作为对原始输入亮度的一种补偿，以图像上某像素点p_k为例，当摄像机没有AGC功能或者AGC功能关闭时，符合一般摄像机模型：

I′^t(p_k)=f(E(p_k)·ΔT_t)

其中，I′^t(p_k) 表示像素点p_k在最终拍摄得到的图像上的亮度值，f(·)表示摄像机的特征函数，ΔT_t 表示拍摄第t帧时摄像机的曝光时间, E(p_k)表示p_k点在真实环境中对应点的真实亮度值。而当摄像机的AGC功能打开时，则符合得到带有AGC功能的摄像机模型：

I′^t(p_k)=f(E(p_k)·G_tΔT_t)

其中，G_t表示拍摄第t帧时摄像机的增益（Gain）值，由于摄像机在拍摄每帧图像的时候，增益值都在变化，所以不同帧的增益值也不相同。令s_k=G_tΔT_t，可以得到：

I′^t(p_k)=f(E(p_k)·S_t)

称S_t为综合增益值，用来表示视频拍摄时AGC和曝光设置共同起作用的效果。

本发明的有益效果是提出了通用性较强的视频HDR处理方法，以及从视频中获取全局HDR图像的方法。本发明具有如下特点：

1.本方法不依赖于特殊的视频拍摄硬件设备，使用常见的摄像机拍摄的视频即可使用本方法进行处理。

2.使用本方法处理视频后，可以得到一张全景HDR图像。

附图说明

图1 是***整体算法的流程图，

具体实施方式

本发明提出的一种基于综合增益的高动态范围图像视频处理方法，下面结合附图对本发明进一步说明。

如图 1所示的***整体算法的流程图。该方法的流程步骤包括从视频中恢复出所有关键帧的综合增益值；将视频HDR的处理转化为图像HDR处理的过程，恢复出全局HDR图像（即输入视频）；在恢复出关键帧的过程中进行关键帧选取，将选取的关键帧的划分为关键帧和非关键帧，然后，关键帧和非关键帧分别进行对齐，并将关键帧对齐的信息输入非关键帧对齐步骤，非关键帧对齐后，则生成HDR视频、结束；在关键帧对齐后对关键帧分组、计算综合增益值、关键（视频）帧的插值补偿、特征点选取、计算HDR全局图像及色调映射，最终按照帧对齐的逆变换生成HDR视频，得到处理后的HDR视频，程序结束；

实施例

图 1所示的***整体算法的具体步骤如下：

（1）在输入视频中的选取部分视频帧标记为关键帧（关键帧帧号的集合表示为u_k），将其余视频帧标记为非关键帧。视频关键帧的选取可以采取固定间隔选取或者其他非固定间隔选取的方式，但需要保证关键帧间的物体运动不会过大的同时，尽量减少关键帧的数目。为了简化处理，采用固定10帧为间隔的关键帧选取方式，经过实验验证这种选取方式在大多数视频中都表现良好。为了保证所有视频帧都被处理，视频第一帧和最后一帧需要指定为关键帧；

（2）将步骤（1）中选取出的关键帧和非关键帧进行图像对齐，并将所有对齐后的关键帧映射到同一个平面。定义所有关键帧映射后能够覆盖的区域为全局图像，全局图像包含了整个视频能够覆盖的所有像素点；

（3）将步骤（2）中已经对齐的关键帧划分为关键帧组，这样做的主要目的是为了使同一关键帧组内的关键帧能够有一定的重合区域，并且在计算时能够大幅减少计算量；

（4）在步骤（3）中得到的关键帧组内计算综合增益值，并将所有组的综合增益值进行统一化，得到对应于所有关键帧的综合增益值；

（5）每个单独的关键帧并不能包含全局图像中所有的像素点，所以需要将所有对齐后的关键帧中不存在的点进行插值补偿，将所有对齐后的关键帧按照亮度变化程度进行插值；

（6）由于摄像机可能存在运动，并且视频帧数量较多，所以无法手动从视频中选择特征点，所以需要使用自动化的方法从所有关键帧中选取特征点；

（7）按照全局增益值和特征点计算全局HDR图像；

（8）利用关键帧和非关键帧到全局图像上的对齐变换，在全局HDR图像上进行逆变换，从全局HDR图像上恢复HDR视频帧。

上述步骤（2）中将关键帧和非关键帧进行对齐，具体包含以下步骤：

2.1选取任一平面作为全局图像平面，在本发明中为了简化处理，选择第1个关键帧所在的平面作为全局图像平面；

2.2选择第1个关键帧，将此关键帧与全局图像平面对齐并进行变换，映射到全局平面。由于第1个关键帧所在平面即为全局图像平面，则不必进行变换；

2.3顺序选择下一个关键帧，将此关键帧与前一个关键帧进行对齐，并映射到全局平面；

2.4顺序选择前面两个关键帧间的非关键帧，并将此非关键帧与两个关键帧进行加权对齐，加权因子使用此非关键帧分别距两个关键帧间的距离，记M_m,n为第n帧到第m帧的对齐变换矩阵，并记第t帧为正在进行对齐的非关键帧，而第i帧和第j帧为第t帧临近的两个关键帧，则计算公式如下所示：

$M_{1,t}=\frac{t-i}{j-i}\·M_{1,i}\×M_{i,t}+\frac{j-t}{j-i}\·M_{1,j}\×M_{j,t}$

M_1,i 、 M_i,t 、 M_1,j 、 M_j,t与M_m,n的含义一致。

2.5重复步骤（24）直至前面两个关键帧间的非关键帧全部对齐完毕；

2.6重复步骤（2.3）-（2.5）直至所有关键帧和非关键帧全部对齐完毕。

上述步骤（3）中将关键帧进行分组，进行关键帧分组的目的是降低计算复杂度，使每次计算的范围限定在若干关键帧中。关键帧分组的方式很多，以帧间重叠率分组方法为例介绍关键帧分组，但其他关键帧分组的方式也是可行的。帧间重叠率分组方法具体包含以下步骤：

3.1将第1个关键帧加入到第一个关键组；

3.2顺序加入后续关键帧，并计算所有已经加入关键帧的重叠率，重叠率的计算方法为：

$r_i=\frac{\left|\underset{k\∈u_{G_i}}{\∩}{P}_k\right|}{\left|\underset{k\∈u_{G_i}}{\∪}{P}_k\right|}$

其中，

表示关键组G_i中包含的关键帧号的集合，P_k表示关键帧k中有效像素点的集合，∩和∪分别表示对集合的求交集和求并集操作；

3.3若重叠率大于0.5，重复步骤（3.2）；当重叠率小于0.5时，去掉最后加入的关键帧，将前面加入的关键帧归为一个关键组；

3.4将上一组的最后一个关键帧作为第一帧加入到下一个关键组，称为连接帧，并重复（3.2）-（3.4）的步骤直到所有关键帧被处理。

上述步骤（4）中计算组内综合增益值和全局增益值，具体包含以下步骤：

4.1选取关键组内的关键帧的重叠部分；

4.2对步骤（4.1）中选择的重叠部分中的像素点进行评分，评分的因素为此像素点在关键帧中的亮度变化随关键帧平均亮度变化的符合程度；

4.3计算所有像素点的平均亮度，作为平均亮度帧，将此帧中的所有像素点按照亮度值的不同划分为256组，每组中选取评分值最高的像素点加入到特征点集 ；

4.4按照步骤（4.1）中得到的重叠部分计算相邻关键帧的亮度比例（

），作为相邻关键帧帧间综合增益值的比例（

）；

4.5根据如下最优化方程，计算组内各个关键帧的综合增益值：

$\begin{array}{c}\min \underset{p_k\&Element;P_s}{\mathrm{\&Sigma;}}\underset{t\&Element;u_{G_i}}{\mathrm{\&Sigma;}}{[g\left(I^{\&prime;t}\left(p_k\right)\right)-\ln E\left(p_k\right)-\ln S_t]}^2\\ s.t.\left|g^{\&prime;\&prime;}\left(I\right)\right|<\mathrm{\&epsiv;}\&ForAll;I\&Element;\left[\mathrm{1,255}\right]\\ |\frac{S_m}{S_n}-\frac{L_m}{L_n}|<\mathrm{\&epsiv;}\&ForAll;m,n\&Element;u_K\end{array}$

其中，min和s.t. 表示这是一个约束方程式。

表示第G_i组关键帧中的关键帧号集合，u_K表示整个视频中所有关键帧的帧号集合，P_s表示第G_i组关键帧共同覆盖的点集，L_t表示第t帧上所有像素点集的平均亮度。

4.6将所有的关键组按照步骤（4.1）到（4.3）的方式依次计算各个关键帧的综合增益值；

4.7按照分组间的重合点将各个关键组的综合增益值相连，即根据重合点在前后两个关键组间的值，调整后面关键组内的所有关键帧的综合增益值，使关键点在前后两个关键组内的综合增益值相同，得到每个关键帧最终的综合增益值；

上述步骤（5）中将对齐后的关键帧进行插值补全，具体包含以下步骤：

5.1按照时间顺序，依次处理全局图像中每个像素点在每个关键帧上的对应点；

5.2若当前像素点在本关键帧上已经存在，则跳过此像素点，继续处理下一个像素点；若像素点点在本关键帧上不存在，则继续进行下一步；

5.3将每个像素点按照如下条件划分为3类：

·在除当前关键帧t以外存在两个关键帧m和n，这两个关键帧对应的综合增益值的较大者大于当前***值的关键帧的综合增益值，较小者小于当前当前***值的关键帧的综合增益值，同时***值点同时存在于这两个关键帧中，则将此点归于第1类；

·若无法满足第1类的条件，但是***值的像素点在前一个关键帧中存在，则将此点归于第2类；

·若无法满足第1类和第2类条件，则将此点归于第3类；

5.4第1类像素点可以采用线形加权的方式计算得到：

$I^{\&prime;t}\left(p_k\right)=\frac{S_n-S_t}{S_n-S_m}{I}^{\&prime;m}\left(p_k\right)+\frac{S_t-S_m}{S_n-S_m}{I}^{\&prime;n}\left(p_k\right)$

其中，如前所述，m和n分别表示与当前关键帧t相关的两个关键帧，I′^m(p_k)和I′ⁿ(p_k) 分别表示p_k在这两个关键帧上的亮度值。

5.5第2类像素点可以利用前一个关键帧中相同亮度点的平均亮度得到：

$I^{\&prime;t}\left(p_k\right)=\frac{1}{\left|P_s\right|}\underset{p\&Element;P_s}{\mathrm{\&Sigma;}}{I}^{\&prime;t}\left(p\right)$

其中P_s表示从前一个关键帧中选择出的与p_k亮度相同的点集；

5.6第3类像素点无法在当前插值，只能在另一个方向中完成；

5.7按照时间逆序，重复步骤（5.2）-（5.6），直到所有关键帧上的所有像素点都插值完毕。

上述步骤（6）中从关键帧中选择特征点，具体包含以下步骤：

6.1将全局图像上所有的像素点进行评分，评分的因素为此像素点在所有关键帧中出现的次数以及此像素点在关键帧中的亮度变化随关键帧平均亮度变化的符合程度；

6.2取所有关键帧中综合增益值最大的帧为最大亮度帧，将此帧中的所有像素点按照亮度值的不同划分为256组，每组中选取评分值最高的像素点加入到特征点集；

6.3取所有关键帧中综合增益值最小的帧为最小亮度帧，将此帧中的所有像素点按照亮度值的不同划分为256组，每组中选取评分值最高的像素点加入到特征点集；

6.4计算所有像素点的平均亮度，作为平均亮度帧，将将此帧中的所有像素点按照亮度值的不同划分为256组，每组中选取评分值最高的像素点加入到特征点集；上述步骤（7）中计算HDR全局图像，具体包含以下步骤：

7.1使用步骤（4）中计算的每个关键帧的综合增益值（S_t）、步骤（6）中选取的特征点集（P_s）计算特征曲线，计算公式如下：

$\begin{array}{c}\min \underset{p_k\&Element;P_s}{\mathrm{\&Sigma;}}\underset{t\&Element;u_K}{\mathrm{\&Sigma;}}{[g\left(I^{\&prime;t}\left(p_k\right)\right)-\ln E\left(p_k\right)-\ln S_t]}^2\\ s.t.\left|g^{\&prime;\&prime;}\left(I\right)\right|<\mathrm{\&epsiv;}\&ForAll;I\&Element;\left[\mathrm{1,255}\right]\end{array}$ ；

其中，u_K表示整个视频中所有关键帧的帧号集合，P_s表示从所有关键帧中选择出来的特征点集。

7.2使用步骤（7.1）中得到的特征曲线（g）以及步骤（5）中插值后的关键帧恢复HDR全局图像

$\ln E\left(p_k\right)=\frac{\underset{t\&Element;u_K}{\mathrm{\&Sigma;}}w\left(I^{\&prime;t}\left(p_k\right)\right)(g\left(I^{\&prime;t}\left(p_k\right)\right)-\ln S_t)}{\underset{t\&Element;u_K}{\mathrm{\&Sigma;}}w\left(I^{\&prime;t}\left(p_k\right)\right)}$ ；

其中，w(·)表示加权函数，一般来说，当像素亮度值更接近像素最高亮度值的一半（通常为128）的时候权重最高，然后分别向低亮度值和高亮度值方向依次递减。

7.3将HDR全局图像进行色调映射，得到色调映射后的HDR全局图像。

Claims (4)

1.一种基于综合增益的高动态范围图像视频处理方法，其特征在于，包括：

1）利用摄像机内置的AGC功能，提取视频画面的内容和整体亮度变化，用于图像HDR处理中调节曝光参数；

2）根据带有AGC的摄像机的特殊性，并结合了一般的摄像机模型，提出了综合增益值的概念，并进一步提出了带有AGC的摄像机模型，按照此模型从视频中恢复出所有关键帧的综合增益值；将视频HDR的处理转化为图像HDR处理的方式，恢复出全局HDR图像；最终按照帧对齐的逆变换，得到处理后的HDR视频；并在恢复出关键帧的过程中加入关键帧选取和关键帧分组的步骤，有效地减少了计算量，提高了处理速度。

2.根据权利要求1所述一种基于综合增益的高动态范围图像视频处理方法，其特征在于，所述将视频HDR的处理转化为图像HDR处理，从视频中恢复出所有关键帧的综合增益值，恢复出全局HDR图像的过程包括步骤：首先输入摄像机拍摄的视频；在恢复出关键帧的过程中进行关键帧选取，将选取的关键帧的划分为关键帧和非关键帧，然后，关键帧和非关键帧分别进行对齐，并将关键帧对齐的信息输入非关键帧对齐步骤，非关键帧对齐后，则生成HDR视频、结束；在关键帧对齐后对关键帧分组、计算综合增益值、关键帧的插值补偿、特征点选取、计算HDR全局图像及色调映射，按照帧对齐的逆变换生成HDR视频，得到处理后的HDR视频，程序结束。

3.根据权利要求1或2所述一种基于综合增益的高动态范围图像视频处理方法，其特征在于，所述综合增益值是在摄像机中以感光度的形式存在，较低的增益值产生的感光度较低，使得到的图像整理较暗；而较高的增益值产生的感光度较高，能够使图像的整体变得更亮，但是会带来更多的噪声影响，所以，可以把增益值作为对原始输入亮度的一种补偿，以图像上某像素点p_k为例，当摄像机没有AGC功能或者AGC功能关闭时，符合一般摄像机模型：

I′^t(p_k)=f(E(p_k)·ΔT_t)

其中，I′^t(p_k) 表示像素点p_k在最终拍摄得到的图像上的亮度值，f(·)表示摄像机的特征函数，ΔT_t表示拍摄第t帧时摄像机的曝光时间, E(p_k)表示p_k点在真实环境中对应点的真实亮度值。而当摄像机的AGC功能打开时，则符合得到带有AGC功能的摄像机模型：

I′^t(p_k)=f(E(p_k)·G_tΔT_t)

其中，G_t表示拍摄第t帧时摄像机的增益（Gain）值，由于摄像机在拍摄每帧图像的时候，增益值都在变化，所以不同帧的增益值也不相同，令S_t=G_tΔT_t，可以得到：

I′^t(p_k)=f(E(p_k)·S_t)

称S_t为综合增益值，用来表示视频拍摄时AGC和曝光设置共同起作用的效果。

所述各个关键帧的综合增益值由下式计算：

$\begin{array}{c}\min \underset{p_k\&Element;P_s}{\mathrm{\&Sigma;}}\underset{t\&Element;u_{G_i}}{\mathrm{\&Sigma;}}{[g\left(I^{\&prime;t}\left(p_k\right)\right)-\ln E\left(p_k\right)-\ln S_t]}^2\\ s.t.\left|g^{\&prime;\&prime;}\left(I\right)\right|<\mathrm{\&epsiv;}\&ForAll;I\&Element;\left[\mathrm{1,255}\right]\\ |\frac{S_m}{S_n}-\frac{L_m}{L_n}|<\mathrm{\&epsiv;}\&ForAll;m,n\&Element;u_K\end{array}$ ，

其中，min和s.t. 表示一个约束方程式，g(·)是f(·)的反函数，即g(·)=f^-1(·) ，

表示第G_i组关键帧中的关键帧号集合，u_K表示整个视频中所有关键帧的帧号集合，P_s表示第G_i组关键帧共同覆盖的点集，L_t表示第t帧上所有像素点集的平均亮度。

4.根据权利要求1所述一种基于综合增益的高动态范围图像视频处理方法，其特征在于，所述按照帧对齐的逆变换生成HDR视频是利用关键帧和非关键帧到全局图像上的对齐变换，在全局HDR图像上进行逆变换，从全局HDR图像上恢复HDR视频帧，将HDR全局图像进行色调映射，得到色调映射后的HDR全局图像为

$\ln E\left(p_k\right)=\frac{\underset{t\&Element;u_K}{\mathrm{\&Sigma;}}w\left(I^{\&prime;t}\left(p_k\right)\right)(g\left(I^{\&prime;t}\left(p_k\right)\right)-\ln S_t)}{\underset{t\&Element;u_K}{\mathrm{\&Sigma;}}w\left(I^{\&prime;t}\left(p_k\right)\right)}$ ；

其中，w(·)表示加权函数，一般来说，当像素亮度值更接近像素最高亮度值的一半（通常为128）的时候权重最高，然后分别向低亮度值和高亮度值方向依次递减。

Images