CN115841523A - 一种基于Raw域的双支路HDR视频重建算法 - Google Patents

Abstract

本发明公开了一种基于Raw域的双支路HDR视频重建算法，属于视频信号处理技术领域；一种基于Raw域的双支路HDR视频重建算法，具体包括如下步骤：S1、建立合成的Raw域视频HDR数据集；S2、基于S1设计双支路Raw视频HDR重建算法；S3、训练模型；S4、将测试集中低动态范围(LDR)的Raw视频序列输入到模型中，得到相应的高动态范围的输出结果；本发明在Raw域合成了第一个模拟真实噪声分布的视频HDR数据集，为夜晚或极端场景下HDR重建方法的训练和评估提供了基准数据集；同时利用所提出的内容增强模块，实现了困难场景下带噪LDR视频的动态范围扩展。

Description

一种基于Raw域的双支路HDR视频重建算法

技术领域

本发明涉及视频信号处理技术领域，尤其涉及一种基于Raw域的双支路HDR视频重建算法。

背景技术

高动态范围(HDR)技术利用多张不同曝光的低动态范围(LDR)图片来扩展图像的动态范围，丰富图像细节和提高图像对比度。自然场景下的场景辐照度可能从10^-5～10⁹不等，而普通相机记录的照片可能只有8bit或10bit的位深度，无法完整捕获场景的亮度范围。相机捕获的动态范围小于场景的动态范围时，可能会使拍摄图像出现过曝或者欠曝的区域，影响视觉质量。

随着HDR技术的发展，从传统的基于统计方法的融合逐渐转向依赖于深度学习的方法重建HDR图像。这些深度学习的方法往往经历两个步骤，一是将不同时刻、不同曝光的LDR图像对齐，二是将对齐后的LDR图像融合为HDR图像。相较于图像HDR重建，视频HDR重建需要重建原始LDR帧序列中每一帧的HDR结果。现有的方法往往针对交替曝光的视频序列(如-2EV，+2EV，-2EV，……)，采用基于滑动窗口的方法输入三张或五张相邻的不同曝光的LDR帧，经过对齐和融合重建出中间帧的HDR结果。

以往的视频HDR重建方法往往直接处理sRGB图像，然而sRGB图像经过了相机内部复杂的图像处理管道(ISP)，如黑电平矫正、去马赛克、白平衡、伽马校正和色域转换等。这使得sRGB图像不仅损失了部分原始信息，同时一些非线性映射操作为HDR的重建带来了困难。而利用相机传感器输出的Raw域数据可以很好的解决上面的问题，Raw域数据含有更宽的bit位数，包含更丰富的场景信息，同时由于未经后续ISP处理的影响，Raw域数据具有更好的线性性质，更有利于实现HDR重建。

另一方面，对于过暗场景的HDR重建，往往需要考虑严重的噪声影响，Raw域数据能够更准确的建模噪声，从而令模型更好的学会真实场景的去噪，广泛应用于图像和视频去噪任务。同时现有的方法如Kalantari等人提出的Deep hdr video from sequences withalternating exposures.Computer Graphics Forum 38,193–205(2019)缺少针对过暗区域噪声的特殊设计，使得网络对于重建带噪图像的HDR表现不佳。Chen等人提出的Hdrvideo reconstruction:A coarse-to-fine network and a real-world benchmarkdataset.In:Proceedings of the IEEE/CVF International Conference on ComputerVision.pp.2502–2511(2021)采用两阶段处理对齐和融合，使得短曝光图像作参考时细节被过度平滑，而长曝光作参考时又保留噪声。

综合上述内容可以看出，基于深度学习的HDR图像和视频的重建方法往往受到噪声的限制，现有的方法主要在sRGB域对图像进行训练，无法建模真实的噪声情况；同时网络结构主要针对对齐和融合进行设计，缺乏处理噪声的模块，导致困难场景下的HDR重建质量较低；为了解决上述问题，本发明提出了一种基于Raw域的双支路HDR视频重建算法。

发明内容

本发明的目的在于建立一个Raw视频HDR数据集，并在此基础上提出了一种基于Raw域的双支路HDR视频重建算法以解决背景技术中所提到的问题。

为了实现上述目的，本发明采用了如下技术方案：

一种基于Raw域的双支路HDR视频重建算法，具体包括以下步骤：

S1、建立合成的Raw域视频HDR数据集：建立Raw数据集，具体包括以下内容：

S101、源sRGB视频数据选择：选择Froehlich和Kronander等人拍摄的21个sRGB域HDR视频和高质量视频数据集Vimeo-90K作为源sRGB视频数据。每个HDR视频通过选定的曝光参数重新曝光来模拟交替曝光LDR视频序列；

S102、Raw数据集建立：通过模拟相机成像管道流程，将sRGB视频转换为Raw视频数据集。具体步骤为：逆相机响应(CRF)曲线、模拟bayer格式、数据增强、重新曝光、添加噪声得到Raw域的HDR和LDR图像，将其作为Raw域的训练数据对；

S2、设计重建算法：基于S1中所得的数据对，采用LDR的Raw帧

和HDR的Raw帧

作为训练对来设计双支路Raw视频HDR重建算法；

S3、训练模型：基于S2中所设计的重建算法来搭建模型，并利用深度学***台训练模型，在整个数据集上迭代15个epcoh，随后减小学习率至0.00001，继续迭代直到损失收敛，得到最终模型；

S4、输出结果：将测试集中的低动态范围的Raw视频序列输入到S3中所得的最终模型中，得到相应的高动态范围的输出结果。

优选地，所述S102中提到模拟相机成像流程将sRGB视频转换为Raw视频，具体包括以下步骤：

S1021、对于Vimeo-90K数据集，通过估计CRF曲线，将视频帧由非线性域转换到线性域；

S1022、将3通道sRGB帧下采样为四分之一分辨率的四个通道：红、绿、绿、蓝，按照GRBG的bayer格式组合为mosaic图像；

S1023、将mosaic图像转换为G、R、B、G的4通道图像，然后随机进行缩放、平移、旋转；

S1024、按照特定的曝光参数将Raw域HDR帧转换为Raw域LDR帧；

S1025、为Raw域LDR帧添加模拟的高斯和泊松噪声。

优选地，所述S2中提到的设计双支路Raw视频HDR重建算法，具体包括以下步骤：

S201、噪声估计：每次输入三帧连续的raw域LDR帧

利用噪声估计网络估计噪声水平图：

S202、数据处理和特征提取：输入三帧连续的raw域LDR帧

和其对应的曝光系数t_i-1、t_i、t_i+1，利用曝光系数对输入LDR图像进行曝光校正，校正公式为：

/>

利用上述公式将输入

映射到同一曝光水平；

然后经过特征提取模块，利用卷积提取特征：

其中，F_i表示第i帧提取的特征，输入的LDR图像用于帮助检测过曝和欠曝区域，输入的HDR图像用于帮助后续对齐，噪声水平图像帮助检测噪声区域；

S203、特征对齐：级联的金字塔式可变形卷积结构，首先将输入特征经过两次下采样得到多个尺度的特征：

其中，

表示下采样；

在第s个尺度上，利用

与中间帧特征/>

级联估计偏移量/>

将计算所得的偏移量

作为可变形卷积的偏移量，用可变形卷积对上一帧特征处理后得到当前尺度下的对齐结果：

其中，↑2表示2倍的双线性插值上采样，每一尺度的对齐结果与上一尺度的对齐结果经过卷积进一步融合；特征域上由粗到细的联合预测，能够更准确地估计大尺度下的位移；

S204、时间融合：空间注意力结构通过卷积得到相邻帧之间的注意力相关性，帮助网络重建出无鬼影和曝光准确的HDR图像：

其中，A_i表示预测出的空间注意力，⊙表示逐元素相乘，

表示时间融合后的特征；

S205、内容增强分支：将对齐后的特征

经过残差估计分支REB提取输入特征的高频信息，帮助恢复上一支路中缺少的内容：

其中，H_res表示估计得到的残差信息，REB为残差估计分支，其中包含了多个密集残差块；

S206、重建HDR：

经过一系列残差块、跳跃连接后和H_res相加，再经过sigmoid层得到最终的raw域HDR结果/>

/>

S207、损失函数：采用色调映射后输出

和真值/>

之间的差异化网络：

其中，μ为5000，T_i ^raw和

表示经过色调映射后的raw域真值图像和预测结果。

与现有技术相比，本发明提供了一种基于Raw域的双支路HDR视频重建算法，具备以下有益效果：

(1)本发明在Raw域合成了第一个模拟真实噪声分布的视频HDR数据集，为夜晚或极端场景下HDR重建方法的训练和评估提供了基准数据集；

(2)本发明基于提出的Raw视频HDR数据集，提出了一种双支路HDR视频重建方法，同时利用所提出的可变形卷积对齐模块，以及内容增强模块，实现了困难场景下带噪LDR视频的动态范围扩展；

(3)将本发明所提出的重建算法与是市面上主流重建方法进行的对比实验，结果表明，本发明所提出的重建算法优于目前主流的基于sRGB的HDR重建方法，并且优于或者相当于将主流方法直接转到Raw域的结果；经过本发明的研究探索，希望能够启发更多基于Raw域的视频HDR重建方法的研究。

附图说明

图1为本发明提出的一种基于Raw域的双支路HDR视频重建算法的算法流程图；

图2为本发明提出的一种基于Raw域的双支路HDR视频重建算法与其他视频/图像HDR重建算法在测试集上的结果视觉对比图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

实施例1：

一种基于Raw域的双支路HDR视频重建算法，具体包括以下步骤：

S1、建立合成的Raw域视频HDR数据集：建立Raw数据集，具体包括以下内容：

S101、源sRGB视频数据选择：选择Froehlich和Kronander等人拍摄的21个sRGB域HDR视频和高质量视频数据集Vimeo-90K作为源sRGB视频数据。每个HDR视频通过选定的曝光参数重新曝光来模拟交替曝光LDR视频序列；

S102、Raw数据集建立：通过模拟相机成像管道流程，将sRGB视频转换为Raw视频数据集。具体步骤为：逆相机响应(CRF)曲线、模拟bayer格式、数据增强、重新曝光、添加噪声得到Raw域的HDR和LDR图像，将其作为Raw域的训练数据对；

S102中提到模拟相机成像流程将sRGB视频转换为Raw视频，具体包括以下步骤：

S1021、对于Vimeo-90K数据集，通过估计CRF曲线，将视频帧由非线性域转换到线性域；

S1022、将3通道sRGB帧下采样为四分之一分辨率的四个通道：红、绿、绿、蓝，按照GRBG的bayer格式组合为mosaic图像；

S1023、将mosaic图像转换为G、R、B、G的4通道图像，然后随机进行缩放、平移、旋转；

S1024、按照特定的曝光参数将Raw域HDR帧转换为Raw域LDR帧；

S1025、为Raw域LDR帧添加模拟的高斯和泊松噪声。

Raw域数据与sRGB具有不同的数据格式，所以需要首先从原始RGB三通道重采样为RGGB四通道，然后按照拜尔格式重新排列，以模拟Raw数据格式；其次，通过在图像上添加高斯和泊松噪声模拟真实情况下的噪声分布；

S2、设计重建算法：基于S1中所得的数据对，采用LDR的Raw帧

和HDR的Raw帧

作为训练对来设计双支路Raw视频HDR重建算法；

S3、训练模型：基于S2中所设计的重建算法来搭建模型，模型输入帧数为3帧，输入视频被裁剪为256乘256的块，每一批次为16组样本数据。选用Adam优化器，初始学***台训练模型，在整个数据集上迭代15个epoch，随后减小学习率至0.00001，继续迭代直到损失曲线收敛，得到最终模型；

S4、输出结果：将测试集中的低动态范围的Raw视频序列输入到S3中所得的最终模型中，得到相应的高动态范围的输出结果。

在Raw域合成了第一个模拟真实噪声分布的视频HDR数据集，为夜晚或极端场景下HDR重建方法的训练和评估提供了基准数据集。

实施例2：

请参阅图1，基于实施例1但有所不同之处在于：

所述S2中提到的设计双支路Raw视频HDR重建算法，具体包括以下步骤：

S201、噪声估计：每次输入三帧连续的raw域LDR帧

利用噪声估计网络估计噪声水平图：

S202、数据处理和特征提取：输入三帧连续的raw域LDR帧

和其对应的曝光系数t_i-1、t_i、t_i+1，利用曝光系数对输入LDR图像进行曝光校正，校正公式为：

利用上述公式将输入

映射到同一曝光水平；

然后经过特征提取模块，利用卷积提取特征：

其中，F_i表示第i帧提取的特征，输入的LDR图像用于帮助检测过曝和欠曝区域，输入的HDR图像用于帮助后续对齐，噪声水平图像帮助检测噪声区域；

S203、特征对齐：级联的金字塔式可变形卷积结构，首先将输入特征经过两次下采样得到多个尺度的特征：

其中，

表示下采样；

在第s个尺度上，利用

与中间帧特征/>

级联估计偏移量/>

将计算所得的偏移量

作为可变形卷积的偏移量，用可变形卷积对上一帧特征处理后得到当前尺度下的对齐结果：

其中，↑2表示2倍的双线性插值上采样，每一尺度的对齐结果与上一尺度的对齐结果经过卷积进一步融合；特征域上由粗到细的联合预测，能够更准确地估计大尺度下的位移；

S204、时间融合：空间注意力结构通过卷积得到相邻帧之间的注意力相关性，帮助网络重建出无鬼影和曝光准确的HDR图像：

其中，A_i表示预测出的空间注意力，⊙表示逐元素相乘，

表示时间融合后的特征。

S205、内容增强分支：将对齐后的特征

经过残差估计分支REB提取输入特征的高频信息，帮助恢复上一支路中缺少的内容：

其中H_res表示估计得到的残差信息。

S206、重建HDR：

经过一系列残差块、跳跃连接后和H_res相加，再经过sigmoid层得到最终的raw域HDR结果/>

S207、损失函数：采用色调映射后输出

和真值/>

之间的差异化网络：

其中，μ为5000，T_i ^raw和

表示经过色调映射后的raw域真值图像和预测结果。/>

本发明基于Raw视频HDR数据集，提出了一种双支路HDR重建方法，利用所提出的可变形卷积对齐模块，以及内容增强模块，实现了困难场景下带噪LDR视频的动态范围扩展。

实施例3：

请参阅图2，基于实施例1-2但又有所不同之处在于：

将本发明所提出的一种基于Raw域的双支路HDR视频重建算法与市面上主流的方法在Raw域进行对比，其在测试集上的结果对比如图2和表1所示。

表1指标对比表

从图2和表1中可以看出，本发明所提出的一种基于Raw域的双支路HDR视频重建算法，通过两个分支的联合学习和信息互补能够更好的减少噪声影响，同时保留原始图像细节；结合实际图像效果和表中数据可以明显看出，本发明所提出的重建算法取得了更好的视觉效果和数据指标。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (3)

1.一种基于Raw域的双支路HDR视频重建算法，其特征在于，具体包括以下步骤：

S1、建立合成的Raw域视频HDR数据集：建立Raw数据集，具体包括以下内容：

S101、源sRGB视频数据选择：选择若干个现有的sRGB域HDR视频和高质量视频数据集作为源sRGB视频数据，每个HDR视频通过选定的曝光参数重新曝光来模拟交替曝光LDR视频序列；

S102、Raw数据集建立：通过模拟相机成像管道流程，将sRGB视频转换为Raw视频数据集，具体步骤为：获取逆相机响应曲线→模拟bayer格式→数据增强→重新曝光→添加噪声得到Raw域的HDR和LDR图像，将所得的Raw域的HDR和LDR图像作为Raw域的训练数据对；

S2、设计重建算法：基于S1中所得的数据对，采用LDR的Raw帧I_i ^raw和HDR的Raw帧H_i ^raw作为训练对来设计双支路Raw视频HDR重建算法；

S3、训练模型：基于S2中所设计的重建算法来搭建模型，并利用深度学***台训练模型，在整个数据集上迭代15个epcoh，随后减小学习率至0.00001，继续迭代直到损失收敛，得到最终模型；

S4、输出结果：将测试集中的低动态范围的Raw视频序列输入到S3中所得的最终模型中，得到相应的高动态范围的输出结果。

2.根据权利要求1所述的一种基于Raw域的双支路HDR视频重建算法，其特征在于，所述S102中提到模拟相机成像流程将sRGB视频转换为Raw视频数据集，具体包括以下步骤：

S1021、对于高质量视频数据集，通过估计CRF曲线，将视频帧由非线性域转换到线性域；

S1022、将3通道sRGB帧下采样为四分之一分辨率的四个通道：红、绿、绿、蓝，按照GRBG的bayer格式组合为mosaic图像；

S1023、将mosaic图像转换为G、R、B、G的4通道图像，然后随机进行缩放、平移、旋转；

S1024、按照特定的曝光参数将Raw域HDR帧转换为Raw域LDR帧；

S1025、为Raw域LDR帧添加模拟的高斯和泊松噪声。

3.根据权利要求1所述的一种基于Raw域的双支路HDR视频重建算法，其特征在于，所述S2中提到的设计双支路Raw视频HDR重建算法，具体包括以下步骤：

S201、噪声估计：每次输入三帧连续的raw域LDR帧

利用噪声估计网络估计噪声水平图：

S202、数据处理和特征提取：输入三帧连续的raw域LDR帧

和其对应的曝光系数t_i-1、t_i、t_i+1，利用曝光系数对输入LDR图像进行曝光校正，校正公式为：

利用上述公式将输入

映射到同一曝光水平；

然后经过特征提取模块，利用卷积提取特征：

其中，F_i表示第i帧提取的特征，输入的LDR图像用于帮助检测过曝和欠曝区域，输入的HDR图像用于帮助后续对齐，噪声水平图像帮助检测噪声区域；

S203、特征对齐：级联的金字塔式可变形卷积结构，首先将输入特征，经过两次下采样得到多个尺度的特征：

其中，

表示下采样；

在第s个尺度上，利用

与中间帧特征

级联估计偏移量

将计算所得的偏移量

作为可变形卷积的偏移量，用可变形卷积对上一帧特征处理后得到当前尺度下的对齐结果：

其中，^↑2表示2倍的双线性插值上采样，每一尺度的对齐结果与上一尺度的对齐结果经过卷积进一步融合；特征域上由粗到细的联合预测，能够更准确地估计大尺度下的位移；

S204、时间融合：空间注意力结构通过卷积得到相邻帧之间的注意力相关性，帮助网络重建出无鬼影和曝光准确的HDR图像：

其中，A_i表示预测出的空间注意力，⊙表示逐元素相乘，

表示时间融合后的特征；

S205、内容增强分支：将对齐后的特征经过残差估计分支REB提取输入特征的高频信息，帮助恢复上一支路中缺少的内容：

其中，H_res表示估计得到的残差信息；

表示对齐后的特征；

S206、重建HDR：

经过一系列残差块、跳跃连接后和H_res相加，再经过sigmoid层得到最终的raw域HDR结果

S207、损失函数：采用色调映射后输出

和真值

之间的差异化网络：

其中，μ为5000，

和

表示经过色调映射后的raw域真值图像和预测结果。

Images