CN114820373A

CN114820373A - 基于知识启发的单张图像重构hdr方法

Info

Publication number: CN114820373A
Application number: CN202210460159.6A
Authority: CN
Inventors: 叶茂; 王虎
Original assignee: University of Electronic Science and Technology of China
Current assignee: University of Electronic Science and Technology of China
Priority date: 2022-04-28
Filing date: 2022-04-28
Publication date: 2022-07-29
Anticipated expiration: 2042-04-28
Also published as: CN114820373B

Abstract

本发明公开一种基于知识启发的单张图像重构HDR方法，应用于图像处理领域，针对现有技术存在的仅仅从LDR图像本身的内容来考虑，并没有结合HDR到LDR图像的成像过程，导致的恢复结果不稳定的问题；本发明通过逆向推导HDR到LDR图像形成管道模拟数学公式，以此指导构建LDR到HDR重建基础模块，来重建HDR图像；采用本发明的方法能有效增强重建图像的真实性。

Description

基于知识启发的单张图像重构HDR方法

技术领域

本发明属于图像处理领域，特别涉及一种图像重构技术。

背景技术

自然场景中的亮度范围十分宽广，明暗跨度较大，以及由此带来更加鲜艳的颜色呈现出较多的视觉细节。但是目前由于硬件的限制的，大多数消费级的相机只能捕获有限范围亮度的照片，即为常见的低动态范围(Low Dynamic Range,LDR)图像。LDR图像虽然在一定程度上反映了真实场景中的大部分信息，但是仍然存在不少的细节信息丢失，尤其是在明暗跨度较大的场景中。近些年来，随着经济的发展，5G技术的普及以及市场上高动态范围(High Dynamic Range,HDR)显示器的增长，人们对更真实的场景的影视资料的需求日益增加。在医学诊断方面，HDR影像可以提供更多的细节，这使得医生的患者病情的诊断能够更精准；在电视，电影以及游戏等领域，HDR视频可以提供更加宽广的动态范围以及更加鲜艳的颜色，能够大幅度的提升消费者的观看体验；在计算机视觉研究领域，如自动驾驶等，HDR影像的使用能够提供更多的视觉信息，保证了任务完成的精度。因此重构HDR图像作为一种底层的图像处理方法，可以为后续的各种高层的研究提供帮助。

目前有许多关于重建HDR的网络，再对各种各样的场景，物体方面的处理中都有了明显的提升，但是大多数现存的方法在重建HDR图像时仅仅从LDR图像本身的内容来考虑，并没有结合HDR到LDR图像的成像过程。

相关现有技术：

西南科技大学张红英，朱恩弘，吴亚东的发明《一种单幅低动态范围图像生成高动态范围图像的方法》，公开号为：CN107045715A。该专利通过对输入的LDR图像进行一系列变换来扩展图片的动态范围，但是其并没有考虑到从HDR到LDR图像形成知识对LDR图像重建HDR图像的帮助，因此由该方法生成的图像并不能够恢复出细节上令人满意的HDR图像尤其在过曝区域，并且由于图像之间差异巨大，因此恢复结果不稳定。

天津大学张涛，梁杰，王昊的发明《一种快速的HDR视频重建方法》，公开号为：CN113973175A。该专利通过对输入的LDR视频帧做前景/背景分离进行重建，对HDR视频重建问题又引入了一个新的问题即前景/背景如何分离，以及分离后的场景如何进行重建。并不能有效的减少HDR图像生成问题的子空间。并且分别对前景和背景训练又增大了生成的HDR图像的误差。

发明内容

为解决上述技术问题，本发明提出一种基于知识启发的单张图像重构HDR方法，结合了HDR到LDR图像的成像过程，能有效提高重建图像的真实性。

本发明采用的技术方案为：一种基于知识启发的单张图像重构HDR方法，包括：

S1、将LDR图像通过3X3卷积操作得到LDR图像特征图；

S2、使用3X3卷积对LDR图像特征图进行下采样；

S3、使用知识启发块对步骤S2下采样后的LDR图像特征图进行首次恢复，得到伪HDR特征图；

S4、对伪HDR特征图进行下采样后，使用知识启发块进行第二、三次恢复，得到重建后的HDR特征图；

S5、对重建后的特征图通过3X3卷积及pixelShuffle操作进行上采样后，使用知识启发块进行第四次恢复，得到恢复的HDR特征图；

S6、对恢复的HDR特征图进行上采样；

S7、经步骤S6上采样后的HDR特征图通过3X3卷积转换为目标HDR图像。

本发明的有益效果：本发明提供一种可应用于图像及视频增强***的基于知识启发的单张图片重构HDR方法，在国内外率先将HDR到LDR的成像知识应用到一个端到端的模型构建中，突破了以往仅仅针对LDR内容来考虑重建以及较为机械的模仿拟相机成像过程构建HDR图像，简化了模型的构建，提高了模型的学习能力，进一步增强了重构图像的真实性,，在技术上具有一定的超前性。

附图说明

图1为基于知识启发的单张图片重建HDR方法示意图。

图2为基于知识启发的HDR图像重建总体架构示意图。

图3为知识启发块的结构示意图。

图4为基于知识启发的跳连结构。

图5为本发明方法的效果展示一；

其中(a)为输入的LDR图像一，(b)为通过提出的方法生成的HDR图像一。

图6为本发明方法的效果展示二；

其中(a)为输入的LDR图像二，(b)为通过提出的方法生成的HDR图像二。

图7为降噪分析；

其中，(a)是原始的LDR图像，(b)为采用本发明方法生成的HDR图像，(c)为(a)对应的噪声图，(d)为经本发明方法处理后的噪声图。

具体实施方式

为便于本领域技术人员理解本发明的技术内容，下面结合附图对本发明内容进一步阐释。

本发明的基于知识启发的单张图片重建HDR方法，如图1所示，主要核心是通过推导出来的LDR到HDR图像形成管道指导来构建HDR图像成像基础卷积块。合理利用该卷积块构建端到端的HDR重建模型，并通过成对数据集训练，接下来本发明将详细说明具体的实施方案。

1、基础卷积块的构建，具体构建步骤如下所述：

11、对LDR图像形成管道进行分析，以此知识构建LDR到HDR图像的成像管道，将其分为三个模块，细节恢复模块R，传感器参数调整模块X，噪声消除模块Y。

针对传统使用的HDR到LDR图像形成管道，本发明猜想一个拥有无限亮度捕获能力的相机，针对该相机与真实的相机进行分析得出该虚拟相机的图像形成管道如下所示：

其中g代表传感器参数，t代表曝光时间，I₀是偏移量，I_L代表场LDR图像，Φ代表真实的HDR图像，n代表传感器噪声，I_overflow表示具有无限捕获能力的相机捕获的像素。通过反向推导该公式本发明得到了如下所示的HDR图像形成公式：

从以上本发明可以清楚的看到LDR-HDR图形的恢复过程。他总共包含三个部分：1)在I_overflow≠0时推断过曝区域的像素；2)调整传感器参数和曝光时间；3)去除在LDR图像生成过程中产生的噪声。

12、对步骤11得到的HDR图像形成公式以及通过对这三个模块的作用大小以及本身固有特征进行分析之后，本发明对该公式从图像空间扩展到特征图空间即如下所示变换：

由此可得到如下HDR特征图重建公式：

L_F与H_F分别代表着前一层的特征图与通过知识启发块生成的特征图，R(·)代表着对丢失的过曝区域信息恢复来重建HDR图像；X(·)代表着对通过R(L_F)的特征进行调整来得到HDR域的特征。Y(·)代表着降噪部分，该噪声是由LDR图像形成过程中产生的。

基于上述分析，以及综合卷积神经网络强大的拟合能力，本发明借助两个1*1卷积模拟X与Y的功能，通过使用一些3*3卷积搭建一个适用于R的模块，如下所示：

X(L_F)＝Conv_1x1〇Conv_1x1〇(L_F),

Y(L_F)＝Conv_1x1〇Conv_1x1〇(L_F),

R(L_F)＝Cat(DC(L_F),...,DC^k(L_F))

其中，〇表示卷积操作，DC(·)代表密集连接块，基于此本发明构建了一个适用于HDR特征图重构的基础卷积模块，即如图2所示的知识启发块，包括：细节恢复模块R、传感器参数调整模块X、噪声消除模块Y、以及重建模块；知识启发模块的输入分别作为细节恢复模块R、传感器参数调整模块X、噪声消除模块Y的输入，传感器参数调整模块X的输出与细节恢复模块R的输出计算哈达玛积后与噪声消除模块Y的输出相加的结果作为知识启发块的第一输出；细节恢复模块R的输出经重建模块后得到包含过曝区域信息的图像，作为知识启发模块的第二输出。

本发明在附图3中详细的展示了细节恢复模块R中密集连接块以及总模块的结构，图3中一个密接连接块包括2个3*3卷积，第一个密集链接块的输出会作为第二个密集连接块的输入，以此类推，之后将这些密集连接块的输出拼接到一起计算，即R模块的输出，将R模块的输出与X,Y模块结合即为知识启发块的输出。

除此之外基于上述公式的启发，为了更好的恢复过曝区域的信息，本发明在每个知识启发块中为R模块重新设计了一个过曝损失函数如下所示：

上式左边第一项通过一个mask将过曝区域信息排除，然后第二项即通过有用的信息来推断过曝区域信息。

其中，||||₁表示L1范数，I_H代表真实的HDR图像，K_i代表通过重建分支(即图3中的重建模块)重建的图像，γ为取值较小的参数，用于避免过度惩罚，γ＝0.1。当i＝1或4时重建分支使用一个上采样和一个卷积层，当i＝2或3时重建分支使用两个上采样和两个卷积层。M代表着过曝区域面罩。本发明通过如下公式来计算M：

其中的c代表着RGB三通道，τ为0.83，I(x,y,c)代表LDR图像。

通过使用该损失函数，本发明的R网络能够集中更多的注意力在过曝光区域信息的恢复上。值得注意的是，重建分支仅用于训练阶段，因此并没有为推理阶段带来额外的开销。

2、端到端的HDR重建模型构建，具体细节如下所述：

21、针对步骤1所述构建的HDR特征图重建基础块，直接用于HDR图像的重建存在计算量大，精准度不够等问题，因此本发明采用逐步的方式进行HDR图像重构，首先在模块的头部本发明将LDR图像通过3X3卷积操作得到LDR图像特征图，之后使用3X3卷积其进行下采样，然后使用步骤1中构建的知识启发块对得到的LDR特征图进行首次重建恢复，之后对重建的伪HDR特征图进行第二次下采样后在通过知识启发块进行第二、三次重建恢复。对第三次重建后的特征图通过3X3卷积及pixelShuffle操作进行上采样后通过知识启发块进行第四次恢复，之后对恢复的特征图进行上采样，然后在尾部通过3X3卷积转换为目标HDR图像。

图2中，第一个256*256*64代表头部的输出的尺寸，第二个256*256*64代表尾部的输入的尺寸，128*128*64代表第一个知识启发块的输出的尺寸，64*64*64代表第三个知识启发块的输出的尺寸，128*128*64代表第四个知识启发块的输出的尺寸。

22、针对步骤21构建的端到端的HDR重建模型进行优化，传统的上下采样中包含跳连结构，但是由于HDR图像重建的特殊性，即LDR图像与HDR图像之间的动态鸿沟。导致了直接的跳连结构对于HDR重建问题并不是非常适用的。这是因为，第一，LDR到HDR过程严格意义上来讲是图像生成问题。从LDR图像形成管道可以看到存在大量的噪声问题；第二，LDR与HDR图像的动态范围鸿沟使得网络前段与后端的特征空间不具有一致性。因此本发明对该跳连结构进行改进，通过卷积模型构建降噪以及映射抑制分支来优化步骤21中构建的HDR重建模型。对于降噪问题，本发明使用了如图4中所示的残差结构的降噪模块，所述降噪模块包括2个3*3卷积和两个激活函数操作，通过该操作修正特征图的噪声信息，该降噪模块可以使用如下公式描述：

D＝Conv_3x3〇ReLU〇Conv_3x3〇ReLU(F)+F

F表示跳连结构的输入，D表示降噪模块的输出；

对于从接近于LDR的特征到接近于HDR的特征空间的映射，本发明使用了两个卷积-激活操作构成的映射模块，即图4中的后2个卷积-激活操作，如下所示：

表示映射模块的输出；

除此之外中，为了抑制无用的信息并且减少视觉噪声，本发明再一次对通过以上网络生成的信息进行过滤，最终得到的结果为：

其中AD模块代表1X1卷积，即图4中的调整单元，该模块是用来调整打分后的特征。P代表的是传统跳连结构的解码端信息。对于打分机制，本发明采用余弦相似度如下所示：

其中€是一个很小的参数用来防止除以0发生错误。

23、针对通过步骤1、2得到的模型，本发明通过定义一个简单的损失函数来解决该HDR图像重建问题，该损失函数由主损失函数与面罩损失函数组成，具体如下所示：

其中

代表生成的HDR图像，β为辅助参数。在本发明的训练过程中β＝0.01。虽然仅通过

的损失函数就能够重建出HDR图像，但通过加入过曝损失函数来辅助HDR图像重建，能使得重建的HDR图像效果更好。

3、成对的数据集进行训练，具体训练细节如下所示：

31、针对图片问题，本发明使用的数据集为NTIRE2021数据集，该数据集场景较为丰富包含了室内，室外场景以及多数图片具有广泛的亮度范围，共有1416张成对的训练图片以及78张测试图片。该模型被广泛用于HDR图像生成任务中。

32、针对视频问题，本发明使用了HDRTV数据集，该数据是由色域分别为BT.709与BT.2020的LDR及HDR视频集进行训练，该模型拥有1235张成对的训练图片以及117测试图片。在该问题中，本发明又进一步构建了感知损失函数来辅助模型恢复出视觉效果更好的HDR视频。具体细节如下所示：

其中f_vgg19是用来评估通过模型生成的HDR图像与真实的HDR图像之间深层次的特征相似性。通过使用了感知损失函数，本发明的总损失函数如下所示：

33、本发明使用ADAM优化器，设置学习率为2e^-4并且每迭代20万次减少一半。所有的模型均使用Pytorch框架进行构建，通过NVIDIA GeForce RTX 2080 SUPER进行训练，总得训练时间为6天。

图5与图6中分别给出了两幅不同的LDR图像，以及采用本发明的方法生成的HDR图像，图7中(a)是原始的LDR图像，(b)为采用本发明方法生成的HDR图像，(c)为(a)对应的噪声图，(d)为经本发明方法处理后的噪声图，从图5、6、7可以看出采用本发明的方法能有效推理出过曝区域信息；从图5-7可以看出本发明的方法能有效增强重构图像的真实性。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims

1.一种基于知识启发的单张图像重构HDR方法，其特征在于，通过构建重建网络模型，并采用成对的LDR-HDR图像对构建的重建网络模型进行训练，最后根据训练完成的重建网络对待处理的LDR进行重建，得到对应的HDR图像；

所述重建网络模型包括知识启发块，所述知识启发块用于对输入的图像进行恢复处理，所述知识启发块的结构包括：细节恢复模块R、传感器参数调整模块X、噪声消除模块Y；知识启发模块的输入分别作为细节恢复模块R、传感器参数调整模块X、噪声消除模块Y的输入，传感器参数调整模块X的输出与细节恢复模块R的输出计算哈达玛积后与噪声消除模块Y的输出相加的结果作为知识启发块的输出。

2.根据权利要求1所述的一种基于知识启发的单张图像重构HDR方法，其特征在于，细节恢复模块R采用多个密集连接块构成，表达式为：

R(L_F)＝Cat(DC(L_F),...,DC^k(L_F))

其中，〇表示卷积操作，DC(·)代表密集连接块，L_F表示细节恢复模块R所述知识启发块的输入。

3.根据权利要求2所述的一种基于知识启发的单张图像重构HDR方法，其特征在于，所述知识启发块在训练过程中还包括重建模块，所述重建模块的输入为细节恢复模块R的输出，重建模块的输出为包含过曝区域信息的图像。

4.根据权利要求3所述的一种基于知识启发的单张图像重构HDR方法，其特征在于，训练过程中知识启发块采用的损失函数表达式为：

其中I_H代表真实的HDR图像，K_i代表包含过曝区域信息的图像，M代表过曝区域面罩，

5.根据权利要求4所述的一种基于知识启发的单张图像重构HDR方法，其特征在于，所述重建网络模型具体包括四个知识启发块，还包括：头部3X3卷积、2个下采样模块、2个上采样模块、尾部3X3卷积以及三个跳连结构；四个知识启发块依次记为：第一知识启发块、第二知识启发块、第三知识启发块、第四知识启发块；2个下采样模块依次记为：第一下采样模块、第二下采样模块；2个上采样模块依次记为：第一上采样模块、第二上采样模块；三个跳连结构依次记为：第一跳连结构、第二跳连结构、第三跳连结构；

头部3X3卷积、第一下采样模块、第一知识启发块、第二下采样模块、第二知识启发块、第三知识启发块、第一上采样模块、第四知识启发块、第二上采样模块、尾部3X3卷积为串联结构；

第一跳连结构的输入包括头部3X3卷积的输出与第四知识启发块的输出，头部3X3卷积的输出与第四知识启发块的输出分别作为第一跳连结构的编码端信息与解码端信息，第一跳连结构的输出与第四知识启发块的输出相加的结果，作为尾部3X3卷积的输入；

第二跳连结构的输入包括第二知识启发块的输出与第一上采样模块的输出，第二知识启发块的输出与第一上采样模块的输出分别作为第二跳连结构的编码端信息与解码端信息，第二跳连结构的输出与第一上采样模块的输出相加的结果，作为第四知识启发块的输入；

第三跳连结构的输入包括第三知识启发块的输出与第二下采样模块的输出，第三知识启发块的输出与第二下采样模块的输出分别作为第三跳连结构的编码端信息与解码端信息，第三跳连结构的输出与第三知识启发块的输出相加的结果，作为第一上采样模块的输入。

6.根据权利要求5所述的一种基于知识启发的单张图像重构HDR方法，其特征在于，所述跳连结构包括为：降噪模块、映射模块、过滤模块；所述降噪模块的输入为跳连结构的编码端信息，降噪模块的输出作为映射模块的输入，映射模块的输出与跳连结构的解码端信息作为过滤模块的输入，过滤模块的输出作为跳连结构的输出。

7.根据权利要求6所述的一种基于知识启发的单张图像重构HDR方法，其特征在于，训练时重建网络模型采用的损失函数表达式为：

其中，