CN115297254B - 一种便携式高辐射条件下高动态成像融合*** - Google Patents

Abstract

本发明设计了一种便携式高辐射条件下高动态成像融合***，其特点在于利用手机等移动终端获取多曝光图像序列，后在单图像校准约束下实现对图像进行高动态恢复，同时实现多图像间的高动态融合。所述***的基本过程包括：***调控手机获取多曝光序列，将获取到的8位低动态图像，经图像处理管道进行存储；再分别输入到去量化网络和像素曝光校准网络得到32位图像，将获得的32位低动态图像分别输入到线性化网络和像素曝光校准网络进行线性化，获得线性辐照度图像；将线性辐照度图像分别通过幻觉网络和像素曝光校准网络以减小动态范围裁剪造成的信息丢失；最后，得到的图像经过优化网络进行优化得到所需的高动态图像并输出。

Description

一种便携式高辐射条件下高动态成像融合***

技术领域

本发明涉及图像处理技术领域，提出了一种便携的图像获取方法和基于深度学习的高动态范围图像处理方法。

背景技术

随着科技不断发展，人们对图像的质量要求愈加提高，高动态范围(HDR)显示技术因此高速发展。但是，由于HDR的部分设备比较昂贵，目前还未做到广泛使用，但在未来HDR显示设备会得到普及，人们终将迎来绚丽多彩的HDR图像时代。

目前大多数研究都是利用计算机图像处理技术融合多张曝光的低动态范围(LDR)图像来获取HDR图像。一般来说，研究使用具有中等位置的图像作为参考图像，而其他图像则用于显示该参考图像的细节。然而，这种方式要求被拍摄的对象是静态的，如果对象有运动，则融合的效果可能会有“鬼影”；另一方面，由于这种高动态成像的获取方式是多输入单输出的，对于单张低动态范围的图像则不能处理。因此，如何设计一个单张LDR生成HDR图片的方法，是一个非常值得研究的问题。

最近，随着深度学习技术的发展，一些研究人员在LDR图像转换为HDR图像过程中获得了具有更好性能的新算法。Yuzhen Niu等人提出了一种基于生成性对抗网络(GAN)的新模型，称为HDRGAN，可用于重新生成融合HDR图像的丢失细节、消除重建图像的伪影。Seungjun Shin等人应用卷积神经网络(CNN)，其包括GoogleNet、ResNet50和VGG16，根据亮源和非亮源的分类来检测亮区并增加其亮度，以获得HDR图像。人工神经网络(ANN)是人脑的抽象模型。由于人脑的复杂性，很难建立精确的数学模型来描述大脑的运作。像素曝光校准网络可能会显示出不同的结果，因为不同网络的激活功能和神经细胞的数量不同。

综上所述，现有研究尚没有便携可靠的获取HDR图像的方法。本发明提出一种便携的图像获取方法和基于深度学习的高动态范围图像处理方法。

发明内容

本发明的目的在于解决高辐射条件下便捷地生成单图像HDR图像的问题。

为了实现上述目的，本发明提供了一种提供了一种在高辐射条件下的基于深度学习的像素曝光和反转相机管道进行单图像HDR成像***，并将该***整合为软件，软件设置了用户UI界面，用户可在UI界面上调节曝光次数及时长，焦距等参数实现在手机等终端上调控手机摄像头并经过***图像处理得到的高动态范围图像。而该***主要分为图像获取和图像处理两个部分。

图像获取部分包括了四个个步骤：

步骤1，利用屏幕实时显示拍摄对象用于预览，通过***服务的初始化来拿到相机管理器用于管理摄像头设备，同时得到后置摄像头的属性,通过调用打开摄像头，***调用回调函数中的打开相机方法来获取相机设备对象。

步骤2，利用得到的代表后置摄像头的相机设备一方面来建立预览，设置预览参数后，将预览结果显示在屏幕上，另一方面来建立相机拍照管道和拍照参数设置器。通过参数设置器设置参数来对拍照模式进行设置并得到拍照请求。

步骤3，监听按钮动作，得到拍照请求后停止预览，利用得到的在相机拍照管道中执行单次拍照动作或连续取景，得到8位的LDR图像并通过管道将图片数据存储到手机中。

步骤4，通过屏幕交互后更改参数后持续预览，等待下一次拍摄。

图像处理部分包括四个步骤：

步骤5，***调取存储的图像并将该8位LDR图像进行去量化，即分别进入去量化网络和与其并行的像素曝光校准网络去量化，得到了32位的LDR图像。

步骤6，将步骤5得到的32位的LDR图像进行线性化，即分别进入线性化网络和与其并行的像素曝光校准网络线性化，得到预测的线性辐照度图像。

步骤7，将步骤6得到的线性辐照度图像进行幻觉化，即分别进入幻觉网络和与其并行的像素曝光校准网络，以防止动态范围剪裁造成的信息丢失。

步骤8，将经过步骤7得到的重构HDR图像进行进一步优化，即进入优化网络进行优化，最后得到输出的HDR图像。

本发明提出了一种便携式高辐射条件下高动态成像融合***。其首先适用于高原机场等高辐射场景，并且整合为手机软件，可直接利用手机摄像头获取8位的LDR图像，然后将LDR图像经过一系列处理得到效果较好的HDR图像，本发明能通过手机摄像头获取的单幅LDR图像得到高动态范围图像，处理效果较好，运行效率较高，具有显著的便捷性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种便携式高辐射条件下高动态成像融合***的一种具体实施方式整体流程图。

图2为本发明中软件的用户UI界面展示图。

图3为本发明中图像获取的整体流程图。

图4为本发明中图像处理的整体流程图。

图5为原始采集的LDR图像。

图6为经过去量化处理后的图像。

图7为经过线性化处理后的图像。

图8为经过幻觉化处理后的图像。

图9为利用本发明处理后的HDR图像。

图10为图像处理部分中去量化网络、像素曝光校准网络和优化网络的结构示意图。

图11为图像处理部分中线性化网络的结构示意图。

图12为图像处理部分中幻觉化网络的结构示意图。

具体实施方式

为了更好的理解本发明，下面结合具体实施方式对本发明进行清楚、完整地描述。显然，所描述的实例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书以及上述附图中的术语“包括”、“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列车的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其他实施例互斥的独立的或备选的实施例。本领域技术人员显示地或隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

下面对本发明实施例进行详细介绍。

本发明的整体流程图如图1所示，在本实施方案中，按照以下步骤进行：

步骤1，打开应用，软件展示用户UI界面，如图2。

***的图像处理部分基于谷歌的相机函数，其中相机提供了一个用于管理安卓***摄像头的相机管理器，通过得到***服务来完成初始化，同时获取设备的摄像头信息参数和编号。

相机中抽象出来了一个对象，为相机设备，它直接和***硬件中的摄像头相联系，通过相机设备回调函数来监听摄像头的回调状态，同时负责管理相机捕获通道，接受拍照请求。

相机设备创建的拍照请求会话，为相机拍照管道，它主要用来处理拍照请求，代表着对摄像头动作的控制，如摄像头预览和拍照，数据采集等。拍照的同时提供了回调函数和拍照回调函数两个接口来监听拍照过程。

相机拍照代表一次拍照请求，拍照请求创建者用来创建该拍照请求，设置拍照请求的各种参数，包括传感器、镜头、帧率、尺寸、内存、曝光时间、曝光模式、对焦模式、控制算法输出格式等等，然后传递到对应的拍照管道中进行设置。

步骤2，创建拍照流程的线程，***利用屏幕实时显示目前拍摄到的对象用于预览，通过***服务来拿到摄像头管理器用于管理摄像头设备，同时得到后置摄像头的属性,通过打开摄像头，***调用回调函数中的打开相机方法来获取相机设备对象。

步骤3，***利用得到的代表后置摄像头的相机设备一方面来建立预览，设置预览参数后，将预览结果显示在屏上，另一方面来建立相机拍照管道和拍照参数设置器。

步骤4，用户通过预览，在UI界面上设置曝光次数，焦距等参数，***由此得到拍照请求。用户在设置完参数后发出拍摄请求。

步骤5，***进行监听按钮动作，得到拍照请求后停止预览，利用得到的拍照请求在拍照请求管道中执行单次拍照动作或连续取景，并通过管道将原始图像数据存储到手机中，后等待下次拍照请求。

步骤6，***调取原始图像并对图像进行去量化处理，得到去量化的图像，如图6；

去量化网络采用6级U形网络架构。每一级由两个卷积层和一个带泄露线性整流函数(α＝0.1)组成，如图10。用Tanh层将最后一层的输出标准化为[-1.0,1.0]，最后，将去量化网络的输出添加到输入的LDR图像上，以此生成了去量化的LDR图像。

去量化涉及的带泄露线性整流函数为：

步骤7，将步骤2得到的32位LDR图像进行线性化处理，涉及的线性化网络如图11，得到线性辐照度图像，如图7；

其中，CRF函数具有以下性质：(1)CRF函数是严格单调递增的。(2)F(0)＝0,F(1)＝1。由于反函数的定义，函数G＝F^-1也有这两个性质。所以线性化网络可以进行预测逆条件随机场(G＝F^-1)来估计CRF。

而线性化网络将非线性LDR图像、边缘映射和直方图映射作为输入，并预测主成分分析系数(PCA系数)以重建逆CRF，然后执行单调递增约束，最后，得到预测的线性辐照度图像。

步骤8，对步骤3得到的预测的线性辐照度图像进行幻觉化处理，得到重构HDR图像，如图8；

其中，我们采用了一种带跳过连接的编码器-解码器架构作为我们的幻觉网络。其结构如图12。重建的HDR图像由H＝L_lin+αC^-1形成，其中L_lin是线性化网络的结果，而γ＝0.95。

由于过度曝光区域中的缺失值应始终大于现有像素值，为预测正残差，在网络末端添加了线性整流函数，同时，由于过曝掩膜是一种软掩膜，它使得α∈(0,-1]，所以幻觉网络可以将残余物和过度曝光区域周围存在的像素值进行平滑混合。

步骤9，对重构的HDR图像进行改进和优化；

对已重构的HDR图像进行优化的优化网络涉及的公式与去量化处理涉及的公式相同。

将优化的图像进行输出并在GUI界面显示，该图像即为最终所需的HDR图像，如图9。

本发明根据摄像机管道和像素成像的原理以及深度学习原理，设计了反转相机管道(即图1中去量化网络，线性化网络和幻觉网络三者组合)和像素曝光增强器(即图1中像素曝光校准网络)。然后，通过尝试将反转相机管道和像素曝光增强器并联组合，成功地实现了仅仅利用手机得到效果较好的HDR图像。有效地降低了HDR图像获取的成本，同时得到的HDR图像效果较好，运行效率较高，具有显著的便捷性和实用性。

以上对本发明实施例进行了详细介绍，本文中应用了具体个例对本申请的原理即实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，只要各种变化所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (1)

1.一种便携式高辐射条件下高动态成像融合***，其特征在于，基于手机APP开发和Camera2应用接口，设计了一套便携的图像获取***，利用屏幕实时显示拍摄对象用于预览，同时得到后置摄像头的属性，可对曝光次数、曝光时间、焦距多种属性进行调节，选择单次或者多次拍照；调节过程中，实时将预览结果显示在屏幕上，并监听按钮动作，得到拍照请求后停止预览并进行拍摄，利用得到的在相机拍照管道中执行单次拍照动作或连续取景，得到8位的低动态图像；

***分为图像获取和图像处理两个部分；

图像获取部分包括了四个步骤：

步骤1，利用屏幕实时显示拍摄对象用于预览，通过***服务的初始化来拿到相机管理器用于管理摄像头设备，同时得到后置摄像头的属性,通过调用打开摄像头，***调用回调函数中的打开相机方法来获取相机设备对象；

步骤2，利用得到的代表后置摄像头的相机设备一方面来建立预览，设置预览参数后，将预览结果显示在屏幕上，另一方面来建立相机拍照管道和拍照参数设置器；通过参数设置器设置参数来对拍照模式进行设置并得到拍照请求；

步骤3，监听按钮动作，得到拍照请求后停止预览，利用得到的在相机拍照管道中执行单次拍照动作或连续取景，得到8位的LDR图像并通过管道将图片数据存储到手机中；

步骤4，通过屏幕交互后更改参数后持续预览，等待下一次拍摄；

图像处理部分包括四个步骤：

步骤5，***调取存储的图像并将该8位LDR图像进行去量化，即分别进入去量化网络和与其并行的像素曝光校准网络去量化，得到了32位的LDR图像；

步骤6，将步骤5得到的32位的LDR图像进行线性化，即分别进入线性化网络和与其并行的像素曝光校准网络线性化，得到预测的线性辐照度图像；

步骤7，将步骤6得到的线性辐照度图像进行幻觉化，即分别进入幻觉网络和与其并行的像素曝光校准网络，以防止动态范围剪裁造成的信息丢失；带跳过连接的编码器-解码器架构作为幻觉网络；

步骤8，将经过步骤7得到的重构HDR图像进行进一步优化，即进入优化网络进行优化，最后得到输出的HDR图像。