CN112651911B - 一种基于偏振图像的高动态范围成像生成方法 - Google Patents

一种基于偏振图像的高动态范围成像生成方法 Download PDF

Info

Publication number
CN112651911B
CN112651911B CN202011388884.4A CN202011388884A CN112651911B CN 112651911 B CN112651911 B CN 112651911B CN 202011388884 A CN202011388884 A CN 202011388884A CN 112651911 B CN112651911 B CN 112651911B
Authority
CN
China
Prior art keywords
polarization
image
hdr
polarized
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011388884.4A
Other languages
English (en)
Other versions
CN112651911A (zh
Inventor
陈创斌
何力
林旭滨
何剑涛
张宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202011388884.4A priority Critical patent/CN112651911B/zh
Publication of CN112651911A publication Critical patent/CN112651911A/zh
Application granted granted Critical
Publication of CN112651911B publication Critical patent/CN112651911B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种基于偏振图像的高动态范围成像生成方法，包括：针对于需要成像的目标区域，通过偏振相机单次曝光获取多张不同偏振角度的偏振图像；构建HDR生成模型，并使用多张不同偏振角度的偏振图像作为HDR生成模型输入，使用HDR生成模型学习偏振图像的特征以及偏振效应的特征，最终HDR生成模型输出每张偏振图像的特征图；利用偏振图像计算线偏振度特征、偏振角度特征；将偏振度特征、偏振角度特征作为融合参数，将HDR生成模型输出所有偏振图像的特征图融合成HDR图像。本方法通过网络学习以及使用偏振度特征等获得HDR图像，不需要多张不同曝光时间图像，通过单次曝光即可获得HDR图像，有效减少了因多张图像融合产生的图像重影问题，提升了成像效果。

Description

一种基于偏振图像的高动态范围成像生成方法
技术领域
本申请涉及高动态范围成像技术领域，具体涉及一种基于偏振图像的高动态范围成像生成方法。
背景技术
高动态范围成像(High Dynamic Range Imaging，HDR)是用来实现比普通数位图像技术更大曝光动态范围的一组技术，广泛应用于计算机图形学以及图像摄影等领域。普通数位图像只有256个亮度等级，远远不如人眼的感知范围，因此而HDR图像可以提供更多的动态范围和图像细节，使其更好的反映人真实环境中的视觉效果。传统HDR成像主要是通过拍摄多张不同曝光时间图像，利用每个曝光时间对应的最佳细节来合成最终HDR图像；然而，现有的HDR成像方法在多张不同曝光时间的图像融合过程中容易产生图像重影问题，成像效果有待提升。
发明内容
本申请的目的是提供一种基于偏振图像的高动态范围成像生成方法，用以克服现有HDR成像所存在的易产生重影、成像效果差的问题。
为了实现上述任务，本申请采用以下技术方案：
第一方面，本申请提供了一种基于偏振图像的高动态范围成像生成方法，包括：
针对于需要成像的目标区域，通过偏振相机单次曝光获取多张不同偏振角度的偏振图像；
构建HDR生成模型，并使用多张不同偏振角度的偏振图像作为HDR生成模型输入，使用HDR生成模型学习偏振图像的特征以及偏振效应的特征，最终 HDR生成模型输出每张偏振图像的特征图；
利用所述偏振图像计算线偏振度特征、偏振角度特征；
将偏振度特征、偏振角度特征作为融合参数，将HDR生成模型输出的所有偏振图像的特征图融合成HDR图像。
进一步地，所述多张不同偏振角度的偏振图像为0°、45°、90°、135°共4个偏振角度的偏振图像。
进一步地，则所述偏振度特征P1、偏振角度特征P2的计算公式如下：
上式中，I0,I45,I90,I135分别表示在0°、45°、90°、135°偏振角度获取的偏振图像的强度。
进一步地，所述HDR生成模型利用卷积神经网络构建；所述HDR生成模型采用编码器-解码器的结构，编码器的下采样结构用于提取偏振图像的特征，而解码器则将图像的特征恢复到原图像尺寸；所述模型中，通过从高分辨率的特征图中引入跳跃连接来改善上采样的粒度粗糙程度。
进一步地，通过构建HDR生成模型的损失函数，使得模型输出逼近HDR 图像真值；所述损失函数表示为：
上式中，μx、表示偏振图像x通过模型输出的特征图的平均值、标准差，μy、/>表示对应于偏振图像x的图像真值的平均值、标准差，σxy表示所述特征图、图像真值的协方差，C1、C2为常数。
第二方面，本申请提供了一种基于偏振图像的高动态范围成像生成装置，包括：
获取模块，用于针对于需要成像的目标区域，通过偏振相机单次曝光获取多张不同偏振角度的偏振图像；
模型构建模块，用于构建HDR生成模型，并使用多张不同偏振角度的偏振图像作为HDR生成模型输入，使用HDR生成模型学习偏振图像的特征以及偏振效应的特征，最终HDR生成模型输出每张偏振图像的特征图；
特征计算模块，用于利用所述偏振图像计算线偏振度特征、偏振角度特征；
图像融合模块，用于将偏振度特征、偏振角度特征作为融合参数，将HDR 生成模型输出的所有偏振图像的特征图融合成HDR图像。
第三方面，本申请提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，处理器执行计算机程序时实现前述第一方面的基于偏振图像的高动态范围成像生成方法的步骤。
第四方面，本申请提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现前述第一方面的基于偏振图像的高动态范围成像生成方法的步骤。
与现有技术相比，本申请具有以下技术特点：
1.区别于已有的高动态范围成像技术需要多张不同曝光时间图像进行融合的方案，本方法采用偏振相机单次曝光捕获的不同偏振图像作为网络输入，通过网络学习以及使用偏振度特征等获得HDR图像，不需要多张不同曝光时间图像，通过单次曝光即可获得HDR图像，有效减少了因多张图像融合产生的图像重影等问题。
2.与现有的基于深度学习模型的单张图像生成HDR方法相比，本方法充分利用了偏振相机能够过滤物体表面眩光的特性，还原出物体表面原来的图像信息，提升了成像效果，因此在HDR成像更加有优势。
附图说明
图1为本申请方法的流程示意图；
图2为本申请的实施例中捕获四张不同偏振角度的图像示意图；
图3为HDR生成模型示意图；
图4为HDR融合流程示意图；
图5为本申请的一个实施例中偏振相机过滤物体表面眩光，恢复物体表面信息的示意图。
具体实施方式
深度学习的强大学习能力使其在图像领域中表现出比传统图像处理方法更加优异的性能，因此使用单次曝光图像结合深度学习生成HDR图像具有较大的研究潜力，能够克服传统HDR图像的缺点。
本申请提出一种单次曝光图像合成高动态图像的深度学习模型，通过偏振相机捕获的单次曝光偏振照片，计算偏振度特征，偏振角度特征等参数，结合偏振图像训练高动态范围成像深度学习模型，最终能够生成HDR图像。
参见附图1，本申请的一种基于偏振图像的高动态范围成像生成方法，包括以下步骤：
步骤1，针对于需要成像的目标区域，通过偏振相机单次曝光获取多张不同偏振角度的偏振图像。
偏振相机能够一次捕获四张不同偏振角度的图像，将它们近似看成具有不同曝光时间的图像，并且偏振片能够有效场景中的眩光还原物体原来的表面信息。
由于光的偏振效应存在，偏振相机从非均匀偏振场景中捕获到四个偏振图像的对应像素的幅值是不相同的，因为四个像素上偏振器的角度不同引起光照强度衰减；如图2所示，由于偏振效应，图像中的地面在每个图像中的曝光程度都是不相同的。
使用偏振相机捕获偏振图像可以理解成在不同曝光时间下对同一场景进行成像，从而存在着从四个偏振图像生成HDR图像的可能性。由于在四个像素处测量四次辐照度值，并且偏振器的滤光效应会使得四个像素中的一个像素处于非过度曝光区域中，因此HDR图像在暗处或曝光不足区域将获得相当大的改进。
步骤2，采用卷积神经网络构建HDR生成模型，并使用多张不同偏振角度的偏振图像作为HDR生成模型输入，使用HDR生成模型学习偏振图像的特征以及偏振效应的特征，最终HDR生成模型输出每张偏振图像的特征图。
步骤3，利用所述偏振图像计算线偏振度特征P1、偏振角度特征P2。
步骤4，用P1、P2作为融合参数，使用融合算法将HDR生成模型输出的所有偏振图像的特征图融合成HDR图像。
本申请的实施例中，偏振相机单次曝光获取0°、45°、90°、135°共4 个偏振角度的偏振图像，则所述偏振度特征P1、偏振角度特征P2的计算公式如下：
上式中，I0,I45,I90,I135分别表示在0°、45°、90°、135°偏振角度获取的偏振图像的强度。
所述HDR生成模型采用编码器-解码器的结构，如图3所示，编码器的下采样结构可以提取到偏振图像的特征，而解码器则将图像的特征恢复到原图像尺寸。由于上采样会导致图像信息丢失，因此本方案从高分辨率的特征图中引入跳跃连接来改善上采样的粒度粗糙程度。通过构建HDR生成模型的损失函数，使得模型输出逼近HDR图像真值；本方案中的损失函数构建如下：
上式中，μx、表示偏振图像x通过模型输出的特征图的平均值、标准差，μy、/>表示对应于偏振图像x的图像真值的平均值、标准差，σxy表示所述特征图、图像真值的协方差，C1、C2为常数。
如图4所示，对于每张偏振图像，获得HDR生成模型输出的特征图后，结合特征图以及偏振度特征P1、偏振角度特征P2进行融合，得到最终的HDR图像。
本方案充分利用了偏振相机能够过滤物体表面眩光的特性，还原出物体表面原来的图像信息，恢复过度曝光区域丢失的信息，如图5所示。
根据本申请的另一方面，提供了一种基于偏振图像的高动态范围成像生成装置，包括：
获取模块，用于针对于需要成像的目标区域，通过偏振相机单次曝光获取多张不同偏振角度的偏振图像；
模型构建模块，用于构建HDR生成模型，并使用多张不同偏振角度的偏振图像作为HDR生成模型输入，使用HDR生成模型学习偏振图像的特征以及偏振效应的特征，最终HDR生成模型输出每张偏振图像的特征图；
特征计算模块，用于利用所述偏振图像计算线偏振度特征、偏振角度特征；
图像融合模块，用于将偏振度特征、偏振角度特征作为融合参数，将HDR 生成模型输出的所有偏振图像的特征图融合成HDR图像。
需要说明的，上述各模块具体的执行步骤与前述方法实施例中对应的步骤相同，在此不赘述。
本申请实施例进一步提供一种终端设备，该终端设备可以为计算机、服务器；包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述基于偏振图像的高动态范围成像生成方法的步骤。
计算机程序也可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器中，并由处理器执行，以完成本申请。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在终端设备中的执行过程，例如，计算机程序可以被分割为获取模块、模型构建模块、特征计算模块和图像融合模块，各模块的功能参见前述装置中的描述，不再赘述。
本申请的实施提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述基于偏振图像的高动态范围成像生成方法的步骤。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器ROM、随机存取存储器RAM、电载波信号、电信信号以及软件分发介质等。
以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (5)

1.一种基于偏振图像的高动态范围成像生成方法，其特征在于，包括：
针对于需要成像的目标区域，通过偏振相机单次曝光获取多张不同偏振角度的偏振图像；
构建HDR生成模型，并使用多张不同偏振角度的偏振图像作为HDR生成模型输入，使用HDR生成模型学习偏振图像的特征以及偏振效应的特征，最终HDR生成模型输出每张偏振图像的特征图；
利用所述偏振图像计算线偏振度特征、偏振角度特征；
将偏振度特征、偏振角度特征作为融合参数，将HDR生成模型输出的所有偏振图像的特征图融合成HDR图像；
所述多张不同偏振角度的偏振图像为0°、45°、90°、135°共4个偏振角度的偏振图像；
则所述偏振度特征P1、偏振角度特征P2的计算公式如下：
上式中，I0,I45,I90,I135分别表示在0°、45°、90°、135°偏振角度获取的偏振图像的强度；
通过构建HDR生成模型的损失函数，使得模型输出逼近HDR图像真值；所述损失函数表示为：
上式中，μx、表示偏振图像x通过模型输出的特征图的平均值、标准差，μy、/>表示对应于偏振图像x的图像真值的平均值、标准差，σxy表示所述特征图、图像真值的协方差，C1、C2为常数。
2.根据权利要求1所述的基于偏振图像的高动态范围成像生成方法，其特征在于，所述HDR生成模型利用卷积神经网络构建；所述HDR生成模型采用编码器-解码器的结构，编码器的下采样结构用于提取偏振图像的特征，而解码器则将图像的特征恢复到原图像尺寸；所述模型中，通过从高分辨率的特征图中引入跳跃连接来改善上采样的粒度粗糙程度。
3.一种基于偏振图像的高动态范围成像生成装置，其特征在于，包括：
获取模块，用于针对于需要成像的目标区域，通过偏振相机单次曝光获取多张不同偏振角度的偏振图像；
模型构建模块，用于构建HDR生成模型，并使用多张不同偏振角度的偏振图像作为HDR生成模型输入，使用HDR生成模型学习偏振图像的特征以及偏振效应的特征，最终HDR生成模型输出每张偏振图像的特征图；
特征计算模块，用于利用所述偏振图像计算线偏振度特征、偏振角度特征；
图像融合模块，用于将偏振度特征、偏振角度特征作为融合参数，将HDR生成模型输出的所有偏振图像的特征图融合成HDR图像；
所述多张不同偏振角度的偏振图像为0°、45°、90°、135°共4个偏振角度的偏振图像；
则所述偏振度特征P1、偏振角度特征P2的计算公式如下：
上式中，I0,I45,I90,I135分别表示在0°、45°、90°、135°偏振角度获取的偏振图像的强度；
通过构建HDR生成模型的损失函数，使得模型输出逼近HDR图像真值；所述损失函数表示为：
上式中，μx、表示偏振图像x通过模型输出的特征图的平均值、标准差，μy、/>表示对应于偏振图像x的图像真值的平均值、标准差，σxy表示所述特征图、图像真值的协方差，C1、C2为常数。
4.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，处理器执行计算机程序时实现根据权利要求1至2中任一权利要求所述的基于偏振图像的高动态范围成像生成方法的步骤。
5.一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，其特征在于，计算机程序被处理器执行时实现根据权利要求1至2中任一权利要求所述的基于偏振图像的高动态范围成像生成方法的步骤。
CN202011388884.4A 2020-12-01 2020-12-01 一种基于偏振图像的高动态范围成像生成方法 Active CN112651911B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011388884.4A CN112651911B (zh) 2020-12-01 2020-12-01 一种基于偏振图像的高动态范围成像生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011388884.4A CN112651911B (zh) 2020-12-01 2020-12-01 一种基于偏振图像的高动态范围成像生成方法

Publications (2)

Publication Number Publication Date
CN112651911A CN112651911A (zh) 2021-04-13
CN112651911B true CN112651911B (zh) 2023-10-13

Family

ID=75350062

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011388884.4A Active CN112651911B (zh) 2020-12-01 2020-12-01 一种基于偏振图像的高动态范围成像生成方法

Country Status (1)

Country Link
CN (1) CN112651911B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113487504B (zh) * 2021-07-01 2022-12-09 天津大学 基于生成对抗网络的水下灰度偏振图像复原方法
CN113962915B (zh) * 2021-10-20 2022-04-29 哈尔滨工业大学 非均匀照明条件下的自适应非线性超动态图像合成方法
CN115376009B (zh) * 2022-06-09 2023-04-18 中国矿业大学(北京) 一种基于偏振影像的阴影植被提取方法及***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104657965A (zh) * 2015-03-12 2015-05-27 长春理工大学 基于离散连续曲波的偏振图像融合方法
EP2889807A2 (en) * 2013-12-24 2015-07-01 Ricoh Company, Ltd. Image processing device, image processing system, mobile object control apparatus, image processing method, and carrier means
CN105139367A (zh) * 2015-07-27 2015-12-09 中国科学院光电技术研究所 一种基于非下采样剪切波的可见光偏振图像融合方法
CN111669514A (zh) * 2020-06-08 2020-09-15 北京大学 高动态范围成像方法和装置
CN111986129A (zh) * 2020-06-30 2020-11-24 普联技术有限公司 基于多摄图像融合的hdr图像生成方法、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2889807A2 (en) * 2013-12-24 2015-07-01 Ricoh Company, Ltd. Image processing device, image processing system, mobile object control apparatus, image processing method, and carrier means
CN104657965A (zh) * 2015-03-12 2015-05-27 长春理工大学 基于离散连续曲波的偏振图像融合方法
CN105139367A (zh) * 2015-07-27 2015-12-09 中国科学院光电技术研究所 一种基于非下采样剪切波的可见光偏振图像融合方法
CN111669514A (zh) * 2020-06-08 2020-09-15 北京大学 高动态范围成像方法和装置
CN111986129A (zh) * 2020-06-30 2020-11-24 普联技术有限公司 基于多摄图像融合的hdr图像生成方法、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于多尺度边缘表示的偏振图像二次融合算法;李世维;黄丹飞;刘辉;王惠敏;;激光与红外(01);第115-120页 *

Also Published As

Publication number Publication date
CN112651911A (zh) 2021-04-13

Similar Documents

Publication Publication Date Title
CN110428366B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN112651911B (zh) 一种基于偏振图像的高动态范围成像生成方法
JP7003238B2 (ja) 画像処理方法、装置、及び、デバイス
Jiang et al. Learning to see moving objects in the dark
Lee et al. Deep chain hdri: Reconstructing a high dynamic range image from a single low dynamic range image
Cui et al. Multitask aet with orthogonal tangent regularity for dark object detection
WO2020259118A1 (en) Method and device for image processing, method and device for training object detection model
WO2021179820A1 (zh) 图像处理方法、装置、存储介质及电子设备
WO2020152521A1 (en) Systems and methods for transforming raw sensor data captured in low-light conditions to well-exposed images using neural network architectures
WO2021057474A1 (zh) 主体对焦方法、装置、电子设备和存储介质
CN113168670A (zh) 使用神经网络的亮点去除
US9473700B2 (en) Camera systems and methods for gigapixel computational imaging
CN111986129A (zh) 基于多摄图像融合的hdr图像生成方法、设备及存储介质
CN108769523B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN111986084A (zh) 一种基于多任务融合的多相机低光照图像质量增强方法
CN109493283A (zh) 一种高动态范围图像鬼影消除的方法
CN111986106A (zh) 一种基于神经网络的高动态图像重建方法
KR20220028962A (ko) 이미지 개선 방법, 이미지 개선 장치, 그 장치의 학습 방법 및 학습 장치
Aakerberg et al. RELLISUR: A real low-light image super-resolution dataset
Zheng et al. Neural augmented exposure interpolation for two large-exposure-ratio images
Zhang et al. Deep motion blur removal using noisy/blurry image pairs
CN108122218B (zh) 基于颜色空间的图像融合方法与装置
CN109325912B (zh) 基于偏振光光场的反光分离方法及标定拼合***
JP5843599B2 (ja) 画像処理装置および撮像装置並びにその方法
CN113658065A (zh) 图像降噪方法及装置、计算机可读介质和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant