CN114187192A - 一种基于多曝光融合的图像处理方法 - Google Patents

一种基于多曝光融合的图像处理方法 Download PDF

Info

Publication number
CN114187192A
CN114187192A CN202111384572.0A CN202111384572A CN114187192A CN 114187192 A CN114187192 A CN 114187192A CN 202111384572 A CN202111384572 A CN 202111384572A CN 114187192 A CN114187192 A CN 114187192A
Authority
CN
China
Prior art keywords
image
exposure
noise
color model
short
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111384572.0A
Other languages
English (en)
Inventor
肖赟辰
周俊波
蒋曼
钱渠
徐笑
张梦
韩慧杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nantong Academy of Intelligent Sensing
Original Assignee
Nantong Academy of Intelligent Sensing
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nantong Academy of Intelligent Sensing filed Critical Nantong Academy of Intelligent Sensing
Priority to CN202111384572.0A priority Critical patent/CN114187192A/zh
Publication of CN114187192A publication Critical patent/CN114187192A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种基于多曝光融合的图像处理方法，包含步骤：S1、短曝光图像噪声估计，并根据噪声估计结果去除短曝光图像中的噪声；S2、采用膨胀法去除长曝光图像中的黑点；S3、对去噪声的短曝光图像、正常曝光图像、去黑点的长曝光图像进行图像颜色模型转换：将RGB颜色模型转换成YUV颜色模型；S4、对步骤S3所得Y通道的值进行合成，求取高动态范围图像；S5、将步骤S4得到的高动态范围图像进行色调映射转换至8位图像；S6、将步骤S3得到的U、V通道的值与步骤S5处理得到的Y通道的值进行组合，得到基于YUV颜色模型的图像，并将得到的YUV颜色模型图像转换成RGB颜色模型图像，得到最终融合图像。

Description

一种基于多曝光融合的图像处理方法
技术领域
本发明涉及图像处理领域，尤其涉及一种基于多曝光融合的图像处理方法。
背景技术
相机的动态范围指的是拍摄图像的最小亮度值与最大亮度值之间的范围。当前，由于硬件性能的不足，相机的动态范围受到限制，而现实世界中亮度的动态范围非常广泛，人眼可见的亮度动态范围可以达到10-4~108,而一般显示器的动态范围只有0~255。高动态范围场景下，超出相机有效动态范围的细节往往无法在图像中正常显示。特别地，在光照条件差异较大的条件下采集图像时，低照度环境下通常会出现欠曝光问题，同时，昏暗的光线还会加重相机的噪声，在图像中表现为黑白噪声点，严重影响画质；而当镜头面对车灯等强光直射时，会出现过曝光现象，导致背景难以辨别，并且过曝中心很大概率会呈现黑点状态。尽管市场上已有专用的HDR成像设备，其成像的动态范围远大于普通相机，但这些设备的售价都非常高，还不适用于日常场景。普通相机在图像采集过程中，通过改变积分时间，能够获取覆盖了不同动态范围的图像。通常情况下，相机根据估计的光照程度成像的为正常曝光图像，若减少积分时间，可以得到短曝光图像，与正常曝光图像相比更暗，能够捕获明亮区域的细节，但信噪比较低，包含噪声较多；增加积分时间则得到长曝光图像，比正常曝光图像更亮，能够突出黑暗区域的细节。因此，通过算法手段，输入多张不同曝光的图像，并结合多曝光融合算法，可以生成更加真实的高动态范围图像。
常用的多曝光融合算法包括基于色调映射的方法，基于加权滤波的方法，基于亮度梯度大小的方法以及基于拉金字塔变换的方法。学者们针对多曝光融合算法已经进行了深入研究，并取得了不少成果，但仍存在一些问题。一方面，大多数研究人员使用的实验图像多为室内昏暗场景，或是室外处于黄昏时分的场景，这些能见度尚可的场景下算法效果较好，但应用于能见度极低的场景图像时效果不佳；另一方面，多曝光融合前的去噪问题被忽略，而多曝光融合主要就是应用于光照条件不佳的场景，这些图像所含噪声通常要多于正常图像，尤其是光线昏暗拍摄的图像，其中的噪声问题更加突出。
因此，本领域的技术人员致力于开发一种基于多曝光融合的图像处理方法。
发明内容
本发明的目的在于针对上述已有技术的不足，提出一种基于多曝光融合的图像处理方法，该方法考虑到光线昏暗情况下图像噪声大、容易出现黑点、亮暗区域差异大等特点，在融合前增加了预处理步骤，首先对短曝光图像进行噪声估计，结合估计的噪声水平，利用非局部均值算法完成去噪；然后针对长曝光图像可能出现的黑点，通过膨胀手段进行去除。为了提高算法效率，将基于RGB颜色模型的实验图像转换至YUV颜色模型，只针对Y通道图像求取相机响应曲线与辐照度，并采用对比度受限的自适应直方图均衡化算法进行色调映射，最后，将基于YUV颜色模型的结果图像转换至RGB颜色模型，得到最终融合结果，从而更好地提升图像的动态范围。
本发明提出一种基于多曝光融合的图像处理方法，包括以下步骤：
S1、短曝光图像噪声估计，并根据噪声估计结果去除短曝光图像中的噪声；
S2、采用膨胀法去除长曝光图像中的黑点；
S3、对去噪声的短曝光图像、正常曝光图像、去黑点的长曝光图像进行图像颜色模型转换：将RGB颜色模型转换成YUV颜色模型；
S4、对步骤S3所得Y通道的值进行合成，求取高动态范围图像；
S5、将步骤S4得到的高动态范围图像进行色调映射转换至8位图像；
S6、将步骤S3得到的U、V通道的值与步骤S5处理得到的Y通道的值进行组合，得到基于YUV颜色模型的图像，并将得到的YUV颜色模型图像转换成RGB颜色模型图像。
进一步地，所述短曝光、正常曝光和长曝光图像的曝光时间之比为1:8:64。
进一步地，所述步骤S1包括以下具体步骤：
S1-1、输入短曝光图像Is，利用两个拉普拉斯滤波器L1、L2计算噪声标准差σ，
Figure DEST_PATH_IMAGE001
，
Figure 485594DEST_PATH_IMAGE002
Figure DEST_PATH_IMAGE003
Figure 868777DEST_PATH_IMAGE004
其中，N表示卷积核，x、y分别表示短曝光图像的宽度和高度，
Figure DEST_PATH_IMAGE005
表示卷积；
S1-2、根据计算得到的噪声标准差σ，确定平滑系数h的取值；
S1-3、采用非局部均值算法去除短曝光图像Is中的噪声。
进一步地，所述噪声标准差σ与平滑系数h的取值关系为：
Figure 87269DEST_PATH_IMAGE006
进一步地，所述步骤S1-3采用非局部均值算法所选取的搜索窗口大小为
Figure DEST_PATH_IMAGE007
、邻域窗口大小为
Figure 25269DEST_PATH_IMAGE008
，其R、r与图像宽度x、图像高度y满足关系：
Figure DEST_PATH_IMAGE009
本发明的有益效果在于：本发明提出的一种基于多曝光融合的图像处理方法，更好地解决了图像的噪声问题，有效提高了图像的动态范围，并且能够在一定程度上消除强光源造成的眩光影响。
附图说明
图1为本发明的整体算法流程图。
具体实施方式
以下参考说明书附图介绍本发明的实施例，使其技术内容更加清楚和便于理解。
参考图1，本发明的技术方案包括以下步骤：
S1、短曝光图像噪声估计，并根据噪声估计结果去除短曝光图像中的噪声，具体的，包括以下步骤：
S1-1、输入短曝光图像IS，利用两个拉普拉斯滤波器L1、L2计算噪声标准差σ，
Figure 447154DEST_PATH_IMAGE001
，
Figure 89488DEST_PATH_IMAGE002
Figure 959224DEST_PATH_IMAGE003
Figure 396021DEST_PATH_IMAGE010
其中，N表示卷积核，x、y分别表示短曝光图像的宽度和高度，
Figure 836361DEST_PATH_IMAGE012
表示卷积；
S1-2、根据计算得到的噪声标准差σ，确定平滑系数h的取值，具体的为：
Figure DEST_PATH_IMAGE013
S1-3、采用非局部均值算法去除短曝光图像IS中的噪声，具体的为：
设定一个搜索窗A(a,R)，该搜索窗以像素点a为中心，大小为(2R+1)×(2R+1)；设定两个邻域，第一个邻域B(a,r)以像素点a为中心，大小为(2r+1)×(2r+1)，第二个邻域B(b,r)以像素点b为中心，大小为(2r+1)×(2r+1)。根据输入短曝光图像
Figure 610282DEST_PATH_IMAGE014
的大小，根据短曝光图像的宽度x和高度y确定R、r的取值，如下所示：
Figure DEST_PATH_IMAGE015
邻域B(b,r)在搜索窗A(a,R)内滑动，通过计算两个邻域的高斯加权欧式距离
Figure 291449DEST_PATH_IMAGE016
，可以得到权重
Figure DEST_PATH_IMAGE017
及归一化系数Z
Figure 492623DEST_PATH_IMAGE018
，
Figure 544893DEST_PATH_IMAGE019
Figure 342079DEST_PATH_IMAGE020
Figure DEST_PATH_IMAGE021
根据所求权重以及归一化系数进行图像去噪，
Figure 389669DEST_PATH_IMAGE022
其中，
Figure DEST_PATH_IMAGE023
表示去噪后图像在像素点a处的值。
S2、采用膨胀法去除长曝光图像中的黑点，具体地采用以下公式，
Figure 512477DEST_PATH_IMAGE024
其中，IL表示长曝光图像，
Figure DEST_PATH_IMAGE025
表示去黑点后的长曝光图像，
Figure 911097DEST_PATH_IMAGE012
表示卷积，B为卷积核，
Figure 308712DEST_PATH_IMAGE026
表示B点的中心点移动至像素点（x,y）处；更具体地，卷积核B为大小为
Figure DEST_PATH_IMAGE027
、值全为1的矩阵，即,
B=
Figure 210809DEST_PATH_IMAGE028
；
S3、对去噪声的短曝光图像、正常曝光图像、去黑点的长曝光图像进行图像颜色模型转换：将RGB颜色模型转换成YUV颜色模型，Y通道都表示亮度分量，U、V通道表示两个色度分量，具体地，采用以下公式进行颜色模式的转换：
Figure DEST_PATH_IMAGE029
S4、对步骤S3所得Y通道的值进行合成，求取高动态范围图像，具体地，将去噪后短曝光图像
Figure 704851DEST_PATH_IMAGE030
、正常曝光图像
Figure DEST_PATH_IMAGE031
以及去除黑点后长曝光图像
Figure 59609DEST_PATH_IMAGE032
的曝光时间记为tj，j=1,2,3；在每张图像上选取位置相同的M个像素点，i表示像素点的索引，1≤i≤M，
Figure DEST_PATH_IMAGE033
其中，
Figure 995335DEST_PATH_IMAGE034
表示第j张图像Y通道的第i个像素点的值，
Figure DEST_PATH_IMAGE035
表示像素点i的辐照度值；f为单调可逆的相机响应函数，用g表示
Figure 751938DEST_PATH_IMAGE036
，则
Figure DEST_PATH_IMAGE037
通过目标函数求解函数g，
Figure 216549DEST_PATH_IMAGE038
其中，
Figure DEST_PATH_IMAGE039
、
Figure 402810DEST_PATH_IMAGE040
分别为图像Y通道的最小、最大像素值，
Figure DEST_PATH_IMAGE041
为离散函数
Figure 860337DEST_PATH_IMAGE042
的二阶导数，
Figure DEST_PATH_IMAGE043
计算公式为：
Figure 502407DEST_PATH_IMAGE044
由于
Figure 59290DEST_PATH_IMAGE042
在
Figure 919798DEST_PATH_IMAGE039
、
Figure 587540DEST_PATH_IMAGE040
附近的斜率通常较陡，影响
Figure 335047DEST_PATH_IMAGE042
的平滑度，因此增加一个权重
Figure DEST_PATH_IMAGE045
设
Figure 859570DEST_PATH_IMAGE046
，则
Figure DEST_PATH_IMAGE047
目标函数可以改写为：
Figure 426948DEST_PATH_IMAGE048
根据上式求出函数g，进而计算得到辐照度
Figure 757436DEST_PATH_IMAGE035
，合成高动态范围图像，
Figure DEST_PATH_IMAGE049
为了减少噪声与重影影响，并增强算法鲁棒性，对短曝光图像、正常曝光图像以及多曝光图像在同一像素点的值进行加权平均，得到高动态范围图像
Figure 359449DEST_PATH_IMAGE050
Figure DEST_PATH_IMAGE051
Figure 851611DEST_PATH_IMAGE052
对应每个像素点的实际场景辐照度值。所述短曝光、正常曝光和长曝光图像的曝光时间之比为1:8:64。具体的，不同曝光图像的曝光时间t1、t2、t3的值分别为8ms、64ms、512ms。
S5、将步骤S4得到的高动态范围图像进行色调映射转换至8位图像，以适应显示器，具体地，采用对比度受限的自适应直方图均衡化算法实现色调映射，将融合后Y通道图像分割成
Figure DEST_PATH_IMAGE053
大小的子块，这些子块连续但互不重叠，通过对目标点周围4个子块的灰度级概率密度函数
Figure 841039DEST_PATH_IMAGE054
做变换，得到4个映射值后进行双线性插值，求得目标点像素值。假设图像的灰度级为M，其概率密度函数
Figure 975217DEST_PATH_IMAGE054
计算如下：
Figure DEST_PATH_IMAGE055
其中，k=0,1,2,…,M-1，N为图像的像素总个数，
Figure 431737DEST_PATH_IMAGE056
表示图像中灰度级为k的像素个数，
Figure 235745DEST_PATH_IMAGE057
表示第k个灰度级的概率。
利用累积分布函数进行变换，公式为：
Figure DEST_PATH_IMAGE058
进行取整得到变换函数：
Figure 26984DEST_PATH_IMAGE059
对每个矩形子块，分别计算其变换函数。
对变换后的映射值进行双线性插值：
Figure DEST_PATH_IMAGE060
r(x,y)
Figure 918847DEST_PATH_IMAGE061
其中，
Figure DEST_PATH_IMAGE062
r(x,y)为融合后Y通道图像上目标点的像素值，
Figure 479142DEST_PATH_IMAGE063
、
Figure DEST_PATH_IMAGE064
为目标点周围4个子块的映射值，
Figure 63838DEST_PATH_IMAGE065
，
具体的，直接对目标点所属子块的映射函数进行变换得到映射值，即目标点像素值，优选地，H取值为8。
S6、将步骤S3得到的U、V通道的值与步骤S5处理得到的Y通道的值进行组合，得到基于YUV颜色模型的图像，并将得到的YUV颜色模型图像转换成RGB颜色模型图像，具体地，采用以下公式进行颜色模型的转换：
Figure DEST_PATH_IMAGE066
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (5)

1.一种基于多曝光融合的图像处理方法，其特征在于，包括以下步骤：
S1、短曝光图像噪声估计，并根据噪声估计结果去除短曝光图像中的噪声；
S2、采用膨胀法去除长曝光图像中的黑点；
S3、对去噪声的短曝光图像、正常曝光图像、去黑点的长曝光图像进行图像颜色模型转换：将RGB颜色模型转换成YUV颜色模型；
S4、对步骤S3所得Y通道的值进行合成，求取高动态范围图像；
S5、将步骤S4得到的高动态范围图像进行色调映射转换至8位图像；
S6、将步骤S3得到的U、V通道的值与步骤S5处理得到的Y通道的值进行组合，得到基于YUV颜色模型的图像，并将得到的YUV颜色模型图像转换成RGB颜色模型图像。
2.如权利要求1所述的一种基于多曝光融合的图像处理方法，其特征在于，所述短曝光、正常曝光和长曝光图像的曝光时间之比为1:8:64。
3.如权利要求1所述的一种基于多曝光融合的图像处理方法，其特征在于，所述步骤S1包括以下具体步骤：
S1-1、输入短曝光图像Is，利用两个拉普拉斯滤波器L1、L2计算噪声标准差σ，
Figure 277523DEST_PATH_IMAGE001
，
Figure 363290DEST_PATH_IMAGE002
Figure 43670DEST_PATH_IMAGE003
Figure 327497DEST_PATH_IMAGE004
其中，N表示卷积核，x、y分别表示短曝光图像的宽度和高度，
Figure 234273DEST_PATH_IMAGE005
表示卷积；
S1-2、根据计算得到的噪声标准差σ，确定平滑系数h的取值；
S1-3、采用非局部均值算法去除短曝光图像Is中的噪声。
4.如权利要求3所述的一种基于多曝光融合的图像处理方法，其特征在于，所述噪声标准差σ与平滑系数h的取值关系为：
Figure 982786DEST_PATH_IMAGE006
。
5.如权利要求3所述的一种基于多曝光融合的图像处理方法，其特征在于，所述步骤S1-3采用非局部均值算法所选取的搜索窗口大小为
Figure 924197DEST_PATH_IMAGE007
、邻域窗口大小为
Figure 850696DEST_PATH_IMAGE008
，其R、r与图像宽度x、图像高度y满足关系：
Figure 369402DEST_PATH_IMAGE009
。
CN202111384572.0A 2021-11-22 2021-11-22 一种基于多曝光融合的图像处理方法 Pending CN114187192A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111384572.0A CN114187192A (zh) 2021-11-22 2021-11-22 一种基于多曝光融合的图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111384572.0A CN114187192A (zh) 2021-11-22 2021-11-22 一种基于多曝光融合的图像处理方法

Publications (1)

Publication Number Publication Date
CN114187192A true CN114187192A (zh) 2022-03-15

Family

ID=80602289

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111384572.0A Pending CN114187192A (zh) 2021-11-22 2021-11-22 一种基于多曝光融合的图像处理方法

Country Status (1)

Country Link
CN (1) CN114187192A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114494084A (zh) * 2022-04-14 2022-05-13 广东欧谱曼迪科技有限公司 一种图像颜色均化方法、装置、电子设备及存储介质
WO2024094222A1 (zh) * 2022-11-02 2024-05-10 深圳深知未来智能有限公司 一种基于图像区域有效性的多曝光图像融合方法及***

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114494084A (zh) * 2022-04-14 2022-05-13 广东欧谱曼迪科技有限公司 一种图像颜色均化方法、装置、电子设备及存储介质
CN114494084B (zh) * 2022-04-14 2022-07-26 广东欧谱曼迪科技有限公司 一种图像颜色均化方法、装置、电子设备及存储介质
WO2024094222A1 (zh) * 2022-11-02 2024-05-10 深圳深知未来智能有限公司 一种基于图像区域有效性的多曝光图像融合方法及***

Similar Documents

Publication Publication Date Title
CN105046663B (zh) 一种模拟人类视觉感知的自适应低照度图像增强方法
CN110378859B (zh) 一种新的高动态范围图像生成方法
CN112767289A (zh) 图像融合方法、装置、介质及电子设备
CN110599433B (zh) 一种基于动态场景的双曝光图像融合方法
CN107845128B (zh) 一种多尺度细节融合的多曝光高动态图像重建方法
CN110378845B (zh) 一种基于卷积神经网络的极端条件下的图像修复方法
Yu et al. Low-illumination image enhancement algorithm based on a physical lighting model
CN110619593B (zh) 一种基于动态场景的双曝光视频成像***
US20040042676A1 (en) Method and apparatus for illumination compensation of digital images
CN114187192A (zh) 一种基于多曝光融合的图像处理方法
CN110706172B (zh) 基于自适应混沌粒子群优化的低照度彩色图像增强方法
CN112734650A (zh) 一种基于虚拟多曝光融合的不均匀光照图像增强方法
CN109816608B (zh) 一种基于噪声抑制的低照度图像自适应亮度增强方法
KR20090078583A (ko) 저조도 영상 처리 방법 및 시스템
CN112419181B (zh) 一种宽动态红外图像细节增强方法
CN110675351B (zh) 一种基于全局亮度自适应均衡化的海上图像处理方法
CN113313639A (zh) 基于Retinex多层次分解的图像增强方法
CN107533756A (zh) 图像处理装置、摄像装置、图像处理方法以及存储图像处理装置的图像处理程序的存储介质
CN109493299B (zh) 一种消除点光源光照影响的方法
CN115063331A (zh) 基于多尺度块lbp算子无鬼影多曝光图像融合算法
Lv et al. Low-light image enhancement via deep Retinex decomposition and bilateral learning
CN113947553B (zh) 一种图像亮度增强方法及设备
CN112927160B (zh) 一种基于深度Retinex的单张低光图像增强方法
CN113379861B (zh) 基于色彩恢复块的彩色微光图像重建方法
CN101478690B (zh) 一种基于色域映射的图像光照校正方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination