CN108492262A - 一种基于梯度结构相似性的无鬼影高动态范围成像方法 - Google Patents
一种基于梯度结构相似性的无鬼影高动态范围成像方法 Download PDFInfo
- Publication number
- CN108492262A CN108492262A CN201810182529.8A CN201810182529A CN108492262A CN 108492262 A CN108492262 A CN 108492262A CN 201810182529 A CN201810182529 A CN 201810182529A CN 108492262 A CN108492262 A CN 108492262A
- Authority
- CN
- China
- Prior art keywords
- image
- ghost
- pixel
- reference picture
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 15
- 238000000034 method Methods 0.000 claims abstract description 21
- 238000013507 mapping Methods 0.000 claims description 8
- 230000004069 differentiation Effects 0.000 claims description 4
- 230000000877 morphologic effect Effects 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 6
- 230000003068 static effect Effects 0.000 abstract description 5
- 238000011156 evaluation Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000005316 response function Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 238000001303 quality assessment method Methods 0.000 description 3
- 238000013441 quality evaluation Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20201—Motion blur correction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于梯度结构相似性的无鬼影高动态范围成像方法,针对目前无鬼影高动态范围图像方法存在的问题,利用参考图像与其余输入图像(非参考图)之间的梯度结构相似性可准确地判别出鬼影区域,并通过泊松图像编辑算法去除参考图像与其余输入图像之间存在移动物体的区域(鬼影区域),最后使用静态场景的多曝光高动态范围图像生成算法得到无鬼影的高动态范围图像。本发明不仅具有良好的鬼影去除效果,而且还能够生成高质量的图像。
Description
技术领域
本发明属于图像处理技术领域,更为具体地讲,涉及一种基于梯度结构相似性的无鬼影高动态范围成像方法。
背景技术
真实场景有着巨大的动态范围,而普通的数字摄像机由于硬件的限制,捕获的数字图像的动态范围有限,只能反映出真实(实际)场景中部分区域的细节信息。高动态范围成像技术扩大了图像的动态范围,使得所获图像能够同时包含场景中亮部和暗部区域的细节信息,极大的提高了图像的质量,因此,该技术成为了学术界与工业界的研究热点。
目前常见的一种方法是通过拍摄多帧不同曝光量的低动态范围图像,这些图像有着真实场景中不同区间的动态范围,通过软件算法将多帧图像合成一帧高动态范围的图像。然而该方法仅仅适用于静态场景下拍摄的图像,真实场景中,绝大多数都是动态场景,所拍摄的多帧图像存在移动的人群、车辆等,使得该方法生成的高动态范围图像存在鬼影,极大的影响了图像的质量,也限制了该方法的适用范围。因此,研究人员开始专注于动态场景的无鬼影高动态范围图像获取(成像)方法,并取得了一些进展。
生成无鬼影高动态范围图像的关键技术在于鬼影区域的检测与鬼影的去除。鬼影区域的检测,首先需要选定一帧图像作为参考图像,然后通过算法找出参考图像与其余输入图像之间的存在移动物体的区域,最终的鬼影去除效果与判断出的区域准确性密切相关。鬼影的去除,则使用参考图像在鬼影区域的图像信息替换其余输入图像相应区域的图像信息,其余输入图像在经过鬼影去除后的景象将与参考图像景象一致。
现有的生成无鬼影高动态范围图像的方法存在由于鬼影区域判别不准确导致鬼影去除失败的问题。
发明内容
本发明的目的在于克服现有技术的不足,提出一种基于梯度结构相似性的无鬼影高动态范围成像方法,以有效去除鬼影。
为实现上述发明目的,本发明基于梯度结构相似性的无鬼影高动态范围成像方法,其特征在于,包括以下步骤:
(1)、鬼影区域的判别
1.1)、从输入的N帧不同曝光量图像中选出一帧中等曝光量的图像作为参考图像Ir,将N帧不同曝光量图像中剩余的N-1帧图像作为非参考图像Isn(n=1,2,...,N-1);
1.2)、提取参考图像Ir的水平梯度图像Ixr以及非参考图像Isn的水平梯度图像Ixsn,计算参考图像Ir与非参考图像Isn的水平梯度结构相似性图像GSSIMx(Ixr,Ixsn),其中,第i个像素点的值为:
其中,C1与C2为防止除数为零的常数,i属于整个图像域;
μxri为水平梯度图像Ixr像素点i处p×p的方形窗内像素值的平均值:
其中,zrik为水平梯度图像Ixr像素点i处p×p的方形窗内第k个像素点的像素值,K=p×p;
μxsni为水平梯度图像Ixsn像素点i处p×p的方形窗内像素值的平均值:
其中,zsnik为水平梯度图像Ixsn像素点i处p×p的方形窗内第k个像素点的像素值,K=p×p;
σxri为水平梯度图像Ixr像素点i处p×p的方形窗内像素值的标准差:
σxsni为水平梯度图像Ixsn像素点i处p×p的方形窗内像素值的标准差:
为水平梯度图像Ixr与水平梯度图像Ixsn像素点i处p×p的方形窗内像素值的协方差:
按照同样的方法,计算出垂直梯度结构相似性图像GSSIMy(Iyr,Iysn),其中,第i个像素点的值为GSSIMy(Iyr,Iysn)i;
1.3)、得到参考图像与非参考图像的梯度结构相似度图像GSSIM(Ir,Isn),其中,第i个像素点的值为GSSIM(Ir,Isn)i:
GSSIM(Ir,Isn)i=GSSIMx(Ir,Isn)i·GSSIMy(Ir,Isn)i (7);
1.4)、获取鬼影区域图像ghostmap(Ir,Isn),其中,第i个像素点的值为ghostmap(Ir,Isn)i:
其中,th为判别是否为鬼影像素点的阈值;
1.5)、使用形态学处理ghostmap(Ir,Isn),去除孤立的噪声点和填充孔洞,得到鬼影区域图像ghostmap*(Ir,Isn),其中,值为1的区域为鬼影区域;
(2)、鬼影去除
根据参考图像Ir在鬼影区域的梯度信息以及非参考图像Isn在鬼影区域的边界信息,采用泊松图像编辑算法,重新构建出非参考图像Isn在鬼影区域内像素点的像素值,得到去除鬼影后的非参考图像I'sn;
(3)、生成无鬼影的高动态范围图像
3.1)将参考图像Ir以及非参考图像I'sn组成N帧无鬼影图像Ij,j=1,2,...,N;
3.2)、对N帧无鬼影图像每帧的M个位置的像素值按照色彩通道进行采样,得到的采样值Zcmj,c∈{R,G,B},m为采样值的位置;然后结合各帧的图像曝光时间tj,求解出逆相机响应函数gc;
3.3)、对N帧无鬼影图像的像素值Zcij做逆映射,得到HDR(高动态范围)图像,其中,第i个像素点的辐照度值Eci:
其中,U(Zcij)为高斯合成权重,其表达式为:
本发明的目的是这样实现的。
本发明基于梯度结构相似性的无鬼影高动态范围成像方法,针对目前无鬼影高动态范围图像方法存在的问题,利用参考图像与其余输入图像(非参考图)之间的梯度结构相似性可准确地判别出鬼影区域,并通过泊松图像编辑算法去除参考图像与其余输入图像之间存在移动物体的区域(鬼影区域),最后使用静态场景的多曝光高动态范围图像生成算法得到无鬼影的高动态范围图像。本发明不仅具有良好的鬼影去除效果,而且还能够生成高质量的图像。
附图说明
图1是本发明基于梯度结构相似性的无鬼影高动态范围成像方法一种具体实施方式流程框图;
图2是两组动态场景下的多曝光图像,其中,前一行为办公室、后一行为花园;
图3是图2中办公室和花园判别出的鬼影区域图像实例图;
图4是构建出鬼影区域内的图像像素示意图;
图5是图2所示两组动态场景下的多曝光图像去除移动物体后的图像实例图;
图6是求解出逆相机响应函数的三角权重函数以及合成HDR图像的高斯合成权重函数曲线图;
图7是八组每组5帧动态场景下的多曝光图像实例图;
图8是图7所示八组每组5帧动态场景下的多曝光图像生成的HDR图像的色调映射图像示例图;
图9是图像质量评判模型DRIM评判结果。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述,以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是,在以下的描述中,当已知功能和设计的详细描述也许会淡化本发明的主要内容时,这些描述在这里将被忽略。
实际场景中,在得到同一场景的多帧不同曝光图像后,由于存在移动的物体,所以生成的高动态范围图像存在鬼影效应,极大的影响了图像质量。因此,如何有效的去除鬼影的影响成为当下研究的热点。针对目前无鬼影高动态范围图像方法存在的问题,本发明利用参考图像与其余输入图像之间的梯度结构相似性判别出鬼影区域,并通过泊松编辑算法去除参考图与其余输入图像之间存在移动物体的区域,最后使用静态场景的多曝光高动态范围图像生成算法得到无鬼影的高动态范围图像。
图1是本发明基于梯度结构相似性的无鬼影高动态范围成像方法一种具体实施方式流程框图。
在本实施例中,如图1所示,本发明基于梯度结构相似性的无鬼影高动态范围成像方法包括以下步骤:
步骤S1:鬼影区域的判别
图像的梯度不仅能反映出图像的轮廓、纹理等细节信息,还能弱化光照的影响,本发明中,从两帧图像的梯度结构相似性上判断出存在移动物体的区域即鬼影区域,具体为:
步骤S101:输入的N帧不同曝光量图像中选出一帧中等曝光量的图像作为参考图像Ir,将N帧不同曝光量图像中剩余的N-1帧图像作为非参考图像Isn(n=1,2,...,N-1)。
步骤S102:提取参考图像Ir的水平梯度图像Ixr以及非参考图像Isn的水平梯度图像Ixsn,计算参考图像Ir与非参考图像Isn的水平梯度结构相似性图像GSSIMx(Ixr,Ixsn),其中,第i个像素点的值为:
其中,C1与C2为防止除数为零的常数,在本实施例中,C1为10,C2为60;i属于整个图像域。
μxri为水平梯度图像Ixr像素点i处p×p的方形窗内像素值的平均值:
其中,zrik为水平梯度图像Ixr像素点i处p×p的方形窗内第k个像素点的像素值,K=p×p,在本实施例中,p=11,K=p×p=11×11=121;
μxsni为水平梯度图像Ixsn像素点i处p×p的方形窗内像素值的平均值:
其中,zsnik为水平梯度图像Ixsn像素点i处p×p的方形窗内第k个像素点的像素值,K=p×p;
σxri为水平梯度图像Ixr像素点i处p×p的方形窗内像素值的标准差:
σxsni为水平梯度图像Ixsn像素点i处p×p的方形窗内像素值的标准差:
为水平梯度图像Ixr与水平梯度图像Ixsn像素点i处p×p的方形窗内像素值的协方差:
按照同样的方法,计算出垂直梯度结构相似性图像GSSIMy(Iyr,Iysn),其中,第i个像素点的值为GSSIMy(Iyr,Iysn)i。
步骤S103:得到参考图像与非参考图像的梯度结构相似度图像GSSIM(Ir,Isn),其中,第i个像素点的值为GSSIM(Ir,Isn)i:
GSSIM(Ir,Isn)i=GSSIMx(Ir,Isn)i·GSSIMy(Ir,Isn)i (7)。
步骤S104:获取鬼影区域图像ghostmap(Ir,Isn),其中,第i个像素点的值为ghostmap(Ir,Isn)i:
其中,th为判别是否为鬼影像素点的阈值,在本实施例中,th为0.1。
由于GSSIM(gradient-based structural similarity)具有有界性,其最大值为1,当梯度结构相似度中存在值为1时,表示该处的图像基本上一致,而值越小表示该处的图像差异性越大,据此,我们可以求解出存在移动物体的区域即鬼影区域,即为1的区域为鬼影区域。
步骤S105:使用形态学处理鬼影区域图像ghostmap(Ir,Isn),去除孤立的噪声点和填充孔洞,得到鬼影区域图像ghostmap*(Ir,Isn),其中,值为1的区域为鬼影区域。
由于鬼影区域图像ghostmap(Ir,Isn)依然含有孤立的噪声点或者窟窿,我们使用形态学处理鬼影区域图像ghostmap(Ir,Isn),以去除孤立的噪声点和填充孔洞。在本实施例中,除去鬼影区域内所含像素点数量在八邻域内少于100的像素块,然后补齐剩余像素块内形成闭环的孔洞,得到鬼影区域图像ghostmap*(Ir,Isn)。
为更好的理解本发明,在本实施例中,给出两组、每组5帧动态场景下的多曝光图像(办公室、花园),如图2所示。参考图像选择中等曝光量的图像,两组均为第三帧图像。
图3给出了图2中办公室和花园判别出的鬼影区域图像的实验结果,分别为参考图像(图2中的第三帧为Ir)与其余输入图像(图2中的第一、二、四、五帧为非参考图像Is1、Is2、Is3、Is4之间的鬼影区域图像ghostmap*(Ir,Is1)、ghostmap*(Ir,Is2)、ghostmap*(Ir,Is3)、ghostmap*(Ir,Is4)。
步骤S2:鬼影去除
根据参考图像Ir在鬼影区域的梯度信息以及非参考图像Isn在鬼影区域的边界信息,采用泊松图像编辑算法,重新构建出非参考图像Isn在鬼影区域内像素点的像素值,得到去除鬼影后的非参考图像I'sn。
鬼影的去除不能简单的直接使用参考图在鬼影区域的图像信息替换其余输入图像对应区域的信息,否则会导致替换信息后生成的图像中出现缝合线,而该缝合线也会随着多帧图像的融合出现在最终的高动态范围图像中,严重影响图像的质量。这里我们使用泊松编辑算法完成图像信息的替换,能避免产生缝合线的问题。
泊松图像编辑算法的主要思想是,根据参考图像在鬼影区域的梯度信息以及非参考图像在鬼影区域的边界信息,重新构建出鬼影区域内的图像像素。如图4所示,其中,u表示参考图像在鬼影区域内的图像信息,V是u的梯度场,S表示非参考图像由u替换相应区域图像信息后去除移动物体的结果图,Ω是S中被覆盖的区域,其大小由鬼影区域图像ghostmap*(Ir,Isn)决定,是其边界,设合并后图像在Ω内的像素值f示,在Ω外的像素值由f*表示。
图像合并的要求是使合并后的图像看上去尽可能的平滑,没有明显的边界。所以被覆盖的区域内的图像梯度值应当尽可能的小。同时由于要求***后的图像保持***图像本身的纹理信息,但是在边界上看不到明显的处理痕迹,此种约束下的优化问题可以表示为:
其中为哈密尔顿算子,||·||2为欧式距离的平方。
为了使合并后的图像中的Ω区域尽量接近于u,这里利用u的梯度场V作为求解式的引导场。合并后图像在Ω内的像素值f的梯度与u的梯度越接近,就表示原始纹理保持得越好。此时被积函数为:
再应用二维的欧拉-拉格朗日方程,则得:
其中Δ为拉普拉斯算子,引入散度div后,可以从散度的角度来定义拉普拉斯算子,此时拉普拉斯算子定义为梯度的散度,即
所以原式(11)可以写成如下的泊松方程的形式:
求解公式(15)后即可得到Ω区域的像素值,便能去除多帧图像中存在移动物体的区域。替换完成后,将得到多帧与参考图景象一致的图像。
在本实施例中,通过泊松图像编辑算法使用鬼影判别算法中得到的鬼影区域,其边界即为泊松方程的求解条件,这样就能用参考图像在鬼影区域的图像信息替换掉其余输入图像对应区域的信息。图5即为去除移动物体后的图像。
步骤S3:生成无鬼影的高动态范围图像
步骤S301:将参考图像Ir以及非参考图像I'sn组成N帧无鬼影图像Ij,j=1,2,...,N;
步骤S302:对N帧无鬼影图像每帧的M个位置的像素值按照色彩通道进行采样,得到的采样值Zcmj,c∈{R,G,B},m为采样值的位置;然后结合各帧的图像曝光时间tj,求解出逆相机响应函数gc;
步骤S303:对N帧无鬼影图像的像素值Zcij做逆映射,得到HDR(高动态范围)图像,其中,第i个像素点的辐照度值Eci:
其中,U(Zcij)为高斯合成权重,其表达式为:
由Z=f(Et),其中Z为图像亮度值,E为图像辐照度,t为图像曝光时间,相机响应函数f单调递增,对其求逆并取对数,如公式(16)所示:
其中Zcij表示第j帧无鬼影图像Ij在色彩通道c下第i位置处采样点的值,c∈{R,G,B},Eci为色彩通道c下第i个位置处的辐照度,Δtj为第j帧图像的曝光时间,gc为在色彩通道c下的逆相机响应函数,然后求解gc的目标函数为公式(17)所示。
其中,N为无鬼影图像Ij的数量,M为采样点数量,λ为一个常量系数,Zcmax表示N帧无鬼影图像Ij中在色彩通道c下最大的像素值,相应的,Zcmin为N帧无鬼影图像Ij中色彩通道c下最小的像素值,而g″(z)的公式如(18)所示。
g″(z)=gc(z-1)-2gc(z)+gc(z+1) (18)
在式(17)中,W(Zcij)为求解逆相机响应曲线时,为采样点设计权重,采用三角权重,如公式(19)所示。
将式(18)和式(19)代入式(17)中,计算得到逆相机响应函数gc后,对LDR图像像素值Zcij做逆映射,得到最终的HDR图像辐照度值Eci,如公式(9)所示,为合成HDR图像的计算方法。
式(9)中的U(Zcij)采用高斯合成权重,能避免生成的HDR图像中出现失真的像素点,其计算方法为公式(10)所示。
通过上述静态场景的高动态范围成像技术,得到一帧无鬼影的高动态范围图像。
在本实施例中,公式(17)中参数M大小为512,参数λ大小为20。采样点的选取方法首先计算出图像的R,G,B三个色彩的直方图,然后各色彩直方图分别采用基于CDF(Cumulative Distribution Function)的采样算法获取数量为参数M的采样点。
如图6所示,从左往右依次是采样点的高斯权重函数和合成时的三角权重函数。将图6中的权重函数分别作用于公式(17)和(9),重构出高动态范围图像。
图像质量评价
对本发明结果,采用两种图像质量评价方法进行分析。第一种评价方法,由于常用的显示设备无法显示高动态范围图像,经过色调映射方法将高动态范围图像映射到低动态范围以显示图像,并从人眼视觉神经***角度给出图像质量评价,这是从主观视觉上对图像质量评价的一种方法。第二种评价方法,采用HDR图像质量评判模型DRIM,其结果图的红、绿、蓝像素点占比直观衡量了测试图与参考图之间的失真程度。
图7给出了八组每组5帧动态场景下的多曝光图像,其中,第一行为花园、第二行为自行车、第三行为办公室、第四行为宫殿、第五行为玩偶、第六行为家、第七行为图书馆、第八行为城堡),其中,除宫殿、家、城堡选第四帧为参考图像外,其他均选第三帧为参考图像。
1)、主观评价
我们通过直观观察本发明生成的HDR图像的色调映射图像来评判该方法的效果。图8为本发明生成的HDR图像的色调映射图像。
从图8可以看出,本发明提出的方法在移动物体上都有着良好的判别效果,最终的生成图像中都去除了鬼影的影响。
2)、客观评价
我们使用了HDR图像质量评判模型DRIM(动态范围独立度量)来客观评价本发明,用这个模型评判所得结果图与参考图像之间的失真程度,会产生一个包含三种对比度变化信息的图像,红色像素表示对比度反转,绿色像素表示对比度丢失,蓝色像素表示对比度增强,灰色像素表示处理前后像素没有变化,通过统计图像中红、绿、蓝像素所占比例,从红、绿、蓝占比结果反映所得图像质量的好坏,红色和绿色像素越少说明生成的HDR图像质量越好。图9直观展示了测试结果图经过DRIM评判后红、黄、蓝像素点所占比例。
从图9中可以看出,本发明所得DRIM值均占有一定的优势(除花园、自行车外),也反映了我们的方法不仅具有良好的鬼影去除效果,而且还能够生成高质量的图像。
从客观评价和主观评价上,可以得出该发明能有效去除动态场景下生成高动态范围图像产生的鬼影效应。
尽管上面对本发明说明性的具体实施方式进行了描述,以便于本技术领域的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。
Claims (2)
1.一种基于梯度结构相似性的无鬼影高动态范围成像方法,其特征在于,包括以下步骤:
(1)、鬼影区域的判别
1.1)、从输入的N帧不同曝光量图像中选出一帧中等曝光量的图像作为参考图像Ir,将N帧不同曝光量图像中剩余的N-1帧图像作为非参考图像Isn(n=1,2,...,N-1);
1.2)、提取参考图像Ir的水平梯度图像Ixr以及非参考图像Isn的水平梯度图像Ixsn,计算参考图像Ir与非参考图像Isn的水平梯度结构相似性图像GSSIMx(Ixr,Ixsn),其中,第i个像素点的值为:
其中,C1与C2为防止除数为零的常数,i属于整个图像域;
μxri为水平梯度图像Ixr像素点i处p×p的方形窗内像素值的平均值:
其中,zrik为水平梯度图像Ixr像素点i处p×p的方形窗内第k个像素点的像素值,K=p×p;
μxsni为水平梯度图像Ixsn像素点i处p×p的方形窗内像素值的平均值:
其中,zsnik为水平梯度图像Ixsn像素点i处p×p的方形窗内第k个像素点的像素值,K=p×p;
σxri为水平梯度图像Ixr像素点i处p×p的方形窗内像素值的标准差:
σxsni为水平梯度图像Ixsn像素点i处p×p的方形窗内像素值的标准差:
为水平梯度图像Ixr与水平梯度图像Ixsn像素点i处p×p的方形窗内像素值的协方差:
按照同样的方法,计算出垂直梯度结构相似性图像GSSIMy(Iyr,Iysn),其中,第i个像素点的值为GSSIMy(Iyr,Iysn)i;
1.3)、得到参考图像与非参考图像的梯度结构相似度图像GSSIM(Ir,Isn),其中,第i个像素点的值为GSSIM(Ir,Isn)i:
GSSIM(Ir,Isn)i=GSSIMx(Ir,Isn)i·GSSIMy(Ir,Isn)i (7);
1.4)、获取鬼影区域图像ghostmap(Ir,Isn),其中,第i个像素点的值为ghostmap(Ir,Isn)i:
其中,th为判别是否为鬼影像素点的阈值;
1.5)、使用形态学处理ghostmap(Ir,Isn),去除孤立的噪声点和填充孔洞,得到鬼影区域图像ghostmap*(Ir,Isn),其中,值为1的区域为鬼影区域;
(2)、鬼影去除
根据参考图像Ir在鬼影区域的梯度信息以及非参考图像Isn在鬼影区域的边界信息,采用泊松图像编辑算法,重新构建出非参考图像Isn在鬼影区域内像素点的像素值,得到去除鬼影后的非参考图像I'sn;
(3)、生成无鬼影的高动态范围图像
3.1)将参考图像Ir以及非参考图像I'sn组成N帧无鬼影图像Ij,j=1,2,...,N;
3.2)、对N帧无鬼影图像每帧的M个位置的像素值按照色彩通道进行采样,得到的采样值Zcmj,c∈{R,G,B},m为采样值的位置;然后结合各帧的图像曝光时间tj,求解出逆相机响应函数gc;
3.3)、对N帧无鬼影图像的像素值Zcij做逆映射,得到HDR(高动态范围)图像,其中,第i个像素点的辐照度值Eci:
其中,U(Zcij)为高斯合成权重,其表达式为:
2.根据权利要求1所述的无鬼影高动态范围成像方法,其特征在于,C1为10,C2为60,th为0.1;M大小为512,λ大小为20。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810182529.8A CN108492262B (zh) | 2018-03-06 | 2018-03-06 | 一种基于梯度结构相似性的无鬼影高动态范围成像方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810182529.8A CN108492262B (zh) | 2018-03-06 | 2018-03-06 | 一种基于梯度结构相似性的无鬼影高动态范围成像方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108492262A true CN108492262A (zh) | 2018-09-04 |
CN108492262B CN108492262B (zh) | 2020-05-08 |
Family
ID=63341526
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810182529.8A Active CN108492262B (zh) | 2018-03-06 | 2018-03-06 | 一种基于梯度结构相似性的无鬼影高动态范围成像方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108492262B (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109345525A (zh) * | 2018-09-27 | 2019-02-15 | 方玉明 | 一种去鬼影高动态范围图像质量评价方法 |
CN111091522A (zh) * | 2019-12-24 | 2020-05-01 | 紫光展讯通信(惠州)有限公司 | 终端及其多曝光图像融合方法 |
CN111127353A (zh) * | 2019-12-16 | 2020-05-08 | 重庆邮电大学 | 一种基于块配准和匹配的高动态图像去鬼影方法 |
CN111126568A (zh) * | 2019-12-09 | 2020-05-08 | Oppo广东移动通信有限公司 | 图像处理方法及装置、电子设备及计算机可读存储介质 |
WO2020124874A1 (zh) * | 2018-12-18 | 2020-06-25 | 深圳市华星光电半导体显示技术有限公司 | 图像处理方法 |
CN111476747A (zh) * | 2020-03-31 | 2020-07-31 | 深圳奥比中光科技有限公司 | 一种消除屏下成像中鬼像的***及方法 |
EP3723036A1 (en) * | 2019-04-09 | 2020-10-14 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method of image processing based on plurality of frames of images and electronic device |
CN112132769A (zh) * | 2020-08-04 | 2020-12-25 | 绍兴埃瓦科技有限公司 | 图像融合方法、装置以及计算机设备 |
CN112422838A (zh) * | 2020-09-24 | 2021-02-26 | 南京晓庄学院 | 一种基于多曝光的高动态范围场景信息处理方法 |
CN112598609A (zh) * | 2020-12-09 | 2021-04-02 | 普联技术有限公司 | 一种动态图像的处理方法及装置 |
CN112734664A (zh) * | 2020-12-30 | 2021-04-30 | 电子科技大学 | 一种对高动态范围图像的秘密信息嵌入和提取方法 |
CN113225490A (zh) * | 2020-02-04 | 2021-08-06 | Oppo广东移动通信有限公司 | 延时摄影方法及其摄影装置 |
CN114338956A (zh) * | 2020-09-30 | 2022-04-12 | 北京小米移动软件有限公司 | 图像处理方法、图像处理装置及存储介质 |
CN114578316A (zh) * | 2022-04-29 | 2022-06-03 | 北京一径科技有限公司 | 确定点云中鬼影点的方法、装置、设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106056629A (zh) * | 2016-05-31 | 2016-10-26 | 南京大学 | 通过运动物体检测和扩展去除鬼影的高动态范围成像方法 |
CN106506981A (zh) * | 2016-11-25 | 2017-03-15 | 阿依瓦(北京)技术有限公司 | 生成高动态范围图像的设备和方法 |
CN107038700A (zh) * | 2016-11-24 | 2017-08-11 | 西安科技大学 | 基于gssim的土壤湿度空间分布特征定量分析方法 |
-
2018
- 2018-03-06 CN CN201810182529.8A patent/CN108492262B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106056629A (zh) * | 2016-05-31 | 2016-10-26 | 南京大学 | 通过运动物体检测和扩展去除鬼影的高动态范围成像方法 |
CN107038700A (zh) * | 2016-11-24 | 2017-08-11 | 西安科技大学 | 基于gssim的土壤湿度空间分布特征定量分析方法 |
CN106506981A (zh) * | 2016-11-25 | 2017-03-15 | 阿依瓦(北京)技术有限公司 | 生成高动态范围图像的设备和方法 |
Non-Patent Citations (4)
Title |
---|
PING ZHONG ET AL: "Application of microscopic image dynamic range enhancement in sputum smear tuberculosis intelligent examination", 《INTERNATIONAL SYMPOSIUM ON PHOTOELECTRONIC DETECTION AND IMAGING 2009: LASER SENSING AND IMAGING》 * |
吴伟华: "大曝光差异和场景运动的图像拼接技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
胡胜男: "多曝光图像融合中的运动检测与鬼影去除方法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
马辰阳 等: "基于运动和视差信息的立体视频质量客观评价", 《光电子•激光》 * |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109345525A (zh) * | 2018-09-27 | 2019-02-15 | 方玉明 | 一种去鬼影高动态范围图像质量评价方法 |
CN109345525B (zh) * | 2018-09-27 | 2022-03-29 | 方玉明 | 一种去鬼影高动态范围图像质量评价方法 |
WO2020124874A1 (zh) * | 2018-12-18 | 2020-06-25 | 深圳市华星光电半导体显示技术有限公司 | 图像处理方法 |
US11582400B2 (en) | 2019-04-09 | 2023-02-14 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method of image processing based on plurality of frames of images, electronic device, and storage medium |
EP3723036A1 (en) * | 2019-04-09 | 2020-10-14 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method of image processing based on plurality of frames of images and electronic device |
CN111126568A (zh) * | 2019-12-09 | 2020-05-08 | Oppo广东移动通信有限公司 | 图像处理方法及装置、电子设备及计算机可读存储介质 |
CN111126568B (zh) * | 2019-12-09 | 2023-08-08 | Oppo广东移动通信有限公司 | 图像处理方法及装置、电子设备及计算机可读存储介质 |
CN111127353B (zh) * | 2019-12-16 | 2023-07-25 | 重庆邮电大学 | 一种基于块配准和匹配的高动态图像去鬼影方法 |
CN111127353A (zh) * | 2019-12-16 | 2020-05-08 | 重庆邮电大学 | 一种基于块配准和匹配的高动态图像去鬼影方法 |
CN111091522A (zh) * | 2019-12-24 | 2020-05-01 | 紫光展讯通信(惠州)有限公司 | 终端及其多曝光图像融合方法 |
CN111091522B (zh) * | 2019-12-24 | 2022-09-13 | 紫光展讯通信(惠州)有限公司 | 终端及其多曝光图像融合方法 |
CN113225490B (zh) * | 2020-02-04 | 2024-03-26 | Oppo广东移动通信有限公司 | 延时摄影方法及其摄影装置 |
CN113225490A (zh) * | 2020-02-04 | 2021-08-06 | Oppo广东移动通信有限公司 | 延时摄影方法及其摄影装置 |
CN111476747A (zh) * | 2020-03-31 | 2020-07-31 | 深圳奥比中光科技有限公司 | 一种消除屏下成像中鬼像的***及方法 |
CN112132769A (zh) * | 2020-08-04 | 2020-12-25 | 绍兴埃瓦科技有限公司 | 图像融合方法、装置以及计算机设备 |
CN112422838B (zh) * | 2020-09-24 | 2022-03-11 | 南京晓庄学院 | 一种基于多曝光的高动态范围场景信息处理方法 |
CN112422838A (zh) * | 2020-09-24 | 2021-02-26 | 南京晓庄学院 | 一种基于多曝光的高动态范围场景信息处理方法 |
CN114338956A (zh) * | 2020-09-30 | 2022-04-12 | 北京小米移动软件有限公司 | 图像处理方法、图像处理装置及存储介质 |
CN112598609B (zh) * | 2020-12-09 | 2024-07-19 | 普联技术有限公司 | 一种动态图像的处理方法及装置 |
CN112598609A (zh) * | 2020-12-09 | 2021-04-02 | 普联技术有限公司 | 一种动态图像的处理方法及装置 |
CN112734664A (zh) * | 2020-12-30 | 2021-04-30 | 电子科技大学 | 一种对高动态范围图像的秘密信息嵌入和提取方法 |
CN114578316A (zh) * | 2022-04-29 | 2022-06-03 | 北京一径科技有限公司 | 确定点云中鬼影点的方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN108492262B (zh) | 2020-05-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108492262A (zh) | 一种基于梯度结构相似性的无鬼影高动态范围成像方法 | |
KR101643607B1 (ko) | 영상 데이터 생성 방법 및 장치 | |
Srikantha et al. | Ghost detection and removal for high dynamic range images: Recent advances | |
Jacobs et al. | Automatic high-dynamic range image generation for dynamic scenes | |
CN105894484B (zh) | 一种基于直方图归一化与超像素分割的hdr重建算法 | |
CN109671023A (zh) | 一种人脸图像超分辨率二次重建方法 | |
CN111292264A (zh) | 一种基于深度学习的图像高动态范围重建方法 | |
Tian et al. | A multi-order derivative feature-based quality assessment model for light field image | |
CN106027851A (zh) | 基于图像梯度的图像滤波 | |
CN105931213B (zh) | 基于边缘检测和帧差法的高动态范围视频去鬼影的方法 | |
CN110225260B (zh) | 一种基于生成对抗网络的立体高动态范围成像方法 | |
CN111915525A (zh) | 基于改进深度可分离生成对抗网络的低照度图像增强方法 | |
Pan et al. | Multi-exposure high dynamic range imaging with informative content enhanced network | |
CN113592018B (zh) | 基于残差密集网络和梯度损失的红外光与可见光图像融合方法 | |
CN111652864A (zh) | 一种基于条件式生成对抗网络的铸件缺陷图像生成方法 | |
Wang et al. | Low-light image enhancement based on virtual exposure | |
CN111683221B (zh) | 嵌入矢量红线数据的自然资源实时视频监测方法及*** | |
CN115883755A (zh) | 一种多类型场景下多曝光图像融合方法 | |
Singh et al. | Weighted least squares based detail enhanced exposure fusion | |
CN111915735A (zh) | 一种针对视频中三维结构轮廓的深度优化方法 | |
Iglesias-Guitian et al. | Real-time denoising of volumetric path tracing for direct volume rendering | |
CN110580696A (zh) | 一种细节保持的多曝光图像快速融合方法 | |
Tan et al. | High dynamic range imaging for dynamic scenes with large-scale motions and severe saturation | |
CN117197627B (zh) | 一种基于高阶退化模型的多模态图像融合方法 | |
Candocia | Analysis and enhancements to piecewise linear comparametric image registration |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |