CN107451970A - 一种基于单帧图像的高动态范围图像生成方法 - Google Patents

一种基于单帧图像的高动态范围图像生成方法 Download PDF

Info

Publication number
CN107451970A
CN107451970A CN201710629982.4A CN201710629982A CN107451970A CN 107451970 A CN107451970 A CN 107451970A CN 201710629982 A CN201710629982 A CN 201710629982A CN 107451970 A CN107451970 A CN 107451970A
Authority
CN
China
Prior art keywords
mrow
msub
inv
dynamic range
mtd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710629982.4A
Other languages
English (en)
Inventor
霍永青
李晓芬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201710629982.4A priority Critical patent/CN107451970A/zh
Publication of CN107451970A publication Critical patent/CN107451970A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于单帧图像的高动态范围图像生成方法，通过边缘检测，找到边缘图块集，然后计算出相机响应逆函数下的总距离，构建出相应的条件概率模型，同时，依据DoRF数据库中的201条相机响应曲线，构建一个采样混合高斯模型来描述的先验概率模型，这样采用贝叶斯框架得到一个最大后验概率模型，其最大情况下，得到新的相机响应逆函数；最后，采用Levenberg‑Marquardt方法迭代求解得到最优相机响应逆函数，依据最优相机响应逆函数进行重构，得到高动态范围图像。本发明同时在高亮度区域和低亮度区域进行图像动态范围的扩展，避免了只进行高亮度区域扩展方法在图像较暗区域产生的伪像和细节丢失。

Description

一种基于单帧图像的高动态范围图像生成方法
技术领域
本发明属于图像处理技术领域，更为具体地讲，涉及一种基于单帧图像的高动态范围图像生成方法。
背景技术
近年来，高动态范围成像技术不仅受到了学术界的重视，也受到工业界广泛的关注。研究人员提出了许多获取高动态范围图像的方法。
最常见的一种方法是利用捕获于同一个场景的多幅不同曝光的低动态范围图像生成一帧高质量的高动态范围图像。然而，人们实际捕获的绝大多数图像往往只具有单次曝光，现实中也存在海量的单曝光图像。因此，研究人员开始专注于研究从单帧低动态范围图像生成高动态范围图像的方法，并取得了一些进展。
高动态范围图像生成技术可以分为线性或非线性，全局模型或局部模型。从扩展函数本身的性质来说，可分为线性的和非线性的。从扩展函数作用的范围来说，可分为局部扩展和全局扩展。全局扩展在图像全局范围上使用同一个扩展函数，不考虑图像的局部特性。局部扩展可将图像分为过曝光区域和正常曝光区域，对不同曝光区域采用不同的扩展函数。大多数已有的算法采用局部扩展模型，虽然局部扩展考虑了图像的局部特性，但是局部扩展会在不同区域的连接边缘产生轮廓效应。
现有的大多数高动态范围图像生成方法都集中在仅对高亮度区域进行图像扩展，这会丢失在图像暗亮度区域可见的一些细节，并且没有考虑到图像成像机制。为了解决现有方法存在的问题，需要研究一种既能同时对图像高亮度区域和低亮度区域进行比特增强，又考虑到图像成像机制，具有高效性能的方法
发明内容
本发明的目的在于克服现有技术的不足，提出一种基于单帧图像的高动态范围图像生成方法，在高亮度区域和低亮度区域同时进行图像动态范围的扩展，以避免了只进行高亮度区域扩展在图像较暗区域产生的伪像和细节丢失的问题。
为实现上述发明目的，本发明基于单帧图像的高动态范围图像生成方法，其特征在于，包括以下步骤：
(1)、边缘图块检测
采用Canny算法对输入单曝光图像进行边缘检测，然后对得到的边缘图进行分块，并选取合适的边缘图块构成观测集：
若一边缘图分块只包含两个连通区域，则从原图即单曝光图像中选出该边缘图分块对应的原图块，然后判断原图块中两个连通区域的颜色方差是否小于设定的方差阈值，如果小于进一步判断原图块中两个连通区域之间的颜色差值是否大于设定的颜色阈值，如果大于，则将该原图块作为边缘图块，这样所有的边缘图块Ei，i＝1,2,…,N，构成观测集Ω＝{E1,E2,…,EN)，其中，N为边缘图块的数量；
对于边缘图块Ei，其两个区域的像素平均值分别为Bi1、Bi2、其边缘上像素平均值为Bip，则finv(Bp)到直线finv(B1)finv(B2)的总距离D(finv,Ω)为：
其中，finv为相机响应逆函数；
(2)、条件概率模型计算
条件概率模型p(Ω|finv)为图像像素值在RGB空间上从非线性分布转换为线性分布的程度，用点finv(Bp)到直线finv(B1)finv(B2)的距离表示，结合边缘图块集Ω上的总距离D(finv,Ω)，条件概率模型p(Ω|finv)采用指数函数进行描述为：
其中，Z是归一化常数，λ是一个参变量，其作用是均衡先验概率和条件概率对贝叶斯模型的影响，λ可经验性地取1000；
(3)、先验概率模型计算
先验概率模型p(finv)为图像像素值对应相机CCD(Charge-coupled Device电荷耦合元件)上捕获的辐照度的概率分布，根据国际通用的DoRF(Database of ResponseFunctions)数据库中的201条相机响应曲线来构建，采用混合高斯模型来描述先验概率模型为：
其中，μj为第j条相机响应逆曲线的均值，∑j为第j条相机响应逆曲线的协方差，αj第j条相机响应逆曲线的系数，N为混合高斯模型；
(4)、采用贝叶斯框架得到新的相机响应逆函数
采用贝叶斯框架，更具最大后验概率估计，新的相机响应逆函数finv *为：
finv *＝argmaxP(finv|Ω)∝argmaxP(Ω|finv)P(finv) (4)；
对公式(2)代入公式(4)，并对公式(4)右端取对数，并取负值，这样可将公式(4)重写为：
finv *＝argminλD(finv,Ω)-logP(finv) (5)；
(5)、采用Levenberg-Marquardt方法，迭代求解公式(5)中新的相机响应逆函数finv *，得到最优解fopt；
(6)、重构高动态范围图像
Ik＝fopt(Bk) (6)；
其中，Bk为单曝光图像的第k像素点的像素值，Ik为重构高动态范围图像的第k像素点的像素值。
本发明基于单帧图像的高动态范围图像生成方法，通过边缘检测，找到边缘图块集，然后计算出相机响应逆函数下的总距离，构建出相应的条件概率模型，同时，依据DoRF(Database of Response Functions)数据库中的201条相机响应曲线，构建一个采样混合高斯模型来描述的先验概率模型，这样采用贝叶斯框架得到一个最大后验概率模型即条件概率模型与先验概率模型的乘积，其最大情况下，得到新的相机响应逆函数；最后，采用Levenberg-Marquardt方法迭代求解得到最优相机响应逆函数，依据最优相机响应逆函数进行重构，得到高动态范围图像。本发明同时在高亮度区域和低亮度区域进行图像动态范围的扩展，避免了只进行高亮度区域扩展方法在图像较暗区域产生的伪像和细节丢失。
附图说明
图1是基于单帧图像的高动态范围图像生成方法一种具体实施方式流程图；
图2是边缘图块两个连通区域示图；
图3是图像边缘检测及观测集选择结果；
图4是RGB三通道的相机响应逆函数一具体实例图；
图5是三种权值函数的示意图；
图6是三种权值函数作用下重构的高动态范围图像；
图7是不同方法得到的高动态范围图像经同一个色调映射后的图像；
图8所示为采用Adyin的图像质量评价软件对高动态范围图像质量评估的结果；
具体实施方式
下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。
现实生活中，在得到同一个场景的多曝光图像后，需要预处理多曝光图像的校准和抖动等问题，增加了算法的复杂度。随着相机性能的逐步提升，捕获到的单曝光图像含有足够的细节信息用于重构其高动态范围图像。因此，研究从一帧单曝光低动态范围图像产生高质量的高动态范围图像的技术成为当下的热点。
本发明利用相机成像的机制，即相机的逆响应曲线，作为将低动态范围图像映射为高动态范围图像的扩展函数。由于本发明方法得到相机响应逆函数在低亮度区域和高亮度区域同时具有良好的拉伸特性，在正常亮度区域近似线性扩展，并且整条曲线光滑，无区域分段现象，避免了局部扩展造成的伪像和轮廓效应，同时也考虑到了图像的局部特性。
一、高动态范围图像的生成
图1是基于单帧图像的高动态范围图像生成方法一种具体实施方式流程图
在本实施例中，如图1所示，本发明基于单帧图像的高动态范围图像生成方法，其特征在于，包括以下步骤：
步骤S1：边缘图块检测
对输入低动态单曝光图像边缘检测，选择满足规则的边缘图块构成观测集，具体而言，采用Canny算法对输入单曝光图像进行边缘检测，然后对得到的边缘图进行分块，并选取合适的边缘图块构成观测集：
若一边缘图分块只包含两个连通区域，则从原图即单曝光图像中选出该边缘图分块对应的原图块；
为保证边缘图块区域内部具有较高的相似性，边缘图块中两个连通区域的颜色方差要尽可能小，因此，判断原图块中两个区域的颜色方差是否小于设定的方差阈值，方差阈值根据具体实施情况设定；
为保证图块区域之间有较高的动态范围，图块中两个连通区域之间的颜色差值要尽可能大。因此，如果两个连通区域的颜色方差小于设定的方差阈值，进一步判断原图块中两个连通区域之间的颜色差值是否大于设定的颜色阈值，如果大于，则将该原图块作为边缘图块，如图2所示，这样所有的边缘图块Ei，i＝1,2,…,N，构成观测集Ω＝{E1,E2,…,EN)，其中，N为边缘图块的数量，颜色阈值根据具体实施情况设定。
数码相机的成像过程可以描述为：场景辐射光线透过光学***投射到CCD感光器上，转换成电信号量化后，以像素值的形式存储。CCD上捕获的场景辐照度I映射到图像的像素值B的过程，是一个非线性映射过程：
B＝f(I) (7)
该映射f称为相机响应函数。由于f单调可逆，则存在逆函数finv，finv建立了图像像素值B到场景辐照度I的映射，且finv(B)与I为线性关系。
对于边缘图块Ei，其两个区域的像素平均值分别为Bi1、Bi2、其边缘上像素平均值为Bip，则finv(Bp)到直线finv(B1)finv(B2)的总距离D(finv,Ω)为：
其中，finv为相机响应逆函数。
图像边缘检测及观测集选择结果如图3所示，图3中从左到右依次是原始图像(法国建筑)、原始图像的边缘检测图、原始图像上的观测集显示
步骤S2：条件概率模型计算
在边缘图块观测集上构建条件概率模型，采用指数函数来描述条件概率模型。具体而言，条件概率模型p(Ω|finv)为图像像素值在RGB空间上从非线性分布转换为线性分布的程度，用点finv(Bp)到直线finv(B1)finv(B2)的距离表示，结合边缘图块集Ω上的总距离D(finv,Ω)，条件概率模型p(Ω|finv)采用指数函数进行描述为：
其中，Z是归一化常数，λ是一个参变量，其作用是均衡先验概率和条件概率对贝叶斯模型的影响，λ可经验性地取1000。
得到图像边缘图块观测集Ω后，代入公式(1)得到总距离D(finv,Ω)，接着按公式(2)构建条件概率模型。
步骤S3：先验概率模型计算
先验概率模型p(finv)为图像像素值对应相机CCD(Charge-coupled Device电荷耦合元件)上捕获的辐照度的概率分布，根据国际通用的DoRF(Database of ResponseFunctions)数据库中的201条相机响应曲线来构建，采用混合高斯模型来描述先验概率模型为：
其中，μj为第j条相机响应逆曲线的均值，∑j为第j条相机响应逆曲线的协方差，αj第j条相机响应逆曲线的系数，N为混合高斯模型。
步骤S4：、采用贝叶斯框架得到新的相机响应逆函数
采用贝叶斯框架，根据最大后验概率估计，新的相机响应逆函数finv *为：
finv *＝argmaxP(finv|Ω)∝argmaxP(Ω|finv)P(finv) (4)；
对公式(2)代入公式(4)，并对公式(4)右端取对数，并取负值，这样可将公式(4)重写为：
finv *＝argminλD(finv,Ω)-logP(finv) (5)；
步骤S5：采用Levenberg-Marquardt方法，迭代求解公式(5)中新的相机响应逆函数finv *，得到最优解fopt；
步骤S6：平滑新的相机响应逆函数
令Bmin和Bmax分别表示低动态单曝光图像的最小像素值和最大像素值，因为相机响应逆函数finv通常在最小像素值和最大像素值有一个陡峭的斜率，所以在这些极端点附近，逆曲线不太平滑，甚至出现非单调现象。
为了解决上述问题，在高动态范围图像重构过程中，引入权值函数w(B)使得逆曲线更加平滑，同时减少Bmin和Bmax像素点的影响。可选择的权值函数w(B)有矩形函数，三角函数和高斯函数。
三角函数简单定义为：
tri(t)＝max(1-|t|,0) (8)
将三角函数作用于图像的像素值，可将公式(8)变换为：
高斯函数定义为：
使用标准正态函数，即令公式(10)中的μ＝0和σ＝1，然后对标准正态函数进行幅度拉伸，并通过平移变换将函数移动到图像像素值范围内。则其对应的高斯权值函数为：
对于矩形函数，等效于在指定像素范围内乘以一个常数因子。
步骤S7：重构高动态范围图像
Ik＝fopt(Bk) (6)；
其中，Bk为单曝光图像的第k像素点的像素值，Ik为重构高动态范围图像的第k像素点的像素值。
将权值函数作用于公式(6)，可以恢复出高动态范围的辐照度值即重构高动态范围图像的第k像素点的像素值：
在DoRF数据库中的201条相机响应曲线上，按照公式(3)构建相机响应曲线的先验概率模型。然后，将混合高斯先验模型p(finv)和条件概率模型p(finv|Ω)代入贝叶斯框架，采用Levenberg-Marquardt方法求解公式(5)中相机响应逆函数的最优解。输入图像为图3中的原始图像，其RGB三通道的相机响应逆函数如图4所示(横坐标像素范围为归一化像素值，纵坐标像素范围为归一化辐照度即重构高动态范围图像的归一化像素值)。从图4可见，相机响应逆函数在最小像素值和最大像素值附近有较陡峭的斜率，表明低动态范围输入图像在高亮度区域和低亮度区域能得到较大的动态范围扩展。
二、重构高动态范围图像比较
图像像素值范围内的三种权值函数w(B)如图5所示。从左往右依次是矩形函数、三角函数和高斯函数。
将图5中的三种权值函数分别作用于相机响应逆函数，由公式(13)重构出高动态范围图像。
对本发明结果，采用两种图像质量评价方法进行分析。第一种评价方法，由于常用的显示设备无法显示高动态范围图像，为了比较三种权值函数的作用效果，采用Reinhard提出的色调映射方法将高动态范围图像映射到稍低动态范围以显示图像，并从人眼视觉神经***角度给出图像质量评价。这是从主观视觉上对图像质量评价的一种方法。第二种评价方法，采用Adyin发明的一种图像质量评价软件，该方法可以直接度量出原始图像和其重构的高动态范围图像之间的失真。生成的度量结果图像是其灰度图像和红绿蓝像素点的组成图像。红色像素点代表可见细节的对比度反转(原始图像的对比度极性相对于重构图像反转)，绿色像素点代表可见细节的对比度丢失(原始图像中的可见细节在重构图像中变得不可见)，蓝色像素点代表不可见细节的对比度增强(原始图像中的不可见细节在重构图像中变得可见)。较少的蓝色像素点意味着在动态范围扩展过程中产生较少的伪像，同时，较少的红色和绿色像素点代表扩展方法更好的性能。
2.1)、横向比较
图6的第一行图像是图3中原始图像(法国建筑)在三种权值函数作用下重构的高动态范围图像经Reinhard色调映射后的结果。第二行图像是原始图像和不同权值函数下的高动态范围图像的对比度量结果。从左往右依次是矩形函数、三角函数和高斯函数。由第一行图像对比可得：从主观上感受，三角权值函数作用后的高动态范围图像质量好于其他两种权值函数，其对应的色调映射后的图像(中间图像)较其他两幅图像在高亮度区域和低亮度区域含有更多的细节信息。因此，三种权值函数中，三角函数效果最好。由第二行图像可得：中间图像有更少的红绿蓝像素点，意味着其高动态范围图像有更少的对比度损失，同样可得出上述结论。
2.2)、纵向比较
由2.1)可知，使用三角权值函数对相机响应逆函数平滑后，可得到高质量的高动态范围图像。为了评估本发明算法的性能，将本发明和经典的四个反色调映射方法进行比较，分别是Banterle、Masia、Meylan和Rempel的反色调映射方法。后文中的本发明均指使用三角权值函数得到高质量的高动态范围图像。
图7为不同方法得到的高动态范围图像经同一个色调映射后的图像。从左到右分别是不同的原始图像(人工湖、教学楼、塔、古镇、图书馆、寺庙)；从上到下，第一行为原始图像，后面依次采用不同的高动态范围图像重构方法(Banterle、Masia、Meylan、Rempel、本发明)。使用第一种评价方法，从图7可知，Banterle方法在在高亮度区域性能更好，在低亮度区域性能较差。Masia、Meylan和Rempel方法在低亮度区域表现性能比高亮度区域好。Masia方法在部分图像的高亮度区域产生了明显的伪影。本发明在高亮度区域和低亮度区域同时具有较好的性能。
图8所示为采用Adyin的图像质量评价软件对高动态范围图像质量评估的结果。从左到右分别是不同的原始图像(古镇、房屋、小径、人工湖、树、教学楼)；从上到下依次采用不同的高动态范围图像重构方法(Banterle、Masia、Meylan、Rempel、本发明)。使用第二种评价方法，由图8可知，在5种高动态范围图像重构方法中，本发明的质量评估结果图含有较少的红绿蓝像素点，这意味着五种方法中本发明达到了最小的对比度失真和保真度损失。因此，我们可以得出结论，本发明性能优于其他4种方法。表1中的数值统计结果同样可以证明此结论。
表1为9个测试图像的对比度失真百分比统计表，即统计质量评估结果图中红绿蓝像素点所占的百分百。分析表1可知，从反转对比度损失来看，5种方法性能从好到坏依次是Masia、本发明、Banterle、Meylan、Rempel。从对比度丢失来看，Banterle方法效果最好，其次是Rempel、本发明、Masia和Meylan。从对比度增强方面的损失来看，性能从好到坏依次是本发明、Meylan、Banterle、Masia、Rempel。从总体对比度损失来看，性能从好到坏依次排列为本发明、Banterle、Masia、Meylan、Rempel。总之，对于总体对比度损失，本发明的损失在5种方法中最小；对于各项损失，本发明的损失在5种方法都最小或者较小。因此，从表1数值统计结果来看，本发明性能优于其他4种方法。
单位：百分比％
表1
从图7、8和表1中都可以看出，本发明在单曝光图像的高动态范围图像重构方面具有好的效果。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (2)

1.一种基于单帧图像的高动态范围图像生成方法，其特征在于，包括以下步骤：
(1)、边缘图块检测
采用Canny算法对输入单曝光图像进行边缘检测，然后对得到的边缘图进行分块，并选取合适的边缘图块构成观测集：
若一边缘图分块只包含两个连通区域，则从原图即单曝光图像中选出该边缘图分块对应的原图块，然后判断原图块中两个连通区域的颜色方差是否小于设定的方差阈值，如果小于进一步判断原图块中两个连通区域之间的颜色差值是否大于设定的颜色阈值，如果大于，则将该原图块作为边缘图块，这样所有的边缘图块Ei，i＝1,2,…,N，构成观测集Ω＝{E1,E2,…,EN)，其中，N为边缘图块的数量；
对于边缘图块Ei，其两个区域的像素平均值分别为Bi1、Bi2、其边缘上像素平均值为Bip，则finv(Bp)到直线finv(B1)finv(B2)的总距离D(finv,Ω)为：
<mrow> <mi>D</mi> <mrow> <mo>(</mo> <msub> <mi>f</mi> <mrow> <mi>i</mi> <mi>n</mi> <mi>v</mi> </mrow> </msub> <mo>,</mo> <mi>&amp;Omega;</mi> <mo>)</mo> </mrow> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <mfrac> <mrow> <mo>|</mo> <mrow> <mo>(</mo> <msub> <mi>f</mi> <mrow> <mi>i</mi> <mi>n</mi> <mi>v</mi> </mrow> </msub> <mo>(</mo> <msub> <mi>B</mi> <mrow> <mi>i</mi> <mn>1</mn> </mrow> </msub> <mo>)</mo> </mrow> <mo>-</mo> <msub> <mi>f</mi> <mrow> <mi>i</mi> <mi>n</mi> <mi>v</mi> </mrow> </msub> <mrow> <mo>(</mo> <msub> <mi>B</mi> <mrow> <mi>i</mi> <mn>2</mn> </mrow> </msub> <mo>)</mo> </mrow> <mo>)</mo> <mo>&amp;times;</mo> <mrow> <mo>(</mo> <msub> <mi>f</mi> <mrow> <mi>i</mi> <mi>n</mi> <mi>v</mi> </mrow> </msub> <mo>(</mo> <msub> <mi>B</mi> <mrow> <mi>i</mi> <mi>p</mi> </mrow> </msub> <mo>)</mo> </mrow> <mo>-</mo> <msub> <mi>f</mi> <mrow> <mi>i</mi> <mi>n</mi> <mi>v</mi> </mrow> </msub> <mrow> <mo>(</mo> <msub> <mi>B</mi> <mrow> <mi>i</mi> <mn>2</mn> </mrow> </msub> <mo>)</mo> </mrow> <mo>)</mo> <mo>|</mo> </mrow> <mrow> <mo>|</mo> <msub> <mi>f</mi> <mrow> <mi>i</mi> <mi>n</mi> <mi>v</mi> </mrow> </msub> <mrow> <mo>(</mo> <msub> <mi>B</mi> <mrow> <mi>i</mi> <mn>1</mn> </mrow> </msub> <mo>)</mo> </mrow> <mo>-</mo> <msub> <mi>f</mi> <mrow> <mi>i</mi> <mi>n</mi> <mi>v</mi> </mrow> </msub> <mrow> <mo>(</mo> <msub> <mi>B</mi> <mrow> <mi>i</mi> <mn>2</mn> </mrow> </msub> <mo>)</mo> </mrow> <mo>|</mo> </mrow> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>
其中，finv为相机响应逆函数；
(2)、条件概率模型计算
条件概率模型p(Ω|finv)为图像像素值在RGB空间上从非线性分布转换为线性分布的程度，用点finv(Bp)到直线finv(B1)finv(B2)的距离表示，结合边缘图块集Ω上的总距离D(finv,Ω)，条件概率模型p(Ω|finv)采用指数函数进行描述为：
<mrow> <mi>p</mi> <mrow> <mo>(</mo> <mi>&amp;Omega;</mi> <mo>|</mo> <msub> <mi>f</mi> <mrow> <mi>i</mi> <mi>n</mi> <mi>v</mi> </mrow> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mn>1</mn> <mi>Z</mi> </mfrac> <mi>exp</mi> <mrow> <mo>(</mo> <mo>-</mo> <mi>&amp;lambda;</mi> <mi>D</mi> <mo>(</mo> <mrow> <msub> <mi>f</mi> <mrow> <mi>i</mi> <mi>n</mi> <mi>v</mi> </mrow> </msub> <mo>,</mo> <mi>&amp;Omega;</mi> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>
其中，Z是归一化常数，λ是一个参变量，其作用是均衡先验概率和条件概率对贝叶斯模型的影响，λ可经验性地取1000；
(3)、先验概率模型计算
先验概率模型p(finv)为图像像素值对应相机CCD(Charge-coupled Device电荷耦合元件)上捕获的辐照度的概率分布，根据国际通用的DoRF(Database of ResponseFunctions)数据库中的201条相机响应曲线来构建，采用混合高斯模型来描述先验概率模型为：
<mrow> <mi>p</mi> <mrow> <mo>(</mo> <msub> <mi>f</mi> <mrow> <mi>i</mi> <mi>n</mi> <mi>v</mi> </mrow> </msub> <mo>)</mo> </mrow> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mn>201</mn> </munderover> <msub> <mi>&amp;alpha;</mi> <mi>j</mi> </msub> <mi>N</mi> <mrow> <mo>(</mo> <msub> <mi>f</mi> <mrow> <mi>i</mi> <mi>n</mi> <mi>v</mi> </mrow> </msub> <mo>;</mo> <msub> <mi>&amp;mu;</mi> <mi>j</mi> </msub> <mo>,</mo> <msub> <mi>&amp;Sigma;</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> </mrow>
其中，μj为第j条相机响应逆曲线的均值，∑j为第j条相机响应逆曲线的协方差，αj第j条相机响应逆曲线的系数，N为混合高斯模型；
(4)、采用贝叶斯框架得到新的相机响应逆函数
采用贝叶斯框架，根据最大后验概率估计，新的相机响应逆函数finv *为：
finv *＝argmaxP(finv|Ω)∝argmaxP(Ω|finv)P(finv) (4)；
对公式(2)代入公式(4)，并对公式(4)右端取对数，并取负值，这样可将公式(4)重写为：
finv *＝argminλD(finv,Ω)-logP(finv) (5)；
(5)、采用Levenberg-Marquardt方法，迭代求解公式(5)中新的相机响应逆函数finv *，得到最优解fopt；
(6)、重构高动态范围图像
Ik＝fopt(Bk) (6)；
其中，Bk为单曝光图像的第k像素点的像素值，Ik为重构高动态范围图像的第k像素点的像素值。
2.根据权利要求所述的高动态范围图像生成方法，其特征在于，采用三角函数对最优解fopt进行优化，重构高动态范围图像的第k像素点的像素值：
<mrow> <msub> <mi>I</mi> <mi>k</mi> </msub> <mo>=</mo> <mfrac> <mrow> <mi>w</mi> <mrow> <mo>(</mo> <msub> <mi>B</mi> <mi>k</mi> </msub> <mo>)</mo> </mrow> <mo>&amp;CenterDot;</mo> <msub> <mi>f</mi> <mrow> <mi>o</mi> <mi>p</mi> <mi>t</mi> </mrow> </msub> <mrow> <mo>(</mo> <msub> <mi>B</mi> <mi>k</mi> </msub> <mo>)</mo> </mrow> </mrow> <mrow> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>B</mi> <mo>=</mo> <mn>0</mn> </mrow> <mn>255</mn> </munderover> <mi>w</mi> <mrow> <mo>(</mo> <mi>B</mi> <mo>)</mo> </mrow> </mrow> </mfrac> </mrow>
其中，w(B)为：
<mrow> <mi>w</mi> <mrow> <mo>(</mo> <mi>B</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>B</mi> <mo>-</mo> <msub> <mi>B</mi> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> </msub> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>f</mi> <mi>o</mi> <mi>r</mi> </mrow> </mtd> <mtd> <mrow> <mi>B</mi> <mo>&amp;le;</mo> <mn>0.5</mn> <mrow> <mo>(</mo> <msub> <mi>B</mi> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> </msub> <mo>+</mo> <msub> <mi>B</mi> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> </mrow> </msub> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>B</mi> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> </mrow> </msub> <mo>-</mo> <mi>B</mi> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>f</mi> <mi>o</mi> <mi>r</mi> </mrow> </mtd> <mtd> <mrow> <mi>B</mi> <mo>&gt;</mo> <mn>0.5</mn> <mrow> <mo>(</mo> <msub> <mi>B</mi> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> </msub> <mo>+</mo> <msub> <mi>B</mi> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> </mrow> </msub> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>.</mo> </mrow> 2
CN201710629982.4A 2017-07-28 2017-07-28 一种基于单帧图像的高动态范围图像生成方法 Pending CN107451970A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710629982.4A CN107451970A (zh) 2017-07-28 2017-07-28 一种基于单帧图像的高动态范围图像生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710629982.4A CN107451970A (zh) 2017-07-28 2017-07-28 一种基于单帧图像的高动态范围图像生成方法

Publications (1)

Publication Number Publication Date
CN107451970A true CN107451970A (zh) 2017-12-08

Family

ID=60489466

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710629982.4A Pending CN107451970A (zh) 2017-07-28 2017-07-28 一种基于单帧图像的高动态范围图像生成方法

Country Status (1)

Country Link
CN (1) CN107451970A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830904A (zh) * 2018-05-04 2018-11-16 长春理工大学 一种参数优化的相机响应曲线定标方法
CN109345525A (zh) * 2018-09-27 2019-02-15 方玉明 一种去鬼影高动态范围图像质量评价方法
CN110728633A (zh) * 2019-09-06 2020-01-24 上海交通大学 多曝光度高动态范围反色调映射模型构建方法及装置
CN113225490A (zh) * 2020-02-04 2021-08-06 Oppo广东移动通信有限公司 延时摄影方法及其摄影装置
CN114205583A (zh) * 2022-01-20 2022-03-18 深圳市瑞驰信息技术有限公司 一种基于h265的视频编码方法、***及电子设备
CN115170569A (zh) * 2022-09-07 2022-10-11 新乡学院 一种基于图像的高熵材料涂层刀具的失效检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150302562A1 (en) * 2012-11-16 2015-10-22 Thomson Licensing Processing high dynamic range images
CN105933617A (zh) * 2016-05-19 2016-09-07 中国人民解放军装备学院 一种用于克服动态问题影响的高动态范围图像融合方法
CN106030653A (zh) * 2014-02-24 2016-10-12 华为技术有限公司 用于生成高动态范围图像的图像处理***和图像处理方法
CN106709888A (zh) * 2017-01-09 2017-05-24 电子科技大学 一种基于人眼视觉模型的高动态范围图像产生方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150302562A1 (en) * 2012-11-16 2015-10-22 Thomson Licensing Processing high dynamic range images
CN106030653A (zh) * 2014-02-24 2016-10-12 华为技术有限公司 用于生成高动态范围图像的图像处理***和图像处理方法
CN105933617A (zh) * 2016-05-19 2016-09-07 中国人民解放军装备学院 一种用于克服动态问题影响的高动态范围图像融合方法
CN106709888A (zh) * 2017-01-09 2017-05-24 电子科技大学 一种基于人眼视觉模型的高动态范围图像产生方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XIAOFEN LI 等: "Generating HDR radiance maps from single LDR image", 《光电工程》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830904A (zh) * 2018-05-04 2018-11-16 长春理工大学 一种参数优化的相机响应曲线定标方法
CN109345525A (zh) * 2018-09-27 2019-02-15 方玉明 一种去鬼影高动态范围图像质量评价方法
CN109345525B (zh) * 2018-09-27 2022-03-29 方玉明 一种去鬼影高动态范围图像质量评价方法
CN110728633A (zh) * 2019-09-06 2020-01-24 上海交通大学 多曝光度高动态范围反色调映射模型构建方法及装置
CN113225490A (zh) * 2020-02-04 2021-08-06 Oppo广东移动通信有限公司 延时摄影方法及其摄影装置
CN113225490B (zh) * 2020-02-04 2024-03-26 Oppo广东移动通信有限公司 延时摄影方法及其摄影装置
CN114205583A (zh) * 2022-01-20 2022-03-18 深圳市瑞驰信息技术有限公司 一种基于h265的视频编码方法、***及电子设备
CN114205583B (zh) * 2022-01-20 2024-01-16 深圳市瑞驰信息技术有限公司 一种基于h265的视频编码方法、***及电子设备
CN115170569A (zh) * 2022-09-07 2022-10-11 新乡学院 一种基于图像的高熵材料涂层刀具的失效检测方法
CN115170569B (zh) * 2022-09-07 2022-12-02 新乡学院 一种基于图像的高熵材料涂层刀具的失效检测方法

Similar Documents

Publication Publication Date Title
Wang et al. An imaging-inspired no-reference underwater color image quality assessment metric
CN107451970A (zh) 一种基于单帧图像的高动态范围图像生成方法
Zhang et al. Image restoration: From sparse and low-rank priors to deep priors [lecture notes]
Huang et al. Framelet regularization for uneven intensity correction of color images with illumination and reflectance estimation
Yuan et al. Image quality assessment: A sparse learning way
EP4187484A1 (en) Cbd-net-based medical endoscopic image denoising method
Zheng et al. Unsupervised underexposed image enhancement via self-illuminated and perceptual guidance
CN110335221B (zh) 一种基于无监督学习的多曝光图像融合方法
Wang et al. Exposure fusion based on sparse representation using approximate K-SVD
CN111047543A (zh) 图像增强方法、装置和存储介质
CN107292819A (zh) 一种基于边缘细节保护的红外图像超分辨率重建方法
Chen et al. Blind quality index for tone-mapped images based on luminance partition
Wang et al. Low-light image enhancement based on virtual exposure
Steffens et al. Cnn based image restoration: Adjusting ill-exposed srgb images in post-processing
CN104021523A (zh) 一种基于边缘分类的图像超分辨率放大的新方法
Mansouri et al. SSVD: Structural SVD-based image quality assessment
Chen et al. An improved image enhancement framework based on multiple attention mechanism
Jeon et al. Low-light image enhancement using inverted image normalized by atmospheric light
An et al. HFM: A hybrid fusion method for underwater image enhancement
Zhou et al. A unified weighted variational model for simultaneously haze removal and noise suppression of hazy images
Wali et al. Recent progress in digital image restoration techniques: a review
Wu et al. Toward blind joint demosaicing and denoising of raw color filter array data
He et al. A night low‐illumination image enhancement model based on small probability area filtering and lossless mapping enhancement
Liu et al. Blind quality assessment for tone-mapped images based on local and global features
US8311358B2 (en) Method and system for image extraction and identification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20171208