CN106504198A - 基于PatchMatch和秩最小化算法合成高动态图像的方法 - Google Patents

基于PatchMatch和秩最小化算法合成高动态图像的方法 Download PDF

Info

Publication number
CN106504198A
CN106504198A CN201610816932.2A CN201610816932A CN106504198A CN 106504198 A CN106504198 A CN 106504198A CN 201610816932 A CN201610816932 A CN 201610816932A CN 106504198 A CN106504198 A CN 106504198A
Authority
CN
China
Prior art keywords
image
patchmatch
matrix
tau
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610816932.2A
Other languages
English (en)
Other versions
CN106504198B (zh
Inventor
谭洪舟
邹兵兵
朱雄泳
陈荣军
李智文
黄登
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SYSU HUADU INDUSTRIAL SCIENCE AND TECHNOLOGY INSTITUTE
Sun Yat Sen University
SYSU CMU Shunde International Joint Research Institute
Original Assignee
SYSU HUADU INDUSTRIAL SCIENCE AND TECHNOLOGY INSTITUTE
Sun Yat Sen University
SYSU CMU Shunde International Joint Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SYSU HUADU INDUSTRIAL SCIENCE AND TECHNOLOGY INSTITUTE, Sun Yat Sen University, SYSU CMU Shunde International Joint Research Institute filed Critical SYSU HUADU INDUSTRIAL SCIENCE AND TECHNOLOGY INSTITUTE
Priority to CN201610816932.2A priority Critical patent/CN106504198B/zh
Publication of CN106504198A publication Critical patent/CN106504198A/zh
Application granted granted Critical
Publication of CN106504198B publication Critical patent/CN106504198B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于PatchMatch和秩最小化算法合成高动态图像的方法,首先,归一化输入图像集,对图像集使用PatchMatch算法实现图像配准;接着,对配准后的图像集使用伽马曲线对图像集进行辐射校准,然后使用秩最小化算法得到批量的对齐图像;最后,将对齐图像集合成得到目标的高动态(high dynamic range,HDR)图像。本发明利用秩最小化和PatchMatch算法的最新研究成果,能够得到有效去除融合后的HDR图像中的伪影和模糊问题。

Description

基于PatchMatch和秩最小化算法合成高动态图像的方法
技术领域
本发明涉及一种将低动态的图像合成高动态图像的方法,具体来说,它涉及一种利用辐射校准,PatchMatch和秩最小化算法完成对低动态图像的配准和对齐,最后生成高动态图像的方法。
背景技术
高动态范围成像已经开始成为一种商业产品,比如如今的智能手机。在相同真实的场景中,大多数成像传感器的有限动态范围,往往无法捕捉到人眼可见的辐照度范围,然而使用一种相对简单廉价的方式可以解决这个限制,就是捕获若干对同一场景不同曝光时间的照片然后把它们融合成一张图像,这样就有效地扩展了图像动态范围。然而由于相机的抖动或者场景中物体的移动,往往会导致融合后的图像出现伪影或者模糊的现象。
发明内容
针对以上的不足,本发明提供了一种利用PatchMatch和秩最小化算法合成高动态图像的方法,它包括:
a)对输入图像集进行归一化处理,并使用PatchMatch算法实现图像配准;
b)对配准后的图像集使用秩最小化算法得到批量的对齐图像;
c)将对齐图像集进行合成得到目标高动态(high dynamic range,HDR)图像。
所述步骤a)与步骤b)之间还包括:
步骤ab)对配准后的图像集使用伽马曲线对图像集进行辐射校准。
所述步骤a)包括:
a1)定义输入图像中任意一点的像素值为该点的灰度值M,对灰度值M进行归一化,I表示为归一化之后的灰度值:
I=M/255 ⑴
a2)现假设源图像为S,参考图像R,源图像和参考图像合成的图像为L,PatchMatch算法就是一个以参考图像为模板,配准源图像生成图像L的过程;由于PatchMatch算法是处理一对图像,现假设输入图像为I1...IN,以N=5为例,首先令I3为参考图像R,则I3和I4作为其源图像S,然后令I2和I4作为参考图像R,I1和I5分别作为I2和I4对应的源图像S;
a3)现定义PatchMatch算法合成图像L的二次函数:
其中τ为灰度映射函数。Ω为图像R和图像S的图像域,i为图像域上的任意一个像素点,n(i)为以i中心p×p的邻域,其中p为邻域的大小,在本专利中p=7,故j是邻域n(i)上的像素点,R(i)是图像R上的第i个像素点,S(i+u(j))是图像S上的第(i+u(j))个像素点,其中u(j)表示从图像L上的像素点j映射到图像S的偏移量。α为一个归一化的因子其中wτ和wu为一对权重函数,wτ(i)表示图像R中像素点i映射到图像L的比重,wu(j)表示图像S中像素点j加上偏移量u(j)映射到图像L的比重;
a4)灰度映射函数τ定义如下:
其中灰度映射函数的导数τ′≥0,τ(·)∈[0,1],i为图像域Ω上的像素点,故L(i)表示为图像L上的第i个像素点。使用迭代重加权最小二乘法算法求解灰度映射函数,故灰度映射函数τ的目标函数转化为:
其中求解目标函数τ过程中,τ和权重因子ω更新为:
其中n表示第n次迭代,max(·,·)表示为两者当中的最大值,δ为一个很小的正常数,在本专利中令δ=10-10
a5)权重函数wτ定义如下:
其中当图像R中图像域上亮度太暗或者太亮(即图像域的像素点的灰度值小于3/255,或者大于252/255)时,像素点将会被clipped,否则,就不clipped;
a6)权重函数wμ定义如下:
其中d(·,·)表示输入参数之间的空间距离;υ12为两个归一化参数,分别取对应空间距离的75百分位数;
a7)对于参数x和y,d(x,y)=||x-y||2,而对于表示为:在图像R和图像S的图像域上的任意一个像素点i,取以i为中心,大小为p×p的邻域,得到图像块然后图像块经过灰度映射函数得到而图像块相对于i平移了u(i)得到最后求两者的空间距离;同理可得其中τ-1(·)灰度映射函数的逆函数;
a8)通过上面定义的函数可知,PatchMatch算法实际上就是求解二次函数的过程。输入图像R和图像S,并分别对两幅图像进行向下采样,分别得到图像R和图像S的金字塔图像集,从金字塔顶端向下迭代,求得在对应每层金字塔图像下合成的图像L和灰度映射函数τ,将此结果作为下一次的迭代的初始值,当迭代完成后即可得到最终的配准图像L,依照此方法,即可以得到输入图像I1...IN配准后的图像L1...LN
所述步骤b)包括:
b1)首先先定义矩阵Ym×n部分奇异值阈值算子
其中β为大于0的常参数。ΣY1=diag(σ1,0,···,0),ΣY2=diag(0,σ2,···,σl),其中l=min(m,n),U,V,ΣY对应为矩阵Y的奇异值分解矩阵,其中ΣY=ΣY1Y2。假设向量X,则Sβ[X]={sign(X)·max(0,|X|-β)};
b2)定义正交映射算子假设输入图像B,那么Yij
其中i,j表示图像上第i行、第j列的像素,表示为输入图像B的有效像素;
b3)输入经PatchMatch算法配准后的图像L,并将所有的输入图像向量化得到矩阵D,现引入低秩矩阵A、噪声矩阵E、拉格朗日乘子矩阵Z和正参数ε等变量;
b4)初始化变量A0=D,E0=Z0=0,其中m,n为输入图像L的行和列,ε0=1.25/norm(D,'fro'),其中norm(D,'fro')表示为求矩阵D的Frobenius范数,ρ>1,外迭代次数t=0,其中A0表示为矩阵A在第0次外迭代的状态,E0,Z0,ε0亦是如此;
b5)初始化内迭代中间变量b0=1,G0=At,At,0=At,内迭代次数k=0,其中b0,G0为中间变量b,G在第0次内迭代下状态,At,0表示为矩阵A在第t次外迭代,0次内迭代的状态,下面的At,k亦是如此;
b6)低秩矩阵更新为:
其中表示为输入图像的掩膜模板Mask,当图像域的灰度值过暗或者过亮(也就是灰度值小于2/255,或者大于253/255)时,Mask对应的像素点的值取为0,否则取为1;中间变量更新为:
b7)若内循环次数k达到最大内循环次数(本专利中最大内循环次数为5),或者At,k+1已经收敛(也就是At,k+1和At,k已经近似相等)时,则退出循环,否则k=k+6,跳转到b6);
b8)内循环迭代结束之后,低秩矩阵更新为:
At+1=At,k+1
中间变量更新为:
εt+1=ρεt
b9)若内循环次数t达到最大内循环次数(本专利中最大内循环次数为50),或者D-At-Et已经收敛(也就是At+Et与D已经近似相等)时,则退出循环,否则t=t+1,跳转到b5);
b10)内循环迭代结束之后:得到目标低秩矩阵和噪声矩阵:
A=At+1
E=D-A ⒆
b11)最后对得到的低秩矩阵和噪声矩阵进行调整m×n大小的图像,即可得到输入图像L对应的低秩图像和噪声图像。
所述步骤c)包括:
c1)输入对齐后的图像集A,将图像A合成目标HDR图像:
其中nImg表示为输入图像的数量,x∈{r,g,b},r,g,b为彩色图像的三个通道;A(x)和H(x)分别输入图像和HDR图像的x通道图像,最后融合H(x)即可得到HDR图像H。
本发明的有益效果
本发明通过PatchMatch算法对输入的一组并没有对齐的动态场景图像进行处理,得到一组配准图像栈,在重建的过程中,通过提取图像的亮度以及其梯度信息,使得配准的图像能够保留更多的细节,大大加快的后面秩最小化算法的迭代速度;另外通过捕获低动态图像的曝光时间,利用伽马曲线对已经配准好的图像栈进行辐射校准,为后面的秩最小化最好准备;接着对校准好的图像使用秩最小化算法完成HDR图像的重建,通过掩膜的方法标记运动的物体,然后利用矩阵补全的框架实现图像的重建,得到批量的对齐图像;最后将批量的对齐图像合成得到最终目标的HDR图像。本专利能够很好的去除因相机的抖动和图像中物体的运动造成融合后图像伪影和模糊的现象。
附图说明
图1为本发明基于PatchMatch和秩最小化算法合成高动态图像的方法流程图;
图2为本发明块PatchMatch法流程图;
图3为本发明秩最小化算法流程图;
图4为本发明待处理的低动态图像集;
图5为本发明对低动态图像集处理后得到合成的高动态图像。
具体实施方式
下面结合附图对本发明进行进一步阐述。
如图1所示,本发明基于PatchMatch和秩最小化算法合成高动态图像的方法包括:1)对输入图像集进行归一化处理,并使用PatchMatch算法实现图像配准;2)对配准后的图像集使用伽马曲线对图像集进行辐射校准;3)对配准后的图像集使用秩最小化算法得到批量的对齐图像;4)将对齐图像集进行合成得到目标高动态图像。
下面对各步骤进行详细阐述:
1)如图4所示输入(a)(b)(c)(d)(e)五幅图像,并归一化所有图像,然后使用PatchMatch算法对一组动态场景图像集进行处理,在重建的过程中,通过提取图像的亮度以及其梯度信息,得到一组配准图像栈,使得配准的图像能够保留更多的细节;
PatchMatch算法具体实施过程如图2所示,输入一对图像Ref和Src,然后分别对图像Ref和Src向下采样,得到其高斯金字塔图像,从金字塔顶端开始迭代,利用最优化算法求得在每级金字塔图像下,收敛的合成图像L,当所有的金字塔图像迭代完成之后,得到最终的合成图像L。
具体流程如下:
11)定义输入图像中任意一点的像素值为该点的灰度值M,对灰度值M进行归一化,I表示为归一化之后的灰度值:
I=M/255 ⑴
12)现假设源图像为S,参考图像R,源图像和参考图像合成的图像为L,PatchMatch算法就是一个以参考图像为模板,配准源图像生成图像L的过程;由于PatchMatch算法是处理一对图像,现假设输入图像为I1...IN,以N=5为例,首先令I3为参考图像R,则I3和I4作为其源图像S,然后令I2和I4作为参考图像R,I1和I5分别作为I2和I4对应的源图像S;
13)现定义PatchMatch算法合成图像L的二次函数:
其中τ为灰度映射函数。Ω为图像R和图像S的图像域,i为图像域上的任意一个像素点,n(i)为以i中心p×p的邻域,其中p为邻域的大小,在本专利中p=7,故j是邻域n(i)上的像素点,R(i)是图像R上的第i个像素点,S(i+u(j))是图像S上的第(i+u(j))个像素点,其中u(j)表示从图像L上的像素点j映射到图像S的偏移量。α为一个归一化的因子其中wτ和wu为一对权重函数,wτ(i)表示图像R中像素点i映射到图像L的比重,wu(j)表示图像S中像素点j加上偏移量u(j)映射到图像L的比重;
14)灰度映射函数τ定义如下:
其中灰度映射函数的导数τ′≥0,τ(·)∈[0,1],i为图像域Ω上的像素点,故L(i)表示为图像L上的第i个像素点。使用迭代重加权最小二乘法算法求解灰度映射函数,故灰度映射函数τ的目标函数转化为:
其中求解目标函数τ过程中,τ和权重因子ω更新为:
其中n表示第n次迭代,max(·,·)表示为两者当中的最大值,δ为一个很小的正常数,在本专利中令δ=10-10
15)权重函数wτ定义如下:
其中当图像R中图像域上亮度太暗或者太亮(即图像域的像素点的灰度值小于3/255,或者大于252/255)时,像素点将会被clipped,否则,就不clipped;
16)权重函数wμ定义如下:
其中d(·,·)表示输入参数之间的空间距离;υ12为两个归一化参数,分别取对应空间距离的75百分位数;
17)对于参数x和y,d(x,y)=||x-y||2,而对于表示为:在图像R和图像S的图像域上的任意一个像素点i,取以i为中心,大小为p×p的邻域,得到图像块然后图像块经过灰度映射函数得到而图像块相对于i平移了u(i)得到最后求两者的空间距离;同理可得其中τ-1(·)灰度映射函数的逆函数;
18)通过上面定义的函数可知,PatchMatch算法实际上就是求解二次函数的过程。输入图像R和图像S,并分别对两幅图像进行向下采样,分别得到图像R和图像S的金字塔图像集,从金字塔顶端向下迭代,求得在对应每层金字塔图像下合成的图像L和灰度映射函数τ,将此结果作为下一次的迭代的初始值,当迭代完成后即可得到最终的配准图像L,依照此方法,即可以得到输入图像I1...IN配准后的图像L1...LN
2)利用伽马曲线对已经配准好的图像集进行辐射校准,消除潜在的相机的移动而产生的噪音。
21)定义伽马(gamma)函数为:
gamma=crγ
其中c和γ为常数,在本专利中c取为1,γ取为2.2;这里将经PatchMatch配准过的图像集用gamma曲线进行辐射校准;
3)对配准后的图像集使用秩最小化算法得到批量的对齐图像。
秩最小化算法具体实施过程如图3所示,首先列向量化所有输入的矩阵得到矩阵D,并初始化低秩矩阵A和噪声矩阵E,根据增广拉格朗日乘子要想最优化低秩矩阵A,需分别进行内迭代和外迭代,内迭代找到每次迭代最佳的低秩矩阵At,然后在外迭代下,找到矩阵D的最佳低秩矩阵A,那么噪声矩阵E=D-A。
具体流程如下:
31)首先先定义矩阵Ym×n部分奇异值阈值算子
其中β为大于0的常参数。ΣY1=diag(σ1,0,···,0),ΣY2=diag(0,σ2,···,σl),其中l=min(m,n),U,V,ΣY对应为矩阵Y的奇异值分解矩阵,其中ΣY=ΣY1Y2。假设向量X,则Sβ[X]={sign(X)·max(0,|X|-β)};
32)定义正交映射算子假设输入图像B,那么Yij
其中i,j表示图像上第i行、第j列的像素,表示为输入图像B的有效像素;
33)输入经PatchMatch算法配准后的图像L,并将所有的输入图像向量化得到矩阵D,现引入低秩矩阵A、噪声矩阵E、拉格朗日乘子矩阵Z和正参数ε等变量;
34)初始化变量A0=D,E0=Z0=0,其中m,n为输入图像L的行和列,ε0=1.25/norm(D,'fro'),其中norm(D,'fro')表示为求矩阵D的Frobenius范数,ρ>1,外迭代次数t=0,其中A0表示为矩阵A在第0次外迭代的状态,E0,Z0,ε0亦是如此;
35)初始化内迭代中间变量b0=1,G0=At,At,0=At,内迭代次数k=0,其中b0,G0为中间变量b,G在第0次内迭代下状态,At,0表示为矩阵A在第t次外迭代,0次内迭代的状态,下面的At,k亦是如此;
36)低秩矩阵更新为:
其中表示为输入图像的掩膜模板Mask,当图像域的灰度值过暗或者过亮(也就是灰度值小于2/255,或者大于253/255)时,Mask对应的像素点的值取为0,否则取为1;中间变量更新为:
37)若内循环次数k达到最大内循环次数(本专利中最大内循环次数为5),或者At,k+1已经收敛(也就是At,k+1和At,k已经近似相等)时,则退出循环,否则k=k+6,跳转到b6);
38)内循环迭代结束之后,低秩矩阵更新为:
At+1=At,k+1
中间变量更新为:
εt+1=ρεt
39)若内循环次数t达到最大内循环次数(本专利中最大内循环次数为50),或者D-At-Et已经收敛(也就是At+Et与D已经近似相等)时,则退出循环,否则t=t+1,跳转到b5);
310)内循环迭代结束之后:得到目标低秩矩阵和噪声矩阵:
A=At+1
E=D-A ⒆
311)最后对得到的低秩矩阵和噪声矩阵进行调整m×n大小的图像,即可得到输入图像L对应的低秩图像和噪声图像。
4)将对齐图像集进行合成得到目标HDR图像,如图5所示。
41)输入对齐后的图像集A,将图像A合成目标HDR图像:
其中nImg表示为输入图像的数量,x∈{r,g,b},r,g,b为彩色图像的三个通道;A(x)和H(x)分别输入图像和HDR图像的x通道图像,最后融合H(x)即可得到HDR图像H。
采用上述方法对输入的图像集进行处理,即可得到一幅HDR图像。
以上所述仅为本发明的较佳实施方式,本发明并不局限于上述实施方式,在实施过程中可能存在局部微小的结构改动,如果对本发明的各种改动或变型不脱离本发明的精神和范围,且属于本发明的权利要求和等同技术范围之内,则本发明也意图包含这些改动和变型。

Claims (5)

1.一种基于PatchMatch和秩最小化算法合成高动态图像的方法,其特征在于,它包括:
a)对输入图像集进行归一化处理,并使用PatchMatch算法实现图像配准;
b)对配准后的图像集使用秩最小化算法得到批量的对齐图像;
c)将对齐图像集进行合成得到目标高动态(high dynamic range,HDR)图像。
2.根据权利要求1所述的基于PatchMatch和秩最小化算法合成高动态图像的方法,其特征在于,所述步骤a)与步骤b)之间还包括:
步骤ab)对配准后的图像集使用伽马曲线对图像集进行辐射校准。
3.根据权利要求1所述的基于PatchMatch和秩最小化算法合成高动态图像的方法,其特征在于,所述步骤a)包括:
a1)定义输入图像中任意一点的像素值为该点的灰度值M,对灰度值M进行归一化,I表示为归一化之后的灰度值:
I=M/255 ⑴
a2)现假设源图像为S,参考图像R,源图像和参考图像合成的图像为L,PatchMatch算法就是一个以参考图像为模板,配准源图像生成图像L的过程;由于PatchMatch算法是处理一对图像,现假设输入图像为I1...IN,以N=5为例,首先令I3为参考图像R,则I3和I4作为其源图像S,然后令I2和I4作为参考图像R,I1和I5分别作为I2和I4对应的源图像S;
a3)现定义PatchMatch算法合成图像L的二次函数:
L = Σ i ∈ Ω { 1 α [ w τ ( i ) τ ( R ( i ) ) + 1 p 2 Σ j ∈ n ( i ) w u ( j ) S ( i + u ( j ) ) ] } - - - ( 2 )
其中τ为灰度映射函数;Ω为图像R和图像S的图像域,i为图像域上的任意一个像素点,n(i)为以i中心p×p的邻域,其中p为邻域的大小,在本专利中p=7,故j是邻域n(i)上的像素点,R(i)是图像R上的第i个像素点,S(i+u(j))是图像S上的第(i+u(j))个像素点,其中u(j)表示从图像L上的像素点j映射到图像S的偏移量;α为一个归一化的因子其中wτ和wu为一对权重函数,wτ(i)表示图像R中像素点i映射到图像L的比重,wu(j)表示图像S中像素点j加上偏移量u(j)映射到图像L的比重;
a4)灰度映射函数τ定义如下:
τ = arg min τ Σ i ∈ Ω | | τ ( R ( i ) ) - L ( i ) | | 1 - - - ( 3 )
其中灰度映射函数的导数τ′≥0,τ(·)∈[0,1],i为图像域Ω上的像素点,故L(i)表示为图像L上的第i个像素点;使用迭代重加权最小二乘法算法求解灰度映射函数,故灰度映射函数τ的目标函数转化为:
τ = arg min τ Σ i ∈ Ω ω i ( τ ) | τ ( R ( i ) ) - L ( i ) | 2 - - - ( 4 )
其中求解目标函数τ过程中,τ和权重因子ω更新为:
τ n + 1 = arg min τ Σ i ∈ Ω w i n | τ ( R ( i ) ) - L ( i ) | 2 - - - ( 5 )
ω i n = 1 m a x ( δ , | τ ( R ( i ) ) - L ( i ) | ) - - - ( 6 )
其中n表示第n次迭代,max(·,·)表示为两者当中的最大值,δ为一个很小的正常数,在本专利中令δ=10-10
a5)权重函数wτ定义如下:
w τ ( i ) = δ i f R i s c l i p p e d 1 i f R i s n o t c l i p p e d - - - ( 7 )
其中当图像R中图像域上亮度太暗或者太亮(即图像域的像素点的灰度值小于3/255,或者大于252/255)时,像素点将会被clipped,否则,就不clipped;
a6)权重函数wμ定义如下:
w u ( i ) = exp ( - d ( τ ( P i R ) , P i + u ( i ) S ) 2 υ 1 2 ) i f R i s n o t c l i p p e d exp ( - d ( P i R , τ - 1 ( P i + u ( i ) S ) ) 2 υ 2 2 ) i f R i s c l i p p e d - - - ( 8 )
其中d(·,·)表示输入参数之间的空间距离;υ12为两个归一化参数,分别取对应空间距离的75百分位数;
a7)对于参数x和y,d(x,y)=||x-y||2,而对于表示为:在图像R和图像S的图像域上的任意一个像素点i,取以i为中心,大小为p×p的邻域,得到图像块然后图像块经过灰度映射函数得到而图像块相对于i平移了u(i)得到最后求两者的空间距离;同理可得其中τ-1(·)灰度映射函数的逆函数;
a8)通过上面定义的函数可知,PatchMatch算法实际上就是求解二次函数的过程;输入图像R和图像S,并分别对两幅图像进行向下采样,分别得到图像R和图像S的金字塔图像集,从金字塔顶端向下迭代,求得在对应每层金字塔图像下合成的图像L和灰度映射函数τ,将此结果作为下一次的迭代的初始值,当迭代完成后即可得到最终的配准图像L,依照此方法,即可以得到输入图像I1...IN配准后的图像L1...LN
4.根据权利要求1所述的基于PatchMatch和秩最小化算法合成高动态图像的方法,其特征在于,所述步骤b)包括:
b1)首先先定义矩阵Ym×n部分奇异值阈值算子
其中β为大于0的常参数;ΣY1=diag(σ1,0,…,0),ΣY2=diag(0,σ2,…,σl),其中l=min(m,n),U,V,ΣY对应为矩阵Y的奇异值分解矩阵,其中ΣY=ΣY1Y2;假设向量X,则Sβ[X]={sign(X)·max(0,|X|-β)};
b2)定义正交映射算子假设输入图像B,那么Yij
其中i,j表示图像上第i行、第j列的像素,表示为输入图像B的有效像素;
b3)输入经PatchMatch算法配准后的图像L,并将所有的输入图像向量化得到矩阵D,现引入低秩矩阵A、噪声矩阵E、拉格朗日乘子矩阵Z和正参数ε等变量;
b4)初始化变量A0=D,E0=Z0=0,其中m,n为输入图像L的行和列,ε0=1.25/norm(D,'fro'),其中norm(D,'fro')表示为求矩阵D的Frobenius范数,ρ>1,外迭代次数t=0,其中A0表示为矩阵A在第0次外迭代的状态,E0,Z0,ε0亦是如此;
b5)初始化内迭代中间变量b0=1,G0=At,At,0=At,内迭代次数k=0,其中b0,G0为中间变量b,G在第0次内迭代下状态,At,0表示为矩阵A在第t次外迭代,0次内迭代的状态,下面的At,k亦是如此;
b6)低秩矩阵更新为:
其中表示为输入图像的掩膜模板Mask,当图像域的灰度值过暗或者过亮(也就是灰度值小于2/255,或者大于253/255)时,Mask对应的像素点的值取为0,否则取为1;中间变量更新为:
b k + 1 = 1 + 1 + 4 b k 2 2 - - - ( 12 )
G k + 1 = A t , k + b k - 1 b k + 1 ( A t , k - A t , k - 1 ) - - - ( 13 )
b7)若内循环次数k达到最大内循环次数(本专利中最大内循环次数为5),或者At,k+1已经收敛(也就是At,k+1和At,k已经近似相等)时,则退出循环,否则k=k+6,跳转到b6);
b8)内循环迭代结束之后,低秩矩阵更新为:
At+1=At,k+1
中间变量更新为:
εt+1=ρεt
b9)若内循环次数t达到最大内循环次数(本专利中最大内循环次数为50),或者D-At-Et已经收敛(也就是At+Et与D已经近似相等)时,则退出循环,否则t=t+1,跳转到b5);
b10)内循环迭代结束之后:得到目标低秩矩阵和噪声矩阵:
A=At+1
E=D-A ⒆
b11)最后对得到的低秩矩阵和噪声矩阵进行调整m×n大小的图像,即可得到输入图像L对应的低秩图像和噪声图像。
5.根据权利要求1所述的基于PatchMatch和秩最小化算法合成高动态图像的方法,其特征在于,所述步骤c)包括:
c1)输入对齐后的图像集A,将图像A合成目标HDR图像:
H ( x ) = 1 n Im g Σ i = 1 n Im g A i ( x ) - - - ( 20 )
其中nImg表示为输入图像的数量,x∈{r,g,b},r,g,b为彩色图像的三个通道;A(x)和H(x)分别输入图像和HDR图像的x通道图像,最后融合H(x)即可得到HDR图像H。
CN201610816932.2A 2016-09-12 2016-09-12 基于PatchMatch和秩最小化算法合成高动态图像的方法 Active CN106504198B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610816932.2A CN106504198B (zh) 2016-09-12 2016-09-12 基于PatchMatch和秩最小化算法合成高动态图像的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610816932.2A CN106504198B (zh) 2016-09-12 2016-09-12 基于PatchMatch和秩最小化算法合成高动态图像的方法

Publications (2)

Publication Number Publication Date
CN106504198A true CN106504198A (zh) 2017-03-15
CN106504198B CN106504198B (zh) 2019-04-23

Family

ID=58290055

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610816932.2A Active CN106504198B (zh) 2016-09-12 2016-09-12 基于PatchMatch和秩最小化算法合成高动态图像的方法

Country Status (1)

Country Link
CN (1) CN106504198B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020936A (zh) * 2012-12-12 2013-04-03 湖北微驾技术有限公司 一种人脸图像超分辨率重构方法
CN103616688A (zh) * 2013-12-16 2014-03-05 中国科学院电子学研究所 一种提升三维干涉逆合成孔径雷达图像质量的方法
CN103761710A (zh) * 2014-01-08 2014-04-30 西安电子科技大学 基于边缘自适应的高效图像盲去模糊方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020936A (zh) * 2012-12-12 2013-04-03 湖北微驾技术有限公司 一种人脸图像超分辨率重构方法
CN103616688A (zh) * 2013-12-16 2014-03-05 中国科学院电子学研究所 一种提升三维干涉逆合成孔径雷达图像质量的方法
CN103761710A (zh) * 2014-01-08 2014-04-30 西安电子科技大学 基于边缘自适应的高效图像盲去模糊方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
权巍等: "基于多曝光的高动态范围全景图像合成", 《***仿真学报》 *
王一丁等: "一种基于双PCA的动态空间手背静脉图像合成方法", 《计算机研究与发展》 *

Also Published As

Publication number Publication date
CN106504198B (zh) 2019-04-23

Similar Documents

Publication Publication Date Title
CN107818554B (zh) 信息处理设备和信息处理方法
CN111062885B (zh) 基于多阶段迁移学习的标志检测模型训练及标志检测方法
CN109584251A (zh) 一种基于单目标区域分割的舌体图像分割方法
CN108038445A (zh) 一种基于多视角深度学习框架的sar自动目标识别方法
CN107730479A (zh) 基于压缩感知的高动态范围图像去伪影融合方法
CN109903299A (zh) 一种条件式生成对抗网络的异源遥感图像配准方法及装置
Syrris et al. Image enhancement and feature extraction based on low-resolution satellite data
CN110400278A (zh) 一种图像颜色和几何畸变的全自动校正方法、装置及设备
CN109859101A (zh) 农作物冠层热红外图像识别方法及***
CN107274441A (zh) 一种高光谱图像的波段校准方法和***
CN116740650B (zh) 一种基于深度学习的作物育种监测方法及***
CN108053375A (zh) 图像数据修正方法、装置及其汽车
CN111861949B (zh) 一种基于生成对抗网络的多曝光图像融合方法及***
CN113436060A (zh) 一种异源遥感图像风格迁移方法和装置
CN110728718B (zh) 改进摄像机标定各参数的方法
CN109961435B (zh) 脑图像获取方法、装置、设备及存储介质
CN109978897A (zh) 一种多尺度生成对抗网络的异源遥感图像配准方法及装置
CN111951178B (zh) 显著提升图像质量的图像处理方法、装置和电子设备
CN111951295B (zh) 基于多项式拟合高精度确定飞行轨迹的方法、装置和电子设备
CN112330671A (zh) 细胞分布状态的分析方法、装置、计算机设备和存储介质
CN106504198A (zh) 基于PatchMatch和秩最小化算法合成高动态图像的方法
CN116029954A (zh) 一种图像融合方法及装置
CN116630637A (zh) 基于多模态对比学习的光学-sar图像联合解译方法
CN109993782A (zh) 一种环形生成对抗网络的异源遥感图像配准方法及装置
CN111899284B (zh) 一种基于参数化esm网络的平面目标跟踪方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant