CN110149484B - 图像合成方法、装置及存储装置 - Google Patents

图像合成方法、装置及存储装置 Download PDF

Info

Publication number
CN110149484B
CN110149484B CN201910300030.7A CN201910300030A CN110149484B CN 110149484 B CN110149484 B CN 110149484B CN 201910300030 A CN201910300030 A CN 201910300030A CN 110149484 B CN110149484 B CN 110149484B
Authority
CN
China
Prior art keywords
weight
value
gain ratio
image
threshold
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910300030.7A
Other languages
English (en)
Other versions
CN110149484A (zh
Inventor
钱勇
郁军军
方伟
杨银昌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN201910300030.7A priority Critical patent/CN110149484B/zh
Publication of CN110149484A publication Critical patent/CN110149484A/zh
Priority to PCT/CN2019/116268 priority patent/WO2020211334A1/en
Priority to EP19924978.0A priority patent/EP3906664B1/en
Application granted granted Critical
Publication of CN110149484B publication Critical patent/CN110149484B/zh
Priority to US17/444,563 priority patent/US11887284B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10144Varying exposure
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种图像合成方法、装置、图像合成装置及存储装置。该帧内方法包括:获取同一场景的第一图像和第二图像;将第一图像和第二图像按照同样的方式分成多个块;分别计算每个第一图像块的第一权值和第二权值以及每个第二图像块的第三权值;利用第二权值和第三权值计算曝光增益比;利用第一权值、第三权值和曝光增益比计算第一图像块的第一融合权重和第二图像块的第二融合权重;至少利用第一图像块的亮度信息判断是否进行权重调整;若是,则提高第二融合权重并降低第一融合权重;按照调整后的第一融合权重和第二融合权重合成第一图像和第二图像得到合成图像。通过上述方式,本发明能够减少合成图像的边缘异常并抑制高光弥散。

Description

图像合成方法、装置及存储装置
技术领域
本申请涉及图像处理领域,特别是涉及一种图像合成方法、装置及存储装置。
背景技术
在图像处理领域,动态范围(Dynamic Range)是图像的像素最大亮度值和最小亮度值的比值。高动态(High-Dynamic Range,HDR)图像,也可以称为宽动态图像,相比普通的图像,可以提供更多的动态范围和图像细节。
随着计算机和图像处理技术的发展,高动态图像生成技术为采集HDR图像提供了很好的解决方案。通过调节相机的曝光时间,采集到同一场景的不同曝光度(亮度范围)的低动态范围图片,然后通过高动态图像生成算法,把不同曝光度的图片融合成为一幅包含所有亮度范围信息的图片。
在相关技术中,常用的高动态图像生成算法是为不同曝光度的图片分配块级别的权重,然后根据权重进行融合得到高动态图像。每个块的权重一般是基于该块的像素值平均值计算的,由于分块的方式不一定与实际图像中明暗像素部分的分布一致,可能导致融合得到的高动态图像出现边缘异常。此外,长曝光图像能够较清楚的表现场景暗处的细节,但是在明亮处可能处于过曝光的状态。若长曝光图像的过曝光部分在融合中具有过大的权重,会导致高动态图像出现高光弥散现象,即存在部分亮度过高的区域,影响图片质量。
发明内容
本申请提供一种图像合成方法、装置及存储装置,能够解决现有技术中合成的高动态图像出现边缘异常以及高光弥散的问题。
为解决上述技术问题,本申请采用的另一个技术方案是:提供一种图像合成方法,该方法包括:获取同一场景的第一图像和第二图像,第一图像的曝光时间比第二图像的曝光时间长;将第一图像和第二图像按照同样的方式分成多个块;分别计算每个第一图像块的第一权值和第二权值以及每个第二图像块的第三权值,其中第一权值是基于第一图像块的边缘信息计算得到的,第二权值是基于第一图像块的整体信息计算得到的,第三权值是基于第二图像块的整体信息计算得到的;利用第二权值和第三权值计算曝光增益比;利用第一权值、第三权值和曝光增益比计算第一图像块的第一融合权重和第二图像块的第二融合权重,每个第一图像块的第一融合权重与对应的第二图像块的第二融合权重之和为固定值;至少利用第一图像块的亮度信息判断是否进行权重调整;若是,则提高第二融合权重并降低第一融合权重;按照调整后的第一融合权重和第二融合权重合成第一图像和第二图像得到合成图像。
为解决上述技术问题,本申请采用的再一个技术方案是:提供一种图像合成方法,该方法包括:获取同一场景的第一图像和第二图像,第一图像的曝光时间比第二图像的曝光时间长;将第一图像和第二图像按照同样的方式分成多个块;分别计算每个第一图像块的权值以及每个第二图像块的权值;利用第一图像块的权值和第二图像块的权值计算曝光增益比;利用参考增益比对曝光增益比进行调整;利用第一图像块的权值、第二图像块的权值和调整后的曝光增益比计算第一图像块的第一融合权重和第二图像块的第二融合权重,每个第一图像块的第一融合权重与对应的第二图像块的第二融合权重之和为固定值;按照第一融合权重和第二融合权重合成第一图像和第二图像得到合成图像。
为解决上述技术问题,本申请采用的再一个技术方案是:提供一种图像合成装置,该图像合成装置包括处理器,处理器用于执行指令以实现前述的图像合成方法。
为解决上述技术问题,本申请采用的再一个技术方案是:提供一种存储装置,存储有指令,指令被执行时实现前述的图像合成方法。
本申请的有益效果是:利用第一权值、第三权值和曝光增益比计算第一图像块的第一融合权重和第二图像块的第二融合权重,第一权值是基于第一图像块的边缘信息计算得到的,在融合权重的计算过程中引入了边缘信息,减少合成图像的边缘异常,使得合成图像的边缘更自然;同时根据至少利用第一图像块的亮度信息判断是否进行权重调整,若进行则提高第二融合权重并降低第一融合权重,权重调整可以降低曝光时间更长的第一图像的第一融合权重,提高曝光时间更短的第二图像的第二融合权重,从而抑制高光弥散现象。
附图说明
图1是本发明图像合成方法一实施例的流程示意图;
图2是本发明图像合成方法一实施例中第一图像块的示意图;
图3是图1中S14的一种具体流程示意图;
图4是图1中S14的另一种具体流程示意图;
图5是图4中S147的具体流程示意图;
图6是图5中S180的具体流程示意图。
图7是本发明图像合成方法另一实施例的流程示意图;
图8是本发明图像合成方法第四实施例的流程示意图;
图9是本发明图像合成装置一实施例的结构示意图;
图10是本发明存储装置一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请中的术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。本申请实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等,如果该特定姿态发生改变时,则该方向性指示也相应地随之改变。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,在不冲突的情况下,本文所描述的实施例可以与其它实施例相结合。
图1是本发明图像合成方法第一实施例的流程示意图。需注意的是,若有实质上相同的结果,本实施例并不以图1所示的流程顺序为限。如图1所示,本实施例包括:
S11:获取同一场景的第一图像和第二图像,第一图像的曝光时间比第二图像的曝光时间长。
第一图像可以被称为长曝光图像,第二图像可以被称为短曝光图像。二者相比,第一图像能够更清楚的表现场景暗处的细节,但是在明亮处可能出现过度曝光;第二图像能够更清楚的表现场景明亮处的细节,但是在暗处可能出现曝光不足。
S12:将第一图像和第二图像按照同样的方式分成多个块。
按照同样的方式将第一图像分为多个第一图像块,将第二图像分为多个第二图像块。对应场景中同一部分的第一图像块和第二图像块之间可以被认为是相互对应的。
S13:分别计算每个第一图像块的第一权值和第二权值以及每个第二图像块的第三权值。
其中第一权值是基于第一图像块的边缘信息计算得到的,第二权值是基于第一图像块的整体信息计算得到的,第三权值是基于第二图像块的整体信息计算得到的。
在本发明一具体实施例中,第二权值为第一图像块中所有像素的像素值的加权平均值;第三权值为第二图像块中所有像素的像素值的加权平均值。第一权值P1_max=(Lsum_max+Lc)/n,其中Lsum_max为第一图像块的多个边缘像素组的像素值总和中的最大值,每个边缘像素组包括n-1个像素,Lc为第一图像块的中心像素的像素值。一般而言,每个边缘像素组包括边角像素以及在第一图像块边缘上与边角像素最接近的n-2个像素,边角像素可以为第一图像块左上、左下、右上、右下四个边角中的一个。
结合附图举例说明,如图2所示,第一图像块的大小为3*3,按照从左往右从上往下的顺序依次将像素编号0-8。第一图像块共有4个边缘像素组,分别为0+1+3,2+1+5,6+3+7,8+7+5,计算得到4个边缘像素组的像素值总和:
Lsum0=L0+L1+L3
Lsum1=L1+L2+L5
Lsum2=L3+L6+L7
Lsum3=L5+L7+L8
其中Li表示编号为i的像素的像素值。
求最大值得到Lsum_max=max(Lsum0,Lsum1,Lsum2,Lsum3),第一权值P1_max=(Lsum_max+L4)/4。
S14:利用第二权值和第三权值计算曝光增益比。
曝光增益比用于是将不同曝光时间的图片中的像素值对齐到同一水平,以在后续融合过程中得到更准确的合成图像。计算得出的曝光增益比应用于图像整体。
在本发明图像合成方法一具体实施例中,如图3所示,S14具体包括:
S141:遍历第一图像和第二图像,对第二权值和第三权值进行统计得到第一计数值、第二计数值、第一统计值、第二统计值、第三统计值和第四统计值。
其中第一计数值为所有大于第一阈值且小于第二阈值的第二权值的总数,第二计数值为所有大于或等于第二阈值且小于第三阈值的第二权值的总数,第一统计值为所有大于第一阈值且小于第二阈值的第二权值的总和,第二统计值为所有大于第一阈值且小于第二阈值的第二权值对应的第三权值的总和,第三统计值为所有大于或等于第二阈值且小于第三阈值的第二权值的总和,第四统计值为所有大于或等于第二阈值且小于第三阈值的第二权值对应的第三权值的总和。第一阈值小于第二阈值小于第三阈值。
具体的,可以按照以下步骤来统计:(1)将第一计数值、第二计数值、第一统计值、第二统计值、第三统计值和第四统计值初始化为0。(2)选择一个第一图像块。(3)将该第一图像块的第二权值与第一阈值、第二阈值和第三阈值进行比较,若第二权值大于第一阈值且小于第二阈值,则将第一计数值加1,将第一统计值的当前值与第二权值之和赋值给第一统计值,将第二统计值的当前值与第二权值对应的第三权值(即第一图像块对应的第二图像块的第三权值)之和赋值给第二统计值;若第二权值大于或等于第二阈值且小于第三阈值,则将第二计数值加1,将第三统计值的当前值与第二权值之和赋值给第三统计值,将第四统计值的当前值与第二权值对应的第三权值之和赋值给第四统计值。(4)判断是否已经完成遍历,即第一图像中是否还存在未做上述统计的第一图像块,若未完成遍历,则跳转到(2)循环执行,若已完成遍历,则结束流程,输出第一计数值、第二计数值、第一统计值、第二统计值、第三统计值和第四统计值。实际应用中,步骤(4)可以移动到(2)之前执行。
S142:利用第一计数值、第二计数值、第一统计值、第二统计值、第三统计值和第四统计值进行线性拟合得到曝光增益比。
具体的,线性拟合得到的曝光增益比gain_a可以为:
Figure BDA0002027934480000071
其中,n1为第一计数值,n2为第二计数值,y1为第一统计值,x1为第二统计值,y2为第三统计值,x2为第四统计值。
在本发明图像合成方法另一具体实施例中,如图4所示,S14具体包括:
S145:遍历第一图像和第二图像,对第二权值和第三权值进行统计得到第一计数值、第二计数值、第一统计值、第二统计值、第三统计值和第四统计值。
S146:利用第一计数值、第二计数值、第一统计值、第二统计值、第三统计值和第四统计值进行线性拟合得到曝光增益比。
上述两个步骤的具体内容可参考图3所示的实施例的相关描述。曝光增益比可以保留小数以便后续调整。
S147:利用参考增益比对曝光增益比进行调整。
计算得到的曝光增益比gain_a可能与实际情况不符,可以根据参考增益比对曝光增益比进行调整,使其更接近实际情况,减少融合之后出现异常的可能性。
可选的,如图5所示,S147可以具体包括:
S180:对第一增益比、第二增益比、第三增益比和初始增益比进行优化选择得到参考增益比。
第一增益比为第一统计值与第二统计值的比值,第二增益比为第三统计值与第四统计值的比值,第三增益比为第一增益比与第二增益比的平均值。写成表达式如下:第一增益比ratio0=y1/x1,第二增益比ratio1=y2/x2,第三增益比ratio_a=(ratio0+ratio1)/2。
初始增益比是根据曝光机制得到的,即根据曝光时间和曝光时间到图像亮度的映射关系计算得到的不同曝光时间的图像的亮度比值。可以根据第一增益比、第二增益比和初始增益比的大小比较结果从第一增益比、第二增益比、第三增益比和初始增益比中选出更符合实际情况的作为参考增益比。
可选的,如图6所示,S180可以具体包括:
S190:判断初始增益比是否在第一增益比和第二增益比之间。
可选的,可以选择判断reg_a<min(ratio0,ratio1)||reg_a>max(ratio0,ratio1)这一逻辑表达式是否成立,若成立,则意味着初始增益比不在第一增益比和第二增益比之间,若不成立,则意味着初始增益比在第一增益比和第二增益比之间。当然也可以选择其他逻辑表达式进行判断,只要最后的判断结果一致即可,对逻辑表达式的形式不做限制。
若初始增益比在第一增益比和第二增益比之间,则跳转到S194;否则跳转到S192。
S192:判断第三增益比与初始增益比之差的绝对值是否小于第四阈值;
若是,则跳转到S194;否则跳转到S196。
S194:选择初始增益比作为参考增益比
S196:选择第三增益比作为参考增益比。
初始增益比一般是针对整体图像的,但是不同的第一/第二图像块的第一/第二增益比可能不同,最后得到的参考增益比也可能不同。
S182:判断参考增益比连续大于或连续小于曝光增益比的帧数是否大于帧数阈值。
若是,则跳转到S184。
S184:调高或降低曝光增益比以使得曝光增益比向参考增益比靠近。
当参考增益比连续大于曝光增益比的帧数大于帧数阈值时,调高曝光增益比;当参考增益比连续小于曝光增益比的帧数大于帧数阈值时,降低曝光增益比。每次调整曝光增益比的调整量可以根据实际需要而定,例如为1。
一般来说,调整后的曝光增益比与参考增益比之差的绝对值小于调整前的曝光增益比与参考增益比之差的绝对值。
S15:利用第一权值、第三权值和曝光增益比计算第一图像块的第一融合权重和第二图像块的第二融合权重。
每个第一图像块的第一融合权重与对应的第二图像块的第二融合权重之和为固定值。例如在完成了归一化的情况下,固定值为1。第一融合权重和第二融合权重是块级的。
具体的,可以将第一权值和第三权值分别进行权重映射得到第一权重和第二权重;计算第一权重和第二权重的乘积作为第二融合权重,对应的第一融合权重为固定值与第二融合权重之差。
举例说明,第一权重W1=(P1_max–thr_1)*k_1,第二权重W2=(P2*gain_a–thr_2)*k_2,其中P1_max为第一权值,thr_1为第五阈值(也可以被称为长曝光权值的阈值),k_1为第一映射斜率,P2为第三权值,gain_a为曝光增益比,thr_2为第六阈值(也可以被称为短曝光权值的阈值),k_2为第二映射斜率。k_1和k_2可以相同,也可以不同。映射过程已经完成了归一化,第二融合权重sw_final=W1*W2,第一融合权重为1-sw_final。
S16:至少利用第一图像块的亮度信息判断是否进行权重调整。
当第一图像块的亮度信息反映出第一图像块中很多像素的亮度很高时,可能出现高光弥散,可以进行权重调整以抑制高光弥散。触发权重调整的权重调整条件可以包括第一图像块中亮度大于第七阈值的像素的数量大于第八阈值。
此外,权重调整条件可以进一步包括允许权重调整和/或第一权重大于第九阈值且第二权值小于第十阈值。可以设置有权重调整使能参数,读取该参数的值以确定是否允许进行权重调整。可选的,第九阈值可以等于第六阈值,第十阈值可以等于第七阈值。
若满足权重调整条件,则跳转到S17;否则跳转到S18。
S17:提高第二融合权重并降低第一融合权重。
第二融合权重的提高量等于第一融合权重的降低量。第二融合权重的提高量可以是预设的固定值,也可以计算得到的。在本发明一具体实施例中,可以将第二融合权重设置为预设值,并将第一融合权重设置为固定值与预设值之差。预设值大于未经调整的第二融合权重。
S18:按照第一融合权重和第二融合权重合成第一图像和第二图像得到合成图像。
若第一融合权重和第二融合权重经过了调整,则本步骤中的第一融合权重和第二融合权重为调整后的第一融合权重和第二融合权重。可以根据第一融合权重和第二融合权重进行双线性插值,将第一图像和第二图像融合为合成图像。
具体的,合成图像中像素的像素值Newdata为:
Newdata=(data_2*gain_a)*sw_final+data_1*(1.0–sw_final)
其中data_2为该像素在第二图像中对应像素的像素值,gain_a为曝光增益比,sw_final为完成归一化的第二融合权重,data_1为该像素在第一图像中对应像素的像素值。
通过本实施例的实施,利用第一权值、第三权值和曝光增益比计算第一图像块的第一融合权重和第二图像块的第二融合权重,第一权值是基于第一图像块的边缘信息计算得到的,在融合权重的计算过程中引入了边缘信息,减少合成图像的边缘异常,使得合成图像的边缘更自然;同时根据至少利用第一图像块的亮度信息判断是否进行权重调整,若进行则提高第二融合权重并降低第一融合权重,权重调整可以降低曝光时间更长的第一图像的第一融合权重,提高曝光时间更短的第二图像的第二融合权重,从而抑制高光弥散现象。
如图7所示,本发明图像合成方法另一实施例包括:
S21:获取同一场景的第一图像和第二图像,第一图像的曝光时间比第二图像的曝光时间长。
第一图像可以被称为长曝光图像,第二图像可以被称为短曝光图像。二者相比,第一图像能够更清楚的表现场景暗处的细节,但是在明亮处可能出现过度曝光;第二图像能够更清楚的表现场景明亮处的细节,但是在暗处可能出现曝光不足。
S22:将第一图像和第二图像按照同样的方式分成多个块。
按照同样的方式将第一图像分为多个第一图像块,将第二图像分为多个第二图像块。对应场景中同一部分的第一图像块和第二图像块之间可以被认为是相互对应的。
S23:分别计算每个第一图像块的权值以及每个第二图像块的权值。
每个第一/第二图像块的权值的数量可以为1,也可以更多。下面以单一权值为例进行说明,第一/第二图像块的权值均为其中所有像素的像素值的加权平均值。
S24:利用第一图像块的权值和第二图像块的权值计算曝光增益比。
曝光增益比用于是将不同曝光时间的图片中的像素值对齐到同一水平,以在后续融合过程中得到更准确的合成图像。计算得出的曝光增益比应用于图像整体。
具体的,可以遍历第一图像和第二图像,对第一图像块的权值和第二图像块的权值进行统计得到第一计数值、第二计数值、第一统计值、第二统计值、第三统计值和第四统计值。其中第一计数值为所有大于第一阈值且小于第二阈值的第一图像块的权值的总数,第二计数值为所有大于或等于第二阈值且小于第三阈值的第一图像块的权值的总数,第一统计值为所有大于第一阈值且小于第二阈值的第一图像块的权值的总和,第二统计值为所有大于第一阈值且小于第二阈值的第一图像块的权值对应的第二图像块的权值的总和,第三统计值为所有大于或等于第二阈值且小于第三阈值的第一图像块的权值的总和,第四统计值为所有大于或等于第二阈值且小于第三阈值的第一图像块的权值对应的第二图像块的权值的总和。
然后利用第一计数值、第二计数值、第一统计值、第二统计值、第三统计值和第四统计值进行线性拟合得到曝光增益比。
线性拟合得到的曝光增益比gain_a可以为:
Figure BDA0002027934480000111
其中,n1为第一计数值,n2为第二计数值,y1为第一统计值,x1为第二统计值,y2为第三统计值,x2为第四统计值。
S25:利用参考增益比对曝光增益比进行调整。
计算得到的曝光增益比gain_a可能与实际情况不符,可以根据参考增益比对曝光增益比进行调整,使其更接近实际情况,减少融合之后出现异常的可能性。
如图8所示,在本发明图像合成方法一具体实施例中,S25包括:
S250:对第一增益比、第二增益比、第三增益比和初始增益比进行优化选择得到参考增益比。
第一增益比为第一统计值与第二统计值的比值,第二增益比为第三统计值与第四统计值的比值,第三增益比为第一增益比与第二增益比的平均值。初始增益比是根据曝光机制得到的,即根据曝光时间和曝光时间到图像亮度的映射关系计算得到的不同曝光时间的图像的亮度比值。可以根据第一增益比、第二增益比和初始增益比的大小比较结果从第一增益比、第二增益比、第三增益比和初始增益比中选出更符合实际情况的作为参考增益比。
初始增益比一般是针对整体图像的,但是不同的第一/第二图像块的第一/第二增益比可能不同,最后得到的参考增益比也可能不同。
可选的,可以判断初始增益比是否在第一增益比和第二增益比之间;若是,则选择初始增益比作为参考增益比,否则判断第三增益比与初始增益比之差的绝对值是否小于第四阈值;若是,则选择初始增益比作为参考增益比,否则选择第三增益比作为参考增益比。
S252:判断参考增益比连续大于或连续小于曝光增益比的帧数是否大于帧数阈值;
若是,则跳转到S254。
S254:调高或降低曝光增益比以使得曝光增益比向参考增益比靠近。
当参考增益比连续大于曝光增益比的帧数大于帧数阈值时,调高曝光增益比;当参考增益比连续小于曝光增益比的帧数大于帧数阈值时,降低曝光增益比。每次调整曝光增益比的调整量可以根据实际需要而定,例如为1。
一般来说,调整后的曝光增益比与参考增益比之差的绝对值小于调整前的曝光增益比与参考增益比之差的绝对值。
S26:利用第一图像块的权值、第二图像块的权值和调整后的曝光增益比计算第一图像块的第一融合权重和第二图像块的第二融合权重。
每个第一图像块的第一融合权重与对应的第二图像块的第二融合权重之和为固定值。例如在完成了归一化的情况下,固定值为1。第一融合权重和第二融合权重是块级的。
具体的,可以将第一图像块的权值和第二图像块的权值分别进行权重映射得到第一权重和第二权重;计算第一权重和第二权重的乘积作为第二融合权重,对应的第一融合权重为固定值与第二融合权重之差。
举例说明,第一权重W1=(P1_max–thr_1)*k_1,第二权重W2=(P2*gain_a–thr_2)*k_2,其中P1_max为第一图像块的权值,thr_1为第五阈值(也可以被称为长曝光权值的阈值),k_1为第一映射斜率,P2为第二图像块的权值,gain_a为曝光增益比,thr_2为第六阈值(也可以被称为短曝光权值的阈值),k_2为第二映射斜率。k_1和k_2可以相同,也可以不同。映射过程已经完成了归一化,第二融合权重sw_final=W1*W2,第一融合权重为1-sw_final。
S27:按照第一融合权重和第二融合权重合成第一图像和第二图像得到合成图像。
可以根据第一融合权重和第二融合权重进行双线性插值,将第一图像和第二图像融合为合成图像。
具体的,合成图像中像素的像素值Newdata可以为:
Newdata=(data_2*gain_a)*sw_final+data_1*(1.0–sw_final)
其中data_2为该像素在第二图像中对应像素的像素值,gain_a为曝光增益比,sw_final为完成归一化的第二融合权重,data_1为该像素在第一图像中对应像素的像素值。
通过本实施例的实施,利用参考增益比对曝光增益比进行调整,使得曝光增益比更接近实际情况,减少融合之后出现异常的可能性。
请参阅图9,图9为本发明图像合成装置一实施例的结构示意图。如图8所示,该图像合成装置30包括处理器31。
处理器31还可以称为CPU(Central Processing Unit,中央处理单元)。处理器31可能是一种集成电路芯片,具有信号的处理能力。处理器31还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
图像合成装置可以进一步包括存储器(图中未示出),用于存储处理器31运行所需的指令和数据。
处理器31用于执行指令以实现上述本发明图像合成方法任一实施例及任意不冲突的组合所提供的方法。
参阅图10,图10为本发明存储装置一实施例的结构示意图。本发明实施例的存储装置40存储有指令,该指令被执行时实现本发明图像合成方法任一实施例以及任意不冲突的组合所提供的方法。其中,该指令可以形成程序文件以软件产品的形式存储在上述存储装置中,以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储装置包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random AccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质,或者是计算机、服务器、手机、平板等终端设备。
在本申请所提供的几个实施例中,应该理解到,所揭露的***,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。以上仅为本申请的实施方式,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。

Claims (13)

1.一种图像合成方法,其特征在于,包括:
获取同一场景的第一图像和第二图像,所述第一图像的曝光时间比所述第二图像的曝光时间长;
将所述第一图像和第二图像按照同样的方式分成多个块;
分别计算每个第一图像块的第一权值和第二权值以及每个第二图像块的第三权值,其中所述第一权值P1_max=(Lsum_max+Lc)/n,其中Lsum_max为所述第一图像块的多个边缘像素组的像素值总和中的最大值,每个所述边缘像素组包括n-1个像素,Lc为所述第一图像块的中心像素的像素值,所述第二权值是基于所述第一图像块的整体信息计算得到的,所述第三权值是基于所述第二图像块的整体信息计算得到的;
利用所述第二权值和所述第三权值计算曝光增益比;
利用所述第一权值、所述第三权值和所述曝光增益比计算所述第一图像块的第一融合权重和所述第二图像块的第二融合权重,每个所述第一图像块的第一融合权重与对应的所述第二图像块的第二融合权重之和为固定值;
所述利用所述第一权值、所述第三权值和所述曝光增益比计算所述第一图像块的第一融合权重和所述第二图像块的第二融合权重包括:
将所述第一权值和所述第三权值分别进行权重映射得到第一权重和第二权重,所述第一权重W1=(P1_max–thr_1)*k_1,所述第二权重W2=(P2*gain_a–thr_2)*k_2,其中P1_max为所述第一权值,thr_1为第五阈值,k_1为第一映射斜率,P2为所述第三权值,gain_a为所述曝光增益比,thr_2为第六阈值,k_2为第二映射斜率;
计算所述第一权重和所述第二权重的乘积作为所述第二融合权重,对应的所述第一融合权重为所述固定值与所述第二融合权重之差;至少利用所述第一图像块的亮度信息判断是否进行权重调整;
若是,则提高所述第二融合权重并降低所述第一融合权重;
按照调整后的所述第一融合权重和所述第二融合权重合成所述第一图像和所述第二图像得到合成图像。
2.根据权利要求1所述的方法,其特征在于,所述至少利用所述第一图像块的亮度信息判断是否进行权重调整之后进一步包括:
若不进行权重调整,则直接按照所述第一融合权重和所述第二融合权重合成所述第一图像和所述第二图像。
3.根据权利要求1所述的方法,其特征在于,
所述第二权值为所述第一图像块中所有像素的像素值的加权平均值;所述第三权值为所述第二图像块中所有像素的像素值的加权平均值。
4.根据权利要求1所述的方法,其特征在于,
所述利用所述第二权值和所述第三权值计算曝光增益比包括:
遍历所述第一图像和所述第二图像,对所述第二权值和所述第三权值进行统计得到第一计数值、第二计数值、第一统计值、第二统计值、第三统计值和第四统计值,其中所述第一计数值为所有大于第一阈值且小于第二阈值的所述第二权值的总数,所述第二计数值为所有大于或等于所述第二阈值且小于第三阈值的所述第二权值的总数,所述第一统计值为所有大于所述第一阈值且小于所述第二阈值的所述第二权值的总和,所述第二统计值为所有大于所述第一阈值且小于所述第二阈值的所述第二权值对应的所述第三权值的总和,所述第三统计值为所有大于或等于所述第二阈值且小于所述第三阈值的所述第二权值的总和,所述第四统计值为所有大于或等于所述第二阈值且小于所述第三阈值的所述第二权值对应的所述第三权值的总和;
利用所述第一计数值、所述第二计数值、所述第一统计值、所述第二统计值、所述第三统计值和所述第四统计值进行线性拟合得到所述曝光增益比;
线性拟合得到的所述曝光增益比gain_a为:
Figure FDA0002382458710000021
其中,n1为所述第一计数值,n2为所述第二计数值,y1为所述第一统计值,x1为所述第二统计值,y2为所述第三统计值,x2为所述第四统计值。
5.根据权利要求4所述的方法,其特征在于,
所述利用所述第一计数值、所述第二计数值、所述第一统计值、所述第二统计值、所述第三统计值和所述第四统计值进行线性拟合得到所述曝光增益比之后进一步包括:
判断参考增益比连续大于或连续小于所述曝光增益比的帧数是否大于帧数阈值;
若是,则调高或降低所述曝光增益比以使得所述曝光增益比向所述参考增益比靠近。
6.根据权利要求5所述的方法,其特征在于,
所述判断参考增益比连续大于或连续小于所述曝光增益比的帧数是否大于帧数阈值之前进一步包括:
对第一增益比、第二增益比、第三增益比和初始增益比进行优化选择得到所述参考增益比,所述第一增益比为所述第一统计值与所述第二统计值的比值,所述第二增益比为所述第三统计值与所述第四统计值的比值,所述第三增益比为所述第一增益比与所述第二增益比的平均值,所述初始增益比是根据曝光机制得到的。
7.根据权利要求6所述的方法,其特征在于,
所述对第一增益比、第二增益比、第三增益比和初始增益比进行优化选择得到所述参考增益比包括:
判断所述初始增益比是否在所述第一增益比和所述第二增益比之间;
若是,则选择所述初始增益比作为所述参考增益比,否则判断所述第三增益比与所述初始增益比之差的绝对值是否小于第四阈值;
若是,则选择所述初始增益比作为所述参考增益比,否则选择所述第三增益比作为所述参考增益比。
8.根据权利要求1所述的方法,其特征在于,
所述至少利用所述第一图像块的亮度信息判断是否进行权重调整包括:
判断是否满足权重调整条件,所述权重调整条件包括所述第一图像块中亮度大于第七阈值的像素的数量大于第八阈值。
9.根据权利要求8所述的方法,其特征在于,
所述权重调整条件进一步包括允许权重调整和/或所述第一权重大于第九阈值且所述第二权值小于第十阈值。
10.根据权利要求1所述的方法,其特征在于,
所述提高所述第二融合权重并降低所述第一融合权重包括:
将所述第二融合权重设置为预设值,并将所述第一融合权重设置为所述固定值与所述预设值之差,所述预设值大于未经调整的所述第二融合权重。
11.根据权利要求1所述的方法,其特征在于,
所述合成图像中像素的像素值Newdata为:
Newdata=(data_2*gain_a)*sw_final+data_1*(1.0–sw_final)
其中data_2为所述第二图像中对应像素的像素值,gain_a为所述曝光增益比,sw_final为完成归一化的所述第二融合权重,data_1为所述第一图像中对应像素的像素值。
12.一种图像合成装置,其特征在于,所述图像合成装置包括处理器,
所述处理器用于执行指令以实现如权利要求1-11中任一项所述的方法。
13.一种存储装置,存储有指令,其特征在于,所述指令被执行时实现如权利要求1-11中任一项所述的方法。
CN201910300030.7A 2019-04-15 2019-04-15 图像合成方法、装置及存储装置 Active CN110149484B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201910300030.7A CN110149484B (zh) 2019-04-15 2019-04-15 图像合成方法、装置及存储装置
PCT/CN2019/116268 WO2020211334A1 (en) 2019-04-15 2019-11-07 Methods and systems for image combination
EP19924978.0A EP3906664B1 (en) 2019-04-15 2019-11-07 Methods and systems for image combination
US17/444,563 US11887284B2 (en) 2019-04-15 2021-08-06 Methods and systems for image combination

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910300030.7A CN110149484B (zh) 2019-04-15 2019-04-15 图像合成方法、装置及存储装置

Publications (2)

Publication Number Publication Date
CN110149484A CN110149484A (zh) 2019-08-20
CN110149484B true CN110149484B (zh) 2020-07-10

Family

ID=67588226

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910300030.7A Active CN110149484B (zh) 2019-04-15 2019-04-15 图像合成方法、装置及存储装置

Country Status (4)

Country Link
US (1) US11887284B2 (zh)
EP (1) EP3906664B1 (zh)
CN (1) CN110149484B (zh)
WO (1) WO2020211334A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110149484B (zh) * 2019-04-15 2020-07-10 浙江大华技术股份有限公司 图像合成方法、装置及存储装置
CN111770282B (zh) * 2020-06-28 2021-06-01 Oppo广东移动通信有限公司 图像处理方法及装置、计算机可读介质及终端设备
CN115314629B (zh) * 2021-05-08 2024-03-01 杭州海康威视数字技术股份有限公司 一种成像方法、***及摄像机
CN113469927B (zh) * 2021-07-09 2023-06-16 西北核技术研究所 基于线性度比较的图像融合方法、存储介质及终端设备
CN114299094B (zh) * 2022-01-05 2022-10-11 哈尔滨工业大学 一种基于块选择与扩展的输液瓶图像感兴趣区域提取方法
WO2023156825A1 (en) * 2022-02-18 2023-08-24 Uab "Yukon Advanced Optics Worldwide" A portable digital nightvision device with extended dynamic range and method using the same
CN116528058B (zh) * 2023-05-26 2023-10-31 中国人民解放军战略支援部队航天工程大学 一种基于压缩重构的高动态成像方法和***

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5420635A (en) * 1991-08-30 1995-05-30 Fuji Photo Film Co., Ltd. Video camera, imaging method using video camera, method of operating video camera, image processing apparatus and method, and solid-state electronic imaging device
JP3084189B2 (ja) * 1993-06-29 2000-09-04 株式会社豊田中央研究所 撮像装置
JP4218723B2 (ja) * 2006-10-19 2009-02-04 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
EP1944732A3 (en) * 2007-01-12 2010-01-27 Sanyo Electric Co., Ltd. Apparatus and method for blur detection, and apparatus and method for blur correction
US8395685B2 (en) 2008-07-07 2013-03-12 The Charles Stark Draper Laboratory, Inc. Wide dynamic range imaging sensor and method
JP2010141653A (ja) * 2008-12-12 2010-06-24 Sanyo Electric Co Ltd 画像処理装置及び撮像装置
US8339475B2 (en) * 2008-12-19 2012-12-25 Qualcomm Incorporated High dynamic range image combining
JP2010166558A (ja) * 2008-12-19 2010-07-29 Sanyo Electric Co Ltd 撮像装置
JP5214538B2 (ja) * 2009-05-25 2013-06-19 オリンパス株式会社 画像取得装置、画像合成方法、及び顕微鏡システム
EP2569615A4 (en) 2010-05-12 2014-01-15 Li Cor Inc IMAGING WITH A WIDE DYNAMIC RANGE
US8699821B2 (en) * 2010-07-05 2014-04-15 Apple Inc. Aligning images
WO2012015359A1 (en) * 2010-07-26 2012-02-02 Agency For Science, Technology And Research Method and device for image processing
EP2606637B1 (en) * 2010-08-23 2016-09-21 Red.Com, Inc. High dynamic range video
EP2442556A1 (en) * 2010-10-15 2012-04-18 ST-Ericsson SA Apparatus and method for capturing images with high dynamic range
JP2012234393A (ja) * 2011-05-02 2012-11-29 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP5682443B2 (ja) * 2011-05-16 2015-03-11 富士通株式会社 画像処理装置、画像処理方法及び画像処理プログラム
WO2012173571A1 (en) * 2011-06-17 2012-12-20 Nanyang Technological University A method and system for fusing images
EP2538661B1 (en) * 2011-06-23 2014-07-16 JVC KENWOOD Corporation Image processing apparatus and image processing method
US8913153B2 (en) * 2011-10-06 2014-12-16 Aptina Imaging Corporation Imaging systems and methods for generating motion-compensated high-dynamic-range images
JP5898466B2 (ja) * 2011-11-11 2016-04-06 キヤノン株式会社 撮像装置、その制御方法、及びプログラム
JP2013219708A (ja) * 2012-04-12 2013-10-24 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
CN103581535B (zh) * 2012-08-09 2017-10-24 华晶科技股份有限公司 能产生高动态影像的影像撷取装置、电子装置及其方法
CN102970549B (zh) * 2012-09-20 2015-03-18 华为技术有限公司 图像处理方法及装置
US9437171B2 (en) * 2012-12-05 2016-09-06 Texas Instruments Incorporated Local tone mapping for high dynamic range images
US10382674B2 (en) 2013-04-15 2019-08-13 Qualcomm Incorporated Reference image selection for motion ghost filtering
CN104639920B (zh) 2013-11-13 2018-01-26 上海微锐智能科技有限公司 基于单帧双次曝光模式的宽动态融合方法
WO2015079481A1 (ja) * 2013-11-26 2015-06-04 日立マクセル株式会社 撮像方法及び撮像装置
CN103973990B (zh) 2014-05-05 2018-12-07 浙江宇视科技有限公司 宽动态融合方法及装置
CN103942807A (zh) * 2014-05-09 2014-07-23 北京交通大学 一种实时处理的快速图像分块融合***及融合方法
AU2015312215B2 (en) * 2014-09-02 2017-10-19 Apple Inc. Physical activity and workout monitor
JP6489932B2 (ja) * 2015-05-19 2019-03-27 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
CN105491301B (zh) * 2015-12-03 2018-09-28 浙江大华技术股份有限公司 一种成像控制方法及装置
CN105847703B (zh) * 2016-03-28 2019-04-26 联想(北京)有限公司 一种图像处理方法和电子设备
CN106060418A (zh) 2016-06-29 2016-10-26 深圳市优象计算技术有限公司 基于imu信息的宽动态图像融合方法
CN106157305B (zh) * 2016-06-30 2019-02-15 北京大学 基于局部特性的高动态图像快速生成方法
JP6697684B2 (ja) * 2016-10-13 2020-05-27 パナソニックIpマネジメント株式会社 画像処理装置、画像処理方法、及び画像処理回路
CN108205796B (zh) 2016-12-16 2021-08-10 大唐电信科技股份有限公司 一种多曝光图像的融合方法及装置
CN107220931B (zh) 2017-08-02 2020-08-18 安康学院 一种基于灰度级映射的高动态范围图像重建方法
CN108259774B (zh) * 2018-01-31 2021-04-16 珠海市杰理科技股份有限公司 图像合成方法、***和设备
CN110149484B (zh) 2019-04-15 2020-07-10 浙江大华技术股份有限公司 图像合成方法、装置及存储装置
US11758297B2 (en) * 2022-01-10 2023-09-12 Wisconsin Alumni Research Foundation Systems, methods, and media for high dynamic range imaging using single-photon and conventional image sensor data

Also Published As

Publication number Publication date
EP3906664B1 (en) 2023-10-25
EP3906664A1 (en) 2021-11-10
CN110149484A (zh) 2019-08-20
EP3906664A4 (en) 2022-03-09
US20210374922A1 (en) 2021-12-02
WO2020211334A1 (en) 2020-10-22
US11887284B2 (en) 2024-01-30

Similar Documents

Publication Publication Date Title
CN110149484B (zh) 图像合成方法、装置及存储装置
CN108335279B (zh) 图像融合和hdr成像
CN106060249B (zh) 一种拍照防抖方法及移动终端
JP6742732B2 (ja) 輝度分布と動きとの間のトレードオフに基づいてシーンのhdr画像を生成する方法
US9451173B2 (en) Electronic device and control method of the same
CN111028190A (zh) 图像处理方法、装置、存储介质及电子设备
CN110751608B (zh) 一种夜景高动态范围图像融合方法、装置和电子设备
KR102045538B1 (ko) 패치 기반 다중 노출 영상 융합 방법 및 장치
CN112738411B (zh) 曝光调节方法、装置、电子设备及存储介质
CN114820405A (zh) 图像融合方法、装置、设备及计算机可读存储介质
CN113439286A (zh) 处理合成图像中的图像数据
CN113781358A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN116437222B (zh) 图像处理方法与电子设备
CN109672829A (zh) 图像亮度的调整方法、装置、存储介质及终端
CN115187487A (zh) 图像处理方法及装置、电子设备、存储介质
CN114422721A (zh) 成像方法、装置、电子设备及存储介质
CN109951634B (zh) 图像合成方法、装置、终端及存储介质
CN114049288A (zh) 图像生成方法、装置、电子设备和计算机可读存储介质
CN111630839B (zh) 一种图像处理方法及装置
CN111179158A (zh) 图像处理方法、装置、电子设备及介质
CN117876237A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN118055335A (zh) 基准帧确定方法、装置、电子设备和计算机可读存储介质
CN115103129A (zh) 拍摄参数的确定方法、装置、电子设备和计算机存储介质
CN114461166A (zh) 显示方法及装置
CN117408896A (zh) 图像生成方法、装置、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant