CN115018743B - 片内分区曝光图像融合方法、成像装置及计算机存储介质 - Google Patents
片内分区曝光图像融合方法、成像装置及计算机存储介质 Download PDFInfo
- Publication number
- CN115018743B CN115018743B CN202110247361.6A CN202110247361A CN115018743B CN 115018743 B CN115018743 B CN 115018743B CN 202110247361 A CN202110247361 A CN 202110247361A CN 115018743 B CN115018743 B CN 115018743B
- Authority
- CN
- China
- Prior art keywords
- pixel
- image
- value
- brightness
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 28
- 238000003384 imaging method Methods 0.000 title claims abstract description 9
- 238000005192 partition Methods 0.000 title claims description 79
- 238000013507 mapping Methods 0.000 claims abstract description 44
- 230000007704 transition Effects 0.000 claims abstract description 25
- 230000004927 fusion Effects 0.000 claims abstract description 15
- 238000000034 method Methods 0.000 claims description 25
- 230000001105 regulatory effect Effects 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 9
- 238000012423 maintenance Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 2
- 230000000877 morphologic effect Effects 0.000 claims description 2
- 238000004321 preservation Methods 0.000 claims description 2
- 230000033228 biological regulation Effects 0.000 claims 1
- 230000003247 decreasing effect Effects 0.000 claims 1
- 230000014759 maintenance of location Effects 0.000 claims 1
- 238000005286 illumination Methods 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明属于图像传感器技术领域,涉及一种片内分区曝光图像融合方法,通过对原始待调节图像进行亮度调节;对亮度调节图像进行像素值映射;对原始待调节图像进行色彩饱和度保持;对相邻曝光分区进行衔接区域过渡处理,从而能够实现分区曝光图像的融合。本发明无需人工干预,能够自动完成分区曝光图像的融合任务,适用于灰度图像和彩色图像,并且适用于连续视频图像的分区曝光融合。本发明还提供一种成像装置及计算机存储介质。
Description
技术领域
本发明涉及图像传感器技术领域,特别是涉及一种片内分区曝光图像融合方法、成像装置及计算机存储介质。
背景技术
图像传感器广泛应用于视频监控及其他相关领域。在一些交通监控摄像的应用场合,交通信号灯开启后亮度相当于周围的环境,亮度比较亮。图像传感器用作视频监控拍摄包含交通信号灯的场景时,容易出现阴天时光照较弱红色信号灯出现偏色(除红色外,其他颜色通道过爆),晚上时拍摄会出现红绿灯过曝的问题。产生这个问题的原因主要是目前的图像传感器设计通常是线性的,线性图像传感器所探测的光照范围小,不能够采集低照度环境变化到强光线环境下的全部信号,因此其输出动态范围无法同时满足红绿灯与周围环境的亮度范围。要解决上述问题,需要对图像传感器输出图像的动态范围进行提高,以满足不同场景的应用需求。
提高图像传感器输出的动态范围通常采用输出两帧图像进行合成,以提高动态范围的模式。具体设计中,两帧图像具有不同的曝光时间,一帧图像的曝光时间长,另一帧图像的曝光时间短。具有长曝光时间的一帧图像可清晰获得低照度场景中的图像细节,短曝光时间的另一帧图像可获得高照度场景中的图像细节。上述两帧图像进行合并处理,能够得到一帧既包含低照度场景也包含高照度场景细节的清晰图像。但两帧合成的实现方式中,需要对第一帧图像读取后进行存储,读取完第二帧图像后再进行合并处理。因此在具体应用中,两帧图像合成会出现运动模糊的问题。
另有一类用于此场景的图像传感器的解决方案是在一帧曝光过程中对不同区域采用不同的曝光时间,即通过对曝光时间的控制,使输出的一帧图像中包含有不同的曝光,从而解决图像中的过曝问题。然而,现有的图像融合方法是将不同曝光的完整场景图像进行融合,即是用于多帧曝光图像的融合,而在分区曝光的情况下,用来融合的不同曝光图像都只包含场景的一部分,因此现有的图像融合方法不能够满足分区曝光图像融合的需要。
发明内容
本发明要解决的技术问题在于,针对上述现有技术的缺陷,提供了一种片内分区曝光图像融合方法、成像装置及计算机存储介质,以实现分区曝光图像的融合。
本发明提供一种片内分区曝光图像融合方法,包括以下步骤:
对原始待调节图像进行亮度调节,将原始待调节图像划分为若干个曝光分区,指定一曝光分区作为首次调节的参照分区,根据所述参照分区调节相邻曝光分区的亮度,使得不同曝光分区的亮度达到一致,得到亮度调节图像;
对亮度调节图像的各个分区进行像素值映射,根据待映射像素点及其所在设定邻域内其他像素点的像素值,将所述亮度调节图像的各个像素点的像素值映射到[0,2^n-1]范围内,得到各个分区的像素值映射图像;以及
对相邻曝光分区进行衔接区域过渡处理,在相邻的两个曝光分区中,设定以衔接边界为中心的衔接过渡区域,在所述衔接过渡区域内,位于衔接边界一侧的像素点的像素值调整为原像素值和衔接边界另一侧紧邻衔接边界的边界像素点的像素值的加权之和,完成分区曝光图像的融合。
本发明还提供一种成像装置,包括处理器和存储器,所述存储器存储有至少一条指令,所述处理器用于读取所述至少一条指令并执行上述的方法。
本发明还提供一种计算机存储介质,所述计算机存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行以实现上述的方法。
本发明片内分区曝光图像融合方法、成像装置及计算机存储介质,通过对原始待调节图像进行亮度调节;对亮度调节图像进行像素值映射;对原始待调节图像进行色彩饱和度保持;对相邻曝光分区进行衔接区域过渡处理,从而能够实现分区曝光图像的融合。本发明无需人工干预,能够自动完成分区曝光图像的融合任务,适用于灰度图像和彩色图像,并且适用于连续视频图像的分区曝光融合。
为让本发明的上述和其他目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附图式,作详细说明如下。
附图说明
图1为本发明一实施例的片内分区曝光图像融合方法的步骤流程图;
图2为本发明一实施例的片内分区曝光图像融合方法的各步骤对应的图像的示意图;
图3为本发明一实施例的亮度调节方法的步骤流程图;
图4为本发明一实施例的像素值映射方法的步骤流程图;
图5为本发明一实施例的色彩饱和度保持方法的步骤流程图;
图6为本发明一实施例的衔接区域过渡处理方法的步骤流程图;
图7为本发明一实施例的衔接区域过渡处理方法中边界像素点的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1及图2所示,本发明一种片内分区曝光图像融合方法,包括以下步骤。
步骤S100:对原始待调节图像Src进行亮度调节,将原始待调节图像Src 划分为若干个曝光分区,指定一曝光分区作为首次调节的参照分区,根据所述参照分区调节相邻曝光分区的亮度,使得不同曝光分区的亮度达到一致,得到亮度调节图像Src_adj。
步骤S200:对亮度调节图像Src_adj的各个分区进行像素值映射,根据待映射像素点及其所在设定邻域内其他像素点的像素值,将所述亮度调节图像Src_adj的各个像素点的像素值映射到[0,2^n-1]范围内,得到各个分区的像素值映射图像Src_mapping。其中,n为原始待调节图像Src的位宽。在本发明实施例中,n为8,因此像素值映射范围为[0,255]。本领域技术人员可以理解,在其他实施例中,n可以取9、10、12等其他的位宽。
步骤S300:对原始待调节图像Src进行色彩饱和度保持,将大于设定亮度阈值的高亮度像素点的值,赋予像素值映射图像Src_mapping中对应的像素点,并对Src_mapping图像中被赋值的高亮度像素点的边缘像素点与设定邻域内像素点的值进行加权,完成过渡处理,得到色彩饱和度保持图像Src_ret。
步骤S400:对相邻曝光分区进行衔接区域过渡处理,在相邻的两个曝光分区中,设定以衔接边界为中心的衔接过渡区域,在所述衔接过渡区域内,位于衔接边界一侧的像素点的像素值调整为原像素值和衔接边界另一侧紧邻衔接边界的边界像素点的像素值的加权之和,完成分区曝光图像的融合。
在一个实施例中,步骤S300所述色彩饱和度保持不是必须的,可以不对原始待调节图像Src进行色彩饱和度保持处理,直接进行步骤S400的衔接区域过渡处理。
如图3所示,在一个实施例中,在步骤S100的亮度调节中,以原始待调节图像Src的中间分区作为首次亮度调节的参照分区,具体包括以下步骤。
步骤S101:选择Src图像的中间分区作为参照分区。
步骤S102:判断Src是否为灰度图像。
步骤S103:若Src为灰度图像,将Src图像赋值到灰度原始待调节图像Src_gray,进入步骤S105,否则,进入步骤S104。
步骤S104:将Src图像利用如下公式(1)转为灰度原始待调节图像Src_gray:
Gray=R*0.299+G*0.587+B*0.114 (1)
其中,R,G,B分别为Src图像R通道,G通道,B通道的像素值。
步骤S105:统计Src_gray图像参照分区的平均亮度值ave_ref(本实施例中,不考虑像素值大于200的过曝像素点)和相邻待调节分区的平均亮度值 ave_adj(本实施例中,不考虑像素值大于200的过曝像素点)。
在本发明实施例中,具体为统计原始待调节图像Src_gray的参照分区一侧靠近衔接边界N行的平均亮度值ave_ref和相邻待调节分区一侧靠近衔接边界N行的平均亮度值ave_adj。
统计相邻待调节分区的平均亮度值ave_adj时,首先计算N行所有像素点的均值ave_adj_all,然后考虑N行中像素值小于min{(2^n-1)*A1,ave_adj_all *A2}的像素点,n为当前所处理图像的位宽,最后计算这些点的均值得到 ave_adj。其中,min{(2^n-1)*A1,ave_adj_all*A2}表示取这两个数值中较小的一个数值。在一个实施例中,设定参数A1取0.9,设定参数A2取1.5。
统计参照分区的平均亮度值ave_ref时,首先计算N行所有像素点的均值ave_ref_all,然后考虑N行中像素值小于min{(2^n-1)*B1 ave_ref_all*B2}的像素点,n为当前所处理图像的位宽,最后计算这些点的均值得到ave_ref。其中,min{(2^n-1)*B1,ave_ref_all*B2}表示取这两个数值中较小的一个数值。在一个实施例中,设定参数B1取0.9,设定参数B2取1.5。
其中,N的取值范围为[1,min{Height_region_adj,Height_region_ref}],其中,Height_region_adj表示相邻待调节分区的高度,Height_region_ref表示参照分区的高度。若待调节分区靠近衔接分界的位置有高亮点,则N在上述取值范围[1,min{Height_region_adj,Height_region_ref}]内取较大值,比如大于20 行,以弱化高亮点对平均亮度的影响;否则,N在上述取值范围[1, min{Height_region_adj,Height_region_ref}]内取较小值即可,比如10行以内,以减少运算量。
步骤S106:判断ave_adj与ave_ref的差值是否小于设定的第一阈值,比在一个实施例中,第一阈值设定为0.5,如果|ave_adj-ave_ref|<0.5,待调节分区的亮度调节完成,进入步骤S108,否则,进入步骤S107。
步骤S107:否则,计算参照分区与待调节分区平均亮度值的比值rate,即rate=ave_ref/ave_adj,在一个实施例中,限定各个分区曝光增益的比值不超过16,即比值rate小于等于16,因此,若参照分区的位宽为8,则将待调节分区的像素值位宽扩展4位,即待调节分区的像素值位宽为12,然后将Src 图像待调节分区的像素值乘以比值,进入步骤S102。
步骤S108:Src图像参照分区的相邻分区亮度调节完成,判断是否存在其他未调节分区。
步骤S109:若Src图像参照分区的相邻分区亮度调节完成,且存在其他未调节分区,则将Src图像存在相邻未调节分区的已调节分区作为参照分区,其相邻未调节分区作为待调节分区,进入步骤S102。
若所有分区亮度调节完成,则亮度调节结束,得到各个分区亮度一致的亮度调节图像Src_adj。
如图4所示,在一个实施例中,在步骤S200的像素值映射中,计算亮度阈值将亮度调节图像Src_adj各个分区的像素点划分为低亮度点,中亮度点和高亮度点;以及根据图像Src_adj各个分区待映射像素点及其设定邻域内(比如,9*9)的像素值,采用对数方程实现高动态范围的压缩,将像素值映射到 [0,2^n-1]范围,包括以下步骤。
步骤S201:利用公式(1),对亮度调节图像Src_adj各个分区进行灰度转化,得到图像Src_adj的各个分区的灰度亮度调节图像Src_adj_gray,用以表征图像Src_adj的亮度,利用如下公式(2)计算图像Src_adj_gray像素值的对数平均值lg_ave,即:
其中,Num为图像Src_adj_gray的像素点总数,Src_adj_gray(x,y)表示图像Src_adj_gray在x行y列的像素值,在一个实施例中,设定参数α取0.0001。
步骤S202:计算亮度阈值Key,即:
其中,grayMax和grayMin分别表示图像Src_adj_gray的最大像素值和最小像素值。
步骤S203:根据亮度阈值Key将归一化Src_adj_gray图像像素点划分为低亮度点,中亮度点和高亮度点:
Lt=Lmax-[C1+(1-C1)*Key]*(Lmax-Lmin) (4)
Lh=Lmin+[C2+(1-C2)*(1-Key)]*(Lmax-Lmin) (5)
其中,Lmax和Lmin分别为图像Src_adj_gray归一化之后的最大值和最小值,归一化图像中像素值小于Lt的像素点为低亮度点,大于Lh的像素点为高亮度点,介于中间的为中亮度点。其中,设定C1的取值范围为0.5~1之间,设定C2的取值小于C1的值。在一个实施例中,C1为0.9,C2为0.6。
步骤S204:判断图像Src_adj是否为灰度图像。
步骤S205:若图像Src_adj为灰度图像,则将图像Src_adj归一化,得到归一化亮度调节图像Src_adj_norm。
步骤S206:若图像Src_adj为彩色图像,则分别对图像Src_adj的三个颜色通道归一化,得到归一化亮度调节图像Src_adj_norm。
步骤S207:对归一化图像Src_adj_norm的每个像素点,考虑以该像素点为中心的设定邻域(比如m*m的窗口)内的像素点,分别计算窗口内属于低、中、高亮度点的比率ratel,ratem,rateh。
步骤S208:对低、中、高亮度点的像素值利用如下公式(6)进行映射;即:
其中,参数si,qi,ki为大于1的正值,i∈[l,m,h],分别对应着低亮度点,中亮度点和高亮度点,参数si值按照低亮度点到高亮度点递增,参数qi、ki值按照低亮度点到高亮度点递减,Ln为图像Src_adj_norm的像素值,Lnmax为图像Src_adj_norm的最大像素值,Li为映射之后的值。在一个实施例中,si的取值范围为2-15,qi的取值范围为20-500,ki的取值范围为20-500。在一个实施方式中,低亮度点,中亮度点和高亮度点的si,qi,ki的取值表格1所示。
低 | sl=2 | ql=50 | kl=50 |
由 | sm=5 | qm=45 | kmn=45 |
高 | sh=5 | qh=30 | kh=30 |
表格1
步骤S209:归一化图像Src_adj_norm的每个像素点,根据三组不同的si, qi,ki值,算得低亮度点,中亮度点和高亮度点的映射值Ll,Lm,Lh,从而得到图像Src_adj像素点的映射值为:
L=(Ll*ratet+Lm*ratem+Lh*rateh)*(2^n-1) (7)
在一个实施例中,像素值映射后的图像记为Src_mapping。
如图5所示,在一个实施例中,在步骤S300的色彩饱和度保持中,在原始待调节图像Src中,将大于设定亮度阈值的高亮度像素点的值,赋予像素值映射图像Src_mapping中对应的像素点,并对Src_mapping图像中被赋值的高亮度像素点的边缘像素点与设定邻域内像素点的值进行加权,完成过渡处理,具体包括以下步骤。
步骤S301:创建模板图像Mask,初始化Mask图像的像素值为0,遍历 Gray图像,若像素值大于(2^n-1)*D1,比如当n=8且设定参数D1为0.8时,若像素值大于200,则将Mask图像中,该像素值对应位置的像素值设置为 255,并将Src_mapping图像对应位置的像素值设置为Src图像同样位置像素点的值。本实施例中,模板图像Mask的位宽大于等于8。
步骤S302:对Mask图像进行形态学膨胀处理,并对Mask图像进行设定邻域(比如11*11)的均值滤波。
步骤S303:遍历Mask图像,当Mask图像的像素值不为0且不为255 时,将Src_mapping图像中对应位置的像素值作如公式(8)的调整,即:
其中,(x,y)表示Mask图像中值不为0且不为255的像素点位置。
在一个实施例中,经过色彩饱和度保持处理后的图像记做Src_ret。
如图6及图7所示,在一个实施例中,在步骤S400的衔接区域过渡处理中,具体包括以下步骤。
步骤S401:设第一边界像素点(x1,y1)和第二边界像素点(x2,y2)分别为相邻的第一曝光分区和第二曝光分区的衔接边界位置两侧的边界像素点。
步骤S402:在(x1,y1)一侧,在设定的衔接过渡过渡区域内,衔接边缘径向的M个,比如20个像素点集合{(x_t1i,y_t1i)|i=1,2,…,20},将Src_ret图像中对应位置的像素点做如下公式(9)处理:
其中,Dis1表示当前处理像素点距离(x2,y2)的像素距离;Src_ret(x2,y2) 为第二边界像素点(x2,y2)在色彩饱和度保持图像的像素。
步骤S403:在(x2,y2)一侧,在设定的衔接过渡过渡区域内,衔接边缘径向的M个,比如20个像素点集合{(x_t2i,y_t2i)|i=1,2,…,20},将Src_ret图像中对应位置的像素点做如下公式(10)处理:
其中,Dis2表示当前处理像素点距离(x1,y1)的像素距离;Src_ret(x1,y1) 为第一边界像素点(x1,y1)在色彩饱和度保持图像的像素值。
步骤S404:对衔接过渡区域进行高斯滤波。
本发明片内分区曝光图像融合方法,通过对原始待调节图像进行亮度调节;对亮度调节图像进行像素值映射;对原始待调节图像进行色彩饱和度保持;对相邻曝光分区进行衔接区域过渡处理,从而能够实现分区曝光图像的融合。本发明无需人工干预,能够自动完成分区曝光图像的融合任务,适用于灰度图像和彩色图像,并且适用于连续视频图像的分区曝光融合。
在一些实施例中,还提供一种成像装置,包括处理器和存储器,存储器存储有多条指令,处理器用于读取所述多条指令并执行上述片内分区曝光图像融合方法,例如包括:对原始待调节图像进行亮度调节;对亮度调节图像进行像素值映射;对原始待调节图像进行色彩饱和度保持;对相邻曝光分区进行衔接区域过渡处理。
在一些实施例中,还提供一种计算机可读存储介质,所述计算机存储介质存储有多条指令,所述多条指令可被处理器读取并执行上述片内分区曝光图像融合方法,例如包括:对原始待调节图像进行亮度调节;对亮度调节图像进行像素值映射;对原始待调节图像进行色彩饱和度保持;对相邻曝光分区进行衔接区域过渡处理。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素,此外,本发明不同实施例中具有同样命名的部件、特征、要素可能具有相同含义,也可能具有不同含义,其具体含义需以其在该具体实施例中的解释或者进一步结合该具体实施例中上下文进行确定。
应当理解,尽管在本文可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本文范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语"如果"可以被解释成为"在……时"或"当……时"或"响应于确定"。再者,如同在本文中所使用的,单数形式“一”、“一个”和“该”旨在也包括复数形式,除非上下文中有相反的指示。应当进一步理解,术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组,但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/ 或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的,或意味着任一个或任何组合。因此,“A、B或C”或者“A、B和/或C”意味着“以下任一个:A;B;C;A和B;A和C;B和C;A、B和C”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时,才会出现该定义的例外。
以上仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换或改进等,均应包含在本发明的保护范围之内。
Claims (19)
1.一种片内分区曝光图像融合方法,其特征在于,包括以下步骤:
对原始待调节图像进行亮度调节,将原始待调节图像划分为若干个曝光分区,指定一曝光分区作为首次调节的参照分区,根据所述参照分区调节相邻曝光分区的亮度,使得不同曝光分区的亮度达到一致,得到亮度调节图像;
对亮度调节图像的各个分区进行像素值映射,根据待映射像素点及其所在设定邻域内其他像素点的像素值,将所述亮度调节图像的各个像素点的像素值映射到[0,2^n-1]范围内,得到各个分区的像素值映射图像;以及
对相邻曝光分区进行衔接区域过渡处理,在相邻的两个曝光分区中,设定以衔接边界为中心的衔接过渡区域,在所述衔接过渡区域内,位于衔接边界一侧的像素点的像素值调整为原像素值和衔接边界另一侧紧邻衔接边界的边界像素点的像素值的加权之和,完成分区曝光图像的融合;
其中,所述亮度调节进一步包括以下步骤:
统计待调节分区的平均亮度值和参照分区的平均亮度值,计算参照分区与待调节分区平均亮度值的比值;
判断待调节分区的平均亮度值与参照分区的平均亮度值的差值;以及
若待调节分区的平均亮度值与参照分区的平均亮度值的差值的绝对值小于设定的第一阈值,则待调节分区的亮度调节完成;
其中,所述像素值映射包括以下步骤:
计算亮度阈值将亮度调节图像的像素点划分为低亮度点,中亮度点和高亮度点;以及
根据待映射像素点的像素值和其所在设定邻域内的低、中、高亮度点的比率及映射值,将所述亮度调节图像的各个像素点的像素值映射到[0,2^n-1]范围内;
其中,所述计算亮度阈值包括以下步骤:将亮度调节图像转换为灰度亮度调节图像,并通过以下公式计算灰度亮度调节图像的像素值的对数平均值lg_ave:
其中,Num为灰度亮度调节图像的像素点总数,Src_adj_gray(x,y)表示灰度亮度调节图像在x行y列的像素值,α为设定参数。
2.如权利要求1所述的片内分区曝光图像融合方法,其特征在于,所述亮度调节包括以下步骤:
以原始待调节图像的中间分区作为亮度调节的参照分区。
3.如权利要求1所述的片内分区曝光图像融合方法,其特征在于,所述亮度调节包括步骤:
若所述原始待调节图像为彩色图像,则将其转为灰度原始待调节图像。
4.如权利要求3所述的片内分区曝光图像融合方法,其特征在于,根据以下公式将其转为灰度原始待调节图像:
Gray=R*0.299+G*0.587+B*0.114
其中,R,G,B分别为原始待调节图像中红色像素、绿色像素和蓝色像素的像素值。
5.如权利要求1所述的片内分区曝光图像融合方法,其特征在于,所述亮度调节包括以下步骤:
若待调节分区的平均亮度值与参照分区的平均亮度值的差值大于所述第一阈值,则计算参照分区与待调节分区的平均亮度值的比值;以及
将待调节分区的像素值乘以所述比值。
6.如权利要求5所述的片内分区曝光图像融合方法,其特征在于,所述“统计待调节分区的平均亮度值和参照分区的平均亮度值”是指:
统计原始待调节图像的参照分区一侧靠近衔接边界N行的平均亮度值(ave_ref)和统计原始待调节图像的相邻待调节分区一侧靠近衔接边界N行的平均亮度值(ave_adj)。
7.如权利要求6所述的片内分区曝光图像融合方法,其特征在于,“统计原始待调节图像的参照分区一侧靠近衔接边界N行的平均亮度值(ave_ref)”包括:
统计相邻待调节分区的平均亮度值(ave_adj)时,先计算N行所有像素点的均值(ave_adj_all),然后考虑N行中像素值小于min{(2^n-1)*A1,ave_adj_all*A2}的像素点,其中n为当前所处理图像的位宽,最后计算这些像素点的均值得到相邻待调节分区的平均亮度值(ave_adj);
其中,min{(2^n-1)*A1,ave_adj_all*A2}表示取这两个数值中较小的一个数值,A1和A2为设定的参数;
其中,N的取值范围为[1,min{Height_region_adj,Height_region_ref}],其中,Height_region_adj表示相邻待调节分区的高度,Height_region_ref表示参照分区的高度。
8.如权利要求6所述的片内分区曝光图像融合方法,其特征在于,“统计原始待调节图像的相邻待调节分区一侧靠近衔接边界N行的平均亮度值(ave_adj)”包括:
统计参照分区的平均亮度值(ave_ref)时,先计算N行所有像素点的均值(ave_ref_all),然后考虑N行中像素值小于min{(2^n-1)*B1,ave_ref_all*B2}的像素点,n为当前所处理图像的位宽,最后计算这些像素点的均值得到参照分区的平均亮度值(ave_ref);
其中,min{(2^n-1)*B1,ave_ref_all*B2}表示取这两个数值中较小的一个数值,B1和B2为设定的参数;
其中,N的取值范围为[1,min{Height_region_adj,Height_region_ref}],其中,Height_region_adj表示相邻待调节分区的高度,Height_region_ref表示参照分区的高度。
9.如权利要求1所述的片内分区曝光图像融合方法,其特征在于,所述亮度调节包括以下步骤:
若参照分区的相邻分区亮度调节完成,且存在其他未调节分区,则将原始待调节图像中存在相邻未调节分区的已调节分区作为参照分区,其相邻未调节分区作为待调节分区进行亮度调节。
10.如权利要求1所述的片内分区曝光图像融合方法,其特征在于,所述计算亮度阈值包括以下步骤:
根据以下公式计算亮度阈值Key,即:
其中,grayMax和grayMin分别表示灰度亮度调节图像的最大像素值和最小像素值。
11.如权利要求1所述的片内分区曝光图像融合方法,其特征在于,所述划分为低亮度点,中亮度点和高亮度点包括以下步骤:
根据亮度阈值Key通过以下公式将归一化亮度调节图像的像素点划分为低亮度点,中亮度点和高亮度点:
Lt=Lmax-(C1+(1-C1)*Key)*(Lmax-Lmin)
Lh=Lmin+[C2+(1-C2)*(1-Key)]*(Lmax-Lmin)
其中,Lmax和Lmin分别为归一化亮度调节图像的最大值和最小值,归一化亮度调节图像中像素值小于Lt的像素点为低亮度点,大于Lh的像素点为高亮度点,介于中间的为中亮度点。
12.如权利要求1所述的片内分区曝光图像融合方法,其特征在于,所述像素值映射包括以下步骤:
若亮度调节图像为灰度图像,则将亮度调节图像归一化,对归一化亮度调节图像的每个像素点,在以其为中心的第一设定领域内,分别计算该领域内低、中、高亮度点的比率ratel,ratem,rateh;以及
对低、中、高亮度点的像素值利用以下公式进行映射;
其中,si,qi,ki为大于1的正值,i∈[l,m,h],l、m、h分别对应低亮度点,中亮度点和高亮度点;si的取值按照低亮度点到高亮度点递增,qi、ki的取值按照低亮度点到高亮度点递减,Ln为归一化亮度调节图像的像素值,Lnmax为归一化亮度调节图像的最大像素值,Li为映射之后的低亮度点,中亮度点和高亮度点的像素值。
13.如权利要求12所述的片内分区曝光图像融合方法,其特征在于,所述像素值映射包括以下步骤:
若亮度调节图像为彩色图像,则分别对亮度调节图像的红绿蓝三个颜色通道归一化,得到归一化亮度调节图像,再进行映射。
14.如权利要求12所述的片内分区曝光图像融合方法,其特征在于,所述像素值映射包括以下步骤:
对归一化亮度调节图像的每个像素点,根据低亮度点,中亮度点和高亮度点对应的三组不同的si,qi,ki的取值,分别计算低亮度点,中亮度点和高亮度点的映射值Ll,Lm,Lh,再根据以下公式,计算得到亮度调整图像的像素点的映射值L:
L=(Ll*ratel+Lm*ratem+Lh*rateh)*255
其中,Ll、Lm、Lh为待映射像素点所在的第一设定领域内的低亮度点,中亮度点和高亮度点的映射值,ratel、ratem、rateh为待映射像素点所在的第一设定领域内的低亮度点,中亮度点和高亮度点的比率。
15.如权利要求1所述的片内分区曝光图像融合方法,其特征在于,还包括对原始待调节图像进行色彩饱和度保持,以保证色彩的饱和度,包括以下步骤:
在原始待调节图像中,将大于设定亮度阈值的高亮度像素点的值,赋予像素值映射图像中对应的像素点,并对像素值映射图像中被赋值的高亮度像素点的边缘像素点与设定邻域内像素点的值进行加权,完成过渡处理,得到色彩饱和度保持图像。
16.如权利要求15所述的片内分区曝光图像融合方法,其特征在于,所述色彩饱和度保持包括以下步骤:
创建模板图像,初始化模板图像的像素值为0,遍历灰度原始待调节图像,若像素值大于(0,2^n-1)*D1,其中D1为设定的参数,则将模板图像中,该像素值对应位置的像素值设置为255,并将像素值映射图像中对应位置的像素值设置为原始待调节图像同样位置的像素值;
对模板图像进行形态学膨胀处理,并对模板图像在第二设定领域内进行均值滤波;
遍历模板图像,当模板图像的像素值不为0且不为255时,将像素值映射图像中对应位置的像素值根据以下公式进行调整:
其中,(x,y)表示模板图像中像素值不为0且不为255的像素点位置,Src_mapping(x,y)为像素值映射图像中对应的像素点的像素值,Src(x,y)为原始待调整图像对应的像素点的像素值,Mask(x,y)为模板图像对应像素点的像素值。
17.如权利要求15所述的片内分区曝光图像融合方法,其特征在于,所述衔接区域过渡处理包括以下步骤:
设第一边界像素点(x1,y1)和第二边界像素点(x2,y2)分别为相邻的第一曝光分区和第二曝光分区的衔接边界位置两侧的边界像素点;
在第一边界像素点(x1,y1)的一侧,衔接边界径向的M个像素点集合{(x_t1i,y_t1i)|i=1,2,…,M},将色彩饱和度保持图像中对应位置的像素点的像素值根据以下公式进行处理:
在第二边界像素点(x2,y2)的一侧,衔接边界径向的M个像素点集合{(x_t2i,y_t2i)|i=1,2,…,M},将色彩饱和度保持图像中对应位置的像素点的像素值根据以下公式进行处理:
其中,Dis1表示当前处理像素点距离第二边界像素点(x2,y2)的像素距离;Src_ret(x2,y2)为第二边界像素点(x2,y2)在色彩饱和度保持图像的像素值;其中,Dis2表示当前处理像素点/>距离第一边界像素点(x1,y1)的像素距离,Src_ret(x1,y1)为第一边界像素点(x1,y1)在色彩饱和度保持图像的像素值。
18.一种成像装置,其特征在于,包括处理器和存储器,所述存储器存储有至少一条指令,所述处理器用于读取所述至少一条指令并执行如权利要求1至17任一所述的方法。
19.一种计算机存储介质,其特征在于,所述计算机存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行以实现如权利要求1-17任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110247361.6A CN115018743B (zh) | 2021-03-05 | 2021-03-05 | 片内分区曝光图像融合方法、成像装置及计算机存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110247361.6A CN115018743B (zh) | 2021-03-05 | 2021-03-05 | 片内分区曝光图像融合方法、成像装置及计算机存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115018743A CN115018743A (zh) | 2022-09-06 |
CN115018743B true CN115018743B (zh) | 2024-06-14 |
Family
ID=83064890
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110247361.6A Active CN115018743B (zh) | 2021-03-05 | 2021-03-05 | 片内分区曝光图像融合方法、成像装置及计算机存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115018743B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108683861A (zh) * | 2018-08-06 | 2018-10-19 | Oppo广东移动通信有限公司 | 拍摄曝光控制方法、装置、成像设备和电子设备 |
CN109741280A (zh) * | 2019-01-04 | 2019-05-10 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10182783B2 (en) * | 2015-09-17 | 2019-01-22 | Cmt Medical Technologies Ltd. | Visualization of exposure index values in digital radiography |
CN112351218A (zh) * | 2020-11-09 | 2021-02-09 | 影石创新科技股份有限公司 | 自动曝光方法、装置、电子设备及计算机可读存储介质 |
-
2021
- 2021-03-05 CN CN202110247361.6A patent/CN115018743B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108683861A (zh) * | 2018-08-06 | 2018-10-19 | Oppo广东移动通信有限公司 | 拍摄曝光控制方法、装置、成像设备和电子设备 |
CN109741280A (zh) * | 2019-01-04 | 2019-05-10 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN115018743A (zh) | 2022-09-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5615973B2 (ja) | 高ダイナミックレンジ画像を捕捉するデバイスの作動法 | |
CN103518223B (zh) | 高动态范围图像的白平衡优化 | |
CN112565636B (zh) | 图像处理方法、装置、设备和存储介质 | |
US8284271B2 (en) | Chroma noise reduction for cameras | |
JP5677113B2 (ja) | 画像処理装置 | |
RU2496250C1 (ru) | Устройство и способ обработки изображения | |
CN113888437A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
JP2013098805A (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
CN111209775B (zh) | 信号灯图像处理方法、装置、设备及存储介质 | |
JP6083974B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
CN113163127B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
JP5804857B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
CN112351218A (zh) | 自动曝光方法、装置、电子设备及计算机可读存储介质 | |
JP6600216B2 (ja) | 画像処理装置及び画像処理方法、プログラム、記憶媒体 | |
CN114866754A (zh) | 自动白平衡方法、装置及计算机可读存储介质和电子设备 | |
CN111724447B (zh) | 一种图像处理方法、***及电子设备和存储介质 | |
CN115082350A (zh) | 频闪图像处理方法、装置、电子设备和可读存储介质 | |
CN115018743B (zh) | 片内分区曝光图像融合方法、成像装置及计算机存储介质 | |
CN115018714B (zh) | 一种图像像素值映射方法、成像装置及计算机存储介质 | |
CN115037882B (zh) | 一种图像亮度调节方法、成像装置及计算机存储介质 | |
JP2009004966A (ja) | 撮像装置 | |
CN115018714A (zh) | 一种图像像素值映射方法、成像装置及计算机存储介质 | |
CN113222869B (zh) | 一种图像处理方法 | |
WO2023110880A1 (en) | Image processing methods and systems for low-light image enhancement using machine learning models | |
CN111915529A (zh) | 一种视频的暗光增强方法、装置、移动终端和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |