CN101197942A

CN101197942A - 多曝光控制方法及多曝光控制装置

Info

Publication number: CN101197942A
Application number: CNA2007103050835A
Authority: CN
Inventors: 陈海
Original assignee: Huawei Technologies Co Ltd
Current assignee: Huawei Technologies Co Ltd
Priority date: 2007-12-27
Filing date: 2007-12-27
Publication date: 2008-06-11
Anticipated expiration: 2027-12-27
Also published as: CN101197942B

Abstract

本发明公开了一种多曝光控制方法，包括获取亮图像和暗图像；所述亮图像的曝光时间大于所述暗图像的曝光时间；获取亮图像中象素的可信度和暗图像中象素的可信度；根据所获取的亮图像中象素的可信度和暗图像中象素的可信度，调整所述亮图像的曝光时间或所述暗图像的曝光时间。采用本发明提供的技术方案，有利于扩大图像的动态范围。

Description

多曝光控制方法及多曝光控制装置

技术领域

本发明涉及图像处理技术领域，特别涉及一种多曝光控制方法及多曝光控制装置。

背景技术

在现实场景中，人眼能感觉的动态范围很大，既能察觉出亮度为10^-3cd/m²的星光，也能察觉出亮度为10⁵cd/m²的阳光，并且人眼在很暗和很亮的情况下也能察觉到现实场景中的各种细节。而目前的图像采集设备的亮度动态范围较低，在特别亮的场景不能看到相应的亮细节，在特别暗的场景不能看到相应的暗细节，因此，图像采集设备和实际场景以及人眼能感知的亮度动态范围差距很大。

为了解决上述问题，现有技术提出了通过轮换曝光的方法，对同一场景得到不同曝光时间的图像，用图像处理的方法合成大动态范围的图像。现有技术提供的一种多曝光控制方法，该方法需要分别对亮暗控制器设置：太亮的亮象素个数占亮象素总数的百分比阈值为B1，太暗的亮象素个数占亮象素总数的百分比阈值为D1，太亮的暗象素个数占暗象素总数的百分比阈值为B2，太暗的暗象素个数占暗象素总数的百分比阈值为D2，其中，亮象素和暗象素的曝光时间是分别控制的。

图1示出了亮象素的曝光时间控制方法，该方法具体包括：

步骤101、捕捉图像。该步骤中的术语图像是指图像序列中至少一帧。

步骤102、计算太亮的亮象素个数。

该步骤中具体是将各单独的亮象素的信号电平与预定的BPTB阈值比较，BPTB阈值表示“亮象素太亮”阈值。

步骤103、太亮的亮象素个数占亮象素总数的百分比是否大于阈值B1，如果是，执行步骤104，如果否，执行步骤105。

步骤104、减少亮象素的曝光时间，结束本流程。

步骤105、计算太暗的亮象素个数。

该步骤中具体是将各单独的亮象素的信号电平与预定的BPTD阈值比较，BPTD阈值表示“亮象素太暗”阈值。

步骤106、太暗的亮象素个数占亮象素总数的百分比是否大于阈值D1，如果是，执行步骤107，如果否，结束本流程。

步骤107、增加亮象素的曝光时间，结束本流程。

图2示出了暗象素的曝光时间控制方法，该方法具体包括：

步骤201、捕捉图像。该步骤中的术语图像是指图像序列中至少一帧。

步骤202、计算太暗的暗象素个数。

步骤203、太暗的暗象素个数占暗象素总数的百分比是否大于阈值D2，如果是，执行步骤204，如果否，执行步骤205。

步骤204、增加暗象素的曝光时间，结束本流程。

步骤205、计算太亮的暗象素个数。

步骤206、太亮的暗象素个数占暗象素总数的百分比是否大于阈值B2，如果是，执行步骤207，如果否，结束本流程。

步骤207、减少暗象素的曝光时间。

现有技术的缺点是：

1、现有技术提供的亮象素和暗象素镶嵌的CMOS成像模式对工艺要求非常高，出厂时亮象素和暗象素的材料特征已经决定了该CMOS传感器的动态范围，由此确定了所能拍摄图像的动态范围。

2、采用亮象素和暗象素镶嵌的CMOS成像模式会降低图像的分辨率。

发明内容

本发明实施例要解决的技术问题是提供一种多曝光控制方法及多曝光控制装置，有利于扩大图像的动态范围。

有鉴于此，本发明实施例提供：

一种多曝光控制方法，包括：

获取亮图像和暗图像；所述亮图像的曝光时间大于所述暗图像的曝光时间；

获取亮图像中象素的可信度和暗图像中象素的可信度；

根据所获取的亮图像中象素的可信度和暗图像中象素的可信度，调整所述亮图像的曝光时间或所述暗图像的曝光时间。

一种多曝光控制装置，包括：

图像获取单元，用于获取亮图像和暗图像；所述亮图像的曝光时间大于所述暗图像的曝光时间；

可信度获取单元，用于获取亮图像中象素的可信度和暗图像中象素的可信度；

调整单元，用于根据所获取的亮图像中象素的可信度和暗图像中象素的可信度，调整所述亮图像的曝光时间或所述暗图像的曝光时间。

上述技术方案中的一个技术方案具有如下有益效果：

本发明实施例将曝光时间不同的多个图像区分为亮图像和暗图像，获取亮图像中象素的可信度和暗图像中象素的可信度，并根据所获取的亮图像中象素的可信度和暗图像中象素的可信度，调整亮图像的曝光时间和/或暗图像的曝光时间，实现利用亮图像和暗图像合成大动态范围的图像，而且不会影响合成图像的分辨率。

附图说明

图1为现有技术提供的亮象素的曝光时间控制方法流程图；

图2为现有技术提供的暗象素的曝光时间控制方法流程图；

图3为本发明实施例一提供的多曝光控制方法流程图；

图4为本发明实施例二提供的多曝光控制方法流程图；

图5为本发明实施例三提供的多曝光控制方法流程图；

图6为本发明实施例四提供的多曝光控制方法流程图；

图7为本发明实施例五提供的多曝光控制装置结构图；

图8为本发明实施例六提供的多曝光控制装置结构图。

具体实施方式

本发明实施例根据亮图像和暗图像的可信度，相应的调整亮图像和/或暗图像的曝光时间。调整亮图像和暗图像的曝光时间时，可以根据需要在原来曝光时间的基础上，按比例分别调整亮图像或暗图像的曝光时间。也可以为亮图像和暗图像设置一参考曝光时间，将亮图像和暗图像的曝光时间表示为所述参考曝光时间的系数乘积。在实际运用中，可以根据实际场景决定是调整亮图像的曝光时间，还是调整暗图像的曝光时间，或者两者均作调整。本发明实施例中，以通过调整参考曝光时间来调整暗图像或亮图像的曝光时间为例，对本发明进行详细阐述。

为使本发明实施例更加清楚，先对本发明实施例用到的相关术语进行说明：

参考曝光时间T0：可以是当前场景最佳曝光时间，用于确定图像的曝光时间，根据参考曝光时间，可以设置亮图像的曝光时间为：r₁×T0，暗图像的曝光时间为：r₂×T0。其中，r1＞1，r₂＜1。优选的，r₁＝1/r₂。

参阅图3，本发明实施例一提供一种多曝光控制方法，该发明实施例一以双曝光为例描述的，该方法包括：

步骤301、获取长曝光图像和短曝光图像。

其中，长曝光图像的曝光时间是大于1的参数与参考曝光时间的乘积，比如r₁×T0，r₁＞1；短曝光图像的曝光时间是小于1的参数与参考曝光时间的乘积，比如r₂×T0，r₂＜1。长曝光图像是前面所述的亮图像，短曝光图像是前面所述的暗图像。

在采用双曝光进行拍摄时，如果长曝光图像和短曝光图像的曝光时间差别太大，会使最终合成图像的亮区出现暗斑。因此固定长曝光图像的曝光时间、短曝光图像的曝光时间与参考曝光时间之间的关系，可以有效的抑止亮区内暗斑的出现。

步骤302、获取长曝光图像和短曝光图像中相应象素的可信度。

步骤303、获取第一类象素数量。

其中，第一类象素可以是在长曝光图像中的可信度大于或等于短曝光图像中的可信度的象素；或者是在长曝光图像中的可信度小于短曝光图像中的可信度的象素。

步骤304、获取第一类象素数量与长曝光图像或短曝光图像中总象素数量的比值σ₁，作为可信度象素参数。

步骤305、判断σ₁是否大于第一阈值，如果是，执行步骤306；如果否，执行步骤307。

步骤306、减少参考曝光时间。

步骤307、判断σ₁是否小于第二阈值时，如果是，执行步骤308，如果否，返回执行步骤301。

步骤308、增加参考曝光时间。

参阅图4，本发明实施例二提供一种多曝光控制方法，该发明实施例二以双曝光为例描述的，该方法包括：

步骤401、获取长曝光图像和短曝光图像。

步骤402、获取长曝光图像和短曝光图像中相应象素的可信度。

步骤403、获取第一类象素数量，和第二类象素数量。

其中，第一类象素是在长曝光图像中的可信度大于或等于短曝光图像中的可信度的象素，第二类象素是在长曝光图像中的可信度小于短曝光图像中的可信度的象素；

或者，第一类象素是在长曝光图像中的可信度小于短曝光图像中的可信度的象素，第二类象素是在长曝光图像中的可信度大于或等于短曝光图像中的可信度的象素。

步骤404、获取第一类象素数量与第二类象素数量的比值σ₂作为可信度象素参数。

步骤405、判断σ₂是否大于第一阈值，如果是，执行步骤406；如果否，执行步骤407。

步骤406、减少参考曝光时间。

步骤407、判断σ₂是否小于第二阈值时，如果是，执行步骤407，如果否，返回执行步骤401。

步骤408、增加参考曝光时间。

参阅图5，本发明实施例三提供一种多曝光控制方法，该发明实施例三以双曝光为例描述的，该方法包括：

步骤501、获取长曝光图像和短曝光图像。

步骤502、获取长曝光图像中象素的可信度总和；获取短曝光图像中象素的可信度总和。

步骤503、求长曝光图像中象素的可信度总和与短曝光图像中象素的可信度总和的比值σ₃作为可信度象素参数。

步骤504、判断σ₃是否大于第一阈值，如果是，执行步骤505；如果否，执行步骤506。

步骤505、减少参考曝光时间。

步骤506、判断σ₃是否小于第二阈值时，如果是，执行步骤507，如果否，返回执行步骤501。

步骤507、增加参考曝光时间。

为了获得更宽的动态范围，使合成图像中保持现场的所有细节，或者，为了保持合成图像中亮暗过渡缓和，可以针对同一场景生成的曝光时间不同的多幅图像，这样，可以采用多个曝光图像轮换记录现场的细节。

参阅图6，本发明实施例四提供一种多曝光控制方法，该实施例四是以至少三个曝光图像为例描述的，该方法包括：

步骤601、获取亮图像和暗图像。

其中，亮图像是曝光时间等于参考曝光时间与大于1的参数的乘积的图像；暗图像是曝光时间等于参考曝光时间与小于1的参数的乘积的图像；各图像的曝光时间是固定均匀分布在参考曝光时间周围的，从亮图像中的最亮的图像到暗图像中的最暗的图像的曝光时间依次为：r₁T0，r₂T0，r₃T0........r_nT0，T0/r_n，T0/r_n-1.........T0/r₁，其中，r₁＞r₂......＞r_n≥1。

步骤602、获取亮图像和暗图像中象素的可信度。

步骤603、获取第一类象素数量。

其中，第一类象素可以是在亮图像中的可信度之和大于或等于在暗图像中的可信度之和的象素；或者是在亮图像中的可信度之和小于在暗图像中的可信度之和的象素。

步骤604、获取第一类象素数量与亮图像或暗图像中总象素数量的比值σ₄，作为可信度象素参数。

步骤605、判断σ₄是否大于第一阈值，如果是，执行步骤606；如果否，执行步骤607。

步骤606、减少参考曝光时间。

步骤607、判断σ₄是否小于第二阈值时，如果是，执行步骤607，如果否，返回执行步骤601。

步骤608、增加参考曝光时间。

同理，对于利用三个以上曝光图像控制曝光时间的方法也可以采用类似实施例二的方式实现。比如，将在亮图像中的可信度之和大于或等于在暗图像中的可信度之和的象素作为第一类象素，将在亮图像中的可信度之和小于在暗图像中的可信度之和的象素作为第二类象素，求第一类象素数量与第二类象素的数量的比值作为可信度参数。

同理，对于利用三个以上曝光图像控制曝光时间的方法也可以采用类似实施例三的方式实现。比如，求所有亮图像中所有象素的可信度之和，和，所有暗图像中所有象素的可信度之和，将两个和值的比值作为可信度参数。

其中，上述各实施例中图像中象素可信度的获取方法可以采用申请号为200710152256.4的申请文件中描述的算法，也可以采用象素标准法、象素梯度、或以该象素为中心的窗口图像熵等方法，不影响本发明的实现。

其中，上述各实施例中第一阈值代表一个比较的门限，其数值本身在各实施例中可以是不相同的；上述各实施例中第二阈值代表一个比较的门限，其数值本身在各实施例中是不相同的。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，例如只读存储器，磁盘或光盘等。

参阅图7，本发明实施例五提供一种多曝光控制装置，包括：

图像获取单元701，用于获取亮图像和暗图像，所述亮图像的曝光时间大于所述暗图像的曝光时间；

可信度获取单元702，用于获取亮图像中象素的可信度和暗图像中象素的可信度；

调整单元703，用于根据所获取的亮图像中象素的可信度和暗图像中象素的可信度，调整所述亮图像的曝光时间或所述暗图像的曝光时间。

该装置还包括：

参考曝光时间设置单元704，用于设置参考曝光时间T0；

图像的曝光时间设置单元705，用于设置所述亮图像的曝光时间为r₁×T0，所述暗图像的曝光时间为r₂×T0，其中，r1＞1，r₂＜1。优选的，r₁＝1/r₂。

所述调整单元703是参考曝光时间调整单元，用于根据所获取的亮图像中象素的可信度和暗图像中象素的可信度，调整所述参考曝光时间。

其中，参考曝光时间调整单元包括：

可信度象素参数获取单元7031，用于根据所获取的亮图像中象素的可信度和暗图像中象素的可信度，获取可信度象素参数；

第一判断单元7032，用于判断所述可信度象素参数是否大于第一阈值；

第二判断单元7033，用于判断所述可信度象素参数是否小于第二阈值；

参考曝光时间控制单元7034，用于当所述第一判断单元7032的判断结果为是时，减少所述参考曝光时间；当所述第二判断单元7033的判断结果为是时，增加所述参考曝光时间。

其中，所述可信度象素参数获取单元7031包括：

第一类象素数量获取单元70311，用于获取第一类象素数量，所述第一类象素是在亮图像中的可信度之和大于或等于在暗图像中的可信度之和的象素，或者在亮图像中的可信度之和小于在暗图像中的可信度之和的象素；

可信度象素参数计算单元70312，用于根据所述第一类象素数量，获取所述可信度象素参数。

其中，所述可信度象素参数计算单元70312所获取的可信度象素参数包括：第一类象素数量与所述亮图像或暗图像中总象素数量的比值。

或者，所述第一类象素是在亮图像中的可信度之和大于或等于在暗图像中的可信度之和的象素；该装置还包括：第二类象素数量获取单元，用于获取第二类象素数量，所述第二类象素是在亮图像中的可信度之和小于在暗图像中的可信度之和的象素；此时，所述可信度象素参数计算单元70312所获取的可信度象素参数包括：所述第一类象素数量与所述第二类象素数量的比值。

参阅图8，本发明实施例六提供一种多曝光控制装置，包括：

图像获取单元801，用于获取亮图像和暗图像，所述亮图像的曝光时间大于所述暗图像的曝光时间；

可信度获取单元802，用于获取亮图像中象素的可信度和暗图像中象素的可信度；

调整单元803，用于根据所获取的亮图像中象素的可信度和暗图像中象素的可信度，调整所述亮图像的曝光时间或所述暗图像的曝光时间。

该装置还包括：

参考曝光时间设置单元804，用于设置参考曝光时间T0；

图像的曝光时间设置单元805，用于设置所述亮图像的曝光时间为r₁×T0，所述暗图像的曝光时间为r₂×T0，其中，r1＞1，r₂＜1。优选的，r₁＝1/r₂。

所述调整单元803是参考曝光时间调整单元，用于根据所获取的亮图像中象素的可信度和暗图像中象素的可信度，调整所述参考曝光时间。

其中，参考曝光时间调整单元包括：

可信度象素参数获取单元8031，用于根据所获取的亮图像中象素的可信度和暗图像中象素的可信度，获取可信度象素参数；

第一判断单元8032，用于判断所述可信度象素参数是否大于第一阈值；

第二判断单元8033，用于判断所述可信度象素参数是否小于第二阈值；

参考曝光时间控制单元8034，用于当所述第一判断单元8032的判断结果为是时，减少所述参考曝光时间；当所述第二判断单元8033的判断结果为是时，增加所述参考曝光时间。

其中，所述可信度象素参数获取单元8031包括：

亮图像中象素的可信度求和单元80311，用于获取所有亮图像中所有象素的可信度之和；

暗图像中象素的可信度求和单元80312，用于获取所有暗图像中所有象素的可信度之和；

第二类可信度象素参数计算单元80313，用于获取可信度象素参数，所述可信度象素参数包括：所获取的所有亮图像中所有象素的可信度之和与所获取的所有暗图像中所有象素的可信度之和的比值。

从以上分析可以看出，本发明实施例具有如下有益效果：

1、本发明实施例将曝光时间不同的多个图像区分为亮图像和暗图像，获取亮图像中象素的可信度和暗图像中象素的可信度，并根据所获取的亮图像中象素的可信度和暗图像中象素的可信度，调整亮图像的曝光时间或暗图像的曝光时间，实现利用亮图像和暗图像合成大动态范围的图像，而且不会影响合成图像的分辨率。

2、本发明实施例通过控制参考曝光时间来调整亮图像和暗图像的曝光时间，降低了算法的复杂度。

以上对本发明所提供的一种多曝光控制方法及多曝光控制装置进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种多曝光控制方法，其特征在于，包括：

获取亮图像中象素的可信度和暗图像中象素的可信度；

2.根据权利要求1所述的方法，其特征在于，该方法还包括：

确定参考曝光时间T0；

确定所述亮图像的曝光时间为r₁×T0，所述暗图像的曝光时间为r₂×T0，其中r₁大于1，r₂小于1；

所述调整所述亮图像的曝光时间或所述暗图像的曝光时间包括：

调整所述参考曝光时间。

3.根据权利要求2所述的方法，其特征在于，

所述r₁是r₂的倒数。

4.根据权利要求2所述的方法，其特征在于，

调整所述参考曝光时间包括：

根据所获取的亮图像中象素的可信度和暗图像中象素的可信度获取可信度象素参数；

当所述可信度象素参数大于第一阈值时，减少所述参考曝光时间；当所述可信度象素参数小于第二阈值时，增加所述参考曝光时间。

5.根据权利要求4所述的方法，其特征在于，

所述根据所获取的亮图像中象素的可信度和暗图像中象素的可信度，获取可信度象素参数包括：

获取第一类象素数量，所述第一类象素是在亮图像中的可信度之和大于或等于在暗图像中的可信度之和的象素，或者在亮图像中的可信度之和小于在暗图像中的可信度之和的象素；

根据所述第一类象素数量，获取所述可信度象素参数。

6.根据权利要求5所述的方法，其特征在于，所述可信度象素参数包括：

第一类象素数量与所述亮图像或暗图像中总象素数量的比值。

7.根据权利要求5所述的方法，其特征在于，

所述第一类象素是在亮图像中的可信度之和大于或等于在暗图像中的可信度之和的象素；

该方法还包括：

获取第二类象素数量，所述第二类象素是在亮图像中的可信度之和小于在暗图像中的可信度之和的象素；

所述可信度象素参数包括：

所述第一类象素数量与所述第二类象素数量的比值。

8.根据权利要求4所述的方法，其特征在于，

获取所有亮图像中所有象素的可信度之和；

获取所有暗图像中所有象素的可信度之和；

所述可信度象素参数包括：所获取的所有亮图像中所有象素的可信度之和与所获取的所有暗图像中所有象素的可信度之和的比值。

9.一种多曝光控制装置，其特征在于，包括：

10.根据权利要求9所述的装置，其特征在于，该装置还包括：

参考曝光时间设置单元，用于设置参考曝光时间T0；

图像的曝光时间设置单元，用于设置所述亮图像的曝光时间为r₁×T0，所述暗图像的曝光时间为r₂×T0，其中r₁大于1，r₂小于1；

所述调整单元是参考曝光时间调整单元，

所述参考曝光时间调整单元，用于根据所获取的亮图像中象素的可信度和暗图像中象素的可信度，调整所述参考曝光时间。

11.根据权利要求10所述的装置，其特征在于，

所述参考曝光时间调整单元包括：

可信度象素参数获取单元，用于根据所获取的亮图像中象素的可信度和暗图像中象素的可信度，获取可信度象素参数；

第一判断单元，用于判断所述可信度象素参数是否大于第一阈值；

第二判断单元，用于判断所述可信度象素参数是否小于第二阈值；

参考曝光时间控制单元，用于当所述第一判断单元的判断结果为是时，减少所述参考曝光时间；当所述第二判断单元的判断结果为是时，增加所述参考曝光时间。

12.根据权利要求11所述的装置，其特征在于，

所述可信度象素参数获取单元包括：

第一类象素数量获取单元，用于获取第一类象素数量，所述第一类象素是在亮图像中的可信度之和大于或等于在暗图像中的可信度之和的象素，或者在亮图像中的可信度之和小于在暗图像中的可信度之和的象素；

可信度象素参数计算单元，用于根据所述第一类象素数量，获取所述可信度象素参数。

13.根据权利要求12所述的装置，其特征在于，

所述可信度象素参数计算单元所获取的可信度象素参数包括：第一类象素数量与所述亮图像或暗图像中总象素数量的比值。

14.根据权利要求12所述的装置，其特征在于，

该装置还包括：

第二类象素数量获取单元，用于获取第二类象素数量，所述第二类象素是在亮图像中的可信度之和小于在暗图像中的可信度之和的象素；

所述可信度象素参数计算单元所获取的可信度象素参数包括：所述第一类象素数量与所述第二类象素数量的比值。

15.根据权利要求11所述的装置，其特征在于，

所述可信度象素参数获取单元包括：

亮图像中象素的可信度求和单元，用于获取所有亮图像中所有象素的可信度之和；

暗图像中象素的可信度求和单元，用于获取所有暗图像中所有象素的可信度之和；

第二类可信度象素参数计算单元，用于获取可信度象素参数，所述可信度象素参数包括：所获取的所有亮图像中所有象素的可信度之和与所获取的所有暗图像中所有象素的可信度之和的比值。