CN104349070A - 高动态范围图像曝光时间控制方法 - Google Patents

Abstract

一种高动态范围图像曝光时间控制方法，其包含：利用图像感测器连续产生第一高动态范围图像以及第二高动态范围图像，第一高动态范围图像具有第一曝光时间比，第二高动态范围图像具有第二曝光时间比，第二曝光时间比大于第一曝光时间比；对第一高动态范围图像进行图像质量评估，以得到第一图像质量，对第二高动态范围图像进行图像质量评估，以得到第二图像质量；判断第二图像质量是否优于第一图像质量，如果是，则以第三曝光时间比拍摄第三高动态范围图像，其中，第三曝光时间比大于第二曝光时间比；如果否，则以第一曝光时间比拍摄第三高动态范围图像，并将第一曝光时间比设定为最佳曝光时间比。

Description

高动态范围图像曝光时间控制方法

技术领域

本发明涉及一种高动态范围图像曝光时间控制方法，特别涉及一种利用图像感测器捕捉不同曝光时间的图像，将不同曝光时间的图像结合成高动态范围图像，并通过调整曝光时间比，以获得最佳质量的高动态范围图像的方法。

背景技术

目前的消费型数字相机或网络摄像机(Webcam)的动态范围(DynamicRange)(亮度信号最大值与最小值的比值)约为400，而较专业的数字单眼相机可将动态范围增加到1000。然而，室内场景的动态范围大多超过1500，而室外场景的动态范围往往高达10⁵。因此，这些器材仅能捕捉到场景的部分亮度信息。

为解决以上的问题，P.E.Debevec在1997年提出了高动态范围图像的技术，“Paul E.Debevec，Jitendra Malik，Recovering High Dynamic RangeRadiance Maps from Photographs，SIGGRAPH1997”，即结合多张不同曝光时间的图像。提高两张原始图像的曝光时间比，可得到更高的动态范围信息。然而，也需要将更大的动态范围信息压缩在屏幕可显示的动态范围，此过程称为色调映射(Tone Mapping)。由于屏幕的动态范围很低(约为200)，色调映射的压缩过程会破坏画面中的细节与对比，导致整体的图像质量低落。换句话说，一味的提高曝光时间比，无法得到最佳的图像质量。此外，市面上所见的高动态范围图像***，大多使用固定的曝光时间比，或是需要使用者手动决定曝光时间比。

发明内容

本发明提出一种高动态范围图像曝光时间控制方法，并提供一套评估图像质量的技术以自动决定最佳的曝光时间比。当场景中光源有所改变时，可自动重新寻找最佳曝光时间比，以维持最佳的图像质量。

一种高动态范围图像曝光时间控制方法，其包含：利用图像感测器连续产生第一高动态范围图像以及第二高动态范围图像，第一高动态范围图像具有第一曝光时间比，第二高动态范围图像具有第二曝光时间比，第二曝光时间比大于第一曝光时间比；对第一高动态范围图像进行图像质量评估，以得到第一图像质量，对第二高动态范围图像进行图像质量评估，以得到第二图像质量；判断第二图像质量是否优于第一图像质量，如果是，则以第三曝光时间比拍摄第三高动态范围图像，其中，第三曝光时间比大于第二曝光时间比；如果否，则以第一曝光时间比拍摄第三高动态范围图像，并将第一曝光时间比设定为最佳曝光时间比。

承上所述，本发明的高动态范围图像曝光时间控制方法，利用图像感测器经由图像产生过程，产生连续的多个高动态范围图像并对其进行图像质量评估。由最低曝光时间比开始，逐步增加曝光时间比到图像质量开始变差，则可决定上一个曝光时间比为最佳曝光时间比。找到最佳曝光时间比之后，使用图像质量评估方法，比较本张图像的图像质量是否与前一张图像的图像质量相同。如相同则维持最佳曝光比，如因光源的改变造成图像质量下降，则将曝光时间比设定成原始的最低曝光时间比，并重新寻找最佳曝光时间比。

附图说明

图1为根据本发明的高动态范围图像曝光时间控制方法的方法流程图。

图2为根据本发明的高动态范围图像曝光时间控制方法的长曝光图像的像素值与短曝光场影的像素值对应亮度的示意图。

图3为根据本发明的高动态范围图像曝光时间控制方法的产生高动态范围图像的示意图。

图4为根据本发明的高动态范围图像曝光时间控制方法的曝光时间比与图像质量的关系图。

【符号说明】

S41～S51：步骤

R1～R3：曝光时间比

10：第一高动态范围图像

20：第二高动态范围图像

30：第三高动态范围图像

40：第四高动态范围图像

50：第五高动态范围图像

501：第一长曝光图像

502：第一短曝光图像

503：第二长曝光图像

504：第二短曝光图像

505：第三长曝光图像

506：第三短曝光图像

507：第四长曝光图像

508：第四短曝光图像

509：第五长曝光图像

510：第五短曝光图像

具体实施方式

为利本领域技术人员了解本发明的技术特征、内容与优点及其所能达成的功效，现在将本发明配合附图，并以实施例的表达形式详细说明如下，而其中所使用的附图，其主旨仅为示意及辅助说明书之用，未必为本发明实施后的真实比例与精准配置，故不应就所附的附图的比例与配置关系解读、局限本发明于实际实施上的权利范围，合先叙明。

图1是本发明的高动态范围图像曝光时间控制方法的方法流程图。其流程步骤可包含如下：

S41：利用图像感测器产生高动态范围图像。

S42：对高动态范围图像进行图像质量评估。

S43：是否第一次进行图像评估。如果是，则进入步骤S45；如果否，则进入步骤S44。

S44：是否为最佳曝光时间比。如果是，则进入步骤S48；如果否，则进入步骤S46。

S45：增加曝光时间比。

S46：判断图像质量是否优于前一张图像质量。如果是，则进入步骤S45；如果否，则进入步骤S47。

S47：降低曝光时间比，并将降低后的曝光时间比设定为最佳曝光时间比。

S48：是否为找到最佳曝光时间比后第一次进行图像质量评估。如果是，则进入步骤S50；如果否，则进入步骤S49。

S49：判断图像质量是否与前一张图像质量相同。如果是，则进入步骤S50；如果否，则进入步骤S51。

S50：维持曝光时间比

S51：将曝光时间比设为初始曝光时间比，并重新寻找最佳曝光时间比。

在步骤S41中，请参考图2。图2为本发明的高动态范围图像曝光时间控制方法的长曝光图像的像素值与短曝光场影的像素值对应亮度的示意图。环境中同一亮度的光源，受到曝光时间的差异会形成不同的像素值(PixelValue)。假设曝光时间比R为长曝光图像的曝光时间与短曝光图像的曝光时间的比值，则同样亮度的光源，在两张不同曝光时间的图像得到的像素值会有R倍的差异。因此只要将短曝光图像的每一像素的像素值乘以R倍，即可合并两张不同曝光时间的图像。相同地，只要将长曝光图像的每一像素的像素值除以R倍，即可合并两张不同曝光时间的图像。

在一具体实施例中，曝光时间比R可由使用者自行决定或由***预设决定，当曝光时间比R决定之后，可利用一般相机的自动曝光(Auto Exposure)机制决定出曝光时间A，而长曝光图像与短曝光图像的曝光时间可以A作为基准而对称地伸缩，亦即，长曝光图像与短曝光图像的曝光时间的平均值等于A。举例来说，如果曝光时间比R为3，则长曝光图像的曝光时间为1.5A，而短曝光图像的曝光时间为0.5A。如果曝光时间比R为7，则长曝光图像的曝光时间为1.75A，而短曝光图像的曝光时间为0.25A。

在一具体实施例中，使用者可关闭一般相机的自动曝光功能，改由自己手动决定一曝光值B。接着，长曝光图像的曝光时间及短曝光图像的曝光时间可不对称地向B的两侧伸缩，以找到最佳的曝光时间比。例如当曝光时间比R为10时，长曝光图像的曝光时间及短曝光图像的曝光时间可分别为1.25B及0.125B。手动决定曝光值的优点是可以得到最佳质量的高动态范围图像。

请参考图3，假设在步骤S41中，图像感测器首先根据一初始曝光时间比R1（假设其值为3，其可由上述的使用者自行决定或由***预设决定）拍摄第一长曝光图像501以及第一短曝光图像502，并合并成为第一高动态范围图像10。而后进入步骤S42，对第一高动态范围图像10进行图像质量评估（熵、画面边缘总和或过曝过暗的比例，详下述）。接着进入步骤S43，判断是否为第一次进行图像评估。此时由于是第一次进行图像评估，因此进入步骤S45，增加曝光时间比用以寻找最佳曝光时间比。

图4为根据本发明的高动态范围图像曝光时间控制方法的曝光时间比与图像质量的关系图，其是用以说明在步骤S45增加曝光时间比的原因。如图4所示，当曝光时间比从a、b、c增加到d时，原则上图像质量也随着提高。但在曝光时间比由d增加到e时，由于色调映射的压缩过程开始破坏画面中的细节与对比，导致图像质量没有随着曝光时间比的增加而提高。亦即，本发明是为寻找曝光时间比d，而此时d点的曝光时间比即为本发明所定义的最佳曝光时间比。反映于具体实施例中，如果前后两张高动态范围图像中，后一张高动态范围图像的图像质量相较前一张为差，则前一张高动态范围图像的曝光时间比即为最佳曝光时间比。

由于在步骤S43是第一次进行图像评估，仅有一张高动态范围图像10，并无法进行比较，因此在步骤S45，直接增加曝光时间比（R2，假设其值增至7），并重新回到步骤S41。在步骤S41，图像感测器根据曝光时间比R2（其值为7）拍摄第二长曝光图像503以及第二短曝光图像504，并合并成为第二高动态范围图像20，而后再次进入步骤S42，对第二高动态范围图像10进行图像质量评估（熵、画面边缘总和或过曝过暗的比例，详下述）。

在一具体实施例中，图像质量评估可根据数据信息量来进行。当画面中的像素亮度的分布越分散时，亦即，像素值分布越分散时，代表该画面保留最多的信息。因此可使用熵(Entropy，又称之为“乱度”)作为图像质量评估的标准。其公式如下：其中p_i为该画面像素的像素值为i的出现机率，E为熵值。

在一具体实施例中，图像质量评估还可根据人眼视觉特定来进行。由于人眼对于局部对比(Local Contrast)特别敏感，因此可使用常见的Canny、Sobel方法找出画面中的边缘，再以画面中边缘(Edge)的多寡作为质量评估的标准。欲判断画面中边缘的多寡，必须先将图像转换成灰阶模式，算出图像中所有边缘的总和。算出的值越大，则代表图像质量越佳。

在一具体实施例中，图像质量评估还可根据画面中过曝或过暗的比例来进行。高动态范围图像的基本概念是利用长曝光图像获取场景中的暗处信息，同时利用短曝光图像获取场景中的亮处信息。因此，如果长曝光图像最暗处的像素值接近或小于第一预设值，例如，像素值小于10，则代表此图像的曝光时间不够长，无法有效获取暗处信息。相对地，如果短曝光图像最亮处的像素值接近或大于第二预设值，例如，像素值大于250(假设此处图像感测器的位数为8，因此像素值为0至255间的一整数值)，则代表此图像的曝光时间不够短，无法有效获取亮处信息。基于此概念，可增加曝光时间比，直到长曝光图像最暗处的像素值没有过暗，以及短曝光图像最亮处的像素值没有过亮。

至此，已产生两图像质量分别对应第一高动态范围图像10以及第二高动态范围图像20。接着进入步骤S43，由于已非第一次进行图像评估，因此进入步骤S44，判断是否已找到最佳曝光时间比。由于此时尚未找到最佳曝光时间比，因此进入步骤S46，判断第二高动态范围图像20的图像质量是否优于第一高动态范围图像10的图像质量。如上述所述，如果第二高动态范围图像20的图像质量优于第一高动态范围图像10，则进入S45，继续增加曝光时间比（此时相当于图4的a点跟b点）；如果第二高动态范围图像20的图像质量未优于第一高动态范围图像10，则进入步骤S47（此时相当于图4的d点跟e点），降低曝光时间比，并将降低后的曝光时间比设定为最佳曝光时间比，即，寻找到最佳曝光时间比。亦言之，图4的局部最大值（Local Maximum，d点）为本发明所定义的最佳曝光时间比。

假设步骤S46判断结果是第二高动态范围图像20的图像质量优于第一高动态范围图像10（代表尚未找到最佳曝光时间比），则进入S45，继续增加曝光时间比（R3，假设其值增至10），并重新回到步骤S41。在步骤S41，图像感测器根据曝光时间比R3拍摄第三长曝光图像505以及第三短曝光图像506，并合并成为第三高动态范围图像30，而后再次进入步骤S42，对第三高动态范围图像30进行图像质量评估。由于此时并非第一次进行图像评估，且亦非找到最佳曝光时间比，因此再次进入步骤S46，此时判断第三高动态范围图像30的图像质量是否优于第二高动态范围图像20的图像质量。假设此时第三高动态范围图像30的图像质量并未优于第二高动态范围图像20，则进入步骤S47，降低曝光时间比，并将的降低后的曝光时间比设定为最佳曝光时间比，亦即的曝光时间比将从R3（其值为10）降低的R2（其值为7），并将R2设定为最佳曝光时间比。而后再次返回步骤S41。

在步骤S41，图像感测器根据曝光时间比R2拍摄第四长曝光图像507以及第四短曝光图像508，并合并成为第四高动态范围图像40，而后进入步骤S42，对第四高动态范围图像40进行图像质量评估。由于此时并非第一次进行图像评估，且已是最佳曝光时间比，因此进入步骤S48，判断是否为找到最佳曝光时间比后第一次进行图像质量评估。如果是，则进入步骤S50，维持曝光时间比（R2），接着再次返回步骤S41，根据曝光时间比R2拍摄第五长曝光图像509以及第五短曝光图像510，并合并成为第五高动态范围图像50。

执行步骤S48的原因是由于图像被持续地拍摄中，虽然在步骤S44已找到最佳曝光时间比，但从步骤S44执行到步骤S48所经过的时间，所拍摄的主体或物体可能产生变动或移动，或是从室内转移到室外，致使步骤S44所寻找的最佳曝光时间比已经不适合应用于现在及后来所拍摄的图像，因此需要重新找寻最佳曝光时间比。而为了判断是否为主体或物体是否有产生变动或移动，需要两张高动态范围图像以进行判断，而由于此时仅有单张高动态范围图像（即第四高动态范围图像40），因此在维持目前的曝光时间比（R2）的条件下，产生另一张高动态范围图像以进行比较，以利判断步骤S44所寻找的最佳曝光时间比是否适合应用于现在（步骤S48所处的时间）所拍摄的图像。换句话说，如果所拍摄的图像是静态画面，则步骤S48以下的步骤可省略。

当再次返回步骤S41，图像感测器根据曝光时间比R2（其值为7）拍摄第五长曝光图像509以及第五短曝光图像510，并合并成为第五高动态范围图像50，而后进入步骤S42，对第五高动态范围图像50进行图像质量评估。由于此时并非第一次进行图像评估，且已找到最佳曝光时间比，且并非找到最佳曝光时间比后第一次进行图像质量评估，因此进入步骤S49，判断第五高动态范围图像50的图像质量是否与第四高动态范围图像40的图像质量相同。如果是，代表步骤S44所寻找的最佳曝光时间比仍适合应用于现在所拍摄的图像，因此进入步骤S50，继续保持目前的曝光时间比（R2）进行拍摄。如果否，则代表步骤S44所寻找的最佳曝光时间比已不适合应用于现在所拍摄的图像，因此需要重新找寻曝光时间比，故进入步骤S51，将曝光时间比从R2（其值为7）设定为初始曝光时间比R1（其值为3），代表未寻找到最佳曝光时间比，而后重新返回步骤S41，再在步骤S44中进入步骤S46以重新进行上述寻找最佳曝光时间比的程序。

在一具体实施例中，步骤S49判断图像质量是否相同，可容许一预设范围，在此范围内视为相同。例如两图像质量差异在±5%或±10%的范围内，可视为相同。

在一具体实施例中，本发明的曝光时间比R可为1至64之间的整数。优选地，本发明的曝光时间比R为3至16之间的整数。

综合上述，本发明的高动态范围图像曝光时间控制方法，利用图像感测器经由图像产生过程，产生连续的多个高动态范围图像并对其进行图像质量评估。由最低曝光时间比开始，逐步增加曝光时间比到图像质量开始变差，则可决定最佳曝光时间比。找到最佳曝光时间比之后，使用图像质量评估方法，比较本张图像的图像质量是否与前一张图像的图像质量相同。如相同则维持最佳曝光比，如因光源的改变造成图像质量下降，则将曝光时间比设定成原始的最低曝光时间比，并重新寻找最佳曝光时间比。

综合上述，可见本发明在突破先前的技术下，确实已达到所欲增进的效果，且也非本领域技术人员易于思及，再者，本发明申请前未曾公开，且其所具的进步性、实用性，显已符合专利的申请要件，于是依法提出专利申请。

当本发明的实施例参考其例示性实施例被特别显示及描述时，其可为本领域技术人员理解的是，在不脱离由本发明权利要求书及其等效物所定义的本发明的精神及范围内，可对其进行形式及细节上的各种变更。

Claims (10)

1.一种高动态范围图像曝光时间控制方法，其包含下列步骤：

利用一图像感测器连续产生一第一高动态范围图像以及一第二高动态范围图像，该第一高动态范围图像具有一第一曝光时间比，该第二高动态范围图像具有一第二曝光时间比，其中，该第二曝光时间比大于该第一曝光时间比；

对该第一高动态范围图像进行一图像质量评估，以得到一第一图像质量，对该第二高动态范围图像进行该图像质量评估，以得到一第二图像质量；以及

判断该第二图像质量是否优于该第一图像质量，如果是，则以一第三曝光时间比拍摄一第三高动态范围图像，其中，该第三曝光时间比大于该第二曝光时间比；如果否，则以该第一曝光时间比拍摄该第三高动态范围图像，并将该第一曝光时间比设定为一最佳曝光时间比。

2.如权利要求1所述的高动态范围图像曝光时间控制方法，其中该图像感测器产生这些高动态范围图像的过程，包含下列步骤：

分别利用该图像感测器拍摄一长曝光图像以及一短曝光图像，并将该长曝光图像与该短曝光图像合并成为对应的高动态范围图像。

3.如权利要求2所述的高动态范围图像曝光时间控制方法，其中该长曝光图像的曝光时间与该短曝光图像的曝光时间的比值为该曝光时间比。

4.如权利要求3所述的高动态范围图像曝光时间控制方法，其中每一曝光时间比对应一曝光时间，该长曝光图像与该短曝光图像的曝光时间的平均值等于该曝光时间。

5.如权利要求4所述的高动态范围图像曝光时间控制方法，其中该图像质量评估的过程包含以一公式计算熵值(Entropy)，该公式为其中p_i为像素的像素值为i的出现机率，E为熵值，熵值越大，代表对应的图像质量越佳。

6.如权利要求4所述的高动态范围图像曝光时间控制方法，其中该图像质量评估的过程包含计算边缘总和，边缘总和的值越大，代表对应的图像质量越佳。

7.如权利要求4所述的高动态范围图像曝光时间控制方法，其中该图像质量评估的过程还包含计算过曝过暗的比例。

8.如权利要求4所述的高动态范围图像曝光时间控制方法，还包括下列步骤：

利用该最佳曝光时间比拍摄一第四高动态范围图像以及一第五高动态范围图像；

对该第四高动态范围图像进行该图像质量评估，以得到一第四图像质量；对该第五高动态范围图像进行该图像质量评估，以得到一第五图像质量；以及

判断该第五图像质量是否与该第四图像质量相同，如果是，则维持该最佳曝光时间比以持续拍摄高动态范围图像；如果否，则清除该最佳曝光时间比，并以一初始曝光时间比重新寻找该最佳曝光时间比。

9.如权利要求8所述的高动态范围图像曝光时间控制方法，如果该第五图像质量与该第四图像质量的差异在±5%或±10%的范围，则该第五图像质量与该第四图像质量为相同。

10.如权利要求9所述的高动态范围图像曝光时间控制方法，这些曝光时间比是介于1至64之间的整数。