CN109936700A - 影像串流画质处理***及影像串流画质处理方法 - Google Patents

Abstract

本申请公开了一种影像串流画质处理***及影像串流画质处理方法，该影像串流画质处理***，包含影像撷取模块、画面侦测单元及影像组合单元。影像撷取模块撷取第一影像串流及第二影像串流，第一影像串流包含多个具有第一曝光值的第一影像分时画面，第二影像串流包含多个具有第二曝光值的第二分时影像分时画面。同一时刻第一影像分时画面对应第二影像分时画面，第一曝光值大于第二曝光值。画面侦测单元侦测第一影像分时画面的第一曝光值及亮度值，在第一曝光值低于曝光门坎值且亮度值低于亮度门坎值时输出叠加信号。此时，影像组合单元将第一影像分时画面与第二影像分时画面叠合成亮度叠加影像分时画面。

Description

影像串流画质处理***及影像串流画质处理方法

技术领域

本发明涉及图像处理领域，尤其是影像串流画质处理***及影像串流画质处理方法。

背景技术

一般相机或摄影机，对于一个场景中最亮与最暗明度的比值(又称为动态范围，Dynamic Range)大约为1000:1。然而，人眼能分辨的动态范围大约为10000:1，从而在特定的环境场域，相机照出的照片与人眼视觉有明显落差。例如，在明亮的环境下，相机若欲对焦于对象的细节时，可能呈现背景过亮，呈现一片白色的情况；而若欲呈现出背景，则可能造成对象过暗、细节无法呈现的情形。

对于此，目前数字相机透过图像处理的运算，拍摄数张不同曝光值的照片，将该些影像取部分叠合，而能同时呈现背景与对象的细节，使照片更接近人眼的解析，称为高动态范为(High Dynamic Range，HDR)。

然而，对于影像串流，也就是动态影像，若要进行影像的合成，同一时点就必须拍摄两个画面。例如，以一般人眼解析上能够流畅的相机每秒至少具有30个画面(30frameper second，30FPS)，每秒最少要截取60个画面才有办法进行叠合。当拍摄的画面增加时，曝光时间则降低，造成进光量的减少，整体亮度变暗，而在环境光不足的条件下，即使以叠合的方式进行图像处理，仍无法清楚地解析对象的细节。

发明内容

为了解决传统技术上的种种问题，在此提供一种影像串流画质处理***。影像串流画质处理***包含影像撷取模块、画面侦测单元、以及影像组合单元。影像撷取模块撷取第一影像串流及第二影像串流，第一影像串流包含多个第一影像分时画面，该等第一影像分时画面具有相同的第一曝光值。第二影像串流包含多个第二分时影像分时画面，该等第二影像分时画面具有相同的第二曝光值。在同一时刻的第一影像分时画面对应第二影像分时画面，且第一曝光值大于第二曝光值。画面侦测单元通讯连接于影像撷取模块，并接收第一影像串流及第一曝光值，画面侦测单元更侦测各第一影像分时画面的第一亮度值，画面侦测单元在第一曝光值低于曝光门坎值，且第一亮度值低于亮度门坎值时，产生并输出叠加信号。影像组合单元通讯连接于影像撷取模块，接收第一影像串流及第二影像串流，影像组合单元更连接于画面侦测单元，并接收叠加信号，当影像组合单元接收到叠加信号时，将对应叠加信号时刻的第一影像分时画面与第二影像分时画面叠合成亮度叠加影像分时画面。

在此，更提供一种影像串流画质处理方法，包含以下步骤：由影像撷取模块撷取第一影像串流及第二影像串流，第一影像串流包含多个第一影像分时画面，第一影像分时画面具有相同的一第一曝光值，第二影像串流包含多个第二分时影像画面，第二影像分时画面具有相同的一第二曝光值，在同一时刻的第一影像分时画面对应第二影像分时画面，且第一曝光值大于第二曝光值；由画面侦测单元接收第一影像串流及第一影像串流的第一曝光值，并侦测各第一影像分时画面的第一亮度值，当第一曝光值低于曝光门坎值，且第一亮度值高于亮度门坎值时，产生并输出叠加信号；以及由影像组合单元接收第一影像串流、第二影像串流及叠加信号，当影像组合单元接收到叠加信号时，将对应叠加信号时刻的第一影像分时画面及第二影像分时画面全部叠合以形成亮度叠加分时画面。

在一些实施例中，画面侦测单元在第一曝光值高于曝光门坎值，或第一亮度值高于亮度门坎值时，产生并输出组合信号，当影像组合单元收到组合信号时，将对应组合信号时刻的第一影像分时画面与第二影像分时画面局部叠合成高动态范围分时画面。进一步地，各时刻的亮度叠加分时画面及高动态范围分时画面可以合成为合成影像串流。

在一些实施例中，第一曝光值所对应的第一曝光时间为第二值所对应的第二曝光时间的倍数。

在一些实施例中，曝光门坎值所对应的曝光时间为1/120至1/60秒。进一步地，亮度门坎值为20至80。

在一些实施例中，当画面侦测单元产生并输出叠加信号时，产生回馈信号至影像撷取模块。影像撷取模块收到回馈信号时，再撷取第三影像分时画面，并传送至影像组合单元。当判断第一影像分时画面的第一亮度的两倍是仍低于亮度门坎值时，将第一影像分时画面与第三影像分时画面叠合形成改良亮度分时画面以取代亮度叠加分时画面。若第一影像分时画面的第一亮度的三倍是仍低于亮度门坎值时，可将第一影像分时画面、第二影像分时画面、以及第三影像分时画面叠合形成增强亮度分时画面以取代亮度叠加分时画面。在此，第三影像分时画面所对应的第三曝光值大于第二曝光值，且小于或等于第一曝光值。

由此，在影像串流叠合时，除了能利用高动态范围的方式，使过亮、过暗的地方能够互补调整画质，更能针对受限于影像串流，曝光时间不足，对于画面亮度过暗之处，透过亮度叠合的方式进行亮度补偿，使得对象能清楚解析。从而，影像串流能更符合人眼所观察到的视觉动态范围。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1为影像串流画质处理***的单元示例性示意图；

图2为叠合分时画面一实施例的示例性示意图；

图3为叠合分时画面另一实施例的示例性示意图；

图4为叠合分时画面又一实施例的示例性示意图；

图5为影像串流画质处理方法一实施例的示例性流程图；以及

图6为影像串流画质处理方法一实施例的示例性流程图。

【符号说明】

1 影像串流画质处理***

10 影像撷取模块 20 画面侦测单元

30 影像组合单元 200 图像处理芯片模块

F 回馈信号 F1 第一影像分时画面

F2 第二影像分时画面 F3 第三影像分时画面

FB 改良亮度分时画面 FBI 增强亮度分时画面

FL 亮度叠加分时画面 IS1 第一影像串流

IS2 第二影像串流 ISP 合成影像串流

S1 叠加信号 S2 组合信号

S100 影像串流画质处理方法

S200 影像串流画质处理方法

S10 撷取第一影像串流及第二影像串流

S20 第一影像分时画面的第一曝光值是否小于曝光门坎值

S30 第一影像分时画面的第一亮度值是否小于亮度门坎值

S41 产生并输出叠加信号

S42 产生并输出叠加信号及回馈信号

S43 叠合第一影像分时画面及第二影像分时画面形成亮度叠加影像分时画面

S44 第一影像分时画面的第一亮度值的的两倍是否小于亮度门坎值

S45 叠合第一影像分时画面及第二影像分时画面形成亮度叠加影像分时画面

S46 撷取第三影像分时画面

S47 第一影像分时画面的第亮度值的的三倍是否小于亮度门坎值

S48 叠合第一影像分时画面、第二影像分时画面、及第一影像分时画面形成增强亮度分时画面

S49 叠合第一影像分时画面、及第三影像分时画面形成改良亮度分时画面

S51 产生并输出组合信号

S53 局部叠合第一影像分时画面及第二影像分时画面形成高动态范围分时画面

S60产生合成影像串流

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1为影像串流画质处理***的单元示例性示意图。图2为叠合分时画面一实施例的示例性示意图。如图1-2所示，影像串流画质处理***1包含影像撷取模块10、画面侦测单元20、以及影像组合单元30。影像撷取模块10撷取第一影像串流IS1及第二影像串流IS2。第一影像串流IS1包含多个第一影像分时画面F1，第一影像分时画面F1具有相同的第一曝光值。第二影像串流IS2包含多个第二分时影像分时画面F2，第二影像分时画面F2具有相同的第二曝光值。对应同一时刻的第一影像分时画面F1对应第二影像分时画面F2，且第一曝光值大于第二曝光值。画面侦测单元20通讯连接于影像撷取模块10，并接收第一影像串流IS1及第一影像串流IS1第一曝光值，画面侦测单元20更侦测各第一影像分时画面F1的第一亮度值，画面侦测单元20在第一曝光值低于曝光门坎值，且第一亮度值低于亮度门坎值时，产生并输出叠加信号S1。影像组合单元30通讯连接于影像撷取模块10，接收第一影像串流IS1及第二影像串流IS2。影像组合单元30更连接于画面侦测单元20，并接收叠加信号S1，当影像组合单元30接收到叠加信号S1时，将对应叠加信号S1时刻的第一影像分时画面F1与第二影像分时画面F2叠合(overlapping)成亮度叠加影像分时画面FL。

再次参阅图1，画面侦测单元20在第一曝光值高于曝光门坎值，或第一亮度值高于亮度门坎值时，产生并输出组合信号S2，当影像组合单元30收到组合信号S2时，将对应组合信号S2时刻的第一影像分时画面F1与第二影像分时画面F2局部叠合成高动态范围分时画面。在此，局部叠合成高动态范围分时画面是利用现有技术上各种高动态范围图像处理的技术来达成。

在一些实施例中，影像撷取模块10可以为镜头及感光组件的组合，感光组件可以为感光耦合组件(Charge-coupled Device，CCD)，或是互补式金属氧化物半导体(Complementary Metal-Oxide-Semiconductor，CMOS)感光组件。画面侦测单元20以及影像组合单元30可以整合成一个图像处理芯片模块200。

在一些实施例中，曝光门坎值所对应的曝光时间为1/120至1/60秒，较佳为，1/120秒、1/90秒、1/80秒、1/60秒等。第一曝光值所对应的第一曝光时间为第二曝光值所对应的第二曝光时间的倍数。例如，第一影像串流IS1对应的曝光时间为1/60，而第二影像串流IS1对应的曝光时间为1/540。但实际上并不限于此。

在此，亮度是指第一影像分时画面F1中各像素亮度的平均值，每一像素最高的亮度为255、最低为0。亮度门坎值为20至80。较佳为20、30、40、50、60、70等。如图2所示，在此呈现叠合分时画面一实施例，在此仅以5x5的像素方格做为示例，在实际上像素的数量远多于此，将第一影像分时画面F1与第二影像分时画面F2叠合成亮度叠加影像分时画面FL是指将各像素的亮度直接叠加。如此，每一像素的亮度值值接叠加。

图1为影像串流画质处理***的单元示意图。图3为叠合分时画面另一实施例的示例性示意图、图4为叠合分时画面又一实施例的示例性示意图。再次参阅图1，当画面侦测单元20产生并输出叠加信号时S1，更产生回馈信号F至影像撷取模块10。当影像撷取模块10收到回馈信号F，再撷取一第三影像分时画面F3，并传送至影像组合单元30。第三影像分时画面F3所对应的第三曝光值大于第二曝光值，且小于或等于第一曝光值。影像组合单元30为能选择式地叠合形成亮度叠加分时画面FL，或选择式地将第一影像分时画面与第三影像分时画面F3叠合形成改良亮度分时画面FB。例如，如图3所示，假定设定亮度门坎值为50时，第一分时画面F1的亮度约为23，当第一分时画面F1的亮度的两倍仍低于亮度门坎值时，影像组合单元30将第一影像分时画面与第三影像分时画面F3叠合形成改良亮度分时画面FB。在此，是以5x5的像素方格、第三分时画面F3的亮度等于第一分时画面F1、亮度门坎值为50、第一分时画面F1的亮度的两倍仍低于亮度门坎值为示例，但非用以限制，实际上的操作设定并不限于此。

更进一步地，如图4所示，当设定亮度门坎值为70时，第一分时画面F1的亮度的三倍仍低于亮度门坎值时，影像组合单元30将第一影像分时画面F1、第二影像分时画面F2及第三影像分时画面F3叠合形成改良亮度分时画面FBI。在此，是以5x5的像素方格做为示例、第三分时画面F3的亮度等于第一分时画面F1、亮度门坎值为70、第一分时画面F1的亮度的三倍仍低于亮度门坎值为示例，但非用以限制，实际上并不限于此。实际上也可以采三个与第一影像分时画面F1的画面叠加、亦可以叠加更多个画面，然而，都需以影像撷取模块10的撷取功能而决定。

图5为影像串流画质处理方法一实施例的示例性流程图。如图5所示，并同时参照图1及图2，影像串流画质处理方法S100包含步骤S10、步骤S20、步骤S30、步骤41、以及步骤S43。步骤S10是由影像撷取模块10撷取第一影像串流IS1及第二影像串流IS2，第一影像串流IS1包含多个第一影像分时画面F1，第一影像分时画面F1具有相同的第一曝光值。第二影像串流IS2包含多个第二分时影像画面F2，第二影像分时画面F2具有相同的第二曝光值。在同一时刻的第一影像分时画面F1对应第二影像分时画面F2，且第一曝光值大于该第二曝光值。

步骤S20是由画面侦测单元20接收第一影像串流IS1及第一影像串流IS1的第一曝光值，并判断第一曝光值是否低于曝光门坎值。当判断为是时，进入步骤S30。步骤S30是由画面侦测单元20判断第一影像串流IS1中各第一影像分时画面F1的第一亮度值是否低于亮度门坎值。当判断为是时，进入步骤S41画面侦测单元20产生并输出叠加信号S1至影像组合单元30，并进入步骤S43。

步骤S43由影像组合单元30在接收到叠加信号S1后，将所接收到第一影像串流IS1及第二影像串流IS2中对应叠加信号时刻的第一影像分时画面F1及第二影像分时画面F2全部叠合以形成亮度叠加分时画面FL。

进一步地，如图5所示，影像串流画质处理方法S100更包含步骤S51、步骤S53、及步骤S60。当步骤S20或步骤S30判断为否时，进步步骤S51中。步骤S51是由画面侦测单元20产生并输出组合信号S1至影像组合单元30，并进入步骤S53。步骤S53是当影像组合单元30收到组合信号S2时，将对应组合信号S2时刻的第一影像分时画面F1与第二影像分时画面F2局部叠合成高动态范围分时画面。在此，局部叠合成高动态范围分时画面是利用现有技术上各种高动态范围图像处理的技术来达成。

最后在步骤S43及步骤S53后，进步步骤S60，各时刻经处理后的成高动态范围分时画面及亮度叠加分时画面FL组合成合成影像串流ISP。

图6为影像串流画质处理方法另一实施例的示例性流程图。如图5所示，并同时参照图1、图3、以及图4，影像串流画质处理方法S200包含步骤S10、步骤S20、步骤S30、步骤S42、步骤S44、步骤S45、步骤S46、步骤S47、步骤S48、步骤S49、步骤S51、步骤S53、及步骤S60。其中步骤S10、步骤S20、步骤S30、步骤S51、步骤S53、及步骤S60与前述的实施方是大致相同，在此不再赘述。

在步骤S42中，画面侦测单元20产生并输出叠加信号S1时，同时产生回馈信号F至影像撷取模块10。接着先进入步骤S44，画面侦测单元20判断第一影像串流IS1中各第一影像分时画面F1的第一亮度值的两倍是否低于亮度门坎值。当判断为否时，进入步骤S45、若判断为是时，进入步骤S46。在此，是以第一影像分时画面F1的第一亮度值的两倍是否低于亮度门坎值仅作为判断的示例，并不用以限制。

步骤S45与前述实施例的步骤S43大致相同，在接收到叠加信号S1后，将所接收到第一影像串流IS1及第二影像串流IS2中对应叠加信号时刻的第一影像分时画面F1及第二影像分时画面F2全部叠合以形成亮度叠加分时画面FL。步骤S46，是影像撷取模块10在收到回馈信号F时，撷取第三影像分时画面F3。

步骤S47是画面侦测单元20判断第一影像串流IS1中各第一影像分时画面F1的第一亮度值的三倍是否低于亮度门坎值。当判断为否时，进入步骤S48、若判断为否时，进入步骤S49。在此，是以第一影像分时画面F1的第一亮度值的三倍是否低于亮度门坎值仅作为判断的示例，并不用以限制。

步骤S48是影像组合单元30将第一影像分时画面F1、第二影像分时画面F2、以及第三影像分时画面F3叠合形成增强亮度分时画面FBI。步骤S49是影像组合单元30将第一影像分时画面F1与第三影像分时画面F3叠合形成改良亮度分时画面FB。

在上述实施例中，在影像串流叠合时，除了能利用高动态范围的方式，使过亮、过暗的地方能够互补调整画质，更能针对受限于影像串流的曝光时间不足，对于画面亮度过暗之处，透过亮度叠合的方式进行亮度补偿。从而，整体对象的解析更为清晰，影像串流能更接近人眼所观察到的视觉动态范围。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (15)

1.一种影像串流画质处理***，其特征在于，包含：

一影像撷取模块，撷取一第一影像串流及一第二影像串流，该第一影像串流包含多个第一影像分时画面，该等第一影像分时画面具有相同的一第一曝光值，该第二影像串流包含多个第二分时影像分时画面，该等第二影像分时画面具有相同的一第二曝光值，在同一时刻的该第一影像分时画面对应该第二影像分时画面，且该第一曝光值大于该第二曝光值；

一画面侦测单元，通讯连接于该影像撷取模块，并接收该第一影像串流及该第一影像串流的一第一曝光值，该画面侦测单元还侦测各该第一影像分时画面的一第一亮度值，该画面侦测单元在该第一曝光值低于一曝光门坎值，且该第一亮度值低于一亮度门坎值时，产生并输出一叠加信号；

一影像组合单元，通讯连接于该影像撷取模块，接收该第一影像串流及该第二影像串流，该影像组合单元连接于该画面侦测单元，并接收该叠加信号，当该影像组合单元接收到该叠加信号时，将对应该叠加信号时刻的该第一影像分时画面与该第二影像分时画面叠合成一亮度叠加影像分时画面。

2.如权利要求1所述的影像串流画质处理***，其特征在于，该画面侦测单元在该第一曝光值高于该曝光门坎值，或该第一亮度值高于该亮度门坎值时，产生并输出一组合信号，当该影像组合单元收到该组合信号时，将对应该组合信号时刻的该第一影像分时画面与该第二影像分时画面局部叠合成一高动态范围分时画面。

3.如权利要求1所述的影像串流画质处理***，其特征在于，该第一曝光值所对应的一第一曝光时间为该第二曝光值所对应的一第二曝光时间的倍数。

4.如权利要求1所述的影像串流画质处理***，其特征在于，该曝光门坎值所对应的曝光时间为1/120至1/60秒。

5.如权利要求4所述的影像串流画质处理***，其特征在于，该亮度门坎值为20至80。

6.如权利要求1所述的影像串流画质处理***，其特征在于，当该画面侦测单元产生并输出该叠加信号时，产生一回馈信号至该影像撷取模块，当该影像撷取模块收到该回馈信号，再撷取一第三影像分时画面，并传送至该影像组合单元，该影像组合单元为能选择式地叠合形成该亮度叠加分时画面，或选择式地将该第一影像分时画面与该第三影像分时画面叠合形成一改良亮度分时画面，其中该第三影像分时画面所对应的一第三曝光值大于该第二曝光值，且小于等于该第一曝光值。

7.如权利要求6所述的影像串流画质处理***，其特征在于，该影像组合单元能选择式地将该第一影像分时画面、该第二影像分时画面、以及该第三影像分时画面叠合，以形成一增强亮度分时画面。

8.一种影像串流画质处理方法，其特征在于，包含：

由一影像撷取模块撷取一第一影像串流及一第二影像串流，该第一影像串流包含多个第一影像分时画面，该等第一影像分时画面具有相同的一第一曝光值，该第二影像串流包含多个第二分时影像画面，该等第二影像分时画面具有相同的一第二曝光值，在同一时刻的该第一影像分时画面对应该第二影像分时画面，且该第一曝光值大于该第二曝光值；

由一画面侦测单元接收该第一影像串流及该第一影像串流的该第一曝光值，并侦测该第一影像串流的一第一亮度值，当该第一曝光值低于一曝光门坎值，且该第一亮度值低于一亮度门坎值时，产生并输出一叠加信号；以及

由一影像组合单元接收该第一影像串流、该第二影像串流及该叠加信号，当该影像组合单元接收到该叠加信号时，将对应该叠加信号时刻的该第一影像分时画面及该第二影像分时画面全部叠合以形成一亮度叠加分时画面。

9.如权利要求8所述的影像串流画质处理方法，其特征在于，该画面侦测单元在该第一曝光值高于该曝光门坎值，或该第一亮度值高于该亮度门坎值时，产生并输出一组合信号，当该影像组合单元收到该组合信号时，将对应该组合信号时刻的该第一影像分时画面与该第二影像分时画面局部叠合成一高动态范围分时画面。

10.如权利要求9所述的影像串流画质处理方法，其特征在于，进一步包含将该高动态范围分时画面及该亮度叠加分时画面成合为一合成影像串流。

11.如权利要求8所述的影像串流画质处理方法，其特征在于，该第一曝光值所对应的一第一曝光时间为该第二值所对应的一第二曝光时间的倍数。

12.如权利要求8所述的影像串流画质处理方法，其特征在于，该曝光门坎值所对应的曝光时间为1/120秒至1/60秒。

13.如权利要求12所述的影像串流画质处理方法，其特征在于，该亮度门坎值为20至60。

14.如权利要求8所述的影像串流画质处理方法，其特征在于，进一步包含：

在该画面侦测单元产生并输出该叠加信号时，产生一回馈信号至该影像撷取模块；

该影像撷取模块收到该回馈信号时，再撷取一第三影像分时画面，并传送至该影像组合单元；

判断该第一影像分时画面的该第一亮度的两倍是否低于该亮度门坎值；以及

当该影像组合单元判断该第一影像分时画面的该第一亮度的两倍仍低于该亮度门坎值时，将该第一影像分时画面与该第三影像分时画面叠合形成一改良亮度分时画面以取代该亮度叠加分时画面，其中该第三影像分时画面所对应的一第三曝光值大于该第二曝光值，且小于或等于该第一曝光值。

15.如权利要求14所述的影像串流画质处理方法，其特征在于，进一步包含：

判断该第一影像分时画面的该第一亮度的三倍是否低于该亮度门坎值；以及

当该影像组合单元判断该第一影像分时画面的该第一亮度的三倍低于该亮度门坎值时，将该第一影像分时画面、该第二影像分时画面、以及该第三影像分时画面叠合形成一增强亮度分时画面，取代该亮度叠加分时画面，其中该第三影像分时画面所对应的一第三曝光值大于该第二曝光值，且小于或等于该第一曝光值。