CN112640426B - 用于缓解led闪烁的图像处理*** - Google Patents

Abstract

本申请实施例涉及用于处理图像以检测所述图像内的LED导通脉冲的技术。图像处理设备和方法包括融合处理器和过程，所述融合处理器和过程用于接收连续的长曝光图像和短曝光图像并且输出融合图像，所述融合图像包括相邻连续的长曝光图像和短曝光图像的所添加对应区域。所述图像处理设备和方法还包括LED检测处理器和方法，所述LED检测处理器和方法用于接收所述融合图像、WDR图像以及所述连续的长曝光图像和短曝光图像，并且输出指示每个对应区域是否包括LED闪烁或运动的控制信号。所述图像处理设备和方法还包括混合处理器和方法，所述混合处理器和方法响应于所述控制信号而生成所述连续的长曝光图像和短曝光图像的混合图像。

Description

用于缓解LED闪烁的图像处理***

技术领域

本公开总体上涉及图像处理，并且具体地涉及一种减少图像流中的LED闪烁伪影的图像处理管线。

背景技术

在当前的成像***中，图像光照变化引起照明设备和对象闪烁可能导致对象的部分丢失或对象失真。具体地，发光二极管(light-emitting diode，LED)交通标志(其可以每秒闪烁几百次)以及现代汽车的LED停车灯和前照灯已经被广泛地用于交通控制标志和交通工具部件。然而，这些LED对于当前的图像处理***存在检测问题。通常，图像传感器相对于被捕获的景物异步地获取光。这表示图像的各部分在帧持续时间的部分中可能不会被曝光。当积分时间比闪烁周期短得多时，这对于光照闪烁的对象尤其如此。图像中的区域没有完全曝光于动态景物可能会导致对象失真、饱和度数据丢失和颜色伪影。

交通工具摄像头需要能够捕获具有宽动态范围(wide dynamic range，WDR)光照条件(诸如进入或离开隧道)的图像。这些摄像头中的大多数摄像头配备有具有WDR技术的CMOS传感器。这种WDR传感器的概念是通过组合多个曝光帧来捕获图像，每个曝光帧具有不同的曝光持续时间。WDR模块通过在输入图像内为运动区域以及过饱和区域选择短曝光时间帧来复合图像，同时通过长曝光时间帧来合成暗区域以及非运动区域(没有亮度过饱和)。

短曝光时间有时将导致图像传感器错过LED“导通”脉冲，随后导致图像具有闪烁伪影。这种闪烁问题不仅影响观看体验，而且可能降低在如高级驾驶员辅助***(AdvancedDriver Assistance System，ADAS)之类的***中的判断准确度。

发明内容

根据本公开的一个方面，提供了一种图像处理设备，所述图像处理设备包括融合处理器，所述融合处理器用于接收连续的长曝光图像和短曝光图像，并且生成融合图像，所述融合图像包括相邻连续的长曝光图像和短曝光图像的所添加对应部分。所述图像处理设备还包括LED检测处理器，所述LED检测处理器用于接收所述融合图像、所述连续的长曝光图像和短曝光图像以及从所述连续的长曝光图像和短曝光图像形成的宽动态范围(WDR)图像，并且生成指示所述对应区域是否包括LED闪烁或运动的控制信号。所述图像处理设备还包括混合处理器，所述混合处理器响应于所述控制信号而生成混合图像。

任选地，在前述任一方面中，所述图像处理设备可以用于使得所述融合处理器用于通过将来自所述相邻的长连续图像和短连续图像的像素值相加在一起来输出所述融合图像。任选地，在前述任一方面中，所述图像处理设备可以包括融合处理器，所述融合处理器在所述相邻的长连续图像和短连续图像的对应区域中逐像素添加像素值。任选地，在前述任一方面中，所述图像处理设备可以包括融合处理器，所述融合处理器包括逐像素操作的饱和度检查机制。任选地，在前述任一方面中，所述图像处理设备可以包括混合处理器，所述混合处理器基于所述控制信号从所述融合图像或所述WDR图像或所述融合图像与所述WDR图像的混合中的对应像素值中的一个中选择混合图像的像素值。任选地，在前述任一方面中，所述图像处理设备可以包括LED检测处理器，所述LED检测处理器用于基于所述相邻连续的长图像和短图像中的像素值之间的所述关系来确定两个相邻连续的长曝光图像和短曝光图像、所述融合图像和所述WDR图像的至少对应区域是否包括运动或LED闪烁。任选地，在前述任一方面中，所述混合图像是来自所述WDR图像，来自所述融合图像，或者来自所述WDR与所述融合图像的所述混合。

一个常见方面包括所述图像处理设备，其中所述混合图像包括示出在图像捕获设备的长曝光图像期间的LED光源的图像，所述图像捕获设备捕获并输出所述连续的长曝光图像和短曝光图像。

根据本公开的另一方面，提供了一种用于处理图像的计算机实施的方法，所述方法包括：接收连续的长曝光图像和短曝光图像以及基于相邻连续的长曝光图像和短曝光图像的宽动态范围(WDR)图像。所述计算机实施的方法还包括基于所述相邻连续的长曝光图像和短曝光图像生成融合图像，这种融合图像包括来自所述相邻的长曝光图像和短曝光图像中的每一个的所添加数据。所述计算机实施的方法还包括基于所述融合图像、所述WDR图像和所述相邻连续的长曝光图像和短曝光图像而生成控制信号，这种控制信号指示所述融合图像或所述WDR图像中的像素是否包括LED闪烁。所述计算机实施的方法还包括响应于所述控制信号而生成混合图像。

任选地，在前述任一方面中，所述计算机实施的方法包括生成融合图像，所述生成融合图像包括将来自所述相邻的长连续图像和短连续图像的像素值相加在一起。任选地，在前述任一方面中，所述计算机实施的方法包括生成融合图像，所述融合图像是通过在所述相邻的长连续图像和短连续图像的对应区域中逐像素添加像素值而生成的。任选地，在前述任一方面中，所述计算机实施的方法包括生成融合图像，生成融合图像融合图像包括逐像素限制像素饱和度。任选地，在前述任一方面中，所述计算机实施的方法包括生成混合图像，所述生成混合图像包括基于所述控制信号从所述融合图像中的对应像素值，或所述WDR图像中的对应像素值、或所述融合图像与所述WDR图像两者中的对应像素值中的一个中选择所述混合图像的像素值。任选地，在前述任一方面中，所述计算机实施的方法包括生成控制信号，确定两个相邻连续的长曝光图像和短曝光图像、所述融合图像和所述WDR图像的至少对应区域是否包括运动或LED闪烁。任选地，在前述任一方面中，所述计算机实施的方法包括生成混合图像，所述生成混合图像包括确定所述WDR图像、所述融合图像或所述混合图像中的区域是否过饱和；以及校正过饱和区域。

根据本公开的又一个方面，提供了一种存储用于处理图像的计算机指令的非暂时性计算机可读介质，所述计算机指令在由一个或多个处理器执行时使所述一个或多个处理器执行以下步骤：从图像传感器接收连续的长曝光图像和短曝光图像；基于相邻连续的长曝光图像和短曝光图像生成宽动态范围(WDR)图像；基于所述相邻连续的长曝光图像和短曝光图像生成融合图像，所述融合图像包括来自所述相邻的长曝光图像和短曝光图像中的每一个的所添加数据；以及基于所述融合图像、所述WDR图像和所述相邻连续的长曝光图像和短曝光图像而生成控制信号，所述控制信号指示所述融合图像或所述WDR图像中的像素是否包括LED闪烁。所述非暂时性计算机可读介质还包括通过从所述WDR图像或所述融合图像中的一个或所述混合组合中选择数据来响应于所述控制信号而生成混合图像。

任选地，在前述任一方面中，所述非暂时性计算机可读介质包括生成融合图像，所述生成融合图像包括在所述相邻的长连续图像和短连续图像的对应区域中逐像素将来自所述相邻的长连续图像和短连续图像的像素值相加在一起。任选地，在前述任一方面中，所述非暂时性计算机可读介质包括生成融合图像，所述生成融合图像包括逐像素限制像素饱和度。任选地，在前述任一方面中，所述非暂时性计算机可读介质包括生成控制信号，确定两个相邻连续的长曝光图像和短曝光图像、所述融合图像和所述WDR图像的至少对应区域是否包括运动或LED闪烁。任选地，在前述任一方面中，所述非暂时性计算机可读介质包括生成混合图像，所述生成混合图像包括确定所述WDR图像、所述融合图像或所述混合图像中的区域是否过饱和；以及校正过饱和区域。

本发明内容的提供是为了以简化形式引入下文在具体实施方式中进一步描述的概念的选择。本发明内容不旨在表示所要求保护的主题的关键特征或本质特征，也不旨在用作对确定所要求保护的主题的范围的辅助。所要求保护的主题不限于解决背景技术中提到的任何或所有缺点的实施方式。

附图说明

本公开的各方面通过示例的方式示出，并且不受附图的限制，附图中类似的附图标记指示元件。

图1示出了所有LED部件在其中均可见的LED标志。

图2示出了图1的LED标志，其中所有LED元件由于错误成像而不可见。

图3是示出多重曝光图像传感器的输出时序的时序图。

图4是图像处理***的框图。

图5示出了可以用于实施各种实施例的网络***的框图。

图6是示出在图像处理***中使用的WDR单元的功能的流程图。

图7是示出在图像处理***中使用的融合单元的功能的流程图。

图8是示出LED检测单元的功能的流程图。

图9是示出在图像处理***中使用的混合单元的功能的流程图。

图10是示出由混合处理器或模块执行的过程的过程流程图。

具体实施方式

现在将参考附图描述本公开，附图总体上涉及一种新颖的图像处理***，该图像处理***允许利用常规的CMOS图像检测器来检测环境LED照明，同时防止在最终产生的图像中引入失真和运动伪影。图像处理***包括宽动态范围(WDR)处理器或模块、融合处理器或模块、LED检测处理器或模块以及混合处理器或模块。该***用于从图像传感器接收连续的长曝光图像和短曝光图像。该***使用来自WDR处理器的WDR图像和来自融合处理器的融合图像结合连续的长曝光图像和短曝光图像来检测来自产生长曝光图像和短曝光图像的图像传感器的具有不同脉冲持续时间的LED脉冲。LED检测处理器输出指示连续的长曝光图像和短曝光图像中的对应区域是否包括LED闪烁或运动的控制信号，并且混合处理器生成连续的长曝光图像和短曝光图像与无闪烁最终图像的混合图像。

应当理解，本公开的当前实施例可以许多不同的形式实施，并且权利要求范围不应当被解释为限于本文阐述的实施例。相反，提供这些实施例使得本公开将是彻底和完整的，并且将本公开的实施例概念完全传达给所属领域技术人员。事实上，本公开旨在覆盖包括在由所附权利要求书限定的本公开的精神和范围内的这些实施例的替代物、修改和等同物。此外，在本公开的当前实施例的以下详细描述中，阐述了许多具体细节以提供透彻理解。然而，所属领域的一般技术人员将明白，本公开的当前实施例可以在没有此类具体细节的情况下实践。

图1示出了LED标志100，该LED标志示出了单词“打开(OPEN)”，其中该标志由多个LED灯组成。如图3所示，组成单词OPEN的每个LED具有以10ms间隔重复出现的一系列导通(ON)脉冲。导通脉冲对于人眼是不可检测的，但是可以由成像***检测到。如图3所示，使用CMOS传感器的宽动态范围(WDR)***通过组合多个曝光帧来捕获图像，其中每个曝光帧具有不同的曝光持续时间。图3在220处示出了长连续曝光帧和短连续曝光帧时序。在本公开的上下文中，术语“帧”与术语“图像”同义地使用，因为帧可以包括构成完整运动画面的许多静止图像中的一个。

由于长曝光帧与短曝光帧之间的曝光时序，成像***可能会错过LED标志的曝光脉冲，从而导致图像如图2所示地呈现为：部分或全部曝光不足的图像。

如图3所示，示出了适于输出连续的长曝光图像和短曝光图像的图像捕获传感器与LED“导通”脉冲之间的时序差异。时序图210示出了LED的连续周期性脉冲。在一个实施例中，LED导通脉冲每10ms重复一次，但是周期可以更长或更短，这取决于LED制造商和LED的使用。图像捕获传感器依次捕获长曝光(242、244、246)和短曝光(232、234、236)。在包括长曝光242和短曝光232的第一捕获序列250期间，短曝光232将会捕获对应LED脉冲213的部分曝光数据，而长曝光242将会捕获来自脉冲212和213的数据。在包括长曝光244和短曝光234的第二捕获序列252期间，短曝光234将不会捕获LED脉冲214或215的曝光数据，而长曝光244将会捕获来自脉冲214的数据的完全曝光。在包括长曝光246和短曝光236的第三捕获序列254期间，短曝光236将再次仅捕获对应LED脉冲216的部分曝光数据，而长曝光246将会捕获来自脉冲215的数据的完全曝光。

常规的WDR传感器的所检测图像由运动区域以及过饱和区域中的短曝光帧复合。另一方面，暗区域以及非运动区域(没有亮度过饱和)、图像可以由长曝光帧合成。这导致标记100如图2所示呈现。

图4示出了根据本技术的图像信号处理器(image signal processor，ISP)。ISP400耦合到多重曝光传感器410，并且包括融合处理器420、WDR处理器430、LED脉冲检测处理器440和混合处理器450。多重曝光传感器410提供连续的长曝光图像或帧和短曝光图像或帧。将从多重曝光传感器410输出的曝光数据提供给融合处理器420、WDR处理器430和LED脉冲检测处理器440。

融合处理器420将来自连续的长图像和短图像的多个曝光数据相加在一起。在相邻的长图像和短图像中的像素的相应区域上逐像素执行多重曝光数据的相加。一方面，区域可以是帧中的像素区域。区域可以由宽度上的像素数和高度上的像素数定义。在一个实施例中，区域可以包括包含30像素宽×5像素高区域的区域。像素在帧内被布置成一系列行和列，因此区域可以具有在相邻帧(下一连续长帧或短帧)中位于相邻帧中的相同行和列区域处的相同对应区域。在一个实施例中，融合处理器420可以包括饱和检查机制以限制最终输出像素值，从而避免亮曝光区域中的过饱和。在替代实施例中，在融合处理器中不使用过饱和机制，并且在混合处理器450中可能发生过饱和处理。

融合处理器420的输出包括提供给LED脉冲检测处理器440和混合处理器450的融合图像。

WDR处理器430输出宽动态范围图像(WDR图像)。WDR图像是清晰的、没有运动模糊的图片。为了输出WDR图像，WDR处理器430用于通过将长曝光时间帧与短曝光时间帧进行比较来检测潜在运动。因此，它可以将LED的开关脉冲识别为运动。当这种情况发生时，WDR处理器430输出短曝光时间帧，并且如上面关于图3所讨论的，短曝光时间帧经常错过LED光的“导通”脉冲。将WDR图像输出到LED脉冲检测处理器440和混合处理器450。在一个实施例中，WDR处理器430可以包括饱和度检查机制以避免WDR图像的亮曝光区域中的过饱和。在替代实施例中，在WDR处理器430中不使用过饱和机制，并且在混合处理器450中可能发生过饱和处理。

LED脉冲检测处理器440确定输入图像内的区域是否在LED闪烁区域内。因为运动区域可能看起来类似于LED闪烁，所以LED检测器判断原始曝光输入是否包括真实运动区域或LED闪烁。如果这种判断不正确，则将在输出图像中引起运动模糊或运动不连续性伪影。LED脉冲检测处理器440使用来自多重曝光传感器410的原始曝光数据、来自融合处理器420的融合图像和来自WDR处理器430的WDR图像来做出关于区域是LED脉冲还是运动的这种判断。如下所述，LED脉冲检测处理器440向混合处理器450输出控制信号，该控制信号指示混合处理器450如何处理最终混合图像中的区域。

混合处理器450创建并输出混合图像，包括融合图像与WDR图像的合成。根据来自LED脉冲检测处理器440的信息，混合图像提供的是WDR图像与融合图像的混合结果。当区域包括LED源时，混合图像是成像区域的更精确表示。如上所述，在其中WDR处理器430和融合处理器420不包括控制它们相应的输出图像中的过饱和的过饱和机制的实施例中，混合处理器450可以包括过饱和机制。

图4所示的处理器中的每一个可以包括专门用于执行本文所述功能的电路。每个处理器同样可以包括任何适当的可编程硬件元件，诸如可编程处理电路。每个处理器可以作为单独的电路元件提供给其它处理器，或者处理器可以共享它们的一些或全部处理电路。前述处理器中的每一个可以由一根或多根***总线耦合，该***总线在功能上由链接各种处理器之间的数据的箭头来示出。指示数据流的箭头不应被认为指示处理器之间的数据或控制总线的布置数量，而仅仅示出处理器之间的数据流。

图5是可以用于实施各种实施例的网络设备500的框图。特定网络设备可以利用所有示出的部件，或者仅利用部件的子集，并且集成水平可以随设备而变化。此外，网络设备500可以包含部件的多个实例，诸如多个处理单元、处理器、存储器、发射机、接收机等。网络设备500可以包括与总线570连接的中央处理单元(central processing unit，CPU)510、存储器520、大容量存储设备530和I/O接口560。总线570可以是任何类型的若干总线架构中的一个或多个，包括存储器总线或存储器控制器、***总线等。

多重曝光传感器590耦合到总线570，并且可以等效于关于图4所讨论的多重图像传感器410。传感器590耦合到总线570并且将连续的长曝光图像和短曝光图像输出到可以由CPU操作的存储器520。

CPU 510可以包括任何类型的电子数据处理器。存储器520可以包括任何类型的***存储器，诸如静态随机存取存储器(static random access memory，SRAM)、动态随机存取存储器(dynamic random access memory，DRAM)、同步DRAM(synchronous DRAM，SDRAM)、只读存储器(read-only memory，ROM)、其组合等。在一个实施例中，存储器520可以包括用于在启动时使用的ROM，以及在执行程序时用于程序和数据存储的DRAM。在实施例中，存储器520是非暂时性的。在一个实施例中，存储器520包括融合模块520A，该融合模块可以包括使CPU 510将来自连续的长脉冲和短脉冲的多重曝光数据相加在一起的指令，以及任选地包括用于实施饱和度检查机制以限制融合图像中的最终输出像素值从而避免亮曝光区域中的过饱和的指令。存储器520可以进一步包括WDR模块520B，该WDR模块包括使CPU 510以与WDR处理器430等效的方式创建和输出WDR图像的指令。存储器520可以进一步包括LED脉冲检测模块520C，该LED脉冲检测模块包括使CPU 510确定来自曝光传感器590的输入融合图像、WDR图像和连续的长曝光图像和短曝光图像内的对应区域是否在LED 闪烁区域内的指令，该LED脉冲检测模块以等效于LED脉冲检测处理器440的方式进行操作。存储器520的混合模块520D包括使CPU 510创建和输出混合图像的指令，该指令包括融合图像与WDR图像的合成，并且提供图像内的区域是否是LED的更准确表示。混合模块520D以等效于混合处理器450的方式进行操作。混合模块520D可以任选地包括用于实施饱和度检查机制以限制混合图像中的最终输出像素值从而避免亮曝光区域中的过饱和度的指令，其中这种饱和度检查任选地不包括在WDR模块520B和/或融合模块520A中。

大容量存储设备530可以包括用于存储数据、程序和其它信息并且使数据、程序和其它信息可经由总线570访问的任何类型的存储设备。大容量存储设备530可以包括例如固态驱动器、硬盘驱动器、磁盘驱动器、光盘驱动器等中的一个或多个。

网络设备500还包括一个或多个网络接口550，该网络接口可以包括诸如以太网电缆等有线链路和/或到接入节点或一种或多种网络580的无线链路。网络接口550允许网络设备500经由网络580与远程单元通信。例如，网络接口550可以经由一个或多个发射机/发射天线和一个或多个接收机/接收天线提供无线通信。在一个实施例中，网络设备500耦合到局域网或广域网580以用于数据处理和与诸如其它处理单元、因特网、远程存储设施等远程设备的通信。

图6是示出根据该技术的由WDR处理器或WDR模块520B执行的过程的流程图。在600处，图像传感器410或590捕获多个连续的长图像和短图像。应理解，图像传感器的捕获操作不是WDR处理器执行的操作的一部分，并且图像传感器410或590可以是用于捕获和输出多个连续的长曝光图像和短曝光图像的许多常规的基于CMOS技术的图像传感器中的任一种。

在610处，WDR处理器430或WDR模块520B接收连续的长曝光图像和短曝光图像流。在620处，将长曝光时间帧与短曝光时间帧进行比较。这种比较可以逐区域发生，并且针对连续帧或多个连续(长和短)帧中的对应区域而发生。在630处，确定图像(或区域)是否包括运动。该确定可以是比较相邻图像中和区域内的曝光数据以分析区域内的紧密像素中的类似曝光数据是否出现在连续图像中的结果。如果是，则可以确定运动。如果在630处确定运动，则在650处基于630处的比较来输出包括长曝光图像与短曝光图像的混合WDR图像作为WDR图像。如果确定图像中没有运动，则在640处输出作为WDR图像的长曝光图像。

图7是示出由融合处理器420(或融合模块520A)执行的过程的流程图。在700处，融合处理器420或融合模块520A接收连续的长曝光图像和短曝光图像流。应理解，连续的长曝光图像和短曝光图像流的时间序列将与由WDR处理器(或WDR模块430)和LED检测处理器440(或LED检测模块520C)接收的流进行时间同步，使得所有处理器(或模块)对该流内的相同时间序列图像进行操作。

在710处，对于两个连续图像内的每个公共区域，以及在720处，对于每个公共区域内的每个像素，重复730至770处的步骤以生成融合图像。在730处，对准并确定相邻连续的短曝光图像和长曝光图像中的公共区域。如所述，公共区域可以是相对于连续图像或多个连续图像中的图像行和列位置的相同区域。该过程可以被执行两个相邻图像或多个连续图像。在740处，将短曝光图像中的像素数据添加到相邻连续的长曝光图像中的像素数据。在750处，如果所添加数据超过强度阈值，则使用饱和度检查机制来对输出图像应用颜色校正。在750处，如果连续帧中的所添加数据在添加时超过强度阈值，则在760处应用颜色校正。可以通过被设计使得不发生像素/区域的过饱和的过程将阈值设定为任何合适的水平。在760处的颜色校正可以包括将乘数因子应用于强度数据以减小来自将对融合图像有贡献的长曝光图像或短曝光图像中的一个或多个的数据的强度。在770处，输出所添加像素数据(或颜色校正后的数据)并且移动该过程，因此处理下一像素和下一区域，直到处理图像中的所有区域为止。一旦在780处理了所有区域，就生成整个融合图像。

图8是示出由LED脉冲检测处理器440或LED脉冲检测模块520C执行的过程的流程图。在800处，LED脉冲检测处理器440或LED脉冲检测模块520C接收连续的长曝光图像和短曝光图像流。同样，当由LED脉冲检测处理器440或LED脉冲检测模块520C接收时，连续的长曝光图像和短曝光图像流将与融合图像和WDR图像进行时间同步。

在810处，对于两个连续图像内的每个共同区域，以及在820处，对于每个共同区域内的每一像素，重复830至870处的步骤以生成到混合处理器450或混合模块520D的控制信号，该控制信号指示混合处理器450或混合模块520D如何处理混合图像。在830处，如在步骤730中那样对准并确定相邻连续的短曝光图像和长曝光图像中的公共区域。

在840处，将短曝光图像、相邻连续的长曝光图像、融合图像和WDR图像中的像素数据进行比较。在850处，基于每个对应区域和每个像素中的数据，确定像素/区域是否包含运动或LED脉冲。图9示出了关于步骤850的附加细节。如果对应区域中的像素被确定为LED，则在860处(对于每个确定的像素)输出控制信号，该控制信号基于LED的确定为对最终帧的像素贡献加权。然后将来自反映该输出的相应融合或WDR图像的强度数据用于混合图像。(通常，这可能是融合图像或WDR图像中的较大者对混合图像的对应区域中的像素/区域的较高强度贡献)。如果对应区域中的像素被确定为运动，则在870处(对于每个确定的像素)输出控制信号，该控制信号基于运动的确定为对最终帧的像素贡献加权。在880处，对于图像中的每个像素和区域继续该过程。

图9是示出执行图8中的步骤850(确定图像是否包括运动或LED脉冲)的一个实施例的流程图。在900处，该过程将来自长曝光图像(LONG)、短曝光图像(SHORT)(在时间上与长曝光图像相邻)、融合图像数据和WDR图像数据(其是以下项中的一项：LONG图像数据、SHORT图像数据，或者LONG图像数据与SHORT图像数据的混合)的数据作为输入，该融合图像数据可以是LONG数据和SHORT数据的相加或者是用于LONG和SHORT数据的颜色校正后的输出。LED的脉冲频率范围非常宽，并且场中的LED可能在图像中具有带不同频率的许多LED。当存在LED闪烁时，长曝光像素值与短曝光像素值之间的差值非常大(LONG_t>>SHORT_t)。对于运动对象，前一对LONG_t-1和SHORT_t-1的关系将是(LONG_t-1≈SHORT_t-1)。然而，对于真正的LED闪烁，前一对LONG_t-1和SHORT_t-1将仍然是(LONG_t-1>>SHORT_t-1)。

示出了一种情况来确定是否需要执行分析(步骤910)或者基于该数据是否可以确定LED脉冲(步骤920或930)。

在940处，如果步骤910为真或者920和930为假，则进行分析。在910处，LONG图像数据在强度上比SHORT图像数据高得多。在这种情况下，这个区域中的融合图像很可能包含颜色校正(混合)的数据集，而WDR图像很可能包含SHORT图像数据(很可能已经确定了原始数据中的运动)。如果步骤910为真，则该过程移动到步骤940，其中通过将先前的LONG图像和SHORT图像的状态与当前的LONG图像和SHORT图像进行比较来进一步确定是否存在LED脉冲。如果存在LED脉冲，则这两对LONG图像和SHORT图像的状态将是类似的。

在920处，SHORT图像数据在强度上比LONG图像数据高得多。在这种情况下，这个区域中的融合图像很可能包含SHORT数据，而WDR图像很可能包含SHORT图像数据(很可能已经确定了原始数据中没有运动)。在930处，LONG图像数据在强度上接近SHORT图像数据。在这种情况下，这个区域中的融合图像将可能包含混合数据，并且来自WDR的图像将是混合数据。如果920或930为真，则通过该方法确定在该区域中不存在LED。

由LED确定处理器输出的控制信号允许混合处理器确定WDR图像数据或融合图像数据或WDR图像与融合图像的混合是否将用于输出图像。如下所述，混合处理器逐像素从WDR图像或融合图像中的一个中选择数据来生成混合图像。因此，在允许使用标准CMOS传感器技术的同时，混合图像与标准WDR图像相比更准确地检测图像内的LED照明。

图10示出了由混合处理器450或混合模块520D执行的过程。混合处理器450或混合模块520D在1000处将融合图像作为输入以及在1010处将WDR图像作为输入。在1020处对于融合图像和WDR图像的每一个中的每一个像素，在1030处并且响应于来自LED检测处理器的控制信号，混合处理器450或混合模块520D选择融合图像或WDR图像或这两个图像的混合版本的像素值以用于混合图像。在1070处，对每个像素继续该过程，直到处理完所有像素为止，此时在1080处，该过程输出改善了LED检测的最终混合图像。这样，混合处理器450或混合模块520D将输出以下图像中的一个：WDR图像、融合图像，或WDR图像与融合图像的混合。如果LED检测处理器440或模块520C可以确定像素在LED闪烁区域中，则混合处理器450或混合模块520D将输出该像素的融合结果。另一方面，如果LED检测处理器440或模块520C可以确定像素在运动区域中，则混合处理器450或混合模块520D将输出该像素的WDR结果。然而，如果不能肯定地确定像素在LED闪烁区域或运动区域中，则混合处理器450或混合模块520D将输出该像素的WDR图像和融合图像的混合结果。所有模块的操作均是基于像素的。为了提高准确度，检测操作还将参考目标像素的周围像素，它将是基于区域的。

该技术可以进一步包括：装置400，用于接收从图像传感器410输出的连续的长曝光图像和短曝光图像；装置430，用于基于相邻连续的长曝光图像和短曝光图像生成宽动态范围(WDR)图像；装置420，用于基于相邻连续的长曝光图像和短曝光图像生成融合图像，该融合图像包括来自相邻的长曝光图像和短曝光图像中的每一个的所添加数据；装置440，用于基于融合图像、WDR图像和相邻连续的长曝光图像和短曝光图像而生成控制信号，该控制信号指示融合图像或WDR图像中的像素是否包括LED脉冲；以及装置450，用于通过从WDR图像或融合图像中的一个中选择数据来响应于控制信号而生成混合图像。

如上所述，在本文讨论的图像处理技术改善了用于多种应用的LED检测。该技术允许常规的CMOS图像传感器与WDR处理器或模块输出一起使用，同时缓解最终混合图像中的LED闪烁。因此，制造成本可以相对较低。另外，与常规的LED捕获和检测过程相比，该技术还可以从信噪比(signal to noise ratio，SNR)的角度改善图像质量。如本文讨论的WDR处理器或模块的输出是包括LONG曝光帧与SHORT曝光帧的组合的WDR图像。这个WDR图像的混合比取决于LONG曝光数据与SHORT曝光数据的差值。对于运动区域中的像素，这个差值将变得更大，随后输出像素将包括更多的SHORT曝光数据。另一方面，如果像素处于静止且明亮的区域中，则该差值将更小，随后输出像素将包括更多的LONG曝光数据。通常，SHORT曝光数据具有较少的运动模糊，但是比LONG曝光数据噪声更大。当所检测像素处于静止但较暗区域中时，WDR模块的输出可以包括更多的SHORT曝光数据，因为其对应的SHORT曝光像素的噪声更大，随后该差值可能变得更大。为了避免这种不准确的检测，LED脉冲检测处理器440或模块520C可以用于检查前一对(LONG_t-1、SHORT_t-1)的差值和当前对(LONG_t、SHORT_t)的差值之间的关系。如果这两个差值是类似的，则所检测像素在LED闪烁区域或静止区域中，混合模块将输出最终数据中更高比例的融合数据。如上所述，融合图像是添加LONG图像数据和SHORT图像数据而不是仅仅SHORT图像数据的结果。因此，混合图像的SNR将优于噪声环境中的WDR图像输出。

本文公开了一种图像处理设备，包括：融合处理器，用于接收连续的长曝光图像和短曝光图像，并且生成融合图像，所述融合图像包括相邻连续的长曝光图像和短曝光图像的所添加对应部分；LED检测处理器，用于接收所述融合图像、所述连续的长曝光图像和短曝光图像以及从所述连续的长曝光图像和短曝光图像形成的宽动态范围(WDR)图像，并且生成指示所述对应区域是否包括LED闪烁或运动的控制信号；以及混合处理器，所述混合处理器响应于所述控制信号而生成混合图像。

所述图像处理设备可以包括前述图像处理设备，其中所述融合处理器用于通过将来自所述相邻的长连续图像和短连续图像的像素值相加在一起来输出所述融合图像。

所述图像处理设备可以包括前述任一图像处理设备，其中所述融合处理器在所述相邻的长连续图像和短连续图像的对应区域中逐像素添加像素值。

所述图像处理设备可以包括前述任一图像处理设备，其中所述融合处理器包括逐像素操作的饱和度检查机制。

所述图像处理设备可以包括前述任一图像处理设备，其中所述混合处理器基于所述控制信号从所述融合图像或所述WDR图像或所述融合图像与所述WDR图像的组合中的对应像素值中的一个中选择混合图像的像素值。

所述图像处理设备可以包括前述任一图像处理设备，其中所述LED检测处理器用于基于所述相邻连续的LONG图像和SHORT图像中的像素值之间的所述关系来确定两个相邻连续的LONG曝光图像和SHORT曝光图像、所述融合图像和所述WDR图像的至少对应区域是否包括运动或LED脉冲。

所述图像处理设备可以包括前述任一图像处理设备，其中所述WDR处理器、所述融合处理器和所述混合处理器中的一个确定区域是否过饱和并且校正所述过饱和区域。

所述图像处理设备可以包括前述任一图像处理设备，其中所述混合图像包括示出在图像捕获设备的长曝光图像期间的LED的图像，所述图像捕获设备捕获并输出所述连续的长连续曝光图像和短连续曝光图像。

还公开了一种用于处理图像的计算机实施的方法，包括：接收连续的长曝光图像和短曝光图像以及基于相邻连续的长曝光图像和短曝光图像的宽动态范围(WDR)图像；基于所述相邻连续的长曝光图像和短曝光图像生成融合图像，所述融合图像包括来自所述相邻的长曝光图像和短曝光图像中的每一个的所添加数据；基于所述融合图像、所述WDR图像和所述相邻连续的长曝光图像和短曝光图像而生成控制信号，所述控制信号指示所述融合图像或所述WDR图像中的像素是否包括LED闪烁；以及通过从以下各项中的一项中选择数据来响应于所述控制信号而生成混合图像：WDR图像或所述融合图像，或两者。

所述计算机实施的方法可以包括前述任一计算机实施的方法，其中生成融合图像包括将来自所述相邻的长连续图像和短连续图像的像素值相加在一起。

所述计算机实施的方法可以包括前述任一计算机实施的方法，其中生成融合图像包括在所述相邻的长连续图像和短连续图像的对应区域中逐像素添加像素值。

所述计算机实施的方法可以包括前述任一计算机实施的方法，其中生成融合图像包括逐像素限制像素饱和度。

所述计算机实施的方法可以包括前述任一计算机实施的方法，其中生成混合图像包括基于所述控制信号从所述融合图像或所述WDR图像或所述融合图像与所述WDR图像的组合中的对应像素值中的一个中选择所述混合图像的像素值。

所述计算机实施的方法可以包括前述任一计算机实施的方法，其生成控制信号以基于所述相邻连续的LONG图像和SHORT图像中的像素值之间的所述关系来确定两个相邻连续的长曝光图像和短曝光图像、所述融合图像和所述WDR图像的至少对应区域是否包括运动或LED闪烁。

所述计算机实施的方法可以包括前述任一计算机实施的方法，其中生成混合图像包括确定所述WDR图像、所述融合图像或所述混合图像中的区域是否过饱和；以及校正所述过饱和区域。

还公开了一种存储用于处理图像的计算机指令的非暂时性计算机可读介质，所述计算机指令在由一个或多个处理器执行时使所述一个或多个处理器执行以下步骤：接收连续的长曝光图像和短曝光图像，以及基于相邻连续的长曝光图像和短曝光图像的宽动态范围(WDR)图像；基于所述相邻连续的长曝光图像和短曝光图像生成融合图像，所述融合图像包括来自所述相邻的长曝光图像和短曝光图像中的每一个的所添加数据；基于所述融合图像、所述WDR图像和所述相邻连续的长曝光图像和短曝光图像而生成控制信号，所述控制信号指示所述融合图像或所述WDR图像中的像素是否包括LED闪烁；以及通过从所述WDR图像或所述融合图像中的一个中选择数据来响应于所述控制信号而生成混合图像。

所述非暂时性计算机可读介质可以包括前述任一非暂时性计算机可读介质，其中生成融合图像包括在所述相邻的长连续图像和短连续图像的对应区域中逐像素将来自所述相邻的长连续图像和短连续图像的像素值相加在一起。

所述非暂时性计算机可读介质可以包括前述任一非暂时性计算机可读介质，其中生成融合图像包括逐像素限制像素饱和度。

所述非暂时性计算机可读介质可以包括前述任一非暂时性计算机可读介质，其中基于所述融合图像而生成控制信号基于所述前几对LONG图像和SHORT图像与当前几对LONG图像和SHORT图像之间的差值来确定两个相邻连续的长曝光图像和短曝光图像、所述融合图像和所述WDR图像的至少对应区域是否包括运动或LED导通脉冲。

所述非暂时性计算机可读介质可以包括前述任一非暂时性计算机可读介质，其中生成混合图像包括确定所述WDR图像、所述融合图像或所述混合图像中的区域是否过饱和；以及校正过饱和区域。

应理解，本发明可以具体体现为许多不同的形式且不应被解释为仅限于本文所阐述的实施例。相反，提供这些实施例使得本主题将是彻底和完整的，并且将向所属领域技术人员充分传达本公开。事实上，本主题旨在覆盖包括在由所附权利要求书限定的本主题公开的精神和范围内的这些实施例的替代物、修改和等同物。另外，在以下本请求保护的主题的详细描述中，阐述了许多特定细节以便提供对本请求保护的主题的透彻理解。然而，所属领域的普通技术人员将清楚到，可以在没有这样具体细节的情况下实践本请求保护的主题。

本文参考根据本公开的实施例的方法、装置(***)和计算机程序产品的流程图和/或框图来描述本公开的各方面。应理解，流程图和/或框图中的每个框以及流程图和/或框图中的框组合可以由计算机程序指令来实施。这些计算机程序指令可以提供通用计算机、专用计算机的处理器或其它可编程数据处理装置来启动机器，使得经由计算机的处理器或其它可编程指令执行装置执行的指令产生用于实施流程图和/或框图框或多个框中指定的功能/动作的机制。

计算机可读非暂时性介质包括所有类型的计算机可读介质，包括磁存储介质、光存储介质和固态存储介质，并且具体地排除信号。应理解，软件可以安装在设备中并与设备一起出售。任选地，可以获得软件并将其加载到设备中，包括经由盘介质或从任何形式的网络或分发***获得软件，包括例如从软件创建者拥有的服务器或从软件创建者不拥有但使用的服务器获得软件。例如，可以将软件存储在服务器上以便通过因特网进行分发。

计算机可读存储介质排除传播信号本身，可以由计算机和/或处理器访问，并且包括可移动和/或不可移动的易失性和非易失性内部和/或外部介质。对于计算机，各种类型的存储介质适应以任何合适的数字格式存储数据。所属领域的技术人员应理解，可以采用其它类型的计算机可读介质，诸如压缩驱动器(zip drive)、固态驱动器、磁带、闪存卡、闪存驱动器、盒式磁带等，用于存储用于执行所公开的架构的新颖方法(动作)的计算机可执行指令。

本文中所用的术语仅仅是出于描述特定方面的目的，并且并不打算限制本公开。除非上下文清楚说明，否则本文所用的单数形式“一”和“所述”包括其复数形式。应进一步理解，本说明书中所用的术语“包括”用于说明存在所述特征、整数、步骤、操作、元件和/或部件，但并不排除存在或添加一个或多个其它特征、整数、步骤、操作、元件、部件和/或它们的组合。

已经出于说明和描述的目的呈现了对本公开的描述，但并不旨在穷举或将本公开限制为所公开的形式。在不偏离本公开的范围和精神的前提下，多种修改和改变对所属领域技术人员而言是显而易见的。选择和描述的本公开各个方面以便更好地解释本公开的原理和实际应用，并且使本领域技术人员能够理解本公开适合预期特定用途的各种修改。

为了本文档的目的，与所公开的技术相关联的每个过程均可以连续地并且由一个或多个计算设备来执行。过程中的每个步骤可以由与其它步骤中使用的那些相同或不同的计算设备来执行，并且每个步骤不必由单个计算设备来执行。

虽然已经以特定于结构特征和/或方法动作的语言描述了主题，但是应理解，权利要求书定义的主题不必局限于上面描述的具体特征或动作。相反，上文所述的具体特征和动作被公开为实施权利要求的示例性形式。

Claims (18)

1.一种图像处理设备，其特征在于，包括：

融合处理器，用于接收连续的长曝光图像和短曝光图像，并且生成融合图像，所述融合图像包括相邻连续的长曝光图像和短曝光图像的添加的对应区域；

LED检测处理器，用于接收所述融合图像、所述连续的长曝光图像和短曝光图像以及从所述连续的长曝光图像和短曝光图像形成的宽动态范围WDR图像，并且生成控制信号，所述控制信号用于指示对应区域是否包括LED闪烁或运动；以及

混合处理器，响应于所述控制信号而生成混合图像。

2.根据权利要求1所述的图像处理设备，其特征在于，所述融合处理器用于通过将来自所述相邻的长连续图像和短连续图像的像素值相加在一起来输出所述融合图像。

3.根据权利要求1至2中任一项所述的图像处理设备，其特征在于，所述融合处理器在所述相邻的长连续图像和短连续图像的对应区域中逐像素添加像素值。

4.根据权利要求1至2中任一项所述的图像处理设备，其特征在于，所述融合处理器包括逐像素操作的饱和度检查机制。

5.根据权利要求1至2中任一项所述的图像处理设备，其特征在于，所述混合处理器基于所述控制信号从所述融合图像、所述WDR图像或所述融合图像与所述WDR图像的组合中的对应像素值中选择一个作为所述混合图像的像素值。

6.根据权利要求1至2中任一项所述的图像处理设备，其特征在于，所述LED检测处理器用于基于所述相邻连续的长图像和短图像中的像素值之间的关系来确定两个相邻连续的长曝光图像和短曝光图像、所述融合图像和所述WDR图像的至少一个对应区域是否包括运动或LED脉冲。

7.根据权利要求1至2中任一项所述的图像处理设备，其特征在于，WDR处理器、所述融合处理器和所述混合处理器中的一个确定一个区域是否过饱和并且校正所述过饱和区域。

8.根据权利要求1至2中任一项所述的图像处理设备，其特征在于，所述混合图像包括在图像捕获设备的长曝光图像期间显示LED的图像，所述图像捕获设备捕获并输出所述连续的长曝光图像和短曝光图像。

9.一种图像处理的方法，其特征在于，包括：

接收连续的长曝光图像和短曝光图像以及基于相邻连续的长曝光图像和短曝光图像的宽动态范围WDR图像；

基于所述相邻连续的长曝光图像和短曝光图像生成融合图像，所述融合图像包括添加数据，所述添加数据来自所述相邻的长曝光图像和短曝光图像中的每一帧图像；

基于所述融合图像、所述WDR图像和所述相邻连续的长曝光图像和短曝光图像生成控制信号，所述控制信号指示所述融合图像或所述WDR图像中的像素是否包括LED闪烁；以及

响应于所述控制信号生成混合图像。

10.根据权利要求9所述的图像处理的方法，其特征在于，所述生成融合图像包括将来自所述相邻的长连续图像和短连续图像的像素值相加在一起。

11.根据权利要求9至10中任一项所述的图像处理的方法，其特征在于，所述生成融合图像包括在所述相邻的长连续图像和短连续图像的对应区域中逐像素添加像素值。

12.根据权利要求9至10中任一项所述的图像处理的方法，其特征在于，所述生成融合图像包括逐像素限制像素饱和度。

13.根据权利要求9至10中任一项所述的图像处理的方法，其特征在于，所述生成所述混合图像包括基于所述控制信号从所述融合图像、所述WDR图像或所述融合图像与所述WDR图像的组合中的对应像素值中选择一个作为所述混合图像的像素值。

14.根据权利要求9至10中任一项所述的图像处理的方法，其特征在于，所述方法还包括：基于所述相邻连续的长图像和短图像中的像素值之间的关系来确定两个相邻连续的长曝光图像和短曝光图像、所述融合图像和所述WDR图像的至少一个对应区域是否包括运动或LED闪烁。

15.根据权利要求9至10中任一项所述的图像处理的方法，其特征在于，所述生成混合图像包括确定所述WDR图像、所述融合图像或所述混合图像中的区域是否过饱和；校正任何过饱和。

16.根据权利要求9至10中任一项所述的图像处理的方法，其特征在于，所述混合图像包括在图像捕获设备的长曝光图像期间显示LED的图像，所述图像捕获设备捕获并输出所述连续的长曝光图像和短曝光图像。

17.一种存储用于处理图像的计算机指令的非暂时性计算机可读介质，其特征在于，所述计算机指令在由一个或多个处理器执行时使所述一个或多个处理器执行如权利要求9至16任一项所述的图像处理的方法。

18.一种图像处理的装置，其特征在于，所述装置包括处理器和接口电路，所述处理器被配置为调用存储在存储器中的计算机指令，以执行如权利要求9至16任一项所述的图像处理的方法。

Images