CN110661982A - 图像传感器成像中led频闪抑制的方法 - Google Patents

Abstract

本发明提出一种图像传感器成像中LED频闪抑制的方法，所述方法采用图像传感器像素阵列中的像素以3×3结构为单位设置为一个像素单元，每个像素单元的中心像素设为第一组像素，四周八个像素设为第二组像素；第一组像素和第二组像素分别设置不同的曝光时间和转换增益，第一组像素设置较长的曝光时间，第二组像素设置较高的转换增益；所述第一组像素和第二组像素在一帧内完成曝光，逐行交替输出为两帧图像数据。后端处理将两帧图像合成为一帧具有高动态范围的图像输出。本发明提出发明方案能有效抑制图像传感器输出图像时LED信号光源所产生的闪烁问题，同时能够有效提高图像传感器输出图像的动态范围。

Description

图像传感器成像中LED频闪抑制的方法

技术领域

本发明涉一种图像传感器的图像处理技术，尤其涉及一种抑制图像传感器应用过程中针对LED光源产生的频闪问题，同时可提高输出动态范围的方法。

背景技术

随着LED技术的发展及广泛应用，我们生活环境中使用的交通信号灯，汽车照明灯，及其他标识指示灯等在各种场景中可常见应用。LED光源具有体积小发光效率高，稳定性好，且使用寿命长等多种技术优势，在照明领域已经逐渐取代了传统光源的使用。由于LED光源驱动采用PWM(Pulse Width Modulation，脉冲宽度调制)方式，其一般以大于90Hz以上频率闪烁达到人肉眼无法识别其开关的状态正常工作。

图1为图像传感器应用中LED光源闪烁影响的原理示意图。如图1中所示，在输出显示的图像帧中第N，N+1，N+2…帧中，其对应LED光源脉冲的开关示意图，图中仅为示意说明目的仅列出部分的开关状态。为了抑制LED光源作为指示灯在使用过程中图像传感器拍摄输出的图像画面出现闪烁的问题，以确保正常使用，需要延长图像传感器的曝光时间。如果图像传感器设置的曝光时间过长，容易引起过曝的问题，导致图像传感器输出图像画面过亮而出现模糊。因此需要对图像传感器进行设计以适于多场景应用，如低灵敏度的像素设计，满足在长曝光时间时LED或其他过亮的场景不会出现过曝的问题。

提高图像传感器输出图像的动态范围有多种实现方案，可以采用将两帧图像合成为一帧输出以提高输出图像动态范围的实现方式。现已公开的申请公布号为CN109845242A，名称为“具有LED闪烁抑制的WDR成像”的发明专利中公开了一种LED闪烁抑制的成像方法，该方法中采用设置图像传感器的第一帧曝光时间ET1小于第二帧曝光时间ET2；根据图像传感器的满阱容量FWC计算高强度阈值和低强度阈值；图像传感器输出原始第一帧图像信号具有第一强度值，第二帧图像信号具有第二强度值，将第一帧强度值和第二帧强度值与上述的高强度阈值和低强度阈值进行比较以确定是否是闪烁图像数据，对所述第一帧像素数据和第二帧像素数据选择权重，在包含闪烁数据的情况下增加第二像素数据的权重，最后将两帧进行合成输出。这种实现方式虽能提高输出的动态范围，但该技术方案需要曝光两帧图像数据，对第一帧图像数据进行存储，第二帧图像读取完成后再进行合成，这种实现方式会产生运动拖影的问题。

本发明基于上述多个问题，提出一种创新的图像传感器像素结构设计，可以抑制LED的频闪问题并且能够提高输出动态范围，同时适用于大、小尺寸的像素设计。

发明内容

本发明目的在于提供一种图像传感器成像中LED频闪抑制的方法，所述方法包括以下实现步骤：

将图像传感器像素阵列中的像素以3×3结构为单位进行设置构成一个像素单元；

每个所述每个像素单元的中心像素设置为第一组像素，所述中心像素四周的八个像素设置为第二组像素；所述第一组像素和所述第二组像素分别设定有不同的曝光时间和增益模式；

所述第一组像素和所述第二组像素在一帧内完成曝光，分别逐行交替输出为两帧图像数据；

所述第一组像素根据LED光源的亮度值设定曝光时间；所述第二组像素根据应用环境亮度值设定曝光时间；

所述第一组像素的等效曝光时间E1x＝E1，其中E1为所述第一组像素根据LED亮度值设定的曝光时间；基于LED光源大于90Hz的脉宽调制频率，所述曝光时间应设定为大于11ms；所述第二组像素的等效曝光时间E2x＝8*E2*PG，其中E2为所述第二组像素根据应用环境亮度值设定的曝光时间，PG为第二组像素的增益；

相对于所述第二组像素，所述第一组像素具有较长的曝光时间；所述第二组像素相对于所述第一组像素具有较高的转换增益；所述第二组像素的八个像素合并(sum)后输出图像数据；

根据曝光时间比E1x/E2x，通过后端的图像信号处理，按线性计算方式将所输出的两帧图像合成为一帧具有高动态范围的图像；

所述像素阵列中的像素包括转换增益单元，所述转换增益单元包括两种增益模式：高增益模式和低增益模式；所述第一组像素设置为低增益模式，所述第二组像素设置为高增益模式或者低增益模式，高增益模式或低增益模式选择可以根据具体设计中的增益要求进行设定；当所述第二组像素在高增益模式，其增益值要求较高时，所述转换增益单元可以包括一个电容器件，以提高电荷存储和转移容量，进一步提高增益；

所述像素阵列中的像素可以设计为具有共享结构，两个像素构成的共享结构或四个像素构成的共享结构或其他具有共享结构的像素共享结构方式，节省读出电路设计以实现为小尺寸像素。

本发明提供的图像传感器中LED频闪抑制的方法，采用创新的像素单元设计结构，将每个所述像素单元中像素分组以不同的曝光时间和增益模式分别逐行交替输出两帧图像，由后端对图像进行处理合并为一帧高动态范围图像输出的实现方案。本发明技术方案针对LED部分采用较长的曝光时间和较低的增益，以抑制输出图像中产生闪烁的问题；同时对于应用环境画面采用较高的增益以提高感度，最后输出具有高动态范围的清晰图像，满足图像传感器在LED作为信号灯等多应用场景的正常使用。

附图说明

图1为图像传感器成像过程中LED闪烁影响的原理示意图；

图2为本发明给出的图像传感器像素单元设置结构及输出示意图；

图3为本发明给出的图像传感器像素单元采用的一个应用例电路图；及

图4为本发明给出的图像传感器成像中LED频闪抑制方法基本流程图。

具体实施方式

以下结合本发明给出的各个附图，对本发明提出的发明方案进行详细的说明。本发明给出的多个附图中记载的相关产品设计及应用实施例电路的尺寸大小，比例，及结构等是为了解释和说明的目的，不对本发明给出的具体发明内容和应用实施例方案构成限制。

图2是本发明给出的图像传感器像素阵列中像素单元设置结构的示意图。如图2中所示，图像传感器的像素阵列中包含若干个按行和列排列布置的像素(基础像素单元)，图2给出的示意图中仅列出部分像素以示说明的目的。图像传感器的像素阵列中的像素按照3×3的结构为单元设置构成为一个像素单元，如图中三行三列的B(蓝色)像素构成一个像素单元，三行三列的G(绿色)像素，三行三列的R(红色)像素，分别构成一个像素单元。每一个像素单元中包含九个像素，其中心像素设置为第一组像素，该中心像素四周的其余八个像素设置为第二组像素。

本发明提供的发明方案不对图像传感器像素阵列中的像素所采用的具体电路设计构成限制。在实现过程中，可以根据具体应用和设计需求，采用不同的像素电路设计。例如，在一个应用例中可以采用1×1像素结构电路来实现本发明给出的发明设计方案。在另一应用例中，可采用具有共享像素结构的像素电路来实现，以减少电路设计，降低芯片设计面积，实现为小尺寸的像素设计应用。

以图2中B像素单元为例，中心像素B设为第一组像素，中心像素B的四周八个B像素设为第二组像素。第一组像素和第二组像素设置不同的曝光时间和增益模式。第一组像素中心像素B根据LED亮度值设定曝光时间，第二组像素的八个B像素根据应用环境亮度设定曝光时间。由于LED的脉宽调制频率大于90Hz，因此第一组的曝光时间设置应大于11ms。第一组像素设置为低增益模式和长的曝光时间，设置为低增益模式降低感度，以增加曝光时间。第二组像素设置为高增益模式，也可以根据具体应用环境的增益需求设置为低增益模式，第二组的8个像素合并(sum)后输出其像素值，进一步提高感度。第一组像素和第二组像素在同一帧内完成曝光，曝光完成后分别逐行交替输出为两帧不同的图像，如图2中所示意。

图3是本发明给出应用实施例的图像传感器像素单元中的像素所采用的像素电路图。本实施例为基于设计小尺寸像素目的考虑，例如像素尺寸小于1μm，实施例中可以采用具有四像素共享结构的像素电路，如图中所示。本领域人员可以理解的是，本发明所提出的发明方案并非仅限于小尺寸像素的设计应用。基于小尺寸像素设计，其他多种具有共享结构的像素同样适用于本发明提出的技术方案，比如两个像素构成的共享结构像素电路等。图3中给出的像素电路为四个像素采用共享结构，PDa和TXa，PDb和TXb，PDc和TXc及PDd和TXd共享浮动扩散节点FD及复位晶体管RST，转换增益单元，放大读出电路中的源极跟随晶体管SF和行选择晶体管RS。转换增益单元包括转换增益晶体管DCG及电容Cdcg，所述转换增益单元包括高增益模式和低增益模式。本实施例中四个共享结构像素可以2×2布局设置，像素阵列中包含若干按行和列布局设置的所述像素。本发明实施例方案中像素阵列按照3×3像素结构设为一个像素单元，其包含若干个具有上述像素结构的像素单元，对每个像素单元进行分组并设定不同的曝光时间和增益模式。

图3给出的应用实施例同时结合图2中所示的像素设置结构，3×3像素单元中的第一组像素采用低增益模式和长的曝光时间，例如增益为1；第二组像素采用高增益模式，第一组和第二组的划分同上述图2中给出的方式。第二组的八个像素也可以根据具体的应用环境设置为低增益模式，由于第二组的像素值输出为八个像素值求和，因此采用低增益模式时也可以达到某些环境应用的感度要求。在具体像素电路设计应用中，转换增益单元的转换增益晶体管的连接点对地产生的寄生电容可用作转换增益单元的电容。为能够保证第二组像素在高增益模式时增益足够大以满足高增益应用需求，像素电路的转换增益单元中可以设计包含一个电容器件，以增加存储和转移电荷的容量，通过调节电容值大小，进一步提高增益，满足高增益应用要求。本实施例中所记载的发明技术方案在采用共享结构像素作为应用例设计小尺寸像素时，对像素单元中各像素的读取控制可以在后端数字电路来具体实现，其具体实现可根据具体产品应用进行设计，本实施例中不作具体说明和限定。

图4是本发明给出的图像传感器成像中LED频闪抑制方法基本流程图，以下结合该方法的实现流程，对本发明提出的方案进行详细的说明：

S401：将图像传感器像素阵列中的像素以3×3结构为单位设置构成一个像素单元；

上述步骤中以每3行和3列的像素构成为一个包含9个像素的像素单元。图像传感器的像素阵列可包含若干个所述的像素单元，多个像素单元之间以拜耳格式(BayerPattern)设置，可参考图2中标出的多个像素单元中各像素及多个像素单元之间的布局结构设置。

S402：将每一个像素单元的中心像素设为第一组像素，中心像素四周的8个像素设为第二组像素；第一组像素和第二组像素分别设置不同的曝光时间和增益模式；

上述第一组的中心像素根据LED亮度值设置曝光时间，基于适应LED的90Hz脉冲频率，其曝光时间设置应不低于11ms，确保图像传感器正常应用。第一组实际的曝光等效值时间E1x＝E1，E1为根据LED亮度值设定的曝光时间。上述的第二组像素根据应用环境亮度值设置曝光时间，曝光时间小于第一组像素的曝光时间，其实际的曝光等效值时间E2x＝8*E2*PG，E2为根据应用环境亮度值设定的曝光时间，PG为第二组像素的增益。第一组像素的中心像素设置较长的曝光时间，增益模式设置为低，如增益为1，以降低感度，以在较长曝光时间内不会产生过曝的问题。第二组像素中心像素四周的八个像素为根据应用环境的正常的曝光时间，采用高增益模式或根据具体应用设置为低增益模式，同时八个像素的像素值求和后作为一个像素值输出，进一步提高感度。

上述步骤中，根据LED亮度值设定曝光时间，可通过识别LED区域，统计此区域的亮度均值来确认曝光时间是否符合目标设定时间，并可依此来调节下一设定时间值。根据当前应用环境亮度值设定曝光时间，可在后端通过统计一帧数据的均值或直方图来确定当前的曝光时间是否符合目标值，并依此来调节下一次的曝光时间值。

S403：所述第一组像素和第二组像素在一帧内曝光完成，分别逐行交替输出为两帧图像；

上述步骤中，分别输出的两帧图像数据，通过后端的ISP(Image SignalProcessing，图像信号处理)并根据曝光时间比E1x/E2x，按线性计算方式将所述两帧图像合成为一帧高动态范围的图像输出，确保图像传感器输出的图像画面既抑制了LED闪烁的问题，同时输出画面清晰明亮，捕捉到更多的场景细节，满足应用需求。

本发明给出的发明方案，适于各种尺寸的像素设计，同时能满足图像传感器在LED作为信号灯及交通指示灯时抓拍过程中抑制频闪的问题，输出高动态范围的清晰图像，以满足多种环境应用，例如交通指示灯，汽车信号灯等，捕捉到更清晰、稳定的画面，避免多种问题和危害产生。

本发明给出的各个实施例及附图，是为了说明的目的，在不背离本发明更广泛的主旨和范围下，不同形式的等效修改是可行的。根据上述详细的说明可对本发明实施例进行修改，其修改视为落入本发明所保护的范围内。用于权利要求中的术语不应解释为限定于本发明具体实施内容和权利要求部分中所揭露的具体实施例。相反地，权利要求中完整确定的范围应解释为根据权利要求解释确立的声明。本发明的说明书和附图应被看作是解释性的，而不是约束性的。

Claims (8)

1.一种图像传感器成像中LED频闪抑制的方法，其特征在于，所述方法包括：

图像传感器像素阵列中的像素以3×3结构为单位设为一个像素单元；

每个所述像素单元的中心像素设为第一组像素，所述中心像素的四周八个像素设为第二组像素；所述第一组像素和所述第二组像素分别设定不同的曝光时间和增益模式；

所述第一组像素和所述第二组像素在一帧内完成曝光，分别逐行交替输出为两帧图像数据；

其中，每个所述像素单元的所述第二组像素的像素值合并输出。

2.根据权利要求1所述的图像传感器成像中LED频闪抑制的方法，其特征在于，所述第一组像素根据LED亮度值设定曝光时间；所述第二组像素根据应用环境亮度值设定曝光时间。

3.根据权利要求1所述的图像传感器成像中LED频闪抑制的方法，其特征在于，所述第一组像素的等效曝光时间E1x＝E1，其中E1为所述第一组像素根据LED亮度值设定的曝光时间。

4.根据权利要求1所述的图像传感器成像中LED频闪抑制的方法，其特征在于，所述第二组像素的等效曝光时间E2x＝8*E2*PG，其中E2为所述第二组像素根据应用环境亮度值设定的曝光时间，PG为第二组像素的增益。

5.根据权利要求1所述的图像传感器成像中LED频闪抑制的方法，其特征在于，所述像素阵列中的像素包括转换增益单元，其具有两种增益模式。

6.根据权利要求5所述的图像传感器成像中LED频闪抑制的方法，其特征在于所述两种增益模式包括低增益模式和高增益模式；所述第一组像素设置为低增益模式，所述第二组像素设置为高增益式或低增益模式。

7.根据权利要求1所述的图像传感器成像中LED频闪抑制的方法，其特征在于，所述像素阵列中的像素具有共享结构。

8.根据权利要求1，3或4所述的图像传感器成像中LED频闪抑制的方法，其特征在于，所述方法包括根据曝光时间比E1x/E2x将输出的两帧图像合成为一帧高动态范围的图像。

Images