CN105190424B - 具有场景自适应自动曝光补偿的成像装置 - Google Patents

具有场景自适应自动曝光补偿的成像装置 Download PDF

Info

Publication number
CN105190424B
CN105190424B CN201380070364.0A CN201380070364A CN105190424B CN 105190424 B CN105190424 B CN 105190424B CN 201380070364 A CN201380070364 A CN 201380070364A CN 105190424 B CN105190424 B CN 105190424B
Authority
CN
China
Prior art keywords
pixel
saturation
image
automatic exposure
histogram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380070364.0A
Other languages
English (en)
Other versions
CN105190424A (zh
Inventor
S·艾佛鲁兹
G·桑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Motorola Solutions Inc
Original Assignee
Avigilon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Avigilon Corp filed Critical Avigilon Corp
Publication of CN105190424A publication Critical patent/CN105190424A/zh
Application granted granted Critical
Publication of CN105190424B publication Critical patent/CN105190424B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20072Graph-based image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)

Abstract

一种方法针对一系列图像(例如一系列红外图像)调整自动曝光操作中的自动曝光目标。所述方法包括:获得至少一个所述图像的直方图;将加权直方图表应用于所述直方图以便获得加权直方图竖条,其中所述直方图中包含饱和像素的至少一些竖条被分配较高加权值,并且所述直方图中包含不饱和像素的至少一些竖条被分配较低加权值;以及对加权直方图竖条进行求和以便获得饱和得分,并且当所述饱和得分超过第一阈值时,减小自动曝光操作的自动曝光目标,当所述饱和得分低于所述第一阈值并且所述图像曝光不足时,增大所述自动曝光目标。

Description

具有场景自适应自动曝光补偿的成像装置
技术领域
本公开一般地涉及场景自适应自动曝光补偿方法以及可操作以执行该方法的成像装置。
背景技术
通常希望在摄像机中使用自动曝光算法,以便确保在不同照明条件下以平衡的快门时间和增益获得图像。通常自动曝光算法的目标是通过调整快门时间和增益,针对图像保持恒定的全局亮度。这种方法的问题是:如果场景包含非常小(<1%的图像像素)但远比图像的其余部分亮的物体,则这些物体将过度曝光并且在图像中显示饱和。对于配备红外(“IR”)照明器的摄像机而言该问题特别严重,因为某些感兴趣的小物体(例如牌照)具有远高于场景的其余部分的IR反射率。但是,如果摄像机确保图像的区域都不饱和,则图像中的很少的背景光可以导致图像的大部分永久地曝光不足。
市场中的数种摄像机尝试通过仅降低IR照明器的强度,解决由于IR照明产生的饱和物体的问题。控制IR强度以便控制饱和仅适用于具有内置IR照明器的摄像机,可以直接控制该内置IR照明器。具体地说,这种方法不适合于使用外部IR照明器的摄像机,其中不能直接控制照明强度。
发明内容
根据本发明的一个方面,提供一种用于针对一系列图像,例如一系列红外图像,调整自动曝光操作中的自动曝光目标的方法。所述方法包括:获得图像的直方图;将加权直方图表应用于所述直方图以便获得加权色调值竖条(tonal value bin),其中所述直方图中包含过饱和像素的至少一些竖条被分配较高加权值,并且所述直方图中包含不饱和像素的至少一些竖条被分配较低加权值;以及对加权直方图竖条进行求和以便获得饱和得分,并且当所述饱和得分指示所述图像过饱和时,减小自动曝光操作的自动曝光目标,当所述饱和得分指示所述图像不饱和时以及当所述图像曝光不足时,增大所述自动曝光目标。
在获得所述图像的直方图之前,可以通过标识所述图像中在一时间段内超过饱和阈值选定次数的像素,以及将掩码应用于所标识的像素以便所掩蔽的像素未被包括在所述直方图中,来掩蔽所述图像中静态或基本静态的背景饱和像素。将像素标识为静态或基本静态的背景像素的步骤能够包括:读取像素的饱和级别,并且当所述像素超过所述饱和阈值时递增计数器,以及当所述计数器超过背景饱和像素阈值时,将所述像素标识为静态或基本静态的饱和背景像素。所述方法可以进一步包括使掩蔽像素去掩蔽,方式为:读取掩蔽像素的饱和级别,并且当所述掩蔽像素低于所述饱和阈值时递减计数器,以及当所述计数器低于背景饱和像素阈值时,从所述掩蔽像素移除所述掩码。
可以从所述一系列图像中的每组选定数量的图像中的仅一个图像获得所述直方图,其中选定图像的数量大于所述一系列图像中所述自动曝光操作所应用于的图像的数量。所述加权直方图表可以具有从被分配所述较低加权值的竖条到被分配所述较高加权值的竖条线性增加的加权值,其中在一系列选定竖条上发生所述线性增加。所述较高加权值可以是1并且所述较低加权值可以是0。
所述方法可以进一步包括当所述图像高度过饱和时,使所述自动曝光目标减少第一数量,并且当所述图像稍微过饱和时,使所述自动曝光目标减少第二数量,其中当所述图像高度饱和时的所述饱和得分高于当所述图像稍微饱和时的所述饱和得分。所述第一数量可以取决于原始自动曝光目标,并且所述第二数量可以取决于所述图像的全局平均曝光级别。所述图像可以是红外图像。
根据本发明的另一个方面,提供一种成像装置,包括:成像器;以及处理电路,其与所述成像器通信以便接收由所述成像器捕获的图像。所述处理电路包括处理器和存储器,所述存储器上编码有程序代码,所述程序代码可由所述处理器执行以便执行上述方法。
根据本发明的另一个方面,提供一种用于生成图像中的背景饱和物体的掩码的方法,包括:将所述图像中在一时间段内超过饱和阈值选定次数的像素标识为静态或基本静态的背景饱和像素;以及向所述图像中被标识为静态或基本静态的背景饱和像素的每个像素分配掩码标志。所述方法可以进一步包括将所述图像中在一时间段内低于饱和阈值选定次数的掩蔽像素标识为不饱和像素,并且从不饱和的掩蔽像素移除所述掩码标志。
所述方法可以进一步包括两个饱和阈值,即上饱和阈值和下饱和阈值,高于所述上饱和阈值,像素被视为饱和,并且低于所述下饱和阈值,像素被视为不饱和。将像素标识为静态或基本静态的背景像素的步骤可以包括读取像素的饱和级别,并且当所述像素超过所述饱和阈值时递增计数器,以及当所述计数器超过背景饱和像素阈值时,将所述像素标识为静态或基本静态的饱和背景像素。标识不饱和的掩蔽像素的步骤可以包括读取掩蔽像素的饱和级别,并且当所述掩蔽像素低于所述饱和阈值时,递减计数器,当所述计数器低于背景饱和像素阈值时,将所述掩蔽像素标识为不饱和。
附图说明
图1A、1B和1C是成像装置的三个实施例的示意性框图,其中第一实施例包括的成像装置具有包含一对红外发光二极管(IRED)组的IR照明器,第二实施例包括的成像装置具有包含一个IRED组的IR照明器,并且第三实施例包括的成像装置使用外部IR照明器提供IR照明。每个实施例还包括存储器,该存储器上编码有程序,该程序可被执行以便执行用于自动曝光操作的场景自适应自动曝光补偿方法;
图2是实现为安全摄像机的成像装置的透视图;
图3是要在执行场景自适应自动补偿方法中应用于成像装置所捕获的图像的直方图的示例性直方图加权表;
图4是示出场景自适应自动补偿方法的第一组成部分的步骤,即用于生成背景饱和掩码的步骤的流程图;
图5A和5B是示出场景自适应自动补偿方法的第二组成部分的步骤,即用于控制自动曝光操作中的饱和级别的步骤的流程图。
具体实施方式
在此描述的实施例提供一种场景自适应自动曝光补偿方法,其用于诸如安全摄像机之类的成像装置的自动曝光操作中。场景自适应自动曝光补偿方法包括两个组成部分,即第一组成部分和第二组成部分,第一组成部分将掩码应用于图像背景中的饱和物体(“背景饱和掩码生成器”),第二组成部分当计算自动曝光目标值以便用于基于图像平均值的自动曝光操作时,为图像直方图的不同部分提供偏差值(“用于控制饱和级别的自动曝光套件(companion)”)。第一组成部分导致自动曝光操作忽略背景饱和物体,否则这些背景饱和物体可以导致自动曝光操作使图像中的感兴趣物体曝光不足。第二组成部分通过以下操作控制图像中的饱和级别:当图像的某些部分过饱和时,降低自动曝光操作的自动曝光目标值,并且当图像中的区域都不过饱和或者过饱和区域由背景饱和掩码掩蔽时,将自动曝光目标值返回到原始自动曝光目标值。
换言之,当前实施例体现的方法控制曝光(快门时间和增益)以便防止IR照明的场景中的饱和,从而代替通过控制IR照明器的强度来防止饱和的常规方法。这使所述方法能够用于具有内置或外部IR照明器的成像装置,因为不使用控制IR照明强度来控制饱和级别。此外,通过防止或至少降低图像中的饱和并且忽略饱和背景物体,预期所述方法改进图像质量,并且尤其是保留图像中感兴趣物体的图像细节。通过控制曝光来防止或降低饱和的进一步优点是能够通过减少图像的曝光,降低图像中移动物体的运动模糊。
所述方法被体现为程序代码,其存储在成像装置的存储器上并且由该装置中的处理器执行。成像装置可以具有板载IR照明器,如图1A和1B中所示,或者使用外部IR照明器,如图1C中所示。
现在参考图1A,根据一个实施例的成像装置10包括以下主要组件:变焦镜头12;成像器14,其以光学方式耦合到变焦镜头12;镜头驱动器16,其以机械方式耦合到变焦镜头12,并且可操作以改变变焦镜头的焦距;IR照明器18,其包括一对IR发射器18(a)、18(b),每个发射器产生具有不同线性轮廓的IR照明光束(分别为“广角IR发射器”18(a)和“窄角IR发射器”18(b));电流驱动器20(a)、20(b),其用于每个IR发射器18(a)、18(b);以及控制和处理电路22,其与成像器14、镜头驱动器16和电流驱动器20(a)、20(b)通信。
成像装置10可以被体现为例如图2中所示的安全摄像机。安全摄像机10具有外壳30,其容纳成像装置的上述主要组件,并且具有可移动支架32以便将摄像机10安装到诸如天花板之类的表面。变焦镜头12被安装在摄像机10的正面,并且印刷电路板(“PCB”,未示出)也被安装在摄像机10的正面,其在变焦镜头12的周围;广角IR发射器18(a)和窄角IR发射器18(b)被分别安装该PCB上,并且与变焦镜头12面向同一方向并用于使用红外光照明变焦镜头的视场。
在该实施例中,每个IR发射器18(a)、18(b)包括一组红外发光二极管(IRED)34。此类IRED组是所属技术领域已知的;一个合适的此类IRED组包括一对Osram SFH4715S IRED。每个IR发射器18(a)、18(b)还针对每个IRED 34包括一个小透镜36;小透镜36被配置为将IRED发射形成具有特定照明模式和特定线性轮廓的IR光束。具体地说,用于广角IR发射器18(a)的小透镜36将产生具有相对广泛地分散的线性轮廓的IR光束(以下被称为“宽光束成分”),并且用于窄角IR发射器18(b)的小透镜36将产生具有相对狭窄地分散的线性轮廓的IR光束,即(以下被称为“窄光束成分”)。此类小透镜是所属技术领域已知的;一个合适的此类小透镜可以由Ledil提供。
电流驱动器20(a)、20(b)被设计为调节提供给IR发射器18(a)、18(b)的电流。电流驱动器20(a)、20(b)可以被控制为将全部的总可用功率提供给IR发射器18(a)、18(b)中的一个或另一个,或者改变两个发射器18(a)、18(b)之间的功率比。此类电流驱动器是所属技术领域已知的;一个合适的此类电流驱动器是On Semiconductor生产的AL8805Buck LED驱动器。电流驱动器20(a)、20(b)以通信方式耦合到外壳内部的电路板上的通用输入/输出(GPIO)引脚38,该电路板包含监控摄像机10的处理电路22(另外被称为主要片上***(SoC))。处理电路22包括具有引脚42、44的接口总线,引脚42、44以通信方式耦合到镜头驱动器16和成像器14。成像器14被配置为捕获红外光谱中的光,并且可以例如是数字传感器,例如互补金属氧化物半导体(CMOS)传感器。可以基于操作员的要求和性能期望选择成像器14和变焦镜头12的规格。监控摄像机中的变焦镜头和成像传感器的操作是所属技术领域公知的,并且因此在此不进一步详细地描述成像器14、镜头驱动器16和变焦镜头12的操作。
处理电路22还包括处理器和存储器(CPU)40,存储器40上编码有程序代码,该程序代码由处理器执行以便操作安全摄像机10。该程序代码包括用于以下操作的指令:将控制信号从GPIO引脚38发送到电流驱动器20(a)、20(b)以便产生IR光束。该程序代码还可以包括用于以下操作的指令:以一个或多个不同功率比组合宽光束成分和窄光束成分,以便产生具有不同线性轮廓的组合IR光束。如下面进一步详细地描述的,该程序代码还包括用于以下操作的指令:执行自动曝光操作以及可以用于自动曝光操作中的场景自适应自动曝光补偿方法。
现在参考图1B,成像装置10的第二实施例与第一实施例相同,只是该成像装置仅包括单个IRED组以便产生固定宽度(即,不变线性轮廓)IR照明光束,而不是可变宽度IR照明光束(即,可变线性轮廓)。与第一实施例一样,该第二实施例也包括处理电路22,其具有使用程序代码编码的存储器,该程序代码包括用于以下操作的指令:执行自动曝光操作以及可以用于自动曝光操作中的场景自适应自动曝光补偿方法。
现在参考图1C,成像装置10的第三实施例与第一和第二实施例相同,只是该成像装置没有内置IR照明器,而是改为使用外部IR照明器以便照明场景。与第一和第二实施例一样,该第三实施例也包括处理电路22,其具有使用程序代码编码的存储器,该程序代码包括用于以下操作的指令:执行自动曝光操作以及可以用于自动曝光操作中的场景自适应自动曝光补偿方法。
场景自适应自动曝光补偿方法
参考图3、4、5A和5B,现在将详细地描述场景自适应自动曝光补偿方法。如上所述,所述方法包括两个组成部分,即(1)场景自适应背景饱和掩码生成器;以及(2)用于控制饱和级别的自动曝光套件。第一组成部分将产生这样的掩码:所述掩码标识饱和但能够被视为静态或基本静态的并且视为背景一部分的图像区域;当控制图像的饱和级别时,第二组成部分可以使用该掩码忽略背景饱和区域。第二组成部分通过以下操作确保图像的饱和级别保持低于阈值级别(通常为0):使用加权直方图表处理图像的直方图,并且当处理后的直方图值不满足目标阈值范围时,针对自动曝光操作设置新的自动曝光目标。
自动曝光操作能够以基于常规图像平均值的自动曝光算法为基础,该算法调整在某一时间段内拍摄的一系列图像(帧)的曝光。此类常规自动曝光算法是所属技术领域公知的,并且因此在此不详细地描述自动曝光操作。
具体参考图4,场景自适应背景饱和掩码包括一系列指令,这些指令由处理器执行以便标识图像中是静态或基本静态的并且因此可以被视为图像背景的一部分的饱和像素(假设至少为了安全监控目的,感兴趣物体将在图像中移动)。自动曝光套件将掩蔽(即忽略)被发现饱和的静态和基本静态的物体,以便控制图像的饱和级别。如果图像背景包含小的明亮物体(例如街灯),则这确保曝光将不会保持在非常小的值。
所述方法的背景饱和掩码组成部分通过以下方式操作:在逐个像素的基础上(从i=0到NumberOfPixels),处理每一个捕获的图像(“image[i]”)的每个像素i。从第一个像素i=0开始(步骤100),读取每个像素i的饱和级别(102);假设饱和级别由一个字节的数据表示,则可以具有256个可测量饱和级别t,从t=0至255。
将每个像素i的读取的饱和级别与上饱和阈值T1相比较,高于该上饱和阈值,像素被视为饱和(步骤104),并且与下饱和阈值T0相比较,低于该下饱和阈值,像素被视为不饱和(步骤106)。这些阈值的值取决于所用传感器的类型;对于具有256个饱和级别的饱和范围,典型值可以例如是T1=200和T0=190。
备选地但未在图4中示出,可以仅提供一个饱和阈值T,高于该饱和阈值,像素被视为饱和,并且低于该饱和阈值,像素被视为不饱和。
为了判定像素是否表示静态或基本静态的饱和物体,提供计数器(“counter[i]”),当读取的饱和级别超过上饱和阈值T1时,该计数器增大增量U(步骤108),并且当读取的饱和级别低于下饱和阈值T0时,该计数器减小减量D(步骤110)。应用裁剪功能以使计数器值保持在0与选定最大值(“maxCount”)之间(步骤112);当计数器低于0时,counter[i]将被设置为0,并且当计数器超过maxCount时,counter[i]将被设置为maxCount。如果读取的饱和级别等于或介于上和下饱和阈值T1、T0之间,则计数器不改变。
然后将计数器值counter[i]与表示这样的阈值的背景饱和像素阈值M相比较:高于该阈值,像素i被视为静态或基本静态的并且被视为饱和(步骤114)。当计数器值counter[i]高于该阈值时,则通过将掩码标志与主题像素i关联并且将该标志存储在存储器中,将该像素i添加到掩码(步骤116);如果该像素i已经包含掩码标志(先前针对早期图像通过所述方法确定),则不采取任何操作,并且掩码标志保持与该像素i关联。
当计数器值counter[i]低于背景饱和像素阈值M时,通过删除与主题像素关联的掩码标志(如果存在此类掩码标志),从掩码中移除该像素(步骤118)。如果没有与该像素关联的掩码标志,则不采取任何操作。
现在针对主题像素完成背景饱和掩码组成部分方法,所述方法现在前进到图像中的下一个像素(步骤120),并且重复步骤102-118(步骤122)。在处理图像中的所有像素i之后,所述方法前进到时间序列中的下一个图像,并且在逐个像素的基础上再次执行所述方法。
可以看到,通过调整背景饱和像素阈值M以及增量和减量值U、D中的任何一个或全部,能够调整用于确定何时像素被视为背景饱和像素的时间常数。调整这些值将基本上调整用于确定何时像素被视为足够静态以便被视为背景的一部分的时间段(图像帧的数量)。例如,增大阈值M将导致所述方法花费更长时间(处理更多的图像帧),以便计数器值增大到阈值M。相反,增大增量U将减小计数器到达阈值M花费的时间段。可以基于试错法调整这些值M、U、D,以校准所述方法以便准确地判定明亮的物体是静态的(所述方法的每次迭代将使计数器增大U增量)还是移动的(当明亮的物体在像素的视场内时,所述方法的一次或多次迭代将使计数器递增,并且当明亮的物体移出像素的视场时,将使计数器递减)。
还可以看到,通过适当地调整增量U和D,能够校准所述方法以便捕获“基本静态的”物体,如闪烁的灯。例如,可以为U分配高于D的值,在这种情况下,计数器将在多个图像帧上缓慢递增,直到counter[i]大于阈值M。例如,可以为U分配值2,并且为D分配值1。
现在参考图3、5A和5B,所述方法的用于控制饱和级别的自动曝光套件组成部分(“自动曝光套件组成部分”)包括在由背景饱和掩码生成器掩蔽背景饱和物体之后,产生图像的直方图,然后将加权直方图表应用于直方图以便获得“饱和得分”,该饱和得分可以被视为图像的饱和程度,并且当图像被发现过饱和或不饱和但曝光不足时,用于判定自动曝光操作是否应该使用新的自动曝光目标值。期望当自动曝光操作利用本方法的自动曝光套件时,图像的饱和级别可以保持低于阈值,从而改进图像质量,尤其是图像的感兴趣各部分中的质量。
所述方法的自动曝光套件组成部分首先分配当前自动曝光目标值(“aeTrgt”)使其等于与自动曝光操作关联的原始自动曝光目标(“origAeTrgt”)(步骤200)。原始自动曝光值可以由用户定义或者在自动曝光操作程序代码中预设。然后执行一系列步骤(步骤204-208)以便针对每组选定数量(数量为K个)的图像帧中的仅一个图像帧执行自动曝光套件组成部分,从而确保自动曝光套件组成部分循环并且自动曝光操作循环不会以导致图像不稳定的方式交互。例如,K可以是四,在这种情况下,部署计数器(“imgCount”)以便对每个图像帧计数(步骤206),并且确保针对序列中的每四个图像帧执行自动曝光套件(步骤208)。
以如上所述方式将背景饱和掩码生成器应用于包括自动曝光套件组成部分所应用于的第K个图像的图像(步骤210)。然后,以所属技术领域公知的方式获得掩蔽图像的图像直方图(步骤212)。图像直方图是这样一种直方图:其充当数字图像中的色调分布的图形表示。它以图表示出每个色调值竖条跨一系列色调值的像素数。
然后,将如图3中示出的直方图加权表应用于直方图以便获得图像的饱和得分(步骤214)。直方图加权表向直方图的每个竖条分配加权值WV;例如,对于具有一个字节的色调范围的图像直方图,将具有256个单独竖条(bin[0]至bin[255]),每个竖条表示不同的色调值。直方图加权表向被视为不饱和的所有色调值竖条(从最低色调值(bin[0])到第一选定色调值k(bin[k-1]))分配加权值0,并且向被视为过饱和的所有色调值竖条(从第二选定色调值m[bin m+1]到最高色调值(bin[255]))分配加权值1。从bin[k]到bin[m],加权值从0线性增大到1以便在曝光变化期间提供平滑过渡。第一和第二色调值k、m可以基于操作员将什么视为图像中的可接受饱和量来选择,并且例如可以分别是200和230。饱和得分(“SaturationScore”)是每个直方图竖条(“Historgam[i]”)乘以其对应加权值(“WeightingTable[i]”)的总和:
在针对图像确定饱和得分之后,将饱和得分与上阈值maxScore相比较(步骤216),并且与下阈值minScore相比较(步骤218)。当饱和得分高于上阈值maxScore时,图像被视为高度过饱和,并且当饱和得分低于下阈值minScore时,图像被视为不饱和。当饱和得分在maxScore和minScore之间时,图像被视为稍微过饱和。如下面讨论的,当图像被视为过饱和时,采取步骤以便降低自动曝光目标,从而减小图像中的饱和度,并且当图像被视为不饱和并且曝光不足时,采取步骤以便增大自动曝光目标,从而改进图像中的曝光而不会导致图像过饱和。
maxScore和minScore的值根据经验确定,并且将取决于使用的图像和操作员偏好。maxScore的典型值可以是20个像素,并且minScore的典型值可以是0。
当饱和得分高于maxScore时,使当前自动曝光目标aeTrgt从其原始值origAeTrgt减少大常数因子L(步骤220),以便导致相对快速地减少曝光,其中
aeTrgt=origAeTrgt*L
大常数因子L根据经验确定,并且可以取决于操作员偏好。L的典型值可以是0.1。然后将自动曝光操作的自动曝光目标(AutoExposureTarget)设置为当前自动曝光目标aeTrgt(步骤232),执行自动曝光操作以便调整曝光以满足新的自动曝光目标,并且所述方法返回到步骤202。
当饱和得分在minScore和maxScore之间时,使当前自动曝光目标aeTrgt从图像的当前全局平均曝光级别(GlobalImageMean)减少小常数因子S,以便导致相对缓慢地减少曝光(步骤222):
aeTrgt=aeMean*S
其中aeMean=GlobalImageMean(步骤221)。
小常数因子S具有高于大常数因子L的值,并且可以是这样的因子:其基于饱和得分在值S1和S2之间线性***并且由下式确定:
S=(S2+(S2-S1)*(saturationscore–minScore)/(maxScore-minScore))其中S1和S2表示自动曝光目标中的变化程度。S1和S2根据经验确定,并且可以取决于用户偏好。S1大于S2,并且例如可以分别是0.9和0.5。然后将自动曝光操作的自动曝光目标(AutoExposureTarget)设置为当前自动曝光目标aeTrgt(步骤232),执行自动曝光操作以便调整曝光以满足新的自动曝光目标,并且所述方法返回到步骤202。
当饱和得分小于minScore时,图像被视为不饱和,并且如果图像曝光不足,则增大自动曝光目标aeTrgt;在本上下文中,曝光不足指图像中具有最高色调值的像素的平均色调值低于这样的色调值阈值:高于该色调值阈值,像素被视为过饱和。备选地,曝光不足可以指图像中具有最高色调值的像素何时小于色调值阈值。假设当前自动曝光目标aeTrgt小于原始自动曝光目标(步骤224),则执行一系列步骤以便增大自动曝光目标,前提是图像实际上曝光不足。为了判定图像是否曝光不足,确定直方图的选定上限数量像素n的平均色调值hiMean(步骤226)。换言之,标识图像中具有最高色调值的n个像素,并且确定它们的色调值的平均值。n的值根据经验确定;n的典型值可以是10。然后,选择表示这样的色调值阈值的常数值maxMean,高于该色调值阈值,像素被视为过饱和;该值可以根据经验确定,并且将部分地取决于用于捕获图像的成像传感器。maxMean的典型值是小于或等于在直方图加权表中使用的第二选定总值m(在这种情况下m为230)的值。
因为饱和得分小于minScore,所以hiMean应该接近于maxMean。然后将自动曝光目标设置为图像的当前全局平均曝光级别(aeMean=GlobalImageMean)(步骤225)乘以hiMean与maxMean之间的比率(步骤228):
aeTrgt=aeMean*(maxMean/hiMean)
因此,当hiMean小于maxMean时,比率大于1,并且自动曝光目标将被设置在大于图像的当前全局平均曝光级别的值。可以看到,当hiMean等于maxMean时,图像不被视为曝光不足,并且因此将自动曝光目标设置为图像的全局平均曝光级别。
自动曝光目标不应增大到高于原始自动曝光目标;如果上面的缩放导致自动曝光目标aeTrgt大于原始自动曝光目标origAeTrgt,则将自动曝光目标设置为等于原始自动曝光目标(步骤230):
aeTrgt=MIN(origAeTrgt,aeTrgt)
最后,将自动曝光操作的自动曝光目标(AutoExposureTarget)设置在当前自动曝光目标aeTrgt,执行自动曝光操作,并且所述方法返回到步骤202。
尽管在此通过优选实施例描述了本发明,但所属技术领域的技术人员将理解,可以进行各种变化并且将这些变化添加到本发明。这些变化和备选物被视为在本发明的精神和范围内。

Claims (18)

1.一种用于针对一系列图像调整自动曝光操作中的自动曝光目标的方法,所述方法包括:
(a)在获得图像的直方图之前,通过标识所述图像中在一时间段内超过饱和阈值选定次数的像素,以及将掩码应用于所标识的像素以便所掩蔽的像素未被包括在所述直方图中,来掩蔽所述图像中静态或基本静态的背景饱和像素;
(b)获得所述图像的所述直方图;
(c)将加权直方图表应用于所述直方图以便获得加权色调值竖条,其中所述直方图中包含过饱和像素的至少一些竖条被分配较高加权值,并且所述直方图中包含不饱和像素的至少一些竖条被分配较低加权值;以及
(d)对加权直方图竖条进行求和以便获得饱和得分,并且当所述饱和得分指示所述图像过饱和时,减小自动曝光操作的自动曝光目标,当所述饱和得分指示所述图像不饱和时以及当所述图像曝光不足时,增大所述自动曝光目标。
2.根据权利要求1中所述的方法,其中将像素标识为静态或基本静态的背景像素的步骤包括:读取像素的饱和级别,并且当所述像素超过所述饱和阈值时递增计数器,以及当所述计数器超过背景饱和像素阈值时,将所述像素标识为静态或基本静态的饱和背景像素。
3.根据权利要求1中所述的方法,进一步包括使掩蔽像素去掩蔽,方式为:读取掩蔽像素的饱和级别,并且当所述掩蔽像素低于所述饱和阈值时递减计数器,以及当所述计数器低于背景饱和像素阈值时,从所述掩蔽像素移除所述掩码。
4.根据权利要求1中所述的方法,其中从所述一系列图像中的每组选定数量的图像中的仅一个图像获得所述直方图,其中选定图像的数量大于所述一系列图像中所述自动曝光操作所应用于的图像的数量。
5.根据权利要求4中所述的方法,其中所述加权直方图表具有从被分配所述较低加权值的竖条到被分配所述较高加权值的竖条线性增加的加权值,其中在一系列选定竖条上发生所述线性增加。
6.根据权利要求5中所述的方法,其中所述较高加权值是1并且所述较低加权值是0。
7.根据权利要求6中所述的方法,进一步包括当所述图像高度过饱和时,使所述自动曝光目标减少第一数量,并且当所述图像稍微过饱和时,使所述自动曝光目标减少第二数量,其中当所述图像高度饱和时的所述饱和得分高于当所述图像稍微饱和时的所述饱和得分。
8.根据权利要求7中所述的方法,其中所述第一数量取决于原始自动曝光目标,并且所述第二数量取决于所述图像的全局平均曝光级别。
9.根据权利要求1中所述的方法,其中所述图像是红外图像。
10.根据权利要求1中所述的方法,其中当所述图像中具有最高色调值的选定数量像素的平均色调值低于这样的色调值阈值时,所述图像曝光不足:像素在高于该色调值阈值时被视为过饱和。
11.根据权利要求10中所述的方法,其中增大所述自动曝光目标为所述图像的全局平均曝光级别乘以像素在高于其时被视为过饱和的所述色调值阈值与所述图像中具有最高色调值的所述选定数量像素的所述平均色调值的比率。
12.一种成像装置,包括:
(a)成像器;以及
(b)处理电路,其与所述成像器通信以便接收由所述成像器捕获的图像,所述处理电路包括处理器和存储器,所述存储器上编码有程序代码,所述程序代码可由所述处理器执行以便执行一种用于针对一系列图像调整自动曝光操作中的自动曝光目标的方法,包括:
(i)在获得图像的直方图之前,通过标识所述图像中在一时间段内超过饱和阈值选定次数的像素,以及将掩码应用于所标识的像素以便所掩蔽的像素未被包括在所述直方图中,来掩蔽所述图像中静态或基本静态的背景饱和像素;
(ii)获得所述图像的所述直方图;
(iii)将加权直方图表应用于所述直方图以便获得加权色调值竖条,其中所述直方图中包含过饱和像素的至少一些竖条被分配较高加权值,并且所述直方图中包含不饱和像素的至少一些竖条被分配较低加权值;以及
(iv)对加权直方图竖条进行求和以便获得饱和得分,并且当所述饱和得分指示所述图像过饱和时,减小自动曝光操作的自动曝光目标,当所述饱和得分指示所述图像不饱和时以及当所述图像曝光不足时,增大所述自动曝光目标。
13.一种用于生成图像中的背景饱和像素的掩码的方法,所述方法包括:
(a)将所述图像中在一时间段内超过饱和阈值选定次数的像素标识为静态或基本静态的背景饱和像素;以及
(b)通过向所述图像中被标识为静态或基本静态的背景饱和像素的每个像素分配掩码标志来掩蔽像素。
14.根据权利要求13中所述的方法,其中步骤(a)包括:读取像素的饱和级别,并且当所述像素超过所述饱和阈值时递增计数器,以及当所述计数器超过背景饱和像素阈值时,将所述像素标识为静态或基本静态的饱和背景像素。
15.根据权利要求13中所述的方法,进一步包括使掩蔽像素去掩蔽,方式为:读取掩蔽像素的饱和级别,并且当所述掩蔽像素低于所述饱和阈值时递减计数器,以及当所述计数器低于背景饱和像素阈值时,从所述掩蔽像素移除所述掩码标志。
16.根据权利要求13中所述的方法,进一步包括两个饱和阈值,即上饱和阈值和下饱和阈值,高于所述上饱和阈值,像素被视为饱和,并且低于所述下饱和阈值,像素被视为不饱和。
17.一种成像装置,包括:
(a)成像器;以及
(b)处理电路,其与所述成像器通信以便接收由所述成像器捕获的图像,所述处理电路包括处理器和存储器,所述存储器上编码有程序代码,所述程序代码可由所述处理器执行以便执行一种用于生成图像中的背景饱和像素的掩码的方法,包括:
(i)将所述图像中在一时间段内超过饱和阈值选定次数的像素标识为静态或基本静态的背景饱和像素;以及
(ii)通过向所述图像中被标识为静态或基本静态的背景饱和像素的每个像素分配掩码标志来掩蔽像素。
18.根据权利要求17中所述的装置,其中所述成像器是红外成像器。
CN201380070364.0A 2013-01-15 2013-01-28 具有场景自适应自动曝光补偿的成像装置 Active CN105190424B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361752889P 2013-01-15 2013-01-15
US61/752,889 2013-01-15
PCT/CA2013/050060 WO2014110654A1 (en) 2013-01-15 2013-01-28 Imaging apparatus with scene adaptive auto exposure compensation

Publications (2)

Publication Number Publication Date
CN105190424A CN105190424A (zh) 2015-12-23
CN105190424B true CN105190424B (zh) 2018-06-01

Family

ID=51164846

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380070364.0A Active CN105190424B (zh) 2013-01-15 2013-01-28 具有场景自适应自动曝光补偿的成像装置

Country Status (14)

Country Link
US (2) US9536292B2 (zh)
EP (1) EP2946249B1 (zh)
JP (1) JP5981053B2 (zh)
KR (1) KR101883037B1 (zh)
CN (1) CN105190424B (zh)
AU (1) AU2013374190B2 (zh)
BR (1) BR112015016525B8 (zh)
CA (1) CA2896825C (zh)
HK (1) HK1216192A1 (zh)
IL (1) IL239679A0 (zh)
MX (1) MX349155B (zh)
NZ (1) NZ709731A (zh)
SG (1) SG11201505509RA (zh)
WO (1) WO2014110654A1 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106164767A (zh) 2014-01-10 2016-11-23 威智伦公司 用于减少内部反射的摄像机外壳
CN104702849B (zh) * 2014-01-10 2018-03-30 杭州海康威视数字技术股份有限公司 一种红外摄像机及其红外灯亮度调整方法
JP6345500B2 (ja) * 2014-06-20 2018-06-20 株式会社ソシオネクスト デジタルカメラの露出制御方法およびデジタルカメラ
WO2016009729A1 (ja) * 2014-07-18 2016-01-21 ソニー株式会社 撮像制御装置、撮像装置および撮像制御方法
CN104954699B (zh) * 2015-06-15 2017-09-29 广东欧珀移动通信有限公司 一种拍摄参数设置方法和用户终端
CN104954700B (zh) * 2015-06-17 2018-09-14 浙江宇视科技有限公司 一种过曝控制方法和装置
TWI581632B (zh) * 2016-06-23 2017-05-01 國立交通大學 影像產生方法及影像拍攝裝置
TW201822709A (zh) * 2016-12-30 2018-07-01 曦威科技股份有限公司 即時心跳偵測方法及即時心跳偵測系統
KR20180078961A (ko) 2016-12-30 2018-07-10 삼성전자주식회사 이미지 촬상 장치 및 이의 구동 방법
CN110476416B (zh) * 2017-01-26 2021-08-17 菲力尔***公司 多个成像模式下红外成像的***和方法
US11238281B1 (en) * 2017-02-27 2022-02-01 Amazon Technologies, Inc. Light source detection in field of view
CN108668088A (zh) * 2017-04-02 2018-10-16 田雪松 传感成像控制方法和装置
WO2018223230A1 (en) 2017-06-05 2018-12-13 Avigilon Corporation Spherical camera
US11012594B2 (en) * 2017-06-05 2021-05-18 Adasky, Ltd. Techniques for correcting oversaturated pixels in shutterless FIR cameras
WO2018226437A1 (en) 2017-06-05 2018-12-13 Adasky, Ltd. Shutterless far infrared (fir) camera for automotive safety and driving systems
US10699386B2 (en) * 2017-06-05 2020-06-30 Adasky, Ltd. Techniques for scene-based nonuniformity correction in shutterless FIR cameras
US10929955B2 (en) 2017-06-05 2021-02-23 Adasky, Ltd. Scene-based nonuniformity correction using a convolutional recurrent neural network
US10511793B2 (en) * 2017-06-05 2019-12-17 Adasky, Ltd. Techniques for correcting fixed pattern noise in shutterless FIR cameras
US10491808B1 (en) * 2017-06-27 2019-11-26 Amazon Technologies, Inc. Detecting sunlight in images
RU2667790C1 (ru) * 2017-09-01 2018-09-24 Самсунг Электроникс Ко., Лтд. Способ автоматической регулировки экспозиции для инфракрасной камеры и использующее этот способ вычислительное устройство пользователя
TWI697867B (zh) * 2018-12-12 2020-07-01 晶睿通訊股份有限公司 測光補償方法及其相關監控攝影設備
KR102622112B1 (ko) * 2019-01-11 2024-01-05 한화비전 주식회사 열화상 처리 방법 및 그 장치
EP3709628B1 (en) * 2019-03-14 2020-12-23 Axis AB Control of an illuminator
US11886642B2 (en) * 2019-04-24 2024-01-30 Hubbell Incorporated System and method for integrated surveillance and communication into lighting equipment
KR20210123602A (ko) * 2020-04-03 2021-10-14 에스케이하이닉스 주식회사 이미지 센싱 장치 및 그의 동작 방법
CN114071026B (zh) * 2022-01-18 2022-04-05 睿视(天津)科技有限公司 基于红分量特征检测的自动曝光控制方法及装置
CN114885104B (zh) * 2022-05-06 2024-04-26 北京银河方圆科技有限公司 摄像机自适应调节的方法、可读存储介质和导航***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1813218A (zh) * 2003-06-30 2006-08-02 诺基亚有限公司 数字成像中调整曝光的方法和***及对应装置
CN101273624A (zh) * 2005-07-29 2008-09-24 高通股份有限公司 对数字图像中的不适当曝光区域的补偿
CN100574377C (zh) * 2006-11-20 2009-12-23 索尼株式会社 图像处理装置,图像处理方法
CN101803366A (zh) * 2007-07-25 2010-08-11 坎德拉微***(S)私人有限公司 用于成像***的曝光控制
CN102833488A (zh) * 2011-06-13 2012-12-19 索尼公司 图像摄取装置、图像摄取装置控制方法和程序

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6816200B1 (en) * 1998-08-31 2004-11-09 Neostar, Inc. Method and apparatus for detecting camera sensor intensity saturation
JP3465632B2 (ja) * 1999-06-04 2003-11-10 日本電気株式会社 物体検出装置および物体検出方法
US20040100565A1 (en) * 2002-11-22 2004-05-27 Eastman Kodak Company Method and system for generating images used in extended range panorama composition
US7327504B2 (en) * 2002-12-06 2008-02-05 Eastman Kodak Company Method of detecting clipped image pixels
US7538801B2 (en) * 2003-09-15 2009-05-26 Micron Technology, Inc. Region-based auto gain control and auto exposure control method and apparatus
JP4580820B2 (ja) * 2005-06-02 2010-11-17 オリンパスイメージング株式会社 画像表示装置
KR100793230B1 (ko) * 2006-07-24 2008-01-10 엘지전자 주식회사 카메라의 부분 역광 보정장치 및 방법
US7800657B2 (en) * 2006-12-29 2010-09-21 Micron Technology, Inc. Method, apparatus and system using hierarchical histogram for automatic exposure adjustment of an image
EP2186337A4 (en) * 2007-08-08 2011-09-28 Tony Mayer NONTRETRO-REFLECTIVE NUMBER PLATE PICTURE SYSTEM
JP4877319B2 (ja) * 2008-12-24 2012-02-15 カシオ計算機株式会社 画像生成装置、プログラム、画像表示方法、及び、撮像方法
JP5469527B2 (ja) * 2010-05-10 2014-04-16 パナソニック株式会社 撮像装置
JP5950196B2 (ja) * 2011-08-30 2016-07-13 株式会社リコー 撮像装置、並びに、これを用いる画像解析装置及び移動装置
JP2013197892A (ja) * 2012-03-19 2013-09-30 Fujitsu Ltd 被写体認識装置、被写体認識方法及び被写体認識用コンピュータプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1813218A (zh) * 2003-06-30 2006-08-02 诺基亚有限公司 数字成像中调整曝光的方法和***及对应装置
CN101273624A (zh) * 2005-07-29 2008-09-24 高通股份有限公司 对数字图像中的不适当曝光区域的补偿
CN100574377C (zh) * 2006-11-20 2009-12-23 索尼株式会社 图像处理装置,图像处理方法
CN101803366A (zh) * 2007-07-25 2010-08-11 坎德拉微***(S)私人有限公司 用于成像***的曝光控制
CN102833488A (zh) * 2011-06-13 2012-12-19 索尼公司 图像摄取装置、图像摄取装置控制方法和程序

Also Published As

Publication number Publication date
AU2013374190A1 (en) 2015-07-23
SG11201505509RA (en) 2015-08-28
MX349155B (es) 2017-07-14
KR101883037B1 (ko) 2018-07-27
EP2946249B1 (en) 2018-05-23
BR112015016525A2 (pt) 2017-07-11
MX2015009082A (es) 2016-03-11
US20140198218A1 (en) 2014-07-17
CA2896825A1 (en) 2014-07-24
CN105190424A (zh) 2015-12-23
BR112015016525B1 (pt) 2021-09-14
JP5981053B2 (ja) 2016-08-31
BR112015016525B8 (pt) 2023-02-28
EP2946249A4 (en) 2016-11-02
US20160142608A1 (en) 2016-05-19
AU2013374190B2 (en) 2016-11-10
KR20150139826A (ko) 2015-12-14
US9615032B2 (en) 2017-04-04
CA2896825C (en) 2019-09-10
IL239679A0 (en) 2015-08-31
EP2946249A1 (en) 2015-11-25
WO2014110654A1 (en) 2014-07-24
HK1216192A1 (zh) 2016-10-21
JP2016510532A (ja) 2016-04-07
NZ709731A (en) 2016-12-23
US9536292B2 (en) 2017-01-03

Similar Documents

Publication Publication Date Title
CN105190424B (zh) 具有场景自适应自动曝光补偿的成像装置
EP2092734B1 (en) Camera and method in a camera
CN101889435B (zh) 照相机闪光模块及其控制方法
KR102016782B1 (ko) 가변 조명 패턴을 갖는 적외선 조명 빔을 생성하기 위한 방법 및 장치
JP4021716B2 (ja) ストロボ調整機能を有するカメラ
JP2009204734A (ja) 配光調整方法、照明装置及び撮像装置
JP2004212385A (ja) 撮影装置とその撮影装置の撮影方法及び制御方法
US11418730B2 (en) Use of IR pre-flash for RGB camera&#39;s automatic algorithms
JP6303304B2 (ja) カメラ
JP2015034850A (ja) 撮影装置および撮影方法
JP2007171518A (ja) 撮像装置、撮像装置の制御方法及び制御プログラム
AU2013374191B2 (en) Method and apparatus for generating an infrared illumination beam with a variable illumination pattern
JP2009055174A (ja) 画像処理装置および撮像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220928

Address after: Illinois, America

Patentee after: MOTOROLA SOLUTIONS, Inc.

Address before: British Columbia

Patentee before: AVIGILON Corp.

TR01 Transfer of patent right