CN111064899B - 一种曝光参数的调节方法及装置 - Google Patents

一种曝光参数的调节方法及装置 Download PDF

Info

Publication number
CN111064899B
CN111064899B CN201911243840.XA CN201911243840A CN111064899B CN 111064899 B CN111064899 B CN 111064899B CN 201911243840 A CN201911243840 A CN 201911243840A CN 111064899 B CN111064899 B CN 111064899B
Authority
CN
China
Prior art keywords
brightness
image
threshold
color
black
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911243840.XA
Other languages
English (en)
Other versions
CN111064899A (zh
Inventor
程敏
唐娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Huawei Technology Co Ltd
Original Assignee
Chengdu Huawei Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Huawei Technology Co Ltd filed Critical Chengdu Huawei Technology Co Ltd
Priority to CN201911243840.XA priority Critical patent/CN111064899B/zh
Publication of CN111064899A publication Critical patent/CN111064899A/zh
Priority to PCT/CN2020/110075 priority patent/WO2021109620A1/zh
Application granted granted Critical
Publication of CN111064899B publication Critical patent/CN111064899B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

一种曝光参数的调节方法及装置,该方法应用于图像采集装置中,该方法包括在采集到第一图像后,获取第一图像中的黑白像素和彩色像素;根据环境光照强度,从第一亮度、第二亮度以及第三亮度中选择一个亮度作为统计亮度,第一亮度为通过统计黑白像素的亮度得到,第二亮度为通过统计彩色像素的亮度得到,第三亮度的大小在第一亮度、第二亮度之间;再根据统计亮度调节图像采集装置的曝光参数。这样,当环境光照强度变化时,通过根据环境光照强度选择出的统计亮度来调节图像采集装置的曝光参数,可以使得后续采集的图像的曝光量接近最佳曝光量,从而提高成像质量,能够使得图像传感器自适应地工作在各种环境光照强度所对应的环境中。

Description

一种曝光参数的调节方法及装置
技术领域
本申请涉及图像采集技术领域,尤其涉及一种曝光参数的调节方法及装置。
背景技术
在低光照场景下,为了能够提高图像采集装置的成像质量,通常使用两个镜头各自搭配一个图像传感器分别采集同一场景下的黑白图像和彩色图像,再将黑白图像中的细节信息和彩色图像中的色彩信息进行融合,就可以得到高质量的彩色图像。
但目前,图像采集装置(例如相机、摄像机等)都在朝着小型化发展,两个镜头各自搭配一个图像传感器的组合,显然无法实现图像采集装置的小型化,而且成本较高。因此,在低光照场景下,可以使用一个镜头搭配一个图像传感器的组合替换两个镜头各自搭配一个图像传感器的组合。其主要思想为,一个图像传感器可以从一个镜头采集得到图像中得到黑白像素和彩色像素,由黑白像素和彩色像素分别生成黑白图像和彩色图像,然后采用融合技术,将黑白图像中的细节信息和彩色图像中的色彩信息进行融合,从而得到高质量的彩色图像。
然而,通过一个图像传感器进行采集时,该图像传感器是同时曝光输出黑白图像和彩色图像。如果以黑白图像的亮度来设置曝光参数,在增加黑白图像的亮度时,会导致彩色图像中的大量色彩信息丢失。而如果以彩色图像的亮度来设置曝光参数,由于黑白图像的亮度高于彩色图像的亮度,则在增加彩色图像的亮度时,会导致黑白图像过曝,从而丢失细节信息。
由此可见,目前在采集图像时,对于曝光参数的调节方式不合理,导致得到的图像质量较差。
发明内容
本申请实施例提供了一种曝光参数的调节方法及装置,用于提高成像质量。
第一方面,提供一种曝光参数的调节方法,该方法包括:获取第一图像中的黑白像素和彩色像素;根据环境光照强度,从第一亮度、第二亮度和第三亮度中选择一个亮度作为统计亮度;然后根据选择出的统计亮度,调节图像采集装置的曝光参数;其中,第一亮度通过统计黑白像素的亮度得到,第二亮度通过统计彩色像素的亮度得到,第三亮度的大小在第一亮度、第二亮度之间,所述第一图像是采集装置采集的。
在本申请实施例提供的技术方案中,可以根据环境光照强度确定统计亮度,且统计亮度除了可以是第一亮度或第二亮度之外,还可以是第三亮度,第三亮度的大小在第一亮度、第二亮度之间。这样,当环境光照强度变化时,通过统计亮度来调节曝光参数,可以使得后续所采集的图像的曝光量接近最佳曝光量,既保障了后续所采集的图像对应的彩色图像的色彩信息的完整性,也保障了后续所采集的图像对应的黑白图像的细节信息的完整性,从而提高了成像质量,能够使得该图像采集装置自适应地工作在各种环境光照强度所对应的环境中。作为一种示例,图像采集装置可以是图像传感器,或者也可以是摄像机,或者还可以是智能移动终端(例如移动电话、平板电脑)等。
在一种可能的设计中,在所述环境光照强度大于或等于第一阈值时,选择第一亮度作为所述统计亮度;或,在所述环境光照强度小于第一阈值且大于第二阈值时,选择第三亮度作为所述统计亮度;或,在所述环境光照强度小于或等于第二阈值时,选择第二亮度作为所述统计亮度。
在上述技术方案中,在环境光照强度较高时,彩色图像曝光量充足,黑白图像过曝的概率较大,以由黑白像素生成的黑白图像的亮度作为统计亮度来设置曝光参数,意味着可以对后续所采集的图像对应的黑白图像的亮度进行调节,从而可以有效地避免黑白图像因过曝,而导致细节信息缺失的问题。在环境光照强度较低时,黑白图像曝光量充足,彩色图像的曝光量不足,以彩色像素生成的彩色图像的亮度作为统计亮度来设置曝光参数,意味着可以对后续所采集的图像对应的彩色图像的亮度进行调节,从而可以有效避免因彩色图像曝光量不足,而导致色彩信息不完整的问题。在环境光照强度小于第一阈值且大于第二阈值时,可能存在彩色图像曝光量不足、黑白图像过曝或黑白图像曝光量不足中的一个或多个情况,在这些情况下,以亮度的大小介于第一亮度、第二亮之间的第三亮度作为统计亮度来设置曝光参数,意味着可以对后续所采集的图像对应的彩色图像的亮度、黑白图像的亮度进行调节,能够使得后续得到的彩色图像和黑白图像的曝光量接近充足。
在一种可能的设计中,根据所述统计亮度,调节所述图像采集装置的曝光参数,包括:根据所述统计亮度与参考亮度之间的差值,调节所述图像采集装置的曝光参数。
在上述技术方案中,通过统计亮度与参考亮度之间的差值来调节曝光参数,可以使得后续所采集的图像的曝光量接近最佳曝光量。
在一种可能的设计中,根据所述统计亮度与参考亮度之间的差值,调节所述图像采集装置的曝光参数,包括:根据所述统计亮度与所述参考亮度之间的差值,确定调节步长;根据所述调节步长,以自动曝光的方式调节所述图像采集装置的曝光参数。
在上述技术方案中,根据调节步长调节图像采集装置的曝光参数,可以使得后续采集的图像的曝光量逐渐接近最佳曝光量,避免因两帧图像间因曝光参数差异大,导致成像质量下降的问题。
在一种可能的设计中,所述第三亮度为所述第一亮度和所述第二亮度的加权平均值。
在上述技术方案中,当环境光照强度小于第一阈值,且小于第二阈值时,根据第一亮度和第二亮度的加权平均值作为统计亮度来调节曝光参数,可以使得后续采集的图像的曝光量充足,既保障了后续所采集的图像对应的彩色图像的色彩信息的完整性,也保障了后续所采集的图像对应的黑白图像的细节信息的完整性,从而提高了成像质量。并且,获取第三亮度的计算方式简单,计算量较小,易于实现。
在一种可能的设计中,所述方法还包括:在所述环境光照强度小于或等于所述第二阈值时,根据所述第一亮度,调节所述图像采集装置中红外补光灯的补光强度,所述红外补光灯用于为被拍摄对象补光。
在上述技术方案中,通过调节图像采集装置中的红外补光灯的补光强度,可以在环境光照强度较低时,增大进光量,确保后续所采集的图像的曝光量充足,提高成像质量。
在一种可能的设计中,根据所述第一亮度,调节红外补光灯的强度,包括:在所述第一亮度大于或等于第三阈值时,减小所述红外补光灯的补光强度;或,在所述第一亮度小于第三阈值且大于第四阈值时,保持所述红外补光灯的补光强度不变;或,在所述第一亮度小于或等于第四阈值时,增大所述红外补光灯的强度。
在上述技术方案中,在第一亮度大于或等于第三阈值时,通过减小红外补光灯的补光强度,可以避免因补光过于充足而导致黑白图像过曝的情况。在第一亮度小于或等于第四阈值时,通过增大红外补光灯的强度,可以避免因补光不足而导致黑白图像曝光量不足的情况。在第一亮度介于第三阈值与第四阈值之间时,此情况下,黑白图像的曝光量充足,可以保持红外补光灯的补光强度,以避免因频繁调节红外补光灯的补光强度而导致红外补光灯闪烁的问题。
在一种可能的设计中,所述方法还包括:在所述环境光照强度大于所述第二阈值时,关闭所述红外补光灯。
在上述技术方案中,在环境光照强度较高时,通过关闭红外补光灯,减少进光量,避免黑白图像过曝的问题,提高成像质量。
在一种可能的设计中,所述方法还包括:根据所述第二亮度以及拍摄所述第一图像的曝光参数,确定所述环境光照强度。
在上述技术方案中,通过第二亮度和拍摄第一图像的曝光参数,确定环境光照强度,可以保证确定出的环境光照强度的准确性。
在一种可能的设计中,所述图像采集装置的曝光参数包括快门时间、增益或光圈大小中的一个或多个。
在上述技术方案中,通过调节快门时间、增益或光圈大小中的一个或多个,可以确保后续所采集的图像的曝光量接近最佳曝光量,提高成像质量。
在一种可能的设计中,图像采集装置的图像传感器包括彩色滤波片,所述彩色滤波片包括透明镀膜的子单元和彩色镀膜的子单元,该透明镀膜的子单元用于从第一图像中获取黑白像素,彩色镀膜的子单元用于从第一图像中获得彩色像素。
在上述技术方案中,图像传感器中的彩色滤波片包括透明镀膜的子单元和彩色镀膜的子单元。当镜头采集的图像经过该彩色滤波片后,就可以得到该图像中的黑白像素和彩色像素,进而可以由黑白像素和彩色像素分别生成黑白图像和彩色图像,意味着一个图像传感器和一个镜头可以同时得到被拍摄对象的黑白图像和彩色图像,可以实现图像采集装置的小型化,且成本较低。
第二方面,提供一种曝光参数调节装置,所述装置包括获取单元,选择单元和处理单元;
其中,所述获取单元,用于获取第一图像中的黑白像素和彩色像素,第一图像是图像采集装置采集的;
所述选择单元,用于根据环境光照强度,从第一亮度、第二亮度和第三亮度中选择一个亮度作为统计亮度,其中,所述第一亮度通过统计所述黑白像素的亮度得到,所述第二亮度通过统计所述彩色像素的亮度得到,所述第三亮度的大小在所述第一亮度、第二亮度之间;
所述处理单元,用于根据所述统计亮度,调节所述图像采集装置的曝光参数。
在一种可能的设计中,所述选择单元,具体用于:
在所述环境光照强度大于或等于第一阈值时,选择所述第一亮度作为所述统计亮度;或,在所述环境光照强度小于第一阈值且大于第二阈值时,选择所述第三亮度作为所述统计亮度;或,
在所述环境光照强度小于或等于第二阈值时,选择所述第二亮度作为所述统计亮度。
在一种可能的设计中,所述处理单元,具体用于:
根据所述统计亮度与参考亮度之间的差值,调节所述图像采集装置的曝光参数。
在一种可能的设计中,所述处理单元,具体用于:
根据所述统计亮度与所述参考亮度之间的差值,确定调节步长;
根据所述调节步长,以自动曝光的方式调节所述图像采集装置的曝光参数。
在一种可能的设计中,所述第三亮度为所述第一亮度和所述第二亮度的加权平均值。
在一种可能的设计中,所述处理单元,进一步用于:
在所述环境光照强度小于或等于所述第二阈值时,根据所述第一亮度,调节所述图像采集装置中红外补光灯的补光强度,所述红外补光灯用于为被拍摄对象补光。
在一种可能的设计中,所述处理单元,具体用于:
在所述第一亮度大于或等于第三阈值时,减小所述红外补光灯的补光强度;或,
在所述第一亮度小于第三阈值且大于第四阈值时,保持所述红外补光灯的补光强度不变;或,
在所述第一亮度小于或等于第四阈值时,增大所述红外补光灯的强度。
在一种可能的设计中,所述处理单元,进一步用于:
在所述环境光照强度大于所述第二阈值时,关闭所述红外补光灯。
在一种可能的设计中,所述图像采集装置的曝光参数包括快门时间、增益或光圈大小中的一个或多个。
在一种可能的设计中,所述图像采集装置的图像传感器包括彩色滤波片,所述彩色滤波片包括透明镀膜的子单元和彩色镀膜的子单元,所述透明镀膜的子单元用于从所述第一图像中获得所述黑白像素,所述彩色镀膜的子单元用于从所述第一图像中获得所述彩色像素。
第三方面,提供一种曝光参数调节装置,该曝光参数调节装置包括至少一个处理器;所述至少一个处理器,用于运行计算机程序或指令,以使得所述装置执行上述第一方面描述的方法。
在一种可能的设计中,该至少一个处理器在运行计算机程序或指令时,执行如下步骤:
根据环境光照强度,从第一亮度、第二亮度和第三亮度中选择一个亮度作为统计,其中,所述第一图像包括黑白像素和彩色像素,所述第一亮度通过统计所述黑白像素的亮度得到,所述第二亮度通过统计所述彩色像素的亮度得到,所述第三亮度的大小在所述第一亮度、所述第二亮度之间,所述第一图像是图像采集装置采集的;
根据所述统计亮度,调节所述图像采集装置的曝光参数。
第四方面,本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被计算机执行时,使所述计算机执行第一方面中任意一项所述的方法。
第五方面,本申请实施例提供一种计算机程序产品,所述计算机程序产品存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被计算机执行时,使所述计算机执行第一方面中任意一项所述的方法。
第六方面,本申请提供了一种芯片***,该芯片***包括处理器,用于实现第一方面所述的方法。该芯片***可以由芯片构成,也可以包含芯片和其他分立器件。
上述第二方面至第六方面及其实现方式的有益效果可以参考对第一方面的方法及其实现方式的有益效果的描述。
附图说明
图1为本申请实施例提供的一种图像采集装置的结构图;
图2为本申请实施例提供的一种图像传感器的结构图;
图3A为本申请实施例提供的一种彩色滤波片的结构图;
图3B为本申请实施例提供的另一种彩色滤波片的结构图;
图4为本申请实施例提供的一种曝光参数的调节方法的数据流程示意图;
图5为本申请实施例提供的一种曝光参数调节装置的结构图;
图6为本申请实施例提供的一种曝光参数调节装置的硬件结构图。
具体实施方式
为了使本申请实施例的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施例作进一步地详细描述。
为便于技术人员理解,首先对本申请实施例所涉及的技术术语进行说明。
1)图像融合(image fusion),是指将多个信道所采集到的针对同一目标场景的图像数据,经过图像处理,最大限度地提取各个信道中的有利信息,最后综合得到高质量的图像。多个信道是指,针对同一目标场景所采用的不同采集方式。例如针对同一目标场景,一个镜头和一个图像传感器,在近红外光下采集到该目标场景对应的黑白图像;另外一个镜头和另外一个图像传感器,在可见光下采集到该目标场景对应的彩色图像;然后把这两个图像融合在一起,形成更加清晰的彩色图像。
2)曝光参数,用于决定图像的亮度。曝光参数包括快门时间、增益或光圈大小等参数中的一个或多个。
快门时间,也称为曝光时间,快门为控制进光时间的阈门。快门时间越长,意味着进光量越多,拍摄得到的图像越亮;快门时间越短,意味着进光量越少,拍摄得到的图像越暗。
增益是指图像传感器对光信号进行放大或缩小的过程。增大增益,拍摄得到的图像比实际场景更亮;减小增益,拍摄得到的图像比实际场景更暗。
光圈用于控制透过镜头进入机身的进光量。增大光圈,意味着进光量增多,拍摄得到的图像更亮;减小光圈,意味着进光量减少,拍摄得到的图像更暗。
3)图像传感器,可应用于可见光和近红外光的环境中,用于获取一个图像中的黑白像素和彩色像素,并根据该黑白像素和彩色像素分别生成黑白图像和彩色图像。其实现方式为,组成图像传感器的彩色滤波片包括多个子单元,多个子单元中包括至少一个透明镀膜的子单元和至少一个确定颜色镀膜的子单元(也可以称为彩色镀膜的子单元);透明镀膜的子单元用于透射可见光和近红外光;确定颜色镀膜的子单元仅供该确定颜色镀膜的子单元本身的颜色的光线通过,而吸收或反射其它颜色的光线以及近红外光;例如红色镀膜的子单元仅通过红色光线,绿色镀膜的子单元仅通过绿色光线。当一个图像的光信号入射到图像传感器中的彩色滤波片时,该图像的光信号(或者该图像的光信号和近红外光)通过至少一个透明镀膜的子单元后得到代表亮度的光线,即黑白像素;该图像的光信号(或者该图像的光信号和近红外光)通过至少一个确定颜色镀膜的子单元后得到确定颜色的光线,即彩色像素;再根据黑白像素生成黑白图像,根据彩色像素生成彩色图像。
4)本申请实施例中“多个”是指两个或两个以上,鉴于此,本申请实施例中也可以将“多个”理解为“至少两个”。“至少一个”,可理解为一个或多个,例如理解为一个、两个或更多个。例如,包括至少一个,是指包括一个、两个或更多个,而且不限制包括的是哪几个,例如,包括A、B和C中的至少一个,那么包括的可以是A、B、C、A和B、A和C、B和C、或A和B和C。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,字符“/”,如无特殊说明,一般表示前后关联对象是一种“或”的关系。
除非有相反的说明,本申请实施例提及“第一”、“第二”等序数词用于对多个对象进行区分,不用于限定多个对象的顺序、时序、优先级或者重要程度。
下面,对本申请实施例所涉及的技术特征进行说明。
黑夜是犯罪的高危时间段,而黑夜的光照强度非常低,安防***中的图像采集装置难以在低光照强度下采集到用于有效侦破案件的彩色图像。因此,安防***中的图像采集装置的最大挑战在于对人脸特征、肤色、衣服颜色,车身颜色以及车牌号等信息的准确识别。相关技术采用白光补光灯增加光照强度来提高图像的亮度,但是耀眼的白光会产生强烈的光污染。白光会让人下意识地低头、遮挡,降低人脸识别成功率;白光中的眩光会影响驾驶人员对车辆的安全驾驶;白光还会提示嫌疑人绕行、通过口罩和戴帽等方式刻意躲避图像采集装置。考虑到人眼很难感知850nm以上的红外光,在另一种相关技术中,通过红外补光灯增加光照强度,能够有效地避免光污染。但是,红外光投影到图像传感器后得到黑白图像,黑白图像的人脸识别率要低于彩色图像的人脸识别率。例如行人再识别(person re-identification,RE-ID)技术被认为是下一代身份识别技术,在RE-ID技术中主要通过衣服颜色,背包颜色等关键体态信息将同一个人识别出来,显然黑白图像没有色彩信息,不利于采用RE-ID技术。
一种在低光照强度下获取彩色图像(也称为低照全彩)的解决方案是,使用两组镜头各自搭配一个图像传感器分别采集同一场景的彩色图像和黑白图像。其主要思想为,一组镜头和图像传感器通过可见光获取彩色图像,该彩色图像中的色彩信息比较完整。另一组镜头和图像传感器通过红外光获取黑白图像,该黑白图像中的细节信息比较完整。然后采用融合技术,将彩色图像中的色彩信息和黑白图像中的细节信息进行融合,就可以得到高质量的彩色图像。
但是目前,图像采集装置(例如相机、摄像机等)都在朝着小型化发展,两组镜头各自搭配一个图像传感器的组合,显然体积较大,无法实现图像采集装置的小型化,不利于安防工作的开展;而且两组镜头和两个传感器的成本也比较高。为了实现图像采集装置的小型化,另一种低照全彩解决方案中,采用一个镜头和一个图像传感器的组合。其实现方式为,一个图像传感器可以在不同的时间点分别采集黑白图像和彩色图像,然后采用融合技术,将黑白图像中的细节信息和彩色图像中的色彩信息进行融合,从而能够得到高质量的彩色图像,并且实现了图像采集装置的小型化,降低了成本。
然而,通过一个图像传感器进行采集时,该图像传感器是同时曝光输出黑白图像和彩色图像。如果以黑白图像的亮度来设置曝光参数,在增加黑白图像的亮度时,会导致彩色图像中的大量色彩信息丢失。而如果以彩色图像的亮度来设置曝光参数,由于黑白图像的亮度高于彩色图像的亮度,则在增加彩色图像的亮度时,会导致黑白图像过曝,从而丢失细节信息。
鉴于此,本申请实施例提供一种曝光参数的调节方法,该方法中根据环境光照强度,确定统计亮度,然后根据统计亮度调节图像采集装置的曝光参数,用以提高成像质量,使得图像传感器能够自适应地工作在各种环境光照强度的环境中。
下面结合附图对本申请实施例提供的方法进行说明。
本申请实施例提供的曝光参数的调节方法可以通过图像采集装置实现。该图像采集装置包括但不限于相机,摄像机,智能移动终端(例如移动电话、平板电脑),视频监控***中的摄像设备(例如网络摄像机),服务器集群,视频监控***中的云端服务器,或者安防***中的摄像设备等,在此不对图像采集装置的具体实现形式进行限制。
请参考图1,为本申请实施例中提供的一种图像采集装置的一种结构图。在图1中,图像采集装置100包括光学镜头110,图像传感器120以及处理器130。
图像采集装置100包括但不限于相机,摄像机,智能移动终端(例如移动电话、平板电脑),视频监控***中的摄像设备(例如网络摄像机),服务器集群,视频监控***中的云端服务器,或者安防***中的摄像设备等。在此不对图像采集装置100的具体形式进行限制。
在一种实施方式中,图像采集装置100还包括红外补光灯140,红外补光灯140可以为图像传感器120提供近红外光,即用于为被拍摄对象补光,增加光照强度。
其中,光学镜头110可以用于采集可见光图像,也可以用于采集近红外光图像,即图像采集装置100可以用于采集可见光图像,也可以用于采集近红外光图像。
图像传感器120可以用于接收光学镜头110采集得到的被拍摄对象的光信号,或者用于接收光学镜头110采集得到的被拍摄对象的光信号和红外光补光灯140发出的近红外光。图像传感器120可以将光信号转换为电信号,或者可以将光信号和近红外光转换为电信号。该图像传感器120还可以获取一个图像中的黑白像素和彩色像素,再根据黑白像素和彩色像素分别生成黑白图像和彩色图像,意味着图像传感器120可以在不同的时间点分别采集黑白图像和彩色图像。
请参考图2,为本申请实施例中图像传感器120的一种结构图。在图2中,图像传感器120包括微透镜121、彩色滤波片122(也称彩膜层、彩膜滤光器或者彩膜滤光器阵列等)和光电二极管123。微透镜121可以用于将采集到的光线汇聚,提升入射至彩色滤波片122的光量和光信号强度。彩色滤波片122可以将汇聚后的光线进行过滤,光电二极管123接收过滤后的光线,光电二极管123用于把光信号转换为电信号,并将电信号发送给处理器130。
如图3A所示,彩色滤波片122可以包括多个子单元1221,多个子单元1221中包括至少一个透明镀膜的子单元1221a以及至少一个确定颜色镀膜的子单元1221b。透明镀膜的子单元1221a用于透射可见光,得到代表亮度的光线,即黑白像素。确定颜色镀膜的子单元1221b仅供该确定颜色镀膜的子单元1221b本身的颜色的光线通过,而吸收或反射其它颜色的光线以及近红外光,得到确定颜色的光线,即彩色像素。需要说明的是,本发明实施例不限制透明子单元和确定颜色子单元在数目上的比例。
如图3B所示,彩色滤波片122包括64个子单元1221,48个透明镀膜的子单元1221a,16个确定颜色镀膜的子单元1221b。其中,16个确定颜色镀膜的子单元1221b包括4个红色(red,R)镀膜的子单元、8个绿色(green,G)镀膜的子单元以及4个蓝色(blue,B)镀膜的子单元。红色镀膜的子单元只通过红色光线,绿色镀膜的子单元只通过绿色光线,蓝色子镀膜的单元只通过蓝色光线,故光信号(或者光信号和近红外光)通过该16个确定颜色镀膜的子单元1221b后仅剩下RGB光线。
需要说明的是,彩色滤波片122可以是包括红色镀膜的子单元、绿色镀膜的子单元以及蓝色镀膜的子单元的RGB滤波片,也可以是包括青色(cyan,C)镀膜的子单元、洋红色(magenta,M)镀膜的子单元以及黄色(yellow,Y)镀膜的子单元的CMY滤波片,还可以是其它颜色镀膜的滤波片,本申请实施例对此不作限定。
需要说明的是,本申请实施例提供的图像传感器可以为电荷耦合元件(charge-coupled device,CCD)构成的CCD图像传感器,或可以为互补金属氧化物半导体(complementary metal oxide semiconductor,CMOS)构成的CMOS图像传感器,或可以为接触式图像传感器(contact image sensor,CIS)构成的CIS图像传感器等。
处理器130可以用于接收来自图像传感器120的电信号,将电信号转换为数字信号,从数字信号中得到彩色信号(即确定颜色的光线对应的信号,也称为彩色图像)和黑白信号(即代表亮度的光线对应的信号,也称为黑白图像)。处理器130还用于统计通过所有透明镀膜的子单元1221a的光线的亮度,以获取黑白图像的亮度(记为第一亮度)。处理器130还用于统计通过所有确定颜色镀膜的子单元1221b的光线的亮度,以获取彩色图像的亮度(记为第二亮度)。
需要说明的是,光信号转换为电信号,电信号转换为数字信号,以及从数字信号中得到彩色信号和黑白信号皆为现有技术,在此不再赘述。
处理器130可以用于根据第一亮度、第二亮度和第三亮度中的一个,调节图像采集装置100的曝光参数,其中,第三亮度的大小介于第一亮度、第二亮度之间。处理器130还可以用于调节红外补光灯140的强度,以增加光照强度。
在一种实施方式中,处理器130还可以用于对彩色图像进行处理,以优化彩色图像中的色彩信息,例如增加彩色图像的彩色饱和度、对彩色图像进行渲染、或对彩色图像进行图像滤波等。处理器130还可以用于对黑白图像进行处理,以优化黑白图像中的细节信息,例如对黑白图像进行图像滤波或对黑白图像进行影调渲染等。
处理器130可以通过以下一种或者多种形式实现:通用处理器、中央处理器(central processing unit,CPU)、图像信号处理器(image signal processor,ISP)、微处理器、数字信号处理器(digital signal processor,DSP)、或现场可编程门阵列(field-programmable gate array,FPGA)等。
示例性地,图像采集装置100中还可以包括存储器150。存储器150可以是只读存储器(read-only memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(random access memory,RAM)或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(Compact Disc Read-Only Memory,CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由该装置存取的任何其他介质,但不限于此。存储器150可以是独立存在,通过总线与处理器130相连接。存储器150也可以和处理器130集成在一起。
其中,所述存储器150可以用于存储执行本申请方案的应用程序代码,并由处理器130来控制执行,也就是说,所述处理器130用于执行所述存储器中存储的应用程序代码实现本申请实施例中的曝光参数调节方法。在一些实施例中,所述处理器130内部也可以拥有存储代码的能力,不借助存储器就可以执行存储代码。
本申请实施例可以应用于视频监控场景或者图像拍摄场景等,例如,室内视频监控场景、逆光图像拍摄场景、夜间视频监控场景或者安防监控场景,或者也可以应用于普通的图像拍摄场景等,在此不一一举例。下面结合图1所示的图像采集装置100,介绍本申请实施例提供的曝光参数的调节方法。请参考图4,为该方法的流程图。
S401:处理器130获取第一图像的黑白像素和彩色像素。
响应于拍摄指令,图像传感器120进入工作状态,例如用户点击拍摄按键,作为响应,图像传感器120进入工作状态。图像传感器120处于工作状态时,图像传感器120可以通过光学镜头110,采集第一图像。
图像传感器120采集第一图像后,从第一图像中获取黑白像素和彩色像素,并将黑白像素和彩色像素发送给处理器130,以使处理器130获取到第一图像的黑白像素和彩色像素。其中,黑白像素为第一图像的光信号(或者第一图像的光信号和近红外光)通过透明镀膜的子单元1221a后,得到的代表亮度的光线;彩色像素为第一图像的光信号(或者第一图像的光信号和近红外光)通过确定颜色镀膜的子单元1221b后,得到的确定颜色的光线。
S402:处理器130获取环境光照强度。
处理器130获取到第一图像中的黑白像素和彩色像素后,通过统计黑白像素的亮度得到黑白图像的亮度(即第一亮度),通过统计彩色像素的亮度得到彩色图像的亮度(即第二亮度)。其中,统计黑白像素的亮度以及统计彩色像素的亮度可以使用现有技术实现,本申请实施例对此不作限定。
在获取到第一图像对应的黑白图像的亮度,以及第一图像对应的彩色图像的亮度后,处理器130可以获取拍摄第一图像的环境光照强度。
例如,处理器130可以根据第二亮度以及图像采集装置100用于拍摄第一图像的曝光参数,确定拍摄第一图像时的环境光照强度。其中,曝光参数可以包括快门时间、增益或光圈大小等中的一个或多个。
在一种可能的设计中,环境光照强度满足如下公式:
Figure BDA0002306971720000091
其中,T表示环境光照强度,Ev_c表示第二亮度,G表示增益,S表示快门时间,F表示光圈大小,k为归一化系数,例如将T归一化到0~1000的范围内。
或者,处理器130也可以不根据第二亮度以及图像采集装置100用于拍摄第一图像的曝光参数,确定拍摄第一图像时的环境光照强度,而是通过图像采集装置100中的光学元件,确定拍摄第一图像的环境光照强度。光学元件可以是感光元件,也可以是环境光传感器等。例如在图像采集装置100中设置感光元件,该感光元件可以自动获取图像采集装置100所处环境的环境光照强度,处理器130可以通过该感光元件确定环境光照强度。如果处理器130通过这种方式获得拍摄第一图像时的环境光照强度,那么处理器130获得环境光照强度的步骤,可以发生在拍摄第一图像的同时,或者发生在拍摄第一图像之前,或者发生在拍摄第一图像之后。而如果发生在拍摄第一图像之后,处理器130获得环境光照强度的步骤,可以发生在处理器130获得第一亮度和第二亮度后,也可以发生在处理器130获得第一亮度和第二亮度之前,或者也可以与处理器130获得第一亮度和第二亮度同时发生。
本步骤所获取的环境光照强度,可以是拍摄第一图像时的环境光照强度(所述第一图像的环境光照强度)。可选的,还可以是与拍摄第一图像时的环境光照强度相近的环境光照强度。
S403:处理器130根据环境光照强度,从第一亮度、第二亮度和第三亮度中选择一个亮度作为统计亮度。
其中,第三亮度的大小在第一亮度、第二亮度之间,例如:第一亮度值大于第三亮度值,第三亮度值大于第二亮度值。可选的,第三亮度可以与第一亮度相关,或者与第二亮度相关,或者与第一亮度和第二亮度均相关。
处理器130在获取到拍摄第一图像的环境光照强度后,可以根据该环境光照强度,从第一亮度、第二亮度和第三亮度中选择一个亮度作为统计亮度。该统计亮度用于调节图像采集装置100的曝光参数。曝光参数调整之后,与调整曝光参数之前进行曝光得到的图像相比,使用新的曝光参数曝光得到的图像的统计亮度接近参考亮度。
在具体实施时,为了使得图像采集装置100能够自适应地工作在不同环境光照强度所对应的环境中,处理器130可以根据实验数据设置环境光照强度上限阈值(将环境光照强度上限阈值归一化后记为第一阈值)和环境光照强度下限阈值(将环境光照强度下限值归一化后记为第二阈值),然后根据当前环境光照强度、第一阈值和第二阈值,从第一亮度、第二亮度和第三亮度中选择一个亮度作为统计亮度。其中,第一阈值大于第二阈值,第一阈值可以用于指示环境光照强度等于或大于第一阈值时,黑白图像的曝光量过于充足出现过曝的情况,例如第一阈值可以预设为44;第二阈值可以用于指示环境光照强度等于或小于第二阈值时,彩色图像的曝光量不足,出现色彩信息丢失的情况,例如第二阈值可以预设为4。
在环境光照强度大于或等于第一阈值时,彩色图像的曝光量充足,但黑白图像的曝光量过于充足,会导致后期图像融合时从黑白图像中获取的细节信息不够完整。例如在白天,环境光照强度较高,彩色图像的曝光量充足,但由于黑白图像的亮度高于彩色图像的亮度(在无补光的情况下,同一场景下黑白图像的亮度会比彩色图像的亮度高4dB~5dB),故黑白图像过曝的概率较大,意味着黑白图像所包括的细节信息减少的概率较大。因此,在环境光照强度大于或等于第一阈值时,彩色图像的曝光量充足,为了降低黑白图像过曝的概率,处理器130可以确定统计亮度为黑白图像的亮度(也称为第一亮度),第一亮度是个统计值,例如获得黑白图像中的多个黑白像素的亮度,对获得的这个多个黑白像素的亮度进行平均(或者加权平均)获得。
在环境光照强度小于或等于第二阈值时,黑白图像的曝光量充足,但彩色图像的曝光量不足,会导致后期图像融合时从彩色图像中获取的色彩信息不够完整。例如在夜晚,环境光照强度较低,启动红外补光灯进行补光,从而黑白图像的曝光量充足,但由于通过确定颜色的子单元的光量不变,故彩色图像的曝光量不足,意味着彩色图像所包括的色彩信息较少。因此,在环境光照强度小于或等于第二阈值时,黑白图像的曝光量充足,为了保证彩色图像的曝光量充足,处理器130可以确定统计亮度为彩色图像的亮度(也称为第二亮度)。类似于第一亮度,第二亮度也是个统计值,例如获得彩色图像中的多个彩色像素的亮度,对获得的这个多个彩色像素的亮度进行平均(或者加权平均)获得。
在环境光照强度小于第一阈值且大于第二阈值时,可能存在彩色图像的曝光量充足、黑白图像的曝光量过于充足的情况,例如在环境光照强度临近第一阈值时;或者可能存在彩色图像的曝光量不足、黑白图像的曝光量充足的情况,例如在环境光照强度临近第二阈值时;或者可能存在彩色图像的曝光量不足、黑白图像的曝光量也不足的情况,例如在环境光照强度临近第一阈值与第二阈值的平均值(例如算术平均值、加权平均值等)时。在这些情况下,若单纯根据彩色图像的亮度来调节图像采集装置的曝光参数,可能导致后续所采集的图像对应的黑白图像中的细节信息不完整;若单纯根据黑白图像的亮度来调节图像采集装置的曝光参数,可能导致后续所采集的图像对应的彩色图像中的色彩信息不完整。因此,在环境光照强度小于第一阈值且大于第二阈值时,处理器130可以确定统计亮度为第三亮度。
根据如上介绍可知,统计亮度可以满足以下公式:
Figure BDA0002306971720000101
其中,T表示环境光照强度,Tmax表示第一阈值,Tmin表示第二阈值;Ev表示统计亮度,Ev_w表示第一亮度,Ev_c表示第二亮度,Ev_1表示第三亮度。
处理器130要确定第三亮度,可以有多种不同的方式。例如一种方式为,处理器130根据第一亮度和第二亮度确定第三亮度;例如另一种方式为,处理器130根据第三亮度候选表确定第三亮度。该第三亮度候选表可以是预先设置在图像采集装置100内的,该第三亮度候选表用于提供多个统计亮度。下面对这两种方式进行说明。
方式一:处理器130根据第一亮度和第二亮度确定第三亮度。
例如,处理器130可以通过对第一亮度和第二亮度进行计算,得到第三亮度。
在一种可能的设计中,第三亮度可以满足以下公式:
Ev_1=w1Ev_w+w2Ev_c (公式3)
其中,Ev_w表示第一亮度,Ev_c表示第二亮度,Ev_1表示第三亮度,w1表示第一权重,w2表示第二权重。
其中,第一权重和第二权重满足以下公式:
w1+w2=1 (公式4)
第一权重和第二权重可以是预先设置的,可以由用户设置,或者处理器130也可以自行设置。例如,处理器130可以根据环境光照强度确定第一权重和第二权重。第一权重和第二权重可以相同,也可以不同。例如处理器130将第一权重预先设定为0.5,将第二权重预先设定为0.5,相当于第三亮度是第一亮度和第二亮度的算术平均值。
如果处理器130根据环境光照强度确定第一权重,则第一权重可以满足以下公式:
Figure BDA0002306971720000111
其中,w1表示第一权重,T表示环境光照强度,Tmax表示第一阈值,Tmin表示第二阈值。
如果处理器130根据环境光照强度确定第二权重,则第二权重可以满足以下公式:
Figure BDA0002306971720000112
其中,w2表示第二权重,T表示环境光照强度,Tmax表示第一阈值,Tmin表示第二阈值。
处理器130可以获取第一亮度和第二亮度的加权平均值,将该加权平均值作为第三亮度。这种方式中第一亮度的权重和第二亮度的权重皆是根据环境光照强度、第一阈值和第二阈值确定的,能够在不同的环境光照强度下平滑地调节图像采集装置的曝光参数,既能保障黑白图像的曝光量充足,也能保障彩色图像的曝光量充足。例如,环境光照强度接近第一阈值时,彩色图像的曝光量逐渐增多,黑白图像的曝光量逐渐增多,但黑白图像的亮度要高于彩色图像的亮度,为了避免黑白图像过曝而导致细节信息丢失的问题,需主要考虑黑白图像的亮度,因此,第一权重大于第二权重,第三亮度主要由黑白图像的亮度确定。例如,环境光照强度接近第二阈值时,彩色图像的曝光量逐渐减少,黑白图像的曝光量逐渐减少,但黑白图像的亮度要高于彩色图像的亮度,为了避免彩色图像的曝光量不足而导致彩色信息丢失的问题,需主要考虑彩色图像的亮度,因此,第一权重小于第二权重,第三亮度主要由彩色图像的亮度确定。
或者,处理器130也可以获得第一亮度和第二亮度的算术平均值,将该算术平均值作为第三亮度。这种方式下无需确定权重,在计算时也无需代入权重,较为简单。
或者,处理器130还可以对第一亮度和第二亮度采用其他的运算方式进行计算,将获得的值作为第三亮度。
方式二:处理器130根据第三亮度候选表确定第三亮度。
例如,第三亮度候选表为预先设定的,可以由用户设置,或者处理器130也可以自行设置。例如处理器130可以根据实验数据预先设定第三亮度候选表。
在环境光照强度小于第一阈值且大于第二阈值时,处理器130可以通过查找第三亮度候选表,确定第三亮度。
在一种可能的设计中,第三亮度候选表可以包括多个环境光照强度范围以及多个第三亮度,一个环境光照强度范围与一个第三亮度一一对应。在第三亮度候选表中,每个环境光照强度范围对应的第三亮度可以获取该环境光照强度范围下的最佳曝光量。处理器130可以根据S402中获取的拍摄第一图像的环境光照强度,确定拍摄第一图像的环境光照强度在第三亮度候选表中的环境光照强度范围,根据环境光照强度范围确定第三亮度。如表1所示,示例性地示出了第三亮度候选表。如表1所示,当拍摄第一图像的环境光照强度大于第二阈值,且小于或等于T1时,处理器130可以确定第三亮度为T3;当拍摄第一图像的环境光照强度大于T1,且小或等于T2时,处理器130可以确定第三亮度为T4;当拍摄第一图像的环境光照强度大于T2,且小于第二阈值时,处理器130可以确定第三亮度为T5
表1:第三亮度候选表
环境光照强度范围 第三亮度
(T<sub>min</sub>,T<sub>1</sub>] T<sub>3</sub>
(T<sub>1</sub>,T<sub>2</sub>] T<sub>4</sub>
(T<sub>2</sub>,T<sub>max</sub>) T<sub>5</sub>
处理器可以根据第三亮度候选表。这种方式下无需确定权重,也不需要其它运算,仅通过查询第三亮度候选表,即可确定第三亮度,实现方式简单。
此外,还有其他方式可以获得第三亮度。例如取第一、第二亮度的平均值作为第三亮度。还可以取第一第二亮度之间的任意一个值作为第三亮度值。
S404:处理器130根据统计亮度,调节图像采集装置100的曝光参数。例如:通过减小光圈和/或降低快门时间,以便使得拍摄的图片的亮度更低。
处理器130在选择出统计亮度之后,根据选择的统计亮度,调节光学镜头110的光圈的大小、图像传感器120的增益、或图像传感器120的快门时间中的一个或多个,以使图像传感器120后续采集的图像的亮度靠近参考亮度。
例如,一个参考亮度可以与一个环境光照强度范围对应,一个环境光照强度范围所对应的参考亮度是指,当前环境光照强度在这环境光照强度范围内时,该参考亮度为最佳曝光量下得到的图像的亮度。也就是说以该参考亮度调节曝光参数,可以使得后续采集的图像的曝光量最佳。
处理器130可以根据参考亮度候选表确定参考亮度。例如,该参考亮度候选表为预先设定的,可以由用户设置,或者处理器130也可以自行设置。例如处理器130根据实验数据预先设定参考亮度候选表。
在一种可能的设计中,参考亮度候选表中包括多个参考亮度和多个环境光照强度范围,一个环境光照强度范围与一个参考亮度对应。处理器130可以根据S401中获取的拍摄第一图像的环境光照强度,确定拍摄第一图像的环境光照强度对应在参考亮度候选表中的环境光照强度范围,根据环境光照强度范围确定参考亮度,然后再根据参考亮度和统计亮度调节图像采集装置100的曝光参数。如表2所示,示例性地示出了一种参考亮度候选表。如表2所示,当拍摄第一图像的环境光照强度大于T6,且小于或等于T7时,处理器130可以确定参考亮度为T10;当拍摄第一图像的环境光照强度大于T7,且小于或等于T8时,处理器130可以确定参考亮度为T11;当拍摄第一图像的环境光照强度大于T8,且小于或等于T9时,处理器130可以确定参考亮度为T12
表2:参考亮度候选表
Figure BDA0002306971720000121
Figure BDA0002306971720000131
由于一次曝光参数调节对应的亮度调节是有限的,当统计亮度与参考亮度的差值较大时,无法使得下一帧图像的亮度达到参考亮度,因此,在调节曝光参数时,处理器130可以根据统计亮度与参考亮度之间的差值,确定调节一次曝光参数的调节步长。然后,处理器130可以根据调节步长,以自动曝光的方式调节图像采集装置100的曝光参数。此外,由于参考亮度可以变化,每次曝光参数的调整都可以使得:与调整曝光参数之前所获得的图像的统计亮度相比,使用调整后的曝光参数得到的图像的统计亮度更加接近参考亮度。
在确定调节步长时,处理器130可以将统计亮度与当前环境光照强度所对应的参考亮度之间的差值除以调节次数,就可以得到调节步长。调节次数为预先设定的,可以由用户设置,或者处理器130也可以自行设置。例如处理器130可以根据实验数据预先设定调节次数。
需要注意的是,调节步长需小于一次曝光参数调节所能调节的最大亮度,且大于一次曝光参数调节所能调节的最小亮度。
在调节曝光参数时,处理器130可以根据调节步长对应的曝光曲线,以自动曝光的方式调节图像传感器120的快门时间以及图像传感器120的增益,并根据图像传感器120的快门时间的变化以及图像传感器120的增益的变化,控制调节光学镜头110的光圈大小。
举例而言,假设第五阈值和第六阈值皆大于或等于快门时间的最小值,且小于或等于快门时间的最大值,第七阈值和第八阈值皆大于或等于增益的最小值,且小于或等于增益的最大值,第六阈值大于第五阈值,第八阈值大于第七阈值。当图像传感器120的快门时间大于或等于第五阈值且小于第六阈值,图像传感器120的增益大于或等于第七阈值且小于第八阈值时,处理器130可以控制在光圈的最小位置与预设的最佳位置之间调节光学镜头110的光圈。其中,光圈预设的最佳位置是指,可以使得光学镜头110得到最好的成像效果,在光圈预设的最佳位置下可以得到最佳的成像。
需要说明的是,处理器130根据调节步长对应的曝光曲线,以自动曝光的方式调节图像传感器120的快门时间以及图像传感器120的增益可以采用现有技术实现,在此不再赘述。
需要说明的是,处理器130根据图像传感器120的快门时间的变化以及图像传感器120的增益的变化,控制调节光学镜头110的光圈大小也可以采用现有技术实现,在此不再赘述。
在一种实施方式中,当选择第二亮度作为统计亮度时,环境光照强度较低,黑白图像的曝光量不足,处理器130启动红外补光灯140,为被拍摄对象补光,以增加黑白图像的曝光量。当统计亮度为第一亮度或第三亮度时,黑白图像的曝光量充足,处理器130关闭红外补光灯140。
在具体实施时,处理器130可以根据实验数据设置第一亮度的上限阈值(记为第三阈值)和第一亮度的下限阈值(记为第四阈值)。其中,第三阈值大于第四阈值,第三阈值可以用于指示第一亮度大于或等于第三阈值时,黑白图像存在过曝的情况;第四阈值可以用于指示第一亮度小于或等于第四阈值时,黑白图像曝光量不足,存在细节信息丢失的情况。
在第一亮度大于或等于第三阈值时,黑白图像的曝光量过于充足,意味着红外补光灯140的补光强度过大,处理器130可以通过减小红外补光灯140的补光强度,以使黑白图像的曝光量接近最佳曝光量。因此,在第一亮度大于或等于第三阈值时,黑白图像的曝光量过于充足,为了避免黑白图像过曝,处理器130可以减小红外补光灯140的补光强度。
在第一亮度小于或等于第四阈值时,黑白图像的曝光量不足,意味着红外补光灯140的补光强度较弱,处理器130可以通过增大红外补光灯140的强度,以使黑白图像的曝光量接近最佳曝光量。因此,在第一亮度小于或等于第四阈值时,黑白图像的曝光量不足,为了增大黑白图像的曝光量,处理器130可以增大红外补光灯140的强度。
在第一亮度小于第三阈值且大于第四阈值时,由于此情况下,黑白图像的曝光量充足,黑白图像的细节信息比较完整,故处理器130通过可以保持红外补光灯140的补光强度不变,可以避免频繁调节红外补光灯140的补光强度,而导致红外补光灯140闪烁的问题。因此,在第一亮度小于第三阈值且大于第四阈值时,黑白图像的曝光量充足,为了避免红外补光灯140闪烁,处理器130可以保持红外补光灯140的补光强度不变。
在S404之后,图像采集装置100使用新的曝光参数进行曝光。例如:在经过步骤S404对曝光参数进行调整后,摄像机使用调整后的曝光参数进行曝光。与调整曝光参数之前(通过曝光)得到的图像相比,使用新的曝光参数曝光得到的图像的统计亮度与参考亮度更接近。本申请上述实施例中,可以根据环境光照强度确定统计亮度,且统计亮度除了可以是第一亮度或第二亮度之外,还可以是第三亮度,第三亮度的大小在第一亮度、第二亮度之间。这样,当环境光照强度变化时,通过统计亮度来调节曝光参数,可以使得后续所采集的图像的曝光量接近最佳曝光量,既保障了后续所采集的图像对应的彩色图像的色彩信息的完整性,也保障了后续所采集的图像对应的黑白图像的细节信息的完整性。
例如,在环境光照强度较高时,彩色图像曝光量充足,黑白图像过曝的概率较大,以由黑白像素生成的黑白图像的亮度作为统计亮度来设置曝光参数,意味着可以对后续所采集的图像对应的黑白图像的亮度进行调节,从而可以有效地避免黑白图像因过曝,而导致细节信息缺失的问题。例如,在环境光照强度较低时,黑白图像曝光量充足,彩色图像的曝光量不足,以由彩色像素生成的彩色图像的亮度作为统计亮度来设置曝光参数,意味着可以对后续所采集的图像对应的彩色图像的亮度进行调节,从而可以有效避免因彩色图像曝光量不足,而导致色彩信息不完整的问题。再例如,在环境光照强度小于第一阈值且大于第二阈值时,可能存在彩色图像曝光量不足、黑白图像过曝或黑白图像曝光量不足中的一个或多个情况,在这些情况下,以亮度的大小介于第一亮度、第二亮度之间的第三亮度作为统计亮度来设置曝光参数,意味着可以对后续所采集的图像对应的彩色图像的亮度、黑白图像的亮度进行调节,能够使得后续得到的彩色图像和黑白图像的曝光量接近充足。
可见,通过本申请实施例所述的方法,可以使得后续采集的图像曝光量接近最佳曝光量,从而提高了成像质量,能够使得该图像采集装置自适应地工作在各种环境光照强度所对应的环境中。
上述本申请提供的实施例中,为了实现上述本申请实施例提供的方法中的各功能,处理器130可以包括硬件结构和/或软件模块,以硬件结构、软件模块、或硬件结构加软件模块的形式来实现上述各功能。上述各功能中的某个功能以硬件结构、软件模块、还是硬件结构加软件模块的方式来执行,取决于技术方案的特定应用和设计约束条件。
图5示出了一种曝光参数调节装置500的结构示意图。其中,曝光参数调节装置500可以用于实现图4所示的实施例中处理器130的功能,即图1所示的实施例中处理器130的功能。曝光参数调节装置500可以是硬件结构、软件模块、或硬件结构加软件模块。曝光参数调节装置500可以由芯片***实现。本申请实施例中,芯片***可以由芯片构成,也可以包含芯片和其他分立器件。
曝光参数调节装置500可以包括获取单元501、选择单元502和处理单元503。
其中,获取单元501可以执行图4所示的实施例中的步骤S401和步骤S402,和/或用于支持本文所描述的技术的其它过程。一种可能的实现方式,获取单元501可以用于与选择单元502通信,或者,获取单元501可以用于与处理单元503通信,或者,获取单元501可以与图像采集装置100的其它模块进行通信,其可以是电路、器件、接口、总线、软件模块、收发器或者其它任意可以实现通信的装置。
选择单元502可以执行图4所示的实施例中的步骤S403,和/或用于支持本文所描述的技术的其它过程。一种可能的实现方式,选择单元502可以用于与获取单元501通信,或者,选择单元502可以用于与处理单元503通信,或者,选择单元502可以与图像采集装置100的其它模块进行通信,其可以是电路、器件、接口、总线、软件模块、收发器或者其它任意可以实现通信的装置。
处理单元503可以执行图4所示的实施例中的步骤S404,和/或用于支持本文所描述的技术的其它过程。一种可能的实现方式,处理单元503可以用于与获取单元501通信,或者,处理单元503可以用于与选择单元502通信,或者,处理单元503可以与图像采集装置100的其它模块进行通信,其可以是电路、器件、接口、总线、软件模块、收发器或者其它任意可以实现通信的装置。
其中,上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述,在此不再赘述。
图5所示的实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,另外,在本申请各个实施例中的各功能模块可以集成在一个处理器中,也可以是单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
如图6所示为本申请实施例提供的曝光参数调节装置600,其中,曝光参数调节装置600可以用于实现图4所示的实施例中处理器130的功能。其中,该曝光参数调节装置600可以为芯片***。本申请实施例中,芯片***可以由芯片构成,也可以包含芯片和其他分立器件。
曝光参数调节装置600包括至少一个处理器601,用于实现或用于曝光参数调节装置600实现图4所示的实施例中处理器130的功能。示例性地,处理器601可以获取第一图像的黑白像素和彩色像素、以及获取环境光照强度,根据环境光照强度从第一亮度、第二亮度以及第三亮度中选择一个亮度作为统计亮度,再根据统计亮度调节图像采集装置100的曝光参数,具体参见方法示例中的详细描述,此处不做赘述。
曝光参数调节装置600还可以包括至少一个存储器602,用于存储程序指令和/或数据。存储器602和处理器601耦合。本申请实施例中的耦合是装置、单元或模块之间的间接耦合或通信连接,可以是电性,机械或其它的形式,用于装置、单元或模块之间的信息交互。处理器601可能和存储器602协同操作。处理器601可能执行存储器602中存储的程序指令。所述至少一个存储器中的至少一个可以包括于处理器中。
曝光参数调节装置600还可以包括接口603,用于与处理器601通信,或者用于通过传输介质和其它设备进行通信,从而用于曝光参数调节装置600可以和其它设备进行通信。示例性地,该其它设备可以是计算模块。处理器601可以利用接口603收发数据。
本申请实施例中不限定上述接口603、处理器601以及存储器602之间的具体连接介质。本申请实施例在图6中以存储器602、处理器601以及接口603之间通过总线604连接,总线在图6中以粗线表示,其它部件之间的连接方式,仅是进行示意性说明,并不引以为限。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图6中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
在本申请实施例中,处理器601可以是通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件,可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
在本申请实施例中,存储器602可以是非易失性存储器,例如硬盘(hard diskdrive,HDD)或固态硬盘(solid-state drive,SSD)等,还可以是易失性存储器(volatilememory),例如随机存取存储器。存储器是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。本申请实施例中的存储器还可以是电路或者其它任意能够实现存储功能的装置,用于存储程序指令和/或数据。
本申请实施例中还提供一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行图4所示的实施例中处理器130执行的方法。
本申请实施例提供了一种芯片***,该芯片***包括处理器,还可以包括存储器,用于实现前述方法中处理器130的功能。该芯片***可以由芯片构成,也可以包含芯片和其他分立器件。
本申请实施例提供了一种图像采集装置,该图像采集装置包括图4所示的实施例中处理器130。
本申请实施例提供的方法中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、网络设备、用户设备或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line,简称DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机可以存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如,数字视频光盘(digital video disc,简称DVD))、或者半导体介质(例如,SSD)等。

Claims (19)

1.一种曝光参数的调节方法,其特征在于,所述方法包括:
获取第一图像中的黑白像素和彩色像素,所述第一图像是图像采集装置采集的;
根据环境光照强度,从第一亮度、第二亮度和第三亮度中选择一个亮度作为统计亮度,其中,所述第一亮度通过统计所述黑白像素的亮度得到,所述第二亮度通过统计所述彩色像素的亮度得到,所述第三亮度的大小在所述第一亮度、所述第二亮度之间;
根据所述统计亮度,调节所述图像采集装置的曝光参数。
2.如权利要求1所述的方法,其特征在于,根据采集第一图像的环境光照强度,从第一亮度、第二亮度和第三亮度中选择一个亮度作为统计亮度,包括:
在所述环境光照强度大于或等于第一阈值时,选择所述第一亮度作为所述统计亮度;或,
在所述环境光照强度小于第一阈值且大于第二阈值时,选择所述第三亮度作为所述统计亮度;或,
在所述环境光照强度小于或等于第二阈值时,选择所述第二亮度作为所述统计亮度。
3.如权利要求1所述的方法,其特征在于,根据所述统计亮度,调节所述图像采集装置的曝光参数,包括:
根据所述统计亮度与参考亮度之间的差值,调节所述图像采集装置的曝光参数。
4.如权利要求3所述的方法,其特征在于,根据所述统计亮度与参考亮度之间的差值,调节所述图像采集装置的曝光参数,包括:
根据所述统计亮度与所述参考亮度之间的差值,确定调节步长;
根据所述调节步长,以自动曝光的方式调节所述图像采集装置的曝光参数。
5.如权利要求1~4中任一项所述的方法,其特征在于,所述第三亮度为所述第一亮度和所述第二亮度的加权平均值。
6.如权利要求1~4中任一项所述的方法,其特征在于,所述方法还包括:
在所述环境光照强度小于或等于第二阈值时,根据所述第一亮度,调节所述图像采集装置中红外补光灯的补光强度,所述红外补光灯用于为被拍摄对象补光。
7.如权利要求6所述的方法,其特征在于,根据所述第一亮度,调节红外补光灯的强度,包括:
在所述第一亮度大于或等于第三阈值时,减小所述红外补光灯的补光强度;或,
在所述第一亮度小于第三阈值且大于第四阈值时,保持所述红外补光灯的补光强度不变;或,
在所述第一亮度小于或等于第四阈值时,增大所述红外补光灯的补光强度。
8.如权利要求1~4中任一项所述的方法,其特征在于,所述图像采集装置的图像传感器包括彩色滤波片,所述彩色滤波片包括透明镀膜的子单元和彩色镀膜的子单元,所述透明镀膜的子单元用于从所述第一图像中获得所述黑白像素,所述彩色镀膜的子单元用于从所述第一图像中获得所述彩色像素。
9.如权利要求1~4中任一项所述的方法,其特征在于,所述图像采集装置的曝光参数包括快门时间、增益或光圈大小中的一个或多个。
10.一种曝光参数调节装置,其特征在于,所述装置包括获取单元,选择单元和处理单元;
其中,所述获取单元,用于获取第一图像中的黑白像素和彩色像素,所述第一图像是图像采集装置采集的;
所述选择单元,用于根据环境光照强度,从第一亮度、第二亮度和第三亮度中选择一个亮度作为统计亮度,其中,所述第一亮度通过统计所述黑白像素的亮度得到,所述第二亮度通过统计所述彩色像素的亮度得到,所述第三亮度的大小在所述第一亮度、所述第二亮度之间;
所述处理单元,用于根据所述统计亮度,调节所述图像采集装置的曝光参数。
11.如权利要求10所述的装置,其特征在于,所述选择单元,具体用于:
在所述环境光照强度大于或等于第一阈值时,选择所述第一亮度作为所述统计亮度;或,
在所述环境光照强度小于第一阈值且大于第二阈值时,选择所述第三亮度作为所述统计亮度;或,
在所述环境光照强度小于或等于第二阈值时,选择所述第二亮度作为所述统计亮度。
12.如权利要求10所述的装置,其特征在于,所述处理单元,具体用于:
根据所述统计亮度与参考亮度之间的差值,调节所述图像采集装置的曝光参数。
13.如权利要求12所述的装置,其特征在于,所述处理单元,具体用于:
根据所述统计亮度与所述参考亮度之间的差值,确定调节步长;
根据所述调节步长,以自动曝光的方式调节所述图像采集装置的曝光参数。
14.如权利要求10~13中任一项所述的装置,其特征在于,所述第三亮度为所述第一亮度和所述第二亮度的加权平均值。
15.如权利要求10~13中任一项所述的装置,其特征在于,所述处理单元,进一步用于:
在所述环境光照强度小于或等于第二阈值时,根据所述第一亮度,调节所述图像采集装置中红外补光灯的补光强度,所述红外补光灯用于为被拍摄对象补光。
16.如权利要求15所述的装置,其特征在于,所述处理单元,具体用于:
在所述第一亮度大于或等于第三阈值时,减小所述红外补光灯的补光强度;或,
在所述第一亮度小于第三阈值且大于第四阈值时,保持所述红外补光灯的补光强度不变;或,
在所述第一亮度小于或等于第四阈值时,增大所述红外补光灯的强度。
17.如权利要求10~13中任一项所述的装置,其特征在于,所述图像采集装置的图像传感器包括彩色滤波片,所述彩色滤波片包括透明镀膜的子单元和彩色镀膜的子单元,所述透明镀膜的子单元用于从所述第一图像中获得所述黑白像素,所述彩色镀膜的子单元用于从所述第一图像中获得所述彩色像素。
18.一种曝光参数调节装置,其特征在于,包括至少一个处理器;所述至少一个处理器,用于运行计算机程序或指令,以使得所述装置执行如权利要求1至9中任一项所述的方法。
19.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序或指令,当计算机读取并执行所述计算机程序或指令时,使得计算机执行如权利要求1至9中任意一项所述的方法。
CN201911243840.XA 2019-12-06 2019-12-06 一种曝光参数的调节方法及装置 Active CN111064899B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201911243840.XA CN111064899B (zh) 2019-12-06 2019-12-06 一种曝光参数的调节方法及装置
PCT/CN2020/110075 WO2021109620A1 (zh) 2019-12-06 2020-08-19 一种曝光参数的调节方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911243840.XA CN111064899B (zh) 2019-12-06 2019-12-06 一种曝光参数的调节方法及装置

Publications (2)

Publication Number Publication Date
CN111064899A CN111064899A (zh) 2020-04-24
CN111064899B true CN111064899B (zh) 2021-06-08

Family

ID=70300104

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911243840.XA Active CN111064899B (zh) 2019-12-06 2019-12-06 一种曝光参数的调节方法及装置

Country Status (2)

Country Link
CN (1) CN111064899B (zh)
WO (1) WO2021109620A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111064899B (zh) * 2019-12-06 2021-06-08 成都华为技术有限公司 一种曝光参数的调节方法及装置
CN113691735B (zh) * 2020-05-18 2022-11-25 浙江宇视科技有限公司 一种摄像机及红外光补光方法、装置
CN114143470A (zh) * 2020-09-04 2022-03-04 华为技术有限公司 一种调整摄像机曝光时间的方法、装置以及程序产品
CN112946896B (zh) * 2021-02-03 2023-06-27 上海闻泰信息技术有限公司 可穿戴设备、透过率调整***、方法和可读存储介质
CN115314628B (zh) * 2021-05-08 2024-03-01 杭州海康威视数字技术股份有限公司 一种成像方法、***及摄像机
CN113810601B (zh) * 2021-08-12 2022-12-20 荣耀终端有限公司 终端的图像处理方法、装置和终端设备
CN114266736A (zh) * 2021-12-07 2022-04-01 北京的卢深视科技有限公司 眩光检测方法、装置、电子设备和计算机可读存储介质
CN114093015A (zh) * 2022-01-21 2022-02-25 杭州魔点科技有限公司 针对人脸识别的智能补光方法、电子设备及存储介质
CN114630036B (zh) * 2022-03-21 2023-09-29 重庆紫光华山智安科技有限公司 一种昼夜切换方法、装置、摄像机及存储介质
CN117011153A (zh) * 2022-04-28 2023-11-07 华为技术有限公司 图像处理方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105827990A (zh) * 2016-01-22 2016-08-03 维沃移动通信有限公司 一种自动曝光方法及移动终端
CN106060412A (zh) * 2016-08-02 2016-10-26 乐视控股(北京)有限公司 拍照处理方法和装置
CN106534677A (zh) * 2016-10-27 2017-03-22 成都西纬科技有限公司 一种图像过曝优化方法及装置
CN108364275A (zh) * 2018-03-02 2018-08-03 成都西纬科技有限公司 一种图像融合方法、装置、电子设备及介质
CN110401787A (zh) * 2019-07-22 2019-11-01 珠海格力电器股份有限公司 一种图像采集方法、装置和可读介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4626432B2 (ja) * 2005-07-25 2011-02-09 富士フイルム株式会社 撮像装置における色判別方法及び装置並びに撮像装置の露出制御方法
CN104581100A (zh) * 2015-02-12 2015-04-29 张李静 色彩滤镜阵列和图像处理方法
CN105491285B (zh) * 2015-12-03 2019-02-15 浙江宇视科技有限公司 一种pir摄像机工作模式切换方法及装置
KR102603426B1 (ko) * 2016-06-27 2023-11-20 삼성전자주식회사 이미지 처리장치 및 방법
CN108965654B (zh) * 2018-02-11 2020-12-25 浙江宇视科技有限公司 基于单传感器的双光谱摄像机***和图像处理方法
CN110381244B (zh) * 2019-08-26 2021-02-02 浙江大华技术股份有限公司 一种摄像头及低照度下提升图像质量的方法
CN111064899B (zh) * 2019-12-06 2021-06-08 成都华为技术有限公司 一种曝光参数的调节方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105827990A (zh) * 2016-01-22 2016-08-03 维沃移动通信有限公司 一种自动曝光方法及移动终端
CN106060412A (zh) * 2016-08-02 2016-10-26 乐视控股(北京)有限公司 拍照处理方法和装置
CN106534677A (zh) * 2016-10-27 2017-03-22 成都西纬科技有限公司 一种图像过曝优化方法及装置
CN108364275A (zh) * 2018-03-02 2018-08-03 成都西纬科技有限公司 一种图像融合方法、装置、电子设备及介质
CN110401787A (zh) * 2019-07-22 2019-11-01 珠海格力电器股份有限公司 一种图像采集方法、装置和可读介质

Also Published As

Publication number Publication date
WO2021109620A1 (zh) 2021-06-10
CN111064899A (zh) 2020-04-24

Similar Documents

Publication Publication Date Title
CN111064899B (zh) 一种曝光参数的调节方法及装置
CN108419023B (zh) 一种生成高动态范围图像的方法以及相关设备
CN107948538B (zh) 成像方法、装置、移动终端和存储介质
US11532076B2 (en) Image processing method, electronic device and storage medium
CN111447374B (zh) 补光调节方法、装置、电子设备及存储介质
CN108616689B (zh) 基于人像的高动态范围图像获取方法、装置及设备
CN108337446B (zh) 基于双摄像头的高动态范围图像获取方法、装置及设备
US9036046B2 (en) Image processing apparatus and method with white balance correction
CN116416122B (zh) 图像处理方法及其相关设备
US11601600B2 (en) Control method and electronic device
CN110290325B (zh) 图像处理方法、装置、存储介质及电子设备
CN116055897B (zh) 拍照方法及其相关设备
WO2023036034A1 (zh) 图像处理方法及其相关设备
CN113228621B (zh) 一种成像控制方法、***和非暂时性计算机可读介质
US10977777B2 (en) Image processing apparatus, method for controlling the same, and recording medium
US11496694B2 (en) Dual sensor imaging system and imaging method thereof
US11568526B2 (en) Dual sensor imaging system and imaging method thereof
JP2009063674A (ja) 撮像装置及びフラッシュ制御方法
JP3958700B2 (ja) デジタルカメラ
CN114125311A (zh) 一种宽动态模式的自动切换方法及装置
JP2015119436A (ja) 撮像装置
JP2013132065A (ja) 撮像装置及びフラッシュ制御方法
CN116055855B (zh) 图像处理方法及其相关设备
CN115426449B (zh) 一种拍照方法和终端
JP5943682B2 (ja) 撮像装置、その制御方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant