CN112153304B - 曝光调整方法和***、驾驶员监控***、高级驾驶辅助*** - Google Patents

曝光调整方法和***、驾驶员监控***、高级驾驶辅助*** Download PDF

Info

Publication number
CN112153304B
CN112153304B CN202011044803.9A CN202011044803A CN112153304B CN 112153304 B CN112153304 B CN 112153304B CN 202011044803 A CN202011044803 A CN 202011044803A CN 112153304 B CN112153304 B CN 112153304B
Authority
CN
China
Prior art keywords
area
measured
exposure
mean value
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011044803.9A
Other languages
English (en)
Other versions
CN112153304A (zh
Inventor
宋博
于奇
李靖
王勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Chengdu Image Design Technology Co Ltd
Original Assignee
University of Electronic Science and Technology of China
Chengdu Image Design Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China, Chengdu Image Design Technology Co Ltd filed Critical University of Electronic Science and Technology of China
Priority to CN202011044803.9A priority Critical patent/CN112153304B/zh
Publication of CN112153304A publication Critical patent/CN112153304A/zh
Application granted granted Critical
Publication of CN112153304B publication Critical patent/CN112153304B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

本发明公开了一种曝光调整方法和***、驾驶员监控***、高级驾驶辅助***,用于调整一待测物的曝光。首先获取包含所述待测物的待测图像;然后统计待测图像中感兴趣区域的亮度均值和直方图数据,并基于所述亮度均值和所述直方图数据判断当前的场景;通过当前的场景来获取待测物区域的数据,最后计算出所述待测物的曝光参数和增益参数。利用本申请的方案,可以实现在各种光照环境下,保证待测物的精准曝光。通过亮度和直方图数据的统计,区分前景、背景以及不同的场景,根据当前的配置和场景,进一步设置曝光参数和增益参数。

Description

曝光调整方法和***、驾驶员监控***、高级驾驶辅助***
技术领域
本发明涉及图像处理领域,尤其是涉及一种曝光调整方法和***、驾驶员监控***、高级驾驶辅助***。
背景技术
汽车已成为现代社会不可缺少的一部分,随着工业技术的不断更新,提升行车安全已逐渐成为汽车行业的核心诉求,由此诞生的ADAS(Advanced Driving AssistanceSystem,高级驾驶辅助***)利用安装在车上的各式各样传感器,在汽车行驶过程中随时来感应周围的环境,收集数据,进行静态物体和动态物体的辨识、侦测以及追踪,并结合导航仪的地图数据,进行***的运算与分析,从而预先让驾驶者察觉到可能发生的危险,可有效增加汽车驾驶的舒适性和安全性。ADAS中的DMS(Driver Monitor System,驾驶员监控***)能够在驾驶员行驶过程中,实时检测驾驶员的疲劳状态、驾驶行为等。在发现驾驶员出现疲劳、打哈欠、眯眼睛及其他错误驾驶状态后,预警***将会对此类行为进行及时的分析,并进行语音或灯光提示。以此达到警示驾驶员以及预防发生事故的作用。
DMS摄像头通常采用940nm波长的近红外LED作为光源。该波长光源针对不同材料的反光率不同,人脸皮肤的反光率更高,因此通常亮度更大。太阳光中也存在940nm波长的波段,当车辆逆光行驶,太阳光直射人脸时,人脸的曝光会偏离目标值。DMS摄像头输出数据通常连接机器学习等应用单元,数据进行人脸识别、眼球追踪计算。由于车载光照环境变化剧烈,人脸的曝光参数和增益参数不能准确调整,从而引起后续机器学习计算出现错误。
因此,需要提出一种可以自动调整曝光参数和增益参数的方案。
发明内容
本发明的目的在于提供一种曝光调整方法和***、驾驶员监控***、高级驾驶辅助***,用于解决现有技术中由于车载光照环境变化剧烈,人脸的曝光参数和增益参数不能准确调整,引起后续机器学习计算出现错误的问题。
为了解决上述技术问题,本发明提出一种曝光调整方法,用于调整一待测物的曝光,所述曝光调整方法包括以下步骤:
获取包含所述待测物的待测图像;
统计所述待测图像中感兴趣区域的亮度均值和直方图数据,所述直方图数据包括图像中每个像素值的统计分布图;
基于所述亮度均值和所述直方图数据判断当前的场景;
基于当前的场景,获取待测物区域的数据;
基于当前的场景和所述待测物区域的数据,计算所述待测物的曝光参数和增益参数。
可选地,所述感兴趣区域包括核心区域和背景区域;
所述核心区域为所述感兴趣区域中所述待测物所处的部分,所述背景区域为所述感兴趣区域中背景所处的部分。
可选地,所述统计所述待测图像中感兴趣区域的亮度均值和直方图数据,包括:
设置所述核心区域和所述背景区域;
分别统计所述核心区域的图像数据以及所述背景区域的图像数据;
基于所述核心区域的图像数据统计所述核心区域的亮度均值,基于所述背景区域的图像数据统计所述背景区域的亮度均值;
统计所述待测图像的直方图数据以及所述核心区域的直方图数据。
可选地,所述基于所述亮度均值和所述直方图数据判断当前的场景,包括:
基于所述背景区域的亮度均值、所述核心区域的亮度均值以及所述待测图像的直方图数据判断当前的场景。
可选地,所述场景包括补光灯环境和逆光环境;
当所述背景区域的亮度均值小于所述核心区域的亮度均值时,判断当前的场景为所述补光灯环境;
当所述待测图像的直方图数据呈均匀分布时,判断当前的场景为所述逆光环境。
可选地,所述逆光环境包括大逆光环境、侧光环境以及顶光环境;
当所述背景区域的亮度均值变大时,判断当前的场景为所述大逆光环境;
当所述背景区域的亮度均值呈现一侧值大而另一侧值小时,判断当前的场景为所述侧光环境;
当所述背景区域的亮度均值呈现上侧的值大时,判断当前的场景为所述顶光环境。
可选地,所述获取待测物区域的数据包括将所述感兴趣区域中所述待测物的位置通过调整权重标注出来。
可选地,通过以下方式调整权重:
对于所述核心区域的亮度均值中,超出预设阈值的区域,按照反向S曲线分配权重;
对于所述核心区域的亮度均值中,低于所述预设阈值的区域,按照S曲线分配权重;
其中,所述S曲线为所述亮度均值的大小与所述权重的大小成正比关系,所述反向S曲线为所述亮度均值的大小与所述权重的大小成反比关系。
可选地,所述基于当前的场景和所述待测物区域的数据,计算所述待测物的曝光参数和增益参数,包括:
按照以下公式计算所述待测物曝光参数和增益参数:
Figure BDA0002707662420000031
其中,NewExp为所述待测物的待计算的曝光参数;NewGain为所述待测物的待计算的增益参数;Target_Luma为目标亮度值;Current_Luma为当前核心区域中待测物的亮度值经所述权重加权计算后的平均亮度值;K为调整控制系数;Current_Exp为所述待测物的当前的曝光参数,Current_Gain为所述待测物的当前的增益参数。
基于同一发明构思,本发明还提出一种曝光调整***,用于调整一待测物的曝光,所述曝光调整***包括:
图像获取单元,其被配置为获取包含所述待测物的待测图像;
统计单元,其被配置为统计所述待测图像中感兴趣区域的亮度均值和直方图数据,所述直方图数据包括图像中每个像素值的统计分布图;
场景判断单元,其被配置为基于所述亮度均值和所述直方图数据判断当前的场景;
待测物区域获取单元,其被配置为基于当前的场景,获取待测物区域的数据;
计算单元,其被配置为基于当前的场景和所述待测物区域的数据,计算所述待测物的曝光参数和增益参数。
基于同一发明构思,本发明还提出一种驾驶员监控***,利用上述特征描述中任一项所述的曝光调整方法或所述的曝光调整***。
基于同一发明构思,本发明还提出一种高级驾驶辅助***,包括所述的驾驶员监控***。
与现有技术相比,本发明具有以下有益效果:
1、本发明提出的曝光调整方法,用于调整一待测物的曝光。首先获取包含所述待测物的待测图像;然后统计待测图像中感兴趣区域的亮度均值和直方图数据,并基于所述亮度均值和所述直方图数据判断当前的场景;通过当前的场景来获取待测物区域的数据,最后计算出所述待测物的曝光参数和增益参数。利用本申请的方案,可以实现在各种光照环境下,保证待测物的精准曝光。通过亮度和直方图数据的统计,区分前景、背景以及不同的场景,根据当前的配置和场景,进一步设置曝光参数和增益参数。由于精准的曝光时间计算,可以实现曝光实时跟随环境进行调整,满足机器学习对每帧数据精准性的要求,避免掉帧或断帧影响后续机器学习的计算结果。利用本申请提出的所述曝光调整方法,可通过分析大量场景数据,在不执行人脸检测等复杂算法的前提下,实现在DMS应用中,针对人脸做到精准曝光,当应用在DMS中时,所述待测物即为人脸。利用本申请提出的所述曝光调整方法可以节约计算、存储资源,降低功耗。另外,还可嵌入到DMS用的CIS(CMOS Image Sensor,CMOS图像传感器)中,不用担心资源占用及功耗等成本问题,具有较高的性价比。
2、通常情况下,所述场景可分为补光灯环境和逆光环境,补光灯环境是人脸曝光的基准环境,最容易实现理想的曝光调节。而逆光环境是指阳光中有940nm波段近红外光照射到待测物上时,影响待测物区域的精准判断。因此,通过所述背景区域的亮度均值、所述核心区域的亮度均值以及所述待测图像的直方图数据来判断当前的场景是补光灯环境还是逆光环境。通过这样的场景区分可以实现不同的曝光调节方案,并提高了待测物区域的精准判断。
3、在实际应用时,逆光环境有很过其它情况,例如阳光可能是侧着入射、从顶部入射或者正面入射,容易出现待测物曝光不均匀的现象,影响对待测物区域的精准判断。为了进一步提高待测物区域的精准判断,又将所述逆光环境进一步区分为大逆光环境、侧光环境以及顶光环境。
本发明还提出一种曝光调整***、驾驶员监控***、高级驾驶辅助***,与所述曝光调整方法属于同一发明构思,因此具有相同的有益效果。
附图说明
图1为本发明一实施例提出的一种曝光调整方法的流程示意图;
图2为本发明实施例提出的一种感兴趣区域的划分示意图;
图3为正常环境的直方图示意图;
图4为大逆光环境的直方图示意图;
图5为核心区域权重分配S曲线和反向S曲线示意图;
图6为人脸区域曝光区域直方图示意图;
图7为DMS摄像头模组镜头及补光灯分布示意图;
图8为DMS模组补光方式的示意图;
图9为补光灯的控制策略示意图;
图10为本发明另一实施例提出的一种曝光调整***的结构示意图;
其中,图2和图10中:10-待测物,20-感兴趣区域,201-核心区域,202-背景区域,30-曝光调整***,301-图像获取单元,302-统计单元,303-场景判断单元,304-待测物区域获取单元,305-计算单元。
具体实施方式
下面将结合示意图对本发明的具体实施方式进行更详细的描述。根据下列描述,本发明的优点和特征将更清楚。需说明的是,附图均采用非常简化的形式且均使用非精准的比例,仅用以方便、明晰地辅助说明本发明实施例的目的。
在本发明的描述中,需要理解的是,术语“中心”、“上”、“下”、“左”、“右”等指示的方位或者位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
请参考图1,本发明实施例提出一种曝光调整方法,用于调整一待测物10的曝光,所述曝光调整方法包括以下步骤:
S1:获取包含所述待测物10的待测图像;
S2:统计所述待测图像中感兴趣区域20的亮度均值和直方图数据,所述直方图数据包括图像中每个像素值的统计分布图;
S3:基于所述亮度均值和所述直方图数据判断当前的场景;
S4:基于当前的场景,获取待测物区域的数据;
S5:基于当前的场景和所述待测物区域的数据,计算所述待测物10的曝光参数和增益参数。
与现有技术不同之处在于,本发明提出的曝光调整方法,用于调整一待测物10的曝光。首先获取包含所述待测物10的待测图像;然后统计待测图像中感兴趣区域20的亮度均值和直方图数据,并基于所述亮度均值和所述直方图数据判断当前的场景;通过当前的场景来获取待测物区域的数据,最后计算出所述待测物10的曝光参数和增益参数。利用本申请的方案,可以实现在各种光照环境下,保证待测物10的精准曝光。通过亮度和直方图数据的统计,区分前景、背景以及不同的场景,根据当前的配置和场景,进一步设置曝光参数和增益参数。由于精准的曝光时间计算,可以实现曝光实时跟随环境进行调整,满足机器学习对每帧数据精准性的要求,避免掉帧或断帧影响后续机器学习的计算结果。利用本申请提出的所述曝光调整方法,可通过分析大量场景数据,在不执行人脸检测等复杂算法的前提下,实现在DMS应用中,针对人脸做到精准曝光,当应用在DMS中时,所述待测物10即为人脸。利用本申请提出的所述曝光调整方法可以节约计算、存储资源,降低功耗。另外,还可嵌入到DMS用的CIS(CMOS Image Sensor,CMOS图像传感器)中,不用担心资源占用及功耗等成本花销,具有较高的性价比。本领域技术人员可以理解的是,所述感兴趣区域20(ROI,region ofinterest),是指在机器视觉和图像处理中,从被处理的图像以方框、圆、椭圆或者不规则多边形等方式勾勒出需要处理的区域。另外,所述待测物10可以为任何需要进行曝光调整的物体,为了便于理解本申请的技术方案,以下所述待测物10均以人脸为例来具体说明,其它的待测物10与人脸类似。
进一步地,请参考图2,所述感兴趣区域20包括核心区域201和背景区域202,所述核心区域201为所述感兴趣区域20中所述待测物10所处的部分,所述背景区域202为所述感兴趣区域20中背景所处的部分。
可选地,所述统计所述待测图像中感兴趣区域20的亮度均值和直方图数据,也即所述步骤S2包括:
设置所述核心区域201和所述背景区域202;
分别统计所述核心区域201的图像数据以及所述背景区域202的图像数据;
基于所述核心区域201的图像数据统计所述核心区域201的亮度均值,基于所述背景区域202的图像数据统计所述背景区域202的亮度均值;
统计所述待测图像的直方图数据以及所述核心区域201的直方图数据。
通过设置所述核心区域201和所述背景区域202,分别统计人脸所在区域的图像数据以及背景所在区域的图像数据。核心区域201和背景区域202的ROI窗口可以根据需求任意设置。从图2中可以看出,在本发明实施例中,所述核心区域201设置8x8共64个子区域。可以理解的是,由于DMS摄像头安装位置,驾驶员的身高、脸型,坐姿等不同会出现人脸区域有所不同,因此,所述核心区域201及其子区域可根据实际情况,任意调整大小和位置。另外,所述核心区域201只需完成对人脸区域大范围的覆盖,不必完全精确,后续算法将把人脸区域从所述核心区域201中识别出来。所述背景区域202一般是围绕所述核心区域201分布的多个小块ROI统计窗口。通过设置这种可以自由选择范围的核心区域201和背景区域202,可以满足各种不同情况下的需求,提高了所述曝光调整方法的普适性。
需要注意的是,感兴趣区域的每个统计窗口均需要统计窗口内图像的均值。同时,需要统计整幅图像的直方图数据,并单独统计核心区域201的直方图数据。图2仅是一种统计区域的划分方法示例,不能理解为对本申请方案中所述背景区域202和所述核心区域201划分的限制,在其它实施例中,所述核心区域201和所述背景区域202还有很多种其它的划分方法,只要其主要目的是针对人脸核心区域201和背景区域202分别进行统计均可用于实施,统计的数据用以支撑对人脸的精确识别和对当前场景的判断功能。
可选地,所述基于所述亮度均值和所述直方图数据判断当前的场景,包括:基于所述背景区域202的亮度均值、所述核心区域201的亮度均值以及所述待测图像的直方图数据判断当前的场景。直方图数据是图像每个像素值的统计分布图,直方图数据可以了解一幅图像中亮暗像素的分布情况,因此结合直方图数据及亮度均值,可以方便的区分光照环境。由于在不同的光照环境下,所述背景区域202、所述核心区域201以及所述待测图像的直方图数据和亮度均值,会呈现出不同的特征,基于这些区别特征可以区分出不同的场景。
进一步地,所述场景包括补光灯环境和逆光环境;
当所述背景区域202的亮度均值小于所述核心区域201的亮度均值时,判断当前的场景为所述补光灯环境;
当所述待测图像的直方图数据呈均匀分布时,判断当前的场景为所述逆光环境。
通常情况下,所述场景可分为补光灯环境和逆光环境,补光灯环境是人脸曝光的基准环境,最容易实现理想的曝光调节。而逆光环境是指阳光中有940nm波段近红外光照射到待测物10上时,影响待测物区域的精准判断。因此,通过所述背景区域202的亮度均值、所述核心区域201的亮度均值以及所述待测图像的直方图数据来判断当前的场景是补光灯环境还是逆光环境。通过这样的场景区分可以实现不同的曝光调节方案,并提高了待测物区域的精准判断。
优选地,所述逆光环境包括大逆光环境、侧光环境以及顶光环境;
当所述背景区域202的亮度均值变大时,判断当前的场景为所述大逆光环境;
当所述背景区域202的亮度均值呈现一侧值大而另一侧值小时,判断当前的场景为所述侧光环境;
当所述背景区域202的亮度均值呈现上侧的值大时,判断当前的场景为所述顶光环境。
在实际应用时,逆光环境有很过其它情况,例如阳光可能是侧着入射、从顶部入射或者正面入射,容易出现待测物10曝光不均匀的现象,影响对待测物区域的精准判断。为了进一步提高待测物区域的精准判断,又将所述逆光环境进一步区分为大逆光环境、侧光环境以及顶光环境。
通过上述分析可知,用于进行场景判断的依据是各区域的亮度均值、待测图像的直方图数据及核心区域201的直方图数据。针对940nm补光灯条件下的曝光环境,通常可以分为纯补光环境、阳光直射条件的大逆光环境、阳光侧面照射的侧光环境及阳光从头顶(通过天窗或敞篷车)照射的顶光环境。其中,纯补光环境是人脸曝光的基准环境,最容易实现理想的曝光调节。由于阳光中含有较强的940nm波段近红外光,因此大逆光环境、侧光环境和顶光环境都比较容易出现面部曝光不均匀的现象,影响对人脸区域的精准判断。因此,需要根据环境不同实现不同的曝光调节方案。
请参考图3,图3是纯补光环境的直方图,图3中横坐标为像素值,图3中纵坐标为像素数量,从图3中可以看出在纯补光环境下,直方图呈现两侧双峰分布。一般光源大都为940nm的近红外光源,光源直接照射到人脸上。因此,仅有人脸及周边,比如衣服,座椅等具备反光条件,而背景的反光较弱,CIS几乎不能感应到背景反光。此时,根据感兴趣区域20统计的亮度均值,如果背景区域202的亮度均值均远低于核心区域201的亮度均值,则判断此时的场景为纯补光环境。
而在逆光环境下,由于阳光中也存在940nm光源,且光源较强。因此,背景会出现较强的反光,在纯补光环境下呈两侧双峰分布的直方图形状会相应改变,呈现图4的相对均匀的分布特点,图4中横坐标为像素值,图4中纵坐标为像素数量。此时,若感兴趣区域20的亮度均值以及背景区域的亮度均值有所均匀提升,则可判断此时的场景为大逆光环境。除了阳光正面直射环境外,若阳光通过侧面或顶部直射,则通过感兴趣区域20的亮度均值判断。在侧光环境下,背景区域202会呈现一侧的亮度均值较大,一侧亮度均值较小的特点。若阳光从顶部天窗照射也即在顶光环境下,则会出现背景区域202的上侧亮度均值较大的特点。
因此,通过感兴趣区域20的背景区域202的亮度均值的特点和直方图数据的形状,可以方便的区分各个特定的场景,从而进一步指导曝光计算及LED补光灯补光强度的计算。需要注意的是,对于场景的判断,并不局限于上述描述的场景,可以根据感兴趣区域20和直方图的情况,区分更多场景细节,在此不一一赘述。
进一步地,所述步骤S4中获取待测物区域的数据包括将所述感兴趣区域20中所述待测物10的位置通过调整权重标注出来。在设置所述核心区域201时,已经基本实现人脸可能位置的完整覆盖。步骤S4的目的是将感兴趣区域20中人脸的精确位置通过调整权重的方式标注出来。
更进一步地,通过以下方式调整权重:
对于所述核心区域201的亮度均值中,超出预设阈值的区域,按照反向S曲线分配权重;
对于所述核心区域201的亮度均值中,低于所述预设阈值的区域,按照S曲线分配权重;
其中,所述S曲线为所述亮度均值的大小与所述权重的大小成正比关系,所述反向S曲线为所述亮度均值的大小与所述权重的大小成反比关系。
所述S曲线和所述反向S曲线的形状请参考图5,图5中横坐标为所述核心区域201各子区域的亮度均值,图5中纵坐标为各子区域分配的权重。核心区域201人脸位置由于人脸的反光率高于一般物体,使得人脸区域亮度更大。根据图5的S型曲线,将图像像素值按S曲线的走向,设定权重,就可以将人脸区域标注出来。如图2中人脸的区域更亮,则分配的权重较高,其余区域权重较低。某些情况下,存在衣服材质等反光率高于人脸,此时需要执行反向S曲线进行反向标注,也即超过正常人脸曝光值的区域,需要分配更低的权重,这样可以排除更高反光率的材质对人脸区域标注产生的影响。图6是正常情况下,核心区域201的统计直方图,图6中横坐标为像素值,图6中纵坐标为像素数量。如果仅人脸存在高反射,则直方图的分布为单峰分布。当出现反光率高于人脸的材质时,直方图则呈现高亮区域双峰分布的特点。此时,根据直方图双峰分布,自适应设定合适的阈值,高于阈值的部分,采用图5中的反向S型曲线进行权重标注,而低于阈值的部分,采用S型曲线标注权重。
进一步地,所述基于当前的场景和所述待测物区域的数据,计算所述待测物10的曝光参数和增益参数,也即所述步骤S5具体包括:
按照以下公式计算所述待测物10曝光参数和增益参数:
Figure BDA0002707662420000111
其中,NewExp为所述待测物10的待计算的曝光参数;NewGain为所述待测物10的待计算的增益参数;Target_Luma为目标亮度值;Current_Luma为当前核心区域201中待测物10的亮度值经所述权重加权计算后的平均亮度值;K为调整控制系数;Current_Exp为所述待测物10的当前的曝光参数,Current_Gain为所述待测物10的当前的增益参数。
根据人脸区域识别得到的加权均值,作为当前的人脸曝光数值。该数值和目标值进行比较。当该数值进入目标值附近位置,则保持当前曝光和增益配置。但数值和目标数值距离较远,则启动新曝光及新增益值的计算。
在公式1中,K为调整控制系数,用于控制曝光和增益达到目标亮度的速度,避免产生闪烁。在曝光调整过程中,以
Figure BDA0002707662420000112
的结果,作为调整的基准。
当目标亮度值大于当前核心区域201中待测物10的亮度值经所述权重加权计算后的平均亮度值时,该比例大于1,需要增加曝光参数和增益参数;当目标亮度值小于当前核心区域201中待测物10的亮度值经所述权重加权计算后的平均亮度值亮度时,则相应减小曝光参数和增益参数。具体调整过程如下:当画面从暗到亮调整时,曝光优先,当曝光未达到最大值时,先调整曝光;当曝光达到最大值后,再调整增益。当画面从亮到暗调整时,增益优先,当增益未达到最小值时,先调整增益;当增益达到最小后,再调整曝光。K可用于控制调整速度,当K=1时,调整可以一步到位,但是存在画面闪烁的可能性,实际使用时,在收敛速度和图像稳定性之间折中考虑。若K=1,则可以一步调整到位,达到快速曝光收敛的目的。
需要注意的是,为了获得更好的曝光效果,除了对所述待测物10的曝光参数和增益参数进行调整外,还可对补光灯进行相应地调整。请参考图7至图9,图7为DMS摄像头模组镜头及补光灯分布示意图;图8为DMS模组补光方式的示意图;图9为补光灯的控制策略示意图;根据对场景的分类及人脸曝光区域识别后的核心区域201的曝光均值,进行补光控制及人脸曝光计算。一般来讲,DMS模组存在4颗或4颗及以上的LED补光灯,为了便于理解,在本发明实施例中以4颗LED补光灯为例进行说明,其它数量的LED补光灯情况与之类似,在此不做赘述。如图8所示,一般补光灯的范围会被设计成可以使得补光基本可覆盖核心区域201。补光控制分场景进行,若识别结果是纯补光环境,则补光灯全开,直接进行曝光计算。请参考图9,若识别为大逆光环境,由于阳光中的940nm成分较强,极易造成人脸区域及周边背景区域202的过曝,因此首先降低LED补光灯强度,甚至完全关闭补光灯,在补光灯降低后,直接使用阳光中的940nm光源,进行人脸曝光计算。若识别为侧光或是顶光环境,则关闭较亮侧光源,而打开较暗侧光源。通过较暗侧光源对人脸的阴影部分进行补光,使其反光强度和阳光接近一致,避免出现阴阳脸的状态。
基于同一发明构思,请参考图10,本发明另一实施例还提出一种曝光调整***30,利用所述曝光调整方法,用于调整一待测物10的曝光,所述曝光调整***30包括:
图像获取单元301,其被配置为获取包含所述待测物10的待测图像;
统计单元302,其被配置为统计所述待测图像中感兴趣区域20的亮度均值和直方图数据,所述直方图数据包括图像中每个像素值的统计分布图;
场景判断单元303,其被配置为基于所述亮度均值和所述直方图数据判断当前的场景;
待测物区域获取单元304,其被配置为基于当前的场景,获取待测物区域的数据;
计算单元305,其被配置为基于当前的场景和所述待测物区域的数据,计算所述待测物10的曝光参数和增益参数。
可以理解的是,所述图像获取单元301、所述统计单元302、所述场景判断单元303、所述待测物区域获取单元304以及所述计算单元305可以合并在一个装置中实现,或者其中的任意一个模块可以被拆分成多个子模块,或者,所述图像获取单元301、所述统计单元302、所述场景判断单元303、所述待测物区域获取单元304以及所述计算单元305中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合,并在一个功能模块中实现。根据本发明的实施例,所述图像获取单元301、所述统计单元302、所述场景判断单元303、所述待测物区域获取单元304以及所述计算单元305中的至少一个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上***、基板上的***、封装上的***、专用集成电路(ASIC),或可以以对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现,或以软件、硬件以及固件三种实现方式的适当组合来实现。或者,所述图像获取单元301、所述统计单元302、所述场景判断单元303、所述待测物区域获取单元304以及所述计算单元305中的至少一个可以至少被部分地实现为计算机程序模块,当该程序被计算机运行时,可以执行相应模块的功能。
基于同一发明构思,本发明实施例还提出一种驾驶员监控***,利用上述特征描述中任一项所述的曝光调整方法或所述的曝光调整***。
基于同一发明构思,本发明实施例还提出一种高级驾驶辅助***,包括所述的驾驶员监控***。
综上所述,本发明具有以下有益效果:
1、本发明提出的曝光调整方法,用于调整一待测物的曝光。首先获取包含所述待测物的待测图像;然后统计待测图像中感兴趣区域的亮度均值和直方图数据,并基于所述亮度均值和所述直方图数据判断当前的场景;通过当前的场景来获取待测物区域的数据,最后计算出所述待测物的曝光参数和增益参数。利用本申请的方案,可以实现在各种光照环境下,保证待测物的精准曝光。通过亮度和直方图数据的统计,区分前景、背景以及不同的场景,根据当前的配置和场景,进一步设置曝光参数和增益参数。由于精准的曝光时间计算,可以实现曝光实时跟随环境进行调整,满足机器学习对每帧数据精准性的要求,避免掉帧或断帧影响后续机器学习的计算结果。利用本申请提出的所述曝光调整方法,可通过分析大量场景数据,在不执行人脸检测等复杂算法的前提下,实现在DMS应用中,针对人脸做到精准曝光,当应用在DMS中时,所述待测物即为人脸。利用本申请提出的所述曝光调整方法可以节约计算、存储资源,降低功耗。另外,还可嵌入到DMS用的CIS(CMOS Image Sensor,CMOS图像传感器)中,不用担心资源占用及功耗等成本花销,具有较高的性价比。
2、通常情况下,所述场景可分为补光灯环境和逆光环境,补光灯环境是人脸曝光的基准环境,最容易实现理想的曝光调节。而逆光环境是指阳光中有940nm波段近红外光照射到待测物上时,影响待测物区域的精准判断。因此,通过所述背景区域的亮度均值、所述核心区域的亮度均值以及所述待测图像的直方图数据来判断当前的场景是补光灯环境还是逆光环境。通过这样的场景区分可以实现不同的曝光调节方案,并提高了待测物区域的精准判断。
3、在实际应用时,逆光环境有很过其它情况,例如阳光可能是侧着入射、从顶部入射或者正面入射,容易出现待测物曝光不均匀的现象,影响对待测物区域的精准判断。为了进一步提高待测物区域的精准判断,又将所述逆光环境进一步区分为大逆光环境、侧光环境以及顶光环境。
本发明还提出一种曝光调整***、驾驶员监控***、高级驾驶辅助***,与所述曝光调整方法属于同一发明构思,因此具有相同的有益效果。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”或“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例中以合适的方式结合。此外,本领域的技术人员可以将本说明书中描述的不同实施例或示例进行接合和组合。
上述仅为本发明的优选实施例而已,并不对本发明起到任何限制作用。任何所属技术领域的技术人员,在不脱离本发明的技术方案的范围内,对本发明揭露的技术方案和技术内容做任何形式的等同替换或修改等变动,均属未脱离本发明的技术方案的内容,仍属于本发明的保护范围之内。

Claims (8)

1.一种曝光调整方法,其特征在于,用于调整一待测物的曝光,所述曝光调整方法包括以下步骤:
获取包含所述待测物的待测图像;
统计所述待测图像中感兴趣区域的亮度均值和直方图数据,所述直方图数据包括图像中每个像素值的统计分布图;
基于所述亮度均值和所述直方图数据判断当前的场景;
基于当前的场景,获取待测物区域的数据;
基于当前的场景和所述待测物区域的数据,计算所述待测物的曝光参数和增益参数;
所述感兴趣区域包括核心区域和背景区域;
所述核心区域为所述感兴趣区域中所述待测物所处的部分,所述背景区域为所述感兴趣区域中背景所处的部分;
所述获取待测物区域的数据包括将所述感兴趣区域中所述待测物的位置通过调整权重标注出来;
通过以下方式调整权重:
对于所述核心区域的亮度均值中,超出预设阈值的区域,按照反向S曲线分配权重;
对于所述核心区域的亮度均值中,低于所述预设阈值的区域,按照S曲线分配权重;
其中,所述S曲线为所述亮度均值的大小与所述权重的大小成正比关系,所述反向S曲线为所述亮度均值的大小与所述权重的大小成反比关系;
所述基于当前的场景和所述待测物区域的数据,计算所述待测物的曝光参数和增益参数,包括:
按照以下公式计算所述待测物曝光参数和增益参数:
Figure FDA0003267605380000011
其中,NewExp为所述待测物的待计算的曝光参数;NewGain为所述待测物的待计算的增益参数;Target_Luma为目标亮度值;Current_Luma为当前核心区域中待测物的亮度值经所述权重加权计算后的平均亮度值;K为调整控制系数;Current_Exp为所述待测物的当前的曝光参数,Current_Gain为所述待测物的当前的增益参数。
2.如权利要求1所述的曝光调整方法,其特征在于,所述统计所述待测图像中感兴趣区域的亮度均值和直方图数据,包括:
设置所述核心区域和所述背景区域;
分别统计所述核心区域的图像数据以及所述背景区域的图像数据;
基于所述核心区域的图像数据统计所述核心区域的亮度均值,基于所述背景区域的图像数据统计所述背景区域的亮度均值;
统计所述待测图像的直方图数据以及所述核心区域的直方图数据。
3.如权利要求2所述的曝光调整方法,其特征在于,所述基于所述亮度均值和所述直方图数据判断当前的场景,包括:
基于所述背景区域的亮度均值、所述核心区域的亮度均值以及所述待测图像的直方图数据判断当前的场景。
4.如权利要求3所述的曝光调整方法,其特征在于,所述场景包括补光灯环境和逆光环境;
当所述背景区域的亮度均值小于所述核心区域的亮度均值时,判断当前的场景为所述补光灯环境;
当所述待测图像的直方图数据呈均匀分布时,判断当前的场景为所述逆光环境。
5.如权利要求4所述的曝光调整方法,其特征在于,所述逆光环境包括大逆光环境、侧光环境以及顶光环境;
当所述背景区域的亮度均值变大时,判断当前的场景为所述大逆光环境;
当所述背景区域的亮度均值呈现一侧值大而另一侧值小时,判断当前的场景为所述侧光环境;
当所述背景区域的亮度均值呈现上侧的值大时,判断当前的场景为所述顶光环境。
6.一种曝光调整***,其特征在于,用于调整一待测物的曝光,所述曝光调整***包括:
图像获取单元,其被配置为获取包含所述待测物的待测图像;
统计单元,其被配置为统计所述待测图像中感兴趣区域的亮度均值和直方图数据,所述直方图数据包括图像中每个像素值的统计分布图;
场景判断单元,其被配置为基于所述亮度均值和所述直方图数据判断当前的场景;
待测物区域获取单元,其被配置为基于当前的场景,获取待测物区域的数据;
计算单元,其被配置为基于当前的场景和所述待测物区域的数据,计算所述待测物的曝光参数和增益参数;
所述感兴趣区域包括核心区域和背景区域;
所述核心区域为所述感兴趣区域中所述待测物所处的部分,所述背景区域为所述感兴趣区域中背景所处的部分;
所述获取待测物区域的数据包括将所述感兴趣区域中所述待测物的位置通过调整权重标注出来;
通过以下方式调整权重:
对于所述核心区域的亮度均值中,超出预设阈值的区域,按照反向S曲线分配权重;
对于所述核心区域的亮度均值中,低于所述预设阈值的区域,按照S曲线分配权重;
其中,所述S曲线为所述亮度均值的大小与所述权重的大小成正比关系,所述反向S曲线为所述亮度均值的大小与所述权重的大小成反比关系;
所述基于当前的场景和所述待测物区域的数据,计算所述待测物的曝光参数和增益参数,包括:
按照以下公式计算所述待测物曝光参数和增益参数:
Figure FDA0003267605380000031
其中,NewExp为所述待测物的待计算的曝光参数;NewGain为所述待测物的待计算的增益参数;Target_Luma为目标亮度值;Current_Luma为当前核心区域中待测物的亮度值经所述权重加权计算后的平均亮度值;K为调整控制系数;Current_Exp为所述待测物的当前的曝光参数,Current_Gain为所述待测物的当前的增益参数。
7.一种驾驶员监控***,其特征在于,利用如权利要求1-5中任一项所述的曝光调整方法或如权利要求6所述的曝光调整***。
8.一种高级驾驶辅助***,其特征在于,包括如权利要求7所述的驾驶员监控***。
CN202011044803.9A 2020-09-28 2020-09-28 曝光调整方法和***、驾驶员监控***、高级驾驶辅助*** Active CN112153304B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011044803.9A CN112153304B (zh) 2020-09-28 2020-09-28 曝光调整方法和***、驾驶员监控***、高级驾驶辅助***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011044803.9A CN112153304B (zh) 2020-09-28 2020-09-28 曝光调整方法和***、驾驶员监控***、高级驾驶辅助***

Publications (2)

Publication Number Publication Date
CN112153304A CN112153304A (zh) 2020-12-29
CN112153304B true CN112153304B (zh) 2021-11-05

Family

ID=73894978

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011044803.9A Active CN112153304B (zh) 2020-09-28 2020-09-28 曝光调整方法和***、驾驶员监控***、高级驾驶辅助***

Country Status (1)

Country Link
CN (1) CN112153304B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113612991A (zh) * 2021-09-15 2021-11-05 深圳市丘钛微电子科技有限公司 一种补光型摄像机的亮度均匀性检测方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102196182A (zh) * 2010-03-09 2011-09-21 株式会社理光 逆光检测设备及逆光检测方法
CN105100632A (zh) * 2014-05-13 2015-11-25 北京展讯高科通信技术有限公司 成像设备自动曝光的调整方法及装置、成像设备
CN105791709A (zh) * 2015-12-29 2016-07-20 福建星网锐捷通讯股份有限公司 带有逆光补偿的自动曝光处理方法及装置
CN106713778A (zh) * 2016-12-28 2017-05-24 上海兴芯微电子科技有限公司 曝光控制方法和装置
CN109918993A (zh) * 2019-01-09 2019-06-21 杭州中威电子股份有限公司 一种基于人脸区域曝光的控制方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4867365B2 (ja) * 2006-01-30 2012-02-01 ソニー株式会社 撮像制御装置、撮像装置および撮像制御方法
JP5397068B2 (ja) * 2009-06-03 2014-01-22 ソニー株式会社 撮像装置、撮像制御方法、露出制御装置および露出制御方法
JP6259185B2 (ja) * 2012-12-21 2018-01-10 キヤノン株式会社 撮像装置及びその制御方法、プログラム並びに記憶媒体
CN108769544A (zh) * 2018-06-07 2018-11-06 深圳市亿联智能有限公司 一种视频监控设备自适应曝光调试方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102196182A (zh) * 2010-03-09 2011-09-21 株式会社理光 逆光检测设备及逆光检测方法
CN105100632A (zh) * 2014-05-13 2015-11-25 北京展讯高科通信技术有限公司 成像设备自动曝光的调整方法及装置、成像设备
CN105791709A (zh) * 2015-12-29 2016-07-20 福建星网锐捷通讯股份有限公司 带有逆光补偿的自动曝光处理方法及装置
CN106713778A (zh) * 2016-12-28 2017-05-24 上海兴芯微电子科技有限公司 曝光控制方法和装置
CN109918993A (zh) * 2019-01-09 2019-06-21 杭州中威电子股份有限公司 一种基于人脸区域曝光的控制方法

Also Published As

Publication number Publication date
CN112153304A (zh) 2020-12-29

Similar Documents

Publication Publication Date Title
CN106791475B (zh) 曝光调整方法及所适用的车载摄像装置
CN108206918B (zh) 一种光补偿方法及装置
EP2120183B1 (en) Method and system for cancellation of ambient light using light frequency
CN102197418B (zh) 车辆周围监测装置
US20150086077A1 (en) System and method of alerting a driver that visual perception of pedestrian may be difficult
US20090015683A1 (en) Image processing apparatus, method and program, and recording medium
JP5759950B2 (ja) 車載カメラ装置
US20110035099A1 (en) Display control device, display control method and computer program product for the same
CN103810463A (zh) 人脸识别装置及人脸图像检测方法
CN106778534B (zh) 一种车辆行驶中周围环境灯光识别方法
CN102104724B (zh) 图像处理设备和图像处理方法
US20180191949A1 (en) Method and system for image-based dynamic feature enhancement
CN112153304B (zh) 曝光调整方法和***、驾驶员监控***、高级驾驶辅助***
US20180262667A1 (en) Image capturing device and brightness adjusting method
CN113490316B (zh) 一种补光***及补光灯
US8988672B2 (en) Headlamp aiming using high-dynamic range camera
US20130242073A1 (en) Image-capturing control apparatus and control method of capturing image
US20070058862A1 (en) Histogram equalization method for a vision-based occupant sensing system
US10057500B2 (en) Image capturing method and monitoring apparatus with supplemental lighting modulation
CN114286014A (zh) 一种图像数据库采集方法
US8531589B2 (en) Image pickup device and image pickup method
CN111127537A (zh) 用于检测头戴式装置中的阴影的方法和装置
CN116524877A (zh) 车载屏幕亮度调节方法、装置、电子设备和存储介质
TWI630818B (zh) Dynamic image feature enhancement method and system
US7791670B2 (en) Method of operation for a vision-based occupant sensing system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant