CN115802175A - 图像传感器自动白平衡的控制方法、装置和存储介质 - Google Patents

图像传感器自动白平衡的控制方法、装置和存储介质 Download PDF

Info

Publication number
CN115802175A
CN115802175A CN202310055136.1A CN202310055136A CN115802175A CN 115802175 A CN115802175 A CN 115802175A CN 202310055136 A CN202310055136 A CN 202310055136A CN 115802175 A CN115802175 A CN 115802175A
Authority
CN
China
Prior art keywords
image frame
target
white balance
current image
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310055136.1A
Other languages
English (en)
Other versions
CN115802175B (zh
Inventor
徐露艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Freetech Intelligent Systems Co Ltd
Original Assignee
Freetech Intelligent Systems Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Freetech Intelligent Systems Co Ltd filed Critical Freetech Intelligent Systems Co Ltd
Priority to CN202310055136.1A priority Critical patent/CN115802175B/zh
Publication of CN115802175A publication Critical patent/CN115802175A/zh
Application granted granted Critical
Publication of CN115802175B publication Critical patent/CN115802175B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

本申请公开了一种图像传感器自动白平衡的控制方法、装置和存储介质,该方法包括:检测图像传感器采集的当前图像帧相对于历史图像帧的目标场景变化率;根据所述目标场景变化率与变化率阈值之间的关系采用对应方式从当前图像帧上的初始像素点中筛选目标白点;使用目标白点对应的目标白平衡数据确定图像传感器的目标白平衡参数;使用目标白平衡参数对当前图像帧进行自动白平衡处理。采用上述技术方案,解决了相关技术中,图像传感器自动白平衡的效率较低等问题。

Description

图像传感器自动白平衡的控制方法、装置和存储介质
技术领域
本申请涉及图像处理领域,具体而言,涉及一种图像传感器自动白平衡的控制方法、装置和存储介质。
背景技术
白平衡的目的是把获取到的图像中的白色块(可以但不限于包括白色和灰色)矫正回其原本的颜色即不偏向任何颜色,保证白色块在输出后也能显示其原本的白色,在实际的应用场景中,传感器获取到的RAW图即原始图像文件可能会出现白色块偏向绿色、黄色或其他颜色的问题,因此需要使用AWB(Automatic white balance,自动白平衡)白平衡算法模块矫正图像使色块像素R(red,红色)=G(green,绿色)=B(blue,蓝色),通过全局像素乘以AWB模块计算出的像素增益值,使原图中的灰色块显示出其原本的颜色,保证后续色彩校正模块的正常计算。
由于自动驾驶场景中图像的快速变化,现有的AWB技术通过叠加多种算法,为每组算法计算出的数据分配置信度,再根据置信度给每组算法的计算结果分配权重,最终得到白平衡增益的像素增益值,由于大量的计算及算法的叠加,在计算速度和收敛效果上来说是很没有优势的,对于场景快速变化的场景来说,这种计算效率难以满足需求。
针对相关技术中,图像传感器自动白平衡的效率较低等问题,尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种图像传感器自动白平衡的控制方法、装置和存储介质,以至少解决相关技术中,图像传感器自动白平衡的效率较低等问题。
根据本申请实施例的一个实施例,提供了一种图像传感器自动白平衡的控制方法,包括:
检测图像传感器采集的当前图像帧相对于历史图像帧的目标场景变化率,其中,所述历史图像帧是所述图像传感器在所述当前图像帧之前采集到的,所述目标场景变化率用于指示所述当前图像帧中展示的场景相对于所述历史图像帧中展示的场景的变化剧烈程度,所述目标场景变化率越大所述变化剧烈程度越大;
在所述目标场景变化率大于或者等于变化率阈值的情况下,根据所述当前图像帧上的初始像素点的初始白平衡数据和所述图像传感器的白平衡标定参数,从所述当前图像帧上的初始像素点中筛选目标白点;在所述目标场景变化率小于所述变化率阈值的情况下,根据所述当前图像帧的上一图像帧的参考色温参数,所述当前图像帧上的初始像素点的初始白平衡数据和所述图像传感器的白平衡标定参数,从所述当前图像帧上的初始像素点中筛选目标白点;
使用所述目标白点对应的目标白平衡数据确定所述图像传感器的目标白平衡参数;
使用所述目标白平衡参数对所述当前图像帧进行自动白平衡处理。
在一个示例性实施例中,所述检测图像传感器采集的当前图像帧相对于历史图像帧的目标场景变化率,包括:
获取所述当前图像帧之前的N个图像帧作为所述历史图像帧,得到图像帧集合,其中,N为正整数,所述图像帧集合中包括所述N个图像帧和所述当前图像帧;
获取所述图像帧集合中连续两个图像帧对应的图像色温差和所述图像帧集合中每个图像帧对应的白点数量;
在所述图像色温差均小于色温阈值,且所述白点数量均大于数量阈值的情况下,确定所述目标场景变化率小于所述变化率阈值;
否则,确定所述目标场景变化率大于或者等于所述变化率阈值。
在一个示例性实施例中,所述获取所述当前图像帧之前的N个图像帧作为所述历史图像帧,包括:
在所述当前图像帧的上一图像帧是根据白平衡数据和白平衡标定参数筛选白点的情况下,获取所述当前图像帧之前的两个图像帧作为所述历史图像帧;
在所述当前图像帧的上一图像帧是根据参考色温参数,白平衡数据和白平衡标定参数筛选白点的情况下,获取所述当前图像帧之前的一个图像帧作为所述历史图像帧;
其中,所述两个图像帧作为所述历史图像帧时所使用的所述色温阈值与所述一个图像帧作为所述历史图像帧时所使用的所述色温阈值不同,所述两个图像帧作为所述历史图像帧时所使用的所述数量阈值与所述一个图像帧作为所述历史图像帧时所使用的所述数量阈值不同。
在一个示例性实施例中,所述根据所述当前图像帧上的初始像素点的初始白平衡数据和所述图像传感器的白平衡标定参数,从所述当前图像帧上的初始像素点中筛选目标白点,包括:
根据所述当前图像帧上的初始像素点的初始白平衡数据确定每个所述初始像素点与所述图像传感器的普朗克曲线之间的目标距离,其中,所述白平衡标定参数包括所述普朗克曲线,所述普朗克曲线用于表示具有对应关系的色温参数和白平衡数据;
从所述初始像素点中剔除所述目标距离大于第一距离阈值的白点,得到所述目标白点。
在一个示例性实施例中,所述根据所述当前图像帧上的初始像素点的初始白平衡数据确定每个所述初始像素点与所述图像传感器的普朗克曲线之间的目标距离,包括:
将每个所述初始像素点的初始红绿增益比和初始蓝绿增益比作为坐标,在所述普朗克曲线所在的坐标系中查找每个所述初始像素点所在坐标位置,其中,所述初始白平衡数据包括所述初始红绿增益比和所述初始蓝绿增益比,所述坐标系的横轴为红绿增益比,纵轴为蓝绿增益比;
计算所述坐标位置到所述普朗克曲线的所述目标距离。
在一个示例性实施例中,所述使用所述目标白点对应的目标白平衡数据确定所述图像传感器的目标白平衡参数,包括:
为每个所述目标白点分配与所述目标距离对应的权重,其中,所述目标距离与权重成反比;
使用所述权重对所述目标白平衡数据执行加权平均运算,得到参考白平衡数据;
将所述参考白平衡数据转换为所述目标白平衡参数。
在一个示例性实施例中,所述根据所述当前图像帧的上一图像帧的参考色温参数,所述当前图像帧上的初始像素点的初始白平衡数据和所述图像传感器的白平衡标定参数,从所述当前图像帧上的初始像素点中筛选目标白点,包括:
在所述图像传感器的普朗克曲线所在的坐标系中获取与所述参考色温参数在所述普朗克曲线上所在的目标点之间距离小于或者等于第二距离阈值的目标聚集范围,其中,所述白平衡标定参数包括所述普朗克曲线,所述普朗克曲线用于表示具有对应关系的色温参数和白平衡数据;
从所述当前图像帧上的初始像素点中筛选落入所述目标聚集范围的白点作为所述目标白点。
在一个示例性实施例中,所述在所述图像传感器的普朗克曲线上获取与所述参考色温参数之间距离小于或者等于第二距离阈值的目标聚集范围,包括:
查找所述参考色温参数在所述普朗克曲线上所在的所述目标点;
在所述坐标系中以所述目标点为圆心所述第二距离阈值为半径绘制圆形区域作为所述目标聚集范围。
在一个示例性实施例中,所述从所述当前图像帧上的初始像素点中筛选落入所述目标聚集范围的白点作为所述目标白点,包括:
将每个所述初始像素点的初始红绿增益比和初始蓝绿增益比作为坐标,在所述坐标系中查找每个所述初始像素点所在坐标位置,其中,所述初始白平衡数据包括所述初始红绿增益比和所述初始蓝绿增益比,所述坐标系的横轴为红绿增益比,纵轴为蓝绿增益比;
从所述当前图像帧上的初始像素点中筛选所述坐标位置落在所述圆形区域内的白点作为所述目标白点。
在一个示例性实施例中,所述使用所述目标白点对应的目标白平衡数据确定所述图像传感器的目标白平衡参数,包括:
对所述目标白平衡数据执行平均运算,得到候选白平衡数据;
将所述候选白平衡数据转换为所述目标白平衡参数。
根据本申请实施例的另一个实施例,还提供了一种图像传感器自动白平衡的控制装置,包括:
检测模块,用于检测图像传感器采集的当前图像帧相对于历史图像帧的目标场景变化率,其中,所述历史图像帧是所述图像传感器在所述当前图像帧之前采集到的,所述目标场景变化率用于指示所述当前图像帧中展示的场景相对于所述历史图像帧中展示的场景的变化剧烈程度,所述目标场景变化率越大所述变化剧烈程度越大;
筛选模块,用于在所述目标场景变化率大于或者等于变化率阈值的情况下,根据所述当前图像帧上的初始像素点的初始白平衡数据和所述图像传感器的白平衡标定参数,从所述当前图像帧上的初始像素点中筛选目标白点;在所述目标场景变化率小于所述变化率阈值的情况下,根据所述当前图像帧的上一图像帧的参考色温参数,所述当前图像帧上的初始像素点的初始白平衡数据和所述图像传感器的白平衡标定参数,从所述当前图像帧上的初始像素点中筛选目标白点;
确定模块,用于使用所述目标白点对应的目标白平衡数据确定所述图像传感器的目标白平衡参数;
处理模块,用于使用所述目标白平衡参数对所述当前图像帧进行自动白平衡处理。
根据本申请实施例的又一方面,还提供了一种计算机可读的存储介质,该计算机可读的存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述图像传感器自动白平衡的控制方法。
根据本申请实施例的又一方面,还提供了一种电子装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,上述处理器通过计算机程序执行上述的图像传感器自动白平衡的控制方法。
通过本申请,首先,检测图像传感器采集的当前图像帧相对于图像传感器在当前图像帧之前采集到的历史图像帧的目标场景变化率,目标场景变化率用于指示当前图像帧中展示的场景相对于历史图像帧中展示的场景的变化剧烈程度,目标场景变化率越大变化剧烈程度越大;其次,根据变化率阈值将当前图像帧进行对应的处理:在目标场景变化率大于或者等于变化率阈值的情况下,根据当前图像帧上的初始像素点的初始白平衡数据和图像传感器的白平衡标定参数,从当前图像帧上的初始像素点中筛选目标白点;或,在目标场景变化率小于变化率阈值的情况下,根据当前图像帧的上一图像帧的参考色温参数,当前图像帧上的初始像素点的初始白平衡数据和图像传感器的白平衡标定参数,从当前图像帧上的初始像素点中筛选目标白点;之后,使用目标白点对应的目标白平衡数据确定图像传感器的目标白平衡参数;最后,使用目标白平衡参数对当前图像帧进行自动白平衡处理。也就是说,通过检测场景的目标场景变化率,根据场景变化的剧烈程度通过其对应方法筛选当前图像帧上的目标白点,再使用目标白点确定图像传感器的目标白平衡参数,对当前图像帧进行白平衡处理,在处理过程对于每一图像帧来说,只进行了与其对应的计算方法的一种,即不会同时进行多重算法的处理,帧的计算量减小,从而提高了计算的效率,减轻了平台的负载压力,对于负荷能力较小的平台,也可以保证完成计算。因此,可以解决图像传感器自动白平衡的效率较低等问题,实现了提高图像传感器自动白平衡的效率的效果。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是根据本申请实施例的一种图像传感器自动白平衡的控制方法的硬件环境示意图;
图2是根据本申请实施例的一种图像传感器自动白平衡的控制方法的流程图;
图3是根据实施例的图像色温和白点数量的示意图;
图4是根据本申请实施例的一种白平衡标定参数的标定过程的流程图;
图5是根据本申请实施例的一种白平衡标定参数的示意图;
图6是根据本申请实施例的一种普朗克曲线的示意图;
图7是根据本申请实施例的一种图像传感器的白平衡标定参数的示意图;
图8是根据本申请实施例的一种自动白平衡方法的示例图;
图9是根据本申请实施例的一种图像传感器自动白平衡的控制装置的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请实施例所提供的方法实施例可以在计算机终端、设备终端或者类似的运算装置中执行。以运行在计算机终端上为例,图1是根据本申请实施例的一种图像传感器自动白平衡的控制方法的硬件环境示意图。如图1所示,计算机终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104,在一个示例性实施例中,上述计算机终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述计算机终端的结构造成限定。例如,计算机终端还可包括比图1中所示更多或者更少的组件,或者具有与图1所示等同功能或比图1所示功能更多的不同的配置。
存储器104可用于存储计算机程序,例如,应用软件的软件程序以及模块,如本发明实施例中的图像传感器自动白平衡的控制方法对应的计算机程序,处理器102通过运行存储在存储器104内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端的通信供应商提供的无线网络。在一个实例中,传输设备106包括一个网络适配器(Network Interface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输设备106可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种图像传感器自动白平衡的控制方法,图2是根据本申请实施例的一种图像传感器自动白平衡的控制方法的流程图,该流程包括如下步骤:
步骤S202,检测图像传感器采集的当前图像帧相对于历史图像帧的目标场景变化率,其中,所述历史图像帧是所述图像传感器在所述当前图像帧之前采集到的,所述目标场景变化率用于指示所述当前图像帧中展示的场景相对于所述历史图像帧中展示的场景的变化剧烈程度,所述目标场景变化率越大所述变化剧烈程度越大;
步骤S204,在所述目标场景变化率大于或者等于变化率阈值的情况下,根据所述当前图像帧上的初始像素点的初始白平衡数据和所述图像传感器的白平衡标定参数,从所述当前图像帧上的初始像素点中筛选目标白点;在所述目标场景变化率小于所述变化率阈值的情况下,根据所述当前图像帧的上一图像帧的参考色温参数,所述当前图像帧上的初始像素点的初始白平衡数据和所述图像传感器的白平衡标定参数,从所述当前图像帧上的初始像素点中筛选目标白点;
步骤S206,使用所述目标白点对应的目标白平衡数据确定所述图像传感器的目标白平衡参数;
步骤S208,使用所述目标白平衡参数对所述当前图像帧进行自动白平衡处理。
通过上述步骤,首先,检测图像传感器采集的当前图像帧相对于图像传感器在当前图像帧之前采集到的历史图像帧的目标场景变化率,目标场景变化率用于指示当前图像帧中展示的场景相对于历史图像帧中展示的场景的变化剧烈程度,目标场景变化率越大变化剧烈程度越大;其次,根据变化率阈值将当前图像帧进行对应的处理:在目标场景变化率大于或者等于变化率阈值的情况下,根据当前图像帧上的初始像素点的初始白平衡数据和图像传感器的白平衡标定参数,从当前图像帧上的初始像素点中筛选目标白点;或,在目标场景变化率小于变化率阈值的情况下,根据当前图像帧的上一图像帧的参考色温参数,当前图像帧上的初始像素点的初始白平衡数据和图像传感器的白平衡标定参数,从当前图像帧上的初始像素点中筛选目标白点;之后,使用目标白点对应的目标白平衡数据确定图像传感器的目标白平衡参数;最后,使用目标白平衡参数对当前图像帧进行自动白平衡处理。也就是说,通过检测场景的目标场景变化率,根据场景变化的剧烈程度通过其对应方法筛选当前图像帧上的目标白点,再使用目标白点确定图像传感器的目标白平衡参数,对当前图像帧进行白平衡处理,在处理过程对于每一图像帧来说,只进行了与其对应的计算方法的一种,即不会同时进行多重算法的处理,帧的计算量减小,从而提高了计算的效率,减轻了平台的负载压力,对于负荷能力较小的平台,也可以保证完成计算。因此,可以解决图像传感器自动白平衡的效率较低等问题,实现了提高图像传感器自动白平衡的效率的效果。
可选地,在本实施例中,上述图像传感器自动白平衡的控制方法可以但不限于应用于具有图像获取功能并能够对获取到的图像进行自动白平衡处理的工具上,或者也可以应用于能够对获取到的图像进行自动白平衡处理的服务器上,由该服务器对图像传感器获取到的图像进行自动白平衡处理。
可选地,在本实施例中,图像传感器可以但不限于包括任何种类的能够获取图像或能够对获取到的图像进行自动白平衡处理的工具,比如:部署在交通工具(车辆,船只,飞机等等)上的摄像头,部署在测量工具(无人机,探测车等等)上的摄像头,部署在道路监控设备上的摄像头(违停摄像头,道路监控摄像头,抓拍摄像头等等)等等。
在上述步骤S202提供的技术方案中,上述历史图像帧可以但不限于是图像传感器采集的当前图像帧的上一图像帧或在当前图像帧之前采集到的第M图像帧,M可以但不限于是大于或等于1的自然数。
可选地,在本实施例中,可以但不限于根据图像传感器采集到的当前图像帧与历史图像帧之间色温的变化和白点个数的变化确定当前图像帧相对于历史图像帧的目标场景变化率,比如:当前图像帧与历史图像帧之间色温的变化越大,可以认为当前图图像帧相对于历史图像帧的变化程度越剧烈。或,当前图像帧与历史图像帧之间白点个数的变化越多,则可以认为当前图图像帧相对于历史图像帧的变化程度越剧烈。
在一个示例性实施例中,可以但不限于采用以下方式检测图像传感器采集的当前图像帧相对于历史图像帧的目标场景变化率:获取所述当前图像帧之前的N个图像帧作为所述历史图像帧,得到图像帧集合,其中,N为正整数,所述图像帧集合中包括所述N个图像帧和所述当前图像帧;获取所述图像帧集合中连续两个图像帧对应的图像色温差和所述图像帧集合中每个图像帧对应的白点数量;在所述图像色温差均小于色温阈值,且所述白点数量均大于数量阈值的情况下,确定所述目标场景变化率小于所述变化率阈值;否则,确定所述目标场景变化率大于或者等于所述变化率阈值。
可选地,在本实施例中,图像帧集合是多个当前图像帧与其之前的N个图像帧的集合,比如:以N为3为例,图像帧集合是包括当前图像帧,当前图像帧之前的第1个图像帧,第2个图像帧和第3个图像帧的集合。
可选地,在本实施例中,图像色温差是连续两个图像帧对应的图像色温的变化值。
可选地,在本实施例中,色温阈值和白点数量的数量阈值可以但不限于是预先确定的,色温阈值可以但不限于用于指示图像色温变化的程度,比如:当连续两个图像帧的图像色温的变化处于阈值区间内(小于色温阈值),则可以认为在这连续两个图像帧的图像色温变化较不剧烈。
可选地,在本实施例中,以设定色温阈值为连续三个帧的图像色温数值的变化在10%波动范围内为例,当连续三个帧的图像色温数值的变化小于10%即可认为图像色温变化较不剧烈。或,以设定色温阈值为图像色温差值在500K以内为例,当图像色温差值小于500K即可认为图像色温变化较不剧烈。
可选地,在本实施例中,图3是根据实施例的图像色温和白点数量的示意图,如图3所示,以获取当前图像帧之前的三个图像帧作为历史图像帧为例,得到图像帧集合,包括:当前图像帧,前1帧图像帧,前2帧图像帧和前3帧图像帧;获取图像帧集合中连续两个图像帧之间的图像色温差,包括:当前图像帧和前1帧图像帧之间的图像色温差1,前1帧图像帧和前2帧图像帧之间的图像色温差2以及前2帧图像帧和前3帧图像帧之间的图像色温差3;图像帧集合中每个图像帧对应的白点数量,包括:当前图像帧中的白点数量1(即当前帧图像中的像素点的数量或当前帧图像中包括多个像素点的像素块的数量),前1帧图像帧中的白点数量2,前2帧图像帧中的白点数量3和前3帧图像帧中的白点数量4。
在图像色温差均小于色温阈值,即当前图像帧和前1帧图像帧之间的图像色温差1小于色温阈值,且前1帧图像帧和前2帧图像帧之间的图像色温差2小于色温阈值,以及前2帧图像帧和前3帧图像帧之间的图像色温差3也小于色温阈值,且当前图像帧中的白点数量1大于数量阈值,前1帧图像帧中的白点数量2也大于数量阈值,前2帧图像帧中的白点数量3也大于数量阈值,以及前3帧图像帧中的白点数量4均大于数量阈值的情况下,即可确定目标场景变化率小于变化率阈值;否则,就确定目标场景变化率大于或者等于变化率阈值。
在一个示例性实施例中,可以但不限于采用以下方式获取所述当前图像帧之前的N个图像帧作为所述历史图像帧:在所述当前图像帧的上一图像帧是根据白平衡数据和白平衡标定参数筛选白点的情况下,获取所述当前图像帧之前的两个图像帧作为所述历史图像帧;在所述当前图像帧的上一图像帧是根据参考色温参数,白平衡数据和白平衡标定参数筛选白点的情况下,获取所述当前图像帧之前的一个图像帧作为所述历史图像帧;其中,所述两个图像帧作为所述历史图像帧时所使用的所述色温阈值与所述一个图像帧作为所述历史图像帧时所使用的所述色温阈值不同,所述两个图像帧作为所述历史图像帧时所使用的所述数量阈值与所述一个图像帧作为所述历史图像帧时所使用的所述数量阈值不同。
可选地,在本实施例中,白平衡数据是一个图像帧中像素点或一个图像帧中包括多个像素点的像素块的红绿增益比和蓝绿增益比,比如:初始白平衡数据是当前图像帧上初始像素点(当前图像帧中的像素点或当前图像帧中包括多个像素点的像素块)的红绿增益比和蓝绿增益比,目标白平衡数据是当前图像帧上目标白点的红绿增益比和蓝绿增益比。
可选地,在本实施例中,白平衡标定参数可以但不限于指示图像传感器对红,绿和蓝光的响应规律,其可以但不限于是包括能够表示红色增益值,绿色增益值和蓝色增益值之间的响应关系的普朗克曲线或具有对应关系的红色增益值,绿色增益值和蓝色增益值。
可选地,在本实施例中,参考色温参数可以但不限于是当前图像帧的上一图像帧的色温。
可选地,在本实施例中,可以但不限于通过当前图像帧的上一图像帧筛选白点的方法确定历史图像帧,比如:当前图像帧的上一图像帧是根据白平衡数据和白平衡标定参数筛选白点时,可以但不限于选择前图像帧之前的两个图像帧作为历史图像帧,即,检测图像传感器采集的当前图像帧相对于当前图像帧之前的两个图像帧(共三个图像帧)的目标场景变化率。或,当前图像帧的上一图像帧是根据参考色温参数,白平衡数据和白平衡标定参数筛选白点时,可以但不限于选择当前图像帧之前的一个图像帧作为历史图像帧,检测图像传感器采集的当前图像帧相对于当前图像帧之前的一个图像帧(共两图像帧)的目标场景变化率。
可选地,在本实施例中,可以但不限于使用多个色温阈值对不同数量的历史图像帧的色温变化程度进行区分,比如:当选择两个图像帧作为历史图像帧时,可以但不限于使用第一色温阈值进行比较,当选择一个图像帧作为历史图像帧时,可以但不限于使用第二色温阈值进行比较,第一色温阈值可以不等于第二色温阈值,防止产生震荡现象。
可选地,在本实施例中,可以但不限于使用多个数量阈值对不同数量的历史图像帧的白点数量的变化情况进行区分,比如:当选择两个图像帧作为历史图像帧时,可以但不限于使用第一数量阈值进行比较,当选择一个图像帧作为历史图像帧时,可以但不限于使用第二数量阈值进行比较,第一数量阈值可以不等于第二数量阈值,防止产生震荡现象。
在上述步骤S204提供的技术方案中,变化率阈值可以但不限于是预先确定的,比如:可以但不限于通过色温的变化和白点个数的变化确定当前图像帧相对于历史图像帧的目标场景变化率,预先确定的变化率阈值可以但不限于包括确定色温变化的阈值和白点个数的阈值。
可选地,在本实施例中,变化率阈值可以但不限于用于根据当前图像帧中展示的场景相对于历史图像帧中展示的场景的变化的剧烈程度,确定从当前图像帧上的初始像素点中筛选目标白点的方法,也就是说,变化率阈值可以但不限于用于指示对场景变化的剧烈程度的限定,比如:当目标场景变化率大于或者等于变化率阈值,即可以认为当前图像帧中展示的场景相对于历史图像帧中展示的场景变化较剧烈。或,当目标场景变化率小于变化率阈值,即可以认为当前图像帧中展示的场景相对于历史图像帧中展示的场景变化不剧烈。
可选地,在本实施例中,初始像素点可以但不限于是当前图像帧上的像素点,或,当前图像帧上包括多个像素点的像素块。
可选地,在本实施例中,初始白平衡数据可以但不限于包括当前图像帧上的初始像素点的rGain/gGain(红绿增益比)和bGain/gGain(蓝绿增益比)。
可选地,在本实施例中,白平衡标定参数可以但不限于用于指示图像传感器对红,绿和蓝光的响应规律,其可以但不限于包括:通过对不同色温下图像传感器获取到的图像上的白点的红绿增益比和蓝绿增益比进行拟合得到的曲线。或,不同色温下图像传感器获取到的图像上的白点的红绿增益比和蓝绿增益比构建的对应关系。
可选地,在本实施例中,参考色温参数可以但不限于是当前图像帧的上一图像帧的色温。
在一个可选的实施方式中,以绘制普朗克曲线为例标定图像传感器的白平衡标定参数,提供了一种白平衡标定参数的标定过程的示例。图4是根据本申请实施例的一种白平衡标定参数的标定过程的流程图,如图4所示,该过程包括如下步骤:
步骤一:将rGain(红色增益值),bGain(蓝色增益值),gGain(绿色增益值)设置为1倍,将不对颜色并且不加矫正的原图和原图反应颜色统计值的原数据输出;
步骤二:选定一个色温下的灯箱,摆放一张24色卡,进行抓图拍照,可以但不限于使用统计模块,输出每个块R,G,B,3个通道数据的均值,将每个块的rGain/gGain(红绿增益比)和bGain/gGain(蓝绿增益比)的值以块的方式打印出来;
步骤三:拿到上述过程采集的图,根据事先设置的统计模块的分块信息,对图进行划分,查看数据块中对应底下的6个灰色块区域的数据;
步骤四:对照图选出底下6个色块对应的统计数据,计算均值,即得到该色温下,rGain/gGain(红绿增益比)以及bGain/gGain(蓝绿增益比)的数据。
步骤五:依照上述过程,分别在不同色温下做此操作,可以但不限于取2500K—10000K或3000K—10000K色温的灯箱下重复该步骤。根据每个色温下的点对(rGain/gGain,bGain/gGain)并描绘出普朗克曲线,即得到以普朗克曲线为例的,图像传感器的白平衡标定参数。
可选地,在本实施例中,以白平衡标定参数是不同色温下图像传感器获取到的图像上白点的红绿增益比和蓝绿增益比为坐标的集合为例,图5是根据本申请实施例的一种白平衡标定参数的示意图,如图5所示,获取8个色温(2500k,2856k,3690k,4150k,5000k,6500k,7500k,10000k)下,图像传感器获取到的图像上的白点的rGain/gGain(红绿增益比)和bGain/gGain(蓝绿增益比),将rGain/gGain(红绿增益比)作为横坐标,bGain/gGain(蓝绿增益比)作为纵坐标,即可以通过坐标的形式表示多个色温下图像传感器获取到的图像上的白点的rGain/gGain(红绿增益比)和bGain/gGain(蓝绿增益比):
2500k色温的红绿增益比:1070,蓝绿增益比:3855;
2856k色温的红绿增益比:1277,蓝绿增益比:2914;
3690k色温的红绿增益比:1500,蓝绿增益比:2359;
4150k色温的红绿增益比:1593,蓝绿增益比:2070;
5000k色温的红绿增益比:1737,蓝绿增益比:1886;
6500k色温的红绿增益比:2089,蓝绿增益比:1636;
7500k色温的红绿增益比:2242,蓝绿增益比:1542;
10000k色温的红绿增益比:2449,蓝绿增益比:1375。
可选地,在本实施例中,图6是根据本申请实施例的一种普朗克曲线的示意图,如图6所示,坐标系的横轴为红绿增益比,纵轴为蓝绿增益比,获取图像传感器在多个色温下(可以但不限于包括:2500k,2856k,4150k,5000k,6500k,7500k,10000k等等)获取到的图像上的白点对应的红绿增益比和蓝绿增益比,根据坐标(红绿增益比,蓝绿增益比)在坐标系中描出对应的点,根据坐标系中描绘出的坐标点,对曲线进行拟合绘制出普朗克曲线。
在一个可选的实施方式中,提供了一种图像传感器的白平衡标定参数的示例。图7是根据本申请实施例的一种图像传感器的白平衡标定参数的示意图,如图7所示,定义在普朗克曲线标定阶段用到的参数,可以但不限于包括:色温档位,标定过程中灯箱的色温,红色增益值倍数,绿色增益值倍数和蓝色增益值倍数,每个块的饱和值。
定义在目标场景变化率大于或等于变化率阈值的情况下从当前图像帧上的初始像素点中筛选目标白点用到的参数,可以但不限于包括:白点阈值和根据与普朗克曲线之间的距离赋予初始像素点的权重。
定义在目标场景变化率小于变化率阈值的情况下从当前图像帧上的初始像素点中筛选目标白点用到的参数,可以但不限于包括:
判断目标场景变化率小于变化率阈值的条件,即精确计算的开关;
在根据当前图像帧的上一图像帧的参考色温参数,当前图像帧上的初始像素点的初始白平衡数据和图像传感器的白平衡标定参数,从当前图像帧上的初始像素点中筛选目标白点中,使用到的圆的半径(即第二距离阈值)。
定义在使用目标白平衡参数对当前图像帧进行自动白平衡处理时使用的收敛表的参数,可以但不限于包括:区间(当前图像帧的白平衡参数与目标白平衡参数target的差值),收敛的步长(根据上述差值的不同确定下一帧的数值),根据最大收敛值(target+high)和最小收敛值(target-low)确定的稳定区间[target-low,target+high]。
通过标定过程计算出图像传感器对红绿蓝光的响应规律,为了增加自动白平衡算法的鲁棒性和可调节能力,可以但不限于通过增加多个标定参数,并且根据图像传感器的一致性好坏,收敛能力的快慢等要求来适时地调整标定参数。
在一个示例性实施例中,根据所述当前图像帧上的初始像素点的初始白平衡数据和所述图像传感器的白平衡标定参数,可以但不限于采用以下方式从所述当前图像帧上的初始像素点中筛选目标白点:根据所述当前图像帧上的初始像素点的初始白平衡数据确定每个所述初始像素点与所述图像传感器的普朗克曲线之间的目标距离,其中,所述白平衡标定参数包括所述普朗克曲线,所述普朗克曲线用于表示具有对应关系的色温参数和白平衡数据;从所述初始像素点中剔除所述目标距离大于第一距离阈值的白点,得到所述目标白点。
可选地,在本实施例中,初始白平衡数据可以但不限于包括当前图像帧上的初始像素点的rGain/gGain(红绿增益比)和bGain/gGain(蓝绿增益比)。
可选地,在本实施例中,图像传感器的普朗克曲线可以但不限于用于指示图像传感器在一定色温下获取到的图像上的白点对应的红绿增益比和蓝绿增益比。
可选地,在本实施例中,色温参数可以但不限于是在对图像传感器的普朗克曲线进行标定的过程中选取的多个色温值,可以但不限于包括:2500k,2856k,3690k,4150k,5000k,6500k,7500k,10000k等等,标定过程中取得的色温值越多标定的色温环境越丰富,得到的普朗克曲线越准确。
可选地,在本实施例中,可以但不限于通过坐标的方式求初始像素点与图像传感器的普朗克曲线之间的目标距离,比如:根据初始像素点得到的初始白平衡数据在普朗克曲线图中画出相应的点,求点距离普朗克曲线的最短距离,即为初始像素点与图像传感器的普朗克曲线之间的目标距离。
可选地,在本实施例中,第一距离阈值可以但不限于是预先确定的值,其可以但不限于用于从初始像素点中剔除可信度过低的白点,即距离普朗克曲线过远的白点,可信度过低的白点可以但不限于是当前图像帧上原本应为彩色的点。
在一个示例性实施例中,根据所述当前图像帧上的初始像素点的初始白平衡数据可以但不限于采用以下方式确定每个所述初始像素点与所述图像传感器的普朗克曲线之间的目标距离:将每个所述初始像素点的初始红绿增益比和初始蓝绿增益比作为坐标,在所述普朗克曲线所在的坐标系中查找每个所述初始像素点所在坐标位置,其中,所述初始白平衡数据包括所述初始红绿增益比和所述初始蓝绿增益比,所述坐标系的横轴为红绿增益比,纵轴为蓝绿增益比;计算所述坐标位置到所述普朗克曲线的所述目标距离。
可选地,在本实施例中,可以但不限于将当前图像帧在统计模块获取统计信息,然后计算每个像素点或包括多个像素点的像素块的rGain/gGain(初始红绿增益比),bGain/gGain(初始蓝绿增益比)的数据,即得到初始像素点的初始红绿增益比和初始蓝绿增益比。
在一个示例性实施例中,根据所述当前图像帧的上一图像帧的参考色温参数,所述当前图像帧上的初始像素点的初始白平衡数据和所述图像传感器的白平衡标定参数,可以但不限于采用以下方式从所述当前图像帧上的初始像素点中筛选目标白点:在所述图像传感器的普朗克曲线所在的坐标系中获取与所述参考色温参数在所述普朗克曲线上所在的目标点之间距离小于或者等于第二距离阈值的目标聚集范围,其中,所述白平衡标定参数包括所述普朗克曲线,所述普朗克曲线用于表示具有对应关系的色温参数和白平衡数据;从所述当前图像帧上的初始像素点中筛选落入所述目标聚集范围的白点作为所述目标白点。
可选地,在本实施例中,第二距离阈值可以但不限于是预先确定的值,其可以但不限于用于从普朗克曲线中确定可信的范围,即目标聚集范围。
可选地,在本实施例中,目标点是在普朗克曲线上的点,可以但不限于以目标点为圆心,第二距离阈值为半径做圆,普朗克曲线中落入圆的曲线段,即为普朗克曲线上所在的目标点之间距离小于或者等于第二距离阈值的目标聚集范围。
在一个示例性实施例中,可以但不限于采用以下方式在所述图像传感器的普朗克曲线上获取与所述参考色温参数之间距离小于或者等于第二距离阈值的目标聚集范围:查找所述参考色温参数在所述普朗克曲线上所在的所述目标点;在所述坐标系中以所述目标点为圆心所述第二距离阈值为半径绘制圆形区域作为所述目标聚集范围。
可选地,在本实施例中,可以但不限于根据参考色温参数得到普朗克曲线上所在的目标点,比如:以普朗克曲线的横轴为红绿增益比,纵轴为蓝绿增益比为例,根据参考色温参数在普朗克曲线上描绘参考色温参数的点,并对应横纵坐标的到红绿增益比和蓝绿增益比。
在一个示例性实施例中,可以但不限于采用以下方式从所述当前图像帧上的初始像素点中筛选落入所述目标聚集范围的白点作为所述目标白点:将每个所述初始像素点的初始红绿增益比和初始蓝绿增益比作为坐标,在所述坐标系中查找每个所述初始像素点所在坐标位置,其中,所述初始白平衡数据包括所述初始红绿增益比和所述初始蓝绿增益比,所述坐标系的横轴为红绿增益比,纵轴为蓝绿增益比;从所述当前图像帧上的初始像素点中筛选所述坐标位置落在所述圆形区域内的白点作为所述目标白点。
可选地,在本实施例中,可以但不限于将初始像素点的初始红绿增益比和初始蓝绿增益作为坐标,在以横轴为红绿增益比,纵轴为蓝绿增益比的坐标系中找到坐标点以坐标点为圆心做圆,普朗克曲线中落入圆的白点,即为目标白点。
在上述步骤S206提供的技术方案中,目标白点可以但不限于有与其对应的目标白平衡数据。
可选地,在本实施例中,图像传感器的目标白平衡参数可以但不限于用于对当前图像帧进行自动白平衡处理。
在一个示例性实施例中,可以但不限于采用以下方式使用所述目标白点对应的目标白平衡数据确定所述图像传感器的目标白平衡参数:为每个所述目标白点分配与所述目标距离对应的权重,其中,所述目标距离与权重成反比;使用所述权重对所述目标白平衡数据执行加权平均运算,得到参考白平衡数据;将所述参考白平衡数据转换为所述目标白平衡参数。
可选地,在本实施例中,可以但不限于通过目标白点与普朗克曲线的距离为其分配权重,比如:目标白点与普朗克曲线的距离越近,其分配的权重越大;目标白点与普朗克曲线的距离越远,其分配的权重越小。
可选地,在本实施例中,可以但不限于通过对获取到的目标白平衡数据进行加权平均运算,运算后得到的结果即参考白平衡数据即可以确定为用于自动白平衡的目标白平衡参数。
在一个示例性实施例中,可以但不限于采用以下方式使用所述目标白点对应的目标白平衡数据确定所述图像传感器的目标白平衡参数:对所述目标白平衡数据执行平均运算,得到候选白平衡数据;将所述候选白平衡数据转换为所述目标白平衡参数。
可选地,在本实施例中,可以但不限于通过对获取到的目标白平衡数据进行平均运算,运算后得到的结果即候选白平衡数据即可以确定为用于自动白平衡的目标白平衡参数。
在上述步骤S208提供的技术方案中,可以但不限于使用计算出来的目标白平衡参数即rGain,bGain,gGain确定下一图像帧的白平衡增益,也就是说,可以但不限于根据事先标定的列表选择下一图像帧的数据,使其快速靠近目标白平衡参数。
可选地,在本实施例中,可以但不限于将当前图像帧的上一图像帧的色温数据确定为参考色温参数。
在一个可选的实施方式中,提供了一种自动白平衡方法的示例。图8是根据本申请实施例的一种自动白平衡方法的示例图,如图8所示,该方法可以但不限于包括以下步骤:
首先,预设一个flag参数为0,对于图像传感器获取到的首个图像帧,根据当前画面亮度预设一组r/g/b gain参数。
对于图像传感器获取到的第二个图像帧,采用粗略计算方式计算白平衡增益rGain,bGain,gGain。
粗略计算方式为:在统计模块获取统计信息,然后计算当前图像帧中每个像素块的rGain/gGain,bGain/gGain的数据,根据每个像素块的rGain/gGain,bGain/gGain的数据距离事先标定的普朗克曲线的距离和标定的权重表,来计算权重,然后筛选出符合距离条件(比如:距离小于或等于一定阈值)内的点作为白点,使用筛选出的白点来计算一个加权平均的白平衡增益rGain,bGain,gGain。
对于上一个图像帧采用粗略计算方式计算白平衡增益rGain,bGain,gGain的当前图像帧,判断是否满足连续3帧色温变动在阈值T1之内,并且白点个数大于阈值H1的精确计算方式的进入条件,若满足进入条件,置flag为1,则下一个图像帧进入精确计算方式。否则,flag置为0,下一个图像帧进行粗略计算方式。
其中的精确计算方式为:在统计模块获取统计信息,然后计算当前图像帧中每个像素块的rGain/gGain,bGain/gGain的数据,根据上一个图像帧反馈的色温值,在普朗克曲线上以该色温值为圆心R为半径得到圆形的聚集范围,根据每个像素块的rGain/gGain,bGain/gGain的数据筛选出rGain/gGain,bGain/gGain的数据落入该聚集范围内的像素块作为白点,计算白平衡增益rGain,bGain,gGain。
对于上一个图像帧采用精确计算方式计算白平衡增益rGain,bGain,gGain的当前图像帧判断其是否满足精确计算方式的退出条件,精确计算方式的退出条件为:连续2帧色温变动超过阈值T2,或者白点个数小于阈值H2。如果满足退出条件,置flag为0,则下一个图像帧进入粗略计算方式。否则,flag置为1,下一个图像帧进行精确计算方式。
对于计算得到的R/G/B gain参数,将其设置到sensor寄存器中并判断R/G/B gain参数是否收敛。若收敛了,则设置保持上一个图像帧的参数不变,若不收敛,则根据本帧得到的R/G/B gain参数设置新的R/G/B gain参数。设置新的R/G/B gain参数的过程可以但不限于为:从当前R/G/B gain参数与上一个图像帧的R/G/B gain参数之间选取一个数值(可以依据标定的数据选取)作为新的R/G/B gain参数,从而能够避免数据结果来回震荡,使得调整过程慢慢趋向于稳定。这样对于***的稳定性有很大帮助。
在一个可选的实施方式中,提供了一种自动白平衡处理应用的示例。表1是根据本申请实施例的一种自动白平衡处理应用的示例,如表1所示,第一列表示对应的灯箱的色温,第二列表示20号色块的计算误差,第三列表示21号色块的计算误差,第四列表示22号色块的计算误差,第五列表示所有灰色块的计算误差。
Figure SMS_1
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例的方法。
在本实施例中还提供了一种图像传感器自动白平衡的控制装置,图9是根据本申请实施例的一种图像传感器自动白平衡的控制装置的结构框图;如图9所示,包括:
检测模块92,用于检测图像传感器采集的当前图像帧相对于历史图像帧的目标场景变化率,其中,所述历史图像帧是所述图像传感器在所述当前图像帧之前采集到的,所述目标场景变化率用于指示所述当前图像帧中展示的场景相对于所述历史图像帧中展示的场景的变化剧烈程度,所述目标场景变化率越大所述变化剧烈程度越大;
筛选模块94,用于在所述目标场景变化率大于或者等于变化率阈值的情况下,根据所述当前图像帧上的初始像素点的初始白平衡数据和所述图像传感器的白平衡标定参数,从所述当前图像帧上的初始像素点中筛选目标白点;在所述目标场景变化率小于所述变化率阈值的情况下,根据所述当前图像帧的上一图像帧的参考色温参数,所述当前图像帧上的初始像素点的初始白平衡数据和所述图像传感器的白平衡标定参数,从所述当前图像帧上的初始像素点中筛选目标白点;
确定模块96,用于使用所述目标白点对应的目标白平衡数据确定所述图像传感器的目标白平衡参数;
处理模块98,用于使用所述目标白平衡参数对所述当前图像帧进行自动白平衡处理。
通过上述实施例,首先,检测图像传感器采集的当前图像帧相对于图像传感器在当前图像帧之前采集到的历史图像帧的目标场景变化率,目标场景变化率用于指示当前图像帧中展示的场景相对于历史图像帧中展示的场景的变化剧烈程度,目标场景变化率越大变化剧烈程度越大;其次,根据变化率阈值将当前图像帧进行对应的处理:在目标场景变化率大于或者等于变化率阈值的情况下,根据当前图像帧上的初始像素点的初始白平衡数据和图像传感器的白平衡标定参数,从当前图像帧上的初始像素点中筛选目标白点;或,在目标场景变化率小于变化率阈值的情况下,根据当前图像帧的上一图像帧的参考色温参数,当前图像帧上的初始像素点的初始白平衡数据和图像传感器的白平衡标定参数,从当前图像帧上的初始像素点中筛选目标白点;之后,使用目标白点对应的目标白平衡数据确定图像传感器的目标白平衡参数;最后,使用目标白平衡参数对当前图像帧进行自动白平衡处理。也就是说,通过检测场景的目标场景变化率,根据场景变化的剧烈程度通过其对应方法筛选当前图像帧上的目标白点,再使用目标白点确定图像传感器的目标白平衡参数,对当前图像帧进行白平衡处理,在处理过程对于每一图像帧来说,只进行了与其对应的计算方法的一种,即不会同时进行多重算法的处理,帧的计算量减小,从而提高了计算的效率,减轻了平台的负载压力,对于负荷能力较小的平台,也可以保证完成计算。因此,可以解决图像传感器自动白平衡的效率较低等问题,实现了提高图像传感器自动白平衡的效率的效果。
在一个示例性实施例中,所述检测模块,包括:
第一获取单元,用于获取所述当前图像帧之前的N个图像帧作为所述历史图像帧,得到图像帧集合,其中,N为正整数,所述图像帧集合中包括所述N个图像帧和所述当前图像帧;
第二获取单元,用于获取所述图像帧集合中连续两个图像帧对应的图像色温差和所述图像帧集合中每个图像帧对应的白点数量;
第一确定单元,用于在所述图像色温差均小于色温阈值,且所述白点数量均大于数量阈值的情况下,确定所述目标场景变化率小于所述变化率阈值;否则,确定所述目标场景变化率大于或者等于所述变化率阈值。
在一个示例性实施例中,所述第一获取单元,用于:在所述当前图像帧的上一图像帧是根据白平衡数据和白平衡标定参数筛选白点的情况下,获取所述当前图像帧之前的两个图像帧作为所述历史图像帧;在所述当前图像帧的上一图像帧是根据参考色温参数,白平衡数据和白平衡标定参数筛选白点的情况下,获取所述当前图像帧之前的一个图像帧作为所述历史图像帧;其中,所述两个图像帧作为所述历史图像帧时所使用的所述色温阈值与所述一个图像帧作为所述历史图像帧时所使用的所述色温阈值不同,所述两个图像帧作为所述历史图像帧时所使用的所述数量阈值与所述一个图像帧作为所述历史图像帧时所使用的所述数量阈值不同。
在一个示例性实施例中,所述筛选模块,包括:
第二确定单元,用于根据所述当前图像帧上的初始像素点的初始白平衡数据确定每个所述初始像素点与所述图像传感器的普朗克曲线之间的目标距离,其中,所述白平衡标定参数包括所述普朗克曲线,所述普朗克曲线用于表示具有对应关系的色温参数和白平衡数据;
剔除单元,用于从所述初始像素点中剔除所述目标距离大于第一距离阈值的白点,得到所述目标白点。
在一个示例性实施例中,所述第二确定单元,用于:将每个所述初始像素点的初始红绿增益比和初始蓝绿增益比作为坐标,在所述普朗克曲线所在的坐标系中查找每个所述初始像素点所在坐标位置,其中,所述初始白平衡数据包括所述初始红绿增益比和所述初始蓝绿增益比,所述坐标系的横轴为红绿增益比,纵轴为蓝绿增益比;计算所述坐标位置到所述普朗克曲线的所述目标距离。
在一个示例性实施例中,所述确定模块,包括:
分配单元,用于为每个所述目标白点分配与所述目标距离对应的权重,其中,所述目标距离与权重成反比;
第一运算单元,用于使用所述权重对所述目标白平衡数据执行加权平均运算,得到参考白平衡数据;
第一转换单元,用于将所述参考白平衡数据转换为所述目标白平衡参数。
在一个示例性实施例中,所述筛选模块,包括:
第三获取单元,用于在所述图像传感器的普朗克曲线所在的坐标系中获取与所述参考色温参数在所述普朗克曲线上所在的目标点之间距离小于或者等于第二距离阈值的目标聚集范围,其中,所述白平衡标定参数包括所述普朗克曲线,所述普朗克曲线用于表示具有对应关系的色温参数和白平衡数据;
筛选单元,用于从所述当前图像帧上的初始像素点中筛选落入所述目标聚集范围的白点作为所述目标白点。
在一个示例性实施例中,所述第三获取单元,用于:查找所述参考色温参数在所述普朗克曲线上所在的所述目标点;在所述坐标系中以所述目标点为圆心所述第二距离阈值为半径绘制圆形区域作为所述目标聚集范围。
在一个示例性实施例中,所述筛选单元,用于:将每个所述初始像素点的初始红绿增益比和初始蓝绿增益比作为坐标,在所述坐标系中查找每个所述初始像素点所在坐标位置,其中,所述初始白平衡数据包括所述初始红绿增益比和所述初始蓝绿增益比,所述坐标系的横轴为红绿增益比,纵轴为蓝绿增益比;从所述当前图像帧上的初始像素点中筛选所述坐标位置落在所述圆形区域内的白点作为所述目标白点。
在一个示例性实施例中,所述确定模块,包括:
第二运算单元,用于对所述目标白平衡数据执行平均运算,得到候选白平衡数据;
第二转换单元,用于将所述候选白平衡数据转换为所述目标白平衡参数。
本申请的实施例还提供了一种存储介质,该存储介质包括存储的程序,其中,上述程序运行时执行上述任一项的方法。
可选地,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的程序代码:
S1,检测图像传感器采集的当前图像帧相对于历史图像帧的目标场景变化率,其中,所述历史图像帧是所述图像传感器在所述当前图像帧之前采集到的,所述目标场景变化率用于指示所述当前图像帧中展示的场景相对于所述历史图像帧中展示的场景的变化剧烈程度,所述目标场景变化率越大所述变化剧烈程度越大;
S2,在所述目标场景变化率大于或者等于变化率阈值的情况下,根据所述当前图像帧上的初始像素点的初始白平衡数据和所述图像传感器的白平衡标定参数,从所述当前图像帧上的初始像素点中筛选目标白点;在所述目标场景变化率小于所述变化率阈值的情况下,根据所述当前图像帧的上一图像帧的参考色温参数,所述当前图像帧上的初始像素点的初始白平衡数据和所述图像传感器的白平衡标定参数,从所述当前图像帧上的初始像素点中筛选目标白点;
S3,使用所述目标白点对应的目标白平衡数据确定所述图像传感器的目标白平衡参数;
S4,使用所述目标白平衡参数对所述当前图像帧进行自动白平衡处理。
本申请的实施例还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,检测图像传感器采集的当前图像帧相对于历史图像帧的目标场景变化率,其中,所述历史图像帧是所述图像传感器在所述当前图像帧之前采集到的,所述目标场景变化率用于指示所述当前图像帧中展示的场景相对于所述历史图像帧中展示的场景的变化剧烈程度,所述目标场景变化率越大所述变化剧烈程度越大;
S2,在所述目标场景变化率大于或者等于变化率阈值的情况下,根据所述当前图像帧上的初始像素点的初始白平衡数据和所述图像传感器的白平衡标定参数,从所述当前图像帧上的初始像素点中筛选目标白点;在所述目标场景变化率小于所述变化率阈值的情况下,根据所述当前图像帧的上一图像帧的参考色温参数,所述当前图像帧上的初始像素点的初始白平衡数据和所述图像传感器的白平衡标定参数,从所述当前图像帧上的初始像素点中筛选目标白点;
S3,使用所述目标白点对应的目标白平衡数据确定所述图像传感器的目标白平衡参数;
S4,使用所述目标白平衡参数对所述当前图像帧进行自动白平衡处理。
可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(Read-Only Memory,简称为ROM)、随机存取存储器(Random Access Memory,简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
可选地,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。
显然,本领域的技术人员应该明白,上述的本申请的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本申请不限制于任何特定的硬件和软件结合。
以上所述仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。

Claims (13)

1.一种图像传感器自动白平衡的控制方法,其特征在于,包括:
检测图像传感器采集的当前图像帧相对于历史图像帧的目标场景变化率,其中,所述历史图像帧是所述图像传感器在所述当前图像帧之前采集到的,所述目标场景变化率用于指示所述当前图像帧中展示的场景相对于所述历史图像帧中展示的场景的变化剧烈程度,所述目标场景变化率越大所述变化剧烈程度越大;
在所述目标场景变化率大于或者等于变化率阈值的情况下,根据所述当前图像帧上的初始像素点的初始白平衡数据和所述图像传感器的白平衡标定参数,从所述当前图像帧上的初始像素点中筛选目标白点;在所述目标场景变化率小于所述变化率阈值的情况下,根据所述当前图像帧的上一图像帧的参考色温参数,所述当前图像帧上的初始像素点的初始白平衡数据和所述图像传感器的白平衡标定参数,从所述当前图像帧上的初始像素点中筛选目标白点;
使用所述目标白点对应的目标白平衡数据确定所述图像传感器的目标白平衡参数;
使用所述目标白平衡参数对所述当前图像帧进行自动白平衡处理。
2.根据权利要求1所述的方法,其特征在于,所述检测图像传感器采集的当前图像帧相对于历史图像帧的目标场景变化率,包括:
获取所述当前图像帧之前的N个图像帧作为所述历史图像帧,得到图像帧集合,其中,N为正整数,所述图像帧集合中包括所述N个图像帧和所述当前图像帧;
获取所述图像帧集合中连续两个图像帧对应的图像色温差和所述图像帧集合中每个图像帧对应的白点数量;
在所述图像色温差均小于色温阈值,且所述白点数量均大于数量阈值的情况下,确定所述目标场景变化率小于所述变化率阈值;
否则,确定所述目标场景变化率大于或者等于所述变化率阈值。
3.根据权利要求2所述的方法,其特征在于,所述获取所述当前图像帧之前的N个图像帧作为所述历史图像帧,包括:
在所述当前图像帧的上一图像帧是根据白平衡数据和白平衡标定参数筛选白点的情况下,获取所述当前图像帧之前的两个图像帧作为所述历史图像帧;
在所述当前图像帧的上一图像帧是根据参考色温参数,白平衡数据和白平衡标定参数筛选白点的情况下,获取所述当前图像帧之前的一个图像帧作为所述历史图像帧;
其中,所述两个图像帧作为所述历史图像帧时所使用的所述色温阈值与所述一个图像帧作为所述历史图像帧时所使用的所述色温阈值不同,所述两个图像帧作为所述历史图像帧时所使用的所述数量阈值与所述一个图像帧作为所述历史图像帧时所使用的所述数量阈值不同。
4.根据权利要求1所述的方法,其特征在于,所述根据所述当前图像帧上的初始像素点的初始白平衡数据和所述图像传感器的白平衡标定参数,从所述当前图像帧上的初始像素点中筛选目标白点,包括:
根据所述当前图像帧上的初始像素点的初始白平衡数据确定每个所述初始像素点与所述图像传感器的普朗克曲线之间的目标距离,其中,所述白平衡标定参数包括所述普朗克曲线,所述普朗克曲线用于表示具有对应关系的色温参数和白平衡数据;
从所述初始像素点中剔除所述目标距离大于第一距离阈值的白点,得到所述目标白点。
5.根据权利要求4所述的方法,其特征在于,所述根据所述当前图像帧上的初始像素点的初始白平衡数据确定每个所述初始像素点与所述图像传感器的普朗克曲线之间的目标距离,包括:
将每个所述初始像素点的初始红绿增益比和初始蓝绿增益比作为坐标,在所述普朗克曲线所在的坐标系中查找每个所述初始像素点所在坐标位置,其中,所述初始白平衡数据包括所述初始红绿增益比和所述初始蓝绿增益比,所述坐标系的横轴为红绿增益比,纵轴为蓝绿增益比;
计算所述坐标位置到所述普朗克曲线的所述目标距离。
6.根据权利要求4所述的方法,其特征在于,所述使用所述目标白点对应的目标白平衡数据确定所述图像传感器的目标白平衡参数,包括:
为每个所述目标白点分配与所述目标距离对应的权重,其中,所述目标距离与权重成反比;
使用所述权重对所述目标白平衡数据执行加权平均运算,得到参考白平衡数据;
将所述参考白平衡数据转换为所述目标白平衡参数。
7.根据权利要求1所述的方法,其特征在于,所述根据所述当前图像帧的上一图像帧的参考色温参数,所述当前图像帧上的初始像素点的初始白平衡数据和所述图像传感器的白平衡标定参数,从所述当前图像帧上的初始像素点中筛选目标白点,包括:
在所述图像传感器的普朗克曲线所在的坐标系中获取与所述参考色温参数在所述普朗克曲线上所在的目标点之间距离小于或者等于第二距离阈值的目标聚集范围,其中,所述白平衡标定参数包括所述普朗克曲线,所述普朗克曲线用于表示具有对应关系的色温参数和白平衡数据;
从所述当前图像帧上的初始像素点中筛选落入所述目标聚集范围的白点作为所述目标白点。
8.根据权利要求7所述的方法,其特征在于,所述在所述图像传感器的普朗克曲线上获取与所述参考色温参数之间距离小于或者等于第二距离阈值的目标聚集范围,包括:
查找所述参考色温参数在所述普朗克曲线上所在的所述目标点;
在所述坐标系中以所述目标点为圆心所述第二距离阈值为半径绘制圆形区域作为所述目标聚集范围。
9.根据权利要求8所述的方法,其特征在于,所述从所述当前图像帧上的初始像素点中筛选落入所述目标聚集范围的白点作为所述目标白点,包括:
将每个所述初始像素点的初始红绿增益比和初始蓝绿增益比作为坐标,在所述坐标系中查找每个所述初始像素点所在坐标位置,其中,所述初始白平衡数据包括所述初始红绿增益比和所述初始蓝绿增益比,所述坐标系的横轴为红绿增益比,纵轴为蓝绿增益比;
从所述当前图像帧上的初始像素点中筛选所述坐标位置落在所述圆形区域内的白点作为所述目标白点。
10.根据权利要求7所述的方法,其特征在于,所述使用所述目标白点对应的目标白平衡数据确定所述图像传感器的目标白平衡参数,包括:
对所述目标白平衡数据执行平均运算,得到候选白平衡数据;
将所述候选白平衡数据转换为所述目标白平衡参数。
11.一种图像传感器自动白平衡的控制装置,其特征在于,包括:
检测模块,用于检测图像传感器采集的当前图像帧相对于历史图像帧的目标场景变化率,其中,所述历史图像帧是所述图像传感器在所述当前图像帧之前采集到的,所述目标场景变化率用于指示所述当前图像帧中展示的场景相对于所述历史图像帧中展示的场景的变化剧烈程度,所述目标场景变化率越大所述变化剧烈程度越大;
筛选模块,用于在所述目标场景变化率大于或者等于变化率阈值的情况下,根据所述当前图像帧上的初始像素点的初始白平衡数据和所述图像传感器的白平衡标定参数,从所述当前图像帧上的初始像素点中筛选目标白点;在所述目标场景变化率小于所述变化率阈值的情况下,根据所述当前图像帧的上一图像帧的参考色温参数,所述当前图像帧上的初始像素点的初始白平衡数据和所述图像传感器的白平衡标定参数,从所述当前图像帧上的初始像素点中筛选目标白点;
确定模块,用于使用所述目标白点对应的目标白平衡数据确定所述图像传感器的目标白平衡参数;
处理模块,用于使用所述目标白平衡参数对所述当前图像帧进行自动白平衡处理。
12.一种计算机可读的存储介质,其特征在于,所述计算机可读的存储介质包括存储的程序,其中,所述程序运行时执行权利要求1至10中任一项所述的方法。
13.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行权利要求1至10中任一项所述的方法。
CN202310055136.1A 2023-02-03 2023-02-03 图像传感器自动白平衡的控制方法、装置和存储介质 Active CN115802175B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310055136.1A CN115802175B (zh) 2023-02-03 2023-02-03 图像传感器自动白平衡的控制方法、装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310055136.1A CN115802175B (zh) 2023-02-03 2023-02-03 图像传感器自动白平衡的控制方法、装置和存储介质

Publications (2)

Publication Number Publication Date
CN115802175A true CN115802175A (zh) 2023-03-14
CN115802175B CN115802175B (zh) 2023-05-12

Family

ID=85429710

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310055136.1A Active CN115802175B (zh) 2023-02-03 2023-02-03 图像传感器自动白平衡的控制方法、装置和存储介质

Country Status (1)

Country Link
CN (1) CN115802175B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008028924A (ja) * 2006-07-25 2008-02-07 Canon Inc 撮像装置及び撮像装置の制御方法
CN107801011A (zh) * 2017-10-27 2018-03-13 广东欧珀移动通信有限公司 全景拍摄的白平衡处理方法、装置及设备
CN107959839A (zh) * 2017-11-27 2018-04-24 努比亚技术有限公司 一种白平衡调整的方法、终端及计算机可读存储介质
US20190132566A1 (en) * 2017-10-30 2019-05-02 Guangdong Oppo Mobile Telecommunications Corp., Lt D. White balance processing method, electronic device and computer readable storage medium
CN114745532A (zh) * 2022-04-01 2022-07-12 北京紫光展锐通信技术有限公司 混合色温场景白平衡处理方法、装置、存储介质及终端
CN114866754A (zh) * 2022-04-27 2022-08-05 北京奕斯伟计算技术有限公司 自动白平衡方法、装置及计算机可读存储介质和电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008028924A (ja) * 2006-07-25 2008-02-07 Canon Inc 撮像装置及び撮像装置の制御方法
CN107801011A (zh) * 2017-10-27 2018-03-13 广东欧珀移动通信有限公司 全景拍摄的白平衡处理方法、装置及设备
US20190132566A1 (en) * 2017-10-30 2019-05-02 Guangdong Oppo Mobile Telecommunications Corp., Lt D. White balance processing method, electronic device and computer readable storage medium
CN107959839A (zh) * 2017-11-27 2018-04-24 努比亚技术有限公司 一种白平衡调整的方法、终端及计算机可读存储介质
CN114745532A (zh) * 2022-04-01 2022-07-12 北京紫光展锐通信技术有限公司 混合色温场景白平衡处理方法、装置、存储介质及终端
CN114866754A (zh) * 2022-04-27 2022-08-05 北京奕斯伟计算技术有限公司 自动白平衡方法、装置及计算机可读存储介质和电子设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MAHMOUD AFIFI: "Auto White-Balance Correction for Mixed illuminant Scenes" *
孙心桐: "基于帧间一致光源颜色估计的视频白平衡方法" *
李勇;朱丽军;杨鸣;: "一种数字显微图像白平衡方法" *

Also Published As

Publication number Publication date
CN115802175B (zh) 2023-05-12

Similar Documents

Publication Publication Date Title
CN110136071B (zh) 一种图像处理方法、装置、电子设备及存储介质
CN101621705B (zh) 自动白平衡的方法及装置
CN108376539B (zh) 一种图像的色彩补偿方法及设备
US8941755B2 (en) Image processing device with automatic white balance
CN112073703B (zh) 一种色彩校正矩阵的调整方法、装置、终端设备及介质
US20070133071A1 (en) Adaptive auto white balance
CN110322830B (zh) Led屏亮度校正方法及装置
KR20100011772A (ko) 자동 화이트 밸런스 조정 방법
CN108593645B (zh) 一种尿液试纸的检测结果确定方法及确定装置
CN113191988B (zh) 亮度矫正方法及装置、存储介质、电子装置
CN111899182A (zh) 颜色增强方法及装置
CN114866754B (zh) 自动白平衡方法、装置及计算机可读存储介质和电子设备
CN112489593B (zh) 一种led显示屏的无缝拼接校正方法及装置
CN112689140A (zh) 白平衡同步方法及装置、电子设备和存储介质
CN114882822A (zh) 伽马调试方法、装置、设备及计算机可读存储介质
CN110751607A (zh) 一种肤色的校正方法、装置、存储介质以及电子装置
CN104795048B (zh) 拼接显示屏颜色校准方法和***
CN115802175A (zh) 图像传感器自动白平衡的控制方法、装置和存储介质
CN115035851B (zh) 一种Gamma白平衡快速调节的方法及相关装置
US20130329056A1 (en) Color calibration of an image capture device in a way that is adaptive to the scene to be captured
CN108242178B (zh) 一种车位检测方法、装置及电子设备
US20090268044A1 (en) Color correction on an image
CN115035096A (zh) 一种指示灯测试方法及相关装置
US9041815B2 (en) Digital camera imaging evaluation module
CN107340240B (zh) 变化程度导出装置、变化程度导出***及已知颜色体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant