CN112601063A - 一种混合色温白平衡方法 - Google Patents

Abstract

本发明提供的一种混合色温白平衡方法，所述方法包括：获取原始图像，绘制灰区，统计灰区内灰点数量，设置灰点数量阀值，当灰区内的灰点数量小于所述灰点数量阀值时，动态调整灰区大小；灰点聚类，将聚类区域划分为若干个小区域，确定灰点的聚类信息判断和混合色温场景判断，其中，混合色温场景判断是根据聚类的个数判断当前场景是否为混合色温场景；图像融合，对于混合色温场景，对灰区进行灰点的分类，针对不同的色温场景使用相应的白平衡补偿增益和色彩校正，获取高色温图像和低色温图像进行图像融合。本发明通过图像融合解决了混合色温偏色的问题，并且在混合色温边界区域色彩处理过渡更加自然逼真。

Description

一种混合色温白平衡方法

技术领域

本发明属于图像处理技术领域，尤其涉及一种增强图像中植物色彩的方法和***。

背景技术

由于人的眼睛里面有一种锥体细胞，根据人眼的记忆功能和自适应调整功能，使人的眼睛具有智能功能，可以轻松识别当前的色温场景：室内场景、室外场景、高色温场景、低色温场景、混合色温场景等等，这样的话，使得人眼在任何场景看到的物体都不会偏色。

但是摄像机设备不具有该功能，不能够分辨色温场景，然而随着技术的发展，人们已经掌握了不同的白平衡(AWB，Automatic white balance)技术，来识别色温场景，改善偏色问题；但是对于混合色温场景的识别和处理还不够完善，当前的方法大致分为三类：当处于混合色温时，一是使用灰度世界算法；二是更倾向于高或低色温的全局校正；三是把灰区根据色温段分割为若干份，来识别区分混合色温场景，然后进行白平衡增益校正，但是这些办法在混合色温场景的处理都无法满足人们对图像高质量的要求。

中国专利文献CN 109361910A公开了一种自适应白平衡校正方法及装置，该方法包括：判断待处理图像是否为混合色温场景；若待处理图像为非混合色温场景,将待处理图像中的全部统计点归为一类,计算所述统计点的白平衡增益；若待处理图像为混合色温场景,将为非白点的统计点作为一类,将为白点的统计点划分为多个类；计算白点的白平衡增益,并根据白点的白平衡增益计算得到非白点的白平衡增益。该方案在进行混合色温场景处理时，虽然对不同的色温场景进行不同的白平衡校正，但是没有对不同的色温场景进行不同的CCM(Color Correction Matrix，颜色校正矩阵)校正，依然会导致混合色温场景偏色问题，另外，该方案对混合色温场景进行不同的白平衡偏色补偿，没有考虑到混合色温的边界处，导致边界处过渡不自然。

发明内容

鉴于上述现有技术的不足之处，本发明提出一种混合色温白平衡方法。旨在解决上述问题中的一个或多个问题。

为了达到上述目的，本发明采取了以下技术方案：

本发明提供一种混合色温白平衡方法，所述方法包括：

获取原始图像，绘制灰区，统计灰区内灰点数量，设置灰点数量阀值，当灰区内的灰点数量小于所述灰点数量阀值时，动态调整灰区大小；

灰点聚类，将聚类区域划分为若干个小区域，确定灰点的聚类信息判断和混合色温场景判断，其中，混合色温场景判断是根据聚类的个数判断当前场景是否为混合色温场景；

图像融合，对于混合色温场景，对灰区进行灰点的分类，针对不同的色温场景使用相应的白平衡补偿增益和色彩校正，获取高色温图像和低色温图像进行图像融合。

优选的，所述色彩校正之前还包括创建色彩校正矩阵，包括在不同标准光源下拍摄24色卡的图像，统计每一个色块的RGB值，根据已知24色卡色块的RGB建立关系式，求出RGB三通道的3*3转换关系矩阵。

优选的，所述绘制灰区包括在拍摄全屏幕灰卡的原始图像中，统计不同光源下的R_avg/G_avg和B_avg/G_avg，在R/G-B/G坐标系中绘制不同色温下的灰点，将相邻的灰点两两连接成标准光源线，再将标准光源线向上和向下分别扩展预定距离，得到灰区；其中，向上和向下扩展后的边界线与所述标准光源线平行。

优选的，所述灰点聚类包括针对灰区中的每一个点Pi，以该点Pi(xi，yi)为圆心点，分别以R_m为半径画圆，其中，m为大于1的整数(1，...k)；Rm＝(L*m)/(k)，统计每个点Pi以R_m为半径的区域中灰点的个数C_im；当灰区里的每一个像素点满足以下条件：

则认为产生一个以该点Pi(xi，yi)为圆心，R_m为半径区域的聚类。

优选的，所述灰点聚类还包聚类的再次确定：

对于同一个像素点，具有不同半径的类，将这一类像素点归为半径最大的点的聚类；或者

对于有重叠的两个聚类，如满足以下条件，

则通过减少同比例的重叠区域对应的扇形面积大小，如两个聚类没有交点，则分为两个聚类，反之，则将两个聚类合并为一个聚类，其中，S₁、S₂、S₃分别代表聚类1、聚类2以及聚类1和聚类2重叠区域的面积，C₁、C₂、C₃分别代表聚类1、聚类2以及聚类1和聚类2重叠区域中的灰点个数；或者

如满足以下条件，

则通过减少同比例的重叠区域对应的扇形面积大小，保证两个聚类没有交点，分为两个聚类，反之，则将两个聚类合并为一个聚类，其中，S₁、S₂、S₃分别代表聚类1、聚类2以及聚类1和聚类2重叠区域的面积，C₁、C₂、C₃分别代表聚类1、聚类2以及聚类1和聚类2重叠区域中的灰点个数。

与现有技术相比，本发明的有益效果：

本发明提供的一种混合色温白平衡方法，所述方法包括：获取原始图像，绘制灰区，统计灰区内灰点数量，设置灰点数量阀值，当灰区内的灰点数量小于所述灰点数量阀值时，动态调整灰区大小；灰点聚类，将聚类区域划分为若干个小区域，确定灰点的聚类信息判断和混合色温场景判断，其中，混合色温场景判断是根据聚类的个数判断当前场景是否为混合色温场景；图像融合，对于混合色温场景，对灰区进行灰点的分类，针对不同的色温场景使用相应的白平衡补偿增益和色彩校正，获取高色温图像和低色温图像进行图像融合。本发明通过图像融合解决了混合色温偏色的问题，并且在混合色温边界区域色彩处理过渡更加自然逼真。

附图说明

图1为本发明混合色温白平衡方法的流程示意框图。

图2为本发明中灰区扩展示意图。

图3为本发明中将灰点分为六份的示意图。

图4为本发明中一种待白平衡的样本图。

图5为将图4中的灰区归集的示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

参见图1，本发明提供一种混合色温白平衡方法，所述方法包括如下步骤：

S11、获取原始图像，绘制灰区，统计灰区内灰点数量，设置灰点数量阀值，当灰区内的灰点数量小于所述灰点数量阀值时，动态调整灰区大小；

S12、灰点聚类，将聚类区域划分为若干个小区域，确定灰点的聚类信息判断和混合色温场景判断，其中，混合色温场景判断是根据聚类的个数判断当前场景是否为混合色温场景；

S13、图像融合，对于混合色温场景，对灰区进行灰点的分类，针对不同的色温场景使用相应的白平衡补偿增益和色彩校正，获取高色温图像和低色温图像进行图像融合。

需要说明的是，本方案适用于具有单摄镜头、双摄镜头或多摄镜头的终端，尤其是具有双摄镜头的终端。首先，在灯箱里面，在不同标准光源下(D75、D65、D50、Tl84、CWF、U30、F、A)下拍摄全屏幕灰卡的RAW图，统计不同光源下的(R_avg/G_avg，B_avg/G_avg)，然后在R/G-B/G坐标系中绘制不同色温下的灰点(可以理解的是，所述灰点也可以称之为白点，非灰点也可以称之为非白点)，将相邻的灰点两两连接成标准光源线，再将标准光源线向上和向下分别扩展预定距离，得到一个区域面积，即灰区，用来统计白平衡计算所需要的统计灰点；落在灰区外面的点可以称之为非白点，这些非白点是不参与白平衡计算补偿增益的计算。

参见图2，其中灰区的宽度是L，宽度的要求是保证灯箱每一个标准光源环境下(D75、D65、D50、Tl84、CWF、U30、F、A)，摄像头拍摄满屏灰卡时，所对应的灰点刚好包含在灰区里面；由于灰区的宽度L是在标准光源下确定的，但是摄像头拍摄的对象是自然界的任何一种可能的场景，在拍摄复杂的场景时，会遇到灰区只有少量的灰点，当灰区内的灰点很少时，C_in(灰区内灰点的个数)/C_out(灰区外灰点的个数)≤Thr1时，以一点的比例扩大灰区宽度L直到灰区内点的个数/灰区外点的个数≥Thr2时为止。

参见图3，需要说明的是，灰点聚类，灰点聚类是为了更好地确定场景的色温已经补偿增益，本发明实用的聚类算法是：对于灰色区域内(灰区)的灰点，假设灰色区域内有若干个灰点P_i(x_i,y_i)，其中i＝1...n；灰区宽度为L；针对灰区中的每一个灰点Pi，以该灰点Pi(xi，yi)为圆心点，分别以R_m为半径画圆，其中，m为大于1的整数(1,2.3...k)；Rm＝(L*m)/(k)，统计每个点Pi以R_m为半径的区域中灰点的个数C_im；

以将圆形区域分为6份为例，统计每一份区域内灰点的个数C_im；当灰区里的每一个像素点满足以下条件：

则认为产生一个以该点Pi(xi，yi)为圆心，R_m为半径区域的聚类。

需要说明的是，上述将圆形区域分为6份只是一个参考，可以理解的是，可以将圆形区域分为更少份或更多份，更多份可以达到更好的聚类效果，但同时也会带来计算量的增加，更少份则反之。

需要说明的是，对于同一个像素点，具有不同半径的类，将这一类像素点归为半径最大的点的聚类；或者

对于有重叠的两个聚类，假设根据每一个聚类算出来的R/G、B/G对应的色温大约是CWF与TL84，如果满足以下条件：

则通过减少同比例的重叠区域对应的扇形面积大小，如两个聚类没有交点，则分为两个聚类，认为此时场景是混合色温，反之，则将两个聚类合并为一个聚类，其中，S₁、S₂、S₃分别代表聚类1、聚类2以及聚类1和聚类2重叠区域的面积，C₁、C₂、C₃分别代表聚类1、聚类2以及聚类1和聚类2重叠区域中的灰点个数。

假设根据每一个聚类算出来的R/G、B/G对于的色温大约不是CWF与TL84，若满足以下条件：

则通过减少同比例的重叠区域对应的扇形面积大小，保证两个聚类没有交点，分为两个聚类，认为此时场景是混合色温，反之，则将两个聚类合并为一个聚类，其中，S₁、S₂、S₃分别代表聚类1、聚类2以及聚类1和聚类2重叠区域的面积，C₁、C₂、C₃分别代表聚类1、聚类2以及聚类1和聚类2重叠区域中的灰点个数。

需要说明的是，由于CWF与TL84两个光源的色温接近，现实中也经常遇到，但是两者的光谱差异很大，如果处于两者色温的混合色温场景，使用同一套白平衡增益补偿和色彩校正很容易引起图像偏色，所以对于两种色温(CWF和TL84)的聚类以尽量区分两者的光源色温混合满足的条件设定。

混合色温的判断，如果上述灰区里的灰点判断出来的聚类的个数是1，则认为此时的场景不是混合色温场景，只需要根据聚类区域中的灰点计算出白平衡的补偿增益，根据补偿增益R/G、B/G算出对应的色温，然后使用对应的色彩校正矩阵。其中白平衡补偿增益与色彩校正矩阵均是作用于整幅图像的所有像素点。

如果上述灰区里面的灰点判断出来的聚类个数大于等于2，则认为此时的场景是混合色温场景，下一步需要进行图像融合。

在一些实施例中，所述色彩校正之前还包括创建色彩校正矩阵，包括在不同标准光源下拍摄24色卡的图像，统计每一个色块的RGB值，根据已知24色卡色块的RGB建立关系式，求出RGB三通道的3*3转换关系矩阵。

这个矩阵使得拍摄的24色卡每一块的RGB值更接近于已知24色卡色块的RGB值，这样，每一个色温下对应一个色彩校正矩阵，然后根据白平衡补偿增益算出一个色温，根据色温所处于的色温段通过两个色温下的色彩校正矩阵进行线性插值获得当前色温的色彩校正矩阵。

参见图4和图5，图像融合，需要说明的是，图像中的每一个像素点与R/G-B/G坐标系中的点是一一对应的；通过上述混合色温场景判断，若灰区里的灰点判断出来的聚类的个数是大于2的，即为混合色温场景，R/G-B/G坐标系中的点可以分为以下四类：

其中聚类1里面的像素点的个数大于聚类2里面的像素点的个数；

对于多摄像头而言，其中的多摄像头指的是具有两个一模一样的双摄像头的拍摄设备。

主摄像头图片：根据聚类1里面的像素点计算出来的白平衡增益补偿，相应色温对应的色彩校正矩阵作用于整幅图像的所有像素点。

辅摄像头图片：根据聚类2里面的像素点计算出来的白平衡增益补偿，相应色温对应的色彩校正矩阵作用于整幅图像的所有像素点。

图像融合：主摄像头图片所取用的像素点是第一、二类，以及第四类中的点到第1聚类点中心点距离小于或等于第四类中的点到第2聚类点中心点距离；辅摄像头图片所取用的像素点是第三类，以及第四类中的点到第2聚类点中心点距离小于或等于第四类中的点到第1聚类点中心点距离；

第四类中的点到聚类中心点距离公式：

其中，(Pm，Pn)为第四类中的任意一点，聚类中共有k个灰点(Pi，Pj)，1≥i＝j≥k；

当灰区里面存在的聚类个数≥3时，可以采取如下策略：

策略一：使用主摄像头或者辅助摄像头拍摄的上一帧图像，根据聚类3里面的像素点计算出来的白平衡增益补偿，相应色温对于的色彩校正矩阵作用与整副主摄像头或者辅助摄像头拍摄的上一帧图像的所有像素点；然后将以下三种图像进行融合：主摄像头拍摄的当前图像(高色温校正)、辅助摄像头拍摄的当前图像(低色温校正)以及主摄像头或者辅助摄像头拍摄的上一帧图像。

策略二：使用第三摄像头拍摄的图像，根据聚类3里面的像素点技术出白平衡增益补偿，相应色温对应的色彩校正矩阵作用与第三摄像头拍摄的图像的所有像素点；然后将主摄像头拍摄的图像(高色温校正)、辅助摄像头拍摄的图像(低色温校正)和第三摄像头拍摄的图像进行图像融合。

当然了，当拍摄设备只有一个摄像头时，可以采用上上一帧图像(高色温校正)、上一帧图像(低色温校正)和当前图像来代替上述的三种图像。

综上所述，本发明提供的一种混合色温白平衡方法，针对灰区进行了灰点的分类，针对不同的色温场景使用相应的白平衡补偿增益和色彩校正，以及分别获取高色温图像和低色温图像进行图像融合，解决了混合色温偏色的问题，并且在混合色温边界区域色彩处理过渡更加自然逼真。

可以理解的是，上述各实施例涉及的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机设备可读取的存储介质中，用于执行上述各实施例方法所述的全部或部分步骤。所述计算机设备，包括但不限于：个人计算机、服务器、通用计算机、专用计算机、网络设备、嵌入式设备、可编程设备、智能移动终端、智能家居设备、穿戴式智能设备、车载智能设备等；所述的存储介质，包括但不限于：RAM、ROM、磁碟、磁带、光盘、闪存、U盘、移动硬盘、存储卡、记忆棒、网络服务器存储、网络云存储等。

可以理解的是，对本领域普通技术人员来说，可以根据本发明的技术方案及其发明构思加以等同替换或改变，而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。

Claims (5)

1.一种混合色温白平衡方法，其特征在于，所述方法包括：

获取原始图像，绘制灰区，统计灰区内灰点数量，设置灰点数量阀值，当灰区内的灰点数量小于所述灰点数量阀值时，动态调整灰区大小；

灰点聚类，将聚类区域划分为若干个小区域，确定灰点的聚类信息判断和混合色温场景判断，其中，混合色温场景判断是根据聚类的个数判断当前场景是否为混合色温场景；

图像融合，对于混合色温场景，对灰区进行灰点的分类，针对不同的色温场景使用相应的白平衡补偿增益和色彩校正，获取高色温图像和低色温图像进行图像融合。

2.根据权利要求1所述的方法，其特征在于，所述色彩校正之前还包括创建色彩校正矩阵，包括在不同标准光源下拍摄24色卡的图像，统计每一个色块的RGB值，根据已知24色卡色块的RGB建立关系式，求出RGB三通道的3*3转换关系矩阵。

3.根据权利要求1所述的方法，其特征在于，所述绘制灰区包括在拍摄全屏幕灰卡的原始图像中，统计不同光源下的R_avg/G_avg和B_avg/G_avg，在R/G-B/G坐标系中绘制不同色温下的灰点，将相邻的灰点两两连接成标准光源线，再将标准光源线向上和向下分别扩展预定距离，得到灰区；其中，向上和向下扩展后的边界线与所述标准光源线平行。

4.根据权利要求1所述的方法，其特征在于，所述灰点聚类包括针对灰区中的每一个点Pi，以该点Pi(xi，yi)为圆心点，分别以R_m为半径画圆，其中，m为大于1的整数(1，...k)；Rm＝(L*m)/(k)，统计每个点Pi以R_m为半径的区域中灰点的个数C_im；当灰区里的每一个像素点满足以下条件：

则认为产生一个以该点Pi(xi，yi)为圆心，R_m为半径区域的聚类。

5.根据权利要求4所述的方法，其特征在于，所述灰点聚类还包聚类的再次确定：

对于同一个像素点，具有不同半径的类，将这一类像素点归为半径最大的点的聚类；或者

对于有重叠的两个聚类，如满足以下条件，

则通过减少同比例的重叠区域对应的扇形面积大小，如两个聚类没有交点，则分为两个聚类，反之，则将两个聚类合并为一个聚类，其中，S₁、S₂、S₃分别代表聚类1、聚类2以及聚类1和聚类2重叠区域的面积，C₁、C₂、C₃分别代表聚类1、聚类2以及聚类1和聚类2重叠区域中的灰点个数；或者

如满足以下条件，

则通过减少同比例的重叠区域对应的扇形面积大小，保证两个聚类没有交点，分为两个聚类，反之，则将两个聚类合并为一个聚类，其中，S₁、S₂、S₃分别代表聚类1、聚类2以及聚类1和聚类2重叠区域的面积，C₁、C₂、C₃分别代表聚类1、聚类2以及聚类1和聚类2重叠区域中的灰点个数。

Images