CN106295679A - 一种基于分类校正的彩色图像光源颜色估计方法 - Google Patents

Abstract

本发明公开了一种基于分类校正的彩色图像光源颜色估计方法，首先在一组已知光源颜色的图像上提取图像的边缘特征，然后通过最小二乘法进行学习，得到边缘特征与光源之间的校正矩阵，再对待处理的测试图像提取边缘特征并与校正矩阵相乘，得到粗略的光源估计；之后通过在特征空间寻找K幅邻近图像的方式找到与待处理测试图像特征相近的一类训练图像，从而重新学习，得到精准的光源估计。本发明涉及参数少，并且由于提取的特征简单且数量较少，所以还拥有计算简单、速度快等特点；此外，本发明是基于学习的方法，所以处理效果好，精确度高，非常适合于对光源颜色的估计准确度要求比较高的场合。

Description

一种基于分类校正的彩色图像光源颜色估计方法

技术领域

本发明属于计算机视觉和图像处理技术领域，具体涉及一种基于分类校正的彩色图像光源颜色估计方法的设计。

背景技术

自然环境下，同一物体在不同颜色的光的照射下会呈现不同的颜色，比如绿色的树叶在晨光照射下偏黄色，而在傍晚时分却偏蓝色。人的视觉***可以抵制这种光源颜色变化，从而恒定的感知物体的颜色，也就是视觉***具有颜色恒常性。然而，受技术条件限制，机器并不具备这一能力，由物理设备，比如照相机拍摄到的图片由于光源颜色的变化会产生严重的色偏。因此，如何根据已有的图像信息去准确估计场景中的光源颜色并将其移除从而得到物体在标准白光照射下的颜色就显得尤为重要。

计算性颜色恒常正是致力于解决这一问题，它的主要目的是计算任意一幅图像所包含的未知光源的颜色，然后用这个计算得到的光源颜色对原始输入的图像进行光源颜色校正后在标准的白光下进行显示，得到所谓的标准图像。由于标准图像去除了光源颜色的影响，因而对于后续的计算任务，比如基于颜色的场景分类，图像检索就不存在因色偏而导致的误分类或误检索。

计算性颜色恒常方法可以分为两类：基于学习的方法和传统的静态方法。传统的静态方法从图像中提取简单的特征用于光源估计，这类方法由于估计的误差较大，不能很好的满足工程需要。基于此需求，在传统非基于学习的方法的基础上诞生了基于学习的方法，比较典型的基于学习的方法有G.D.Finlayson在2013年提出的方法，参考文献：G.D.Finlayson，“Corrected-moment illuminant estimation”in Proc.Comput.Vis.IEEEInt.Conf.，2013，pp.1904–1911，该方法通过特征提取并利用回归的方法找到特征与光源之间的关系。这种方法由于使用了回归的手段，因而估计光源的准确性相对较高，但该方法对所有图像都使用同一个校正矩阵，导致部分图像估计的光源误差很大，因而无法满足对估计光源颜色准确性要求很高的场合，例如智能机器人或自动驾驶等的接收图像的设备前端。因此，实现一种对不同的图像学习不同的校正矩阵的方法就显得尤为重要。

发明内容

本发明的目的是为了解决现有技术中的图像场景光源颜色估计方法无法满足对估计光源颜色准确性要求很高的场合的问题，提出了一种基于分类校正的彩色图像光源颜色估计方法。

本发明的技术方案为：一种基于分类校正的彩色图像光源颜色估计方法，包括以下步骤：

S1、提取训练图像的边缘特征：将N幅已知光源的彩色图像作为原始训练集T，分别与高斯分布求导后的模板G做卷积运算，得到图像每个像素点对应的边缘值，提取边缘特征，得到N幅训练图像的边缘特征矩阵M；

S2、学习校正矩阵：通过最小二乘法，学习由步骤S1计算得到的特征矩阵M与N幅训练图像的标准光源L之间的校正矩阵C；

S3、粗略的光源估计：采用步骤S1中的方法提取测试图像的边缘特征，与步骤S2学习得到的校正矩阵C相乘，得到粗略的光源估计结果L1；

S4、寻找与测试图像相对应的训练图像：对测试图像与原始训练集T分别去除光源，再采用S1中的方法分别提取边缘特征，形成特征空间；在特征空间中找出与测试图像特征相近的K幅训练图像，将其作为新的训练集TN；

S5、精准的光源估计：重复步骤S1-S4，每次将步骤S1中的训练集T替换为步骤S4中得到的新的训练集TN，训练图像数也相应的由N变为K，直到步骤S4中得到的TN与上一次操作中步骤S4得到的TN相同为止，把最后一次操作中步骤S3得到的光源估计结果L1作为最终光源估计结果。

进一步地，步骤S1中高斯分布求导后的模板G为高斯梯度算子。

进一步地，步骤S1中提取边缘特征的计算公式为：

$M_{xyz}={\left(\frac{{\mathrm{\Σ}}_{i=1}^{N_1}{R}_i^x{G}_i^y{B}_i^z}{N_1}\right)}^{1/(x+y+z)}---\left(1\right)$

式中R_i、G_i、B_i分别表示每个像素点在R、G、B三个通道的边缘值，N₁表示图像中像素点的个数，M_xyz为不同x,y,z下对应的边缘特征的值，x,y,z是满足x≥0,y≥0,z≥0且x+y+z＝3的所有组合。

进一步地，步骤S4中K的取值范围为

进一步地，步骤S4具体包括以下分步骤：

S41、对原始N幅训练图像去除标准光源L，并采用步骤S1中的方法提取边缘特征；

S42、对测试图像去除步骤S3中粗略估计的光源L1，并采用步骤S1中的方法提取边缘特征，与步骤S41中N幅训练图像提取的边缘特征共同形成特征空间；

S43、在特征空间中找出与测试图像特征距离最相近的K幅图像，作为测试图像的新训练图像集合TN。

进一步地，步骤S43中的特征距离为欧式距离。

本发明的有益效果是：本发明首先在一组已知光源颜色的图像上提取图像的边缘特征，然后通过最小二乘法进行学习，得到边缘特征与光源之间的校正矩阵，再对待处理的测试图像提取边缘特征并与校正矩阵相乘，得到粗略的光源估计；之后通过在特征空间寻找K幅邻近图像的方式找到与待处理测试图像特征相近的一类训练图像，从而重新学习，得到精准的光源估计。由于待处理的测试图像与训练图像在特征空间的距离不同，适当调节对应训练图像数K的值，可以得到更好的适于不同类型训练图像的结果，这里K是唯一的参数。本发明涉及参数少(仅有一个参数K)，并且由于提取的特征简单且数量较少，所以还拥有计算简单、速度快等特点；此外，本发明是基于学习的方法，所以处理效果好，精确度高，非常适合于对光源颜色的估计准确度要求比较高的场合，例如内置在智能机器人或自动驾驶的接收图像设备的前端等。

附图说明

图1为本发明提供的一种基于分类校正的彩色图像光源颜色估计方法流程图。

图2为本发明实施例一的待处理的测试图像tools_ph-ulm.GIF。

图3为本发明实施例一的各步骤估计的光源与真实光源之间的误差值示意图。

图4为本发明实施例一的最终光源估计结果与真实光源对比示意图。

图5为本发明实施例二的利用步骤S5计算的光源颜色值对原始测试图像进行色调校正后的结果示意图。

具体实施方式

下面结合附图对本发明的实施例作进一步的说明。

本发明提供了一种基于分类校正的彩色图像光源颜色估计方法，如图1所示，包括以下步骤：

S1、提取训练图像的边缘特征：将N幅已知光源的彩色图像作为原始训练集T，分别与高斯分布求导后的模板G做卷积运算，得到图像每个像素点对应的边缘值，提取边缘特征，得到N幅训练图像的边缘特征矩阵M。

其中，高斯分布求导后的模板G为高斯梯度算子。

提取边缘特征的计算公式为：

$M_{xyz}={\left(\frac{{\mathrm{\Σ}}_{i=1}^{N_1}{R}_i^x{G}_i^y{B}_i^z}{N_1}\right)}^{1/(x+y+z)}---\left(1\right)$

式中R_i、G_i、B_i分别表示每个像素点在R、G、B三个通道的边缘值，N₁表示图像中像素点的个数，M_xyz为不同x,y,z下对应的边缘特征的值，x,y,z是满足x≥0,y≥0,z≥0且x+y+z＝3的所有组合，总的组合数为19，所以这里可以得到19个边缘特征。

S2、学习校正矩阵：通过最小二乘法，学习由步骤S1计算得到的特征矩阵M与N幅训练图像的标准光源L之间的校正矩阵C。

S3、粗略的光源估计：采用步骤S1中的方法提取测试图像的边缘特征，与步骤S2学习得到的校正矩阵C相乘，得到粗略的光源估计结果L1。

S4、寻找与测试图像相对应的训练图像：对测试图像与原始训练集T分别去除光源，再采用S1中的方法分别提取边缘特征，形成特征空间；在特征空间中找出与测试图像特征相近的K幅训练图像(K的取值范围为)，将其作为新的训练集TN。

该步骤具体包括以下分步骤：

S41、对原始N幅训练图像去除标准光源L，并采用步骤S1中的方法提取边缘特征。

S42、对测试图像去除步骤S3中粗略估计的光源L1，并采用步骤S1中的方法提取边缘特征，与步骤S41中N幅训练图像提取的边缘特征共同形成特征空间。

S43、在特征空间中找出与测试图像特征距离最相近的K幅图像，作为测试图像的新训练图像集合TN。

其中，步骤S43中的特征距离为欧式距离。

S5、精准的光源估计：重复步骤S1-S4，每次将步骤S1中的训练集T替换为步骤S4中得到的新的训练集TN，训练图像数也相应的由N变为K，直到步骤S4中得到的TN与上一次操作中步骤S4得到的TN相同为止，把最后一次操作中步骤S3得到的光源估计结果L1作为最终光源估计结果。

经过步骤S5之后计算出来的图像的最终光源估计结果L1可以直接用于后续的计算机视觉应用，比如用输入的原彩色图像的每个颜色通道的分量除以L1，可以达到去除彩色图像中光源颜色的目的。此外，图像的白平衡以及颜色校正也需要用到S5计算出来的最终光源估计结果L1。

下面以一个具体实施例对本发明提供的一种基于分类校正的彩色图像光源颜色估计方法作进一步说明：

实施例一：

下载目前国际公认的用于估计场景光源颜色的图像库SFU object的所有图片(共321幅)及其对应的真实光源颜色(标准光源)L，图像大小均为468×637，选图像库前214幅图像作为训练集图像，选择剩余图像中一幅图像tools_ph-ulm.GIF(如图2所示)作为待处理的测试图像进行测试，所有图像都没有经过任何相机本身的预处理(如色调校正，gamma值校正)。则本发明的详细步骤如下：

S1、提取训练图像的边缘特征：将214幅已知光源的彩色图像作为原始训练集T，分别与高斯分布求导后的模板G(高斯梯度算子)做卷积运算，得到图像每个像素点对应的边缘值，再分别提取19维的边缘特征，最后得到大小为214*19的训练集图像的边缘特征矩阵M。

S2、学习校正矩阵：通过最小二乘法，学习由步骤S1计算得到的特征矩阵M与214幅训练图像的标准光源L之间的校正矩阵，得到大小为19*3的校正矩阵C：

C＝[-150.0689，-30.1462，-21.5186；-96.5582，-196.1642，-348.5298；52.6551，76.4461，115.5982；-200.5289，-240.3650，-179.6495；-79.6311，72.4539，125.1126；-56.1276，-130.2963，-226.1518；683.9180，552.9035，366.8781；214.1444，-15.5379，-52.8198；-149.3407，138.0260，397.1888；154.6218，240.3336，128.2161；156.5752，-50.6503，69.4182；22.7103，90.3730，274.5781；-65.9786，-384.7642，-66.2556；-112.7044，-104.0913，-12.8868；-349.7427，81.5115，-215.8972；-79.0109，-48.0727，-32.2072；-98.2723，-22.7039，-51.2091；108.6481，-52.0896，-265.9989；172.6056，171.2726，95.1991]。

S3、粗略的光源估计：采用步骤S1中的方法提取测试图像的19维边缘特征，得到大小为1*19的测试图像的边缘特征矩阵M1：

M1＝[0.0002，0.0004，0.0002，0.0014，0.0017，0.0012，0.0015，0.0013，0.0014，0.0036，0.0040，0.0031，0.0037，0.0034，0.0039，0.0037，0.0032，0.0034，0.0035]。

再将M1与步骤S2学习得到的校正矩阵C相乘，得到粗略的光源估计结果L1＝[0.1985，0.2151，0.2360]。

S4、寻找与测试图像相对应的训练图像：对测试图像与具有214幅图像的原始训练集T分别去除光源，再采用S1中的方法分别提取19维边缘特征，形成特征空间。在特征空间中找出与测试图像特征相近的K幅训练图像，从而得到与其特征相近的一类图像，将这K幅图像作为新的训练集TN。本发明实施例中，选取K＝100。

该步骤具体包括以下分步骤：

S41、对原始214幅训练图像去除标准光源L，并采用步骤S1中的方法提取19维边缘特征，得到大小为214*19的特征矩阵M0。

S42、对测试图像去除步骤S3中粗略估计的光源L1，并采用步骤S1中的方法提取边缘特征，得到大小为1*19的特征矩阵M2：

M2＝[0.0060，0.0089，0.0038，0.0366，0.0371，0.0224，0.0365，0.0282，0.0285，0.0937，0.0900，0.0581，0.0921，0.0790，0.0909，0.0768，0.0673，0.0664，0.0777]。

再将M2与步骤S41中214幅训练图像提取的边缘特征M0共同形成特征空间。

S43、在特征空间中找出与测试图像特征距离最相近的100幅图像，作为测试图像的新训练图像集合TN。

S5、精准的光源估计：重复步骤S1-S4，每次将步骤S1中的训练集T替换为步骤S4中得到的新的训练集TN，训练图像数也相应的由N变为K，直到步骤S4中得到的TN与上一次操作中步骤S4得到的TN相同为止，把最后一次操作中步骤S3得到的光源估计结果L1作为最终光源估计结果。

本发明实施例中，为节约时间，重复操作两次即可。重复操作一次后得到的光源估计结果为L1＝[0.3412,0.3591,0.3168]，重复操作两次后得到的光源估计结果为L1＝[0.3312，0.3365，0.3430]。将执行两次后得到的光源估计结果L1＝[0.3312，0.3365，0.3430]作为最终光源估计结果。

如图3所示，第一个柱子表示步骤S3中粗略估计的光源与真实光源之间角度误差值，第二个柱子是步骤S5中重复操作一次之后估计的光源与真实光源之间的角度误差值，第三个柱子是步骤S5中重复操作两次之后估计的光源与真实光源之间的角度误差值。三个柱子之间连接的折线反应了估计误差的下降趋势，表明估计的光源越来越准确。

如图4所示为步骤S5最终计算得到的三原色空间下红色和绿色分量的响应的方向与真实光源红色和绿色分量的响应的方向，图4表明由步骤S5计算得到的响应值与真实场景光源颜色的信息很接近。

下面以一个具体实施例对本发明最终得到的光源估计结果以图像的色调校正为例作一个实际应用时的简单示范：

实施例二：

利用步骤S5计算得到的各个颜色分量下的光源颜色值，分别校正原始输入图像的每个颜色分量的像素值。以步骤S3中输入的测试图像的一个像素点(0.335,0.538,0.601)为例，其校正后的结果为(0.335/0.3312,0.538/0.3365,0.601/0.3430)＝(1.0115,1.5988,1.7522)，归一化处理之后变为(0.2319，0.3665，0.4016)，然后将校正后的值乘上标准白光系数得到(0.1339，0.2116，0.2319)作为最终输出的校正图像的像素值，原始输入图像的其它像素点也做类似的计算，最后得到校正后的彩色图像，如图5所示。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (6)

1.一种基于分类校正的彩色图像光源颜色估计方法，其特征在于，包括以下步骤：

S1、提取训练图像的边缘特征：将N幅已知光源的彩色图像作为原始训练集T，分别与高斯分布求导后的模板G做卷积运算，得到图像每个像素点对应的边缘值，提取边缘特征，得到N幅训练图像的边缘特征矩阵M；

S2、学习校正矩阵：通过最小二乘法，学习由步骤S1计算得到的特征矩阵M与N幅训练图像的标准光源L之间的校正矩阵C；

S3、粗略的光源估计：采用步骤S1中的方法提取测试图像的边缘特征，与步骤S2学习得到的校正矩阵C相乘，得到粗略的光源估计结果L1；

S4、寻找与测试图像相对应的训练图像：对测试图像与原始训练集T分别去除光源，再采用S1中的方法分别提取边缘特征，形成特征空间；在特征空间中找出与测试图像特征相近的K幅训练图像，将其作为新的训练集TN；

S5、精准的光源估计：重复步骤S1-S4，每次将步骤S1中的训练集T替换为步骤S4中得到的新的训练集TN，训练图像数也相应的由N变为K，直到步骤S4中得到的TN与上一次操作中步骤S4得到的TN相同为止，把最后一次操作中步骤S3得到的光源估计结果L1作为最终光源估计结果。

2.根据权利要求1所述的基于分类校正的彩色图像光源颜色估计方法，其特征在于，所述步骤S1中高斯分布求导后的模板G为高斯梯度算子。

3.根据权利要求1所述的基于分类校正的彩色图像光源颜色估计方法，其特征在于，所述步骤S1中提取边缘特征的计算公式为：

$M_{xyz}={\left(\frac{{\mathrm{\Σ}}_{i=1}^{N_1}{R}_i^x{G}_i^y{B}_i^z}{N_1}\right)}^{1/(x+y+z)}---\left(1\right)$

式中R_i、G_i、B_i分别表示每个像素点在R、G、B三个通道的边缘值，N₁表示图像中像素点的个数，M_xyz为不同x,y,z下对应的边缘特征的值，x,y,z是满足x≥0,y≥0,z≥0且x+y+z＝3的所有组合。

4.根据权利要求1所述的基于分类校正的彩色图像光源颜色估计方法，其特征在于，所述步骤S4中K的取值范围为

5.根据权利要求1所述的基于分类校正的彩色图像光源颜色估计方法，其特征在于，所述步骤S4具体包括以下分步骤：

S41、对原始N幅训练图像去除标准光源L，并采用步骤S1中的方法提取边缘特征；

S42、对测试图像去除步骤S3中粗略估计的光源L1，并采用步骤S1中的方法提取边缘特征，与步骤S41中N幅训练图像提取的边缘特征共同形成特征空间；

S43、在特征空间中找出与测试图像特征距离最相近的K幅图像，作为测试图像的新训练图像集合TN。

6.根据权利要求5所述的基于分类校正的彩色图像光源颜色估计方法，其特征在于，所述步骤S43中的特征距离为欧式距离。