CN106296658A - 一种基于相机响应函数的场景光源估计准确性提升方法 - Google Patents

Abstract

本发明公开了一种基于相机响应函数的场景光源估计准确性提升方法，首先计算训练图像到测试图像之间的相机转换矩阵，然后利用此矩阵将训练图像及其真实光源转换为测试图像相机下对应的图像与真实光源，接着提取转换后图像的特征，学习特征与其真实光源之间的回归矩阵，最后利用此回归矩阵来完成测试图像的光源估计，从而实现了不同图像库之间的光源估计。本发明没有任何参数，相机间的转换矩阵以及训练图像特征与光源间的回归矩阵均只需计算一次便可以确定下来，可直接用于估计由不同训练图像所使用的相机拍摄得到的图像的光源，可以有效地提升不同相机间光源估计的准确性。

Description

一种基于相机响应函数的场景光源估计准确性提升方法

技术领域

本发明属于计算机视觉和图像处理技术领域，具体涉及一种基于相机响应函数的场景光源估计准确性提升方法的设计。

背景技术

颜色恒常性是指当照射物体表面的光源颜色发生变化时，人们对该物体表面颜色的知觉仍然保持不变的知觉特性，计算性颜色恒常是指通过一些算法赋予成像设备(如数码照相机)这一能力。颜色恒常计算方法主要有基于学习的算法和静态的方法，静态的方法由于估计误差较大，精度上难以满足工程需要；基于学习的算法通过学习复杂的图像特征，可以得到较为准确的光源估计。目前基于学习的算法还无法应用推广，除了计算量比较大之外，还有一个重要的原因是，不同相机拥有不同的颜色敏感性相机响应函数，这会造成在一个相机拍摄的图像集上学习的算法参数，无法有效用于其它相机拍摄的图像上的场景光源估计，即相机间的交叉光源估计性能比较差。

计算性颜色恒常领域的研究人员早已致力于研究相机响应函数对于颜色适应的影响，比较典型的有Finlayson G D等于1994年提出的方法，参考文献：Finlayson G D,Drew M S,Funt B V.Spectral sharpening:sensor transformations for improvedcolor constancy.[J].Journal of the Optical Society of America A,1994,11(5):1553-63。该方法通过简化光源变换特征从而提升颜色恒常算法的性能，可以明显提升基于学习的方法对同一相机拍摄的图像的估计光源的准确性，然而仍然无法提升不同相机间的场景光源估计准确性。目前，还没有一个基于学习的颜色恒常算法可以有效解决这个问题。

发明内容

本发明的目的是为了解决现有技术中基于学习的方法无法有效提升不同相机间光源估计准确性的问题，提出了一种基于相机响应函数的场景光源估计准确性提升方法。

本发明的技术方案为：一种基于相机响应函数的场景光源估计准确性提升方法，包括以下步骤：

S1、计算相机转换矩阵：通过最小二乘法，计算训练图像使用的相机颜色敏感性响应函数到测试图像使用的相机颜色敏感性响应函数对同一给定表面反射率的响应值之间的转换矩阵，得到相机转换矩阵；

S2、转换训练图像组：将一组已知真实光源的训练图像及其真实光源利用步骤S1计算得到的相机转换矩阵转换为测试图像相机下对应的图像与真实光源；

S3、计算测试图像回归矩阵：利用静态光源估计方法估计步骤S2中转换后的图像的光源，将每一幅图像对应的所有估计结果及交叉项作为其图像的特征，得到相应的特征矩阵；通过回归的方法，计算得到测试图像的特征与光源间的回归矩阵；

S4、估计测试图像光源：对测试图像提取与步骤S3中相同的图像特征，与步骤S3得到的回归矩阵相乘，得到测试图像的估计光源。

进一步地，步骤S2具体为：

将训练图像中的每一个像素点的值均与步骤S1计算得到的相机转换矩阵相乘，得到的值即为转换后图像对应位置的像素值；再将训练图像的真实光源与步骤S1计算得到的相机转换矩阵相乘，得到的值即为转换后图像的真实光源。

进一步地，步骤S3中的静态光源估计方法为grey world与grey edge方法，具体过程如下：需要计算的特征分别为图像R、G、B三个通道的均值以及三个通道边缘的均值，引入交叉项，最终得到的特征为R、G、B三个通道的均值，R、G、B三个通道边缘的均值，R通道与G通道相乘之后的均值开根号，R通道与B通道相乘之后的均值开根号，以及G通道与B相乘之后的均值开根号，共9个特征。

进一步地，步骤S3中的回归的方法为非线性神经网络、支持向量机或最小二乘法。

本发明的有益效果是：本发明首先计算训练图像到测试图像之间的相机转换矩阵，然后利用此矩阵将训练图像及其真实光源转换为测试图像相机下对应的图像与真实光源，接着提取转换后图像的特征，学习特征与其真实光源之间的回归矩阵，最后利用此回归矩阵来完成测试图像的光源估计，从而实现了不同图像库之间的光源估计。本发明没有任何参数，相机间的转换矩阵以及训练图像特征与光源间的回归矩阵均只需计算一次便可以确定下来，可直接用于估计由不同训练图像所使用的相机拍摄得到的图像的光源，可以有效地提升不同相机间光源估计的准确性。

附图说明

图1为本发明提供的一种基于相机响应函数的场景光源估计准确性提升方法流程图。

图2为本发明实施例一的SONY DXC 930相机响应函数曲线图。

图3为本发明实施例一的CANON 5D相机响应函数曲线图。

图4为本发明实施例二的原始待校正图像。

图5为本发明实施例二的利用光源颜色值进行校正后的图像。

具体实施方式

下面结合附图对本发明的实施例作进一步的说明。

不同相机具有不同的颜色敏感性响应函数，这种不同可以通过学习一个相机转换矩阵去除，基于此本发明提供了一种基于相机响应函数的场景光源估计准确性提升方法，如图1所示，包括以下步骤：

S1、计算相机转换矩阵：通过最小二乘法，计算训练图像使用的相机颜色敏感性响应函数到测试图像使用的相机颜色敏感性响应函数对同一给定表面反射率的响应值之间的转换矩阵，得到相机转换矩阵。

S2、转换训练图像组：将一组已知真实光源的训练图像及其真实光源利用步骤S1计算得到的相机转换矩阵转换为测试图像相机下对应的图像与真实光源。

将训练图像中的每一个像素点的值均与步骤S1计算得到的相机转换矩阵相乘，得到的值即为转换后图像对应位置的像素值；再将训练图像的真实光源与步骤S1计算得到的相机转换矩阵相乘，得到的值即为转换后图像的真实光源。

S3、计算测试图像回归矩阵：利用静态光源估计方法估计步骤S2中转换后的图像的光源，将每一幅图像对应的所有估计结果及交叉项作为其图像的特征，得到相应的特征矩阵；通过回归的方法，计算得到测试图像的特征与光源间的回归矩阵。

本发明实施例中，静态光源估计方法采用grey world与grey edge方法，具体过程如下：需要计算的特征分别为图像R、G、B三个通道的均值以及三个通道边缘的均值，引入交叉项，最终得到的特征为R、G、B三个通道的均值，R、G、B三个通道边缘的均值，R通道与G通道相乘之后的均值开根号，R通道与B通道相乘之后的均值开根号，以及G通道与B相乘之后的均值开根号，共9个特征。

S4、估计测试图像光源：对测试图像提取与步骤S3中相同的图像特征，与步骤S3得到的回归矩阵相乘，得到测试图像的估计光源。

经过步骤S4之后计算得到的图像的场景光源颜色估计值可以直接用于后续的计算机视觉应用，比如用输入的原彩色图像的每个颜色分量除以上述步骤S4计算出来的光源颜色值，以达到去除彩色图像中光源颜色的目的。此外图像的色调校正，白平衡处理也需要用到步骤S4估计的场景光源颜色。

下面以一个具体实施例对本发明提供的一种基于相机响应函数的场景光源估计准确性提升方法作进一步说明：

实施例一：

从目前国际公认的用于估计场景光源颜色的图像库网站上下载人工合成的表面S，并下载该图像库由SONY DXC 930相机拍摄的321幅色偏图像T及其真实光源L作为训练集。同时下载另一个图像库一幅由CANON 5D相机拍摄的图像IMG_0332.png作为测试图像，图像大小为1460*2193。训练集图像与测试图像都没有经过任何相机本身的预处理(如白平衡，gamma值校正)。则本发明的详细步骤如下：

S1、计算相机转换矩阵：通过最小二乘法，计算训练图像使用的相机(SONY DXC930)颜色敏感性响应函数到测试图像使用的相机(CANON 5D)颜色敏感性响应函数对同一给定表面反射率的响应值之间的转换矩阵，得到相机转换矩阵。

具体计算SONY DXC 930到CANON 5D的相机转换矩阵过程如下：

首先根据公式(1)计算SONY DXC 930相机对一给定表面反射率S的响应值R1：

R1＝CSS1×S (1)

式中CSS1表示SONY DXC 930的相机颜色敏感性响应函数，其函数曲线如图2所示。

然后根据公式(2)计算CANON 5D相机对一给定表面反射率S的响应值R2：

R2＝CSS2×S (2)

式中CSS2表示CANON 5D的相机颜色敏感性响应函数，其函数曲线如图3所示。

最后由公式(3)，并结合最小二乘法，计算得到SONY DXC 930到CANON 5D的相机转换矩阵C。

R2＝R1×C (3)

最终计算结果为：

$C=\left[\begin{array}{ccc}3.7087& 0.5401& -0.3009\\ -0.0050& 1.5903& 0.7228\\ 0.0104& 0.0171& 0.5392\end{array}\right]$

S2、转换训练图像组：将一组已知真实光源的训练图像(321幅色偏图像T)及其真实光源L利用步骤S1计算得到的相机转换矩阵C转换为测试图像相机下对应的图像TC与真实光源LC。

具体计算训练集图像转换为测试图像相机下对应的图像的过程如下：

将训练集图像的每一个像素点均与步骤S1计算得到的图像转换矩阵C相乘，以训练集中一幅图像apples2_syl-cwf.GIF的一个像素点(0.296，0.326，0.0948)为例，转换后变为：

$\left[\begin{array}{ccc}0.296& 0.326& 0.0948\end{array}\right]*\left[\begin{array}{ccc}3.7087& 0.5401& -0.3009\\ -0.0050& 1.5903& 0.7228\\ 0.0104& 0.0171& 0.5392\end{array}\right]=\left[\begin{array}{ccc}1.2453& 0.5855& 0.0598\end{array}\right]$

得到的值(1.2453，0.5855，0.0598)即为转换后图像对应位置的像素值。

上述过程主要以图像的单个像素点为例子来阐述，实际计算时是在整幅图像的所有像素点上进行的。

具体计算训练集图像真实光源L到测试图像相机下对应的真实光源的过程如下：

将训练集图像的真实光源与步骤S1计算得到的图像转换矩阵C相乘，以上述训练集中图像apples2_syl-cwf.GIF的真实光源(0.4557，0.4604，0.7618)为例，转换后变为：

$\left[\begin{array}{ccc}0.4557& 0.4604& 0.7618\end{array}\right]*\left[\begin{array}{ccc}3.7087& 0.5401& -0.3009\\ -0.0050& 1.5903& 0.7228\\ 0.0104& 0.0171& 0.5392\end{array}\right]=\left[\begin{array}{ccc}1.7095& 1.2806& 0.4234\end{array}\right]$

得到的值(1.7095，1.2806，0.4234)即为转换后图像对应的真实光源。

S3、计算测试图像回归矩阵：利用静态光源估计方法估计步骤S2中转换后的图像的光源，将每一幅图像对应的所有估计结果及交叉项作为其图像的特征，得到相应的特征矩阵；通过回归的方法，计算得到测试图像的特征与光源间的回归矩阵。

其中静态光源估计方法包括grey world、grey edge、white patch等多种经典的静态估计光源的方法。

本发明实施例中，采用grey world、grey edge两种静态方法估计光源，以上述训练集中图像apples2_syl-cwf.GIF为例，使用grey world估计光源方法，计算得到R、G、B三个通道的均值分别为(0.1600，0.7254，0.1146)，利用grey edge估计光源方法，计算得到R、G、B三个通道边缘的均值分别为(0.1572，0.7295，0.1133)。引入交叉项后，图像apples2_syl-cwf.GIF的特征矩阵为f为：

f＝[0.1600 0.7254 0.1146 0.1572 0.7295 0.1133 0.3407 0.1354 0.2883]

该步骤中回归的方法可以为非线性神经网络、支持向量机、最小二乘法等线性与非线性的回归方法。本发明实施例中采用最小二乘法作为回归方法，具体计算过程为：

由公式(4)并结合最小二乘法，计算得到测试图像对应的回归矩阵R：

L＝F×R (4)

式中F表示由所有训练集图像的特征矩阵f共同组成的矩阵。最终计算结果为：

$R=\left[\begin{array}{ccc}-12.9915& -7.6758& -2.6435\\ 4.4385& -1.1675& -1.7950\\ 19.8971& 12.8949& 6.6503\\ 3.1322& -0.4298& -1.0170\\ 5.8480& 2.7373& -0.0522\\ 2.3639& 1.7440& 3.2810\\ 25.5584& 21.1764& 10.6852\\ -3.6503& -5.0820& -4.0196\\ -40.6794& -20.4598& -7.3044\end{array}\right]$

S4、估计测试图像光源：对测试图像IMG_0332.png提取与步骤S3中相同的图像特征，得到特征矩阵为：

[0.2583 0.4140 0.3277 0.2464 0.4571 0.2965 0.3270 0.2909 0.3684]

与步骤S3得到的回归矩阵R相乘，得到测试图像的估计光源：

[0.2583 0.4140 0.3277 0.2464 0.4571 0.2965 0.3270 0.2909 0.3684]

$*\left[\begin{array}{ccc}-12.9915& -7.6758& -2.6435\\ 4.4385& -1.1675& -1.7950\\ 19.8971& 12.8949& 6.6503\\ 3.1322& -0.4298& -1.0170\\ 5.8480& 2.7373& -0.0522\\ 2.3639& 1.7440& 3.2810\\ 25.5584& 21.1764& 10.6852\\ -3.6503& -5.0820& -4.0196\\ -40.6794& -20.4598& -7.3044\end{array}\right]=\left[\begin{array}{ccc}1.4601& 1.3322& 1.0858\end{array}\right]$

(1.4601，1.3322，1.0858)归一化之后变为(0.3765，0.3435，0.2800)，(0.3765，0.3435，0.2800)即为最终估计的测试图像的光源颜色。

下面以一个具体实施例对本发明最终估计的测试图像的光源颜色以图像的色调校正为例作一个实际应用时的简单示范：

实施例二：

利用步骤S4计算得到的各个颜色分量下的光源颜色值，分别校正原始输入图像的每个颜色分量的像素值。以步骤S4中输入的测试图像的一个像素值(0.459，0.545，0.472)为例，校正后的结果为(0.459/0.3765，0.545/0.3435，0.472/0.2800)＝(1.2191，1.5866，1.6857)，然后将校正后的值乘上标准白光系数得到(0.7038，0.9160，0.9732)作为最终输出的校正图像的像素值，原始输入图像的其它像素值也做类似的计算，最后得到校正后的彩色图像。

如图4所示为原始的待校正图像，对其利用步骤S4计算得到的光源颜色值进行色调校正后的图像如图5所示。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (4)

1.一种基于相机响应函数的场景光源估计准确性提升方法，其特征在于，包括以下步骤：

S1、计算相机转换矩阵：通过最小二乘法，计算训练图像使用的相机颜色敏感性响应函数到测试图像使用的相机颜色敏感性响应函数对同一给定表面反射率的响应值之间的转换矩阵，得到相机转换矩阵；

S2、转换训练图像组：将一组已知真实光源的训练图像及其真实光源利用步骤S1计算得到的相机转换矩阵转换为测试图像相机下对应的图像与真实光源；

S3、计算测试图像回归矩阵：利用静态光源估计方法估计步骤S2中转换后的图像的光源，将每一幅图像对应的所有估计结果及交叉项作为其图像的特征，得到相应的特征矩阵；通过回归的方法，计算得到测试图像的特征与光源间的回归矩阵；

S4、估计测试图像光源：对测试图像提取与步骤S3中相同的图像特征，与步骤S3得到的回归矩阵相乘，得到测试图像的估计光源。

2.根据权利要求1所述的基于相机响应函数的场景光源估计准确性提升方法，其特征在于，所述步骤S2具体为：

将训练图像中的每一个像素点的值均与步骤S1计算得到的相机转换矩阵相乘，得到的值即为转换后图像对应位置的像素值；再将训练图像的真实光源与步骤S1计算得到的相机转换矩阵相乘，得到的值即为转换后图像的真实光源。

3.根据权利要求1所述的基于相机响应函数的场景光源估计准确性提升方法，其特征在于，所述步骤S3中的静态光源估计方法为grey world与grey edge方法，具体过程如下：需要计算的特征分别为图像R、G、B三个通道的均值以及三个通道边缘的均值，引入交叉项，最终得到的特征为R、G、B三个通道的均值，R、G、B三个通道边缘的均值，R通道与G通道相乘之后的均值开根号，R通道与B通道相乘之后的均值开根号，以及G通道与B相乘之后的均值开根号，共9个特征。

4.根据权利要求1所述的基于相机响应函数的场景光源估计准确性提升方法，其特征在于，所述步骤S3中的回归的方法为非线性神经网络、支持向量机或最小二乘法。