CN106204500A - 一种实现不同相机拍摄同一场景图像颜色保持不变的方法 - Google Patents

Abstract

本发明公开了一种实现不同相机拍摄同一场景图像颜色保持不变的方法，首先提取不同相机拍摄到的图像特征，然后将一组已知光源颜色的图像及其真实光源转换为不同相机下对应的图像与真实光源，在转换后的图像上学习得到不同相机拍摄的图像特征与真实光源之间的回归矩阵，从而估计不同相机拍摄到的图像的光源颜色，进而去除不同相机拍摄到的图像的色偏；最后利用相机转换矩阵，将每个相机去除色偏之后的图像统一为同一种相机下拍摄得到的图像，达到实现不同相机拍摄同一场景的图像颜色保持不变的目的。

Description

一种实现不同相机拍摄同一场景图像颜色保持不变的方法

技术领域

本发明属于计算机视觉和图像处理技术领域，具体涉及一种实现不同相机拍摄同一场景图像颜色保持不变的方法的设计。

背景技术

不同相机拍摄同一场景时得到的图像颜色往往差异很大，即使是同一品牌的相机有时也会出现这一情况，比如CANON 1D相机与CANON 5D相机拍摄的同一场景的图像就有很明显的差异。产生这一现象的原因，首先是由于不同相机具有不同的颜色敏感性响应函数，导致拍摄到的原始图像颜色就有所不同。其次，不同的相机内部会对拍摄到的图片进行不同的处理，比如白平衡、边缘增强、去噪、压缩等等，其中不同程度的白平衡又会进一步影响图像颜色，使得不同相机最终的拍摄的同一幅图像颜色出现差异。

对于实际应用如电视直播、3D相机的颜色匹配等场合，需要不同相机拍摄出的同一幅图像颜色没有差异。如何实现不同相机拍摄同一场景的图像颜色保持不变就显得尤为重要。比较经典的方法有Javier Vazquez-Corral等2014年提出的方法，参考文献：J.Vazquez-Corral and M.Bertalmío，“Color stabilization along time and acrossshots of the same scene，for one or several cameras of unknown specifications”IEEE Trans.Image Process，vol.23，pp.4564–4575，Oct.2014。该方法通过不同相机拍摄的同一场景的图像的差异来学习校正矩阵，进而完成对图片颜色的校正。该方法的主要缺点在于需要复杂的学习过程，对每种相机都需要大量相同场景raw与jpg格式的图片进行训练，计算复杂，灵活性差。同时该方法也无法校正图像中由于光源不同导致的色偏问题。

发明内容

本发明的目的是为了解决现有技术中不同相机拍摄到的同一场景图像在不同光源下颜色不同的问题，提出了一种实现不同相机拍摄同一场景图像颜色保持不变的方法。

本发明的技术方案为：一种实现不同相机拍摄同一场景图像颜色保持不变的方法，包括以下步骤：

S1、提取不同相机拍摄到的图像特征：利用静态光源估计方法估计不同相机拍摄到的同一幅图像的光源，将每一幅图像对应的所有估计结果及交叉项作为图像特征；

S2、学习不同相机的特征与光源的回归矩阵：将一组已知真实光源的训练图像及其真实光源利用相机转换矩阵转换为步骤S1中不同相机下对应的图像与真实光源，在转换后的图像上分别提取与步骤S1相同的特征，得到相应的特征矩阵；通过回归的方法，计算得到不同相机对应的特征与光源间的回归矩阵；

S3、校正不同相机拍摄的图像的色偏：对于每一个相机，将步骤S1中提取到的特征与步骤S2得到的回归矩阵相乘，得到该相机拍摄的图像的最终估计光源；利用图像每个颜色分量与光源相除的方式，去除每一个相机拍摄到的图像的色偏；

S4、校正相机颜色敏感性响应函数的影响：利用相机转换矩阵，将步骤S3得到的每个相机无色偏图像统一为同一个相机下拍摄得到的无色偏图像。

进一步地，步骤S1中的静态光源估计方法为Grey-World与Grey-Edge方法，具体过程如下：需要计算的特征分别为图像R、G、B三个通道的均值及三个通道边缘的均值，引入交叉项，最终的特征为R、G、B三个通道的均值，R、G、B三个通道边缘的均值，R通道与G通道相乘之后的均值开根号，R通道与B通道相乘之后的均值开根号，以及G通道与B相乘之后的均值开根号，共9个特征。

进一步地，步骤S2中的回归的方法为非线性神经网络、支持向量机或最小二乘法。

进一步地，步骤S2与步骤S4中的相机转换矩阵通过最小二乘法，计算不同相机的响应函数对同一给定表面反射率的响应值之间的转换矩阵得到。

本发明的有益效果是：本发明首先提取不同相机拍摄到的图像的特征，然后将一组已知光源颜色的图像及其真实光源转换为不同相机下对应的图像与真实光源，在转换后的图像上学习得到不同相机拍摄的图像特征与真实光源之间的回归矩阵，从而估计不同相机拍摄到的图像的光源颜色，进而去除不同相机拍摄到的图像的色偏；最后利用相机转换矩阵，将每个相机去除色偏之后的图像统一为同一种相机下拍摄得到的图像，达到实现不同相机拍摄同一场景的图像颜色保持不变的目的。本发明没有任何参数，相机之间的转换矩阵以及每一种相机拍摄到的图像特征与真实光源之间的回归矩阵均只需计算一次便可以确定下来，可直接内置于相机内部用于稳定不同相机拍摄到的同一幅图像的颜色。

附图说明

图1为本发明提供的一种实现不同相机拍摄同一场景图像颜色保持不变的方法流程图。

图2为本发明实施例的pic1示意图。

图3为本发明实施例的pic2示意图。

图4为本发明实施例的SONY DXC 930相机响应函数曲线图。

图5为本发明实施例的NIKON D70相机响应函数曲线图。

图6为本发明实施例的pic3示意图。

图7为本发明实施例的pic4示意图。

图8为本发明实施例的pic5示意图。

具体实施方式

下面结合附图对本发明的实施例作进一步的说明。

不同相机具有不同的颜色敏感性响应函数，这种不同可以通过学习一个相机转换矩阵去除，基于此本发明提供了一种实现不同相机拍摄同一场景图像颜色保持不变的方法，如图1所示，包括以下步骤：

S1、提取不同相机拍摄到的图像特征：利用静态光源估计方法估计不同相机拍摄到的同一幅图像的光源，将每一幅图像对应的所有估计结果及交叉项作为图像特征。

本发明实施例中，静态光源估计方法采用Grey-World与Grey-Edge方法，具体过程如下：需要计算的特征分别为图像R、G、B三个通道的均值及三个通道边缘的均值，引入交叉项，最终的特征为R、G、B三个通道的均值，R、G、B三个通道边缘的均值，R通道与G通道相乘之后的均值开根号，R通道与B通道相乘之后的均值开根号，以及G通道与B相乘之后的均值开根号，共9个特征。

S2、学习不同相机的特征与光源的回归矩阵：将一组已知真实光源的训练图像及其真实光源利用相机转换矩阵转换为步骤S1中不同相机下对应的图像与真实光源，在转换后的图像上分别提取与步骤S1相同的特征，得到相应的特征矩阵；通过回归的方法，计算得到不同相机对应的特征与光源间的回归矩阵。

该步骤中回归的方法可以采用非线性神经网络、支持向量机、最小二乘法等线性与非线性的回归方法。

S3、校正不同相机拍摄的图像的色偏：对于每一个相机，将步骤S1中提取到的特征与步骤S2得到的回归矩阵相乘，得到该相机拍摄的图像的最终估计光源；利用图像每个颜色分量与光源相除的方式，去除每一个相机拍摄到的图像的色偏；

S4、校正相机颜色敏感性响应函数的影响：利用相机转换矩阵，将步骤S3得到的每个相机无色偏图像统一为同一个相机下拍摄得到的无色偏图像。

步骤S2与步骤S4中的相机转换矩阵通过最小二乘法，计算不同相机的响应函数对同一给定表面反射率的响应值之间的转换矩阵得到。

下面以一个具体实施例对本发明提供的一种实现不同相机拍摄同一场景图像颜色保持不变的方法作进一步说明：

从目前国际公认的用于估计场景光源颜色的图像库网站上下载人工合成的表面反射率S，并下载该图像库由SONY DXC 930相机拍摄的321幅色偏图像T及其真实光源L作为训练集。同时从国际公认的相机响应函数网站中下载SONY DXC 930、NIKON D70与CANON5D的相机颜色敏感性响应函数数据。同时下载两幅相同场景下由NIKON D70与CANON 5D拍摄的图像，如图2、图3所示，分别命名为pic1与pic2进行测试。两幅图像都没有经过任何相机本身的预处理(如色调校正，gamma值校正)。则本发明的详细步骤如下：

S1、提取不同相机拍摄到的图像特征：利用静态光源估计方法估计不同相机(NIKON D70与CANON 5D)拍摄到的同一幅图像(pic1与pic2)的光源，将每一幅图像对应的所有估计结果及交叉项作为图像特征。

这里静态光源估计方法包括Grey-World、Grey-Edge、White-Patch等多种经典的静态光源估计方法。

本发明实施例中，采用Grey-World和Grey-Edge两种静态方法估计光源，以pic1与pic2为例，使用Grey-World估计光源方法，计算得到的三个通道的均值分别为(0.16000.72540.1146)、(0.5169 0.3170 0.1661)，使用Grey-Edge估计光源方法，计算得到三个通道边缘的均值分别为(0.1572 0.7295 0.1133)、(0.5126 0.3213 0.1661)。引入交叉项后，pic1的特征矩阵为stc1与pic2的特征矩阵为stc2分别为：

stc1＝[0.1600 0.7254 0.1146 0.1572 0.7295 0.1133 0.3407 0.13540.2883]；

stc2＝[0.5169 0.3170 0.1661 0.5126 0.3213 0.1661 0.4048 0.29300.2295]。

S2、学习不同相机的特征与光源的回归矩阵：将一组已知真实光源的训练图像(321幅色偏图像T)及其真实光源L利用相机转换矩阵(SONY DXC 930到NIKON D70与SONYDXC930到CANON 5D)转换为步骤S1中不同相机(NIKON D70与CANON 5D)下对应的图像(TN与TC)与真实光源(LN与LC)，在转换后的图像(TN与TC)上分别提取与步骤S1相同的特征，得到相应的特征矩阵(FN与FC)。通过回归的方法，计算得到不同相机对应的特征与光源间的回归矩阵C1与C2。

这里回归的方法可以采用非线性神经网络、支持向量机、最小二乘法等线性与非线性的回归方法。本发明实施例中采用最小二乘法作为回归方法，

具体计算过程为：由公式(1)(2)并结合最小二乘法，计算得到NIKON D70与CANON5D相机对应的回归矩阵C1与C2。

LN＝FN×C1 (1)

LC＝FC×C2 (2)

最终计算结果为：

$C1=\left[\begin{array}{ccc}-7.7273& -12.9248& -2.6371\\ 0.8322& -1.0904& -0.6720\\ 9.6423& 15.4744& 4.0214\\ 1.2662& -1.0953& -0.9335\\ 1.4414& 1.5467& -0.2421\\ 0.0396& 1.0078& 1.8879\\ 11.3810& 24.2602& 6.8527\\ -3.2213& -9.8194& -4.1017\\ -13.1311& -16.4158& -2.5939\end{array}\right]$

$C2=\left[\begin{array}{ccc}-12.9915& -7.6758& -2.6435\\ 4.4385& -1.1675& -1.7650\\ 19.8971& 12.8949& 6.6503\\ 3.1322& -0.4298& -1.0170\\ 5.8480& 2.7373& -0.0522\\ 2.3639& 1.7440& 3.2810\\ 25.5584& 21.1764& 10.6852\\ -3.6503& -5.0820& -4.0196\\ -40.6794& -20.4598& -7.3044\end{array}\right]$

具体计算SONY DXC 930到NIKON D70的相机转换矩阵过程如下：

首先根据公式(3)计算SONY DXC 930相机对一给定表面反射率S的响应值R1：

R1＝CSS1×S (3)

式中CSS1表示SONY DXC 930的相机颜色敏感性响应函数，其函数曲线如图4所示。

然后根据公式(4)计算NIKON D70相机对一给定表面反射率S的响应值R2：

R2＝CSS2×S (4)

式中CSS2表示NIKON D70的相机颜色敏感性响应函数，其函数曲线如图5所示。

最后由公式(5)，并结合最小二乘法，计算得到SONY DXC 930到NIKON D70的相机转换矩阵C。

R2＝R1×C (5)

最终计算结果为：

$\left[\begin{array}{ccc}1.7512& 0.5183& -0.1605\\ -0.0559& 1.9709& 0.3812\\ 0.0188& 0.0914& 0.4318\end{array}\right]$

同理可以计算得到SONY DXC 930到CANON 5D的相机转换矩阵：

$\left[\begin{array}{ccc}3.7087& 0.5401& -0.3009\\ -0.0050& 1.5903& 0.7228\\ 0.0104& 0.0171& 0.5392\end{array}\right]$

S3、校正不同相机拍摄的图像的色偏：对于每一个相机(NIKON D70与CANON 5D)，将步骤S1中提取到的特征(stc1与stc2)与步骤S2得到的回归矩阵(C1与C2)相乘，得到该相机拍摄的图像的最终估计光源L1＝stc1*C1＝(1.3831 2.1880 0.4735)与L2＝stc2*C2＝(1.8143 1.1406 0.6473)，归一化后为L1＝(0.3420 0.5410 0.1171)，L2＝(0.50370.3166 0.1797)。利用图像每个颜色分量与光源相除的方式，去除每一个相机拍摄到的图像的色偏，得到pic1与pic2的无色偏图，分别命名为pic3和pic4，如图6、图7所示。

以pic1中一个像素点(0.0331，0.1570，0.0255)为例，去除色偏后变为(0.0331/0.3420，0.1570/0.5410，0.0255/0.1171)＝(0.0968 0.2902 0.2178)，即为pic3中对应位置的像素值。

S4、校正相机颜色敏感性响应函数的影响：利用相机转换矩阵(NIKON D70到CANON5D)，将步骤S3得到的每个相机无色偏图像统一为同一个相机下拍摄得到的无色偏图像。

具体计算NIKON D70到CANON 5D的相机转换矩阵同上述步骤S2中SONY DXC 930到NIKON D70的相机转换矩阵计算方法一样。计算的结果为：

$\left[\begin{array}{ccc}2.0885& 0.0481& -0.0867\\ 0.0738& 0.8352& 0.1162\\ -0.0846& -0.1390& 1.2384\end{array}\right]$

以步骤S3得到的无色偏图像pic3与pic4为例，二者对应的相机分别为NIKON D70与CANON 5D，这里以统一为CANON 5D相机图像为例，pic3与NIKON D70到CANON 5D的相机转换矩阵相乘，将得到的图像命名为pic5，如图8所示。

以步骤S3中消除色偏后的pic3像素点(0.0968 0.2902 0.2178)为例，与NIKOND70到CANON 5D的相机转换矩阵相乘变为：

$\left[\begin{array}{ccc}0.0968& 0.2902& 0.2178\end{array}\right]*\left[\begin{array}{ccc}2.0885& 0.0481& -0.0867\\ 0.0738& 0.8352& 0.1162\\ -0.0846& -0.1390& 1.2384\end{array}\right]=\left[\begin{array}{ccc}0.2051& 0.2168& 0.2950\end{array}\right]$

则(0.2051 0.2168 0.2950)即为pic5中对应位置的像素值。

以上主要以图像的单个像素点为例子来阐述，实际计算时是在整幅图像的所有像素点上进行的。

对比图7与图8可以看出：二者的颜色与原图pic1(图2)及pic2(图3)相比，更加接近，表明由两种相机拍摄到的同一幅图像的颜色变得稳定。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (4)

1.一种实现不同相机拍摄同一场景图像颜色保持不变的方法，其特征在于，包括以下步骤：

S1、提取不同相机拍摄到的图像特征：利用静态光源估计方法估计不同相机拍摄到的同一幅图像的光源，将每一幅图像对应的所有估计结果及交叉项作为图像特征；

S2、学习不同相机的特征与光源的回归矩阵：将一组已知真实光源的训练图像及其真实光源利用相机转换矩阵转换为步骤S1中不同相机下对应的图像与真实光源，在转换后的图像上分别提取与步骤S1相同的特征，得到相应的特征矩阵；通过回归的方法，计算得到不同相机对应的特征与光源间的回归矩阵；

S3、校正不同相机拍摄的图像的色偏：对于每一个相机，将步骤S1中提取到的特征与步骤S2得到的回归矩阵相乘，得到该相机拍摄的图像的最终估计光源；利用图像每个颜色分量与光源相除的方式，去除每一个相机拍摄到的图像的色偏；

S4、校正相机颜色敏感性响应函数的影响：利用相机转换矩阵，将步骤S3得到的每个相机无色偏图像统一为同一个相机下拍摄得到的无色偏图像。

2.根据权利要求1所述的实现不同相机拍摄同一场景图像颜色保持不变的方法，其特征在于，所述步骤S1中的静态光源估计方法为Grey-World与Grey-Edge方法，具体过程如下：需要计算的特征分别为图像R、G、B三个通道的均值及三个通道边缘的均值，引入交叉项，最终的特征为R、G、B三个通道的均值，R、G、B三个通道边缘的均值，R通道与G通道相乘之后的均值开根号，R通道与B通道相乘之后的均值开根号，以及G通道与B相乘之后的均值开根号，共9个特征。

3.根据权利要求1所述的实现不同相机拍摄同一场景图像颜色保持不变的方法，其特征在于，所述步骤S2中的回归的方法为非线性神经网络、支持向量机或最小二乘法。

4.根据权利要求1所述的实现不同相机拍摄同一场景图像颜色保持不变的方法，其特征在于，所述步骤S2与步骤S4中的相机转换矩阵通过最小二乘法，计算不同相机的响应函数对同一给定表面反射率的响应值之间的转换矩阵得到。