CN107197225B - 基于色适应模型的彩色数码相机白平衡校正方法 - Google Patents

Abstract

本发明公开了一种基于色适应模型的彩色数码相机白平衡校正方法，本发明使用根号多项式回归(Root‑Polynomial Regression)方法计算颜色校正矩阵，从而将若干种常见光源(以下称为标定光源)下的设备相关响应值RGB转换至同一光源下设备无关的CIE1931三刺激值XYZ。利用预先标定的颜色校正矩阵将实际场景中未知光源(以下称为测试光源)的RGB响应值转换至XYZ颜色空间中，并使用CAT02色适应变换模型计算其在参考光源下的对应色，该对应色即为观察者对测试光源产生色适应后视觉***所感知的颜色。

Description

基于色适应模型的彩色数码相机白平衡校正方法

技术领域

本发明涉及利用色适应模型对彩色数码相机白平衡校正结果进行调节的方法，该方法能够使彩色数码相机对拍摄场景实现更符合人眼感知的色彩还原。

背景技术

同一物体在不同光源下往往具有不同的色度学参数。由于人类视觉***具有颜色恒常性，这些色度上的差异在一定程度上能够被人眼及大脑自动进行补偿，从而在不同光源下对物体“真实”的颜色进行恢复。彩色数码相机图像信号处理流程(ISP Pipeline)中的白平衡模块，通过计算实际光源色品与标准光源色品之间的差异，对非标准光源下的物体偏色现象进行校正，从而模拟了人类视觉***的颜色恒常性。

目前的彩色数码相机对光源色品的获取主要来源于两种方式：1)在相机的存储空间中预先设定好若干种类型的光源模式，在实际拍摄时由用户指定场景所属的光源类型。这类光源色品获取方式称为“手动白平衡模式”；2)对拍摄到的图像进行分析，通过某些光源估计算法或借助外置传感器对光源的颜色进行预测。这类光源色品获取方式称为“自动白平衡模式”。无论工作在何种模式下，白平衡校正模块通常都是利用两个或三个增益系数对偏色图像的红(Red)、蓝(Blue)或红、绿(Green)、蓝通道进行线性调节，使得场景中假想的完善反射表面(在任意波长处的光谱反射比恒为1的完善反射表面)经白平衡校正后具有相同的(或与参考白点一致的)三通道响应值。

若对任何照明光源，尤其是某些色品较明显偏离参考白点的光源，都使用统一的参考光源作为白平衡校正目标，会对白平衡校正后的图像产生如下弊端：1)输出图像过“白”，场景中颜色的还原不符合人眼感知；2)光源对场景氛围的渲染作用完全被抑制；3)将偏色较严重的光源强行校正至参考光源，会增加图像信号处理流程中后续模块(例如镜头阴影校正、颜色校正等)的处理难度，甚至导致图像质量出现劣化。

发明内容

为了使数码相机的白平衡校正模块实现更加真实的场景颜色复现，本发明利用原始白平衡校正模块中获取的增益系数计算实际拍摄场景中光源的颜色。为表述统一起见，本发明中使用完善反射表面的物体色来表征光源色，因为完善反射表面能够无波长选择性地反射光源的全部能量。使用CIECAM02色貌模型中的CAT02色适应变换对该物体色在参考光源下的对应色进行计算，从而得到色适应后的白平衡校正增益系数以实现对图像进行更加符合人眼视觉感知的白平衡校正。

本发明使用根号多项式回归(Root-Polynomial Regression)方法计算颜色校正矩阵，从而将若干种常见光源(以下称为标定光源)下的设备相关响应值RGB转换至同一光源下设备无关的CIE1931三刺激值XYZ。利用预先标定的颜色校正矩阵将实际场景中待校正的未知光源(以下称为测试光源)的RGB响应值转换至XYZ颜色空间中，并使用CAT02色适应变换模型计算其在参考光源下的对应色，该对应色即为观察者对测试光源产生色适应后视觉***所感知的颜色。

本发明所采用的具体技术方案如下：

基于色适应模型的彩色数码相机白平衡校正方法，步骤如下：

S1：利用根号多项式回归颜色校正方法将不同标定光源下的设备相关响应值RGB转换至同一光源下设备无关的三刺激值CIE1931 XYZ；

S2：获取待校正光源下拍摄的图像的白平衡校正增益系数，计算待校正光源在平面上的坐标，在相机平面上搜索与该坐标距离最近的标定光源，调用该标定光源对应的颜色校正矩阵，将该光源的设备相关的相机响应值转换至CIE1931 XYZ空间中，将光源颜色视为物体色；

S3：使用CIECAM02色貌模型中的色适应变换CAT02计算物体色经色适应后的标准光源下的对应色：

S4：将对应色利用所述颜色校正矩阵的逆矩阵重新映射回相机RGB空间，并重新计算色适应后的白平衡校正增益系数。

基于上述技术方案，各步骤可以采用如下具体实现方式：

作为优选，所述的S1具体为：

S101：对于光谱功率分布为P(λ)的标定光源L，使用相机响应值构成模型计算标准色卡第i个色块在该光源照明下的相机RGB值r_i、g_i和b_i：

式中ρ_i(λ)表示第i个色块的光谱反射比，S^k(λ)表示相机第k个通道的光谱灵敏度函数，k＝R、G、B，Ω′为相机光谱响应的波长范围；对于有N个色块的标准色卡，计算得到一个N×3的相机响应值矩阵C(L)，其中每一行对应一个色块的相机RGB值；

S102：计算该标定光源下完善反射表面的相机RGB值r^ill、g^ill和b^ill：

并记录其在平面上的坐标

S103：对于光谱功率分布为P(λ)的标定光源，使用CIE1931 2°标准观察者色匹配函数计算标准色卡第i个色块在该光源照明下的CIE1931 XYZ三刺激值：

式中Ω为可见光的波长范围；对于有N个色块的标准色卡，计算得到一个N×3的三刺激值矩阵T(L)，其中每一行对应一个色块的XYZ三刺激值；

S104：将相机响应值矩阵C(L)的维度由N×3扩展为N×q，q>3，其中第4～q列对应各个色块响应值的根号多项式；

S105：利用最小二乘法或其它以色差作为目标函数的校正矩阵优化方法，计算C′(L)转换至T(L)的6×3颜色校正矩阵M′(L)：

以C′(L)·M′(L)与T(L)之间的均方根误差作为优化目标时，采用伪逆法对M′(L)进行计算：

M′(L)＝[C′^T(L)C′(L)]^-1C′^T(L)·T(L),

以C′(L)·M′(L)与T(L)之间的色差作为优化目标时，利用非线性优化方法对M′(L)进行计算：

M′(L)＝arg min △E(C′(L)·M′(L),T(L)),

式中△E(A,B)为用于计算A和B之间的色差的函数；

S106：利用S105中的方法计算各个标定光源下的3×3颜色校正矩阵M(L)；S107：对于所有标定光源，采用S101～S106的方法计算得到各自的颜色校正矩阵M′(L)与M(L)，并存储于相机内置存储器中。

作为优选，所述的S2具体为：

S201：手动设置或利用已有的自动白平衡算法获取待校正光源下拍摄的图像的白平衡校正增益系数

S202：计算待校正光源在相机raw域上的RGB值：

在相机平面上搜索与距离最近的标定光源L，并从相机内置存储器中调用其对应的颜色校正矩阵M′(L)；

S203：利用颜色校正矩阵M′(L)将该场景光源下的完善反射表面的相机响应值转换至CIE1931 XYZ空间中：

式中X^ill,Y^ill,Z^ill分别为XYZ空间中的三刺激值。

作为优选，所述的S3具体为：

使用CIECAM02色貌模型中的色适应变换CAT02计算物体色[X^ill,Y^ill,Z^ill]经色适应后的标准光源下的对应色：

式中色适应变换模型f_CAT02的四个输入依次是待计算的物体色三刺激值、待适应的光源三刺激值、参考光源三刺激值以及环境亮度因子L_A。

进一步的，所述的环境亮度因子使用两个sigmoid函数进行计算：

式中，光源色品距离d通过计算实际光源与参考光源色品在CIELUV均匀颜色空间中的欧式距离获得，a₁、b₁、K₁、a₂、b₂、K₂作为调整sigmoid函数形状的待定参数。

作为优选，所述的S4具体为：

对所述的标定光源L对应的3×3颜色校正矩阵M(L)求逆，并将色适应后的完善反射体三刺激值重新映射回相机RGB空间中：

由此，计算色适应后的白平衡校正增益系数

本发明通过对已标定的颜色校正矩阵求逆，可以将色适应后的CIE1931 XYZ三刺激值转换回相机RGB颜色空间中，从而确定色适应后的白平衡校正增益系数。

为了对本发明的实施过程有更直观的了解，下文特举一实施例，并配合所附图示进行详细说明。

附图说明

图1是本发明实施例中所使用的标定光源在由与作为横纵坐标构成的平面(以下称为平面)上的坐标分布。

图2是本发明中对若干标定光源的颜色校正矩阵进行标定的流程图。

图3是本发明实施例中所使用的CAT02色适应模型输入参数L_A(环境亮度因子)与d(CIELUV均匀颜色空间中的欧式距离)、E(拍摄场景照度)之间的对应关系示意图。

图4是本发明中对某一测试光源进行色适应后的白平衡校正增益系数计算的流程图。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步阐述和说明。

目前大多数彩色数码相机的白平衡校正模块将任何光源下的中性点均校正至参考光源下的驱动值，这种白平衡校正方式既不符合人眼对于真实场景中颜色的感知，也容易使得校正后的颜色出现明显的失真。本发明提出一种利用CIECAM02色貌模型中的CAT02色适应变换对数码相机白平衡校正模块原有的增益系数进行色适应调节的方法，从而使白平衡校正后的图像更加符合人眼的颜色感知。

本发明使用根号多项式回归颜色校正(Root-Polynomial Regression ColorCorrection)方法将若干种常见光源下的设备相关响应值RGB转换至同一光源下设备无关的三刺激值CIE1931 XYZ。由于根号多项式回归颜色校正中使用的颜色校正矩阵取决于光源光谱功率分布函数，所以本发明需要预先对若干种典型光源进行颜色校正矩阵的标定。

图1展示了一种可行的标定光源选取方法，并绘制了39种标定光源在相机平面上的坐标分布。

图2为本发明中对若干标定光源的颜色校正矩阵进行标定的流程图。其中，标定光源的数量及种类可以灵活选择，在某些对存储开销限制较大的应用场景中，也可仅选取D65光源作为唯一的标定光源对颜色校正矩阵进行计算。

1.本发明的标定过程包含以下步骤：

为将相机响应值RGB转换至设备无关的三刺激值XYZ，本发明采用根号多项式回归颜色校正方法。

对于光谱功率分布为P(λ)的标定光源L，使用相机响应值构成模型计算标准色卡第i个色块在该光源照明下的相机RGB值：

式中ρ_i(λ)表示第i个色块的光谱反射比，S^k(λ)表示相机第k个通道的光谱灵敏度函数(k＝R、G、B)，可从相机出厂时的标称数据中获得或利用相关的光谱灵敏度估计算法计算获得，Ω′为相机光谱响应的波长范围。对于有N个色块的标准色卡，可以计算得到一个N×3的相机响应值矩阵C(L)，其中每一行对应一个色块的相机RGB值。

同时，计算该标定光源下完善反射表面的相机RGB值：

并记录其在平面上的坐标

对于光谱功率分布为P(λ)的标定光源，使用CIE1931 2°标准观察者色匹配函数计算标准色卡第i个色块在该光源照明下的CIE1931 XYZ三刺激值：

式中Ω为可见光的波长范围。对于有N个色块的标准色卡，可以计算得到一个N×3的三刺激值矩阵T(L)，其中每一行对应一个色块的XYZ三刺激值。

将相机响应值矩阵C(L)的维度由N×3扩展为N×q(q>3)，其中第4～q列对应了各个色块响应值的根号多项式。以二次根号多项式为例，此时有q＝6，扩展后的相机响应值矩阵C′(L)的第i行为

利用最小二乘法或其它以色差作为目标函数的校正矩阵优化方法，计算C′(L)转换至T(L)的6×3颜色校正矩阵M′(L)：

以C′(L)·M′(L)与T(L)之间的均方根误差作为优化目标时，可采用伪逆法对M′(L)进行计算：

M′(L)＝[C′^T(L)C′(L)]^-1C′^T(L)·T(L).

以C′(L)·M′(L)与T(L)之间的色差作为优化目标时，可利用高斯-牛顿法等非线性优化方法对M′(L)进行计算：

M′(L)＝arg min △E(C′(L)·M′(L),T(L)).

式中△E(A,B)为用于计算A和B之间的色差的函数；

同时，利用类似的方法，计算各个标定光源下的3×3颜色校正矩阵M(L)。M(L)与M′(L)的差别在于，M′(L)适用于根号多项式展开后的响应值矩阵C′(L)，而M(L)适用于原始的响应值矩阵C(L)。

对于所有标定光源，采用如上方法计算得到各自的颜色校正矩阵M′(L)与M(L)，并存储于相机内置存储器中。

2.本发明对任一未知光源下拍摄的图像进行基于色适应模型的白平衡校正的过程如下：

手动设置或利用已有的自动白平衡算法获取该图像的白平衡校正增益系数

计算该场景中光源在相机raw域上的RGB值：

在相机平面上搜索与距离最近的标定光源L，并从相机内置存储器中调用其对应的颜色校正矩阵M′(L)。

利用颜色校正矩阵M′(L)将该场景光源下的完善反射表面的相机响应值转换至CIE1931 XYZ空间中：

使用CIECAM02色貌模型中的色适应变换CAT02计算物体色[X^ill,Y^ill,Z^ill]经色适应后的标准光源下的对应色：

式中，色适应变换模型f_CAT02的四个输入依次是待计算的物体色三刺激值、待适应的光源三刺激值、参考光源三刺激值以及L_A环境亮度因子。由于本发明需要计算测试光源经色适应后的感知颜色，其等价于计算测试光源下完善反射表面的对应色，故该模型的前两个输入均为测试光源的CIE1931 XYZ三刺激值。本实施例中选择CIE D65照明体作为标准照明体，故

环境亮度因子L_A可综合考虑实际光源与参考光源的色品距离d以及场景照度E这两个因素。本发明中使用两个sigmoid函数对L_A进行计算：

式中，光源色品距离d可通过计算实际光源与参考光源色品在CIELUV均匀颜色空间中的欧式距离获得，a₁、b₁、K₁、a₂、b₂、K₂作为调整sigmoid函数形状的待定参数，可根据实际需求进行标定。一种可行的环境亮度因子与d、E之间的对应关系如图3所示。

最后，对该测试光源对应的3×3颜色校正矩阵M(L)求逆，并将色适应后的完善反射体三刺激值重新映射回相机RGB空间中：

由此，计算色适应后的白平衡校正增益系数：

利用该增益系数对即可实现对图像进行更加符合人眼视觉感知的白平衡校正。

对某一测试光源进行色适应后的白平衡校正增益系数计算的流程图如图4所示。

以上所述的实施例只是本发明的一种较佳的方案，然其并非用以限制本发明。有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型。因此凡采取等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (5)

1.一种基于色适应模型的彩色数码相机白平衡校正方法，其特征在于，步骤如下：

S1：利用根号多项式回归颜色校正方法将不同标定光源下的设备相关响应值RGB转换至同一光源下设备无关的三刺激值CIE1931 XYZ；

所述的S1具体为：

S101：对于光谱功率分布为P(λ)的标定光源L，使用相机响应值构成模型计算标准色卡第i个色块在该光源照明下的相机RGB值r_i、g_i和b_i：

式中ρ_i(λ)表示第i个色块的光谱反射比，S^k(λ)表示相机第k个通道的光谱灵敏度函数，k＝R、G、B，Ω′为相机光谱响应的波长范围；对于有N个色块的标准色卡，计算得到一个N×3的相机响应值矩阵C(L)，其中每一行对应一个色块的相机RGB值；

S102：计算该标定光源下完善反射表面的相机RGB值r^ill、g^ill和b^ill：

并记录其在平面上的坐标

S103：对于光谱功率分布为P(λ)的标定光源，使用CIE1931 2°标准观察者色匹配函数计算标准色卡第i个色块在该光源照明下的CIE1931 XYZ三刺激值：

式中Ω为可见光的波长范围；对于有N个色块的标准色卡，计算得到一个N×3的三刺激值矩阵T(L)，其中每一行对应一个色块的XYZ三刺激值；

S104：将相机响应值矩阵C(L)的维度由N×3扩展为N×q，q>3，其中第4～q列对应各个色块响应值的根号多项式；

S105：利用最小二乘法或其它以色差作为目标函数的校正矩阵优化方法，计算扩展后的相机响应值矩阵C′(L)转换至T(L)的6×3颜色校正矩阵M′(L)：

以C′(L)·M′(L)与T(L)之间的均方根误差作为优化目标时，采用伪逆法对M′(L)进行计算：

M′(L)＝[C′^T(L)C′(L)]^-1C′^T(L)·T(L),

以C′(L)·M′(L)与T(L)之间的色差作为优化目标时，利用非线性优化方法对M′(L)进行计算：

M′(L)＝argminΔE(C′(L)·M′(L),T(L)),

式中ΔE(A,B)为用于计算A和B之间的色差的函数；

S106：利用S105中的方法计算各个标定光源下的3×3颜色校正矩阵M(L)；

S107：对于所有标定光源，采用S101～S106的方法计算得到各自的颜色校正矩阵M′(L)与M(L)，并存储于相机内置存储器中；

S2：获取待校正光源下拍摄的图像的白平衡校正增益系数，计算待校正光源在平面上的坐标，在相机平面上搜索与该坐标距离最近的标定光源，调用该标定光源对应的颜色校正矩阵，将该光源的设备相关的相机响应值转换至CIE1931 XYZ空间中，将光源颜色视为物体色；

S3：使用CIECAM02色貌模型中的色适应变换CAT02计算物体色经色适应后的标准光源下的对应色：

S4：将对应色利用所述颜色校正矩阵的逆矩阵重新映射回相机RGB空间，并重新计算色适应后的白平衡校正增益系数。

2.如权利要求1所述的基于色适应模型的彩色数码相机白平衡校正方法，其特征在于，所述的S2具体为：

S201：手动设置或利用已有的自动白平衡算法获取待校正光源下拍摄的图像的白平衡校正增益系数

S202：计算待校正光源在相机raw域上的RGB值：

在相机平面上搜索与距离最近的标定光源L，并从相机内置存储器中调用其对应的颜色校正矩阵M′(L)；

S203：利用颜色校正矩阵M′(L)将该待校正光源下的完善反射表面的相机响应值转换至CIE1931 XYZ空间中：

式中X^ill,Y^ill,Z^ill分别为XYZ空间中的三刺激值。

3.如权利要求2所述的基于色适应模型的彩色数码相机白平衡校正方法，其特征在于，所述的S3具体为：

使用CIECAM02色貌模型中的色适应变换CAT02计算物体色[X^ill,Y^ill,Z^ill]经色适应后的标准光源下的对应色：

式中色适应变换模型f_CAT02的四个输入依次是待计算的物体色三刺激值、待适应的光源三刺激值、参考光源三刺激值以及环境亮度因子L_A。

4.如权利要求3所述的基于色适应模型的彩色数码相机白平衡校正方法，其特征在于，所述的环境亮度因子使用两个sigmoid函数进行计算：

式中，光源色品距离d通过计算实际光源与参考光源色品在CIELUV均匀颜色空间中的欧式距离获得，a₁、b₁、K₁、a₂、b₂、K₂作为调整sigmoid函数形状的待定参数，E为场景照度。

5.如权利要求4所述的基于色适应模型的彩色数码相机白平衡校正方法，其特征在于，所述的S4具体为：

对所述的标定光源L对应的3×3颜色校正矩阵M(L)求逆，并将色适应后的完善反射体三刺激值重新映射回相机RGB空间中：

由此，计算色适应后的白平衡校正增益系数