CN112484856A - 一种获取高精度色度和光谱图像的方法 - Google Patents

Abstract

本发明公开了一种获取高精度色度和光谱图像的方法，首先利用多光谱去马赛克算法恢复每个像素的多通道响应值，然后利用光谱适应算法将未知光源下的多通道响应值转换到参考光源下，最后分别利用色度特征化算法和光谱特征化算法获得高精度的色度和光谱图像。本发明的优点是：可瞬时采集未知光源下场景的多光谱图像，提高在未知光源下场景色度和光谱图像的获取精度，促进多光谱成像技术在未知光环境下的有效应用。

Description

一种获取高精度色度和光谱图像的方法

技术领域

本发明涉及色度及光谱信息领域，尤其涉及一种获取高精度色度和光谱图像的方法。

背景技术

由于同色异谱现象的存在，传统彩色相机获取的物体的色度信息难以可靠表征物体的本源信息，而光谱反射比是设备无关且与捕获光源无关的物理量，可以表征物体的本源信息。因此，准确获取物体的光谱反射比可以实现高精度的颜色测量，且可以忠实复现物体在任意光源下的颜色外貌。多光谱相机由于增加了更多的通道进行成像，故可提高物体色度信息和光谱反射比获取的精度。对于多光谱相机，基于色度和光谱特征化模型可分别获取场景的色度和光谱图像。传统的多光谱相机由于滤色片轮的存在，导致装置结构复杂臃肿，且通过滤色片轮的旋转实现不同波段滤色片的切换，致使多光谱图像采集速度较慢。基于多光谱滤色片阵列的多光谱相机由于滤色片紧附于传感器表面，结构紧凑，增加了多光谱相机的便携性，且可以通过一次曝光获得所有波段的图像，极大地提高了多光谱图像的采集效率。

在可控光环境下，多光谱相机得到了有效应用，但色度和光谱特征化模型是光源相关的，即同一设备在不同光源下的色度和光谱特征化模型是不同，因此制约了多光谱相机在未知光源下的色度和光谱图像的获取精度。

发明内容

本发明主要解决在在未知光源下基于多光谱滤色片阵列的多光谱相机色度和光谱图像的获取精度低的问题，提供了一种基于多光谱滤色片阵列的获取高精度色度和光谱图像的方法。

本发明解决其技术问题所采用的技术方案是，一种获取高精度色度和光谱图像的方法，包括以下步骤：

S1：基于多光谱滤色片阵列瞬时采集未知光源下场景的多光谱图像I_x∈R^H×W×1，H和W分别为图像的高度和宽度；

S2：利用多光谱去马赛克算法恢复全通道响应值；

S3：利用光谱适应算法将未知光源下的多光谱图像I_x转换到参考光源下；

S4：在参考光源下分别建立基于多光谱滤色片阵列的色度特征化和光谱特征化模型；

S5：在参考光源下计算色度和光谱图像。

可瞬时采集未知光源下场景的多光谱图像，提高物体颜色和光谱的获取精度。

作为上述方案的一种优选方案，所述步骤S2中，每一个像素点其它n-1个通道的传感器响应值选择与其相邻最近的像素点的相应通道的响应值，每一个像素点形成n×1维的响应值向量，整个滤色片阵列形成n×n维的响应值矩阵，多光谱图像I_x的维度为H×W×n，即I_x∈R^H×W×n，n为多光谱滤色片阵列中的滤色片数量。

作为上述方案的一种优选方案，所述步骤S3包括以下步骤：

S31：计算未知光源和参考光源下的照明体滤色片映射及转换向量

其中，F_x∈R^1×n和F_c∈R^1×n分别表示未知光源和参考光源下的照明体滤色片映射，T为转置符号，./表示向量对应元素相除，r∈R^1×n表示转换向量，L_x∈R^m×1和L_c∈R^m×1分别为未知光源和参考光源的光谱功率分布，m为光谱功率分布在波长上的采样数量，S∈R^m×n为多光谱滤色片阵列的光谱灵敏度；

S32：将多光谱图像I_x转换为多光谱矩阵I_x1；

S33：将多光谱矩阵I_x1从未知光源转换到参考光源下

其中，r_d∈R^n×n表示转换向量r的对角矩阵，diag()表示将向量转换为对角矩阵，I_c∈R^p×n为转换后在参考光源下的多光谱矩阵。

作为上述方案的一种优选方案，所述步骤S4中，色度特征化和光谱特征化模型为

其中，Q∈R^k×n为训练样本的多通道响应值，每一行表示一个样本，每一列表示一个通道的响应值，上标+表示矩阵的伪逆，M_u∈R^n×q为色度转换矩阵，M_v∈R^n×m为光谱转换矩阵，U∈R^k×q为在参考光源下获得的训练样本的色度值，k为训练样本数量，q为色度值的维度，V∈R^k×m为在参考光源下获得训练样本的光谱反射比，m为光谱反射比在波长上的采样数量，同光谱功率分布在波长上的采样数量。

作为上述方案的一种优选方案，所述步骤S5包括以下步骤：

S51：利用色度特征化模型M_u和光谱特征化模型M_v及转换到参考光源下的多光谱矩阵I_c获取色度和光谱图像矩阵

其中，I_u∈R^p×q为场景的色度图像矩阵，每一行表示一个像素，每一列表示色度值的一个维度，I_v∈R^p×m为场景的光谱图像矩阵，每一行表示一个像素，每一列表示相应采样波长下的光谱反射比；

S52：分别将I_u和I_v的维度变换为H×W×q和H×W×m，即I_u∈R^H×W×q，I_v∈R^H×W×m，得到场景最终的色度图像和光谱图像。

作为上述方案的一种优选方案，所述步骤S32中将多光谱图像I_x的维度由H×W×n转换为q×n，q＝H×W，得到多光谱矩阵I_x1∈R^q×n。

本发明的优点是：可提高在未知光源下场景色度和光谱图像的获取精度，促进多光谱成像技术在未知光环境下的有效应用。

附图说明

图1为实施例中获取高精度色度和光谱图像的方法的一种流程示意图。

图2为实施例中去马赛克算法的效果示意图。

图3为实施例中将未知光源下的多光谱图像转换到参考光源下的一种流程示意图。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步的说明。

实施例：

本实施例一种获取高精度色度和光谱图像的方法，如图1所示，包括以下步骤：

S1：本实施例以包含8个通道的多光谱滤色片阵列为例，多光谱滤色片阵列8个通道光谱灵敏度为高斯形，峰值半高宽约为20nm，峰值响应波长分别为420nm、460nm、500nm、540nm、580nm、620nm、660nm、700nm。采用X-Rite ColorChecker Digital SG色卡中的96个色块作为训练样本，舍弃了色卡中四周重复的黑、白和灰色块。基于该多光谱滤色片阵列瞬时采集未知光源下场景的多光谱图像I_x∈R^512×512×1，512和512分别为图像的高度和宽度，多光谱滤色片阵列中的滤色片数量为8，则形成8个通道的多光谱图像，多光谱图像I_x的维度为512×512×1。此时，每一个像素点只包含一个通道的传感器响应值，整个滤色片阵列形成8×1维的响应值向量。

S2：利用多光谱去马赛克算法恢复全通道响应值；以最近邻插值算法为例，每一个像素点其它7个通道的传感器响应值选择与其相邻最近的像素点的相应通道的响应值，如图2所示，此时，每一个像素点形成8×1维的响应值向量，整个滤色片阵列形成8×8维的响应值矩阵，多光谱图像I_x的维度为512×512×8，即I_x∈R^512×512×8。

S3：利用光谱适应算法将未知光源下的多光谱图像I_x转换到参考光源下；具体步骤如图3所示，包括以下步骤：

S31：计算未知光源和参考光源下的照明体滤色片映射及转换向量

其中，F_x∈R^1×8和F_c∈R^1×8分别表示未知光源和参考光源下的照明体滤色片映射，T为转置符号，./表示向量对应元素相除，r∈R^1×8表示转换向量，L_x∈R^31×1和L_c∈R^31×1分别为未知光源和参考光源的光谱功率分布，31为光谱功率分布在波长上的采样数量，S∈R^31×8为多光谱滤色片阵列的光谱灵敏度；

S32：将多光谱图像I_x转换为多光谱矩阵I_x1，具体为将多光谱图像I_x的维度由512×512×8转换为262144×8，262144＝512×512，得到多光谱矩阵I_x1∈R^262144×8。此时，多光谱图像矩阵I_x的每一行表示一个像素，每一列表示一个通道的响应值；

S33：将多光谱矩阵I_x1从未知光源转换到参考光源下

其中，r_d∈R^8×8表示转换向量r的对角矩阵，diag()表示将向量转换为对角矩阵，I_c∈R^262144×8为转换后在参考光源下的多光谱矩阵。

S4：在参考光源下分别建立基于多光谱滤色片阵列的色度特征化和光谱特征化模型；基于多光谱滤色片阵列，在参考光源下获得训练样本的色度值U∈R^96×3，色度值为CIEXYZ三刺激值，96为训练样本的数量，3为色度值的维度。在参考光源下获得训练样本的光谱反射比V∈R^96×31，其中31为光谱反射比在波长上的采样数量，同光谱功率分布在波长上的采样数量。以伪逆法为例，即利用伪逆法建立色度特征化和光谱特征化模型，

其中，Q∈R^96×8为训练样本的多通道响应值，每一行表示一个样本，每一列表示一个通道的响应值，上标+表示矩阵的伪逆，M_u∈R^8×3为色度转换矩阵，M_v∈R^8×31为光谱转换矩阵。

S5：在参考光源下计算色度和光谱图像。具体包括以下步骤：

利用色度特征化模型M_u和光谱特征化模型M_v及转换到参考光源下的多光谱矩阵I_c获取色度和光谱图像矩阵

其中，I_u∈R^262144×3为场景的色度图像矩阵，每一行表示一个像素，每一列表示色度值的一个维度，I_v∈R^262144×31为场景的光谱图像矩阵，每一行表示一个像素，每一列表示相应采样波长下的光谱反射比；

S52：分别将I_u和I_v的维度变换为512×512×3和512×512×31，即I_u∈R^512×512×3，I_v∈R^512×512×31，得到场景最终的色度图像和光谱图像。

经光谱适应变换后，获得的图像更加接近原图。经计算，对于获得的色度图像，未经过光谱适应变换的平均色差(所有像素色差的平均值)为16.71ΔE₀₀(CIEDE2000色差单位)，而经过光谱适应变换的平均色差为2.41ΔE₀₀。对于获得的光谱图像，未经过光谱适应变换的平均光谱差(所有像素光谱差的平均值)为0.1178RMSE(Root Mean Square Error)，而经过光谱适应变换的平均光谱差为0.0411RMSE，由此可见，经光谱适应变换后，获得的色度图像和光谱图像的误差均明显减小，因而提高了色度和光谱图像的获取精度。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (6)

1.一种获取高精度色度和光谱图像的方法，其特征是：包括以下步骤：

S1：基于多光谱滤色片阵列瞬时采集未知光源下场景的多光谱图像I_x∈R^H×W×1，H和W分别为图像的高度和宽度；

S2：利用多光谱去马赛克算法恢复全通道响应值；

S3：利用光谱适应算法将未知光源下的多光谱图像I_x转换到参考光源下；

S4：在参考光源下分别建立基于多光谱滤色片阵列的色度特征化和光谱特征化模型；

S5：在参考光源下计算色度和光谱图像。

2.根据权利要求1所述的一种获取高精度色度和光谱图像的方法，其特征是：所述步骤S2中，每一个像素点其它n-1个通道的传感器响应值选择与其相邻最近的像素点的相应通道的响应值，每一个像素点形成n×1维的响应值向量，整个滤色片阵列形成n×n维的响应值矩阵，多光谱图像I_x的维度为H×W×n，即I_x∈R^H×W×n，n为多光谱滤色片阵列中的滤色片数量。

3.根据权利要求1所述的一种获取高精度色度和光谱图像的方法，其特征是：所述步骤S3包括以下步骤：

S31：计算未知光源和参考光源下的照明体滤色片映射及转换向量

其中，F_x∈R^1×n和F_c∈R^1×n分别表示未知光源和参考光源下的照明体滤色片映射，T为转置符号，./表示向量对应元素相除，r∈R^1×n表示转换向量，L_x∈R^m×1和L_c∈R^m×1分别为未知光源和参考光源的光谱功率分布，m为光谱功率分布在波长上的采样数量，S∈R^m×n为多光谱滤色片阵列的光谱灵敏度；

S32：将多光谱图像I_x转换为多光谱矩阵I_x1；

S33：将多光谱矩阵I_x1从未知光源转换到参考光源下

其中，r_d∈R^n×n表示转换向量r的对角矩阵，diag()表示将向量转换为对角矩阵，I_c∈R^{p ×n}为转换后在参考光源下的多光谱矩阵。

4.根据权利要求1所述的一种获取高精度色度和光谱图像的方法，其特征是：所述步骤S4中，色度特征化和光谱特征化模型为

其中，Q∈R^k×n为训练样本的多通道响应值，每一行表示一个样本，每一列表示一个通道的响应值，上标+表示矩阵的伪逆，M_u∈R^n×q为色度转换矩阵，M_v∈R^n×m为光谱转换矩阵，U∈R^k×q为在参考光源下获得的训练样本的色度值，k为训练样本数量，q为色度值的维度，V∈R^{k ×m}为在参考光源下获得训练样本的光谱反射比，m为光谱反射比在波长上的采样数量，同光谱功率分布在波长上的采样数量。

5.根据权利要求1所述的一种获取高精度色度和光谱图像的方法，其特征是：所述步骤S5包括以下步骤：

S51：利用色度特征化模型M_u和光谱特征化模型M_v及转换到参考光源下的多光谱矩阵I_c获取色度和光谱图像矩阵

其中，I_u∈R^p×q为场景的色度图像矩阵，每一行表示一个像素，每一列表示色度值的一个维度，I_v∈R^p×m为场景的光谱图像矩阵，每一行表示一个像素，每一列表示相应采样波长下的光谱反射比；

S52：分别将I_u和I_v的维度变换为H×W×q和H×W×m，即I_u∈R^H×W×q，I_v∈R^H×W×m，得到场景最终的色度图像和光谱图像。

6.根据权利要求3所述的一种获取高精度色度和光谱图像的方法，其特征是：所述步骤S32中将多光谱图像I_x的维度由H×W×n转换为q×n，q＝H×W，得到多光谱矩阵I_x1∈R^q×n。

Images