CN110660112A

CN110660112A - 一种基于专用色卡和多光谱成像的绘画光谱重构方法

Info

Publication number: CN110660112A
Application number: CN201910936265.5A
Authority: CN
Inventors: 徐海松; 叶正男; 徐鹏
Original assignee: Zhejiang University ZJU
Current assignee: Zhejiang University ZJU
Priority date: 2019-09-29
Filing date: 2019-09-29
Publication date: 2020-01-07
Anticipated expiration: 2039-09-29
Also published as: CN110660112B

Abstract

本发明公开了一种基于专用色卡和多光谱成像的绘画光谱重构方法。对具有艺术价值，不便于接触测量的艺术绘画和古迹，本发明引入与绘画具有相同颜料和基质的专用色卡，利用多光谱成像***获取目标艺术绘画和专用色卡的多通道响应值，并测量专用色卡训练样本色块的光谱反射比。通过聚类合并相似训练样本防止过拟合并获得包含专用色卡多通道响应值和对应光谱反射比的训练样本集。建立训练样本集中多通道响应值和光谱反射比的转换矩阵，利用该矩阵将绘画的多通响应值图像映射为对应的光谱反射比图像，以此重构目标绘画的光谱图像。

Description

一种基于专用色卡和多光谱成像的绘画光谱重构方法

技术领域

本发明涉及成像式获取艺术绘画光谱信息及色度信息的方法，尤其是利用具有多个可见光波段通道的多光谱相机获取艺术绘画的反射光谱信息以进一步获取其色度信息的方法。

背景技术

传统的图像捕捉方法获取的物体色度值，受到图像捕捉时照明光线的影响，无法表征物体表面的本征特性，也容易受到同色异谱现象的影响；为了能够获得物体真实的外貌信息，一种办法是获得与拍摄设备和光源无关的物理量：物体的光谱反射比。在艺术绘画的数字化保存中，如果能够准确获得数字绘画的光谱反射比，就可以最大限度地保存其信息，并精确地复现绘画在任意光源下的颜色外貌。

现有的光谱重构算法主要是基于训练样本的方法，即利用多光谱相机拍摄的样本多通道响应值与使用光度计测量的样本对应的光谱反射比，建立目标对象多通道响应值与其光谱反射比的关系，从而计算重构绘画光谱图像。若训练样本与目标对象的材质不一致，光谱重构的精度会大幅度下降，而直接使用目标对象自身局部作为自训练样本，可能对珍贵的艺术绘画和文物造成不可逆的破坏，故选用与原绘画使用同种基底和颜料制成的专用色卡作为光谱重构的训练样本。但是，如果不对专用色卡构建的训练样本进行选择，常常会使绘画局部内容过采样或欠采样，降低光谱重构精度。

发明内容

为了实现简便易行的光谱重构流程，同时提升训练样本与绘画材质的一致性以提升重构精度，并防止过采样或欠采样，本发明提出了一种使用专用色卡重构绘画光谱的重构训练样本选择方法。

本发明的发明构思是：对具有艺术价值，不便于接触测量的艺术绘画和古迹，引入与绘画具有相同颜料和基质的专用色卡，利用多光谱成像***获取目标艺术绘画和专用色卡的多通道响应值，并测量专用色卡训练样本色块的光谱反射比。通过聚类合并相似训练样本防止过拟合并获得包含专用色卡多通道响应值和对应光谱反射比的训练样本集。建立训练样本集中多通道响应值和光谱反射比的转换矩阵，利用该矩阵将绘画的多通响应值图像映射为对应的光谱反射比图像，以此重构目标绘画的光谱图像。

本发明的目的是通过以下技术方案来实现的：

一种基于专用色卡和多光谱成像的绘画光谱重构方法，其步骤如下：

S1：标记目标绘画的专用色卡上不同色块的均匀部分，作为光谱重构的取样点；

S2：用多光谱相机拍摄目标绘画的多通道图像P_p，保持光照环境和多光谱相机位置不变，拍摄专用色卡的多光谱图像P_c；

S3：根据S1中做出的标记，使用分光光度计测量专用色卡中n个色块的光谱反射比r_c1、r_c2、…r_cn，并对应地在P_c中抽取标记位置的多通道响应值，记为p_c1、p_c2、…p_cn，将r_ci和p_ci一一对应得到n对取样点对，作为光谱恢复的备选样本集N；

S4：利用聚类算法处理绘画的多通道图像P_p中每个像素的多通道响应值，将绘画的多光谱像素点分为m类，m<n，再在光谱恢复的备选样本集N中选取m对与对应各类中心欧氏距离最小的取样点对，作为光谱恢复的训练样本集M；

S5：利用训练样本集M中所有取样点对的光谱反射比r_ci与对应的多通道响应值p_ci，建立多通道响应值与光谱反射比的对应映射关系，其中r_ci∈M，p_ci∈M；

S6：根据S5获得的映射关系，计算出目标绘画的多光谱图像P_p中每个像素对应的光谱反射比，从而重构绘画的光谱图像R_p。

作为优选，所述专用色卡是使用与目标绘画相同或相近的颜料及基质绘制的、颜色梯度排布的若干色块样本。

作为优选，所述的步骤S4的具体实现方法为：

利用K均值聚类算法对目标绘画的多通道图像P_p中每个像素的多通道响应值进行聚类，类中心迭代优化终止后，将绘画的多光谱像素点分为m类，得到m个类的中心，m<n；分别计算光谱恢复的备选样本集N中距离每个类的中心最近的取样点对，得到m对取样点对C_n1、C_n2、…C_nm，对应训练样本的光谱反射比r_n1、r_n2、…r_nm和多通道响应值p_n1、p_n2、…p_nm组成光谱恢复的训练样本集M。

作为优选，所述的步骤S5的具体实现方法为：

将训练样本集M中多通道响应值p_n1、p_n2、…p_nm构成多通道响应值矩阵P，对应的光谱反射比r_n1、r_n2、…r_nm构成光谱反射比矩阵R；

计算多通道响应值到光谱反射比的转换矩阵T为：

T＝RP^T(PP^T)^-1

将转换矩阵T应用到多光谱图像P_p上，建立多通道响应值与光谱反射比的对应映射关系，用于计算得到其对应的光谱图像R_p：

R_p＝TP_p。

本发明的有益效果是：本发明通过提取与艺术绘画光谱反射比接近的专用色卡的多通道响应值和光谱反射比作为光谱重构的训练样本，减轻了训练样本与目标绘画光谱不一致带来的光谱重构误差，同时避免了在珍贵的艺术绘画上直接取样和测量对绘画造成的损坏。

附图说明

图1是实施例涉及的彩色水墨画图像(下图)和部分专用色卡色块图像(上图)，图中通过方框标记了训练样本的采样区域；

图2是部分训练样本的光谱反射比；

图3是光谱图像恢复的流程图。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步阐述和说明。

本发明中，一种基于专用色卡和多光谱成像的绘画光谱重构方法，其步骤如下：

S1：标记目标绘画的专用色卡用于光谱重构的取样点，其中专用色卡是使用与目标绘画相同或相近的颜料及基质绘制的、颜色梯度排布的若干色块样本。由于专用色卡绘制中可能存在的笔触和洇染，专用色卡色块可能会出现颜色不均匀的现象，影响拍摄多通道响应值的提取和光谱反射比的测量，故需要标记色块均匀部分作为训练样本。

S2：用多光谱相机拍摄目标绘画的多通道图像P_p，保持光照环境和多光谱相机位置不变，拍摄专用色卡的多光谱图像P_c。光照环境不变是为了确保利用专用色卡的多通道值与光谱反射比建立的映射关系能够用于基于多通道图像的光谱重构上。

S3：根据S1中做出的标记，使用分光光度计测量专用色卡中n个色块的光谱反射比r_c1、r_c2、…r_cn，并对应地在P_c中抽取标记位置的多通道响应值，记为p_c1、p_c2、…p_cn，将r_ci和p_ci一一对应得到n对取样点对，这些一一对应的取样点集作为光谱恢复的备选样本集N。

S4：利用聚类算法处理绘画的多通道图像P_p中每个像素的多通道响应值，将绘画的多光谱像素点分为m类，m<n，再在光谱恢复的备选样本集N中选取m对与对应各类中心欧氏距离最小的取样点对，作为光谱恢复的训练样本集M。在本发明中，该步骤可以通过以下方法具体实现：

S5：利用训练样本集M中所有取样点对的光谱反射比r_ci与对应的多通道响应值p_ci，基于伪逆法建立多通道响应值与光谱反射比的对应映射关系，其中r_ci∈M，p_ci∈M。在本发明中，该步骤可以通过以下方法具体实现：

计算多通道响应值到光谱反射比的转换矩阵T为：

T＝RP^T(PP^T)^-1

R_p＝TP_p。

下面将上述方法应用于具体的实施例中，以便于更好地展示其技术效果。

实施例

在本实施例中，以使用一个滤色片转轮式多光谱相机和手持式分光光度计，配合彩色水墨画的专用色卡，测量并重构一幅彩色水墨画为例，阐述使用专用色卡重构绘画光谱的重构训练样本选择方法。

目前多数基于多光谱图像的图像光谱反射比恢复算法使用通用色卡作为光谱恢复的训练样本，这种训练样本具有固定且已知的光谱反射比，不需要进行额外的测量和标定，但是由于真实物体的光谱反射比往往与通用色卡有一定差异，使利用通用色卡恢复图像的光谱反射比产生误差，造成图像光谱反射比失真。本发明提出一种基于绘画专用色卡的光谱图像恢复方法，通过K均值聚类法挑选合适的专用色卡训练样本，获得较精确的光谱图像恢复结果。

图1展示了实施例中的彩色水墨画和一部分专用色卡的外貌，及测量训练样本光谱反射比的取样点位置。

图2是实施例一部分专用色卡的光谱反射比。

图3是基于专用色卡训练样本的绘画光谱重构流程。

1.本发明挑选专用色卡训练样本流程包含以下步骤：

为了挑选数量合适的训练样本，在保证覆盖尽可能大的颜色空间的基础上防止训练样本过采样造成的光谱恢复精度下降，需要对训练样本进行聚类，并从训练样本子类中选择最具有代表性的样本色块，作为最终输入光谱重构算法的训练样本。

为了对n个光谱反射比分别为r_c1、r_c2、…r_cn的训练样本色块的进行颜色相关的聚类，首先要获取他们的色品值。为此，要将这些训练样本转换到CIELAB空间。基于CIE1931色度***的物体三刺激值可由下式计算：

其中X、Y、Z分别为物体的三刺激值；P(λ)为光源的光谱功率分布，在本发明中为亮度为100cd/m²的标准D65光源；ρ(λ)为物体表面反射率，在本发明中即为r_cn；x(λ)、y(λ)、z(λ)为CIE1931标准色度观察者光谱三刺激值，也称作人眼的色匹配函数CMF，即colormatching functions；k为CIE1931色度***中的归化值；λ_min、λ_max为可见光波段的上下限，一般取λ_min＝400nm，λ_max＝700nm。

训练样本的XYZ三刺激值与其颜色外貌的关系并非线性，为了更好地表征人眼观看训练样本的效果，还需要将其转换到均匀颜色空间。本发明使用CIEL*a*b*空间，相关转换可由下式计算：

其中

式中X_n、Y_n、Z_n为参考白点三刺激值，在标准D65光源下，X_n＝95.047，Y_n＝100，Z_n＝108.883。

通过以上转换，得到反射率为r_c1、r_c2、…r_cn的训练样本的L^*a^*b^*值，记为C₁、C₂、…C_n。

训练样本的聚类在L^*a^*b^*空间中进行，本实施例使用K均值聚类法对n个样本点进行聚类。选择合适的聚类数m，m的大小至少为5至10倍专用色卡使用的绘画颜料种类数，可以根据训练样本数n的大小调整。K均值聚类通过不断迭代优化类中心的选取，初始选取m个随机点作为m个类的中心。一个迭代的过程如下：计算所有样本点在L^*a^*b^*空间中对每个类中心的欧氏距离，并将每个点分配给距类中心欧氏距离最小的类；重新计算每个类的类中心，即距离类内各点欧氏距离之和最小的点。通过多次迭代直至类中心不再发生变化，获得的距离各个类中心欧氏距离最小的m个训练样本C_n1、C_n2、…C_nm，对应训练样本的光谱反射比r_n1、r_n2、…r_nm和多通道响应值p_n1、p_n2、…p_nm组成光谱恢复的训练样本集M。

2.本发明光谱重构流程包含以下步骤：

标记专用色卡用于光谱重构的取样点。为了避免专用色卡色块颜色不均匀影响拍摄多通道响应值的提取和光谱反射比的测量，需要对色块均匀部分进行标记以便后继的拍摄取样和光谱反射比测量。

使用多光谱相机，在高显色性LED光源下拍摄绘画的多通道图像P_p，保持光照环境和多光谱相机位置不变，将绘画更换为专用色卡，拍摄专用色卡的多光谱图像P_c，以保证专用色卡的多通道值与光谱反射比建立的映射关系能够用于基于多通道图像的光谱重构上。

在通过前述训练样本挑选流程获得训练样本集M以后，可以利用训练样本集M计算利用多通道转换到光谱反射比的转换矩阵T。获取转换矩阵有多种方法，本实施例采用伪逆法。训练样本集M中多通道响应值p_n1、p_n2、…p_nm构成多通道响应值矩阵P，对应的光谱反射比构成光谱反射比矩阵R，转换矩阵T使由P重构的光谱反射比与实际光谱反射比R的平方误差最小，即：

min(||R-TP||²)

其中||·||表示矩阵的弗洛宾尼斯范数，可得多通道响应值到光谱反射比的转换矩阵T为：

T＝RP^T(PP^T)^-1

计算获得的转换矩阵T可以应用到多光谱图像P_p上，计算得到其对应的光谱图像R_p：

R_p＝TP_p

该光谱图像R_p可以进行更深入的光谱学和颜色学应用。

以上实施例只是本发明的一种较优的方案，然其并非用以限制本发明。相关领域的技术人员，可以在不脱离本发明的精神和范围的情况下，对其做出各种变化和变型。因此凡采用同等替换或等效变换等方式获得的技术方案，均落在本发明保护范围内。

Claims

1.一种基于专用色卡和多光谱成像的绘画光谱重构方法，其特征在于，步骤如下：

2.如权利要求1所述的基于专用色卡和多光谱成像的绘画光谱重构方法，其特征在于，所述专用色卡是使用与目标绘画相同或相近的颜料及基质绘制的、颜色梯度排布的若干色块样本。

3.如权利要求1所述的基于专用色卡和多光谱成像的绘画光谱重构方法，其特征在于，所述的步骤S4的具体实现方法为：

4.如权利要求1所述的基于专用色卡和多光谱成像的绘画光谱重构方法，其特征在于，所述的步骤S5的具体实现方法为：

计算多通道响应值到光谱反射比的转换矩阵T为：

T＝RP^T(PP^T)^-1

R_p＝TP_p。

5.如权利要求1所述的基于专用色卡和多光谱成像的绘画光谱重构方法，其特征在于，所述的目标绘画为不便于接触测量的艺术绘画或文物古迹。