CN106895916A - 一种单次曝光拍摄获取多光谱图像的方法 - Google Patents
一种单次曝光拍摄获取多光谱图像的方法 Download PDFInfo
- Publication number
- CN106895916A CN106895916A CN201710013391.4A CN201710013391A CN106895916A CN 106895916 A CN106895916 A CN 106895916A CN 201710013391 A CN201710013391 A CN 201710013391A CN 106895916 A CN106895916 A CN 106895916A
- Authority
- CN
- China
- Prior art keywords
- matrix
- trn
- rgb
- target
- measured
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 47
- 238000002310 reflectometry Methods 0.000 claims abstract description 43
- 238000001228 spectrum Methods 0.000 claims abstract description 34
- 238000003384 imaging method Methods 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 62
- 230000003595 spectral effect Effects 0.000 claims description 40
- 238000005457 optimization Methods 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 3
- 238000000205 computational method Methods 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 3
- 102220326096 rs1378670216 Human genes 0.000 claims description 2
- 102220015909 rs138331646 Human genes 0.000 claims description 2
- 102220304695 rs944054671 Human genes 0.000 claims description 2
- 238000004422 calculation algorithm Methods 0.000 abstract description 13
- 230000000694 effects Effects 0.000 abstract description 4
- 230000003287 optical effect Effects 0.000 abstract description 4
- 238000012216 screening Methods 0.000 abstract description 3
- 230000008901 benefit Effects 0.000 abstract description 2
- 238000002059 diagnostic imaging Methods 0.000 abstract description 2
- 239000000463 material Substances 0.000 abstract description 2
- 238000007639 printing Methods 0.000 abstract description 2
- 230000003796 beauty Effects 0.000 abstract 1
- 238000001914 filtration Methods 0.000 abstract 1
- 230000004075 alteration Effects 0.000 description 11
- 238000012360 testing method Methods 0.000 description 7
- 238000005259 measurement Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000000701 chemical imaging Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000004907 flux Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 241000227425 Pieris rapae crucivora Species 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000000985 reflectance spectrum Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000010563 solid-state fermentation Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
- G01J2003/2826—Multispectral imaging, e.g. filter imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J2003/283—Investigating the spectrum computer-interfaced
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Spectrometry And Color Measurement (AREA)
Abstract
本发明公开了一种单次曝光拍摄获取多光谱图像的方法，属于光学工程领域。本发明提出的算法可以利用多项式模型，自适应选择训练样本，还可以自动对不同的训练样本赋予不同的权重，并且也可以对照明光源的光谱进行优化来取得最优的反射率重建效果，实现了在一种光源下通过普通RGB相机的单次曝光拍摄，就能够获取到多光谱图像。本发明具有更加快速，不需要滤光器件，减少机械动作，相似的精度的优点，并且能够捕获影像的光谱以及动态物体的光谱，可以用在多种应用中，包括但不限于计算机图形学或者医学成像，印刷工业，文物复现，生物成像，美容行业，材料筛选等领域，以及颜色复制等其他的光谱再现领域。
Description
技术领域
本发明属于光学工程领域，具体涉及一种单次曝光拍摄获取多光谱图像的方法。
背景技术
光谱反射率重建是光学研究中的一个重要领域，其目的是通过各种成像设备所获取的与设备相关的RGB三色值重建出物体本身固有的与设备和光照都无关的光谱反射率，可用于准确预测物体在不同照明条件下的颜色。物体的光谱反射率，即物体对不同波长的光反射的光通量与入射的光通量之比。多光谱图像指的是一幅图片，其每一个像素点都是由光谱反射率组成。多光谱图像获取方式，现阶段而言分为两种：一、获取物体光谱反射率的传统方法是利用分光光度计。但分光光度计一次只能对一个像素测量,其工作量非常大，继而出现了为了高效地测量图像上每点的光谱反射率,可以使用具有十几个到几十个通道的多光谱成像***(Multispectral imaging systems，MSIS)。该***通常由电荷耦合器件，光学滤镜，线性扫描器，或者基于多通道照明的方法发展而来。这些类型的多光谱成像***费时费力，并且价格昂贵。如申请号为201310222379.6、201310487513.5、201180013153.4的专利所公开的装置，其在获取多光谱图像时，会采用干涉滤色片、平台式扫描仪或传感器，产生一系列波长的单色光，最后合成的多光谱图像。二、基于多次曝光(通常是3次)的RGB三通道相机，它通常利用不同的窄带LED来产生合适的光源，并且通过一种计算方法，例如主成分分析(Principle Component Analysis，PCA)，维纳估计(Weinermethod)，伪逆矩阵的方法等来重建光谱反射率。如申请号为201310210413.8的发明专利公开了一种多光谱图像获取方法，其需要在使用滤色片/无滤色片时分别针对高、中、低曝光量各拍摄一次；得到三次拍摄后获得的数据相机的响应值，再进行高动态范围图像的融合处理；将三次拍摄的数据融合得到与实际拍摄对象亮度相对应的图像编码，再由图像编码数据完成光谱反射率的重建。这种方法较之传统的利用多块滤镜的方法所需的计算成本更低，但由于需要多次曝光，不适用于拍摄动态的物体或者拍摄影像。直至目前，还未在任何专利或者技术文献中发现基于单次曝光来获取多光谱影像的方法。
发明内容
本发明的目的是解决现有技术中获取多光谱图像需要依赖复杂的成像***或多次曝光所带来的不便，并提供一种单次曝光拍摄获取多光谱图像的方法。本发明所采用的具体技术方案如下：
单次曝光拍摄获取多光谱图像的方法，步骤如下：
S1：选择与待测目标(可以是测试样品、目标物体或者目标场景)的光谱性质相似的M个训练样本，分别测定其在K种不同波长下的光谱反射率，并将其作为矩阵列元素，构建成一个K×M的矩阵Rtrn，其中每一列分别代表一个训练样本的K个光谱反射率值。训练样本要保证与待测目标的相似性，如在训练样本选择过程中，考虑样本的代表性和相关性，即要求训练样本能够代表整个样本空间，同时与重建样本存在一定的相关性，能够较好的反映待测目标的光谱特性。训练样本可采用标准色卡，例如公司的MacbethColorChecker、Digital SG ColorChecker，或者其他任一指定的颜色库，也可以根据经验或已有的筛选方法进行选择。而训练样本的个数M可以根据实际情况进行选择，但需要满足样本数量足够达到训练的最低要求。由于人类生活中大多数物体表面的光谱反射率曲线具有平滑的性质，所以实际过程中光谱反射率曲线率可以在光谱的波长跨度范围内取K个采样点，以不同波长处的光谱反射率值拟合整条光谱反射率曲线率。K的取值可以根据实际进行选择。
S2：在照明光源下，获取M个训练样本在某一RGB相机中成像的RGB值，构建3×M的训练样本矩阵Ctrn，其中每一列分别代表一个训练样本的R、G以及B值。
S3：分别获取N(N≥1)个待测目标在与S2相同的照明光源下，在与S2相同的RGB相机中成像的RGB值，构建成一个3×N的矩阵Ctst，其中每一列分别代表一个待测目标的R、G以及B值。
S4：分别对所述的矩阵Ctrn和Ctst中的R、G、B分量进行相同的多项式扩展，得到P×M的训练样本扩展矩阵C'trn和P×N的扩展矩阵C'tst。本发明中多项式扩展是指利用多项式模型以原本矩阵中的R、G、B分量为基础，进一步扩展其高阶分量，如二阶的RG、RB、GB、R2、G2、B2和三阶的R2G、RGB等，以及1。对矩阵进行多项式扩展时，其新增的向量值可以根据扩展形式进行数学计算，如在的R、G、B分量基础上，扩展了R2、RGB和1，那么需要对Ctrn和Ctst矩阵增加三行，分别作为R2、RGB和1的分量，R2所在行中某一列的值就是该列中R分量所在行数值的平方，RGB所在行中某一列的值就是该列中R、G、B分量所在行数值的乘积，1分量所在行的向量值全部为1。其他类型的多项式扩展计算方式类同。
S5：基于前述步骤中得到的矩阵，重建待测目标的反射率，得到待测目标的多光谱图像。可以采用的反射率重建方法包括但不限于如下几种，例如：
1)伪逆矩阵法-pseudo-inverse method(Babaei,V.,S.H.Amirshahi andF.Agahian,Using weighted pseudo-inverse method for reconstruction ofreflectance spectra and analyzing the dataset in terms of normality.ColorResearch&Application,2011.36(4):p.295–305)；2)基于曲线平滑的平滑约束方法-curvesmoothing based smoothness constraint method(Li,C.and M.R.Luo.The Estimationof Spectral Reflectances Using the Smoothness Constraint Condition.2001)；3)主成分分析法-principle component analysis based method(Sobagaki,H.,K.Takahamaand Y.Nayatani,Estimation of spectral reflectance functions for Munsellrenotations.Journal of the Color Science Association of Japan,1989.13(2):p.150-152)；4)维纳估计法-Weiner’s estimation based method(Stigell,P.,K.Miyataand M.Hauta-Kasari,Wiener estimation method in estimating of spectralreflectance from RGB images.Pattern Recognition and Image Analysis,2007.17(2):p.233-242)。
作为一种优选方式，计算待测目标的多光谱图像时可以采用如下方法:
Rrec＝Rtrn(C'trn)⊥C'tst
其中Rrec为重建的反射率矩阵，每一列分别代表一个待测目标在K个不同波长的光谱反射率；符号⊥表示这是一个伪逆矩阵。
作为另一种优选方式，还可以对矩阵Ctrn和Rtrn列向量均进行相同的扩展，将原矩阵中的第i列重复wi遍，其中W＝w1+w2+……+wM为所有样品重复出现的总次数，最终得到P×W的训练样本扩展矩阵C'trn和K×W的扩展矩阵R'trn。以Rtrn为例，将原矩阵中的第i列重复wi遍后，可表征为其中均与原矩阵中第i列向量一致。优化过程中，对两个矩阵的扩展应保持一致，即两个扩展后的矩阵中第i列被扩展的遍数wi应一致。得到扩展矩阵后，以扩展后的矩阵代替原矩阵计算待测目标的多光谱图像，计算方法为Rrec＝R'trn(C'trn)⊥C'tst。然后，不断对wi进行迭代优化，直至获得最优多光谱图像。迭代优化时，可以以重建的反射率与实际的反射率之间的色差或均方误差为优化指标，也可以采用其他优化指标，在此不做限定。
进一步的，本发明还提供了一种自适应的光谱优化算法，利用该优化算法得到的光谱，可以取得比其他光源更高的精度。该算法对照明光源进行优化的步骤如下：
任意给定一个初始的照明光源，按照步骤S1～S5重建待测目标的反射率；然后不断改变光源中的光谱组成，最终得到具有最优光谱的照明光源。优化所采用的优化指标与前述一样，可根据实际情况进行选择。另外，需要指出的是，照明光源的优化可单独进行，也可以与前述列向量的扩展方式联合进行。更为优选的是，不断对wi进行迭代优化，直至获得优化后多光谱图像后，再采用光谱优化算法，对光谱组成进行优化，得到最优的多光谱图像。当然，两者顺序也可以相反，或者同步进行。优化算法包括但不限于粒子群算法，遗传算法等。
作为另一种优选方式，所述的多项式扩展中，随着P值的变化而采用不同的多项式；若记＝3时的多项式为P3＝[R G B]，则P＝5时，多项式扩展为P5＝[P3 RGB 1]；P＝9时多项式扩展为P9＝[P3 RG RB GB R2 G2 B2]，P＝11时多项式扩展为P11＝[P9 RGB 1]，P＝18时可拓展为P18＝[P11 RG2 RB2 GR2 GB2 BR2 BG2 R3 G3 B3],若P＝20时可拓展为P20＝[P18 RGB 1]。较优的是使P＝11，矩阵Ctrn和Ctst中的R、G、B分量被多项式扩展为R,G,B,R2,G2,B2,RG,GB,BR,RGB以及1，该多项式模型提供了充足的颜色分量，能够较好的用于RGB到XYZ的映射，提高精度。
作为另一种优选方式，在所述的S2中，获取M个训练样本在某一RGB相机中成像的RGB值的方法可以采用以下两种方式：其一是在与S1相同的照明光源下，通过S2中的RGB相机直接拍摄训练样本的图像，根据得到的图像获取其RGB值；其二是利用S2中的RGB相机的光谱敏感函数(spectral sensitivity functions,SSFs)、S1中照明光源的光谱功率分布函数和训练样本的光谱反射率，计算训练样本在RGB相机中成像的RGB值。相机的光谱敏感函数可以通过厂商获取，也可以通过试验测定。
一般来说，照明光源满足如下条件：在反射率测量的K个波长均有一定的光谱能量。普通的白光光源通常能够满足该要求，因此无需采用复杂、昂贵的特殊光源。当然，实际上，如果光源只有单色光，那么也能正确还原该波段的反射率值，但其他波段的精度会很低
本发明通过优化的算法，实现了在一种光源下通过普通RGB相机的单次曝光拍摄，就能够获取到多光谱图像，从而大大减少了多光谱图像获取过程中对设备、光源的要求。本发明可以利用单一的照明光源(如白光光源)代替了红、绿、蓝三种LED。本发明提出的算法使用了多项式模型，自适应选择训练样本，还可以自动对不同的训练样本赋予不同的权重，并且也可以对照明光源的光谱进行优化来取得最优的反射率重建效果。本发明具有更加快速，低成本，相似的精度的优点，并且能够捕获影像的光谱以及动态物体的光谱，可以用在多种应用中，包括但不限于计算机图形学或者医学成像，印刷工业，文物复现，生物成像，美容行业，材料筛选等领域，以及颜色复制等其他的光谱再现领域。
本发明的具体效果将通过后续的实施例进行详细说明。
附图说明
图1为本发明实施例中于获取多光谱图像的***结构示意图；
图2为实施例中采用的4000K光源；
图3为实施例4中得到的最优光谱。
具体实施方式
下面结合附图对本发明专利进行进一步说明，因便于更好地理解。本发明专利中的技术特征在不相互冲突的前提下，均可进行相互组合，不构成限制。
如图1所示，为下述实施例中用于获取多光谱图像的***，该***组成包括一台RGB三通道的数码相机1(佳能5D2照相机，用以拍摄场景4)，一台照明设备2(利用LED模拟出的4000K的照明光源，可通过改变组成该光源的LED来调整光谱组成)，一台光谱测量装置，例如分光辐射度计(用以测量照明光源的光谱能量分布)，一台控制计算机3(用以控制设备以及计算)，以及用来优化算法性能的训练样本。各实施例中，照明光源的光谱由光辐射度计(型号：JETI Specbos 1211 UV tele-spectroradiometer)进行测量。训练样品的光谱反射率由分光光度计(Datacolor SF600)进行测量。需要指出的是，该***仅仅是一种实现方式，本领域技术人员还可以进行多种改变和优化，并不用于限定本发明的方法。
实施例1
本实施例中采用常规方法，既不进行多项式拓展也不进行权重优化，通过单次曝光拍摄获取多光谱图像。具体步骤如下：
S1：所使用的测试样品和训练样品均来自Digital SG ColorChecker，其中彩色色样总计96个。实验中将其分为两份，测试样品和训练样品各48个。从400-700nm波长范围内以400nm为起点，每隔10nm，设置一个采样点，共计31个。通过分光光度计分别测定48个训练样品在31个采样点下的光谱反射率，并将其作为矩阵行元素，构建成一个31×48的矩阵Rtrn，其中每一列分别代表一个训练样本的31个光谱反射率值；
S2：照明光源的光谱组成如图2所示，在该光源下，利用相机的光谱敏感函数，获取48个训练样品的RGB值，构建3×48的训练样本矩阵Ctrn，其中每一列分别代表一个训练样本的R、G以及B值；
S3：在与S2相同的照明光源下，通过与S2相同的RGB相机，在数码相机中成像，获取测试样品的RGB值，构建成一个3×48的矩阵Ctst，其中每一列分别代表一个待测目标的R、G以及B值；
S4：重建待测目标的反射率，得到待测目标的多光谱图像：计算待测目标的多光谱图像的方法为：
Rrec＝Rtrn(Ctrn)⊥Ctst
其中Rrec为重建的反射率矩阵，每一列分别代表一个待测目标在K个不同波长的光谱反射率；符号⊥表示这是一个伪逆矩阵。
利用CIEDE2000色差公式计算色差，计算重建的反射率与实际的反射率在D65标准光源，标准A光源，以及F11光源下的色差值，结果为：平均色差5.5，最大色差13，标准差2.2。
实施例2
本实施例中仅采用多项式扩展，通过单次曝光拍摄获取多光谱图像。具体步骤如下：
S1：本步骤与实施例1相同。
S2：照明光源的光谱组成如图2所示，在该光源下，利用相机的光谱敏感函数，获取48个训练样品的RGB值，构建3×48的训练样本矩阵Ctrn，其中每一列分别代表一个训练样本的R、G以及B值；
S3：在与S2相同的照明光源下，通过与S2相同的RGB相机，在数码相机中成像，获取测试样品的RGB值，构建成一个3×48的矩阵Ctst，其中每一列分别代表一个待测目标的R、G以及B值；
S4：分别对所述的矩阵Ctrn和Ctst中的R、G、B分量进行相同的多项式扩展，其中P＝11，R、G、B分量经过扩展后包括R,G,B,R2,G2,B2,RG,GB,BR,RGB以及1，得到11×48的训练样本扩展矩阵C'trn和11×48的扩展矩阵C'tst；
S5：重建待测目标的反射率，得到待测目标的多光谱图像。计算待测目标的多光谱图像的方法为:
Rrec＝Rtrn(C'trn)⊥C'tst
其中Rrec为重建的反射率矩阵，每一列分别代表一个待测目标在K个不同波长的光谱反射率；符号⊥表示这是一个伪逆矩阵。
利用CIEDE2000色差公式计算色差，计算重建的反射率与实际的反射率在D65标准光源，标准A光源，以及F11光源下的色差值，结果为：平均色差3.2，最大色差10.8，标准差1.2。
实施例3
本实施例中，采用先进行多项式扩展，然后进行权重优化方式。具体步骤如下：
S1：本步骤与实施例1相同。
S2：照明光源的光谱组成如图2所示，在该光源下，利用相机的光谱敏感函数，获取48个训练样品的RGB值，构建3×48的训练样本矩阵Ctrn，其中每一列分别代表一个训练样本的R、G以及B值；
S3：在与S2相同的照明光源下，通过与S2相同的RGB相机，在数码相机中成像，获取测试样品的RGB值，构建成一个3×48的矩阵Ctst，其中每一列分别代表一个待测目标的R、G以及B值；
S4：分别对所述的矩阵Ctrn和Ctst中的R、G、B分量进行相同的多项式扩展，扩展后分量数为R,G,B,R2,G2,B2,RG,GB,BR,RGB以及1，得到11×48的训练样本扩展矩阵C”trn和11×48的扩展矩阵C'tst；
然后，对矩阵C”trn和Rtrn列向量均进行相同的扩展，将原矩阵中的第i列初始重复wi遍，得到11×W的训练样本扩展矩阵C'trn和31×W的扩展矩阵R'trn，W为wi的总和。
S5：重建待测目标的反射率，得到待测目标的多光谱图像，计算待测目标的多光谱图像的方法为:
Rrec＝Rtrn(C'trn)⊥C'tst
其中Rrec为重建的反射率矩阵，每一列分别代表一个待测目标在K个不同波长的光谱反射率；符号⊥表示这是一个伪逆矩阵。
然后，以重建的反射率与实际的反射率之间的色差为优化指标，不断对各wi的值进行迭代优化，直至获得最优多光谱图像。
利用CIEDE2000色差公式计算色差，计算重建的反射率与实际的反射率在D65标准光源，标准A光源，以及F11光源下的色差值，结果为：平均色差1.9，最大色差7.5，标准差1.4。
实施例4
本实施例中，基于实施例3，继续采用自适应的光谱优化算法，对图2所示的初始照明光源中的光谱组成进行优化。不断改变光源中的光谱组成，重复步骤S1～S5，采用粒子群算法(或遗传算法)优化光谱组成，直至得到。最终得到的照明光源的光谱组成如图3所示。将该最优光谱应用于实施例3中，包括权重优化中的wi在内的其余参数均保持一致，得到其计算重建的反射率与实际的反射率的色差。
色差利用CIEDE2000色差公式计算，计算重建的反射率与实际的反射率在D65标准光源，标准A光源，以及F11光源下的色差值，结果为：平均色差0.4，最大色差1.7，标准差0.3。
其具体的效果如下表所示：
以上所述的实施例只是本发明专利的一种较佳的方案，然其并非用以限制本发明专利。有关技术领域的普通技术人员，在不脱离本发明专利的精神和范围的情况下，还可以做出各种变化和变型。因此凡采取等同替换或等效变换的方式所获得的技术方案，均落在本发明专利的保护范围内。
Claims (6)
1.一种单次曝光拍摄获取多光谱图像的方法，其特征在于，步骤如下：
S1：选择待测目标的光谱性质相似的M个训练样本，分别测定其在K个不同波长下的光谱反射率，并将其作为矩阵列元素，构建成一个K×M的矩阵Rtrn，其中每一列分别代表一个训练样本的K个光谱反射率值；
S2：在照明光源下，获取M个训练样本在某一RGB相机中成像的RGB值，构建3×M的训练样本矩阵Ctrn，其中每一列分别代表一个训练样本的R、G以及B值；
S3：分别获取N个待测目标在与S2相同的照明光源下，在与S2相同的RGB相机中成像的RGB值，构建成一个3×N的矩阵Ctst，其中每一列分别代表一个待测目标的R、G以及B值；
S4：分别对所述的矩阵Ctrn和Ctst中的R、G、B分量进行相同的多项式扩展，得到P×M的训练样本扩展矩阵C'trn和P×N的扩展矩阵C'tst；
S5：重建待测目标的反射率，得到待测目标的多光谱图像。
2.如权利要求1所述的方法，其特征在于，计算待测目标的多光谱图像的方法为:
Rrec＝Rtrn(C'trn)⊥C'tst
其中Rrec为重建的反射率矩阵，每一列分别代表一个待测目标在K个不同波长的光谱反射率；符号⊥表示这是一个伪逆矩阵。
3.如权利要求1所述的方法，其特征在于，对矩阵Ctrn和Rtrn列向量均进行相同的扩展，将原矩阵中的第i列重复wi遍，最终得到P×W的训练样本扩展矩阵C'trn和K×W的扩展矩阵R'trn，再计算待测目标的多光谱图像，计算方法为Rrec＝R'trn(C'trn)⊥C'tst；然后对wi进行迭代优化，直至获得最优多光谱图像。
4.如权利要求1或3所述的方法，其特征在于，对所述的照明光源进行优化，步骤如下：任意给定一个初始的照明光源，按照步骤S1～S5重建待测目标的反射率；然后不断迭代改变光源中的光谱组成，最终得到具有最优光谱的照明光源。
5.如权利要求1所述的方法，其特征在于，所述的多项式扩展中，随着P值的变化而采用不同的多项式；若记＝3时的多项式为P3＝[R G B]；若P＝5时，多项式扩展为P5＝[P3 RGB1]；若P＝9时多项式扩展为P9＝[P3 RG RB GB R2 G2 B2]；若P＝11时多项式扩展为P11＝[P9 RGB 1]；若P＝18时可拓展为P18＝[P11 RG2 RB2 GR2 GB2 BR2 BG2 R3 G3 B3]；若P＝20时可拓展为P20＝[P18 RGB 1]。
6.如权利要求1所述的方法，其特征在于，在所述的S2中，获取M个训练样本在某一RGB相机中成像的RGB值的方法为：在与S1相同的照明光源下，通过S2中的RGB相机直接拍摄训练样本的图像，根据图像获取其RGB值；或利用S2中的RGB相机的光谱敏感函数、S1中的照明光源的光谱功率分布函数和训练样本的光谱反射率，计算训练样本在RGB相机中成像的RGB值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710013391.4A CN106895916B (zh) | 2017-01-09 | 2017-01-09 | 一种单次曝光拍摄获取多光谱图像的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710013391.4A CN106895916B (zh) | 2017-01-09 | 2017-01-09 | 一种单次曝光拍摄获取多光谱图像的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106895916A true CN106895916A (zh) | 2017-06-27 |
| CN106895916B CN106895916B (zh) | 2018-10-30 |
Family
ID=59198467
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710013391.4A Active CN106895916B (zh) | 2017-01-09 | 2017-01-09 | 一种单次曝光拍摄获取多光谱图像的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106895916B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107505046A (zh) * | 2017-07-31 | 2017-12-22 | 征图新视（江苏）科技有限公司 | 多光谱颜色测量方法 |
| CN110399904A (zh) * | 2019-06-28 | 2019-11-01 | 湖南工业大学 | 一种基于全彩荧光印品的发射光谱重建方法 |
| CN110475072A (zh) * | 2017-11-13 | 2019-11-19 | Oppo广东移动通信有限公司 | 拍摄图像的方法、装置、终端和存储介质 |
| WO2023273411A1 (zh) * | 2021-07-01 | 2023-01-05 | 奥比中光科技集团股份有限公司 | 一种多光谱数据的获取方法、装置及设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103528968A (zh) * | 2013-11-01 | 2014-01-22 | 上海理工大学 | 基于迭代阈值法的反射率光谱重建方法 |
| CN104634451A (zh) * | 2015-02-11 | 2015-05-20 | 武汉大学 | 基于多通道成像***的光谱重建方法及*** |
| CN104634745A (zh) * | 2015-01-29 | 2015-05-20 | 上海理工大学 | 光谱重构算法 |
| CN105069234A (zh) * | 2015-08-13 | 2015-11-18 | 武汉大学 | 一种基于视觉感知特征的光谱降维方法及*** |
| CN106153193A (zh) * | 2016-07-22 | 2016-11-23 | 浙江大学 | 一种利用多光谱相机双光源响应值获取光谱反射比的方法 |
-
2017
- 2017-01-09 CN CN201710013391.4A patent/CN106895916B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103528968A (zh) * | 2013-11-01 | 2014-01-22 | 上海理工大学 | 基于迭代阈值法的反射率光谱重建方法 |
| CN104634745A (zh) * | 2015-01-29 | 2015-05-20 | 上海理工大学 | 光谱重构算法 |
| CN104634451A (zh) * | 2015-02-11 | 2015-05-20 | 武汉大学 | 基于多通道成像***的光谱重建方法及*** |
| CN105069234A (zh) * | 2015-08-13 | 2015-11-18 | 武汉大学 | 一种基于视觉感知特征的光谱降维方法及*** |
| CN106153193A (zh) * | 2016-07-22 | 2016-11-23 | 浙江大学 | 一种利用多光谱相机双光源响应值获取光谱反射比的方法 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107505046A (zh) * | 2017-07-31 | 2017-12-22 | 征图新视（江苏）科技有限公司 | 多光谱颜色测量方法 |
| CN107505046B (zh) * | 2017-07-31 | 2020-06-12 | 征图新视(江苏)科技股份有限公司 | 多光谱颜色测量方法 |
| CN110475072A (zh) * | 2017-11-13 | 2019-11-19 | Oppo广东移动通信有限公司 | 拍摄图像的方法、装置、终端和存储介质 |
| CN110475072B (zh) * | 2017-11-13 | 2021-03-09 | Oppo广东移动通信有限公司 | 拍摄图像的方法、装置、终端和存储介质 |
| US11412153B2 (en) | 2017-11-13 | 2022-08-09 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Model-based method for capturing images, terminal, and storage medium |
| CN110399904A (zh) * | 2019-06-28 | 2019-11-01 | 湖南工业大学 | 一种基于全彩荧光印品的发射光谱重建方法 |
| WO2023273411A1 (zh) * | 2021-07-01 | 2023-01-05 | 奥比中光科技集团股份有限公司 | 一种多光谱数据的获取方法、装置及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106895916B (zh) | 2018-10-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Oh et al. | Do it yourself hyperspectral imaging with everyday digital cameras | |
| Nguyen et al. | Training-based spectral reconstruction from a single RGB image | |
| JP5883949B2 (ja) | 画像取込デバイス処理のためのスペクトル合成 | |
| CN106895916B (zh) | 一种单次曝光拍摄获取多光谱图像的方法 | |
| Shrestha et al. | One-shot multispectral color imaging with a stereo camera | |
| CN104168475B (zh) | 一种数码相机参数可变的成像式获取颜色三刺激值的方法 | |
| Shrestha et al. | Multispectral imaging using LED illumination and an RGB camera | |
| CN113676628B (zh) | 成像装置和图像处理方法 | |
| CN109191403A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| Tominaga et al. | Spectral imaging by synchronizing capture and illumination | |
| CN110319790A (zh) | 一种基于彩色散斑场的全彩色计算鬼成像方法 | |
| CN107170013B (zh) | 一种rgb相机光谱响应曲线的标定方法 | |
| Koskinen et al. | Reverse imaging pipeline for raw RGB image augmentation | |
| Wenger et al. | Optimizing color matching in a lighting reproduction system for complex subject and illuminant spectra | |
| Catrysse et al. | Comparative analysis of color architectures for image sensors | |
| JP4174707B2 (ja) | 分光測定システム、色再現システム | |
| CN109923398B (zh) | 通过离散窄带同步照明的彩色成像 | |
| Rice et al. | Hyperspectral image projector applications | |
| Lam et al. | Spectral Imaging Using Basis Lights. | |
| CN112200825B (zh) | 一种基于贝尔编码图像的空间目标光度反演方法 | |
| Tominaga | CIC@ 20: multispectral imaging | |
| CN110332991B (zh) | 一种光谱的重构方法、装置和电子设备 | |
| CN106508049B (zh) | 一种红外背景图像数据的处理和转换方法 | |
| Berns et al. | Modifications of a sinarback 54 digital camera for spectral and high-accuracy colorimetric imaging: simulations and experiments | |
| CN105744267A (zh) | 基于齐次多项式数码相机参数可变的获取三刺激值方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |