CN108801457A - 基于编码采样板设计以及二次能量约束校正的三维图谱获取及重建方法 - Google Patents

基于编码采样板设计以及二次能量约束校正的三维图谱获取及重建方法 Download PDF

Info

Publication number
CN108801457A
CN108801457A CN201810260821.7A CN201810260821A CN108801457A CN 108801457 A CN108801457 A CN 108801457A CN 201810260821 A CN201810260821 A CN 201810260821A CN 108801457 A CN108801457 A CN 108801457A
Authority
CN
China
Prior art keywords
illustrative plates
dimensional collection
energy
collection
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810260821.7A
Other languages
English (en)
Other versions
CN108801457B (zh
Inventor
郑臻荣
申俊飞
陶陈凝
陈媛
丁章浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201810260821.7A priority Critical patent/CN108801457B/zh
Publication of CN108801457A publication Critical patent/CN108801457A/zh
Application granted granted Critical
Publication of CN108801457B publication Critical patent/CN108801457B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2823Imaging spectrometer
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种基于编码采样板设计以及二次能量约束校正的三维图谱获取及重建方法,携带三维信息的外界光通过设计的压缩编码板采样,而后经色散形成频谱混叠图像并成像于黑白图像传感器上,通过TwIst算法初步复原后,经过二次能量约束校正,多组采样图谱融合形成最终的重建三维图谱。本发明具有高的可执行性,提高了算法中能量利用率以及图谱复原精确度,减小了传统分光光谱探测***中的图谱数据量。

Description

基于编码采样板设计以及二次能量约束校正的三维图谱获取 及重建方法
技术领域
本发明涉及图像计算领域,尤其一种基于编码采样板设计以及二次能量约束校正的三维图谱获取及重建方法。
背景技术
随着科学技术的发展,人们已经不满足于仅仅将眼睛所能观察到的事物记录下来,而是希望能够获得事物在现实生活中所包含的隐藏信息——光谱信息。光谱成像技术正是这样一种能够展示事物更加丰富信息的成像技术。由于光谱成像仪能够提供被测物许多的附加信息,这一特征近年来被逐步发现并成为一种新兴的科学和工程应用工具,其集成了光学、精密机械、光谱学、信号处理等多种技术。
传统的成像手段通过获取两维空间的标量值来表示一个场景的强度信息,如照相机等。而光谱成像技术是一种‘图谱合一’的成像技术,其在普通的二维空间成像的基础上增加了光谱维信息,所得数据是一种三维数据,包括两维的空间坐标和一维的光谱坐标,通常称之为图谱数据立方体。图谱数据立方体可以提供每一个波段的光谱图像数据,也可以为每一个像元提供连续的光谱曲线,为物质的分析和场景甄别提供了强有力的手段。三十多年来光谱成像技术得到了飞速的发展,在军事应用、航天航空遥感、大气探测等领域得到了十分广泛的应用,成为光学探测技术的重要分支。
光谱成像的发展趋势要求成像***具有更高的分辨率,包括空间分辨率和光谱分辨率,但同时减少数据总量。极其丰富的信息使光谱数据量巨大,给数据存储、处理带来了沉重的负担,对硬件***带来了很高的要求。在商业应用中,则要求成像***更小、结构简单、成像速度快并且成本低。因此,一种能够快速获取目标空间三维图谱并进行重建的方法显得尤为重要。
目前,本领域中缺乏一种完善的三维图谱获取及重建方法,传统的图谱获取方法多通过增加滤波片或扫描组件色散分光,硬件***复杂且获取的图谱数据量大。因此,一种基于压缩采样及复原计算的三维图谱获取方法便显得尤为重要了。
发明内容
本发明就是为了克服现有技术的不足,提供一种简便、高效的三维图谱获取及重建方法,所采用的具体技术方案如下:
一种基于编码采样板设计以及二次能量约束校正的三维图谱获取及重建方法,包括以下步骤:
1)携带三维图谱信息的外界光通过准直后形成平行光;
2)平行光通过编号为i的编码采样板(i=1,2,….,n)进行压缩采样;
3)对采样后的平行光进行多光谱色散,形成频谱混叠;
4)频谱混叠的图像通过黑白单色的图像传感器进行成像,获得第i幅频谱混叠黑白图像;
5)更新不同编号的编码采样板,循环步骤1)~4)的操作,得到n幅频谱混叠黑白图像;
6)将已获得的n幅频谱混叠黑白图像,分别通过二步迭代收缩阈值算法进行复原,复原后的n组三维图谱分别进行二次能量约束校正,最后将复原校正后的n组三维图谱相加组合形成重建的三维图谱。
在所述步骤1)中,平行准直后的三维图谱尺寸为a*b*s,其中a*b为待重建图谱的二维图像尺寸,s为光谱维。
在所述步骤2)中,编码采样板的数量一共有n块,每块采样板的尺寸为a*b,与待重建图谱的二维图像尺寸相同,像素单元大小与步骤4)中黑白单色传感器的像素单元大小一致。
在所述步骤2)中,每块编码采样板由1和0组成,1代表通过该点的光能够完全通过,0代表通过该点的光完全不通过,每块板上1和0的总数为a*b。
同时,编码采样板有‘first’和‘second’两种。对于‘first’编码板,其中每块板中1的个数为elenum_first,‘first’板的个数为masknum_first。对于‘second’编码板,其中每块板中1的个数为elenum_second,‘second’板的个数为masknum_second。并且,每块采样板上的1和0随机分布。以上参数需满足:
elenum_first=floor(a*b/n),floor为向下取整;
elenum_second=elenum_first+1
masknum_first=n*elenum_second-a*b
masknum_second=n-elenum_first
在所述步骤2)中,‘first’编码板与‘second’编码板出现顺序随机。
在所述步骤6)中,通过二步迭代收缩阈值算法(TwIst)进行单组三维图谱复原时,应在傅里叶频谱域完成重建,再对复原数据进行傅里叶逆变换得到复原的三维图谱。
在所述步骤6)中,首先对复原的三维图谱进行第一次能量约束校正。假设第i组复原后的三维图谱为Ri,尺寸为a*b*s,相应第i块由0和1组成的编码采样板尺寸为a*b,若在采样板中数据为0点的位置集合为A,则相应位置处的三维图谱值需全部置0,即R1i(x,y,z)=0,((x,y)∈A;z=1,2,...,s)。而其余位置的三维图谱值不变,即
而后,对复原的三维图谱进行第二次能量约束校正。对于经过第一次能量约束校正后的三维图谱R1i,假设其中一点坐标为(x,y,z),(x=1,2,...a;y=1,2,...,b;z=1,2,...,s),在经过步骤3)时,压缩采样后的三维图谱在该点处产生了Comp(x,y,z)(1≤Comp≤s)个频谱通道的混叠,则第一次能量约束校正后的三维图谱R2i取值为
R2i(x,y,z)=R1i(x,y,z)*Comp(x,y,z)/max(1,Corri(x,y,z)),
(x=1,2,...,a;y=1,2,...,b;z=1,2,...,s;i=1,2,...,n)
其中,max为求取变量Corri(x,y,z)和1中的较大值,Corri(x,y,z)为在(x,y,z)点处的校正因子,计算方法为初始化全1的三维图谱矩阵(尺寸同为a*b*s)的(x,y,z)点在经过所述步骤(2-4)后的频谱混叠结果值,满足1≤Corr≤s。
最终,重建的三维图谱
本发明的三维图谱获取及重建方法具有高的可执行性,同时,该方法提高了算法中能量利用率以及图谱复原精确度,减小了传统分光光谱探测***中的图谱数据量。
附图说明
图1为本发明中三维图谱获取及重建流程图;
图2为本发明中三维图谱获取装置的光学结构示意图。
具体实施方式
下面结合实施例和附图来详细说明本发明,但本发明并不仅限于此。
本发明的基本思想是通过设计多组采样编码板以及二次能量约束实现三维图谱的高效获取及重建。
本发明的主要目的是通过压缩感知的方式获取并复原目标空间的三维图谱信息。为此,首先使携带三维信息的外界光通过设计的压缩编码板采样,而后经色散***色散形成频谱混叠图像并成像于黑白CCD上,通过TwIst算法初步复原后,经过二次能量约束校正,多组采样图谱融合形成最终的重建三维图谱。
如图2所示的三维图谱获取装置,包括准直透镜组1,采样编码板2,色散元件3,成像透镜4和图像传感器5。
本实施例中,目标空间三维图谱获取及复原包含以下步骤:
1)首先,目标空间携带三维图谱信息的外界光经过准直透镜组1进行平行光准直,假设此处平行光携带33个光谱段的信息,光谱范围为(440~760nm),各谱段均匀分别在该区间;
2)平行光通过编号为i(i=1,2,….,50),大小为256*256的编码采样板2进行压缩采样。
采样板设计方法:
编码采样板一共有50块。每块编码采样板由1和0组成,1代表通过该点的光能够完全通过,0代表通过该点的光完全不通过,每块板上1和0的总数为65536。其中‘first’类型板有14块,每块上面的‘1’个数为1310,‘0’个数为64226;‘second’类型板有36块,每块上面的‘1’个数为1311,‘0’个数为64225。每块板上‘1’和‘0’随机分布,而在步骤2)中,‘first’和‘second’两种采样板出现顺序随机。
3)采样后的平行光经过色散元件3(如色散棱镜,但不仅限于色散棱镜)进行多光谱色散,形成频谱混叠;
4)频谱混叠的光经过成像透镜4在黑白单色的图像传感器5(如CCD,但不仅限于CCD)上成像,其中相邻光谱的图像在CCD中成像位置相差1个单元像素,最终在CCD上形成256*288的黑白图像;
5)更新i,循环步骤(1-4);
6)将已获得的50幅频谱混叠黑白图像,分别在傅里叶频谱域通过二步迭代收缩阈值算法(TwIst)算法进行复原,再对复原数据进行傅里叶逆变换得到复原的三维图谱Ri,尺寸为256*256*33。
接下来对三维图谱Ri进行第一次能量约束校正。由0和1组成的编码采样板尺寸为256*256,若在第i块采样板中数据为0点的位置集合为A,则第i组三维图谱Ri相应位置处的三维图谱值需全部置0,即R1i(x,y,z)=0,((x,y)∈A;z=1,2,...,33)。而其余位置的三维图谱值不变,即
而后,对复原的三维图谱进行第二次能量约束校正。对于经过第一次能量约束校正后的三维图谱R1i,假设其中一点坐标为(x,y,z),(x=1,2,...256;y=1,2,...,256;z=1,2,...,33),在经过步骤3)时,压缩采样后的三维图谱在该点处产生了Comp(x,y,z)(1≤Comp≤33)个频谱通道的混叠,则第一次能量约束校正后的三维图谱R2i取值为
R2i(x,y,z)=R1i(x,y,z)*Comp(x,y,z)/max(1,Corri(x,y,z)),
(x=1,2,...,256;y=1,2,...,256;z=1,2,...,33;i=1,2,...,50)
本实施例中,
其中,max为求取变量Corri(x,y,z)和1中的较大值,Corri(x,y,z)为在(x,y,z)点处的校正因子,计算方法为初始化全1的三维图谱矩阵(尺寸同为256*256*33)的(x,y,z)点在经过所述步骤(2-4)后的频谱混叠结果值,满足1≤Corr≤33。
最后将经过第二次能量约束校正后的50组三维图谱R2i相加组合形成最终的重建三维图谱,即
以上所述仅为本发明的较佳实施举例,并不用于限制本发明,凡在本发明精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于编码采样板设计以及二次能量约束校正的三维图谱获取及重建方法,其特征在于,包括以下步骤:
1)携带三维图谱信息的外界光通过准直后形成平行光;
2)平行光通过编号为i的编码采样板进行压缩采样;
3)对采样后的平行光进行多光谱色散,形成频谱混叠;
4)频谱混叠的图像通过黑白单色的图像传感器进行成像,获得第i幅频谱混叠黑白图像;
5)更新不同编号的编码采样板,循环步骤1)~4)的操作,共得到n幅频谱混叠黑白图像;
6)将已获得的n幅频谱混叠黑白图像,分别通过二步迭代收缩阈值算法进行复原,复原后的n组三维图谱分别进行二次能量约束校正,最后将复原校正后的n组三维图谱相加组合形成重建的三维图谱。
2.如权利要求1所述的基于编码采样板设计以及二次能量约束校正的三维图谱获取及重建方法,其特征在于,在步骤1)中,平行准直后的三维图谱尺寸为a*b*s,其中a*b为待重建图谱的二维图像尺寸,s为光谱维。
3.如权利要求1所述的基于编码采样板设计以及二次能量约束校正的三维图谱获取及重建方法,其特征在于,在步骤2)中,每块编码采样板由1和0组成,1代表通过该点的光能够完全通过,0代表通过该点的光完全不通过,每块板上1和0的总数为a*b。
4.如权利要求3所述的基于编码采样板设计以及二次能量约束校正的三维图谱获取及重建方法,其特征在于,每块编码采样板上的1和0随机分布。
5.如权利要求3所述的基于编码采样板设计以及二次能量约束校正的三维图谱获取及重建方法,其特征在于,所述编码采样板分为‘first’和‘second’两种;
对于‘first’编码板,其中每块板中1的个数为elenum_first,‘first’编码板的个数为masknum_first;
对于‘second’编码板,其中每块板中1的个数为elenum_second,‘second’编码板的个数为masknum_second;
以上参数需满足:
elenum_first=floor(a*b/n)
elenum_second=elenum_first+1
masknum_first=n*elenum_second-a*b
masknum_second=n-elenum_first
其中,floor为向下取整。
6.如权利要求5所述的基于编码采样板设计以及二次能量约束校正的三维图谱获取及重建方法,其特征在于,‘first’编码板与‘second’编码板出现顺序随机。
7.如权利要求1所述的基于编码采样板设计以及二次能量约束校正的三维图谱获取及重建方法,其特征在于,在步骤2)中,编码采样板的数量一共有n块,每块采样板的尺寸为a*b,像素单元大小与步骤4)中图像传感器的像素单元大小一致。
8.如权利要求1所述的基于编码采样板设计以及二次能量约束校正的三维图谱获取及重建方法,其特征在于,在步骤6)中,通过二步迭代收缩阈值算法进行单组三维图谱复原时,应在傅里叶频谱域完成重建,再对复原数据进行傅里叶逆变换得到复原的三维图谱。
9.如权利要求1所述的基于编码采样板设计以及二次能量约束校正的三维图谱获取及重建方法,其特征在于,在步骤6)中,对复原的三维图谱进行第一次能量约束校正;
假设第i组复原后的三维图谱为Ri,尺寸为a*b*s,相应第i块由0和1组成的编码采样板尺寸为a*b,若在采样板中数据为0点的位置集合为A,则相应位置处的三维图谱值需全部置0,即R1i(x,y,z)=0,((x,y)∈A;z=1,2,...,s);而其余位置的三维图谱值不变,即R1i(x,y,z)=Ri(x,y,z),
10.如权利要求1所述的基于编码采样板设计以及二次能量约束校正的三维图谱获取及重建方法,其特征在于,在步骤6)中,对复原的三维图谱进行第二次能量约束校正;
对于经过第一次能量约束校正后的三维图谱R1i,假设其中一点坐标为(x,y,z),(x=1,2,...a;y=1,2,...,b;z=1,2,...,s),压缩采样后的三维图谱在该点处产生了Comp(x,y,z)(1≤Comp≤s)个频谱通道的混叠,则第一次能量约束校正后的三维图谱R2i取值为
R2i(x,y,z)=R1i(x,y,z)*Comp(x,y,z)/max(1,Corri(x,y,z))
(x=1,2,...,a;y=1,2,...,b;z=1,2,...,s;i=1,2,...,n)
其中,max为求取变量Corri(x,y,z)和1中的较大值,Corri(x,y,z)为在(x,y,z)点处的校正因子,Corri(x,y,z)为初始化全1的三维图谱矩阵的(x,y,z)点的频谱混叠结果值,其中,1≤Corr≤s;
重建的三维图谱
CN201810260821.7A 2018-03-27 2018-03-27 基于编码采样板设计以及二次能量约束校正的三维图谱获取及重建方法 Active CN108801457B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810260821.7A CN108801457B (zh) 2018-03-27 2018-03-27 基于编码采样板设计以及二次能量约束校正的三维图谱获取及重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810260821.7A CN108801457B (zh) 2018-03-27 2018-03-27 基于编码采样板设计以及二次能量约束校正的三维图谱获取及重建方法

Publications (2)

Publication Number Publication Date
CN108801457A true CN108801457A (zh) 2018-11-13
CN108801457B CN108801457B (zh) 2021-02-09

Family

ID=64094611

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810260821.7A Active CN108801457B (zh) 2018-03-27 2018-03-27 基于编码采样板设计以及二次能量约束校正的三维图谱获取及重建方法

Country Status (1)

Country Link
CN (1) CN108801457B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112802135A (zh) * 2021-01-15 2021-05-14 安徽大学 一种超薄无透镜可分离压缩成像***及其标定与重建方法
CN113048907A (zh) * 2021-02-08 2021-06-29 浙江大学 一种基于宏像素分割的单像素多光谱成像方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1271850A (zh) * 1999-04-28 2000-11-01 中国科学院长春光学精密机械研究所 光栅与棱镜组合式超光谱图像测量方法
CN102914367A (zh) * 2012-10-25 2013-02-06 浙江大学 基于压缩感知的多光谱成像装置和方法
CN103743482A (zh) * 2013-11-22 2014-04-23 中国科学院光电研究院 一种光谱成像装置及光谱成像反演方法
CN104390705A (zh) * 2014-11-24 2015-03-04 中国科学院光电研究院 一种推扫式编码孔径光谱成像方法及装置
CN106679808A (zh) * 2016-12-26 2017-05-17 中国科学院合肥物质科学研究院 基于压缩光谱的关联成像***及其方法
US20180309941A1 (en) * 2017-04-19 2018-10-25 Drs Network & Imaging Systems, Llc Active hyperspectral imager

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1271850A (zh) * 1999-04-28 2000-11-01 中国科学院长春光学精密机械研究所 光栅与棱镜组合式超光谱图像测量方法
CN102914367A (zh) * 2012-10-25 2013-02-06 浙江大学 基于压缩感知的多光谱成像装置和方法
CN103743482A (zh) * 2013-11-22 2014-04-23 中国科学院光电研究院 一种光谱成像装置及光谱成像反演方法
CN104390705A (zh) * 2014-11-24 2015-03-04 中国科学院光电研究院 一种推扫式编码孔径光谱成像方法及装置
CN106679808A (zh) * 2016-12-26 2017-05-17 中国科学院合肥物质科学研究院 基于压缩光谱的关联成像***及其方法
US20180309941A1 (en) * 2017-04-19 2018-10-25 Drs Network & Imaging Systems, Llc Active hyperspectral imager

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112802135A (zh) * 2021-01-15 2021-05-14 安徽大学 一种超薄无透镜可分离压缩成像***及其标定与重建方法
CN112802135B (zh) * 2021-01-15 2022-12-02 安徽大学 一种超薄无透镜可分离压缩成像***及其标定与重建方法
CN113048907A (zh) * 2021-02-08 2021-06-29 浙江大学 一种基于宏像素分割的单像素多光谱成像方法及装置
CN113048907B (zh) * 2021-02-08 2022-04-22 浙江大学 一种基于宏像素分割的单像素多光谱成像方法及装置

Also Published As

Publication number Publication date
CN108801457B (zh) 2021-02-09

Similar Documents

Publication Publication Date Title
Wu et al. An error-bound-regularized sparse coding for spatiotemporal reflectance fusion
CN102708576B (zh) 基于结构字典的分块图像压缩感知重建方法
Arce et al. Compressive coded aperture spectral imaging: An introduction
KR101723738B1 (ko) 딕셔너리 학습 기반 해상도 향상 장치 및 방법
CN108955882B (zh) 基于液晶高光谱计算成像***的三维数据重构方法
Peng et al. Residual pixel attention network for spectral reconstruction from RGB images
CN110501072A (zh) 一种基于张量低秩约束的快照式光谱成像***的重构方法
CN108288256A (zh) 一种多光谱马赛克图像复原方法
Indhumadhi et al. Enhanced image fusion algorithm using laplacian pyramid and spatial frequency based wavelet algorithm
CN109979008A (zh) 一种基于属性的点云条带划分方法
CN106155299A (zh) 一种对智能设备进行手势控制的方法及装置
CN105758524A (zh) 基于全通单模板互补采样的光谱相机及成像方法
CN108801457A (zh) 基于编码采样板设计以及二次能量约束校正的三维图谱获取及重建方法
CN109087262A (zh) 一种多视图光谱图像的重建方法、存储介质
Wang et al. An ensemble multi-scale residual attention network (EMRA-net) for image Dehazing
CN109798978B (zh) 一种采用异形蓝色噪声编码孔径的光谱成像方法
US11609332B2 (en) Method and apparatus for generating image using LiDAR
Yin et al. A deep network based on wavelet transform for image compressed sensing
CN114612315A (zh) 一种基于多任务学习的高分辨率影像缺失区域重建方法
He et al. Meta‐Attention Network based Spectral Reconstruction with Snapshot Near‐Infrared Metasurface
CN103116888A (zh) 利用平面三角形求解摄像机的内参数
CN114565511B (zh) 基于全局单应性估计的轻量级图像配准方法、***及装置
Xian-chuan et al. Remote sensing image fusion based on integer wavelet transformation and ordered nonnegative independent component analysis
Garbat et al. Structured light camera calibration
Fotiadou et al. Spectral resolution enhancement of hyperspectral images via sparse representations

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant