CN107764797A - 一种基于低秩张量算法的拉曼光谱图像数据预处理方法 - Google Patents
一种基于低秩张量算法的拉曼光谱图像数据预处理方法 Download PDFInfo
- Publication number
- CN107764797A CN107764797A CN201710859605.XA CN201710859605A CN107764797A CN 107764797 A CN107764797 A CN 107764797A CN 201710859605 A CN201710859605 A CN 201710859605A CN 107764797 A CN107764797 A CN 107764797A
- Authority
- CN
- China
- Prior art keywords
- tensor
- rank
- low
- noise
- spectral image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/65—Raman scattering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
- G06F2218/04—Denoising
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Pure & Applied Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Biochemistry (AREA)
- Algebra (AREA)
- Computing Systems (AREA)
- Immunology (AREA)
- General Health & Medical Sciences (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Pathology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Spectrometry And Color Measurement (AREA)
Abstract
一种基于低秩张量算法的拉曼光谱图像数据预处理方法,包括:将采集得到的拉曼光谱图像数据转换成三阶张量的形式,利用张量分解与重构的方法构建新的低秩三阶张量;通过迭代优化算法、最优逼近算法得到原始数据张量的低秩逼近张量;构建噪声分布的数据库,基于大数据统计判断原始数据中的噪声分量是否符合噪声分布;如果符合,此时的低秩逼近张量即为最佳低秩逼近张量,所述最佳低秩逼近张量是原始数据中的光谱信息部分,剔除了大量的白噪声与光子噪声,从而提高了拉曼光谱图像数据的信噪比。本方法简单易行,不用对采集仪器进行改造,对于现有的拉曼光谱成像技术,可以极大地降低信号采集时间,在拉曼光谱成像技术研究上将有着广阔前景。
Description
技术领域
本发明涉及光谱检测技术领域,尤其涉及一种基于低秩张量算法的拉曼光谱图像数据预处理方法。
背景技术
拉曼光谱成像技术是拉曼光谱分析技术的新发展,它将拉曼光谱技术与显微技术有效结合,借助共聚焦显微拉曼光谱仪以及信号探测装置,将拉曼测量的空间分辨率提升到微米尺度,对传统拉曼光谱技术中单点的分析方式进行拓展,在一定范围内进行综合性的分析,从而用图像的方式显示样品的物理、化学性质的空间分布,在环境学、医药学和生命科学等方面有着广泛的应用。
目前,对于拉曼图像数据噪声处理的手段比较单一,局限于一些常规的数字信号滤波手段,如:傅里叶滤波和小波滤波。
这些常规滤波方法不能从本质上提高信号的信噪比。所以对于信号采集来说,为了保证数据的有效性,拉曼采集过程需要较长的积分时间,这样导致整个信号采集过程变得非常漫长,极大的限制了拉曼光谱成像技术的应用与发展。
发明内容
本发明提供了一种基于低秩张量算法的拉曼光谱图像数据预处理方法,本发明可以极大地提高拉曼光谱图像数据的信噪比,从而缩短光谱图像数据的采集时间,快速准确的得到拉曼光谱图像,是一种高效准确的拉曼光谱图像预处理方式,详见下文描述:
一种基于低秩张量算法的拉曼光谱图像数据预处理方法,所述拉曼光谱图像数据预处理方法包括以下步骤:
1)将采集得到的拉曼光谱图像数据转换成三阶张量的形式,利用张量分解与重构的方法构建新的低秩三阶张量;
2)通过迭代优化算法、最优逼近算法得到原始数据张量的低秩逼近张量;
3)构建噪声分布的数据库,基于大数据统计判断原始数据中的噪声分量是否符合噪声分布;
如果符合,此时的低秩逼近张量即为最佳低秩逼近张量,所述最佳低秩逼近张量是原始数据中的光谱信息部分,剔除了大量的白噪声与光子噪声,从而提高了拉曼光谱图像数据的信噪比;
如果不符合,进行下次迭代,重新执行步骤2)。
所述将采集得到的拉曼光谱图像数据转换成三阶张量的形式,利用张量分解与重构的方法构建新的低秩三阶张量具体为:
将采集得到的拉曼光谱图像数据构成三阶张量通过迭代优化的方法由张量求得张量使得张量是张量的最佳低秩逼近张量,即:
将张量降秩处理,构成秩为1的张量作为初始值;
通过比较张量和来寻找的最优逼近方向st+1,即:
其中,s为最优逼近方向,t为迭代次数,▽为微分算子。
所述通过迭代优化算法、最优逼近算法得到原始数据张量的低秩逼近张量具体为:
根据最陡梯度算法,计算最优迭代步长r:
依据最优逼近方向st+1与最优迭代步长rt+1对进行更新,得到
Nt+1为此次迭代下原始数据中的噪声分量:
构建噪声分布的数据库,基于大数据统计判别Nt+1是否符合噪声分布;
当Nt+1符合噪声分布时,迭代停止,此时的张量即为原始数据张量的最佳低秩逼近张量。
本发明提供的技术方案的有益效果是:
1、本方法简单易行,不用对采集仪器进行改造,可以极大地提高数据的信噪比;
2、对于现有的拉曼光谱成像技术,可以极大地降低信号采集时间,在拉曼光谱成像技术研究上将有着广阔前景。
附图说明
图1是一种基于低秩张量算法的拉曼光谱图像数据预处理方法的流程图;
图2是本发明提供的二维拉曼光谱图像;
(a)和(c)是原始数据在拉曼频移574.3cm-1和746.4cm-1处的二维拉曼图像;
(b)和(d)是用本发明处理后的数据在拉曼频移574.3cm-1和746.4cm-1处的二维拉曼图像。
图3是本发明提供的一维拉曼光谱图。
其中,(a)是原始数据;(b)是用本发明处理后的数据;(a)和(b)取自数据的同一位置点。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面对本发明实施方式作进一步地详细描述。
实施例1
一种基于低秩张量算法的拉曼光谱图像数据预处理方法,参见图1,该方法包括以下步骤:
101:将采集得到的拉曼光谱图像数据转换成三阶张量的形式,利用张量分解与重构的方法构建新的低秩三阶张量;
102:通过迭代优化算法、最优逼近算法得到原始数据张量的低秩逼近张量;
103:构建噪声分布的数据库,基于大数据统计判断原始数据中的噪声分量是否符合噪声分布,如果是,执行步骤104;如果否,执行步骤105;
104:此时的低秩逼近张量即为最佳低秩逼近张量,所述最佳低秩逼近张量是原始数据中的光谱信息部分,剔除了大量的白噪声与光子噪声,从而提高了拉曼光谱图像数据的信噪比;
105:进行下次迭代,重新执行步骤102。
综上所述,本发明实施例应用张量最佳低秩逼近的方法对拉曼光谱数据进行降噪处理,可以大幅度的提高原始数据的信噪比。本发明实施例适用于目前所有的拉曼光谱成像技术,可以将光谱积分时间缩短到1/10到1/20之间,无需对光谱仪进行任何硬件调整,快速准确地得到拉曼光谱图像数据。
实施例2
下面结合具体的计算公式、实例对实施例1中的方案进行进一步地介绍,详见下文描述:
本发明实施例主要通过低秩张量算法来实现,以拉曼光谱图像全局低秩分解的方法为例,下面详细介绍本发明具体实现方法:
拉曼光谱图像中各个光谱有着极大的相关性,而依据线性光谱混合模型,每条光谱又可以由少量的光谱端元组成,这证明了真实的拉曼光谱图像具有低秩性。
在实际测量中,噪声会极大的破坏拉曼光谱图像的低秩性,可以通过构建采集数据的最佳逼近张量来分离拉曼光谱图像中的噪声,从而加快拉曼光谱图像的采集速度。
拉曼光谱图像全局低秩分解是本发明实施例提出的一种用于分解三维拉曼光谱图像成分的一种方法。拉曼光谱图像全局低秩分解以逐次张量最佳秩一逼近为基础,结合拉曼光谱图像噪声大信号弱的特点,同时考虑信号分布与噪声分布,可自适应调节参数,从而高效的将采集数据中的光谱信息与噪声分离。
将采集得到的拉曼光谱图像数据构成三阶张量通过迭代优化的方法由张量求得张量使得张量是张量的最佳低秩逼近张量,即:
将张量降秩处理,构成秩为1的张量作为初始值。通过比较张量和来寻找的最优逼近方向st+1,即:
其中,s为最优逼近方向,t为迭代次数,▽为微分算子。
根据最陡梯度算法,计算最优迭代步长r:
依据最优逼近方向st+1与最优迭代步长rt+1对进行更新,得到
此时的张量即为原始数据张量的低秩逼近张量,Nt+1为此次迭代下原始数据中的噪声分量:
构建噪声分布的数据库,基于大数据统计判别Nt+1是否符合噪声分布。当不符合时进行下次迭代;当符合噪声分布时,迭代停止,此时的张量即为原始数据张量的最佳低秩逼近张量。最佳低秩逼近张量是原始数据中的光谱信息部分,剔除了大量的白噪声与光子噪声,可以极大的提高光谱图像的信噪比。
其中,上述构建噪声分布的数据库具体为:可以在实验之前对仪器的自身噪声进行检测,将检测到的数据存放在数据库中,形成噪声分布的数据库。当噪声分量Nt+1的数据在数据库中有对应匹配时,即说明噪声分量Nt+1符合噪声分布,反之,则不符合噪声分布,需要进行下次迭代。
实施例3
下面结合具体的试验、图2和图3对实施例1和2中的方案进行可行性验证,详见下文描述:
图2的(a)和(c)是原始数据在拉曼频移574.3cm-1和746.4cm-1处的二维拉曼图像;(b)和(d)是用本方法处理后的数据在拉曼频移574.3cm-1和746.4cm-1处的二维拉曼图像。测量样品是由两种样本混合而成的二元样品,通过两种物质的两个特征峰位置的二维拉曼光谱图像可以看出,原始数据完全无法区分两种样本的空间分布,而经过本方法处理后,可以清晰的区分样品的空间分布情况。
图3是处理结果的一维拉曼光谱图。其中(a)是原始数据,(b)是用本方法处理后的数据。(a)和(b)取自数据的同一位置点,光谱(a)的信噪比为2.14,光谱(b)的信噪比为195.21,信噪比提高了91.22倍。
从结果可以看出,本方法可以极大地提高拉曼光谱图像数据的信噪比,从而降低拉曼光谱成像技术对于原始数据质量的要求,极大的减少拉曼光谱采集的积分时间,是一种简单高效的拉曼光谱图像数据处理技术。
本领域技术人员可以理解附图只是一个优选实施例的示意图,上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (3)
1.一种基于低秩张量算法的拉曼光谱图像数据预处理方法,其特征在于,所述拉曼光谱图像数据预处理方法包括以下步骤:
1)将采集得到的拉曼光谱图像数据转换成三阶张量的形式,利用张量分解与重构的方法构建新的低秩三阶张量;
2)通过迭代优化算法、最优逼近算法得到原始数据张量的低秩逼近张量;
3)构建噪声分布的数据库,基于大数据统计判断原始数据中的噪声分量是否符合噪声分布;
如果符合,此时的低秩逼近张量即为最佳低秩逼近张量,所述最佳低秩逼近张量是原始数据中的光谱信息部分,剔除了大量的白噪声与光子噪声,从而提高了拉曼光谱图像数据的信噪比,流程结束;
如果不符合,进行下次迭代,重新执行步骤2)。
2.根据权利要求1所述的一种基于低秩张量算法的拉曼光谱图像数据预处理方法,其特征在于,所述将采集得到的拉曼光谱图像数据转换成三阶张量的形式,利用张量分解与重构的方法构建新的低秩三阶张量具体为:
将采集得到的拉曼光谱图像数据构成三阶张量通过迭代优化的方法由张量求得张量使得张量是张量的最佳低秩逼近张量,即:
将张量降秩处理,构成秩为1的张量作为初始值;
通过比较张量来寻找的最优逼近方向st+1,即:
其中,s为最优逼近方向,t为迭代次数,▽为微分算子。
3.根据权利要求1所述的一种基于低秩张量算法的拉曼光谱图像数据预处理方法,其特征在于,所述通过迭代优化算法、最优逼近算法得到原始数据张量的低秩逼近张量具体为:
根据最陡梯度算法,计算最优迭代步长r:
依据最优逼近方向st+1与最优迭代步长rt+1对进行更新,得到
Nt+1为此次迭代下原始数据中的噪声分量:
构建噪声分布的数据库,基于大数据统计判别Nt+1是否符合噪声分布;
当Nt+1符合噪声分布时,迭代停止,此时的张量即为原始数据张量的最佳低秩逼近张量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710859605.XA CN107764797B (zh) | 2017-09-21 | 2017-09-21 | 一种基于低秩张量算法的拉曼光谱图像数据预处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710859605.XA CN107764797B (zh) | 2017-09-21 | 2017-09-21 | 一种基于低秩张量算法的拉曼光谱图像数据预处理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107764797A true CN107764797A (zh) | 2018-03-06 |
CN107764797B CN107764797B (zh) | 2020-03-03 |
Family
ID=61267542
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710859605.XA Expired - Fee Related CN107764797B (zh) | 2017-09-21 | 2017-09-21 | 一种基于低秩张量算法的拉曼光谱图像数据预处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107764797B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109993155A (zh) * | 2019-04-23 | 2019-07-09 | 北京理工大学 | 针对低信噪比紫外拉曼光谱的特征峰提取方法 |
CN110501072A (zh) * | 2019-08-26 | 2019-11-26 | 北京理工大学 | 一种基于张量低秩约束的快照式光谱成像***的重构方法 |
CN110648275A (zh) * | 2019-09-24 | 2020-01-03 | 广州大学 | 一种多信道剪影重建方法、装置、存储介质及终端设备 |
CN111105364A (zh) * | 2019-12-03 | 2020-05-05 | 复旦大学 | 一种基于秩一分解和神经网络的图像复原方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100312797A1 (en) * | 2009-06-05 | 2010-12-09 | Xerox Corporation | Hybrid tensor-based cluster analysis |
CN102938072A (zh) * | 2012-10-20 | 2013-02-20 | 复旦大学 | 一种基于分块低秩张量分析的高光谱图像降维和分类方法 |
CN103247034A (zh) * | 2013-05-08 | 2013-08-14 | 中国科学院光电研究院 | 一种基于稀疏光谱字典的压缩感知高光谱图像重构方法 |
CN104220979A (zh) * | 2009-05-27 | 2014-12-17 | 章寅 | 时空压缩感知方法及装置 |
CN104280338A (zh) * | 2013-07-10 | 2015-01-14 | 福州高意通讯有限公司 | 一种拉曼增强的测量装置和方法及使用的离轴积分腔结构 |
CN105069758A (zh) * | 2015-08-21 | 2015-11-18 | 武汉大学 | 一种基于鲁棒低秩张量的高光谱图像去噪方法 |
CN105160623A (zh) * | 2015-08-17 | 2015-12-16 | 河南科技学院 | 基于组块低秩张量模型的无监督高光谱数据降维方法 |
-
2017
- 2017-09-21 CN CN201710859605.XA patent/CN107764797B/zh not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104220979A (zh) * | 2009-05-27 | 2014-12-17 | 章寅 | 时空压缩感知方法及装置 |
US20100312797A1 (en) * | 2009-06-05 | 2010-12-09 | Xerox Corporation | Hybrid tensor-based cluster analysis |
CN102938072A (zh) * | 2012-10-20 | 2013-02-20 | 复旦大学 | 一种基于分块低秩张量分析的高光谱图像降维和分类方法 |
CN103247034A (zh) * | 2013-05-08 | 2013-08-14 | 中国科学院光电研究院 | 一种基于稀疏光谱字典的压缩感知高光谱图像重构方法 |
CN104280338A (zh) * | 2013-07-10 | 2015-01-14 | 福州高意通讯有限公司 | 一种拉曼增强的测量装置和方法及使用的离轴积分腔结构 |
CN105160623A (zh) * | 2015-08-17 | 2015-12-16 | 河南科技学院 | 基于组块低秩张量模型的无监督高光谱数据降维方法 |
CN105069758A (zh) * | 2015-08-21 | 2015-11-18 | 武汉大学 | 一种基于鲁棒低秩张量的高光谱图像去噪方法 |
Non-Patent Citations (4)
Title |
---|
MOHAMMAD GOLBABAEE: "Hyperspectral image compressed sensing via low-rank and joint sparse matrix recovery", 《INSTITUTE OF ELECTRICAL AND ELECTRONICS ENGINEERS》 * |
宛昭勋: "对称张量的对称分解及其最佳低秩逼近", 《中国优秀硕士学位论文全文数据库 基础科学辑》 * |
王丽琪: "张量低秩逼近与梯度流方法", 《万方》 * |
陈昭 等: "基于低秩张量分析的高光谱图像降维与分类", 《红外与毫米波学报》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109993155A (zh) * | 2019-04-23 | 2019-07-09 | 北京理工大学 | 针对低信噪比紫外拉曼光谱的特征峰提取方法 |
CN110501072A (zh) * | 2019-08-26 | 2019-11-26 | 北京理工大学 | 一种基于张量低秩约束的快照式光谱成像***的重构方法 |
CN110501072B (zh) * | 2019-08-26 | 2020-07-24 | 北京理工大学 | 一种基于张量低秩约束的快照式光谱成像***的重构方法 |
CN110648275A (zh) * | 2019-09-24 | 2020-01-03 | 广州大学 | 一种多信道剪影重建方法、装置、存储介质及终端设备 |
CN110648275B (zh) * | 2019-09-24 | 2023-05-09 | 广州大学 | 一种多信道剪影重建方法、装置、存储介质及终端设备 |
CN111105364A (zh) * | 2019-12-03 | 2020-05-05 | 复旦大学 | 一种基于秩一分解和神经网络的图像复原方法 |
CN111105364B (zh) * | 2019-12-03 | 2023-04-28 | 复旦大学 | 一种基于秩一分解和神经网络的图像复原方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107764797B (zh) | 2020-03-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107764797A (zh) | 一种基于低秩张量算法的拉曼光谱图像数据预处理方法 | |
CN103134765A (zh) | 一种基于太赫兹时域光谱的中药样品真伪初筛方法 | |
CN101210875A (zh) | 基于近红外光谱技术的无损测量土壤养分含量的方法 | |
CN1831515A (zh) | 用可见光和近红外光谱技术无损鉴别作物种子品种的方法 | |
CN109299501B (zh) | 一种基于工作流的振动光谱分析模型优化方法 | |
CN105279379B (zh) | 基于凸组合核函数主成分分析的太赫兹光谱特征提取方法 | |
CN109858477A (zh) | 用深度森林在复杂环境中识别目标物的拉曼光谱分析方法 | |
CN109211803A (zh) | 一种基于显微多光谱技术对微塑料进行快速识别的装置 | |
CN100357725C (zh) | 近红外技术快速检测牛肉嫩度的方法和装置 | |
Chen et al. | Watermelon ripeness detection by wavelet multiresolution decomposition of acoustic impulse response signals | |
Zhang et al. | Ground-penetrating radar railroad ballast inspection with an unsupervised algorithm to boost the region of interest detection efficiency | |
CN104655583A (zh) | 一种基于傅里叶红外光谱的煤质快速识别方法 | |
CN108663576A (zh) | 一种复杂环境下微弱电磁红信号检测方法 | |
CN101916439B (zh) | 基于希尔伯特-黄变换的空间碎片高光谱序列探测方法 | |
CN113378680A (zh) | 一种拉曼光谱数据的智能建库方法 | |
CN102135496A (zh) | 基于多尺度回归的红外光谱定量分析方法和装置 | |
Zhang-Quan et al. | Mapping of total carbon and clay contents in glacial till soil using on-the-go near-infrared reflectance spectroscopy and partial least squares regression | |
Jiang et al. | Extracting sensitive spectrum bands of rapeseed using multiscale multifractal detrended fluctuation analysis | |
CN110793920B (zh) | 一种化学成像与高光谱联用的大气遥测方法 | |
Beguet et al. | Retrieving forest structure variables from very high resolution satellite images using an automatic method | |
Zhang et al. | A New Approach for Mineral Mapping Using Drill-Core Hyperspectral Image | |
Zeng et al. | Weak information extraction of gamma spectrum based on a two-dimensional wavelet transform | |
CN109030452A (zh) | 一种基于五点三次平滑算法的拉曼光谱数据降噪方法 | |
Chen et al. | Discussion on remote sensing estimation of soil nutrient contents | |
Cheng et al. | Chlorophyll content diagnosis model of winter wheat at heading stage applied in miniature spectrometer |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200303 Termination date: 20200921 |