CN116994117A - 目标光谱分析模型的训练方法、装置、设备及存储介质 - Google Patents

目标光谱分析模型的训练方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116994117A
CN116994117A CN202311016817.3A CN202311016817A CN116994117A CN 116994117 A CN116994117 A CN 116994117A CN 202311016817 A CN202311016817 A CN 202311016817A CN 116994117 A CN116994117 A CN 116994117A
Authority
CN
China
Prior art keywords
spectrum
spectral
target
data
analysis model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311016817.3A
Other languages
English (en)
Inventor
请求不公布姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Xianwen Technology Co ltd
Original Assignee
Shenzhen Xianwen Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Xianwen Technology Co ltd filed Critical Shenzhen Xianwen Technology Co ltd
Priority to CN202311016817.3A priority Critical patent/CN116994117A/zh
Publication of CN116994117A publication Critical patent/CN116994117A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/39—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using tunable lasers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及激光光谱分析技术领域，公开了一种目标光谱分析模型的训练方法、装置、设备及存储介质。所述目标光谱分析模型的训练方法包括：获取各种不同种类的物质的光谱特征数据；对所述光谱特征数据进行处理，得到各个物质在不同光谱波长下的光谱强度；记录每个光谱波长下的光谱强度，得到各个光谱强度对应的光谱线；对所述光谱线进行组合，得到光谱矩阵。本发明利用岭回归算法和机器学习模型，能够生成精确且可靠的光谱特性预测。并且利用颜色图来可视化数据，使得数据分析结果更直观、易于理解。本发明提供了一个快速、准确且低成本的光谱数据处理和分析方式，可以广泛应用于科学研究和工业生产。

Description

目标光谱分析模型的训练方法、装置、设备及存储介质
技术领域
本发明涉及激光光谱分析技术领域，尤其涉及一种目标光谱分析模型的训练方法、装置、设备及存储介质。
背景技术
光谱分析是一种强大的工具，可以用来研究不同物质的性质。通过研究物质发射或吸收光线的方式，可以得到关于它们结构、成分和物理特性的重要信息。
现有的光谱分析方法主要依赖于大量的实验数据，而且往往需要专门的软件和专业知识才能进行分析。此外，一些常用的数据处理和分析方法，如线性回归，无法有效地处理大型的复杂数据集。因此，需要一种更高效、更准确的方式来处理和分析光谱数据。
发明内容
本发明提供了一种目标光谱分析模型的训练方法、装置、设备及存储介质，用于解决如何实现通过机器学习模型提供一种更高效、更准确的方式来处理和分析光谱数据。
本发明第一方面提供了一种目标光谱分析模型的训练方法，所述目标光谱分析模型的训练方法包括：
获取各种不同种类的物质的光谱特征数据；其中，所述光谱特征数据提前存储于光谱库中；
对所述光谱特征数据进行处理，得到各个物质在不同光谱波长下的光谱强度；
记录每个光谱波长下的光谱强度，得到各个光谱强度对应的光谱线；对所述光谱线进行组合，得到光谱矩阵；其中，所述光谱线至少包括一个从最短光谱波长到最长光谱波长的连续或离散序列；所述光谱矩阵的行表示不同的观测位置或不同的观测时间点，所述光谱矩阵的列表示不同的光谱波长；
通过预设的岭回归算法对所述光谱矩阵进行统计分析，生成回归系数；其中，所述回归系数用于表示各个光谱波长与各个光谱强度的对应关系；
根据所述回归系数和所述光谱强度计算每个光谱线的得分，生成得分结果；将所述得分结果映射至预设的颜色图中，生成得分图像；
将所述得分图像输入至预设原始模型中进行训练，得到目标光谱分析模型；其中，所述目标光谱分析模型用于对所述光谱库中的光谱特征数据进行预测分析。
可选的，在本发明第一方面的第一种实现方式中，所述获取各种不同种类的物质的光谱特征数据的步骤之前，包括：
创建一个光谱文件夹，并在所述光谱文件夹中创建数据表，将所述光谱特征数据存储于所述数据表中；
在预设的数据库中存储的字母表中随机选择一个目标字母；其中，所述预设的数据库中预先存储有一个字母表，所述字母表包括多个不同的英文大写字母和/或多个不同的英文小写字母；
将所述目标字母发送至光谱库管理终端；其中，所述光谱库管理终端基于所述目标字母生成对应的加密密码；
接收所述光谱库管理终端返回的所述加密密码，并根据所述加密密码对所述光谱文件夹的数据表进行加密，得到加密后的数据表。
可选的，在本发明第一方面的第二种实现方式中，所述获取各种不同种类的物质的光谱特征数据的步骤之前，包括：
创建一个光谱文件夹，并在所述光谱文件夹中创建数据表，将所述光谱特征数据存储于所述数据表中；
对所述数据表进行初始化，按照预设的分区规则将所述数据表转换为多个分区表；其中，所述分区规则根据添加的不同的分区值所生成；
对各个分区表分别进行哈希处理，得到对应的哈希值，将各个分区表对应的哈希值进行字符串拼接处理，得到第一字符串；
将所述第一字符串添加至预设的颜色图层中成对应的图片，将所述图片存储至所述光谱文件夹中；
获取标识字段的字符数量，根据所述字符数量匹配对应的字符分割方式；其中，所述标识字段存储于预设的数据库中；并且预先存储有字符数量与字符分割方式的对应关系至预设的数据库；
基于匹配的所述字符分割方式对所述标识字段进行分割，得到多个依次排序的字符区间；
获取各个所述字符区间的首字母，并选择出首字母为预设字符的目标字符区间；获取所述目标字符区间中的字符作为指定标识符；
将所述指定标识符发送至光谱库管理终端；其中，所述光谱库管理终端基于所述指定标识符生成对应的加密密码；
接收所述光谱库管理终端返回的所述加密密码，并根据所述加密密码对所述光谱文件夹进行加密，得到加密后的光谱文件夹。
可选的，在本发明第一方面的第三种实现方式中，所述将所述得分图像输入至预设原始模型中进行训练，得到目标光谱分析模型，包括：
建立多尺度特征融合结构，所述多尺度特征融合结构用于融合不同尺度光谱特征数据；
抽取第三个模组至第五个模组输出的光谱特征数据，光谱数据特征数据输出表示为{C3 ,C4 ,C5 }，每个输出表示通过1×1卷积生成256个特征得分图像；
在对应的3层卷积结构表示为{M3 ,M4 ,M5 }后，将每层特征得分图像进行自底向上融合，得到融合后的光谱特征数据；其中，所述目标光谱分析模型主干网络包含5个模组，5个模组的后4个模组由多种不同种类的残差块组成；
将融合后的光谱特征数据输入至预设原始模型中进行训练，得到训练后的目标光谱分析模型。
可选的，在本发明第一方面的第四种实现方式中，所述将每层特征得分图像进行自底向上融合，具体步骤为：
卷积结构M5层特征得分图像尺度通过上采样扩充至与卷积结构M4层相同的特征得分图像尺度大小；
将上采样特征信息与卷积结构M4特征得分图像融合，融合后的特征得分图像再经过上采样层，对应的尺度扩充至与卷积结构M3层相同尺度；
将融合后上采样信息再与卷积结构M3融合，最终获得融合后的光谱特征数据；基于所述融合后的光谱特征数据生成目标光谱分析模型对各个物质的预测分析结果。
本发明第二方面提供了一种目标光谱分析模型的训练装置，所述目标光谱分析模型的训练装置包括：
获取模块，用于获取各种不同种类的物质的光谱特征数据；其中，所述光谱特征数据提前存储于光谱库中；
处理模块，用于对所述光谱特征数据进行处理，得到各个物质在不同光谱波长下的光谱强度；
组合模块，用于记录每个光谱波长下的光谱强度，得到各个光谱强度对应的光谱线；对所述光谱线进行组合，得到光谱矩阵；其中，所述光谱线至少包括一个从最短光谱波长到最长光谱波长的连续或离散序列；所述光谱矩阵的行表示不同的观测位置或不同的观测时间点，所述光谱矩阵的列表示不同的光谱波长；
统计分析模块，用于通过预设的岭回归算法对所述光谱矩阵进行统计分析，生成回归系数；其中，所述回归系数用于表示各个光谱波长与各个光谱强度的对应关系；
计算模块，用于根据所述回归系数和所述光谱强度计算每个光谱线的得分，生成得分结果；将所述得分结果映射至预设的颜色图中，生成得分图像；
生成模块，用于将所述得分图像输入至预设原始模型中进行训练，得到目标光谱分析模型；其中，所述目标光谱分析模型用于对所述光谱库中的光谱特征数据进行预测分析。
本发明第三方面提供了一种目标光谱分析模型的训练设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述目标光谱分析模型的训练设备执行上述的目标光谱分析模型的训练方法。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的目标光谱分析模型的训练方法。
本发明提供的技术方案中，有益效果：本发明提供一种目标光谱分析模型的训练方法、装置、设备及存储介质，通过获取各种不同种类的物质的光谱特征数据；对所述光谱特征数据进行处理，得到各个物质在不同光谱波长下的光谱强度；记录每个光谱波长下的光谱强度，得到各个光谱强度对应的光谱线；对所述光谱线进行组合，得到光谱矩阵；通过预设的岭回归算法对所述光谱矩阵进行统计分析，生成回归系数；根据所述回归系数和所述光谱强度计算每个光谱线的得分，生成得分结果；将所述得分结果映射至预设的颜色图中，生成得分图像；将所述得分图像输入至预设原始模型中进行训练，得到目标光谱分析模型；本发明预设原始模型的训练可以生成对各个光谱线得分的准确预测，大大提高了分析结果的准确性。并且目标光谱分析模型的应用可以用于预测分析任意光谱库中的光谱特征数据，提供了广泛的应用可能性。本发明实现了从复杂的光谱数据中提取有用的信息，得到精确且可靠的光谱特性预测，大大提升了光谱分析的效率和准确性。
附图说明
图1为本发明实施例中目标光谱分析模型的训练方法的一个实施例示意图；
图2为本发明实施例中目标光谱分析模型的训练装置的一个实施例示意图。
具体实施方式
本发明实施例提供了一种目标光谱分析模型的训练方法、装置、设备及存储介质。本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中目标光谱分析模型的训练方法的一个实施例包括：
101、获取各种不同种类的物质的光谱特征数据；其中，所述光谱特征数据提前存储于光谱库中；
可以理解的是，本发明的执行主体可以为目标光谱分析模型的训练装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
具体的，获取不同种类物质的光谱特征数据并存储在光谱库中的实现方法如下：
设备选择：选择合适的光谱采集设备，如光谱仪或分光计，以获取物质的光谱特征数据。例如，使用红外光谱仪来测量食品中的脂肪含量。
样本准备：准备需要测量的不同种类物质的样本。例如，对于植物叶片的光谱特征测量，可以选择不同种类的植物并准备其叶片样本。
光谱测量：使用选择的光谱采集设备对每个样品进行光谱测量。例如，将食品样品放置在红外光谱仪中，记录样品在不同波长下的光谱强度。
数据处理和特征提取：对测量到的光谱数据进行处理和特征提取。例如，进行背景校正和噪声滤波，然后提取特定波长下的吸收峰强度。
光谱库构建和存储：将提取的光谱特征数据存储在光谱库中。例如，创建一个数据库，每个物质都有一个条目，存储其对应的光谱特征数据。例如，可以为苹果、香蕉和橙子创建条目，并将它们的光谱特征数据与之关联。
102、对所述光谱特征数据进行处理，得到各个物质在不同光谱波长下的光谱强度；
具体的，实现光谱特征数据的处理，获取各物质在各光谱波长下的强度，具体步骤为：
光谱数据采集: 通过光谱仪获取物质的光谱表现。例如，对化合物样品进行拉曼或红外光谱分析，录取完整的光谱数据。
光谱分解: 将原始的连续光谱数据进行离散化处理，根据物质吸收或者发射光的具体波长，获取各个波长下的光强度。例如，设某个波长为λ，其对应的光谱强度为I(λ)。
光谱强度记录: 对各个波长下的光谱强度进行记录，形成一个光谱强度的数值序列。取每10纳米为一单位，例如波长从400纳米到800纳米，每10纳米记录一次，这样就得到了一个长度为40的光强度序列。
形成光谱数据特征: 对所记录的每个物质光强度系列进行组织，形成光谱特征矩阵，其中行表示不同的物质，列表示不同的波长，元素值则表示对应的光谱强度。
103、记录每个光谱波长下的光谱强度，得到各个光谱强度对应的光谱线；对所述光谱线进行组合，得到光谱矩阵；其中，所述光谱线至少包括一个从最短光谱波长到最长光谱波长的连续或离散序列；所述光谱矩阵的行表示不同的观测位置或不同的观测时间点，所述光谱矩阵的列表示不同的光谱波长；
具体的，实现记录每个光谱波长下的光谱强度，形成光谱线并组成光谱矩阵的步骤如下：
光谱强度记录: 使用光谱仪测量特定物质在各个光谱波长下的光谱强度，记录得到一系列数据。例如，可以在 200-800 nm 的范围内，每 0.1 nm 记录一次光强度值，形成一条从最短到最长波长的离散或连续的光谱线。
光谱线组织: 对所测量的光谱强度点进行有序组织，每个光谱强度点在光谱线上对应一个特定的波长，由此对应的光谱强度与波长可以形成一条光谱线。
构建光谱矩阵: 按照测量的观测位置或观测时间点，将各条光谱线进行组合，形成一个二维光谱矩阵。光谱矩阵的行表示不同的观测位置或不同的观测时间点，列表示不同的光谱波长，而且在光谱矩阵的每个元素位置上是对应观察位置或时间点、光谱波长的光谱强度值。
104、通过预设的岭回归算法对所述光谱矩阵进行统计分析，生成回归系数；其中，所述回归系数用于表示各个光谱波长与各个光谱强度的对应关系；
具体的，实现通过预设的岭回归算法对光谱矩阵进行统计分析，生成回归系数的步骤如下：
预处理：首先对光谱矩阵进行必要的预处理，包括去噪、归一化等操作，使得数据适合进行高效的岭回归分析。
岭回归分析：利用预设的岭回归算法，例如利用scikit-learn库中的Ridge类，对处理过的光谱矩阵进行岭回归分析。在岭回归分析中，通常需要设置一个适当的正则化系数。
生成回归系数：岭回归运算结束后，将得到一个回归系数向量，这个向量包含若干回归系数。每一个回归系数都对应一定的光谱波长，该回归系数代表了该光谱波长上的光谱强度对最终输出的影响权重。
例如，如果某次岭回归的结果系数向量为[0.5, -0.2, 0.3]，就代表了光谱强度在相应波长上的对应关系，如第一个波长的光谱强度具有正的影响，第二个波长的光谱强度具有负的影响，第三个波长的光谱强度具有正的影响。
105、根据所述回归系数和所述光谱强度计算每个光谱线的得分，生成得分结果；将所述得分结果映射至预设的颜色图中，生成得分图像；
具体的，实现根据回归系数和光谱强度计算每个光谱线得分，并生成得分图像的步骤如下：
计算每条光谱线的得分：对每一条光谱线，有一系列的光谱强度值，同时也有预先计算或给定的对应波长的回归系数。可以通过将每个波长的光谱强度与相应的回归系数相乘，然后将所有乘积相加，得到每一条光谱线的得分。即，得分 = Σ(光谱强度 × 对应波长的回归系数)。
生成得分结果：对每一条光谱线进行上述操作，将得到对应所有光谱线的得分结果。
映射生成得分图像：将得分结果映射到预设的颜色图中，每个得分值对应颜色图中的一种颜色，这样就可以生成得分图像。例如，假设预设颜色图为热力图，高得分可以映射为红色，低得分映射为蓝色，通过这种方式就可以将得分结果体现在得分图像中。
106、将所述得分图像输入至预设原始模型中进行训练，得到目标光谱分析模型；其中，所述目标光谱分析模型用于对所述光谱库中的光谱特征数据进行预测分析。
具体的，实现将得分图像输入预设原始模型进行训练，获得目标光谱分析模型的步骤如下：
预处理：首先，将得分图像进行必要的预处理。图像通常需要转化为适合模型学习的数值矩阵或张量形式。例如，在使用深度学习模型如卷积神经网络（CNN）时，图像通常被转化为三维张量（高度、宽度、颜色通道）。
设定模型：定义预设的原始模型，模型的类型取决于具体任务和数据类型。例如，如果是图像数据，可能选择的模型是卷积神经网络（CNN）。
训练模型：输入得分图像数据到原始模型进行训练。利用得分图像训练预设的原始模型，得到目标光谱分析模型，此模型可用于对光谱库中的光谱特征数据进行预测分析。
本发明实施例中目标光谱分析模型的训练方法的另一个实施例包括：
所述获取各种不同种类的物质的光谱特征数据的步骤之前，包括：
创建一个光谱文件夹，并在所述光谱文件夹中创建数据表，将所述光谱特征数据存储于所述数据表中；
在预设的数据库中存储的字母表中随机选择一个目标字母；其中，所述预设的数据库中预先存储有一个字母表，所述字母表包括多个不同的英文大写字母和/或多个不同的英文小写字母；
将所述目标字母发送至光谱库管理终端；其中，所述光谱库管理终端基于所述目标字母生成对应的加密密码；
接收所述光谱库管理终端返回的所述加密密码，并根据所述加密密码对所述光谱文件夹的数据表进行加密，得到加密后的数据表。
具体的，实现获取不同种类物质的光谱特征数据并进行相关加密操作的步骤如下：
创建光谱文件夹和数据表：首先，在本地或服务器上创建一个光谱文件夹，并在文件夹中创建以物质名称为表名的数据表，在这些数据表中存储对应物质的光谱特征数据。
选择目标字母：在预设的数据库中，有一个预先存储的包含多个不同的英文大小写字母的字母表。从该表中随机选取一个字母作为目标字母。
生成并接收加密密码：将选择的目标字母发送至光谱库管理终端，该终端基于接收的目标字母生成对应的加密密码并返回。具体操作需要与光谱库管理终端进行数据交互，通过预设的通信协议进行。
加密数据表：接收到光谱库管理终端返回的加密密码后，使用该密码对光谱文件夹的数据表进行加密操作。
本发明实施例中目标光谱分析模型的训练方法的另一个实施例包括：所述获取各种不同种类的物质的光谱特征数据的步骤之前，包括：
创建一个光谱文件夹，并在所述光谱文件夹中创建数据表，将所述光谱特征数据存储于所述数据表中；
对所述数据表进行初始化，按照预设的分区规则将所述数据表转换为多个分区表；其中，所述分区规则根据添加的不同的分区值所生成；
对各个分区表分别进行哈希处理，得到对应的哈希值，将各个分区表对应的哈希值进行字符串拼接处理，得到第一字符串；
将所述第一字符串添加至预设的颜色图层中成对应的图片，将所述图片存储至所述光谱文件夹中；
获取标识字段的字符数量，根据所述字符数量匹配对应的字符分割方式；其中，所述标识字段存储于预设的数据库中；并且预先存储有字符数量与字符分割方式的对应关系至预设的数据库；
基于匹配的所述字符分割方式对所述标识字段进行分割，得到多个依次排序的字符区间；
获取各个所述字符区间的首字母，并选择出首字母为预设字符的目标字符区间；获取所述目标字符区间中的字符作为指定标识符；
将所述指定标识符发送至光谱库管理终端；其中，所述光谱库管理终端基于所述指定标识符生成对应的加密密码；
接收所述光谱库管理终端返回的所述加密密码，并根据所述加密密码对所述光谱文件夹进行加密，得到加密后的光谱文件夹。
具体的，举例来说，考虑实现物质如氧气和氮气的光谱特征数据的获取。首先，创建光谱文件夹并创建数据表以保存这些数据。对数据表进行初始化后，使用如日期或物质类型等预设规则将数据表划分为多个分区表。然后，处理各分区表以获得哈希值，并将所有哈希值拼接成一个字符串。此字符串被添加到预设的颜色图层中生成一张图片并存储在光谱文件夹中。
接着，查看预设数据库的标识字段，首字母为'O'归为一区，首字母为'N'归为二区。然后按照预先设定的字符分割方式进行分割，比如，选择所有字母为小写的字段，将它们分入一区，大写字母的字段则分入二区。
在所有字符区间中，找出首字母符合预设要求的目标字符区间，如首字母为'O'的字符区间，从其中获取字符作为标识符。然后把这些指定标识符发送到光谱库管理终端。
光谱库管理终端接收到标识符后，会生成对应的加密密码并返回。最后利用这个密码对光谱文件夹进行加密，得到最终的加密后的光谱文件夹。
本发明实施例中目标光谱分析模型的训练方法的另一个实施例包括：
所述将所述得分图像输入至预设原始模型中进行训练，得到目标光谱分析模型，包括：
建立多尺度特征融合结构，所述多尺度特征融合结构用于融合不同尺度光谱特征数据；
抽取第三个模组至第五个模组输出的光谱特征数据，光谱数据特征数据输出表示为{C3 ,C4 ,C5 }，每个输出表示通过1×1卷积生成256个特征得分图像；
在对应的3层卷积结构表示为{M3 ,M4 ,M5 }后，将每层特征得分图像进行自底向上融合，得到融合后的光谱特征数据；其中，所述目标光谱分析模型主干网络包含5个模组，5个模组的后4个模组由多种不同种类的残差块组成；
将融合后的光谱特征数据输入至预设原始模型中进行训练，得到训练后的目标光谱分析模型。
具体的，如下是对本实施例内容的具体解释：
多尺度特征融合结构：在这个技术方案中，多尺度特征融合结构是用来整合和融合不同尺度光谱特征数据的。意味着模型将不同分辨率和尺度的特征数据整合在一起，使模型能够同时捕获局部详细信息（来自于较小的尺度）和全局上下文信息（来自于较大的尺度）。
模组：该技术方案将目标光谱分析模型主干网络分为5个模组，每个模组可以理解为一个独立任务的特征提取部分。
光谱特征数据：在此技术方案中，这些特征数据是从主干网络的第三到第五个模组中抽取出来的，每个模组的输出都经过1x1卷积操作，生成256个特征得分图像，这就是所提到的光谱特征数据。
1x1卷积：在这里，1x1卷积被用来转换每个模组的输出，生成256个特征得分图像。这是一种对空间分辨率无影响的特征维度转换方式，有利于保留原有空间信息，
融合后的光谱特征数据：在此方案中，自底向上的特征融合是指依次将每层的特征得分图像与上层的特征进行融合，得到的结果就是融合后的光谱特征数据，这些数据包含了所有模组的光谱特征信息。
预设原始模型：在此技术方案中，这是一个事先定义好的神经网络模型，作为训练的起始模型。通过输入融合后的光谱特征数据，进行训练和更新。
目标光谱分析模型：经过一定步骤的训练和优化后得到的神经网络模型，具有较好的光谱分析能力。在这项技术方案中，特指输入融合后的光谱特征数据经训练得到的模型。
残差块：在这个技术方案的目标光谱分析模型主干网络中，后4个模组由多种不同种类的残差块组成。每一个残差块都由一些卷积层和非线性操作组成，通过增加跳跃连接，有助于解决深度神经网络容易遇到的训练问题，如梯度消失或***。
本发明实施例中目标光谱分析模型的训练方法的另一个实施例包括：
所述将每层特征得分图像进行自底向上融合，具体步骤为：
卷积结构M5层特征得分图像尺度通过上采样扩充至与卷积结构M4层相同的特征得分图像尺度大小；
将上采样特征信息与卷积结构M4特征得分图像融合，融合后的特征得分图像再经过上采样层，对应的尺度扩充至与卷积结构M3层相同尺度；
将融合后上采样信息再与卷积结构M3融合，最终获得融合后的光谱特征数据；基于所述融合后的光谱特征数据生成目标光谱分析模型对各个物质的预测分析结果。
具体的，以下是每个步骤的解释和具体内容：
卷积结构M5层的特征得分图像上采样：上采样，或者称为未采样或插值，是将图像数据从较小的尺度扩展到较大的尺度，类似于图像的"放大"。在这里，将M5层特征得分图像的尺度扩大到与M4层特征得分图像相同的尺度大小。这样，M5层和M4层的特征得分图像就可以进行直接的融合。
融合M5层上采样特征和M4层特征：这个融合过程是通过简单的元素级相加，例如，串联特征图并通过卷积进行融合。通过融合可以将不同层次的特征信息结合在一起，提升模型的性能。
进行第二次上采样并与M3层特征融合：将上一步融合后的特征得分图像再进行上采样，尺度扩充至与卷积结构M3层相同的尺度，然后将这个上采样后的特征图与M3层的特征得分图像进行融合可以得到融合了所有层的特征信息的特征图。
基于融合后的光谱特征数据生成模型预测：最后，得到的融合后的光谱特征数据被注入预设的原始模型中进行训练，然后基于这些训练后的模型生成预测结果。这种预测分析能够评估各种物质的光谱特性以及其可能的分布情况。
上面对本发明实施例中目标光谱分析模型的训练方法进行了描述，下面对本发明实施例中目标光谱分析模型的训练装置进行描述，请参阅图2，本发明实施例中目标光谱分析模型的训练装置1一个实施例包括：
获取模块11，用于获取各种不同种类的物质的光谱特征数据；其中，所述光谱特征数据提前存储于光谱库中；
处理模块12，用于对所述光谱特征数据进行处理，得到各个物质在不同光谱波长下的光谱强度；
组合模块13，用于记录每个光谱波长下的光谱强度，得到各个光谱强度对应的光谱线；对所述光谱线进行组合，得到光谱矩阵；其中，所述光谱线至少包括一个从最短光谱波长到最长光谱波长的连续或离散序列；所述光谱矩阵的行表示不同的观测位置或不同的观测时间点，所述光谱矩阵的列表示不同的光谱波长；
统计分析模块14，用于通过预设的岭回归算法对所述光谱矩阵进行统计分析，生成回归系数；其中，所述回归系数用于表示各个光谱波长与各个光谱强度的对应关系；
计算模块15，用于根据所述回归系数和所述光谱强度计算每个光谱线的得分，生成得分结果；将所述得分结果映射至预设的颜色图中，生成得分图像；
生成模块16，用于将所述得分图像输入至预设原始模型中进行训练，得到目标光谱分析模型；其中，所述目标光谱分析模型用于对所述光谱库中的光谱特征数据进行预测分析。
在本实施例中，上述目标光谱分析模型的训练装置实施例中的各个模块的具体实现，请参照上述目标光谱分析模型的训练方法实施例中所述，在此不再进行赘述。
本发明还提供一种目标光谱分析模型的训练设备，所述目标光谱分析模型的训练设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述目标光谱分析模型的训练方法的步骤。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述目标光谱分析模型的训练方法的步骤。
有益效果：本发明提供一种目标光谱分析模型的训练方法、装置、设备及存储介质，通过获取各种不同种类的物质的光谱特征数据；对所述光谱特征数据进行处理，得到各个物质在不同光谱波长下的光谱强度；记录每个光谱波长下的光谱强度，得到各个光谱强度对应的光谱线；对所述光谱线进行组合，得到光谱矩阵；通过预设的岭回归算法对所述光谱矩阵进行统计分析，生成回归系数；根据所述回归系数和所述光谱强度计算每个光谱线的得分，生成得分结果；将所述得分结果映射至预设的颜色图中，生成得分图像；将所述得分图像输入至预设原始模型中进行训练，得到目标光谱分析模型；本发明预设原始模型的训练可以生成对各个光谱线得分的准确预测，大大提高了分析结果的准确性。并且目标光谱分析模型的应用可以用于预测分析任意光谱库中的光谱特征数据，提供了广泛的应用可能性。本发明实现了从复杂的光谱数据中提取有用的信息，得到精确且可靠的光谱特性预测，大大提升了光谱分析的效率和准确性。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（read-only memory，ROM）、随机存取存储器（random access memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种目标光谱分析模型的训练方法，其特征在于，包括：
获取各种不同种类的物质的光谱特征数据；其中，所述光谱特征数据提前存储于光谱库中；
对所述光谱特征数据进行处理，得到各个物质在不同光谱波长下的光谱强度；
记录每个光谱波长下的光谱强度，得到各个光谱强度对应的光谱线；对所述光谱线进行组合，得到光谱矩阵；其中，所述光谱线至少包括一个从最短光谱波长到最长光谱波长的连续或离散序列；所述光谱矩阵的行表示不同的观测位置或不同的观测时间点，所述光谱矩阵的列表示不同的光谱波长；
通过预设的岭回归算法对所述光谱矩阵进行统计分析，生成回归系数；其中，所述回归系数用于表示各个光谱波长与各个光谱强度的对应关系；
根据所述回归系数和所述光谱强度计算每个光谱线的得分，生成得分结果；将所述得分结果映射至预设的颜色图中，生成得分图像；
将所述得分图像输入至预设原始模型中进行训练，得到目标光谱分析模型；其中，所述目标光谱分析模型用于对所述光谱库中的光谱特征数据进行预测分析。
2.根据权利要求1所述的训练方法，其特征在于，所述获取各种不同种类的物质的光谱特征数据的步骤之前，包括：
创建一个光谱文件夹，并在所述光谱文件夹中创建数据表，将所述光谱特征数据存储于所述数据表中；
在预设的数据库中存储的字母表中随机选择一个目标字母；其中，所述预设的数据库中预先存储有一个字母表，所述字母表包括多个不同的英文大写字母和/或多个不同的英文小写字母；
将所述目标字母发送至光谱库管理终端；其中，所述光谱库管理终端基于所述目标字母生成对应的加密密码；
接收所述光谱库管理终端返回的所述加密密码，并根据所述加密密码对所述光谱文件夹的数据表进行加密，得到加密后的数据表。
3.根据权利要求1所述的训练方法，其特征在于，所述获取各种不同种类的物质的光谱特征数据的步骤之前，包括：
创建一个光谱文件夹，并在所述光谱文件夹中创建数据表，将所述光谱特征数据存储于所述数据表中；
对所述数据表进行初始化，按照预设的分区规则将所述数据表转换为多个分区表；其中，所述分区规则根据添加的不同的分区值所生成；
对各个分区表分别进行哈希处理，得到对应的哈希值，将各个分区表对应的哈希值进行字符串拼接处理，得到第一字符串；
将所述第一字符串添加至预设的颜色图层中成对应的图片，将所述图片存储至所述光谱文件夹中；
获取标识字段的字符数量，根据所述字符数量匹配对应的字符分割方式；其中，所述标识字段存储于预设的数据库中；并且预先存储有字符数量与字符分割方式的对应关系至预设的数据库；
基于匹配的所述字符分割方式对所述标识字段进行分割，得到多个依次排序的字符区间；
获取各个所述字符区间的首字母，并选择出首字母为预设字符的目标字符区间；获取所述目标字符区间中的字符作为指定标识符；
将所述指定标识符发送至光谱库管理终端；其中，所述光谱库管理终端基于所述指定标识符生成对应的加密密码；
接收所述光谱库管理终端返回的所述加密密码，并根据所述加密密码对所述光谱文件夹进行加密，得到加密后的光谱文件夹。
4.根据权利要求1所述的训练方法，其特征在于，所述将所述得分图像输入至预设原始模型中进行训练，得到目标光谱分析模型，包括：
建立多尺度特征融合结构，所述多尺度特征融合结构用于融合不同尺度光谱特征数据；
抽取第三个模组至第五个模组输出的光谱特征数据，光谱数据特征数据输出表示为{C3 ,C4 ,C5 }，每个输出表示通过1×1卷积生成256个特征得分图像；
在对应的3层卷积结构表示为{M3 ,M4 ,M5 }后，将每层特征得分图像进行自底向上融合，得到融合后的光谱特征数据；其中，所述目标光谱分析模型主干网络包含5个模组，5个模组的后4个模组由多种不同种类的残差块组成；
将融合后的光谱特征数据输入至预设原始模型中进行训练，得到训练后的目标光谱分析模型。
5.根据权利要求4所述的训练方法，其特征在于，所述将每层特征得分图像进行自底向上融合，具体步骤为：
卷积结构M5层特征得分图像尺度通过上采样扩充至与卷积结构M4层相同的特征得分图像尺度大小；
将上采样特征信息与卷积结构M4特征得分图像融合，融合后的特征得分图像再经过上采样层，对应的尺度扩充至与卷积结构M3层相同尺度；
将融合后上采样信息再与卷积结构M3融合，最终获得融合后的光谱特征数据；基于所述融合后的光谱特征数据生成目标光谱分析模型对各个物质的预测分析结果。
6.一种目标光谱分析模型的训练装置，其特征在于，所述目标光谱分析模型的训练装置包括：
获取模块，用于获取各种不同种类的物质的光谱特征数据；其中，所述光谱特征数据提前存储于光谱库中；
处理模块，用于对所述光谱特征数据进行处理，得到各个物质在不同光谱波长下的光谱强度；
组合模块，用于记录每个光谱波长下的光谱强度，得到各个光谱强度对应的光谱线；对所述光谱线进行组合，得到光谱矩阵；其中，所述光谱线至少包括一个从最短光谱波长到最长光谱波长的连续或离散序列；所述光谱矩阵的行表示不同的观测位置或不同的观测时间点，所述光谱矩阵的列表示不同的光谱波长；
统计分析模块，用于通过预设的岭回归算法对所述光谱矩阵进行统计分析，生成回归系数；其中，所述回归系数用于表示各个光谱波长与各个光谱强度的对应关系；
计算模块，用于根据所述回归系数和所述光谱强度计算每个光谱线的得分，生成得分结果；将所述得分结果映射至预设的颜色图中，生成得分图像；
生成模块，用于将所述得分图像输入至预设原始模型中进行训练，得到目标光谱分析模型；其中，所述目标光谱分析模型用于对所述光谱库中的光谱特征数据进行预测分析。
7.一种目标光谱分析模型的训练设备，其特征在于，所述目标光谱分析模型的训练设备包括：存储器和至少一个处理器，所述存储器中存储有指令；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述目标光谱分析模型的训练设备执行如权利要求1-5中任一项所述的目标光谱分析模型的训练方法。
8.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-5中任一项所述的目标光谱分析模型的训练方法。
CN202311016817.3A 2023-08-14 2023-08-14 目标光谱分析模型的训练方法、装置、设备及存储介质 Pending CN116994117A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311016817.3A CN116994117A (zh) 2023-08-14 2023-08-14 目标光谱分析模型的训练方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311016817.3A CN116994117A (zh) 2023-08-14 2023-08-14 目标光谱分析模型的训练方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN116994117A true CN116994117A (zh) 2023-11-03

Family

ID=88526515

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311016817.3A Pending CN116994117A (zh) 2023-08-14 2023-08-14 目标光谱分析模型的训练方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116994117A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117236261A (zh) * 2023-11-15 2023-12-15 深圳市深鸿盛电子有限公司 Mos管参数模型的构建方法、装置、设备及存储介质
CN117454200A (zh) * 2023-12-22 2024-01-26 天津启赋贝康医疗科技有限公司 基于云计算的新生儿黄疸筛查方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117236261A (zh) * 2023-11-15 2023-12-15 深圳市深鸿盛电子有限公司 Mos管参数模型的构建方法、装置、设备及存储介质
CN117236261B (zh) * 2023-11-15 2024-03-08 深圳市深鸿盛电子有限公司 Mos管参数模型的构建方法、装置、设备及存储介质
CN117454200A (zh) * 2023-12-22 2024-01-26 天津启赋贝康医疗科技有限公司 基于云计算的新生儿黄疸筛查方法
CN117454200B (zh) * 2023-12-22 2024-04-02 天津启赋贝康医疗科技有限公司 基于云计算的新生儿胆红素浓度预测方法

Similar Documents

Publication Publication Date Title
Kang et al. Dual-path network-based hyperspectral image classification
KR102197297B1 (ko) 순환형 3차원 완전 합성곱망을 활용한 초분광영상의 변화탐지 방법
CN116994117A (zh) 目标光谱分析模型的训练方法、装置、设备及存储介质
CN110852227A (zh) 高光谱图像深度学习分类方法、装置、设备及存储介质
CN111680176B (zh) 基于注意力与双向特征融合的遥感图像检索方法及***
CN110991236A (zh) 一种图像分类的方法及相关装置
Nolan et al. Automated detection and segmentation of vine rows using high resolution UAS imagery in a commercial vineyard
CN110209824A (zh) 基于组合模型的文本情感分析方法、***、装置
US11380422B2 (en) Identification and assignment of rotational spectra using artificial neural networks
Younis et al. Detection and annotation of plant organs from digitised herbarium scans using deep learning
CN112129741B (zh) 绝缘油老化分析方法、装置、计算机设备和存储介质
US11609181B2 (en) Spectral analysis apparatus and spectral analysis method
CN111783884A (zh) 基于深度学习的无监督高光谱图像分类方法
CN114937173A (zh) 一种基于动态图卷积网络的高光谱图像快速分类方法
Arshed et al. A light weight deep learning model for real world plant identification
Justiawan et al. Comparative analysis of color matching system for teeth recognition using color moment
Dai et al. MDC-Net: A multi-directional constrained and prior assisted neural network for wood and leaf separation from terrestrial laser scanning
CN111125629B (zh) 一种域自适应的pls回归模型建模方法
Nechikkat et al. Variational mode feature-based hyperspectral image classification
Chen et al. Convolutional neural network-based pure paint pigment identification using hyperspectral images
Huber et al. Grouping Shapley Value Feature Importances of Random Forests for Explainable Yield Prediction
US20130197813A1 (en) Similarity evaluating method, similarity evaluating program, and similarity evaluating device for collective data
Gómez-Sánchez et al. Solving the missing value problem in PCA by Orthogonalized-Alternating Least Squares (O-ALS)
CN117236261B (zh) Mos管参数模型的构建方法、装置、设备及存储介质
CN116883852B (zh) 一种基于高光谱的岩芯数据获取方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination