CN117197137B - 基于高光谱图像的组织样本分析方法及*** - Google Patents

Abstract

本发明涉及图像分析技术领域，具体为基于高光谱图像的组织样本分析方法及***，包括以下步骤：获取待检测组织样本切片的高光谱图像，将设定波段的图像数据拼接为RGB图像，减去检测区域的环境光高光谱特征，经归一化处理得到灰度图像并生成二维数据集；以生成的二维数据集作为识别模型的输入，得到识别结果；其中，识别模型基于设定的函数输出肿瘤恶性程度评分，以肿瘤恶性程度评分的最大值作为识别结果。

Description

基于高光谱图像的组织样本分析方法及***

技术领域

本发明涉及图像分析技术领域，具体为基于高光谱图像的组织样本分析方法及***。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

高光谱图像中除了包含被拍摄目标的信息以外还包含有光谱信息，利用这一特性能够从图像中分析一些肉眼无法观察到的信息。例如从人体或动物组织样本的高光谱图像中，分析出一些图像中的细胞或是物质的形态变化，而这些作为分析目标的细胞或是物质在光谱空间中存在一定相似性，导致计算机在处理时，不易分辨出所需的特征信息，从而难以满足需求。

发明内容

为了解决上述背景技术中存在的技术问题，本发明提供基于高光谱图像的组织样本分析方法及***，将图像中的光谱特征和纹理特征形成特征矩阵，利用与特征矩阵相对应的标签矩阵，使得计算机能够根据标签确定对应的光谱特征和纹理特征，改善计算机不易分辨出所需特征信息的问题。

为了实现上述目的，本发明采用如下技术方案：

本发明的第一个方面提供基于高光谱图像的组织样本分析方法，包括以下步骤：

获取待测组织样本的高光谱图像，将设定波段的图像数据拼接为RGB图像，减去检测区域的环境光高光谱特征，得到待测组织样本中目标的光谱特征和纹理特征，经归一化处理得到灰度图像并生成二维数据集；

以生成的二维数据集作为识别模型的输入，得到与标签矩阵对应的评分，以评分的最大值作为识别结果；

其中，二维数据集具有与光谱特征和纹理特征对应的特征矩阵，特征矩阵与标签矩阵相对应。

进一步的，获取检测区域的环境光高光谱特征的过程，具体为：在拍摄平面放置无荧光特性的参照物，获取该参照物区域的高光谱图像，并提取该区域内各像素点的一维光谱数据，按列求和取平均得到一行光谱数据作为环境光的光谱特征。

进一步的，归一化处理得到灰度图像并生成二维数据集的过程，具体为：将光谱数据值域压缩到设定区间，得到每个像素点归一化后的一维数据，即每个像素点在不同波长下的一维数据，经数据扩展后得到单通道灰度图像，生成二维数据集。

进一步的，归一化后的一维数据经数据扩展后得到单通道灰度图像的过程，具体为：归一化后的一维数据复制设定数量，每一像素点数据乘设定的倍数得到所有像素点的灰度图像。

进一步的，识别模型的训练过程，包括：

获取预先制备完毕的组织样本的高光谱图像；

提取高光谱图像中的目标光谱特征和目标纹理特征，整理成为特征矩阵；

特征矩阵中的每一行代表一个样本，每一列代表一个特征，将对应的样本标签整理成一个标签向量，所有标签向量形成的标签矩阵中，每一行对应一个样本，每一列对应一个目标评分；

将特征矩阵和标签矩阵作为训练数据进行模型训练，根据设定的批次和轮数进行训练。

进一步的，提取高光谱图像中的目标光谱特征，具体为：在二维灰度图像上选择包含目标的区域，提取区域中每个像素点对应的一维归一化光谱数据，得到统计特征平均值、方差、能量、频谱倾斜度以及峰度来描述光谱的分布和变化情况。

进一步的，提取高光谱图像中的目标纹理特征，具体为：

基于灰度共生矩阵、灰度差异矩阵、局部二值模式中的至少一种提取纹理特征；

通过获取图像中某一像素与其邻近像素之间的灰度关系，生成矩阵，从该矩阵中提取出对比度、能量及同质性；

通过获取图像中每个像素和其邻近像素的灰度差异，生成矩阵，从该矩阵中提取对比度和粗糙度；

通过比较像素和其邻近像素的灰度值，生成二值图像，从该二值图像中提取出纹理模式和纹理方向。

本发明的第二个方面提供实现上述方法所需的***，包括：

预处理模块，被配置为：获取待测组织样本的高光谱图像，将设定波段的图像数据拼接为RGB图像，减去检测区域的环境光高光谱特征，得到待测组织样本中目标的光谱特征和纹理特征，经归一化处理得到灰度图像并生成二维数据集；

分析模块，被配置为：以生成的二维数据集作为识别模型的输入，得到与标签矩阵对应的评分，以评分的最大值作为识别结果；

其中，二维数据集具有与光谱特征和纹理特征对应的特征矩阵，特征矩阵与标签矩阵相对应。

本发明的第三个方面提供一种计算机可读存储介质。

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的基于高光谱图像的组织样本分析方法中的步骤。

本发明的第四个方面提供一种计算机设备。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的基于高光谱图像的组织样本分析方法中的步骤。

与现有技术相比，以上一个或多个技术方案存在以下有益效果：

1、将图像中的光谱特征和纹理特征形成特征矩阵，利用与特征矩阵相对应的标签矩阵，使得计算机能够根据标签确定对应的光谱特征和纹理特征，改善计算机不易分辨出所需特征信息的问题。

2、识别模型以组织样本的高光谱图像信息作为输入，通过在训练时引入的目标评分的最大值作为输出，得到分析结果，能够利用高光谱数据与训练阶段原始组织样本之间的相关关系，识别出组织样本的高光谱图像信息中包含的目标结果。从而更容易确定目标细胞或是物质的形态变化情况，准确率更高，客观性更强。

3、通过数据归一化，得到每个像素点在不同波长下的一维数据，能够屏蔽环境光的干扰并且抑制数据内的白噪声干扰，压缩光谱特性值域，但可完整的保留光谱特性，防止在模型训练时产生梯度过大的问题。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1是本发明一个或多个实施例提供的以早期***肿瘤的组织样本为例进行基于高光谱图像的组织样本分析的流程示意图；

图2是本发明一个或多个实施例提供的基于高光谱图像的组织样本分析***中预处理模块的工作过程示意图；

图3是本发明一个或多个实施例提供的基于高光谱图像的组织样本分析过程中设计损失函数用于模型优化时的示意图；

图4是本发明一个或多个实施例提供的基于高光谱图像的组织样本分析过程中引入自定义注意力机制对模型进行优化时的示意图。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

正如背景技术中所介绍的，作为分析目标的细胞或是物质在光谱空间中存在一定相似性，导致计算机在处理时，不易分辨出所需的特征信息，从而难以满足需求。

因此，以下实施例给出基于高光谱图像的组织样本分析方法及***，将图像中的光谱特征和纹理特征形成特征矩阵，利用与特征矩阵相对应的标签矩阵，使得计算机能够根据标签确定对应的光谱特征和纹理特征，改善计算机不易分辨出所需特征信息的问题

以下实施例中，以临床中容易获取的***组织样本为例，经拍摄高光谱图像后，以组织样本中的肿瘤细胞的形态作为分析得到的目标为例，利用早期***肿瘤组织样本的高光谱图像信息作为训练数据，在识别模型完成训练后，能够识别出组织样本的高光谱图像信息，得到早期***肿瘤的分析结果。

基础介绍1：***癌是男性中常见的恶性肿瘤，通常利用血液样本进行***特异抗原(PSA)筛查，以完成对于***癌的检测，由于PSA是组织特异性而非肿瘤特异性的标志物，导致PSA检测对***癌的特异性与敏感性都较低，从而无法掌握癌变的实际情况，影响后续的检测判断。而利用肿瘤组织进行病理分析则需将组织切片制成标本，操作复杂，耗费时间长，且人为检测受外部影响大，检验结果缺乏客观性和准确性。

基础介绍2：高光谱成像技术是基于非常多窄波段的影像数据技术，它将成像技术与光谱技术相结合，探测目标的二维几何空间及一维光谱信息，获取高光谱分辨率的连续、窄波段的图像数据。常见的高光谱成像技术包括光栅分光、声光可调谐滤波分光、棱镜分光以及芯片镀膜等。

实施例一：

如图1-图4所示，基于高光谱图像的组织样本分析方法，包括以下步骤：

获取待测组织样本的高光谱图像，将设定波段的图像数据拼接为RGB图像，减去检测区域的环境光高光谱特征，得到待测组织样本中目标的光谱特征和纹理特征，经归一化处理得到灰度图像并生成二维数据集；

以生成的二维数据集作为识别模型的输入，得到与标签矩阵对应的评分，以评分的最大值作为识别结果；

其中，二维数据集具有与光谱特征和纹理特征对应的特征矩阵，特征矩阵与标签矩阵相对应。

早期***肿瘤的光谱特征提取过程，具体为：

选择肿瘤区域：在二维灰度图像上选择包含肿瘤的区域。可以使用手动标注、阈值分割等方法来获取肿瘤区域。提取每个像素点的一维归一化光谱数据：针对选定的肿瘤区域，提取每个像素点对应的一维归一化光谱数据。根据之前的数据处理步骤，每个像素点的一维数据是在不同波长下的归一化数值。计算统计特征：对于每个像素点的一维光谱数据，计算统计特征平均值（Mean）、方差（Variance）、能量（Energy）、频谱倾斜度（Skewness）、峰度（Kurtosis）来描述光谱的分布和变化情况。这些统计特征可以通过计算库来实现。

早期***肿瘤的纹理特征提取过程，具体为：使用灰度共生矩阵（GLCM）、灰度差异矩阵（GLDM）、局部二值模式（LBP）来提取纹理特征。GLCM通过计算图像中某一像素与其邻近像素之间的灰度关系，生成一个矩阵。然后从这个矩阵中提取出特征，对比度、能量、同质性。GLDM 通过计算图像中每个像素和其邻近像素的灰度差异，生成一个矩阵。然后，从这个矩阵中提取对比度、粗糙度。LBP通过比较像素和其邻近像素的灰度值，生成一个新的二值图像。然后，从这张二值图中可以提取出纹理模式、纹理方向。

特征数据与标签数据整理的过程，具体为：特征数据整理：将提取的特征（光谱特征、纹理特征）整理成一个矩阵（特征矩阵），每一行都代表一个样本，每一列都代表一个特征。标签数据整理：将对应的样本标签整理成一个向量（标签向量），每个元素在其中都代表着一个样本的标注。早期***肿瘤Gleason评分为2-4分，共3个可能值，将具有3个可能值的分类特征转换为3个二进制特征，每个特征都表示一个可能的类别，每个Gleason评分都可以被视为一个独立的类别。将所有标签向量构成标签矩阵，其中每一行对应一个样本，每一列对应一个Gleason评分。

***早期肿瘤识别模型建立过程。具体为：

构建模型架构：选用ResNet50卷积神经网络模型。模型的结构有卷积层，池化层，全连接层等多种形式。

输入层：指定输入数据的形状，根据特征矩阵的列数设置输入层的维度。

卷积层：通过增加卷积层的方式，提炼出形象的空间特点。设置合适的卷积核大小、步长和填充方式，以适应输入数据的特征。

激活函数：为卷积层添加适当的激活函数，如ReLU函数，以引入非线性特性。

池化层：添加池化层进行特征降维和空间信息的保留，选择合适的池化核大小和步长。

全连接层：将池化层的输出展平，并添加全连接层进行分类，设置合适的神经元数量和激活函数。

输出层：设置输出层的维度，与标签矩阵的列数相匹配，使用softmax函数作为输出层的激活函数，以获取分类结果的概率分布。

编译模型:定义损耗函数和优化程序，交叉熵可以作为一个损耗函数，ADAM优化器进行参数优化。

模型训练：将特征矩阵和标签矩阵作为训练数据，利用Fit()函数进行模型训练，指定合适的批次大小和训练轮数。

模型评估:使用测试集对训练好的模型进行评估，计算精确度、精确率、召回率、F1-SCORE等指标。

如图3所示，设计特定的损失函数的过程，具体为：

定义早期检测惩罚因子：这个因子设定为1.5，以使早期检测错误的损失更大。损失函数的计算:模型训练时，根据预测结果和真实标签，计算损失函数。对于每个样本，根据预测的类别和真实的类别计算损失。加权损失函数：根据预测的类别和真实的类别，计算加权损失函数。对于早期肿瘤检测错误，将损失函数乘以早期检测惩罚因子，使其具有更大的损失。损失函数求和：对所有样本的加权损失函数进行求和，得到最终的损失函数。可根据需要追加调整优化。模型的训练和优化：使用定义的加权损失函数进行模型的训练和优化。选择适当的优化器和学习率，并根据实际调整优化参数。模型评估:使用测试集对训练好的模型进行评估，计算精确度、精确率、召回率、F1-SCORE等指标。

模型融合的过程，具体为：通过训练多个具有不同初始参数的卷积神经网络模型，并使用投票进行模型融合。然后，通过评估融合模型的性能指标来验证其有效性，并根据需要进行进一步的调整和优化。

引入注意力机制的过程，具体为：添加注意力模块，定义注意力权重，特征加权融合，模型训练和优化，模型评估和调整。

模型评估和优化的过程，具体为:采用交叉验证进行验证。分割数据集，数据集要分成训练集和测试集两个部分。训练模型，平均性能评估，参数调整，模型优化，结果分析，通过绘制学习曲线、混淆矩阵等可视化工具，帮助理解模型的性能。

以***肿瘤样本的高光谱图像分析过程为例，具体的：

步骤S1，收集早期***肿瘤样本。

收集早期***肿瘤手术患者的肿瘤样本，样本低温保存。

本实施例要获取早期***肿瘤样本的高光谱图像信息作为训练数据，早期***肿瘤样本来源于已进行***穿刺或***肿瘤切除手术的病人早期***肿瘤组织，在告知其研究实验目的以及可能存在的风险，并经患者同意后将早期***肿瘤样本，病理结果为良性的单独一组，病理结果为恶性的根据Gleason评分***（行业内常用的***癌组织学分级的方法）评分，相同评分的为一组，形成不同分级的早期***肿瘤样本，将其全部置于低温放置。

步骤S2，获取环境光光谱特性。

本实施例中，在拍摄平面放置一块无荧光特性的白色漫反射参照物，获取该参照物区域的高光谱图像，对该区域内各像素点提取一维光谱数据，数据存入csv文件中，按列求和取平均得到一行光谱数据作为环境光的光谱特征。

步骤S3，基于高光谱扫描早期***肿瘤样本。

将经过预处理的标本解冻后，通过高光谱相机拍摄，获取高光谱原始图像。

本实施例的高光谱图像包括光谱维和立体空间维，同时采用SpecView-F软件收集高光谱数据。这里SpecView-F采集软件针对GaiaSky系列机载光谱成像***、GaiaTracer文检***和Image-λ-F系列高光谱相机开发，主要用来实现对光谱成像***的控制、图像采集等功能。

步骤S4，对采集的高光谱数据进行图形分析和数据处理。

获取指定波段的图像数据，将多个波段数据拼接为一个RGB图像，生成一维数据集，再减去环境光光谱特征（环境降噪），经数据归一化后绘制灰度图像，生成二维数据集。

本实施例中，对光谱仪采集得到的原始图像数据进行处理，首先从指定的文件中读取数据，加载指定的.mat文件，获取指定波段的图像数据，并将其展示在屏幕上。通过cat函数将红、绿、蓝三个波段数据拼接为一个RGB图像，R通道波长选择范围为[630nm，650nm]，G通道波长选择范围为[530nm，550nm]，B通道波长选择范围为[450nm，470nm]，获取图像各像素点的一维光谱数据。再减去环境光光谱特征（环境降噪），即将肿瘤高光谱图像中各像素点的一维光谱数据减去环境光平均光谱特征。

再进行数据归一化，将光谱数据值域压缩为[-1，1]，获取每个像素点归一化后的一维数据，即每个像素点在不同波长下的一维数据。通过这一步骤能够屏蔽环境光的干扰并且抑制数据内的白噪声干扰，压缩光谱特性值域，但可完整的保留光谱特性，防止在模型训练时产生梯度过大的问题。

对归一化后的一维数据进行数据扩展，生成单通道灰度图像，具体包括：对归一化后的一维数据进行复制，复制32行后，每一像素点数据乘255并保存为灰度图像。通过上述过程获取所有像素点的灰度图像，以此作为二维数据。需要指出的是，此处也可将归一化后的一维数据复制大于32行，得到的二维数据可以输入至更复杂的深度学习模型中，以便获取更复杂的特征。

步骤S5，提取高光谱图像中早期***肿瘤的特征。

提取肿瘤光谱特征：

选择感兴趣的肿瘤区域，具体为：在二维灰度图像上选择包含肿瘤的感兴趣区域。可以使用手动标注、阈值分割等方法来获取肿瘤区域。

提取每个像素点的一维归一化光谱数据，具体为：针对选定的肿瘤区域，提取每个像素点对应的一维归一化光谱数据。根据之前的数据处理步骤，每个像素点的一维数据是在不同波长下的归一化数值。

计算统计特征，具体为：对于每个像素点的一维光谱数据，计算统计特征来描述光谱的分布和变化情况。计算一维光谱数据的平均值，反映光谱的中心趋势。计算一维光谱数据的方差，反映光谱的离散程度。计算一维光谱数据的能量，反映光谱的幅度信息。计算一维光谱数据的频谱倾斜度，反映光谱分布的不对称性。计算一维光谱数据的峰度，反映光谱分布的尖锐程度。

对于每个像素点，将计算得到的统计特征存储在相应的位置上，形成一个特征图。每个像素点都对应一个特征向量，其中包含了光谱的统计特征信息。

提取肿瘤纹理特征。利用灰度共生体矩阵(GLCM)对纹理特征进行提取，具体为：定义邻近像素的距离和方向：根据图像的特点和需求，选择合适的邻近像素距离和方向，如水平、垂直、对角线等。

灰度量化，具体为：将图像的灰度级离散化为一组离散值，使用灰度分层或直方图均衡化等方法进行灰度量化。

构建灰度共生矩阵，具体为：对于每个像素，计算其与指定距离和方向上邻近像素的灰度值对。根据邻近像素的灰度对，统计它们在灰度共生矩阵中的出现次数。

提取统计特征，具体为：提取灰度共生矩阵的各种统计特性：对比度，能量，同质性，关联性。这些特征可以通过计算灰度共生矩阵的不同组合得到，对比度可以计算邻近像素的灰度差异的平方和，能量可以计算元素平方和等灰度共生矩阵。

使用灰度差异矩阵（GLDM）来提取纹理特征，取与灰度共生体矩阵相同的邻近像素的距离和方向。

计算灰度差异，对于每个像素，计算其与指定距离和方向上邻近像素的灰度差异值。

构建灰度差异矩阵，根据邻近像素的灰度差异值，统计它们在灰度差异矩阵中的出现次数。

提取统计特征。各种统计特征从灰度差异矩阵中提取：对比度、粗糙度。这些特征可以通过计算灰度差异矩阵的不同组合得到，对比度可以计算邻近像素的灰度差异的平均值，粗糙度可以计算灰度差异矩阵的标准差等。

使用局部二值模式（LBP）来提取纹理特征，具体为：取与灰度共生体矩阵相同的邻近像素的距离和方向。

中心像素与邻近像素比较，具体为：对于每个像素，将其灰度值与邻近像素的灰度值进行比较，得到二进制编码。

构建二值图像，具体为：根据比较结果，将二进制编码转化为一个二值图像，其中每个像素代表了一个局部纹理模式。

提取统计特征：从二值图像中提取各种统计特征：纹理模式频率、纹理模式分布。这些特征可以通过计算纹理模式的直方图、均值、方差等得到。

步骤S6，特征数据与标签数据整理。

特征数据整理：将提取的特征（光谱特征、纹理特征）整理成一个矩阵（或者叫特征矩阵），每一行都代表一个样本，每一列都代表一个特点。这个矩阵通常以numpy数组的形式表示。

标签数据整理：将对应的样本标签（Gleason评分）整理成一个向量（或者叫标签向量），每个元素在其中都代表着一个样本的标注。因早期***肿瘤Gleason评分为2-4分，共3个可能值，因而将具有3个可能值的分类特征转换为3个二进制特征，每个特征都表示一个可能的类别，每个Gleason评分都可以被视为一个独立的类别。如下：

2-＞[1，0，0]

3-＞[0，1，0]

4-＞[0，0，1]

将所有标签向量构成标签矩阵，其中每一行对应一个样本，每一列对应一个Gleason评分，值为1表示该样本的评分为该列对应的评分，值为0表示不是。

步骤S7，建立早期***肿瘤识别模型。

选用ResNet50网络模型，引入残差连接，解决了深度网络中的梯度消失和表示瓶颈问题，能够训练出更深的网络。

输入层：指定输入数据形状，根据特征矩阵的列数设置输入层的维度。

卷积层中，卷积核大小可以选择3x3或5x5的卷积核。卷面核数可根据实际设定卷面核数。例如32、64、128等。步长：一般设置为1。填充方式可以选择"valid"或"same"，根据输入数据的大小和模型需求来决定。激活功能一般使用ReLU激活功能。

池化层中，池化核大小一般选择2x2的池化核。步长一般设置为2。填充方式可以选择"valid"或"same"，根据输入数据的大小和模型需求来决定。

全连接层中，神经元数量根据实际情况设置，可以尝试不同的数值，以寻找最佳的表现。激活功能一般使用ReLU激活功能。

输出层中，输出层的维度根据标签矩阵的列数设置输出层的维度，与类别数量相同。

激活函数利用softmax函数，将输出转换成概率分布的分类结果。

损失函数和优化器：对于多分类任务，选择交叉熵损失函数（categorical_crossentropy）作为损失函数。因为Gleason的评分是3个能力值。可以把每一个是一个独立的门类。将标签矩阵转换为3个二进制特征。因此，损失函数将根据3个类别之间的交叉熵进行计算。

此外，根据特定的损失函数，以考虑早期肿瘤检测的重要性和错误惩罚的差异，采用加权损失函数的方式实现，具体为：定义早期检测惩罚因子：首先，根据问题的特定需求，定义一个早期检测惩罚因子，表示对早期肿瘤检测错误的惩罚。这个因子定为一个正数1.5，以使早期检测错误的损失更大。

计算损失函数：在模型训练过程中，根据预测结果和真实标签向量每个元素的差值，计算损失函数。对于每个样本，根据预测的类别和真实的类别计算损失。

加权损失函数：根据预测的类别和真实的类别，计算加权损失函数。对于早期肿瘤检测错误，将损失函数乘以早期检测惩罚因子，使其具有更大的损失。

损失函数求和：对所有样本的加权损失函数进行求和，得到最终的损失函数。可根据需要追加调整优化。

模型的训练和优化：使用定义的加权损失函数进行模型的训练和优化。选择适当的优化器和学习率，并根据实际调整优化参数。

模型评估：使用测试集对训练好的模型进行评估，计算精确度、精确率、召回率、F1-SCORE等指标。可以通过混淆矩阵等方法来进一步分析模型的性能。

通过设计特定的损失函数，模型能够更加关注早期肿瘤检测的准确性，并根据惩罚因子进行错误的惩罚。这有助于提高模型在早期肿瘤检测方面的性能。需要针对真题和数据的特点，适当地做一些调整和优化。以获得最佳的性能和效果。

对于优化器的选择，Adam优化器是可以使用的。并设定适合自己的学习率等参数。Adam优化器结合了动量和自适应学习率的特性，常用于深度学习任务，能够在训练过程中自动调整学习率。学习率可根据实际情况作适当调整。初始学习率设定为0.001。并根据训练过程中的性能调整学习率的衰减率或其他参数。

模型训练：批次大小：根据实际情况设置，通常选择较小的批次大小，如32、64等；

训练轮数量：按实际设定。通常选择足够的训练轮数以达到收敛。

模型评估：在评价阶段，采用多种指标对性能进行评价。包括准确率、精确率、召回率、F1-SCORE等。以下是对这些指标的计算和分析方法的详细说明：

准确度(Accuracy)：准确度是分类模型中最常用的评价指标之一，表示分类正确的样本样本总量的比例。计算公式如下：准确率=(预测正确的样本数)/(总样本数)。

精确率（Precision）：精确率测量的是模型预测为正类的样本中真正为正类的比例。计算公式如下：精确率=(真正为正类别的样本数)/(预测为正类别的样本数)。

召回率（Recall）：召回率衡量了一个模型能够正确地识别一个类别的样本。即模型成功捕捉到正类别样本的比例。计算公式如下：召回率=(真正为正类别的样本数)/(真实为正类别的样本数)。

F1-score：F1-SCORE是综合考虑了精确率和召回率的评估指标。为精确率与召回率的调和平均数。其计算公式为：F1-score=2*(精确率*召回率)/(精确率+召回率)。

这些指标可以通过混淆矩阵进一步分析模型的性能。混淆矩阵是一个二维矩阵，用来表示模型预测结果和真实标签的对应关系。它包含四个重要指标：真正例(1Positive，TP)、假正例(0Positive，FP)、真反例(1Negative，TN)、假反例(。FN）。

TP：模型将正类别样本预测为正类别的数量。

FP：模型将负类别样本预测为正类别的数量。

TN：模型将负类别样本预测为负类别的数量。

FN：模型将正类别样本预测为负类别的数量。

通过混淆矩阵可以对以上指标进行计算。以下是计算步骤：

根据模型预测结果和真实标签，将样本分类为TP、FP、TN、FN四类。

根据分类结果计算准确率、精确率、召回率、F1-SCORE。

混淆矩阵和上述指标的计算和分析可以帮助了解模型在不同类别上的性能，进而对模型进行调整和优化。需要注意的是，上述参数仅作为参考，具体的参数选择应根据实际情况和数据集的特点进行调整和优化。在模型的训练过程中，可以使用交叉验证等技术来评估模型在不同数据子集上的性能，以选择最佳的参数和模型配置。

通过计算这些指标，可以评估和比较模型的性能。准确度衡量了分类的总体准确度。精确率和召回率提供了对正类别预测的准确性和完整性的评估，F1-score综合了精确率和召回率，可以更全面地评估模型的性能。

此外，通过绘制ROC曲线(接收器工作特性曲线)和计算AUC(曲线下面积)来评估模型的分类能力和区分性。ROC曲线是以召回率为横轴，以1一特异度(0PositiveRate)为纵轴的曲线。AUC代表的是ROC曲线下的面积，可以用来对模型的总体表现进行评价。

步骤S8，模型融合。

模型融合是将多个模型结合在一起的预测结果。从而提高整体预报的技术的鲁棒性。

在本实施例中，通过训练多个具有不同初始参数的卷积神经网络模型，并使用投票进行模型融合。然后，通过评估融合模型的性能指标来验证其有效性，并根据需要进行进一步的调整和优化。

以下是模型融合中使用投票策略的具体步骤：

训练多个独立的卷积神经网络模型：训练多个具有不同初始参数的卷积神经网络模型。确保每个模型都经过充分的训练，并在相同的训练集上进行训练以确保公平性。

利用测试集对各模型进行预测。使用独立的测试集（与训练集和验证集不重叠）对每个训练好的模型进行预测。对于每个测试样本，获取每个模型的预测结果。

进行投票：对于每个样本，在所有模型的预测结果中进行投票。可以采用多数投票原则，选择获得最高票数的类别作为最终的预测结果。如果存在票数相等的情况，可以选择随机选取一个类别或使用其他决策规则。

计算性能指标：使用模型融合后的预测结果，计算模型的性能指标，如准确率、精确率、召回率、F1-SCORE等。可以使用混淆矩阵来进一步分析模型的性能。

调整和优化：根据模型融合的性能指标，进行进一步的调整和优化参数。可以尝试增加或减少参与投票的模型数量，以找到最佳的模型融合策略。

需要注意的是，在进行模型融合时，确保参与投票的模型具有多样性，即模型之间有一定的差异性。这可以通过调整模型的架构、优化参数、使用不同的损失函数等方法来实现。

最后，通过模型融合可以综合利用多个模型的预测结果，提高整体预测的准确性和稳健性。但请记住，模型融合也需要权衡计算资源和时间成本，因为训练和预测多个模型可能需要更多的计算资源和时间。

步骤S9：引入自定义注意力机制，如图4所示。

定义注意力模块：该模块接受特征图（ResNet50的中间层的输出）作为输入，然后通过卷积、BatchNormalization和sigmoid激活函数输出一个同样大小的权重矩阵。

在ResNet中***注意力模块：在ResNet的适当位置（比如某个残差块的输出后）***上述定义的注意力模块。然后，使用注意力模块的输出（权重矩阵）对特征图进行加权，得到新的特征图。这个过程是一个“注意力加权”的过程，让网络更加关注那些权重较大（注意力模块输出接近1）的区域。

模型的训练和优化：使用加权特征表示进行模型训练和优化。选择设计好的特定损失函数和优化器，并根据实际情况进行参数调整和优化。

模型评估：使用测试集对训练好的模型进行评估，计算准确率、精确率、召回率、F1-score等指标。

在实际应用中，还可以进行注意力的可视化，以帮助理解模型对图像的关注点。

通过引入注意力机制，卷积神经网络可以更加准确地聚焦于图像中的重要特征，提高模型的性能和表现力。

步骤S10：模型评估和优化。

通过交叉验证等方法对模型进行性能评估。并根据评估结果调整模型的参数，优化模型的性能。以下是具体的步骤：

划分数据集：首先，将图像数据集分为训练集和测试集两部分。在交叉验证过程中，训练集进一步分成训练集与验证集两部分。进行10折交叉验证，训练数据划分为10个子集，每次使用9个子集作为训练图像数据，其余子集作为验证图像数据。

训练模型：然后，对于每一次的训练/验证数据划分，使用训练数据训练模型，并利用验证数据评估模型。记录每次评估的结果。

平均性能评估：在10次训练和验证后，计算所有验证结果的平均值，得到模型的平均性能评估。

参数调整：根据模型的平均性能评估，调整模型的参数，例如学***均性能评估，直到找到最优的模型参数。

模型优化：在找到最优的模型参数后，使用这些参数训练模型，并使用测试集进行最终的性能评估。如果模型的性能仍有提升空间，可以尝试使用更复杂的模型结构，或引入正则化、批标准化等技术优化模型。

结果分析：模型训练和优化完成后，对训练过程和结果进行分析。可以通过绘制学习曲线、混淆矩阵等可视化工具，帮助理解模型的性能。如果模型在某些类别的预测性能较差，可以进一步分析数据，找出可能的原因。

步骤S11：实施预测。

在优化后的模型中输入预处理后的新数据。由***早期肿瘤恶性程度预测得出。

上述方法无需进行复杂的肿瘤组织切片的制作，直接采用高光谱相机拍摄所需鉴定区域的高光谱图像并对高光谱图像进行数据处理，通过早期***肿瘤识别模型实现对区域早期***肿瘤识别并完成恶性程度评分，所有操作只需一套设备即可完成，整个流程耗时时间短，大大节省了时间。

利用高光谱检测早期***肿瘤，通过病理结果将患者分级，通过分析不同的高光谱特征，从而证明基于高光谱图像识别早期***肿瘤的价值。

利用人工智能学习不同病理分级***癌患者组织样本的高光谱数据，得出高光谱数据与早期***癌恶性程度的相关关系，实现对***癌病人病理结果的预测。

结合光谱特征和纹理特征识别，光谱特征能够提供关于不同波段下的光谱强度和变化情况的信息，而纹理特征则提供了图像中像素之间的空间关系和结构信息。它们具有互补的特点，结合使用可以捕捉到更丰富和多样化的特征信息，提高识别的准确性和鲁棒性，增强模型对***肿瘤的识别能力。

光谱特征和纹理特征对干扰和噪声的响应方式不同。光谱特征对光谱强度的变化敏感，能够帮助抵抗光照和杂散光的影响。纹理特征则可以在图像的局部区域中捕捉到细微的纹理变化，对光照不均匀和图像噪声具有一定的鲁棒性。通过结合两者，再结合环境去噪，可以增强模型对环境光等干扰因素的抵抗能力，提高***肿瘤的识别准确性。

设计损失函数，通过设计具体的损失函数，对早期肿瘤检测错误进行更大的惩罚，可以使模型更加关注早期阶段的肿瘤，并更加努力地减少这类错误。这种惩罚机制可以提供一种额外的刺激，鼓励模型更加敏感地捕捉到早期肿瘤的特征，从而提高早期检测肿瘤的准确度。这种设计的损失函数有助于引导模型在优化过程中更加重视早期肿瘤检测，提高对肿瘤早期敏感度。通过加大对早期肿瘤检测错误的惩罚，模型将倾向于减少对这类错误的发生，以提高整体的性能和早期识别能力。

引入自定义注意力机制，可以帮助模型在处理高光谱图像时关注到与***肿瘤相关的重要特征。通过对特定频谱或特定区域进行注意力调整，模型可以更加准确地捕捉到与***肿瘤相关的信息，从而提高识别性能。自定义注意力机制可以通过赋予关注度权重，降低冗余波段的影响，从而减少模型在冗余信息上的计算和学习负担，提高模型的效率和准确性。早期***肿瘤的光谱特征可能会因个体差异、病变类型和大小等因素而有所变化。自定义注意力机制可以根据输入数据的不同特点和需求，动态调整注意力权重，使模型能够自适应地关注到不同样本中具有区分度和重要性的特征，提高识别的鲁棒性和泛化能力。

仅需要人为操作获取肿瘤高光谱图像以及进行图像分析与数据处理，无需更多的人为操作，分类结果客观准确，人力、物力成本大大节省。降低了操作门槛。

采用早期***肿瘤患者术后肿瘤作为样本，在临床上容易获取，样本空间充足，能不断优化完善识别模型。

实施例二：

实现上述方法的***，包括：

预处理模块，被配置为：获取待测组织样本的高光谱图像，将设定波段的图像数据拼接为RGB图像，减去检测区域的环境光高光谱特征，得到待测组织样本中目标的光谱特征和纹理特征，经归一化处理得到灰度图像并生成二维数据集；

分析模块，被配置为：以生成的二维数据集作为识别模型的输入，得到与标签矩阵对应的评分，以评分的最大值作为识别结果；

其中，二维数据集具有与光谱特征和纹理特征对应的特征矩阵，特征矩阵与标签矩阵相对应。

实施例三：

本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一所述的基于高光谱图像的组织样本分析方法中的步骤。

实施例四：

本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例一所述的基于高光谱图像的组织样本分析方法中的步骤。

以上实施例二至四中涉及的各步骤或网络与实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本发明中的任一方法。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.基于高光谱图像的组织样本分析方法，其特征在于，包括以下步骤：

获取待测组织样本的高光谱图像，将设定波段的图像数据拼接为RGB图像，减去检测区域的环境光高光谱特征，得到待测组织样本中目标的光谱特征和纹理特征，经归一化处理得到灰度图像并生成二维数据集；

以生成的二维数据集作为识别模型的输入，得到与标签矩阵对应的评分，以评分的最大值作为识别结果；

其中，二维数据集具有与光谱特征和纹理特征对应的特征矩阵，特征矩阵与标签矩阵相对应；

引入注意力机制的过程，具体为：添加注意力模块，定义注意力权重，特征加权融合，模型训练和优化，模型评估和调整；定义注意力模块：该模块接受特征图作为输入，通过卷积、BatchNormalization和sigmoid激活函数输出一个同样大小的权重矩阵；在模型中***注意力模块：在模型中***上述定义的注意力模块；使用注意力模块的输出对特征图进行加权，得到新的特征图；模型的训练和优化：使用加权特征表示进行模型训练和优化；选择设计好的特定损失函数和优化器，并根据实际情况进行参数调整和优化；模型评估：使用测试集对训练好的模型进行评估，计算准确率、精确率、召回率、F1-score指标；

设计特定的损失函数的过程，具体为：定义早期检测惩罚因子：这个因子设定为1.5；损失函数的计算:模型训练时，根据预测结果和真实标签，计算损失函数；对于每个样本，根据预测的类别和真实的类别计算损失；加权损失函数：根据预测的类别和真实的类别，计算加权损失函数；对于早期肿瘤检测错误，将损失函数乘以早期检测惩罚因子；损失函数求和：对所有样本的加权损失函数进行求和，得到最终的损失函数；可根据需要追加调整优化；模型的训练和优化：使用定义的加权损失函数进行模型的训练和优化；选择优化器和学习率，并根据实际调整优化参数；模型评估:使用测试集对训练好的模型进行评估，计算精确度、精确率、召回率、F1-SCORE指标；

所述归一化处理得到灰度图像并生成二维数据集的过程，具体为：将光谱数据值域压缩到设定区间，得到每个像素点归一化后的一维数据，即每个像素点在不同波长下的一维数据，经数据扩展后得到单通道灰度图像，生成二维数据集；

所述特征矩阵中的每一行代表一个样本，每一列代表一个特征，将对应的样本标签整理成一个标签向量，所有标签向量形成的标签矩阵中，每一行对应一个样本，每一列对应一个目标评分；

将特征矩阵和标签矩阵作为训练数据进行模型训练，根据设定的批次和轮数进行训练。

2.如权利要求1所述的基于高光谱图像的组织样本分析方法，其特征在于，获取检测区域的环境光高光谱特征的过程，具体为：在拍摄平面放置无荧光特性的参照物，获取该参照物区域的高光谱图像，并提取该区域内各像素点的一维光谱数据，按列求和取平均得到一行光谱数据作为环境光的光谱特征。

3.如权利要求1所述的基于高光谱图像的组织样本分析方法，其特征在于，归一化后的一维数据经数据扩展后得到单通道灰度图像的过程，具体为：归一化后的一维数据复制设定数量，每一像素点数据乘设定的倍数得到所有像素点的灰度图像。

4.如权利要求1所述的基于高光谱图像的组织样本分析方法，其特征在于，识别模型的训练过程，包括：

获取预先制备完毕的组织样本的高光谱图像；

提取高光谱图像中的目标光谱特征和目标纹理特征，整理成为特征矩阵。

5.如权利要求4所述的基于高光谱图像的组织样本分析方法，其特征在于，提取高光谱图像中的目标光谱特征，具体为：在二维灰度图像上选择包含目标的区域，提取区域中每个像素点对应的一维归一化光谱数据，得到统计特征平均值、方差、能量、频谱倾斜度以及峰度来描述光谱的分布和变化情况。

6.如权利要求4所述的基于高光谱图像的组织样本分析方法，其特征在于，提取高光谱图像中的目标纹理特征，包括：

基于灰度共生矩阵、灰度差异矩阵、局部二值模式中的至少一种提取纹理特征。

7.如权利要求6所述的基于高光谱图像的组织样本分析方法，其特征在于，提取高光谱图像中的目标纹理特征，还包括：

通过获取图像中某一像素与其邻近像素之间的灰度关系，生成矩阵，从该矩阵中提取出对比度、能量及同质性；

通过获取图像中每个像素和其邻近像素的灰度差异，生成矩阵，从该矩阵中提取对比度和粗糙度；

通过比较像素和其邻近像素的灰度值，生成二值图像，从该二值图像中提取出纹理模式和纹理方向。

8.基于高光谱图像的组织样本分析***，基于如权利要求1-7任一项所述的基于高光谱图像的组织样本分析方法，其特征在于，包括：

预处理模块，被配置为：获取待测组织样本的高光谱图像，将设定波段的图像数据拼接为RGB图像，减去检测区域的环境光高光谱特征，得到待测组织样本中目标的光谱特征和纹理特征，经归一化处理得到灰度图像并生成二维数据集；

分析模块，被配置为：以生成的二维数据集作为识别模型的输入，得到与标签矩阵对应的评分，以评分的最大值作为识别结果；

其中，二维数据集具有与光谱特征和纹理特征对应的特征矩阵，特征矩阵与标签矩阵相对应。