CN115965953B - 基于高光谱成像与深度学习的粮种品种分类方法 - Google Patents

基于高光谱成像与深度学习的粮种品种分类方法 Download PDF

Info

Publication number
CN115965953B
CN115965953B CN202310009003.0A CN202310009003A CN115965953B CN 115965953 B CN115965953 B CN 115965953B CN 202310009003 A CN202310009003 A CN 202310009003A CN 115965953 B CN115965953 B CN 115965953B
Authority
CN
China
Prior art keywords
grain variety
variety classification
hyperspectral
grain
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310009003.0A
Other languages
English (en)
Other versions
CN115965953A (zh
Inventor
于爽
战永泽
王忠杰
王泽宇
刘明义
胡睿晗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202310009003.0A priority Critical patent/CN115965953B/zh
Publication of CN115965953A publication Critical patent/CN115965953A/zh
Application granted granted Critical
Publication of CN115965953B publication Critical patent/CN115965953B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于高光谱成像与深度学习的粮种品种分类方法，本发明属于粮种品种分类领域，包括：获取粮种的多通道高光谱图像，对多通道高光谱图像预处理得到预处理高光谱图像数据集，基于预处理高光谱图像数据集获得第一特征图；其中，预处理高光谱图像数据集包括若干拼接图像；构建粮种品种分类网络模型，其中，粮种品种分类网络模型包括粮种品种分类模块；基于粮种品种分类模块指导训练粮种品种分类网络模型，得到优化粮种品种分类网络模型；将拼接图像输入到优化粮种品种分类网络模型，得到粮种品种分类结果。本发明利用高光谱成像和深度学习技术，提出了一种简单、高效、无损、经济、自动化的粮种品种分类方法。

Description

基于高光谱成像与深度学习的粮种品种分类方法
技术领域
本发明属于粮种品种分类领域，特别是涉及一种基于高光谱成像与深度学习的粮种品种分类方法。
背景技术
种子品种分类或鉴定起源于19世纪中叶。随后，出现了一系列常规的水稻种子品种分类方法，主要包括形态鉴定方法、生理生化鉴定方法、分子生物学鉴定方法等，这些方法各有优势，在实际应用中有很大差异。随着杂交技术的发展，不同农作物品种间出现了越来越多的混合特性，这给传统种子品种鉴别方法带来了巨大挑战。
与上述传统方法相比，新兴的机器学习方法能够快速、可靠地从大量数据中学习，具有无损、低成本的优点。虽然大多数机器学习方法都具有良好的性能，但它们在很大程度上依赖于人工生成的为特定任务设计的特征，从而限制了这些方法在复杂/困难情况下的适用性。此外，这类特征的功能可能不足以区分不同品种之间的细微变化或同一品种之间的巨大变化。因此，自动提取更具鉴别能力的特征被视为高光谱图像分类的关键。与人工生成的方法相比，深度学习方法能够有效地从高光谱图像中自动提取判别特征。目前，基于深度网络的高光谱图像分类方法一般可分为三类，包括光谱特征网络、空间特征网络和光谱空间特征网络。总体而言，综合考虑空间和光谱信息的模型具有更好的分类性能。最近，很多人尝试将注意力应用到深层神经网络上，极大地提高了它们的性能。因此，在深度学习模型中引入注意力机制具有重要意义。
由于高光谱数据的采集既昂贵又耗时，最终获取的图像数量不足以支持网络训练。数据扩充被视为解决这一问题的可行方法，通常都采用从现有样本中生成新样本的方式来解决。
针对以上问题，本发明提出一种基于高光谱成像与深度学习技术进行粮种品种分类的方法以解决现有技术中存在的问题。
发明内容
本发明的目的是提供一种基于高光谱成像与深度学习的粮种品种分类方法，以解决上述现有技术存在的问题。
为实现上述目的，本发明提供了一种基于高光谱成像与深度学习的粮种品种分类方法，包括以下步骤：
获取粮种的多通道高光谱图像，对所述多通道高光谱图像预处理得到预处理高光谱图像数据集，基于所述预处理高光谱图像数据集获得第一特征图；其中，所述预处理高光谱图像数据集包括若干拼接图像；
构建粮种品种分类网络模型，其中，粮种品种分类网络模型包括粮种品种分类模块；基于所述粮种品种分类模块指导训练所述粮种品种分类网络模型，得到训练后的粮种品种分类模型；
将所述拼接图像输入所述训练后的粮种品种分类模型，得到粮种品种分类结果。
可选的，对所述多通道高光谱图像预处理前，
基于白色聚四氟乙烯材质板和多元散射校正算法对多通道高光谱进行光谱校准和光谱数据基线修正。
可选的，对所述多通道高光谱图像进行预处理的过程包括：
将所述多通道高光谱图像进行分解，得到若干单通道高光谱图像，基于若干所述单通道高光谱图像，舍弃不清晰光谱波段对应的图像，得到预处理高光谱图像；
将所述预处理高光谱图像按种类标签分为若干图像子集，其中，各图像子集中包括若干单通道高光谱图像；
将各图像子集中若干所述单通道高光谱图像切割、拼接，得到若干拼接图像，其中，所述拼接图像的子图像来自同一波段。
可选的，将所述第一特征图输入所述粮种品种分类模块得到加权特征图的过程包括：
基于多种边缘检测算子提取所述第一特征图的纹理信息，得到各边缘检测算子对应的梯度图；
基于若干所述梯度图得到第二特征图；
基于所述第二特征图得到权重图；
基于所述第一特征图和所述权重图得到加权特征图。
可选的，所述粮种品种分类模块采用金字塔结构的混合梯度域注意力模块；
其中，所述金字塔结构的混合梯度域注意力模块包括金字塔模块。
可选的，基于多种边缘检测算子提取所述第一特征图的纹理信息，得到各边缘检测算子对应的梯度图，将若干所述梯度图级联后输入到卷积层进行特征提取和通道恢复，得到所述第二特征图；
其中，多种所述边缘检测算子包括Sobel、Scharr、Laplace、Roberts和Prewitt。
可选的，基于所述金字塔模块对所述第二特征图编码，得到权重图；其中，所述金字塔模块包括：七个卷积层、三个最大池化层和三个反卷积层；所述卷积层的卷积核数等于所述第二特征图的通道数，核的大小为3×3；所述最大池化层的内核大小设置为2×2，填充设置为1；所述反卷积层中的核大小设置为2×2，步长设置为2。
所述金字塔模块的一个重要特征是，该模块通过对五种经典图像算子提取的梯度图进行编码，重新分配特征图的适当权重，以有效地提取细节特征，同时减少噪声和干扰信息。
本发明的技术效果为：
本发明采用将外部先验知识引入到注意力机制的设计，使其朝着有益的方向极大地影响了模型学习的过程。本发明能够为网络学习过程中的特征图重新分配学习权重，使网络在训练的过程中更关注粮种的边缘与纹理信息。
本发明基于高光谱成像和深度学习技术，实现了一种简单、高效、无损和自动化的粮种品种鉴别方法，以丰富当前粮种品种鉴别技术体系，有助于进一步加强种子市场的监管力度，保障育种企业和稻农的合法权益。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明实施例中的方法流程图；
图2为本发明实施例中的步骤二数据增强策略的示意图；
图3为本发明实施例中的步骤四混合梯度域注意力模块的网络结构图；
图4为本发明实施例中的验证实验流程图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
实施例一
如图1-3所示，本实施例中提供一种基于高光谱成像与深度学习的粮种品种分类方法，具体提供了一种包括基于高光谱成像与深度学习技术的水稻种子品种分类的方法，包括以下步骤：
步骤一、获取水稻种子的高光谱图像数据集，并进行数据预处理，将多通道的高光谱图像转换为一系列单通道图像，并根据先验知识舍弃部分不清晰的图像。
步骤二、如图2所示，根据数据增强策略，将每个具有200粒种子的高光谱图像随机分割成260*260的图像块，然后每四个图像块随机拼接成一幅图像。该方法极大地缓解了由于高光谱成像特性导致的训练集不足的问题。
步骤三、引入边缘检测算子。从网络的某一层接收一个大小为B×C×H×W的特征图作为输入，使用Sobel、Scharr、Laplace、Roberts与Prewitt边缘检测算子，检测并保留边缘，提取纹理信息。
(1)Sobel算子。它主要作为离散微分算子用于边缘检测。大小和方向的近似计算规则如下：
其中Gx和Gy分别表示具有水平和垂直边缘检测的图像。Sobel算子更适用于灰度梯度较大、噪声较大的图像。
(2)Scharr算子。通过增加像素值之间的间距，有效地提取出弱边缘信息，这是增强Sobel算子差异的一种实现。Scharr算子和Sobel算子的唯一区别在于它们的卷积核不同。
(3)Laplace算子。该算子是各向同性的，可以锐化任何方向的边界和线。它通常用于确定边缘像素是否位于图像的亮区或暗区。它是一种二阶导数算子，在边缘产生陡峭的零交叉，定义如下：
其中f表示数字图像，x表示水平方向，y表示垂直方向。
(4)Roberts算子。其目的是使用局部差分算子检测边缘，其定义如下：
该算子对垂直边缘的检测效果优于斜边缘。
(5)Prewitt算子。该算子使用两个方向模板对图像空间中的图像进行邻域卷积。一个方向模板用于检测水平边缘，另一个用于检测垂直边缘。
形式定义如下：
其中d指一阶导数运算。
步骤四、提出一种金字塔结构的混合域梯度注意力模块。连接步骤三中得到的5个通道数均为C的梯度图G1，G2，…，G5，获得具有5C个通道的输出，并将其输入到卷积层进行特征提取和通道恢复，生成具有C通道的特征图，命名为G。在多分辨率技术的启发下，使用一个金字塔模块来对特征映射G进行编码。该模块由七个卷积层、三个最大池化层和三个反卷积层组成。该模块的网络结构架构如图3所示。
该注意力模块的一个重要特征是，该模块通过对五种经典图像算子提取的梯度图进行编码，重新分配特征图的适当权重，以有效地提取细节特征，同时减少噪声和干扰信息。由于输入和加权特征图大小相同，并且使用了点乘运算，因此该模块可以看作是基于混合梯度域设计的注意力模块，并且可以以低成本的方式与多个网络相结合，以获得更好的分类性能。
步骤五、输入特征图经过边缘检测算子以及混合梯度域注意力模块提取边缘及纹理特征后，其输出的权重图与输入图像相乘后的结果，继续由骨干网络进行训练，得到最终的分类结果。
实施例二
本实施例提供了一种基于高光谱成像与深度学习技术进行水稻品种分类方法的验证试验，如图4所示，包括：
步骤一、数据集的选取。选择的水稻种子有六大类。每类水稻种子包含50幅高光谱图像，其中35幅图像随机选取进行训练，其余15幅图像用于测试。我们分别在训练集和测试集上采用本发明提出的数据增强方法，最终得到每类水稻种子大小为520×520的7000幅训练图像和3000幅测试图像。
步骤二、实验的设置。在Windows 10机器的Pytorch 1.8.0框架中实现，并在配备第11代Intel(R)Core(TM)[email protected] CPU、NVIDIA Geforce RTX 3060Ti(12GB)GPU和32GB RAM的平台上进行训练和测试。CUDA和CUDNN也用于加速。此外，使用SGD优化器，原始学习率为0.04，并使用基本交叉熵作为损失函数。
步骤三、评价指标。
每种水稻种子的分类精度；总体分类精度；Kappa系数；Macro-F1。
步骤四、分类结果的评估。基于所提出的数据增强方法生成的水稻种子扩增高光谱图像集，采用了七种经典网络结构来定量评估所提出的混合梯度域注意力模块与边缘检测算子对水稻种子分类的有效性。根据七种网络结构在加入和不加入该注意力模块及边缘检测算子的情况下的分类结果，包括每类水稻种子的分类精度(AA)、总体分类精度(OA)、Macro-F1和Kappa系数(κ)，发现在引入边缘检测算子与加入混合梯度域注意力模块后，对于本文获得的水稻种子高光谱图像集，每个基线模型在总体精度、Macro-F1和Kappa系数方面都有显著提高。
以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (4)

1.一种基于高光谱成像与深度学习的粮种品种分类方法，其特征在于，包括以下步骤：
获取粮种的多通道高光谱图像，对所述多通道高光谱图像预处理得到预处理高光谱图像数据集，基于所述预处理高光谱图像数据集获得第一特征图；其中，所述预处理高光谱图像数据集包括若干拼接图像；
构建粮种品种分类网络模型，其中，粮种品种分类网络模型包括粮种品种分类模块；基于所述粮种品种分类模块指导训练所述粮种品种分类网络模型，得到训练后的粮种品种分类模型；
将所述拼接图像输入所述训练后的粮种品种分类模型，得到粮种品种分类结果；
对所述多通道高光谱图像预处理前，
基于白色聚四氟乙烯材质板和多元散射校正算法对多通道高光谱进行光谱校准和光谱数据基线修正；
对所述多通道高光谱图像进行预处理的过程包括：
将所述多通道高光谱图像进行分解，得到若干单通道高光谱图像，基于若干所述单通道高光谱图像，舍弃不清晰光谱波段对应的图像，得到预处理高光谱图像；
将所述预处理高光谱图像按种类标签分为若干图像子集，其中，各图像子集中包括若干单通道高光谱图像，所述粮种包括若干品种，所述种类标签包括所述若干品种对应的标识标签；
将各图像子集中若干所述单通道高光谱图像切割、拼接，得到若干拼接图像，其中，所述拼接图像的子图像来自同一波段；
获取所述拼接图像的过程包括：将每个具有200粒种子的高光谱图像随机分割成260*260的图像块，然后每四个图像块随机拼接成一幅拼接图像；
基于所述粮种品种分类模块指导训练所述粮种品种分类网络模型的过程包括：
基于多种边缘检测算子提取所述第一特征图的纹理信息，得到各边缘检测算子对应的梯度图；
基于若干所述梯度图得到第二特征图；
所述粮种品种分类模块对所述第二特征图进行重新分配学习权重，提取细节特征得到权重图；
基于所述第一特征图和所述权重图得到加权特征图；
基于所述加权特征图得到预测结果；
基于所述预测结果与真实结果得到损失值，基于所述损失值进行粮种品种分类网络模型训练，得到训练后的粮种品种分类模型。
2.根据权利要求1所述的基于高光谱成像与深度学习的粮种品种分类方法，其特征在于，所述粮种品种分类模块采用金字塔结构的混合梯度域注意力模块；
其中，所述金字塔结构的混合梯度域注意力模块包括金字塔模块。
3.根据权利要求1所述的基于高光谱成像与深度学习的粮种品种分类方法，其特征在于，基于多种边缘检测算子提取所述第一特征图的纹理信息，得到各边缘检测算子对应的梯度图，将若干所述梯度图级联后输入到卷积层进行特征提取和通道恢复，得到所述第二特征图；
其中，多种所述边缘检测算子包括Sobel、Scharr、Laplace、Roberts和Prewitt。
4.根据权利要求2所述的基于高光谱成像与深度学习的粮种品种分类方法，其特征在于，基于所述金字塔模块对所述第二特征图编码，得到权重图；
其中，所述金字塔模块包括：七个卷积层、三个最大池化层和三个反卷积层；所述卷积层的卷积核数等于所述第二特征图的通道数，核的大小为3×3；所述最大池化层的内核大小设置为2×2，填充设置为1；所述反卷积层中的核大小设置为2×2，步长设置为2。
CN202310009003.0A 2023-01-04 2023-01-04 基于高光谱成像与深度学习的粮种品种分类方法 Active CN115965953B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310009003.0A CN115965953B (zh) 2023-01-04 2023-01-04 基于高光谱成像与深度学习的粮种品种分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310009003.0A CN115965953B (zh) 2023-01-04 2023-01-04 基于高光谱成像与深度学习的粮种品种分类方法

Publications (2)

Publication Number Publication Date
CN115965953A CN115965953A (zh) 2023-04-14
CN115965953B true CN115965953B (zh) 2023-08-22

Family

ID=87357774

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310009003.0A Active CN115965953B (zh) 2023-01-04 2023-01-04 基于高光谱成像与深度学习的粮种品种分类方法

Country Status (1)

Country Link
CN (1) CN115965953B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110852227A (zh) * 2019-11-04 2020-02-28 中国科学院遥感与数字地球研究所 高光谱图像深度学习分类方法、装置、设备及存储介质
CN111914907A (zh) * 2020-07-13 2020-11-10 河海大学 一种基于深度学习空谱联合网络的高光谱图像分类方法
CN113705526A (zh) * 2021-09-07 2021-11-26 安徽大学 一种高光谱遥感影像分类方法
WO2022073452A1 (zh) * 2020-10-07 2022-04-14 武汉大学 一种基于自注意力上下文网络的高光谱遥感图像分类方法
CN114882249A (zh) * 2022-03-28 2022-08-09 吉林工程技术师范学院 一种基于高光谱的种子品种品质检测方法、***
CN115564996A (zh) * 2022-09-29 2023-01-03 安徽大学 一种基于注意力联合网络的高光谱遥感图像分类方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110852227A (zh) * 2019-11-04 2020-02-28 中国科学院遥感与数字地球研究所 高光谱图像深度学习分类方法、装置、设备及存储介质
CN111914907A (zh) * 2020-07-13 2020-11-10 河海大学 一种基于深度学习空谱联合网络的高光谱图像分类方法
WO2022073452A1 (zh) * 2020-10-07 2022-04-14 武汉大学 一种基于自注意力上下文网络的高光谱遥感图像分类方法
CN113705526A (zh) * 2021-09-07 2021-11-26 安徽大学 一种高光谱遥感影像分类方法
CN114882249A (zh) * 2022-03-28 2022-08-09 吉林工程技术师范学院 一种基于高光谱的种子品种品质检测方法、***
CN115564996A (zh) * 2022-09-29 2023-01-03 安徽大学 一种基于注意力联合网络的高光谱遥感图像分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SSCDenseNet:一种空-谱卷积稠密网络的高光谱图像分类算法;刘启超;肖亮;刘芳;徐金环;;电子学报(04);全文 *

Also Published As

Publication number Publication date
CN115965953A (zh) 2023-04-14

Similar Documents

Publication Publication Date Title
Smith et al. Segmentation of roots in soil with U-Net
CN107292343B (zh) 一种基于六层卷积神经网络和光谱-空间信息联合的高光谱遥感图像分类方法
CN105354865B (zh) 多光谱遥感卫星影像自动云检测方法及***
CN110298414B (zh) 基于去噪组合降维和引导滤波的高光谱图像分类方法
CN112052755A (zh) 基于多路注意力机制的语义卷积高光谱图像分类方法
CN114463637A (zh) 一种基于深度学习的冬小麦遥感识别分析方法和***
CN108256557B (zh) 结合深度学习和邻域集成的高光谱图像分类方法
CN113435254A (zh) 一种基于哨兵二号影像的耕地深度学习提取方法
CN113850284B (zh) 一种基于多尺度特征融合和多分支预测的多操作检测方法
CN1252588C (zh) 高光谱遥感图像联合加权随机分类方法
CN114387454A (zh) 一种基于区域筛选模块和多层次对比的自监督预训练方法
CN105809199A (zh) 基于稀疏编码和dpl的极化sar图像分类方法
CN115965953B (zh) 基于高光谱成像与深度学习的粮种品种分类方法
CN116824274A (zh) 小样本细粒度图像分类方法及***
CN117115685A (zh) 一种基于深度学习的经济作物信息识别方法及***
CN116452872A (zh) 一种基于改进的Deeplabv3+的森林场景树种分类方法
CN110866552A (zh) 基于全卷积空间传播网络的高光谱图像分类方法
CN113192076B (zh) 联合分类预测和多尺度特征提取的mri脑肿瘤图像分割方法
CN102521601B (zh) 基于半监督条件随机场的超光谱图像分类方法
CN115423802A (zh) 基于深度学习的鳞状上皮肿瘤细胞图片自动分类分割方法
CN111709427B (zh) 一种基于稀疏卷积核的果实分割方法
CN111860153B (zh) 尺度自适应的高光谱图像分类方法及***
CN114821351A (zh) 铁路危险源识别方法、装置、电子设备及存储介质
CN106952251A (zh) 一种基于吸附模型的图像显著性检测方法
CN112966749B (zh) 基于半监督滑窗全卷积网络的极化sar图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant