CN116597312A - 基于小样本图像语义分割的农作物叶片病虫害识别的方法 - Google Patents
基于小样本图像语义分割的农作物叶片病虫害识别的方法 Download PDFInfo
- Publication number
- CN116597312A CN116597312A CN202310577254.9A CN202310577254A CN116597312A CN 116597312 A CN116597312 A CN 116597312A CN 202310577254 A CN202310577254 A CN 202310577254A CN 116597312 A CN116597312 A CN 116597312A
- Authority
- CN
- China
- Prior art keywords
- feature map
- images
- query set
- support set
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000011218 segmentation Effects 0.000 title claims abstract description 37
- 241000607479 Yersinia pestis Species 0.000 title claims abstract description 36
- 201000010099 disease Diseases 0.000 title claims abstract description 31
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims abstract description 31
- 241000238631 Hexapoda Species 0.000 claims abstract description 24
- 238000000605 extraction Methods 0.000 claims abstract description 14
- 238000003709 image segmentation Methods 0.000 claims abstract description 12
- 238000013135 deep learning Methods 0.000 claims abstract description 11
- 238000002372 labelling Methods 0.000 claims abstract description 7
- 238000005457 optimization Methods 0.000 claims abstract description 4
- 238000011176 pooling Methods 0.000 claims description 27
- 230000006870 function Effects 0.000 claims description 17
- 239000013598 vector Substances 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000007246 mechanism Effects 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 3
- 238000013178 mathematical model Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims 1
- 238000013527 convolutional neural network Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000003708 edge detection Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000001629 suppression Effects 0.000 description 3
- 230000009418 agronomic effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 238000013526 transfer learning Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于小样本图像语义分割的农作物叶片病虫害识别的方法，应用于农作物叶片病虫害识别技术领域，包括：采集农作物病虫害叶片的图像，将其分为支持集和查询集两组图像，并对支持集中的图像进行图像分割标注，得到具有标签的支持集和无标签的查询集；采用预训练的深度学习网络模型对支持集和查询集中的图像进行特征提取，得到支持集特征图和查询集特征图；使用密集比较模块对支持集特征图和查询集特征图进行密集比较，以得到查询集的初步分割图像；使用迭代优化模块对查询集的初步分割图像进行优化，得到精确的查询集分割图像。本发明可以使用极少数目的标注图像实现对农作物叶片病虫害识别。
Description
技术领域
本发明涉及农作物叶片病虫害识别技术领域，更具体的说是涉及一种基于小样本图像语义分割的农作物叶片病虫害识别的方法。
背景技术
小样本量是农业图像分割中的一个巨大挑战，因为获取大量标注数据用于训练通常不切实际且耗时。然而，准确的图像分割对于各种农业应用至关重要，如作物监测、产量估计和疾病诊断。当在大量标记数据上训练时，传统的基于监督的深度学习的分割方法可以获得良好的结果。然而，由于以下两个原因，这些网络在农学图像上的训练通常难以实现：缺乏足够大量的专家注释数据用于训练，因为这些注释不仅需要相关的病变知识还需要成本和时间；此外，农业植物病变分割课题不计其数，通过训练一个新的、特定的模型来覆盖每一个不可见的课题是不切实际的。
近年来，深度学习方法的发展为植物病虫害检测提供了新的思路。基于深度学习的植物病虫害检测方法主要包括基于卷积神经网络(CNN)的方法、基于循环神经网络(RNN)的方法、基于图像分割的方法等。卷积神经网络方法已被广泛应用与植物病虫害的分割任务中，并取得了显著的性能提升。然而，获取大量标记数据用于训练通常不切实际且耗时的，当面临小样本数据时，卷积神经网络模型容易出现过拟合的情况，从而影响分类和分割结果的准确性。
为了解决这一问题，研究人员开始尝试基于小样本学习的方法来提高植物病虫害分割的性能。小样本学习已经成为一种很有前途的农业图像分割方法。针对一个从未见过的分类，小样本模型可以从极少量的几个标注数据中学习其特征。从而允许模型使用有限的标记数据对新目标进行有效分割，而不需要使用大量的标注数据重新训练模型。如果将小样本学习应用于农学图像，使用者可以仅使用少量的标注样本有效地分割出罕见或新发病灶。小样本学习方法包括数据增强技术、元学习、迁移学习等。数据增强技术通过对原始图像进行变换、裁剪、旋转、噪声添加等操作，来扩充训练数据集的规模和多样性，从而缓解过拟合问题。元学习通过在大规模数据集上预训练一个通用的模型或者优化器，并在小样本数据集上进行微调或者更新，来提高模型在新任务上的泛化能力。迁移学习通过利用源域中已有知识来辅助目标域中相关任务的学习，从而减少目标域所需的训练数据量。
因此，本发明提供一种基于小样本图像语义分割的农作物叶片病虫害识别的方法，来解决现有技术存在的困难，是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了一种基于小样本图像语义分割的农作物叶片病虫害识别的方法，通过使用本发明方法，可以使用极少数目的标注图像实现对农作物叶片病虫害识别。
为了实现上述目的，本发明提供如下技术方案：
一种基于小样本图像语义分割的农作物叶片病虫害识别的方法，包括以下步骤：
S1、采集农作物病虫害叶片的图像，将其分为支持集和查询集两组图像，并对支持集中的图像进行图像分割标注，得到具有标签的支持集和无标签的查询集；
S2、采用预训练的深度学习网络模型对支持集和查询集中的图像进行特征提取，得到支持集特征图和查询集特征图；
S3、使用密集比较模块对支持集特征图和查询集特征图进行密集比较，以得到查询集的初步分割图像；
S4、使用迭代优化模块对查询集的初步分割图像进行优化，得到精确的查询集分割图像。
可选的，S1中通过Canny边缘检测器对支持集图像进行分割并手动对分割区域进行标注。
可选的，在S2中对支持集和查询集图像进行特征提取采用的是深度学习网络模ResNet。
可选的，ResNet中的网络用以下数学模型进行表示：
(1)卷积层：对于输入图像I和卷积核K，卷积操作可以表示为：
其中C(i,j)是输出特征图的第i行第j列的元素；
(2)池化层：对于输入特征图F，池化操作可以表示为：
其中P(i,j)是输出特征图的第i行第j列的元素，s是池化步长，m和n是池化窗口的大小；
(3)残差模块：对于输入特征图X和残差函数F，残差模块可以表示为：
Y＝F(X)+X
其中Y是输出特征图，F(X)是由卷积层和激活函数组成的非线性函数；
(4)全局平均池化层：对于输入特征图G，全局平均池化层可以表示为：
其中vc是输出向量的第c个元素，H和W是输入特征图的高度和宽度，c是通道数。
可选的，S3中是通过比较支持集特征图和查询集特征图之间的相似度，来计算查询集的病虫害类别。
可选的，在S3的密集比较模块中，使用了余弦距离作为特征图相似度的度量函数，对于空间中的两个向量A,B，其余弦距离为：
其中，*表示点积，||A||表示向量A的模长，计算公式为
可选的，在S3中支持集中具有多张图像，则使用注意力机制模块获得更加精确的支持集特征图；注意力机制模块由两个卷积块组成，第一个卷积块有256个3×3的滤波器，后面跟着一个3×3的最大池化层；第二个卷积块有一个3×3的卷积层，后面跟着一个全局平均池化层；注意力分支的输出为λ，表示每个支持样本的权重。
可选的，使用SoftMax函数对所有支持样本的权重进行归一化，使得它们的和为1，具体计算公式如下：
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于小样本图像语义分割的农作物叶片病虫害识别的方法，具有以下有益效果：
(1)采用步骤1，使用基于Canny算子的边缘检测算法，Canny算子是非微分边缘检测算子，利用高斯滤波器平滑图像，计算图像中每个像素点的梯度强度和方向，对梯度幅值进行非极大值抑制，用双阈值算法检测来确定真实和潜在的边缘。Canny算子对噪声不敏感，能够检测到真正的弱边缘，是很有效的边缘检测方法。
(2)采用步骤2，对支持集和查询集中的图像进行特征提取，采用ResNet深度学习网络进行特征提取，对比传统的CNN网络，ResNet引入了残差块(residual blocks)的概念，它们通过跳跃连接(skip connections)将输入和输出相加，从而避免了梯度消失或***的问题。因此，ResNet可以构建非常深的特征提取网络，进而挖掘出更多的图像特征。
(3)采用步骤3，使用余弦距离比较支持集特征图和查询集特征图的相似度，得到初步的查询集分割图像。余弦距离(Cosine Similarity)是通过测量两个向量夹角的余弦值来确定两个向量之间的相似度。它通常用于正空间，因此给出的值在0到1之间。它体现方向上的相对差异，而不考虑数值上的绝对差异。它的优点是可以解决高维数据中欧几里得距离问题。
(4)采用步骤4，基于步骤3中的查询集的初步分割图像，使用迭代残差连接方法优化初步分图像的边缘，得到精确的查询集分割图像。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明提供的一种基于小样本图像语义分割的农作物叶片病虫害识别的方法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1所示，本发明公开了一种基于小样本图像语义分割的农作物叶片病虫害识别的方法，包括以下步骤：
S1、采集农作物病虫害叶片的图像，将其分为支持集和查询集两组图像，并对支持集中的图像进行图像分割标注，得到具有标签的支持集和无标签的查询集；
S2、采用预训练的深度学习网络模型对支持集和查询集中的图像进行特征提取，得到支持集特征图和查询集特征图；
S3、使用密集比较模块对支持集特征图和查询集特征图进行密集比较，以得到查询集的初步分割图像；
S4、使用迭代优化模块对查询集的初步分割图像进行优化，得到精确的查询集分割图像。
进一步的，S1具体为：
由于需要对支持集图像的病虫害区域进行标注，首先需要使用图像分割算法将病虫害区域周围区域分割。基于边缘的图像分割算法是指通过检测图像中不同区域的边缘来实现分割的过程，通常利用一阶或二阶导数来寻找像素灰度值变化剧烈的地方，然后将这些边缘点连接起来形成封闭的区域。基于边缘的图像分割算法有Canny边缘检测器、Sobel算子、Laplacian算子、分水岭算法等。
Canny算子是非微分边缘检测算子，利用高斯滤波器平滑图像，计算图像中每个像素点的梯度强度和方向，对梯度幅值进行非极大值抑制，用双阈值算法检测来确定真实和潜在的边缘。Canny算子对噪声不敏感，能够检测到真正的弱边缘，是很有效的边缘检测方法。Canny边缘检测器的主要步骤如下：
高斯平滑滤波：使用高斯滤波器核与图像进行卷积，生成方程式为：
其中，x和y是核的中心点，σ是标准差。
计算梯度幅值和方向：使用一阶有限差分算子(如Sobel算子)计算图像中每个像素点的梯度幅值G和方向θ，计算公式为：
θ＝arctan(Gy/Gx)
其中，Gx和Gy是X和Y方向的梯度值，可以用Sobel算子与图像进行卷积得到。
设图像中的一个n*n的窗口为A，Sobel算子为Sx,Sy，均与A维度相同。则有:
Gx＝Sx*A,Gy＝Sy*A
其中*为卷积计算符。
非极大值抑制：根据梯度方向，对梯度幅值进行局部最大值判断，抑制非极大值点，得到细化的边缘图像。具体步骤为：
1)将当前像素的梯度强度与沿正负梯度方向上的两个像素进行比较。
2)如果当前像素的梯度强度与另外两个像素相比最大，则该像素点保留为边缘点，否则该像素点将被抑制。
双阈值检测：使用双阈值(高阈值T1和低阈值T2)对边缘图像进行筛选，保留强边缘点，排除低于低阈值的点，连接高阈值点和低阈值点之间的弱边缘点，得到最终的边缘图像。具体步骤为：
1)如果边缘像素的梯度值高于高阈值T1，则将其标记为强边缘像素；
2)如果边缘像素的梯度值小于高阈值T1并且大于低阈值T2，则将其标记为弱边缘像素；
3)如果边缘像素的梯度值小于低阈值T2，则会被抑制。
抑制孤立低阈值点：通过查看弱边缘像素及其8个邻域像素，只要其中一个为强边缘像素，则该弱边缘点就可以保留为真实的边缘。具体步骤为：
1)遍历所有弱边缘像素；
2)对于每个弱边缘像素，检查其8个邻域像素是否有强边缘像素；
3)如果有，则将该弱边缘像素保留；如果没有，则将该弱边缘像素抑制。
更进一步的，S2具体为：
在图像识别领域，深度学习是一项非常有效的工具，其中卷积神经网络在特征提取方面有着卓越的成效。卷积神经网络通过不同的卷积核对图像上的像素的进行卷积，不同的卷积核对应不同维度的特征。通过卷积神经网络，可将图像上具备的肉眼不可见的特征提取出来，让模型能够通过图像特征对特定的图像进行分类。在此基础上，ResNet引入了残差块(residual blocks)的概念，它们通过跳跃连接(skip connections)将输入和输出相加，从而避免了梯度消失或***的问题。因此，ResNet可以构建非常深的特征提取网络，进而挖掘出更多的图像特征。ResNet具体的特征提取结构根据不同的深度有所不同，一般可以分为以下几个部分：
第一层：一个7×7的卷积层，步长为2，输出通道数为64，后接一个3×3的最大池化层，步长为2。
第二层：若干个残差模块，每个残差模块包含两个3×3的卷积层，输出通道数为64，步长为1。
第三层：若干个残差模块，每个残差模块包含三个卷积层，分别是1×1，3×3，1×1，输出通道数为128，步长为2。
第四层：若干个残差模块，每个残差模块包含三个卷积层，分别是1×1，3×3，1×1，输出通道数为256，步长为2。
第五层：若干个残差模块，每个残差模块包含三个卷积层，分别是1×1，3×3，1×1，输出通道数为512，步长为2。
第六层：一个全局平均池化层，将最后一层的特征图转换为一维向量。
不同深度的ResNet在第二到第五层的残差模块的数量不同，例如ResNet-18有2,2,2,2个残差模块，ResNet-34有3,4,6,3个残差模块，ResNet-50有3,4,6,3个残差模块。特别地，其步骤中的网络可以用以下数学模型进行表示：
卷积层：对于输入图像I和卷积核K，卷积操作可以表示为：
其中C(i,j)是输出特征图的第i行第j列的元素。
池化层：对于输入特征图F，池化操作可以表示为：
其中P(i,j)是输出特征图的第i行第j列的元素，s是池化步长，m和n是池化窗口的大小。
残差模块：对于输入特征图X和残差函数F，残差模块可以表示为：
Y＝F(X)+X
其中Y是输出特征图，F(X)是由卷积层和激活函数组成的非线性函数。
全局平均池化层：对于输入特征图G，全局平均池化层可以表示为：
其中vc是输出向量的第c个元素，H和W是输入特征图的高度和宽度，c是通道数。
进一步的，S3具体为：
在特征提取模块中，本发明使用同样的特征提取模块对支持集和查询集进行特征提取，得到支持集特征图和查询集特征图。在此之后，本发明使用密集比较模块对支持集特征图和查询集特征图进行密集比较。由于支持集是经过图像分割标注的图像，因此支持集图像的病虫害类别是可知的，通过比较支持集特征图和查询集特征图之间的相似度，便可以计算出查询集的病虫害类别。特别地，本发明地密集比较模块中，使用了余弦距离(Cosine Distance)作为特征图相似度的度量函数。
在比较特征之间的相似性时，通常会选择欧氏距离(Euclidean Distance)作为比较函数。欧氏距离是指在n维空间中两个点之间的实际距离。它是通过勾股定理计算两个点之间的直线距离。对于空间中的两个向量A(x1,x2,…,xn),B(y1,y2,…,yn)其欧氏距离可表示为：
它的优点是简单直观，易于实现。但它的缺点是不是比例不变的，这意味着所计算的距离可能会根据要素的单位而发生偏斜。通常，在使用此距离度量之前，需要对数据进行标准化。此外，随着数据维数的增加，欧氏距离的用处也就越小。
与欧式距离不同的是，余弦距离(Cosine Similarity)是通过测量两个向量夹角的余弦值来确定两个向量之间的相似度。它通常用于正空间，因此给出的值在0到1之间。它体现方向上的相对差异，而不考虑数值上的绝对差异。它的优点是可以解决高维数据中欧几里得距离问题。但它的缺点是没有考虑向量的大小，而只考虑它们的方向。对于空间中的两个向量A,B，其余弦距离为：
其中，*表示点积，||A||表示向量A的模长，计算公式为
更进一步的，S4具体为：
首先，将密集比较模块的输出特征图和上一次迭代的预测掩码作为输入，通过一个残差连接将它们结合起来，残差连接的公式为：
Mt＝x+F(x,yt-1)
其中x是密集比较模块的输出特征；yt-1是上一次迭代步骤的预测掩码，Mt是残差块的输出，函数F(·)是特征x和预测掩码yt-1的级联。
然后，使用两个普通的残差块和一个空洞空间金字塔池化模块(ASPP)来捕获多尺度的信息，输出一个更精细的预测掩码。
最后，将预测掩码作为下一次迭代的输入，重复上述过程，直到达到预设的迭代次数。
具体的，对于第三步，若支持集中具有多张图像，则使用注意力机制模块获得更加精确的支持集特征图，步骤具体为：
当支持集中存在多于一张图像时，本发明采用了一个注意力机制来融合不同支持样本的比较结果。当然，简单地平均或逻辑或(Logical OR)不同支持样本的比较结果是不合理的，因为这样会忽略了不同支持样本对于查询样本的差异性和相关性。因此，本发明在第三步密集比较模块中增加了一个注意力分支，用于计算每个支持样本的权重。注意力分支由两个卷积块组成，第一个卷积块有256个3×3的滤波器，后面跟着一个3×3的最大池化层；第二个卷积块有一个3×3的卷积层，后面跟着一个全局平均池化层。注意力分支的输出为λ，表示每个支持样本的权重。然后，本文用SoftMax函数对所有支持样本的权重进行归一化，使得它们的和为1，其计算公式为：
最后，本文用归一化后的权重对不同支持样本的特征进行加权求和，得到最终的输出特征。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (8)
1.一种基于小样本图像语义分割的农作物叶片病虫害识别的方法，其特征在于，包括以下步骤：
S1、采集农作物病虫害叶片的图像，将其分为支持集和查询集两组图像，并对支持集中的图像进行图像分割标注，得到具有标签的支持集和无标签的查询集；
S2、采用预训练的深度学习网络模型对支持集和查询集中的图像进行特征提取，得到支持集特征图和查询集特征图；
S3、使用密集比较模块对支持集特征图和查询集特征图进行密集比较，以得到查询集的初步分割图像；
S4、使用迭代优化模块对查询集的初步分割图像进行优化，得到精确的查询集分割图像。
2.根据权利要求1所述的一种基于小样本图像语义分割的农作物叶片病虫害识别的方法，其特征在于，
S1中通过Canny边缘检测器对支持集图像进行分割并手动对分割区域进行标注。
3.根据权利要求1所述的一种基于小样本图像语义分割的农作物叶片病虫害识别的方法，其特征在于，
在S2中对支持集和查询集图像进行特征提取采用的是深度学习网络模ResNet。
4.根据权利要求3所述的一种基于小样本图像语义分割的农作物叶片病虫害识别的方法，其特征在于，
ResNet中的网络用以下数学模型进行表示：
(1)卷积层：对于输入图像I和卷积核K，卷积操作可以表示为：
其中C(i,j)是输出特征图的第i行第j列的元素；
(2)池化层：对于输入特征图F，池化操作可以表示为：
其中P(i,j)是输出特征图的第i行第j列的元素，s是池化步长，m和n是池化窗口的大小；
(3)残差模块：对于输入特征图X和残差函数F，残差模块可以表示为：
Y＝F(X)+X
其中Y是输出特征图，F(X)是由卷积层和激活函数组成的非线性函数；
(4)全局平均池化层：对于输入特征图G，全局平均池化层可以表示为：
其中vc是输出向量的第c个元素，H和W是输入特征图的高度和宽度，c是通道数。
5.根据权利要求1所述的一种基于小样本图像语义分割的农作物叶片病虫害识别的方法，其特征在于，
S3中是通过比较支持集特征图和查询集特征图之间的相似度，来计算查询集的病虫害类别。
6.根据权利要求5所述的一种基于小样本图像语义分割的农作物叶片病虫害识别的方法，其特征在于，
在S3的密集比较模块中，使用了余弦距离作为特征图相似度的度量函数，对于空间中的两个向量A,B，其余弦距离为：
其中，*表示点积，||A||表示向量A的模长，计算公式为
7.根据权利要求5所述的一种基于小样本图像语义分割的农作物叶片病虫害识别的方法，其特征在于，
在S3中支持集中具有多张图像，则使用注意力机制模块获得更加精确的支持集特征图；注意力机制模块由两个卷积块组成，第一个卷积块有256个3×3的滤波器，后面跟着一个3×3的最大池化层；第二个卷积块有一个3×3的卷积层，后面跟着一个全局平均池化层；注意力分支的输出为λ，表示每个支持样本的权重。
8.根据权利要求7所述的一种基于小样本图像语义分割的农作物叶片病虫害识别的方法，其特征在于，
在S3中使用SoftMax函数对所有支持样本的权重进行归一化，使得它们的和为1，具体计算公式如下：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310577254.9A CN116597312A (zh) | 2023-05-22 | 2023-05-22 | 基于小样本图像语义分割的农作物叶片病虫害识别的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310577254.9A CN116597312A (zh) | 2023-05-22 | 2023-05-22 | 基于小样本图像语义分割的农作物叶片病虫害识别的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116597312A true CN116597312A (zh) | 2023-08-15 |
Family
ID=87611239
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310577254.9A Pending CN116597312A (zh) | 2023-05-22 | 2023-05-22 | 基于小样本图像语义分割的农作物叶片病虫害识别的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116597312A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116994076A (zh) * | 2023-09-28 | 2023-11-03 | 中国海洋大学 | 一种基于双分支相互学习特征生成的小样本图像识别方法 |
| CN117541623A (zh) * | 2023-11-23 | 2024-02-09 | 中国水产科学研究院黑龙江水产研究所 | 一种鱼群活动轨迹监测*** |
-
2023
- 2023-05-22 CN CN202310577254.9A patent/CN116597312A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116994076A (zh) * | 2023-09-28 | 2023-11-03 | 中国海洋大学 | 一种基于双分支相互学习特征生成的小样本图像识别方法 |
| CN116994076B (zh) * | 2023-09-28 | 2024-01-19 | 中国海洋大学 | 一种基于双分支相互学习特征生成的小样本图像识别方法 |
| CN117541623A (zh) * | 2023-11-23 | 2024-02-09 | 中国水产科学研究院黑龙江水产研究所 | 一种鱼群活动轨迹监测*** |
| CN117541623B (zh) * | 2023-11-23 | 2024-06-07 | 中国水产科学研究院黑龙江水产研究所 | 一种鱼群活动轨迹监测*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Albattah et al. | A novel deep learning method for detection and classification of plant diseases | |
| Upadhyay et al. | A novel approach for rice plant diseases classification with deep convolutional neural network | |
| Mahum et al. | A novel framework for potato leaf disease detection using an efficient deep learning model | |
| Francis et al. | Disease detection and classification in agricultural plants using convolutional neural networks—a visual understanding | |
| Oo et al. | Plant leaf disease detection and classification using image processing | |
| Zhao et al. | An effective automatic system deployed in agricultural Internet of Things using Multi-Context Fusion Network towards crop disease recognition in the wild | |
| Veerendra et al. | Detecting plant diseases, quantifying and classifying digital image processing techniques | |
| CN116597312A (zh) | 基于小样本图像语义分割的农作物叶片病虫害识别的方法 | |
| Anandhakrishnan et al. | Deep Convolutional Neural Networks for image based tomato leaf disease detection | |
| CN115410088B (zh) | 一种基于虚拟分类器的高光谱图像领域自适应方法 | |
| Pushpa et al. | Plant disease detection and classification using deep learning model | |
| CN111898621A (zh) | 一种轮廓形状识别方法 | |
| Khan et al. | Machine learning-based detection and classification of walnut fungi diseases | |
| Nancy et al. | Deep Learning and Machine Learning Based Efficient Framework for Image Based Plant Disease Classification and Detection | |
| CN114155443A (zh) | 一种基于多感受野图注意力网络的高光谱图像分类方法 | |
| Barman et al. | Smartphone assist deep neural network to detect the citrus diseases in agri-informatics | |
| CN115393719A (zh) | 结合空谱域自适应与集成学习的高光谱图像分类方法 | |
| Abisha et al. | Application of image processing techniques and artificial neural network for detection of diseases on brinjal leaf | |
| Sharifi et al. | A new deep learning approach for classification of hyperspectral images: Feature and decision level fusion of spectral and spatial features in multiscale CNN | |
| Padmanabhuni et al. | An extensive study on classification based plant disease detection system | |
| Wakhare et al. | Development of automated leaf disease detection in pomegranate using Alexnet algorithm | |
| CN108960005B (zh) | 一种智能视觉物联网中对象视觉标签的建立及显示方法、*** | |
| Kundur et al. | Insect pest image detection and classification using deep learning | |
| Khodaskar et al. | Pattern recognition: Advanced development, techniques and application for image retrieval | |
| Bhadur et al. | Agricultural crops disease identification and classification through leaf images using machine learning and deep learning technique: a review |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |