CN114926445B - 一种基于孪生网络的小样本农作物病害图像识别方法及*** - Google Patents

一种基于孪生网络的小样本农作物病害图像识别方法及*** Download PDF

Info

Publication number
CN114926445B
CN114926445B CN202210605942.7A CN202210605942A CN114926445B CN 114926445 B CN114926445 B CN 114926445B CN 202210605942 A CN202210605942 A CN 202210605942A CN 114926445 B CN114926445 B CN 114926445B
Authority
CN
China
Prior art keywords
sample
disease
phi
category
twin network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210605942.7A
Other languages
English (en)
Other versions
CN114926445A (zh
Inventor
李大森
尹振东
赵延龙
吴芝路
李继卿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202210605942.7A priority Critical patent/CN114926445B/zh
Publication of CN114926445A publication Critical patent/CN114926445A/zh
Application granted granted Critical
Publication of CN114926445B publication Critical patent/CN114926445B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

一种基于孪生网络的小样本农作物病害图像识别方法及***，涉及图像识别领域，为解决现有小样本识别方法，易导致训练过拟合、识别准确率较低的问题。具体过程为：步骤一：每种病害类别的训练样本中分别随机选取一张图像作为参照样本；步骤二：设计孪生网络结构，按照三元组模式将一个参照样本、一个与参照样本病害类别相同的样本和一个其他病害类别的样本输入至网络，迭代训练后得到孪生网络模型，记录并保存各参照样本的映射结果；步骤三：分别设定各病害的距离判定阈值；步骤四：将待检测样本输入至孪生网络模型，计算其映射结果；并计算其与各参照样本间的距离，选取其中的最小值，将其与该类别的距离判定阈值比较并输出判定结果。

Description

一种基于孪生网络的小样本农作物病害图像识别方法及***
技术领域
本发明涉及图像识别领域，具体而言，涉及一种基于孪生网络的小样本农作物病害图像识别方法及***。
背景技术
深度学习方法是农作物病害分类与识别的主要方式之一，其与传统的机器学习与图像处理方法的区别在于，深度学习方法可以从大量的训练数据样本中发现数据的分布式特征表示，从而摆脱传统方法对人工提取特征的依赖。同时，实验证明在大量训练数据的支撑下，深度学习方法的识别准确率比传统方法的准确率更高。
然而在实际使用中，部分病害的样本数据是较难获得的，数据集本身也存在着隐私保护等问题。同时，数据集标注工作也需要农业专家参与判定，因此实际中可到的训练样本是有限的，传统深度学习方法难以得到大量训练数据样本的支撑。当训练样本数量较少时，该类深度学习方法易发生过拟合，造成识别准确率下降甚至识别模型完全失效等问题。因此有效的小样本学习策略在农作物病害检测任务中是必要的。
发明内容
本发明要解决的技术问题是：
现有的孪生网络方法识别农作病害时，当样本量较少时，易导致训练过拟合、识别准确率较低的问题。
本发明为解决上述技术问题所采用的技术方案：
一种基于孪生网络的小样本农作物病害图像识别方法，所述方法包括以下步骤：
步骤一：每种病害类别的训练样本中分别随机选取一张图像作为参照样本s1，s2，…，sn；其中，n代表病害类别数，分别将参照样本和其它训练样本图像进行预处理；
步骤二：设计孪生网络结构，按照三元组模式将一个参照样本、一个与参照样本病害类别相同的样本和一个其他病害类别的样本输入至网络，设置网络初始化参数，迭代训练后得到孪生网络模型，所述模型为输入样本的高维映射方式，记录并保存各参照样本s1，s2，…，sn通过所述模型后的映射结果Φ(s1)，Φ(s2)，…，Φ(sn)；
步骤三：分别设定各病害的距离判定阈值；
步骤四：将待检测样本x′输入至孪生网络模型，计算映射结果Φ(x′)；计算Φ(x′)与步骤二得到的Φ(s1)，Φ(s2)，…，Φ(sn)的距离，选取其中的最小值，将其与步骤三中设定的该类别的距离判定阈值比较，若小于或等于该类别的阈值，则判定该待检测样本属于该类病害并输出判定结果，若大于该类别的阈值，则判定该待检测样本不属于任何病害类别，不支持检测。
进一步地，步骤一具体为：将所有训练样本按病害类别标注，不同病害对应不同的标签；每种标签的训练样本中随机选择一张图像样本作为参照样本；通过下采样、中心裁剪的方式将参照样本和其他训练样本调整为统一尺寸，再进行随机旋转处理。
进一步地，步骤二中网络训练的具体过程为：
步骤二一、设置卷积神经网络的初始化参数；由卷积运算求得xi -、xi +和si的映射结果Φ(xi -)，Φ(si)，Φ(xi +)；xi -为与参照样本si同类别的病害样本，xi +为不属于参照样本si类别的病害样本；；
步骤二二、分别计算各映射结果之间Φ(xi -)与Φ(si)，Φ(si)与Φ(xi +)的最大均值差异MMD(Φ(xi -),Φ(si))，MMD(Φ(si)，Φ(xi +))，
步骤二三、最小化MMD(Φ(xi -),Φ(si))及最大化MMD(Φ(si)，Φ(xi +))，使MMD(Φ(xi -),Φ(si))+α<MMD(Φ(si)，Φ(xi +))，构造损失函数L，令L＝max(MMD(Φ(xi -),Φ(si))-MMD(Φ(si)，Φ(xi +))+α,0)，其中α为可调节的参数；
步骤二四、通过损失函数L，由反向传播算法来计算并更新网络参数；
步骤二五、迭代后得到孪生网络模型。
进一步地，步骤二中，最大均值差异MMD(Φ(xi -),Φ(si)),MMD(Φ(si)，Φ(xi +))具体计算过程为：
其中，xi1 -,xi2 -,…，xin -分别为样本xi -通过全连接层后的特征值，xi1 +,xi2 +,…，xin +分别为xi +通过全连接层后的特征值，si1，si2，…，sin分别为样本si通过全连接层后的特征值，n图像通过全连接层后的特征编码个数，φ为映射函数，可以将原变量映射到再生核希尔伯特空间。
进一步地，步骤三中，针对第i类病害的距离阈值设定，具体过程为：
步骤三一、读取步骤二保存的Φ(s1)，Φ(s2)，…，Φ(sn)；
步骤三二、计算第i类病害除去参照样本的所有训练样本xi1，xi2，…，xij的映射结果Φ(xi1)，Φ(xi2)，…，Φ(xij)；
步骤三三、分别计算Φ(xi1)，Φ(xi2)，…，Φ(xij)与Φ(si)的欧式距离，选取最大值并用D- max表示；同理，分别计算不属于i类病害的其余训练样本的映射结果与Φ(si)的欧氏距离，选取其中最小值并用D+ min表示；则第i类病害的距离阈值可表示为ε为可调节的参数。
进一步地，步骤四的具体过程为：
步骤四一、将待检测样本x′输入孪生网络模型，求得映射结果Φ(x′)；
步骤四二、读取步骤二保存的映射结果Φ(s1)，Φ(s2)，…，Φ(sn)，分别计算Φ(x′)与Φ(s1)，Φ(s2)，…，Φ(sn)的欧式距离，选取其中最小值；
步骤四三、将最小距离结果与该病害类别的距离判定阈值作比较，若小于或等于该类别设定的阈值，则判定该待检测样本属于该类病害并输出判定结果，若大于该类别的阈值，则判定该待检测样本不属于任何病害类别，不支持检测。
进一步地，步骤四中若得到的最小距离结果大于所有类别的判定阈值，则默认该图像不属于标签类别中，则不支持检测。
一种基于孪生网络的小样本农作物病害图像识别***，该***具有与上述任一项中的步骤对应的程序模块，运行时执行上述的基于孪生网络的小样本农作物病害图像识别方法中的步骤。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现上述任一项所述的基于孪生网络的小样本农作物病害图像识别方法的步骤。
相较于现有技术，本发明的有益效果是：
本发明提供一种基于孪生网络的小样本农作物病害图像识别方法及***，运用了度量学习的基本思想，即相同类别样本间相似度较小，不同类别样本间相似度较大；拉近相同种类样本在高维映射空间的距离，拉远不同种类样本在高维映射空间的距离，以实现类间样本的距离大于类内样本的距离，本发明针对训练样本数量较少条件下的农作物病害检测具有较高的准确率。
本发明采用改进的孪生网络方法来解决小样本农作物病害分类问题，通过引入最大均值差异代替欧式距离来度量并训练模型权重，其可有效比较不同样本间的特征分布差异，提高农作物病害检测的确率率。
附图说明
图1为本实施例基于孪生网络的小样本农作物病害图像识别方法流程图；
图2为本实施例基于孪生网络的小样本农作物病害图像识别方法所用网络的结构图；
图3为本实施例待检测病害图像的判定过程图；
图4本实施例识别农作物病害类别；
图5为传统的深度学习方法的判断病害类别的示意图；
图6为小样本任务应用距离度量判断病害类别的示意图；
图7为小样本任务参照样本选在分布边缘时应用距离度量判断病害类别的示意图；
图8为本发明最小化类内距离、最大化类间距离的判断病害类别的示意图。
具体实施方式
在本发明的描述中，应当说明的是，在本发明的实施例中所提到的术语“第一”、“第二”、“第三”仅用于描述目的，并不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括一个或者多个该特征。
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
结合图1至图3所示，本发明提供一种基于孪生网络的小样本农作物病害图像识别方法，所述方法包括以下步骤：
步骤一：每种病害类别的训练样本中分别随机选取一张图像作为参照样本s1，s2，…，sn；其中，n代表病害类别数，分别将参照样本和其它训练样本图像进行预处理；
步骤二：设计孪生网络结构，按照三元组模式将一个参照样本、一个与参照样本病害类别相同的样本和一个其他病害类别的样本输入至网络，设置网络初始化参数，迭代训练后得到孪生网络模型，所述模型为输入样本的高维映射方式，记录并保存各参照样本s1，s2，…，sn通过所述模型后的映射结果Φ(s1)，Φ(s2)，…，Φ(sn)；
步骤三：分别设定各病害的距离判定阈值；
步骤四：将待检测样本x′输入至孪生网络模型，计算映射结果Φ(x′)；计算Φ(x′)与步骤二得到的Φ(s1)，Φ(s2)，…，Φ(sn)的距离，选取其中的最小值，将其与步骤三中设定的该类别的距离判定阈值比较，若小于或等于该类别的阈值，则判定该待检测样本属于该类病害并输出判定结果，若大于该类别的阈值，则判定该待检测样本不属于任何病害类别，不支持检测。
本实施方案得到的孪生网络模型可实现同类样本间的映射结果分布较近，异类样本映射结果分布较远得效果。
具体实施方案二：所述步骤一具体为：将所有训练样本按病害类别标注，不同病害对应不同的标签；每种标签的训练样本中随机选择一张图像样本作为参照样本；通过下采样、中心裁剪的方式将参照样本和其他训练样本调整为统一尺寸，再进行随机旋转处理。本实施方案中其他与具体实施方一相同。
具体实施方案三：如图2所示，所述步骤二中网络训练的具体过程为：
步骤二一、设置卷积神经网络的初始化参数；由卷积运算求得xi -、xi +和si的映射结果Φ(xi -)，Φ(si)，Φ(xi +)；xi -为与参照样本si同类别的病害样本，xi +为不属于参照样本si类别的病害样本；；
步骤二二、分别计算各映射结果之间Φ(xi -)与Φ(si)，Φ(si)与Φ(xi +)的最大均值差异MMD(Φ(xi -),Φ(si))，MMD(Φ(si)，Φ(xi +))，其中核函数采用高斯核；
步骤二三、最小化MMD(Φ(xi -),Φ(si))及最大化MMD(Φ(si)，Φ(xi +))，使MMD(Φ(xi -),Φ(si))+α<MMD(Φ(si)，Φ(xi +))，构造损失函数L，令L＝max(MMD(Φ(xi -),Φ(si))-MMD(Φ(si)，Φ(xi +))+α,0)，其中α为可调节的参数；
步骤二四、通过损失函数L，由反向传播算法来计算并更新网络参数；
步骤二五、迭代后得到孪生网络模型。本实施方案中其他与具体实施方二相同。
具体实施方案四：所述步骤二中，最大均值差异MMD(Φ(xi -),Φ(si)),MMD(Φ(si)，Φ(xi +))具体计算过程为：
其中，xi1 -,xi2 -,…，xin -分别为样本xi -通过全连接层后的特征值，xi1 +,xi2 +,…，xin +分别为xi +通过全连接层后的特征值，si1，si2，…，sin分别为样本si通过全连接层后的特征值，n图像通过全连接层后的特征编码个数，φ为映射函数，可以将原变量映射到再生核希尔伯特空间。本实施方案中其他与具体实施方三相同。
最大均值差异是度量在再生希尔伯特空间中两组分布的距离，其本质是两组数据经过映射函数变化后的期望差的上确界，其可以有效度量两组数据分布的相似度，即当MMD距离越小时，两组分布越接近；MMD距离越大时，两组分布差距越大；当MMD为0时，两组数据完全相等。
采用最大均值差异的优势在于，其可以更有效的衡量输出特征分布的差异性，若只比较一阶矩与二阶矩差异则不能有效的衡量。例如，具有相同期望与方差的正态分布与指数分布，其差异性不能用一阶矩与二阶矩来衡量。因此，步骤二中采用MMD距离，并通过设置相应损失函数来实现聚类。
具体实施方案五：所述步骤三中，针对第i类病害的距离阈值设定，具体过程为：
步骤三一、读取步骤二保存的Φ(s1)，Φ(s2)，…，Φ(sn)；
步骤三二、计算第i类病害除去参照样本的所有训练样本xi1，xi2，…，xij的映射结果Φ(xi1)，Φ(xi2)，…，Φ(xij)；
步骤三三、分别计算Φ(xi1)，Φ(xi2)，…，Φ(xij)与Φ(si)的欧式距离D(Φ(xi1),Φ(si))，D(Φ(xi2),Φ(si))，…，D(Φ(xij),Φ(si))，选取最大值并用D-max表示；同理，分别计算不属于i类病害的其余训练样本的映射结果与Φ(si)的欧氏距离，选取其中最小值并用D+ min表示；则第i类病害的距离阈值可表示为ε为可调节的参数。本实施方案中其他与具体实施方四相同。
采用欧式距离设定阈值，其原因在于相较于MMD距离而言，欧氏距离的计算量较小，模型判定待检测样本所需时间更短，且对于硬件的性能需求更低。
具体实施方案六：如图3所示，所述步骤四的具体过程为：
步骤四一、将待检测样本x′输入孪生网络模型，求得映射结果Φ(x′)；
步骤四二、读取步骤二保存的映射结果Φ(s1)，Φ(s2)，…，Φ(sn)，分别计算Φ(x′)与Φ(s1)，Φ(s2)，…，Φ(sn)的欧式距离，选取其中最小值；
步骤四三、将最小距离结果与该病害类别的距离判定阈值作比较，若小于或等于该类别设定的阈值，则判定该待检测样本属于该类病害并输出判定结果，若大于该类别的阈值，则判定该待检测样本不属于任何病害类别，不支持检测。本实施方案中其他与具体实施方五相同。
由于模型在训练过程中已经最小化类内距离以及最大化类间距离，若待检测样本的病害类别存在于训练类别中，则理论上会更靠近某一类别，即存在一个Dmin，若Dmin大于对应病害类别的距离判定阈值，则默认该图像不属于标签类别中，不支持检测。若得到的最小距离结果大于所有类别的判定阈值，则默认该图像不属于标签类别中，则不支持检测。
如图4和表1所示，针对18种农作物病害进行识别计算，每种类别训练样本为50张，测试样本为100张时，得到的识别结果中，苹果、玉米、葡萄、桃子、草莓、西葫芦及辣椒的各病害识别的准确率均可达到95％以上，其余农作物的病害识别准确率在85％以上。
表1
1苹果黑星病 2苹果黑腐病 3苹果胶锈菌 4玉米灰斑病 5玉米锈病 6玉米大斑病
7葡萄黑腐病 8葡萄褐斑病 9葡萄叶斑病 10柑橘黄龙病 11桃子黑斑病 12土豆早疫病
13土豆晚疫病 14草莓褐斑病 15番茄早疫病 16番茄黄叶病 17西葫芦白粉病 18辣椒疮痂病
如图5所示，传统的深度学习方法中a区域和b区域分别代表了两种病害样本的分布，而最佳的分类器应该是如线1的结果，可以完整的将两种病害区分。然而，当样本数量较少时，少量的样本很难遍布整体的分布区域，此时传统的深度学习方法训练所得的分类器可能会得到线2和线3的结果。此时，分类器是很难将两种病害区分开来的。
如图6所示，针对小样本任务，用距离度量并判断病害的类别。从每个病害类别中选取一个样本作为参照，判定其他样本与该样本的距离。当判定样本与参照样本距离满足L1≤L0时，判定其为同种类别。当满足L2>L0时，判定为不同类别。其中，L0为人为设定的判定阈值。
然而该方法同样面临一个问题，如图7所示，当参照样本选在分布边缘时，此时易发生同类间样本距离比L0大，不同类间样本距离反而比L0大的情况，引起判定失效。如图8所示，为了解决这一问题，本发明提出了最小化类内距离，最大化类间距离的方法，最小化类内距离即减小样本分布的区域，最大化类间距离即拉远不同类别间分布距离，如图中a和b所代表的区域。此时，可以保证L2>L1，从而可以成功选择合适的L0以满足L2>L0>L1。
虽然本发明公开披露如上，但本发明公开的保护范围并非仅限于此。本发明领域技术人员在不脱离本发明公开的精神和范围的前提下，可进行各种变更与修改，这些变更与修改均将落入本发明的保护范围。

Claims (5)

1.一种基于孪生网络的小样本农作物病害图像识别方法，其特征在于所述方法包括以下步骤：
步骤一：每种病害类别的训练样本中分别随机选取一张图像作为参照样本s1，s2，…，sm；其中，m代表病害类别数，分别将参照样本和其它训练样本图像进行预处理；
步骤二：设计孪生网络结构，按照三元组模式将一个参照样本、一个与参照样本病害类别相同的样本和一个其他病害类别的样本输入至网络，设置网络初始化参数，迭代训练后得到孪生网络模型，所述模型为输入样本的高维映射方式，记录并保存各参照样本s1，s2，…，sm通过所述模型后的映射结果Φ(s1)，Φ(s2)，…，Φ(sm)；
步骤三：分别设定各病害的距离判定阈值；
步骤四：将待检测样本x′输入至孪生网络模型，计算映射结果Φ(x′)；计算Φ(x′)与步骤二得到的Φ(s1)，Φ(s2)，…，Φ(sm)的距离，选取其中的最小值，将其与步骤三中设定的该类别的距离判定阈值比较，若小于或等于该类别的阈值，则判定该待检测样本属于该类别病害并输出判定结果，若大于该类别的阈值，则判定该待检测样本不属于任何病害类别，不支持检测；
步骤二网络训练的具体过程为：
步骤二一、设置卷积神经网络的初始化参数；由卷积运算求得xi -、xi +和si的映射结果Φ(xi -)，Φ(si)，Φ(xi +)；xi -为与参照样本si同类别的病害样本，xi +为不属于参照样本si类别的病害样本；
步骤二二、分别计算各映射结果之间Φ(xi -)与Φ(si)，Φ(si)与Φ(xi +)的最大均值差异MMD(Φ(xi -),Φ(si))，MMD(Φ(si)，Φ(xi +))，
步骤二三、最小化MMD(Φ(xi -),Φ(si))及最大化MMD(Φ(si)，Φ(xi +))，使MMD(Φ(xi -),Φ(si))+α＜MMD(Φ(si)，Φ(xi +))，构造损失函数L，令L＝max(MMD(Φ(xi -),Φ(si))-MMD(Φ(si)，Φ(xi +))+α,0)，其中α为调节的参数；
步骤二四、通过损失函数L，由反向传播算法来计算并更新网络参数；
步骤二五、迭代后得到得到孪生网络模型；
步骤二中，最大均值差异MMD(Φ(xi -),Φ(si)),MMD(Φ(si)，Φ(xi +))具体计算过程为：
其中，xi1 -,xi2 -,…，xin -分别为样本xi -通过全连接层后的特征值，xi1 +,xi2 +,…，xin +分别为xi +通过全连接层后的特征值，si1，si2，…，sin分别为样本si通过全连接层后的特征值，n为图像通过全连接层后的特征编码个数，φ为映射函数，将原变量映射到再生核希尔伯特空间；
步骤三中，针对第i类病害的距离阈值设定，具体过程为：
步骤三一、读取步骤二保存的Φ(s1)，Φ(s2)，…，Φ(sm)；
步骤三二、计算第i类病害除去参照样本的所有训练样本xi1，xi2，…，xij的映射结果Φ(xi1)，Φ(xi2)，…，Φ(xij)；
步骤三三、分别计算Φ(xi1)，Φ(xi2)，…，Φ(xij)与Φ(si)的欧式距离，选取最大值并用D- max表示；同理，分别计算不属于i类病害的其余训练样本的映射结果与Φ(si)的欧氏距离，选取其中最小值并用D+ min表示；则第i类病害的距离阈值可表示为ε为调节的参数；
步骤四的具体过程为：
步骤四一、将待检测样本x′输入孪生网络模型，求得映射结果Φ(x′)；
步骤四二、读取步骤二保存的映射结果Φ(s1)，Φ(s2)，…，Φ(sm)，分别计算Φ(x′)与Φ(s1)，Φ(s2)，…，Φ(sm)的欧式距离，选取其中最小值；
步骤四三、将最小距离结果与该病害类别的距离判定阈值作比较，若小于或等于该类别设定的阈值，则判定该待检测样本属于该类别病害并输出判定结果，若大于该类别的阈值，则判定该待检测样本不属于任何病害类别，不支持检测。
2.根据权利要求1所述的基于孪生网络的小样本农作物病害图像识别方法，其特征在于步骤一具体为：将所有训练样本按病害类别标注，不同病害对应不同的标签；每种标签的训练样本中随机选择一张图像样本作为参照样本；通过下采样、中心裁剪的方式将参照样本和其他训练样本调整为统一尺寸，再进行随机旋转处理。
3.根据权利要求2所述的基于孪生网络的小样本农作物病害图像识别方法，其特征在于步骤四中若得到的最小距离结果大于所有类别的判定阈值，则默认该图像不属于标签类别中，则不支持检测。
4.一种基于孪生网络的小样本农作物病害图像识别***，其特征在于：该***具有与上述权利要求1～3任一项权利要求的步骤相应的程序模块，运行时执行上述的基于孪生网络的小样本农作物病害图像识别方法中的步骤。
5.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现权利要求1～3中任一项所述的基于孪生网络的小样本农作物病害图像识别方法的步骤。
CN202210605942.7A 2022-05-31 2022-05-31 一种基于孪生网络的小样本农作物病害图像识别方法及*** Active CN114926445B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210605942.7A CN114926445B (zh) 2022-05-31 2022-05-31 一种基于孪生网络的小样本农作物病害图像识别方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210605942.7A CN114926445B (zh) 2022-05-31 2022-05-31 一种基于孪生网络的小样本农作物病害图像识别方法及***

Publications (2)

Publication Number Publication Date
CN114926445A CN114926445A (zh) 2022-08-19
CN114926445B true CN114926445B (zh) 2024-03-26

Family

ID=82812858

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210605942.7A Active CN114926445B (zh) 2022-05-31 2022-05-31 一种基于孪生网络的小样本农作物病害图像识别方法及***

Country Status (1)

Country Link
CN (1) CN114926445B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117455852A (zh) * 2023-10-19 2024-01-26 北京闪电侠科技有限公司 基于孪生网络的图像质量判断、处理方法及***

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019128367A1 (zh) * 2017-12-26 2019-07-04 广州广电运通金融电子股份有限公司 基于Triplet Loss的人脸认证方法、装置、计算机设备和存储介质
CN110136101A (zh) * 2019-04-17 2019-08-16 杭州数据点金科技有限公司 一种基于孪生距离比对的轮胎x光病疵检测方法
CN110263659A (zh) * 2019-05-27 2019-09-20 南京航空航天大学 一种基于三元组损失和轻量级网络的指静脉识别方法及***
CN112131421A (zh) * 2020-09-23 2020-12-25 平安科技（深圳）有限公司 医学图像分类方法、装置、设备及存储介质
CN112784929A (zh) * 2021-03-14 2021-05-11 西北工业大学 一种基于双元组扩充的小样本图像分类方法及装置
CN113449631A (zh) * 2021-06-25 2021-09-28 中南大学 图像分类方法及***
CN113469253A (zh) * 2021-07-02 2021-10-01 河海大学 一种基于三元组孪生网络的窃电检测方法
CN114266342A (zh) * 2021-12-21 2022-04-01 中国科学院信息工程研究所 一种基于孪生网络的内部威胁的检测方法及***

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11720790B2 (en) * 2019-05-22 2023-08-08 Electronics And Telecommunications Research Institute Method of training image deep learning model and device thereof

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019128367A1 (zh) * 2017-12-26 2019-07-04 广州广电运通金融电子股份有限公司 基于Triplet Loss的人脸认证方法、装置、计算机设备和存储介质
CN110136101A (zh) * 2019-04-17 2019-08-16 杭州数据点金科技有限公司 一种基于孪生距离比对的轮胎x光病疵检测方法
CN110263659A (zh) * 2019-05-27 2019-09-20 南京航空航天大学 一种基于三元组损失和轻量级网络的指静脉识别方法及***
CN112131421A (zh) * 2020-09-23 2020-12-25 平安科技（深圳）有限公司 医学图像分类方法、装置、设备及存储介质
CN112784929A (zh) * 2021-03-14 2021-05-11 西北工业大学 一种基于双元组扩充的小样本图像分类方法及装置
CN113449631A (zh) * 2021-06-25 2021-09-28 中南大学 图像分类方法及***
CN113469253A (zh) * 2021-07-02 2021-10-01 河海大学 一种基于三元组孪生网络的窃电检测方法
CN114266342A (zh) * 2021-12-21 2022-04-01 中国科学院信息工程研究所 一种基于孪生网络的内部威胁的检测方法及***

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
An Improved Multidimensional Distance Siamese Network for Bearing Fault Diagnosis with Few Labelled Data;Xiaosong Xing;《2021 Global Reliability and Prognostics and Health Management (PHM-Nanjing)》;20211124;1-6 *
Analysis of Few-Shot Techniques for Fungal Plant Disease Classification and Evaluation of Clustering Capabilities Over Real Datasets;Egusquiza;《Frontiers in Plant Science》;20220307;1-17 *
Using a Convolutional Siamese Network for Image-Based Plant Species Identification with Small Datasets;Geovanni Figueroa-Mata;《Biomimetics》;20200301;1-17 *
基于网络度量的三分支孪生网络调制识别算法;冯磊;《计算机工程与应用》;20211015;135-141 *
融合三元卷积神经网络与关系网络的小样本食品图像识别;吕永强;《计算机科学》;20210115;136-143 *

Also Published As

Publication number Publication date
CN114926445A (zh) 2022-08-19

Similar Documents

Publication Publication Date Title
CN109620152B (zh) 一种基于MutiFacolLoss-Densenet的心电信号分类方法
CN111161879B (zh) 一种基于大数据的疾病预测***
US20130132311A1 (en) Score fusion and training data recycling for video classification
CN111915418A (zh) 一种互联网金融欺诈行为在线检测方法及其装置
CN112560921A (zh) 一种基于模糊c-均值的互联网金融平台申请欺诈行为检测方法
CN114926445B (zh) 一种基于孪生网络的小样本农作物病害图像识别方法及***
CN109873779A (zh) 一种基于lstm的分级式无线信号调制类型识别方法
CN108932301A (zh) 数据填充方法及装置
CN114298176A (zh) 一种欺诈用户检测方法、装置、介质及电子设备
US20190087248A1 (en) Anomaly detection and automated analysis using weighted directed graphs
CN105894024A (zh) 多重核的可能性模糊聚类算法
CN115496892A (zh) 工业缺陷检测方法、装置及电子设备、存储介质
US20050131873A1 (en) System and method for adaptive pruning
CN116563296B (zh) 一种用于腹部ct图像的识别方法
CN116842330B (zh) 一种可对比历史记录的保健信息处理方法及装置
Saez et al. KSUFS: A novel unsupervised feature selection method based on statistical tests for standard and big data problems
CN117110446A (zh) 识别车轴疲劳裂纹声发射信号方法
CN110991517A (zh) 一种面向脑卒中非平衡数据集的分类方法及***
CN111652733B (zh) 基于云计算和区块链的金融信息管理***
CN108846424A (zh) 一种代价敏感模糊多核分类器
CN114997266A (zh) 一种面向语音识别的特征迁移学习方法及***
CN108376567B (zh) 一种基于标签传播算法的临床药品-药品不良反应检测方法
CN115420866A (zh) 药物活性检测方法、装置、电子设备和存储介质
Ding et al. Credit scoring using ensemble classification based on variable weighting clustering
Chachuła et al. Combating noisy labels in object detection datasets

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant