CN115170987A - 一种基于图像分割和配准融合对葡萄进行病害检测的方法 - Google Patents

Abstract

本发明提供一种基于图像分割和配准融合对葡萄进行病害检测的方法,包括：获取葡萄多光谱图像；对获取的葡萄多光谱病害图像配准后进行人工标注,分割出病斑图像并标记病斑类别；建立葡萄病害样本集,并将其划分为训练样本集和测试样本集；构建基于可见光以及近红外光下的语义分割病害检测模型；利用训练样本集和测试样本集分别对构建的葡萄病害检测模型进行训练和模型误差分析；利用训练好的葡萄病害检测模型直接对获取的实际葡萄病害图像进行检测,分割出病斑图像；融合多光谱下的病斑图像，得到最终的病害图。本发明提高了葡萄病害检测的精度,有助于及时掌握葡萄病害状态，具有广阔的应用前景。

Description

一种基于图像分割和配准融合对葡萄进行病害检测的方法

技术领域

本发明涉及农业场景下的图像配准领域以及分割图像融合领域，具体涉及一种葡萄园场景下的航拍图像语义分割，对特定的区域进行分类，之后通过多光谱的图像融合得到葡萄藤病害情况的方法。

背景技术

未来农业的主要目标之一是在保证生产质量、减少投入的条件下，提高生产率。实现这一目标极具科技挑战性，而智能农业可以为葡萄园管理带来有趣的解决方案，并减少对环境影响。葡萄园病害自动检测可以提高葡萄园作物管理的效率和灵活性，同时减少化学投入。另外，当下杀虫剂的使用管控越来越严格，因此对智能农业的需求迫在眉睫。

目前对于葡萄藤的检测方法主要分两种：专家人工鉴定和自动检测法。早期的葡萄叶片病害，主要是依靠富有经验的葡萄叶片病害检测专家进行人工检测，这种专家人工鉴定的病害检测方式，费时费力且无法实现病害自动化检测与处理；自动检测法，通过检测算法前期对检测目标的训练，然后挑选出训练结束后的最佳模型进行***封装，最后利用机器视觉与传感器进行病害自动检测，这些方法虽然能够实现自动检测，但是存在检测精度不高、检测时间长等问题。

综上所述，对葡萄腾叶进行自动检测的精度与时长是检测过程中的难点与重点。本发明旨在绘制葡萄园患病区域图，以便快速、准确处理患病植株，从而保证健康植株状态，这对产量管理非常重要。针对这一问题，本发明公开了了一种基于无人机图像的深度学习分割方法，用于葡萄园霉菌病的检测。

发明内容

本发明针对上述所提到的技术问题，提出了一种基于无人机图像的分割和图像配准融合方法，以实现对葡萄园进行病害检测。该方法结合两个不同传感器获得的可见光和红外图像，用一种完全卷积神经网络方法，根据不同情况(即阴影、地面、健康和患病)对每个像素进行分类，之后，对可见光和近红外图像分割结果进行图像融合，实现了两传感器多光谱信息的融合，有利于得到更精确地得到葡萄藤患病区域，实现病害检测。

首先用无人机采集葡萄园的多光谱图像数据并传输给服务端，服务端进行图像数据处理和配置得到训练集。基于深度学习的思想，搭建一个融合了双注意力机制模块的语义分割网络模型并训练。之后再从无人机处采集多光谱数据，进行配准和处理得到测试集，放入模型得到较好的分割效果，之后进行图像融合，来实现葡萄园的病害检测，减少不必要损失，提高农业经济效益。

本发明的技术方案为一种基于图像分割和配准融合对葡萄进行病害检测的方法，具体包含以下步骤：

步骤1，采集原始葡萄园可见光和近红外光图像数据；

步骤2，对原始可见光和近红外光图像数据进行预处理，获得预处理好的可见光数据集和配准后的近红外光数据集，并分别对两个数据集进行训练集和验证集；

步骤3，构建语义分割网络模型，所述语义分割网络模型包括主干特征提取网络，双注意力机制模块，带有空洞卷积的空间金字塔池化模块和上采样模块；

步骤4，分别利用可见光数据集和配准后的近红外光数据集中的训练集对搭建好的语义分割网络模型进行训练与验证；

步骤5，对待测试的可见光图像和近红外图像进行预处理，得到对应的测试集；

步骤6，将测试集传入到对应光谱的语义分割网络模型中，分别生成各自的语义分割结果，对各自的分割图使用离散小波变换的方法进行分割融合，得到葡萄园的病害检测图。

进一步的，步骤2的具体实现包括如下子步骤；

步骤2.1，对同一时刻可见光传感器和近红外光传感器拍摄的两张照片进行图像配准，得到配准后的近红外光图像B，原始的可见光图像记作图像A；

步骤2.2，使用labelme工具对图像A进行标注，图像A的标注类别包含阴影，地面，健康葡萄藤以及患病葡萄藤四类，其中每个类别分配一个像素值，区域为阴影的像素点分配像素值0，区域为地面的像素点分配像素值1，区域为健康葡萄藤的像素点分配像素值2，区域为患病葡萄藤的像素点分配像素值3，标注完成后会生成对应的标签图像C；

步骤2.3，使用labelme工具对图像B进行标注，图像B的标注类别也包含阴影，地面，健康葡萄藤和患病葡萄藤四类，其中每个类别分配一个像素值，区域为阴影的像素点分配像素值0，区域为地面的像素点分配像素值1，区域为健康葡萄藤的像素点分配像素值2，区域为患病葡萄藤的像素点分配像素值3，标注完成后会生成对应的标签图像D；

步骤2.4，运用滑动窗口的方式对图像A、B和对应的标签图像C、D进行切割，切割为多张一定大小的图像；

步骤2.5，遍历标签图C和D，删除不包含标注区域的图像和标注区域大于P％的图像以及它们对应的原图，使得所有图像都能保留足够的上下文信息，同时减少一些冗余信息，让网络能够学习到充分的信息；

步骤2.6，遍历经过步骤2.5处理之后的图像C和D，计算每个类别标注像素点的总数，再计算各自的占比，针对某类别标注占比超过P1％的图像，进行随机删除，只保留其P2％的图像数量，得到可见光数据集E和经配准后的近红外光数据集F；

步骤2.7，将处理完成的数据集E、F各自按一定的比例进行划分，得到训练集和验证集，训练集和验证集都有对应的标签图。

进一步的，步骤2.1中图像配准的具体实现方式如下；

第一步，从可见图像中提取绿色通道G，从红外图像中提取近红外通道NIR；第二步，通过使用直方图正规化的方法对两个光谱通道进行归一化以提高它们的对比度；第三步，利用AKAZE算法从两个通道中提取兴趣点并计算它们的特征；第四步，基于兴趣点的特征，将G通道中提取的每个兴趣点映射到NIR通道中的对应点；第五步，去除一些异常值。

进一步的，所述主干特征提取网络基于Xception结构构建，包含卷积层，激活层和深度可分离卷积，对于输入端输入的图像，主干特征提取网络得到含有低级语义信息的特征图和含有较高级语义信息的特征图。

进一步的，所述双注意力机制模块包括位置注意力模块和通道注意力模块，该模块首先将主干网提取所得特征图进行扩张率为2的3×3卷积操作，然后将其分别送入通道注意力模块和位置注意力模块中处理，并将处理后的特征图进行元素求和以完成特征融合；

位置注意力模块的处理过程为：特征图A首先分别通过3个卷积层得到3个特征图B，C，D，然后将B，C，D进行维度转换，之后将维度转换后的B的转置与维度转换后的C相乘，再通过softmax函数得到位置注意力特征图S，接着在维度转换后的D和S的转置之间执行矩阵乘法，再乘以尺度系数α，再维度转换为原来形状，最后与A相加得到E1；

通道注意力模块的处理过程为：分别对特征图A做维度转换操作和维度转换加转置操作，得到特征图1和特征图2，将得到的两个特征图相乘，再通过softmax得到通道注意力特征图X；接着把X的转置与特征图1做矩阵乘法，再乘以尺度系数β，再维度转换为原来形状，最后与A相加得到E2；

将E1和E2进行元素求和得到输出E，将E作为双注意力机制模块的最终输出，输入到空洞空间金字塔池化模块。

进一步的，所述空洞空间金字塔池化模块由1×1卷积，膨胀率为6的3×3空洞卷积，膨胀率为12的3×3空洞卷积，膨胀率为16的3×3空洞卷积和全局平均池化五部分组成，实现多尺度特征的提取；然后将空洞金字塔模块后接一个1×1卷积，进行通道数调整，得到含有高级语义的特征图。

进一步的，上采样模块的处理过程为，对主干特征提取网络得到的低级语义特征图和空洞空间金字塔池化模块得到高级语义特征图做concat，再经过一个3x3卷积细化特征，从而提高不同尺度区域的分割精度；最终再进行双线性上采样，得到预测的结果，生成分割图像。

进一步的，步骤4中采用多分类交叉熵损失函数计算预测语义分割图与人工标注的真值语义分割图之间的损失，并通过反向传播算法优化语义分割网络模型的参数，采用SGD作为优化算法，初始学习率为0.01，最小学习率为0.0001，batch大小为4，共训练200000个iteration，保存训练好的模型参数。

进一步的，步骤5中先对同一时刻可见光传感器和近红外光传感器拍摄的两张照片进行图像配准，得到配准后的近红外光图像B，原始的可见光图像记作图像A，然后再将图像A和B裁剪到一定的大小，得到测试集A和B。

进一步的，步骤6中通过融合得到葡萄藤疾病图包括三种情况；

第一种情况是当像素在红外范围内被归类为“患病”，在可见光范围内被归类为健康，在这种情况下，是疾病尚未通过叶子变色影响可见范围的情况；第二种情况是当像素在红外范围内被归类为健康，而在可见光范围内被归类为“患病”时，症状在可见光下是可以肉眼分辨的；第三种情况是像素在红外范围内和可见光范围内都被归类为“患病”时，表示该位置的葡萄藤在可见光与近红外光下都检测到疾病，需要用户密切关注。

本发明的优点主要体现在：利用了深度学***衡问题采取了数据集下采样方法和focal熵损失函数来提高对低占比类别的分割性能。

附图说明

图1为本发明实施农业场景下的遥感图像的实时语义分割方法的流程图；

图2为本发明实施语义分割的网络结构图；

图3为本发明实施数据集生成流程图；

图4为本发明实施多光谱图像配准的流程图；

图5为本发明实施语义分割的注意力机制结构图。

具体实施方式

本发明针对上述所提到的技术问题，提出了一种基于无人机图像的分割和图像配准融合方法，以实现对葡萄园进行病害检测。下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，包括以下步骤：

步骤1：运用无人机搭载的可见光传感器和红外光传感器在目标葡萄园区域进行图像数据的采集，需要提前规划设计好具体的图像采集路径。无人机以25米的高度在地块上空飞行，平均速度为10公里/小时，每2秒自动拍摄一张图像，运用无线网络将无人机拍摄的可见光图像和近红外线图像实时传输到服务端，服务端对图像数据进行保存；

步骤2：服务端对所得的多光谱图像数据进行处理，之后将近红外光图像与可见光图像进行图像配准，得到配准后的近红外光图像，可见光图像和配准后得到的近红外光图像共同组成多光谱图像，从而得到网络所需要的训练集和验证集；

而且，步骤2包含以下几个子步骤：

步骤2.1：对同一时刻可见光传感器和近红外光传感器拍摄的两张照片进行图像配准，得到配准后的近红外光图像B，原始的可见光图像记作图像A。配准时第一步是从可见图像中提取绿色通道(G)，从红外图像中提取近红外通道(NIR)。第二步通过使用直方图正规化的方法对两个光谱通道进行归一化以提高它们的对比度。第三步是利用AKAZE算法从两个通道中提取兴趣点并计算它们的特征。第四步是基于兴趣点的特征，将G通道中提取的每个兴趣点映射到NIR通道中的对应点。第五步，去除一些异常值。

步骤2.2：使用labelme工具对图像A进行标注，图像A的标注类别包含阴影，地面，健康葡萄藤以及患病葡萄藤四类，这些类别主要根据可见光范围内的黄色或棕色判断葡萄藤是否患病，能够指导用户进行下一步的决策。其中每个类别分配一个像素值，区域为阴影的像素点分配像素值0，区域为地面的像素点分配像素值1，区域为健康葡萄藤的像素点分配像素值2，区域为患病葡萄藤的像素点分配像素值3，标注完成后会生成对应的标签图像C；

步骤2.3：使用labelme工具对图像B进行标注，图像B的标注类别也包含阴影，地面，健康葡萄藤和患病葡萄藤四类，在近红外范围内，症状类别是通过叶片与其相邻叶片之间反射率的变化判断的。从视觉特征上看，这提供了一种特殊的纹理，其特征是反射率的显著变化，其中每个类别分配一个像素值，区域为阴影的像素点分配像素值0，区域为地面的像素点分配像素值1，区域为健康葡萄藤的像素点分配像素值2，区域为患病葡萄藤的像素点分配像素值3，标注完成后会生成对应的标签图像D；

步骤2.4：运用滑动窗口的方式对图像A、B和对应的标签图像C、D进行切割，切割为多张512×512大小的图像；

步骤2.5：遍历标签图C和D，删除不包含标注区域的图像和标注区域大于90％的图像以及它们对应的原图，使得所有图像都能保留足够的上下文信息，同时减少一些冗余信息，让网络能够学习到充分的信息；

步骤2.6：遍历图像C和D，计算每个类别标注像素点的总数，再计算各自的占比，针对某类别标注占比超过30％的图像，进行随机删除，只保留其80％的图像数量。得到可见光数据集E和经配准后的近红外光数据集F，由于数据集中的长尾问题会导致网络只能学***衡问题的数据重采样方法；

步骤2.7：将处理完成的数据集E、F各自按7:3的比例进行划分，得到训练集和验证集，训练集和验证集都有对应的标签图。

步骤3：针对该葡萄藤病害检测过程中存在的问题，构建语义分割网络模型，网络模型主要由主干特征提取网络，带有空洞卷积的空间金字塔池化模块和上采样模块构成，网络输入为512×512的图像，输出为分割结果图；

主干特征提取网络是基于Xception结构构建的，该模块包含卷积层，激活层和深度可分离卷积。对于输入端输入的图像，主干特征提取网络得到含有低级语义信息的特征图和含有较高级语义信息的特征图；其中，输入512×512的图像，主干特征提取网络可以获得两个有效特征层，一个有效特征层是输入图片高和宽压缩两次的结果，含有低层语义信息；另一个有效特征层是输入图片高和宽压缩四次的结果，含有高层语义信息。

将前一步得到的较高层语义特征图传入双注意力机制模块(DAMM模块)，该模块首先将主干网络提取所得特征图进行扩张率为2的3×3卷积操作，然后将其分别送入通道注意力模块和位置注意力模块中处理，并将处理特征图进行元素求和以完成特征融合。其中通道注意力模块利用不同通道的相关类别特征间的关联性进行不同类别特征强化，提升分类精度，位置注意力模块通过模拟出不同局部特征间的联系，可相互促进不同局部特征间的分类精度。

位置注意力模块原理如下：特征图A的大小为CxHxW，C为通道数，表示一张图像中的通道数；H为图像高度，表示图像垂直维度的像素数；W为图像宽度，表示图像水平维度的像素数。A首先分别通过3个卷积层得到3个特征图B，C，D，然后将B，C，D reshape为CxN大小，其中N＝HxW，之后将reshape后的B的转置(NxC)与reshape后的C(CxN)相乘，再通过softmax得到位置注意力特征图S(NxN)，接着在reshepe后的D(CxN)和S的转置(NxN)之间执行矩阵乘法，再乘以尺度系数α，再reshape为原来形状，最后与A相加得到最终输出E1。

通道注意力模块原理如下：分别对特征图A做reshape操作和reshape加转置操作，得到CxN大小的特征图和NxC大小的特征图，将得到的两个特征图相乘，再通过softmax得到通道注意力特征图X(CxC)。接着把X的转置(CxC)与CxN大小的特征图做矩阵乘法，再乘以尺度系数β，再reshape为原来形状，最后与A相加得到最终输出E2。

将E1和E2进行元素求和得到输出E，之后将特征图E传入到空洞空间金字塔池化模块，这里使用了空洞卷积，目的是为了提高感受野，更好的获取图像的上下文信息，从而提高最后的分割精度。空洞空间金字塔池化模块由1×1卷积，膨胀率为6的3×3空洞卷积，膨胀率为12的3×3空洞卷积，膨胀率为16的3×3空洞卷积和全局平均池化五部分组成，实现多尺度特征的提取。然后将空洞金字塔模块后接一个1×1卷积，进行通道数调整，得到含有高级语义的特征图；

对由主干特征提取网络得到的低级语义特征图和经过空洞金字塔模块得到的高级语义特征图做concat，再经过一个3x3卷积细化特征，从而提高不同尺度区域的分割精度；最终再进行双线性上采样，得到预测的结果，生成分割图像。

步骤4：将可见光下处理好的数据集E放入模型，训练搭建好的语义分割网络模型A；同时将近红外下经配准和处理后的数据集F放入模型，训练搭建好的语义分割网络模型B；

采用损失函数计算预测语义分割图与人工标注的真值语义分割图之间的损失，并通过反向传播算法优化语义分割网络模型的参数。在训练过程中，可以将预测语义分割图的回归问题看作背景和前景的多分类问题，对于预测语义分割图逐个像素进行多分类，由此损失函数可以采用多分类交叉熵损失函数。其中，先计算训练集中不同类别的类权重系数，然后建立相应的权重交叉熵损失函数用于训练。然后分别传入可见光下和近红外下图像的训练集和验证集，分别训练两个网络模型，其中SGD作为优化算法，初始学习率为0.01，最小学习率为0.0001，batch大小为4，共训练200000个iteration，保存训练好的模型参数。

步骤5：无人机在实际农场中采集测试图像数据，包括可见光图像和近红外图像，之后将图像传回服务端，记可见光下的图像为A，重复步骤2.1进行图像的配准，得到图像B。再将图像A和B裁剪到512×512的大小，得到测试集A和B；

步骤6：将测试集A和B传入对应的语义分割网络模型A和B中，生成两个语义分割结果图A和B，之后对这两幅分割结果图使用离散小波变换的方法进行图像融合，得到最终的葡萄藤疾病图，用户根据对分割结果进行分析并作出决策。执行分割的融合是为了获得具有更稳健结果的疾病图。为了生成疾病图，将可见范围内分割的图像的每个像素与红外范围内相同位置的像素进行比较。在这里，考虑了三种主要情况。第一种情况是当像素在红外范围内被归类为“患病”，在可见光范围内被归类为健康。在这种情况下，可能是疾病尚未通过叶子变色影响可见范围的情况。第二种情况是当像素在红外范围内被归类为健康，而在可见光范围内被归类为“患病”时，症状在可见光下是可以肉眼分辨的。第三种情况是像素在红外范围内和可见光范围内都被归类为“患病”时，表示该位置的葡萄藤在可见光与近红外光下都检测到疾病，需要用户密切关注。

本文中所描述的具体实施例仅仅是对本发明作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (10)

1.一种基于图像分割和配准融合对葡萄进行病害检测的方法，其特征在于，包括如下步骤：

步骤1，采集原始葡萄园可见光和近红外光图像数据；

步骤2，对原始可见光和近红外光图像数据进行预处理，获得预处理好的可见光数据集和配准后的近红外光数据集，并分别对两个数据集进行训练集和验证集；

步骤3，构建语义分割网络模型，所述语义分割网络模型包括主干特征提取网络，双注意力机制模块，带有空洞卷积的空间金字塔池化模块和上采样模块；

步骤4，分别利用可见光数据集和配准后的近红外光数据集中的训练集对搭建好的语义分割网络模型进行训练与验证；

步骤5，对待测试的可见光图像和近红外图像进行预处理，得到对应的测试集；

步骤6，将测试集传入到对应光谱的语义分割网络模型中，分别生成各自的语义分割结果，对各自的分割图使用离散小波变换的方法进行分割融合，得到葡萄园的病害检测图。

2.如权利要求1所述的一种基于图像分割和配准融合对葡萄进行病害检测的方法，其特征在于：步骤2的具体实现包括如下子步骤；

步骤2.1，对同一时刻可见光传感器和近红外光传感器拍摄的两张照片进行图像配准，得到配准后的近红外光图像B，原始的可见光图像记作图像A；

步骤2.2，使用labelme工具对图像A进行标注，图像A的标注类别包含阴影，地面，健康葡萄藤以及患病葡萄藤四类，其中每个类别分配一个像素值，区域为阴影的像素点分配像素值0，区域为地面的像素点分配像素值1，区域为健康葡萄藤的像素点分配像素值2，区域为患病葡萄藤的像素点分配像素值3，标注完成后会生成对应的标签图像C；

步骤2.3，使用labelme工具对图像B进行标注，图像B的标注类别也包含阴影，地面，健康葡萄藤和患病葡萄藤四类，其中每个类别分配一个像素值，区域为阴影的像素点分配像素值0，区域为地面的像素点分配像素值1，区域为健康葡萄藤的像素点分配像素值2，区域为患病葡萄藤的像素点分配像素值3，标注完成后会生成对应的标签图像D；

步骤2.4，运用滑动窗口的方式对图像A、B和对应的标签图像C、D进行切割，切割为多张一定大小的图像；

步骤2.5，遍历标签图C和D，删除不包含标注区域的图像和标注区域大于P％的图像以及它们对应的原图，使得所有图像都能保留足够的上下文信息，同时减少一些冗余信息，让网络能够学习到充分的信息；

步骤2.6，遍历经过步骤2.5处理之后的图像C和D，计算每个类别标注像素点的总数，再计算各自的占比，针对某类别标注占比超过P1％的图像，进行随机删除，只保留其P2％的图像数量，得到可见光数据集E和经配准后的近红外光数据集F；

步骤2.7，将处理完成的数据集E、F各自按一定的比例进行划分，得到训练集和验证集，训练集和验证集都有对应的标签图。

3.如权利要求1所述的一种基于图像分割和配准融合对葡萄进行病害检测的方法，其特征在于：步骤2.1中图像配准的具体实现方式如下；

第一步，从可见图像中提取绿色通道G，从红外图像中提取近红外通道NIR；第二步，通过使用直方图正规化的方法对两个光谱通道进行归一化以提高它们的对比度；第三步，利用AKAZE算法从两个通道中提取兴趣点并计算它们的特征；第四步，基于兴趣点的特征，将G通道中提取的每个兴趣点映射到NIR通道中的对应点；第五步，去除一些异常值。

4.如权利要求1所述的一种基于图像分割和配准融合对葡萄进行病害检测的方法，其特征在于：所述主干特征提取网络基于Xception结构构建，包含卷积层，激活层和深度可分离卷积，对于输入端输入的图像，主干特征提取网络得到含有低级语义信息的特征图和含有较高级语义信息的特征图。

5.如权利要求1所述的一种基于图像分割和配准融合对葡萄进行病害检测的方法，其特征在于：所述双注意力机制模块包括位置注意力模块和通道注意力模块，该模块首先将主干网提取所得特征图进行扩张率为2的3×3卷积操作，然后将其分别送入通道注意力模块和位置注意力模块中处理，并将处理后的特征图进行元素求和以完成特征融合；

位置注意力模块的处理过程为：特征图A首先分别通过3个卷积层得到3个特征图B，C，D，然后将B，C，D进行维度转换，之后将维度转换后的B的转置与维度转换后的C相乘，再通过softmax函数得到位置注意力特征图S，接着在维度转换后的D和S的转置之间执行矩阵乘法，再乘以尺度系数α，再维度转换为原来形状，最后与A相加得到E1；

通道注意力模块的处理过程为：分别对特征图A做维度转换操作和维度转换加转置操作，得到特征图1和特征图2，将得到的两个特征图相乘，再通过softmax得到通道注意力特征图X；接着把X的转置与特征图1做矩阵乘法，再乘以尺度系数β，再维度转换为原来形状，最后与A相加得到E2；

将E1和E2进行元素求和得到输出E，将E作为双注意力机制模块的最终输出，输入到空洞空间金字塔池化模块。

6.如权利要求1所述的一种基于图像分割和配准融合对葡萄进行病害检测的方法，其特征在于：所述空洞空间金字塔池化模块由1×1卷积，膨胀率为6的3×3空洞卷积，膨胀率为12的3×3空洞卷积，膨胀率为16的3×3空洞卷积和全局平均池化五部分组成，实现多尺度特征的提取；然后将空洞金字塔模块后接一个1×1卷积，进行通道数调整，得到含有高级语义的特征图。

7.如权利要求1所述的一种基于图像分割和配准融合对葡萄进行病害检测的方法，其特征在于：上采样模块的处理过程为，对主干特征提取网络得到的低级语义特征图和空洞空间金字塔池化模块得到高级语义特征图做concat，再经过一个3x3卷积细化特征，从而提高不同尺度区域的分割精度；最终再进行双线性上采样，得到预测的结果，生成分割图像。

8.如权利要求1所述的一种基于图像分割和配准融合对葡萄进行病害检测的方法，其特征在于：步骤4中采用多分类交叉熵损失函数计算预测语义分割图与人工标注的真值语义分割图之间的损失，并通过反向传播算法优化语义分割网络模型的参数，采用SGD作为优化算法，初始学习率为0.01，最小学习率为0.0001，batch大小为4，共训练200000个iteration，保存训练好的模型参数。

9.如权利要求1所述的一种基于图像分割和配准融合对葡萄进行病害检测的方法，其特征在于：步骤5中先对同一时刻可见光传感器和近红外光传感器拍摄的两张照片进行图像配准，得到配准后的近红外光图像B，原始的可见光图像记作图像A，然后再将图像A和B裁剪到一定的大小，得到测试集A和B。

10.如权利要求1所述的一种基于图像分割和配准融合对葡萄进行病害检测的方法，其特征在于：步骤6中通过融合得到葡萄藤疾病图包括三种情况；

第一种情况是当像素在红外范围内被归类为“患病”，在可见光范围内被归类为健康，在这种情况下，是疾病尚未通过叶子变色影响可见范围的情况；第二种情况是当像素在红外范围内被归类为健康，而在可见光范围内被归类为“患病”时，症状在可见光下是可以肉眼分辨的；第三种情况是像素在红外范围内和可见光范围内都被归类为“患病”时，表示该位置的葡萄藤在可见光与近红外光下都检测到疾病，需要用户密切关注。

Images