CN113033520B - 一种基于深度学习的树木线虫病害木识别方法及*** - Google Patents

Abstract

本发明涉及一种基于深度学习的树木线虫病害木识别方法及***,其方法包括采集树木线虫病害区域的影像信息，对影像信息中的病害木位点进行标记并形成标记点；基于标记点构建以病害木位点为中心的二维高斯空间置信图；构建多尺度空间注意力卷积神经网络模型，并利用二维高斯空间置信图结合深度学习算法对多尺度空间注意力卷积神经网络模型进行训练；利用训练后的多尺度空间注意力卷积神经网络模型对目标区域树木线虫病害进行预测识别，得到病害预测结果。本发明可提高目标识别的准确性，通过多尺度空间注意力卷积神经网络模型融合不同感受野下的特征图，将多分辨率的深度信息整合到常规空间语义中，提升模型对于病害木与周围关系的学习和识别能力。

Description

一种基于深度学习的树木线虫病害木识别方法及***

技术领域

本发明涉及森林病虫害防治技术领域，尤其涉及一种基于深度学习的树木线虫病害木识别方法及***。

背景技术

目前，森林病虫害已经严重威胁到森林可持续发展的进程，每年造成经济损失高达数亿元。比如，松材线虫由于其具有扩散快，致病机理复杂等问题，已经成为林业管理中主要的防治对象。然而基于传统人工调查的方法耗时耗力，不能很好的掌握病害发生范围，往往错过了最佳防治期限。同时，遭受松材线虫病害的森林由于其林分组成和爆发程度多样，使得利用传统分类手段在识别病害木的研究并不能实现良好的泛化能力，往往一种方法只适用于特定条件下的检测场景。在森林复杂的背景之下，树冠没有固定的特征形态，且冠幅大小各异，单一的特征提取结构很难为多种目标的识别提供全面的信息，而且森林还中存在着大量连片的其他用地类型(如裸土、水域、房屋建筑、农田等)的干扰，在单木水平上的检测效果并不令人满意。针对检测效果不佳的现状，目前主要存在的原因如下：

(1)在复杂的森林背景下，通过人工设计的底层特征并不能有效反映图像丰富的信息，同时由于森林裸土和阴影的存在，极大阻碍了检测效果。如何提取有效的特征在一定程度上决定了模型的分类能力。然而，对于最终用户来说，定义这些复杂的特征通常需要大量的经验和专家知识。而且，即使经过各种特征的复杂设计过程，仍然很难找到最有效的特征用于识别不同的对象。

(2)在众多的目标检测任务中，都是采用勾画外接框的标记方法，而在实际的森林病害木调查中，都是以坐标点的标记方式。这给利用传统标记方式的训练框架带来了难度。通过内业标记病害木范围的方法不仅增加了工作量，而且容易引入人为误差，如何基于标记点来生成病害木的可训练范围将是研究的重点。

(3)森林检测环境较为复杂，面对分布各异的病害木检测任务，在保证准确检测病害木的前提下，尽量多的检测病害木也非常关键，在一般的森林病害木发病区域，既包含零散分布的检测对象，也包含集中分布的检测对象。前者的检测需要模型能够学习更加广泛的空间信息，以达到识别距离较远的对象；后者的检测需要模型学习目标之间的边界信息，如何解决间距较近的树冠被误判为一个对象的情况。

发明内容

本发明所要解决的技术问题是针对上述现有技术的不足，基于深度学习的树木线虫病害木识别方法，涉及植物病虫害防治领域，解决了现有树木病虫害分类识别方法存在的图像识别率低、模型结构复杂、预测精准度低的问题，提供一种基于深度学习的树木线虫病害木识别方法及***。

本发明解决上述技术问题的技术方案如下：一种基于深度学习的树木线虫病害木识别方法，包括如下步骤：

采集树木线虫病害区域的影像信息，对所述影像信息中的病害木位点进行标记并形成标记点；

基于所述标记点构建以病害木位点为中心的二维高斯空间置信图；

构建多尺度空间注意力卷积神经网络模型，并利用所述二维高斯空间置信图结合深度学习算法对所述多尺度空间注意力卷积神经网络模型进行训练；

利用训练后的所述多尺度空间注意力卷积神经网络模型对目标区域树木线虫病害进行预测识别，得到病害预测结果。

在上述技术方案的基础上，本发明还可以做如下改进：

进一步：在对所述影像信息中的病害木位点进行标记后，还包括如下步骤：

对病害木位点的标记点进行数据扩充，并基于数据扩充后的病害木位点的标记点来构建以病害木位点为中心的二维高斯空间置信图。

上述进一步方案的有益效果是：针对多尺度目标实际可获取的样本不足与不均衡问题，通过对病害木位点的标记点进行数据扩充，实现病害木位点数据量的增加，避免由于实际情况中无法获得足够多的样本数据而带来的训练不完全的问题，在一定程度上缓解过拟合问题，在没有增在飞行作业的情况下，在单位面积上，提高小目标出现的频率。

进一步：所述对病害木位点的标记点进行数据扩充具体包括如下步骤：

根据病害木的冠幅大小设定匹配的外接矩形，并输出矩形框内的图像对象，生成病害木数据集；

选择病害密度小于预设密度阈值的有林地区生成由若干随机点组成的随机点矩阵，并在随机点位置处粘贴所述病害木数据集中的图像对象；

当所有粘贴的图像对象的像素总和与原影像信息的像素总和的比例大于预设比例阈值时，数据扩充结束。

上述进一步方案的有益效果是：通过设定与病害木的冠幅大小匹配的外接矩形，可以选定包含病害木位点的区域图像对象，并在病害密度小于预设密度阈值的有林地区进行粘贴扩充，可以实现病害木数点的有效扩充，便于后续训练完全、充分，进而保证识别结果的准确性。

进一步：所述基于所述标记点构建以病害木位点为中心的二维高斯空间置信图具体包括如下步骤：

根据病害木位点构建二维高斯核函数S_k(p)，

其中，，l＝{l₁,l₂,l₃,…,l_k}，l_k∈R²,为所述影像信息中病害木的位置，σ对应高斯核函数的局部作用范围；

根据所述二维高斯核函数计算每个病害木位点对应的病害概率矩阵；

将每个病害木位点对应的病害概率矩阵进行叠加，得到所述二维高斯空间置信图。

上述进一步方案的有益效果是：根据标记点构建二维高斯空间置信图，可以将病害木位点转化为概率图来表示，从而代替传统标记框的检测方式，更加直观，并且便于后续对多尺度空间注意力卷积神经网络模型进行训练。

进一步：所述构建多尺度空间注意力卷积神经网络模型的具体方法为：

采用深度残差网络ResNet作为主干网络，构建包含编码器和解码器的多尺度空间注意力卷积神经网络模型；

其中，所述编码器包括残差卷积层集以及由多个不同扩张率的扩张卷积层组成的多扩张卷积联合空间注意力模块；

所述残差卷积层集对所述影像信息进行初步特征提取出处理,得到初步空间特征；

多个不同扩张率的所述扩张卷积层分别对所述初步空间特征进行二次特征提取处理,并得到对应不同尺度的二次空间特征，经过Sigmoid函数处理由多个扩张卷积层输出的二次空间特征形成的特征集，并输出多尺度空间注意力卷积神经网络模型的空间监督权重W；

将所述特征集与卷积核为1的卷积层进行卷积处理，得到密集空间特征；

所述解码器将所述密集空间特征与其他不同尺度层对应的密集空间特征进行融合，得到融合不同感受野的多尺度空间注意力特征层。

上述进一步方案的有益效果是：通过残差卷积层集对所述影像信息进行初步特征提取，并由不同扩张率的所述扩张卷积层对所述残差卷积层集输出的初步空间特征进行二次特征提取处理，得到对应的二次空间特征，增大特征图感受野的同时，保持特征图尺寸，避免空间位置信息的损失，突出主要信息的权重，弱化无用信息(比如背景信息)，提高模型对特征图包含的空间位置信息的利用能力，有利于帮助学习到有效特征，以提高训练效果，并有利于后续提高识别精度。

进一步：所述利用所述二维高斯空间置信图结合深度学习算法对所述多尺度空间注意力卷积神经网络模型进行训练具体包括如下步骤：

随机选取训练集中设定数量的影像信息输入至所述多尺度空间注意力卷积神经网络模型并进行训练，并计算用于表征所述多尺度空间注意力卷积神经网络模型的病害木概率预测值与真实概率值之间偏差程度的损失函数值；

其中，损失函数采用MSE，具体计算公式如下：

MSE＝∑(y-f_θ(x))²

式中，y代表二维高斯空间置信图中每个病害木位点的真实概率值，f_θ(x)代表多尺度空间注意力卷积神经网络模型对每个病害木位点的预测值；

重复上述步骤，直至训练集中所有的影像信息全部被选取并输入至所述多尺度空间注意力卷积神经网络模型进行训练；

根据所述损失函数值取最小值时确定多尺度空间注意力卷积神经网络的参数，完成训练。

上述进一步方案的有益效果是：通过训练计算损失函数值的大小，即可表征所述多尺度空间注意力卷积神经网络模型的病害木概率预测值与真实概率值之间偏差程度，进而根据损失函数值来确定高斯核函数的参数，完成对模型的训练。

进一步：所述利用训练后的所述多尺度空间注意力卷积神经网络模型对目标区域树木线虫病害进行预测识别，得到病害预测结果具体包括如下步骤：

将目标区域对应的目标影像信息输入至训练后的所述多尺度空间注意力卷积神经网络模型进行识别，得到用于表征每个像素对应位置处病害概率的预测图；

采用概率松弛算法对所述预测图进行处理，得到局部区域像素的病害概率最大值，将病害概率最大值的像素坐在位置作为局部区域预测位点，以最终生成目标区域的病害预测点位图。

上述进一步方案的有益效果是：通过所述多尺度空间注意力卷积神经网络模型识别出每个像素位置处的病害概率，然后根据概率松弛算法搜索得到局部像素的概率最大值，并将病害概率最大值的像素坐在位置作为局部区域预测位点，这样可以强化病害最大的中心点的概率，并弱化邻域像素的概率，进而使得局部区域的病害点更加集中、明确。

进一步：所述采用概率松弛算法对所述预测图进行处理，得到局部区域像素的病害概率最大值的具体方法为：

设要将有N个像素的原始集合S＝{S₁，S₂，...，S_N}分为M个类，分类结果集合C＝{C₁,C₂,...,C_M}，

表示S_i∈C_j(1≤i≤N,1≤j≤M)的初始概率，且

和

根据所述初始概率计算逐次迭代概率，具体计算公式为：

式中，

表示迭代前局部区域像素对i和j的病害概率值，

表示迭代后局部区域像素对i和j的病害概率值，q_ij表示迭代过程中像素对i和j病害概率的增量，P(i，j；k，l)表示像素对i和j以及像素对k和l之间的相容性，P(i，j；k，l)＝1表示符合相容性，P(i，j；k，l)＝-1表示不符合相容性；P(i，j；k，l)＝2表示不确定；

根据迭代过程中的所有像素的病害概率值，并确定局部区域像素的病害概率最大值。

进一步：所述的基于深度学习的树木线虫病害木识别方法还包括如下步骤：

根据所述病害预测点位图和实际病害点位图对所述病害预测结果进行评价，具体计算公式为：

式中，P为精度准确度，R为召回准确度，F1分数是精确度和召回率之间的调和平均值，TP为真实病害被检测出来的数量，FP为非病害但被检测为病害的数，FN为真实病害但未被检测出来的数。

上述进一步方案的有益效果是：通过采用精度准确度和召回准确度可以准确评价多尺度空间注意力卷积神经网络模型预测的病害预测点位的准确性和完整性，以便确定病害预测效果，为森林病虫害防治提供有力的辅助。

本发明还提供了一种基于深度学习的树木线虫病害木识别***，包括：

采集标记模块，用于采集树木线虫病害区域的影像信息，对所述影像信息中的病害木位点进行标记并形成标记点；

高斯空间置信图模块，用于基于所述标记点构建以病害木位点为中心的二维高斯空间置信图；

神经网络模型模块，用于构建多尺度空间注意力卷积神经网络模型，并利用所述二维高斯空间置信图结合深度学习算法对所述多尺度空间注意力卷积神经网络模型进行训练；

识别模块，用于利用训练后的所述多尺度空间注意力卷积神经网络模型对目标区域树木线虫病害进行预测识别，得到病害预测结果。

本发明的基于深度学习的树木线虫病害木识别方法及***，通过对采集的线虫病害区域的影像信息进行标记，并构建二维高斯空间置信图,利用二维高斯空间置信图对多尺度空间注意力卷积神经网络模型进行训练，最后利用训练后的模型对目标区域树木线虫病害进行预测识别，可以进一步提高目标识别的准确性，通过多尺度空间注意力卷积神经网络模型融合不同感受野下的特征图，将多分辨率的深度信息整合到常规的空间语义中，提升模型对于病害木与周围关系的学习和识别能力。

附图说明

图1为本发明一实施例的基于深度学习的树木线虫病害木识别方法流程示意图；

图2为本发明一实施例的数据扩充前后影像信息示意图；

图3为本发明一实施例的高斯核函数分布示意图；

图4为本发明一实施例的标准卷积与扩张率为1的扩张卷积特征提取示意图；

图5为本发明一实施例的不同σ值二维高斯函数空间分布示意图；

图6为发明一实施例的基于深度学习的树木线虫病害木识别***的结构示意图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，一种基于深度学习的树木线虫病害木识别方法,包括如下步骤：

S1：采集树木线虫病害区域的影像信息，对所述影像信息中的病害木位点进行标记并形成标记点；

S3：基于所述标记点构建以病害木位点为中心的二维高斯空间置信图；

S4：构建多尺度空间注意力卷积神经网络模型，并利用所述二维高斯空间置信图结合深度学习算法对所述多尺度空间注意力卷积神经网络模型进行训练；

S5：利用训练后的所述多尺度空间注意力卷积神经网络模型对目标区域树木线虫病害进行预测识别，得到病害预测结果。

在本发明的一个或多个实施例中，所述步骤S1中，采集树木线虫病害区域的影像信息可以选自以下其中一种，其中影像分辨率要求在1m以下：

(1)无人机航飞多光谱影像；

(2)高分卫星遥感影像；

(3)低空航飞多光谱影像。

可选地，在本发明的一个或多个实施例中，所述步骤S1中在对所述影像信息中的病害木位点进行标记后，还包括如下步骤：

S2：对病害木位点的标记点进行数据扩充，并基于数据扩充后的病害木位点的标记点来构建以病害木位点为中心的二维高斯空间置信图。

针对多尺度目标实际可获取的样本不足与不均衡问题，通过对病害木位点的标记点进行数据扩充，实现病害木位点数据量的增加，避免由于实际情况中无法获得足够多的样本数据而带来的训练不完全的问题，在一定程度上缓解过拟合问题，在没有增在飞行作业的情况下，在单位面积上，提高小目标出现的频率。

由于深度学习模型需求非常多的样本数据，才能学习到充足的知识。但在实际检测任务中标记数据往往达不到训练要求。因此，对样本数据集的扩充就显得非常重要了。数据扩充是一种通过对原有数据进行特定方法的处理，从而在原有数据的基础上产生新的数据，从而实现样本数据量的增加。数据扩充可以在一定程度上可以缓解由于实际情况中无法获得足够多的样本数据而带来的训练不完全的问题，在一定程度上缓解过拟合问题。本发明是实施例中，为了增强模型对于多目标的监测能力，在没有增在飞行作业的情况下，对训练数据进行扩充，从而在单位面积上，提高小目标出现的频率。

在本发明的一个或多个实施例中，所述步骤2中，所述对病害木位点的标记点进行数据扩充具体包括如下步骤：

S21：根据病害木的冠幅大小设定匹配的外接矩形，并输出矩形框内的图像对象，生成病害木数据集；

这里，需要指出的是，由于树木线虫病害木的病害程度多样，需要尽量保证选择的对象多样化。

S22：选择病害密度小于预设密度阈值的有林地区生成由若干随机点组成的随机点矩阵，并在随机点位置处粘贴所述病害木数据集中的图像对象；

S23：当所有粘贴的图像对象的像素总和与原影像信息的像素总和的比例大于预设比例阈值时，数据扩充结束。

通过设定与病害木的冠幅大小匹配的外接矩形，可以选定包含病害木位点的区域图像对象，并在病害密度小于预设密度阈值的有林地区进行粘贴扩充，可以实现病害木数点的有效扩充，便于后续训练完全、充分，进而保证识别结果的准确性。

如图2所示，左边为数据扩充前的影像信息，右边为经过数据扩充后的影像信息，可以明显看出经过数据扩充后，影像信息中的标记点变多了，这样便于后续进行充分训练。

在本发明的一个或多个实施例中，所述步骤3中，所述基于所述标记点构建以病害木位点为中心的二维高斯空间置信图具体包括如下步骤：

S31：根据病害木位点构建二维高斯核函数S_k(p)，

其中，l＝{l₁,l₂,l₃,…,l_k}，l_k∈R²,为所述影像信息中病害木的位置，σ对应高斯核函数的局部作用范围；

S32：根据所述二维高斯核函数计算每个病害木位点对应的病害概率矩阵；

S33：将每个病害木位点对应的病害概率矩阵进行叠加，得到所述二维高斯空间置信图；

二维高斯核函数置信图即将每一类坐标用一个概率图来表示，对图片中的每个像素位置都给一个概率，表示该点属于对应类别关键点的概率，距离关键点位置越近的像素点的概率越接近1，距离关键点越远的像素点的概率越接近0，具体可以通过高斯函数(Gaussian function)进行模拟，已知图像中病害木的位置L＝{L₁,L₂,L₃,…,L_k}，L_k∈R²,根据公式(1)计算二维高斯核函数S_k(p)，其中σ控制高斯核函数的局部作用范围，σ越大，高斯核函数的局部影响范围就会越大，最后将每个病害木位置的病害概率矩阵进行叠加即可得到置信图。

根据标记点构建二维高斯空间置信图，可以将病害木位点转化为概率图来表示，从而代替传统标记框的检测方式，更加直观，并且便于后续对多尺度空间注意力卷积神经网络模型进行训练。如图3所示，为本发明实施例构建的二维高斯核空间置信图。

在本发明的一个或多个实施例中，所述步骤S4中，所述构建多尺度空间注意力卷积神经网络模型的具体方法为：

S41：采用深度残差网络ResNet作为主干网络，构建包含编码器和解码器的多尺度空间注意力卷积神经网络模型；

其中，所述编码器包括残差卷积层集以及由多个不同扩张率的扩张卷积层组成的多扩张卷积联合空间注意力模块。

S42：所述残差卷积层集对所述影像信息进行初步特征提取出处理,得到初步空间特征；

具体来说，残差卷积层集第一层由卷积层，批处理归一化层和ReLU激活函数层组成，然后是最大池化层和四个残差层，以逐渐降低分辨率并增加特征图通道的数量。各个层的通道数分别为64、64、128、256和512。

S43：多个不同扩张率的所述扩张卷积层分别对所述初步空间特征进行二次特征提取处理,并得到对应不同尺度的二次空间特征，经过Sigmoid函数处理由多个扩张卷积层输出的二次空间特征形成的特征集，并输出多尺度空间注意力卷积神经网络模型的空间监督权重W；

本发明的实施例中，多扩张卷积联合空间注意力模块(Atrous_Block)由四个不同扩张率的扩张卷积层(Rate＝3，6，12，18)组成，用于方便提取不同尺度空间特征，Sigmoid函数处理由多个扩张卷积层输出的二次空间特征形成的特征集，并输出预测概率，作为主干网络特征的空间监督权重W，如公式(3)，来突出目标特征，弱化背景信息。

W＝sigmoid(f([d1，d2，d3，d4])) (3)

式中，f(x)表示卷积核为1的卷积层，[d1，d2，d3，d4]代表四个不同扩张率的扩张卷积层联合后的特征集。

S44：将所述特征集与卷积核为1的卷积层进行卷积处理，得到密集空间特征；

S45：所述解码器将所述密集空间特征与其他不同尺度层对应的密集空间特征进行融合，得到融合不同感受野的多尺度空间注意力特征层。

通过残差卷积层集对所述影像信息进行初步特征提取，并由不同扩张率的所述扩张卷积层对所述残差卷积层集输出的初步空间特征进行二次特征提取处理，得到对应的二次空间特征，增大特征图感受野的同时，保持特征图尺寸，避免空间位置信息的损失，突出主要信息的权重，弱化无用信息(比如背景信息)，提高模型对特征图包含的空间位置信息的利用能力，有利于帮助学习到有效特征，以提高训练效果，并有利于后续提高识别精度。

如图4a和图4b所示，其中，图4a展示了标准卷积特征提取示意图，图4b为扩张率为1的扩张卷积特征提取示意图。可以明显看出，经过多尺度扩张卷积后的所述输出的融合不同感受野的多尺度空间注意力特征层视野明显增大。

本实施例的多尺度空间注意力卷积神经网络模型具有以下三个方面的特点：

(1)采用深度残差网络ResNet作为主干网络，并舍弃全局池化层和全连接层，加速模型收敛，提高分类精度；

(2)在主干网络后增加一个多扩张卷积联合空间注意力模块，用来突出主要信息的权重，帮助模型学习到有效特征；

(3)解码器融合更多的浅层特征，提高模型对特征图包含的空间位置信息的利用能力。

在本发明的一个或多个实施例中，所述步骤S4中，所述利用所述二维高斯空间置信图结合深度学习算法对所述多尺度空间注意力卷积神经网络模型进行训练具体包括如下步骤：

S46：随机选取训练集中设定数量的影像信息输入至所述多尺度空间注意力卷积神经网络模型并进行训练，并计算用于表征所述多尺度空间注意力卷积神经网络模型的病害木概率预测值与真实概率值之间偏差程度的损失函数值；

其中，损失函数采用MSE，具体计算公式如下：

MSE＝∑(y-f_θ(x))² (4)

式中，y代表二维高斯空间置信图中每个病害木位点的真实概率值，f_θ(x)代表多尺度空间注意力卷积神经网络模型对每个病害木位点的预测值；

S47：重复上述步骤，直至训练集中所有的影像信息全部被选取并输入至所述多尺度空间注意力卷积神经网络模型进行训练；

S48：根据所述损失函数值取最小值时确定多尺度空间注意力卷积神经网络的参数，完成训练。

通过训练计算损失函数值的大小，即可表征所述多尺度空间注意力卷积神经网络模型的病害木概率预测值与真实概率值之间偏差程度，进而根据损失函数值来确定高斯核函数的参数，完成对模型的训练。

本发明的实施例中，将训练模型的初始学习率设置在0.001，每次随机选取4张训练样本组成一个Batch输入至网络中训练，直到训练集所有数据完成训练，每一次训练看做一次迭代(Iteation)，每次迭代输出一次损失函数值。其中损失函数(loss function)是用来估量模型的预测值与真实值的不一致程度，损失函数越小，模型的鲁棒性越好。

在训练阶段还需要选定合适的高斯核参数来达到理想的预测效果，图5中分别举例了当σ为1，2，3时置信图的图样。实际应用中可以根据实地的检测对象做具体参数的调整。

在本发明的一个或多个实施例中，所述步骤S5中，所述利用训练后的所述多尺度空间注意力卷积神经网络模型对目标区域树木线虫病害进行预测识别，得到病害预测结果具体包括如下步骤：

S51：将目标区域对应的目标影像信息输入至训练后的所述多尺度空间注意力卷积神经网络模型进行识别，得到用于表征每个像素对应位置处病害概率的预测图；

模型预测是指当模型的参数确定后，进行前向传播过程，利用最终模型求解待分类影像中每一个像素属于每个类别的概率。在模型预测过程中，为了防止内存溢出，通常将待分类影像裁剪为固定大小的图像块分别进行预测，然后再拼接成整张图像。然而由于卷积操作会将图像块的边界用0填充，因此这种预测方法会使得每个图像块边界像元的预测精度会低于中心像元的预测精度，拼接后得到的分类图像有明显的拼接痕迹。

本发明的实施例中，为了得到更好的预测结果，本方法采取边缘舍弃策略，采用滑动窗口的方式获取有一定重叠区域的图像块，然后对每一张预测的图像块保留中间某一区域的分类结果，舍弃边缘不准确的结果，再依次拼接，这样能够避免明显的拼接痕迹，提升影像预测效果。

S52：采用概率松弛算法对所述预测图进行处理，得到局部区域像素的病害概率最大值，将病害概率最大值的像素坐在位置作为局部区域预测位点，以最终生成目标区域的病害预测点位图。

松弛迭代算法是一种图像的分割算法，其基本思想是:图像中每一个像素的归属不仅应该由其本身来决定，而且应该受到它的邻域像素的影响。该方法以像素为操作对象，既可基于灰度进行，也可基于梯度值进行，借助迭代逐步确定像素的归类。在每次迭代中需要用到称为相容性的原则。据此，松弛迭代算法可分为离散松弛算法、模糊松弛算法、概率松弛算法等。本发明采用的是概率松弛迭代算法。

通过所述多尺度空间注意力卷积神经网络模型识别出每个像素位置处的病害概率，然后根据概率松弛算法搜索得到局部像素的概率最大值，并将病害概率最大值的像素坐在位置作为局部区域预测位点，这样可以强化病害最大的中心点的概率，并弱化邻域像素的概率，进而使得局部区域的病害点更加集中、明确。

需要特征指出的是，本发明的实施例中，为了剔除更多的噪声，本方法在采用概率松弛算法对所述预测图进行处理前，对概率小于0.5的像素赋值0。

在本发明的一个或多个实施例中，所述步骤S52中，所述采用概率松弛算法对所述预测图进行处理，得到局部区域像素的病害概率最大值的具体方法为：

S521：设要将有N个像素的原始集合S＝{S₁，S₂，...，S_N)分为M个类，分类结果集合C＝{C₁，C₂，...，C_M}，

表示S_i∈C_j(1≤i≤N，1≤j≤M的初始概率，且

和

S522：根据所述初始概率计算逐次迭代概率，具体计算公式为：

式中，

表示迭代前局部区域像素对i和j的病害概率值，

表示迭代后局部区域像素对i和j的病害概率值，q_ij表示迭代过程中像素对i和j病害概率的增量，P(i，j；k，l)表示像素对i和j以及像素对k和l之间的相容性，P(i，j；k，l)＝1表示符合相容性，P(i，j；k，l)＝-1表示不符合相容性；P(i，j；k，l)＝2表示不确定。

根据公司(5)和(6)可知，在每次迭代的过程中，对每个像素的灰度(或概率密度)来说是一次由其各个邻域像素对它进行加权调整过程，它从具有相同灰度性质的邻域像素得到正的调整量，而从具有不同灰度性质的邻域像素得到负的调整量。

这里，相容性指每对相邻像素之间的某种关系，例如对S_i∈C_j和S_k∈Cx，有相容性P(i，j；k，l)。需要注意的是，P不一定对称，即P(i，j；k，l)≠P(k，l；i，j)。在实际应用中，对每一个像素点一般只考虑它与其8个邻域的像素点的关系，所以对像素i来说，如果像素k不在它的8个邻域像素点中，则P(i，j；k，l)＝0。

另外，逐次迭代的概率

可根据初始概率的相容性计算。具体来说，如果P_kl大且P(i，j；k，l)为正，则应该增高P_ij使之与高概率事件S_k∈C_l相容。反之，如果P_kl大且P(i，j；k，l)为负，则应该降低P_ij，因为它与高概率事件S_k∈C_l不相容。当然，如果P_kl小或P(i，j；k，l)接近0，则不必过多改变P_ij，因为这表示S_k∈C_l或者可能性不大，或者S_i∈C_j无关。这样看来，可借助乘积P(i，j；k，l)p_kl来确定对P_ij的增量q_ij。

S523：根据迭代过程中的所有像素的病害概率值，并确定局部区域像素的病害概率最大值。

在本发明的一个或多个实施例中，所述的基于深度学习的树木线虫病害木识别方法还包括如下步骤：

S6：根据所述病害预测点位图和实际病害点位图对所述病害预测结果进行评价，具体计算公式为：

式中，P为精度准确度，R为召回准确度，F1分数是精确度和召回率之间的调和平均值，TP为真实病害被检测出来的数量，FP为非病害但被检测为病害的数，FN为真实病害但未被检测出来的数。

通过采用精度准确度和召回准确度可以准确评价多尺度空间注意力卷积神经网络模型预测的病害预测点位的准确性和完整性，以便确定病害预测效果，为森林病虫害防治提供有力的辅助。

为了验证本发明在实际树木线虫病害木识别与定位中的效果，实验选取了湖北省宜昌市境内典型松材线虫发病区域中的病害松树为研究对象，利用了高分辨率航空遥感多光谱影像(空间分辨率0.1m)对马尾松纯林和针阔混交林中不同病害程度的病发区域进行病害木识别定位，其结果定位精度如下表1。

表1精度评价结果

表注：表中纯林(低)代表纯林虫害低爆发区域，纯林(高)代表纯林虫害高爆发区域，混交林(低)代表混交林虫害低爆发区域，混交林(高)代表混交林虫害高爆发区域。

结果表明，该方法在多个复杂场景中的检测精度都能达到0.8以上，其中在混交林中的整体检测效果略高于纯林，在高爆发区的检测效果低于低爆发区。

本发明还提供了一种基于深度学习的树木线虫病害木识别***，包括：

采集标记模块，用于采集树木线虫病害区域的影像信息，对所述影像信息中的病害木位点进行标记并形成标记点；

高斯空间置信图模块，用于基于所述标记点构建以病害木位点为中心的二维高斯空间置信图；

神经网络模型模块，用于构建多尺度空间注意力卷积神经网络模型，并利用所述二维高斯空间置信图结合深度学习算法对所述多尺度空间注意力卷积神经网络模型进行训练；

识别模块，用于利用训练后的所述多尺度空间注意力卷积神经网络模型对目标区域树木线虫病害进行预测识别，得到病害预测结果。

在本发明的一个或多个实施例中，所述树木线虫病害木识别***还包括数据扩充模块，用于对病害木位点的标记点进行数据扩充，所述基于数据扩充后的病害木位点的标记点来构建以病害木位点为中心的二维高斯空间置信图。

针对多尺度目标实际可获取的样本不足与不均衡问题，通过对病害木位点的标记点进行数据扩充，实现病害木位点数据量的增加，避免由于实际情况中无法获得足够多的样本数据而带来的训练不完全的问题，在一定程度上缓解过拟合问题，在没有增在飞行作业的情况下，在单位面积上，提高小目标出现的频率。

在本发明的一个或多个实施例中，所述数据扩充模块对病害木位点的标记点进行数据扩充的具体实现为：

根据病害木的冠幅大小设定匹配的外接矩形，并输出矩形框内的图像对象，生成病害木数据集；

选择病害密度小于预设密度阈值的有林地区生成由若干随机点组成的随机点矩阵，并在随机点位置处粘贴所述病害木数据集中的图像对象；

当所有粘贴的图像对象的像素总和与原影像信息的像素总和的比例大于预设比例阈值时，数据扩充结束。

通过设定与病害木的冠幅大小匹配的外接矩形，可以选定包含病害木位点的区域图像对象，并在病害密度小于预设密度阈值的有林地区进行粘贴扩充，可以实现病害木数点的有效扩充，便于后续训练完全、充分，进而保证识别结果的准确性。

在本发明的一个或多个实施例中，所述高斯空间置信图模块基于所述标记点构建以病害木位点为中心的二维高斯空间置信图具体包括如下步骤：

根据病害木位点构建二维高斯核函数S_k(p)，

其中，l＝{l₁,l₂,l₃,…,l_k}，l_k∈R²,为所述影像信息中病害木的位置，σ对应高斯核函数的局部作用范围；

根据所述二维高斯核函数计算每个病害木位点对应的病害概率矩阵；

将每个病害木位点对应的病害概率矩阵进行叠加，得到所述二维高斯空间置信图。

根据标记点构建二维高斯空间置信图，可以将病害木位点转化为概率图来表示，从而代替传统标记框的检测方式，更加直观，并且便于后续对多尺度空间注意力卷积神经网络模型进行训练。如图3所示，为本发明实施例构建的二维高斯核空间置信图。

在本发明的一个或多个实施例中，所述神经网络模型模块构建多尺度空间注意力卷积神经网络模型的具体实现为：

采用深度残差网络ResNet作为主干网络，构建包含编码器和解码器的多尺度空间注意力卷积神经网络模型；

其中，所述编码器包括残差卷积层集以及由多个不同扩张率的扩张卷积层组成的多扩张卷积联合空间注意力模块；

所述残差卷积层集对所述影像信息进行初步特征提取出处理,得到初步空间特征；

多个不同扩张率的所述扩张卷积层分别对所述初步空间特征进行二次特征提取处理,并得到对应不同尺度的二次空间特征，经过Sigmoid函数处理由多个扩张卷积层输出的二次空间特征形成的特征集，并输出多尺度空间注意力卷积神经网络模型的空间监督权重W；

将所述特征集与卷积核为1的卷积层进行卷积处理，得到密集空间特征；

所述解码器将所述密集空间特征与其他不同尺度层对应的密集空间特征进行融合，得到融合不同感受野的多尺度空间注意力特征层。

通过残差卷积层集对所述影像信息进行初步特征提取，并由不同扩张率的所述扩张卷积层对所述残差卷积层集输出的初步空间特征进行二次特征提取处理，得到对应的二次空间特征，增大特征图感受野的同时，保持特征图尺寸，避免空间位置信息的损失，突出主要信息的权重，弱化无用信息(比如背景信息)，提高模型对特征图包含的空间位置信息的利用能力，有利于帮助学习到有效特征，以提高训练效果，并有利于后续提高识别精度。

在本发明的一个或多个实施例中，所述神经网络模型模块利用所述二维高斯空间置信图结合深度学习算法对所述多尺度空间注意力卷积神经网络模型进行训练的具体实现为：

随机选取训练集中设定数量的影像信息输入至所述多尺度空间注意力卷积神经网络模型并进行训练，并计算用于表征所述多尺度空间注意力卷积神经网络模型的病害木概率预测值与真实概率值之间偏差程度的损失函数值；

其中，损失函数采用MSE，具体计算公式如下：

MSE＝∑(y-f_θ(x))²

式中，y代表二维高斯空间置信图中每个病害木位点的真实概率值，f_θ(x)代表多尺度空间注意力卷积神经网络模型对每个病害木位点的预测值；

如此重复，直至训练集中所有的影像信息全部被选取并输入至所述多尺度空间注意力卷积神经网络模型进行训练；

根据所述损失函数值取最小值时确定多尺度空间注意力卷积神经网络的参数，完成训练。

通过训练计算损失函数值的大小，即可表征所述多尺度空间注意力卷积神经网络模型的病害木概率预测值与真实概率值之间偏差程度，进而根据损失函数值来确定高斯核函数的参数，完成对模型的训练。

在本发明的一个或多个实施例中，所述识别模块利用训练后的所述多尺度空间注意力卷积神经网络模型对目标区域树木线虫病害进行预测识别，得到病害预测结果的具体实现为：

将目标区域对应的目标影像信息输入至训练后的所述多尺度空间注意力卷积神经网络模型进行识别，得到用于表征每个像素对应位置处病害概率的预测图；

采用概率松弛算法对所述预测图进行处理，得到局部区域像素的病害概率最大值，将病害概率最大值的像素坐在位置作为局部区域预测位点，以最终生成目标区域的病害预测点位图。

通过所述多尺度空间注意力卷积神经网络模型识别出每个像素位置处的病害概率，然后根据概率松弛算法搜索得到局部像素的概率最大值，并将病害概率最大值的像素坐在位置作为局部区域预测位点，这样可以强化病害最大的中心点的概率，并弱化邻域像素的概率，进而使得局部区域的病害点更加集中、明确。

在本发明的一个或多个实施例中，所述识别模块采用概率松弛算法对所述预测图进行处理，得到局部区域像素的病害概率最大值的具体实现为：

设要将有N个像素的原始集合S＝{S₁，S₂，...，S_N}分为M个类，分类结果集合C＝{C₁，C₂，...，C_M}，

表示S_i∈C_j(1≤i≤N，1≤j≤M)的初始概率，且

和

根据所述初始概率计算逐次迭代概率，具体计算公式为：

式中，

表示迭代前局部区域像素对i和j的病害概率值，

表示迭代后局部区域像素对i和j的病害概率值，q_ij表示迭代过程中像素对i和j病害概率的增量，P(i，j；k，l)表示像素对i和j以及像素对k和l之间的相容性，P(i，j；k，l)＝1表示符合相容性，P(i，j；k，l)＝-1表示不符合相容性；P(i，j；k，l)＝2表示不确定；

根据迭代过程中的所有像素的病害概率值，并确定局部区域像素的病害概率最大值。

在本发明的一个或多个实施例中，所述树木线虫病害木识别***还包括评价模块，用于根据所述病害预测点位图和实际病害点位图对所述病害预测结果进行评价，具体计算公式为：

式中，P为精度准确度，R为召回准确度，F1分数是精确度和召回率之间的调和平均值，TP为真实病害被检测出来的数量，FP为非病害但被检测为病害的数，FN为真实病害但未被检测出来的数。

通过采用精度准确度和召回准确度可以准确评价多尺度空间注意力卷积神经网络模型预测的病害预测点位的准确性和完整性，以便确定病害预测效果，为森林病虫害防治提供有力的辅助。

本发明的基于深度学习的树木线虫病害木识别方法及***，通过对采集的线虫病害区域的影像信息进行标记，并构建二维高斯空间置信图,利用二维高斯空间置信图对多尺度空间注意力卷积神经网络模型进行训练，最后利用训练后的模型对目标区域树木线虫病害进行预测识别，可以进一步提高目标识别的准确性，通过多尺度空间注意力卷积神经网络模型融合不同感受野下的特征图，将多分辨率的深度信息整合到常规的空间语义中，提升模型对于病害木与周围关系的学习和识别能力。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的树木线虫病害木识别方法,其特征在于，包括如下步骤：

采集树木线虫病害区域的影像信息，对所述影像信息中的病害木位点进行标记并形成标记点；

基于所述标记点构建以病害木位点为中心的二维高斯空间置信图；

构建多尺度空间注意力卷积神经网络模型，并利用所述二维高斯空间置信图结合深度学习算法对所述多尺度空间注意力卷积神经网络模型进行训练；

利用训练后的所述多尺度空间注意力卷积神经网络模型对目标区域树木线虫病害进行预测识别，得到病害预测结果。

2.根据权利要求1所述的基于深度学习的树木线虫病害木识别方法,其特征在于，在对所述影像信息中的病害木位点进行标记后，还包括如下步骤：

对病害木位点的标记点进行数据扩充，并基于数据扩充后的病害木位点的标记点来构建以病害木位点为中心的二维高斯空间置信图。

3.根据权利要求2所述的基于深度学习的树木线虫病害木识别方法,其特征在于，所述对病害木位点的标记点进行数据扩充具体包括如下步骤：

根据病害木的冠幅大小设定匹配的外接矩形，并输出矩形框内的图像对象，生成病害木数据集；

选择病害密度小于预设密度阈值的有林地区生成由若干随机点组成的随机点矩阵，并在随机点位置处粘贴所述病害木数据集中的图像对象；

当所有粘贴的图像对象的像素总和与原影像信息的像素总和的比例大于预设比例阈值时，数据扩充结束。

4.根据权利要求1所述的基于深度学习的树木线虫病害木识别方法,其特征在于，所述基于所述标记点构建以病害木位点为中心的二维高斯空间置信图具体包括如下步骤：

根据病害木位点构建二维高斯核函数S_k(p)：

其中，l＝{l₁,l₂,l₃,…,l_k}，l_k∈R²,为所述影像信息中病害木的位置，σ对应高斯核函数的局部作用范围；

根据所述二维高斯核函数计算每个病害木位点对应的病害概率矩阵；

将每个病害木位点对应的病害概率矩阵进行叠加，得到所述二维高斯空间置信图。

5.根据权利要求4所述的基于深度学习的树木线虫病害木识别方法,其特征在于，所述构建多尺度空间注意力卷积神经网络模型的具体方法为：

采用深度残差网络ResNet作为主干网络，构建包含编码器和解码器的多尺度空间注意力卷积神经网络模型；

其中，所述编码器包括残差卷积层集以及由多个不同扩张率的扩张卷积层组成的多扩张卷积联合空间注意力模块；

所述残差卷积层集对所述影像信息进行初步特征提取出处理,得到初步空间特征；

多个不同扩张率的所述扩张卷积层分别对所述初步空间特征进行二次特征提取处理,并得到对应不同尺度的二次空间特征，经过Sigmoid函数处理由多个扩张卷积层输出的二次空间特征形成的特征集，并输出多尺度空间注意力卷积神经网络模型的空间监督权重W；

将所述特征集与卷积核为1的卷积层进行卷积处理，得到密集空间特征；

所述解码器将所述密集空间特征与其他不同尺度层对应的密集空间特征进行融合，得到融合不同感受野的多尺度空间注意力特征层。

6.根据权利要求5所述的基于深度学习的树木线虫病害木识别方法,其特征在于，所述利用所述二维高斯空间置信图结合深度学习算法对所述多尺度空间注意力卷积神经网络模型进行训练具体包括如下步骤：

随机选取训练集中设定数量的影像信息输入至所述多尺度空间注意力卷积神经网络模型并进行训练，并计算用于表征所述多尺度空间注意力卷积神经网络模型的病害木概率预测值与真实概率值之间偏差程度的损失函数值；

其中，损失函数采用MSE，具体计算公式如下：

MSE＝∑(y-f_θ(x))²

式中，y代表二维高斯空间置信图中每个病害木位点的真实概率值，f_θ(x)代表多尺度空间注意力卷积神经网络模型对每个病害木位点的预测值；

重复上述步骤，直至训练集中所有的影像信息全部被选取并输入至所述多尺度空间注意力卷积神经网络模型进行训练；

根据所述损失函数值取最小值时确定多尺度空间注意力卷积神经网络的参数，完成训练。

7.根据权利要求5所述的基于深度学习的树木线虫病害木识别方法,其特征在于，所述利用训练后的所述多尺度空间注意力卷积神经网络模型对目标区域树木线虫病害进行预测识别，得到病害预测结果具体包括如下步骤：

将目标区域对应的目标影像信息输入至训练后的所述多尺度空间注意力卷积神经网络模型进行识别，得到用于表征每个像素对应位置处病害概率的预测图；

采用概率松弛算法对所述预测图进行处理，得到局部区域像素的病害概率最大值，将病害概率最大值的像素坐在位置作为局部区域预测位点，以最终生成目标区域的病害预测点位图。

8.根据权利要求7所述的基于深度学习的树木线虫病害木识别方法,其特征在于，所述采用概率松弛算法对所述预测图进行处理，得到局部区域像素的病害概率最大值的具体方法为：

设要将有N个像素的原始集合S＝{S₁，S₂，...，S_N}分为M个类，分类结果集合C＝{C₁,C₂,...,C_M}，

表示S_i∈C_j(1≤i≤N,1≤j≤M)的初始概率，且

和

根据所述初始概率计算逐次迭代概率，具体计算公式为：

式中，

表示迭代前局部区域像素对i和j的病害概率值，

表示迭代后局部区域像素对i和j的病害概率值，q_ij表示迭代过程中像素对i和j病害概率的增量，P(i，j；k，l)表示像素对i和j以及像素对k和l之间的相容性，P(i，j；k，l)＝1表示符合相容性，P(i，j；k，l)＝-1表示不符合相容性；P(i，j；k，l)＝2表示不确定；

根据迭代过程中的所有像素的病害概率值，并确定局部区域像素的病害概率最大值。

9.根据权利要求7所述的基于深度学习的树木线虫病害木识别方法,其特征在于，还包括如下步骤：

根据所述病害预测点位图和实际病害点位图对所述病害预测结果进行评价，具体计算公式为：

式中，P为精度准确度，R为召回准确度，F1分数是精确度和召回率之间的调和平均值，TP为真实病害被检测出来的数量，FP为非病害但被检测为病害的数，FN为真实病害但未被检测出来的数。

10.一种基于深度学习的树木线虫病害木识别***，其特征在于，包括：

采集标记模块，用于采集树木线虫病害区域的影像信息，对所述影像信息中的病害木位点进行标记并形成标记点；

高斯空间置信图模块，用于基于所述标记点构建以病害木位点为中心的二维高斯空间置信图；

神经网络模型模块，用于构建多尺度空间注意力卷积神经网络模型，并利用所述二维高斯空间置信图结合深度学习算法对所述多尺度空间注意力卷积神经网络模型进行训练；

识别模块，用于利用训练后的所述多尺度空间注意力卷积神经网络模型对目标区域树木线虫病害进行预测识别，得到病害预测结果。

Images