CN114299091A - 一种基于DA-Net的杂草自动分割方法 - Google Patents
一种基于DA-Net的杂草自动分割方法 Download PDFInfo
- Publication number
- CN114299091A CN114299091A CN202111641200.1A CN202111641200A CN114299091A CN 114299091 A CN114299091 A CN 114299091A CN 202111641200 A CN202111641200 A CN 202111641200A CN 114299091 A CN114299091 A CN 114299091A
- Authority
- CN
- China
- Prior art keywords
- layer
- attention module
- res
- net
- level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 241000196324 Embryophyta Species 0.000 title claims abstract description 32
- 230000011218 segmentation Effects 0.000 title claims abstract description 30
- 230000000694 effects Effects 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims abstract description 13
- 238000000605 extraction Methods 0.000 claims abstract description 5
- 238000007781 pre-processing Methods 0.000 claims abstract description 3
- 230000006870 function Effects 0.000 claims description 17
- 230000004913 activation Effects 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000011084 recovery Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims description 2
- 239000004009 herbicide Substances 0.000 abstract description 5
- 230000004927 fusion Effects 0.000 abstract description 3
- 241000335053 Beta vulgaris Species 0.000 description 4
- 238000013136 deep learning model Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 238000011426 transformation method Methods 0.000 description 4
- 241000828839 Cotula australis Species 0.000 description 3
- 238000002679 ablation Methods 0.000 description 3
- 241000219310 Beta vulgaris subsp. vulgaris Species 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 235000016068 Berberis vulgaris Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000009333 weeding Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于DA‑Net的杂草自动分割方法。本发明步骤如下:1、实验数据的预处理;2、构建DA‑Net网络模型;2.1采用ResNet101作为编码阶段的主干网络提取语义信息;2.2构建分支注意力模块,并在编码阶段的主干网络中添加分支注意力模块;2.3经过分支注意力模块融合后的最终特征Y送入全局卷积网络进行特征提取;2.4构建空间注意力模块;2.5在解码阶段采用反卷积恢复图像分辨率;3、训练DA‑Net网络模型;4、采用训练好的DA‑Net网络模型进行土地中的杂草进行分割,并对分割效果进行评估。本发明实现了杂草的自动分割,减少了除草剂的大规模使用。本发明能更好的促进高层特征与低层特征的融合,帮助二者建立多层次和长距离的依赖关系。从而实现高精度的杂草分割。
Description
技术领域
本发明属于农业的精确分割技术领域,具体涉及一种基于DA-Net 的杂草自动分割方法。
背景技术
杂草是导致作物减产的一个重要原因,传统的方法通常利用大规模的除草剂来控制杂草。杂草分割任务是利用图像信息在像素水平上自动区分杂草和作物。将这项技术应用于无人机器人可以减少环境污染和作物污染。在本文中,我们利用精准农业中的深度学习技术来准确区分杂草和农作物,可以大大降低除草剂的使用。
发明内容
本发明的目的是为克服现有技术不足,本发明提出一种基于 DA-Net的杂草自动分割方法。实现了杂草的自动分割,大大降低了除草剂的使用。为此本发明提出了一种DA-Net的深度学习模型,具体的步骤如下:
步骤1、实验数据的预处理;
步骤2、构建DA-Net网络模型;
步骤3、训练DA-Net网络模型;
步骤4、采用训练好的DA-Net网络模型进行土地中的杂草进行分割,并对分割效果进行评估。
所述步骤1具体包括以下步骤:
步骤1.1为了提高模型的泛化能力,首先对图像进行归一化处理;
步骤1.2对归一化后的图像进行裁剪,大小为352×480;
步骤1.3对裁剪后的图像进行数据增强,扩增训练样本,以减少过拟合现象。具体通过随机应用仿射变换、平移、水平翻转和缩放等几何变换方法;或应用运动模糊、中值滤波、内核模糊和随机明亮对比度等像素变换方法;
步骤1.4按照8:1:1比例划分训练集、验证集和测试集。
所述步骤2包括以下步骤:
步骤2.1采用ResNet101作为编码阶段的主干网络,提取语义信息;
步骤2.2构建分支注意力模块,并在编码阶段的主干网络中添加分支注意力模块。
主干网络的第二层的Res-2与高层特征Res-3、Res-4和Res-5 共同经过分支注意力模块I;第三层的Res-3与高层特征Res-4和 Res-5共同经过分支注意力模块II;第四层的Res-4会与高层特征 Res-5共同经过分支注意力模块III。
高层特征在经过分支注意力模块前,利用双线性插值将高层特征恢复图像分辨率。
进一步的,高层特征与低层特征进行拼接,并经过全局平均池化层Ggp得到一维的通道特征向量。
进一步的,一维通道特征向量经过Fcr(由1×1的卷积层、RELU 激活函数和1×1的卷积层构成),最终再送入sigmoid激活函数得到分支注意力图。
进一步的,分支注意力图与恢复分辨率后的高层特征进行相乘,得到新的高层特征。新的高层特征与低层特征相乘得到输出特征。
其中,Ggp是全局平均池化层;Ui,j表示坐标为(i,j)的值;
进一步的,将Z依次送入1×1的卷积层、RELU激活函数和1×1 的卷积层,最终再送入sigmoid激活函数得到分支注意力图S,计算公式如下:
S=σ(Fcr(Z)) (2)
其中S=[s1,s2,...,s12C],σ是sigmoid激活函数。Fcr包括了一个1×1的卷积层、RELU激活函数和一个1×1的卷积层;
其中,S1=[s1,s2,...,s4C]是恢复分辨率后的高层特征L4的分支注意力图;S2=[s4C+1,s4C+2,...,s12C]是恢复分辨率后的高层特征L5的分支注意力图;Fscale(L4,S1)指的是权重S1和恢复分辨率后的高级特征L4之间的通道相乘;
其中,⊙代表矩阵元素相乘;
步骤2.3:经过分支注意力模块融合后的最终特征Y送入全局卷积网络(GCN)进行特征提取;
进一步的,全局卷积网络是由两个卷积分支构成;分别是1× K+K×1的卷积和K×1+1×K的卷积;
步骤2.4:构建空间注意力模块;
第二层的特征与第三层经过反卷积后的高层特征共同经过空间注意力模块;第三层的特征与第四层经过反卷积后的高层特征共同经过空间注意力模块;第四层的特征与第五层经过反卷积后的高层特征共同经过空间注意力模块;而第五层的特征只有自身经过空间注意力模块。
Y=αE+X (8)
其中α是个可以学习的变量;
步骤2.5:在解码阶段采用反卷积恢复图像分辨率;
所述步骤3包括以下步骤:
步骤3.1:在训练过程中使用加权交叉熵损失函数;
步骤3.2:在训练过程中使用随机梯度下降优化算法SGD;
步骤3.3:DA-Net编码阶段的ResNet101网络权重采用在 ImageNet数据集上预训练的权重;
步骤3.4:在训练过程中采用poly学习率策略,学习率更新公式为:
其中,learnrate为当前epoch的学习率,initial_rate为初始学习率。iter为当前epoch数目,total_iter为总的epoch数目。
所述步骤4具体包括以下步骤:
步骤4.1:引入IoU系数和ACC系数来评价分割的效果,二者的定义如下:
其中,TP表示真阳性;TN表示真阴性;FP表假阳性;FN表示假阴性。
与现有技术相比,本发明的有益结果使:
本发明通过建立DA-Net的深度学习模型,实现了杂草的自动分割,减少了除草剂的大规模使用。相比于其他U型网络结构,该方法可以更好的促进高层特征与低层特征的融合,帮助二者建立多层次和长距离的依赖关系。从而实现高精度的杂草分割。
附图说明
图1为DA-Net的网络结构图。
图2为分支注意力模块的结构图。
图3为空间注意力的结构图。
图4为DA-Net分割甜菜杂草的实例效果。
具体实施方式
下面结合附图和具体实施例对本发明作进一步的说明。
为了解决农业上除草时所遇到的问题,本发明提出了一种基于 DA-Net的杂草自动分割方法。DA-Net是一个基于双重注意力机制的 U形架构,由编码器、分支注意力模块、解码器和空间注意力模块组成。首先将一维的图像送入编码器中提取语义信息,ResNet101提取的四层特征分别经过分支注意力模块,并且每一层都会与它的更高层进行融合。进融合后的特征送入全局卷积网络(GCN)进行特征提取;在解码器部分,每一层特征都会与其下一层特征经过空间注意力模块;最后采用反卷积恢复图像分辨率。由于高层特征具有高层语义信息和低分辨率,低层特征具有低层语义信息和高分辨率;普通深度学习模型仅仅是将二者同等地融合,该分支注意力模块可以让网络自己选择合适的分支进行融合。在解码阶段,很多传统的深度学习模型仅仅采用线性聚合的方式来帮助高层特征与低层特征建立多层次和长距离的依赖关系,但是线性聚合方法可能不足以提供神经元强大的适应能力。我们的空间注意力模块可以很好的帮助高层特征与低层特征建立长距离和多层次的依赖关系。
实施例1实验数据的预处理。
(1)对数据归一化处理。
(2)对图片进行裁剪为大小352×480。
(3)对图像随机应用放射变换、平移、水平翻转和缩放等几何变换方法,同时应用运动模糊、中值滤波、内核模糊和随机明亮对比度等像素变换方法。进行数据增强.扩增训练样本,以减少过拟合现象。
(4)按照8∶1∶1的比例划分数据集为训练集、验证集和测试集。
实施例2构建DA-Net网络模型。
(1)采用ResNet101作为编码阶段的主干网络,提取语义信息。
(2)构建分支注意力模块。第二层的Res-2会与高层特征Res-3、 Res-4和Res-5共同经过分支注意力模块;第三层的Res-3会与高层特征Res-4和Res-5共同经过分支注意力模块;第四层的Res-4会与高层特征Res-5共同经过分支注意力模块。
(3)融合后的特征送入全局卷积网络(GCN)进行特征提取。
构建空间注意力模块,第二层的特征会与第三层经过反卷积后的高层特征共同经过空间注意力模块;第三层的特征会与第四层经过反卷积后的高层特征共同经过空间注意力模块;第四层的特征会与第五层经过反卷积后的高层特征共同经过空间注意力模块;而第五层的特征只有自身经过空间注意力模块。
(4)在解码阶段采用反卷积恢复图像分辨率。
实施例3训练DA-Net网络模型。
(1)采用SGD优化方式作为优化方法,同时采用加权交叉熵作为损失函数进行训练。采用poly学习率策略,学习率公式为:
其中,learnrate为当前epoch的学习率,initial_rate为初始学习率。iter为当前epoch数目,total_iter为总的epoch数目。
(2)DA-Net编码阶段的ResNet101网络权重采用在ImageNet 数据集上预训练的权重。
实施例4采用训练好的DA-Net网络模型进行杂草的分割,并对分割效果进行评估,我们在三个公开的甜菜杂草数据集、胡萝卜杂草数据集和稻田杂草数据集上进行了实验。
(1)图4为DA-Net分割杂草的实例效果。引入IoU系数和ACC 系数来评价分割的效果,两个系数的定义如下:
其中,TP表示真阳性;TN表示真阴性;FP表假阳性;FN表示假阴性。
(2)下表1为DA-Net在甜菜杂草数据集上与当下主流语义分割框架效果的对比。我们的模型相比于ResNet101-Deeplabv3+,Mean IoU提高了1.65%。具体参看表1中DA-Net与其他方法的效果对比。
表1.DA-Net在甜菜杂草数据集与其他方法的效果对比
(3)我们对DA-Net在甜菜杂草数据集上做了一系列的消融实验,来验证分支注意力模块和空间注意力模块的作用。与基线DA-Net 相比,增加了分支注意模块的DA-Net的平均IoU为88.76%,提高了1.56%。当分支注意模块和位置注意模块整合在一起时,DA-Net的平均IoU达到90.07%,与基线相比提高了2.87%。具体参看表2中DA-Net 在数据集上的消融实验。
表2.DA-Net在甜菜数据集上的消融实验
(4)下表3为DA-Net在胡萝卜杂草数据集上与当下主流语义分割框架效果的对比。我们的模型相比于ResNet101-Deeplabv3+,Mean IoU提高了2.43%。具体参看表1中DA-Net与其他方法的效果对比
表3.DA-Net在胡萝卜杂草数据集与其他方法的效果对比
Claims (10)
1.一种基于DA-Net的杂草自动分割方法,其特征在于具体步骤如下:
步骤1、实验数据的预处理;
步骤2、构建DA-Net网络模型;
步骤2.1采用ResNet101作为编码阶段的主干网络,提取语义信息;
步骤2.2构建分支注意力模块,并在编码阶段的主干网络中添加分支注意力模块;
步骤2.3经过分支注意力模块融合后的最终特征Y送入全局卷积网络(GCN)进行特征提取;
步骤2.4构建空间注意力模块;
步骤2.5在解码阶段采用反卷积恢复图像分辨率;
步骤3、训练DA-Net网络模型;
步骤4、采用训练好的DA-Net网络模型进行土地中的杂草进行分割,并对分割效果进行评估。
2.根据权利要求1所述的一种基于DA-Net的杂草自动分割方法,其特征在于步骤2.2构建分支注意力模块,并在编码阶段的主干网络中添加分支注意力模块,具体实现如下:
主干网络的第二层的Res-2与高层特征Res-3、Res-4和Res-5共同经过分支注意力模块Ⅰ;第三层的Res-3与高层特征Res-4和Res-5共同经过分支注意力模块Ⅱ;第四层的Res-4会与高层特征Res-5共同经过分支注意力模块Ⅲ;高层特征在经过分支注意力模块前,利用双线性插值将高层特征恢复图像分辨率;高层特征与低层特征进行拼接,并经过全局平均池化层Ggp得到一维通道特征向量;一维通道特征向量经过Fcr由,最终再送入sigmoid激活函数得到分支注意力图;Fcr由1×1的卷积层、RELU激活函数和1×1的卷积层构成;分支注意力图与恢复分辨率后的高层特征进行相乘,得到新的高层特征;新的高层特征与低层特征相乘得到输出特征。
5.根据权利要求4所述的一种基于DA-Net的杂草自动分割方法,其特征在于将Z依次送入1×1的卷积层、RELU激活函数和1×1的卷积层,最终再送入sigmoid激活函数得到分支注意力图S,计算公式如下:
S=σ(Fcr(Z)) (2)
其中S=[s1,s2,...,s12C],σ是sigmoid激活函数;Fcr包括了一个1×1的卷积层、RELU激活函数和一个1×1的卷积层。
8.根据权利要求1或7所述的一种基于DA-Net的杂草自动分割方法,其特征在于步骤2.4构建空间注意力模块,具体实现如下:
第二层的特征与第三层经过反卷积后的高层特征共同经过空间注意力模块;第三层的特征与第四层经过反卷积后的高层特征共同经过空间注意力模块;第四层的特征与第五层经过反卷积后的高层特征共同经过空间注意力模块;而第五层的特征只有自身经过空间注意力模块;在经过空间注意力模块前,解码阶段的高层特征与低层特征拼接后得到其中H和W为图像的长和宽,C为通道数;
Y=αE+X (8)
其中α是个可以学习的变量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111641200.1A CN114299091A (zh) | 2021-12-29 | 2021-12-29 | 一种基于DA-Net的杂草自动分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111641200.1A CN114299091A (zh) | 2021-12-29 | 2021-12-29 | 一种基于DA-Net的杂草自动分割方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114299091A true CN114299091A (zh) | 2022-04-08 |
Family
ID=80972141
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111641200.1A Pending CN114299091A (zh) | 2021-12-29 | 2021-12-29 | 一种基于DA-Net的杂草自动分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114299091A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114821510A (zh) * | 2022-05-26 | 2022-07-29 | 重庆长安汽车股份有限公司 | 基于改进U-Net网络的车道线检测方法及装置 |
-
2021
- 2021-12-29 CN CN202111641200.1A patent/CN114299091A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114821510A (zh) * | 2022-05-26 | 2022-07-29 | 重庆长安汽车股份有限公司 | 基于改进U-Net网络的车道线检测方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111563508B (zh) | 一种基于空间信息融合的语义分割方法 | |
CN112541503B (zh) | 基于上下文注意力机制和信息融合的实时语义分割方法 | |
CN111462013B (zh) | 一种基于结构化残差学习的单图去雨方法 | |
CN111325165B (zh) | 考虑空间关系信息的城市遥感影像场景分类方法 | |
CN113344806A (zh) | 一种基于全局特征融合注意力网络的图像去雾方法与*** | |
CN114048822A (zh) | 一种图像的注意力机制特征融合分割方法 | |
CN112364719A (zh) | 一种遥感图像目标快速检测方法 | |
CN112233129A (zh) | 基于深度学习的并行多尺度注意力机制语义分割方法及装置 | |
CN113421187B (zh) | 一种超分辨率重建方法、***、存储介质、设备 | |
CN113066089B (zh) | 一种基于注意力引导机制的实时图像语义分割方法 | |
CN113392711A (zh) | 一种基于高层语义与噪声抑制的烟雾语义分割方法及*** | |
CN114821058A (zh) | 一种图像语义分割方法、装置、电子设备及存储介质 | |
CN115660979A (zh) | 一种基于注意力机制的双判别器图像修复方法 | |
CN116228789A (zh) | 一种基于DeepLabv3+网络的遥感图像分割方法 | |
CN114943893A (zh) | 一种土地覆盖分类的特征增强网络 | |
CN115937693A (zh) | 一种基于遥感图像的道路识别方法及*** | |
CN115082806A (zh) | 一种面向中高分辨率卫星遥感影像的地面物体提取方法 | |
CN114299091A (zh) | 一种基于DA-Net的杂草自动分割方法 | |
CN114550014A (zh) | 道路分割方法及计算机装置 | |
CN117726954A (zh) | 一种遥感图像海陆分割方法及*** | |
Zhang et al. | A context-aware road extraction method for remote sensing imagery based on transformer network | |
CN115995002B (zh) | 一种网络构建方法及城市场景实时语义分割方法 | |
CN112418229A (zh) | 一种基于深度学习的无人船海上场景图像实时分割方法 | |
CN117115616A (zh) | 一种基于卷积神经网络的实时低照度图像目标检测方法 | |
CN116681978A (zh) | 一种基于注意力机制和多尺度特征融合的显著性目标检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |