CN117197668A - 基于深度学习的作物倒伏级别的预测方法及*** - Google Patents

基于深度学习的作物倒伏级别的预测方法及*** Download PDF

Info

Publication number
CN117197668A
CN117197668A CN202311147987.5A CN202311147987A CN117197668A CN 117197668 A CN117197668 A CN 117197668A CN 202311147987 A CN202311147987 A CN 202311147987A CN 117197668 A CN117197668 A CN 117197668A
Authority
CN
China
Prior art keywords
lodging
image
crop
remote sensing
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311147987.5A
Other languages
English (en)
Inventor
徐国强
隽壮
于晓静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sunlight Agricultural Mutual Insurance Co
Original Assignee
Sunlight Agricultural Mutual Insurance Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sunlight Agricultural Mutual Insurance Co filed Critical Sunlight Agricultural Mutual Insurance Co
Priority to CN202311147987.5A priority Critical patent/CN117197668A/zh
Publication of CN117197668A publication Critical patent/CN117197668A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的作物倒伏级别的预测方法,包括:获取研究区的农田遥感影像数据,并对其进行预处理;根据作物倒伏严重程度对农田进行多级倒伏划分;根据划分的结果对应在农田遥感影像上人工标注相应的倒伏级别得到各级别标签的标注图像,将各级别标签的标注图像与预处理后的遥感影像进行处理得到作物倒伏数据集,将作物倒伏数据集划分为训练集、测试集和验证集;构建用于对作物倒伏级别进行预测的MAResUNet深度学习模型;将训练集中的图像数据输入到MAResUNet中并通过验证集进行验证得到优化后的MAResUNet的模型参数;采用测试集对优化后MAResUNet模型进行精度评价。本发明能够对作物的倒伏程度进行精确识别,并适用于大区域尺度范围的农作物倒伏情况的分析。

Description

基于深度学习的作物倒伏级别的预测方法及***
技术领域
本发明属于农业信息智能识别的技术领域,具体涉及一种基于深度学习的作物倒伏级别的预测方法及***。
背景技术
倒伏是水稻生育期的常见灾害,主要表现为水稻原本自然直立的茎秆发生永久性倾斜折断或匍匐倒地,是气象因素、农业管理措施和作物生理特性等内外因共同作用的结果。倒伏会破坏水稻原有的冠层空间结构,降低水稻叶片光合效率,影响叶片荫蔽下的籽粒干物质积累过程,最终导致穗粒数和穗重减少;提高水稻机械化收割和收获后籽粒干燥的难度,增加作物田间管理的人力物力成本。因此,及时准确获取作物倒伏的位置、面积、严重程度等信息,估算灾后作物产量减损,对于科学评估灾害风险,合理制定灾后田间管理措施,精准实施农业保险理赔和补贴政策具有重要意义。
传统水稻倒伏监测主要依赖人工使用手持GPS、卷尺等工具进行现场测量,信息收集效率低、成本高、主观性强,且调查过程会对作物造成破坏[5,6],无法满足当前对于大范围作物倒伏监测时效性、稳定性和准确性的要求。而在另一方面,遥感技术迅速发展,为准确、高频的区域作物信息获取提供了便利,正被加速应用于农业生产实践的各个环节中。特别是高时空分辨率卫星数据的开放共享,很大程度上解除了遥感数据获取对长时期、大尺度农业遥感研究的限制,可以提供更加高频的大范围作物生长状况精细数据,使得构建区域尺度作物倒伏定量监测模型成为可能。同时,随着信息获取能力和计算机算力的提升,机器学习、深度学习等人工智能算法在处理大规模数据方面的优势得以显现,弥补了传统数学模型难以解决复杂非线性问题的不足,为提高农业遥感信息提取和分析的效率和准确度发挥了重要作用。传统机器学习方法以特征工程为基础,通过特征选择、特征提取、特征评价等人工编辑过程将原始遥感数据转化为能够更好反映问题本质的特征,再进行大量迭代计算提取高维数据中的隐性规律并提供重复的可靠决策。深度学习在传统机器学习的基础上更进一步,依靠构造合理的深度神经网络结构以及数量庞大的参数进行更加复杂的特征向量空间计算,自动从原始图像中学习更加高级的深层语义特征,能够基于遥感影像提供的大规模、高维度的训练样本实现作物产量预测、作物分类、灾害监测等多种功能。在作物倒伏监测方面,有研究尝试基于遥感影像构建深度学习模型提取作物倒伏区域,例如,Tang等提出了基于金字塔和编解码结构的PTCNet语义分割网络,构建了基于高分2号卫星影像的区域尺度小麦倒伏识别模型;Zhang等使用迁移学习方法获得DeepLabv3+网络的预训练参数,在此基础上对多个生育期倒伏小麦的遥感影像进行训练,构建小麦倒伏区域的识别模型;Yu等使用dense block模块和退化算子改进了unet网络,用于训练不同高度和不同生育期的倒伏小麦无人机影像,使得小麦倒伏区域提取具有较高的鲁棒性和泛化性。
然而,目前使用深度学习方法构建的基于遥感影像的作物倒伏区域提取模型大多只能定性判断作物是否发生倒伏并且精度有限,无法对作物的倒伏程度进行进一步的定量分析;其次,大部分模型的应用范围主要集中在田间尺度,缺乏对大区域尺度的作物倒伏情况的分析研究。
发明内容
本发明的一个目的在于针对现有技术的不足之处,提供一种基于深度学习的作物倒伏级别的预测方法,该方法能够对作物的倒伏程度进行精确识别,并适用于大区域尺度范围的农作物倒伏情况的分析。
为解决上述技术问题,本发明采用如下技术方案:
一种基于深度学习的作物倒伏级别的预测方法,包括如下步骤:
步骤1、获取研究区的农田遥感影像数据,并对其进行预处理;
步骤2、根据作物倒伏严重程度对农田进行多级倒伏划分;
步骤3、根据步骤2划分的结果对应在农田遥感影像上人工标注相应的倒伏级别得到各级别标签的标注图像,将各级别标签的标注图像与预处理后的遥感影像进行处理得到作物倒伏数据集,将作物倒伏数据集划分为训练集、测试集和验证集;
步骤4、构建用于对作物倒伏级别进行识别的MAResUNet深度学习模型,MAResUNet深度学习模型包括数据输入模块、用于提取数据输入模块输入的图像特征的解码器以及用于对解码器提取的特征进行倒伏信息识别的编码器;
步骤5、将训练集中的图像数据输入到MAResUNet深度学习模型中并通过验证集进行验证得到优化后的MAResUNet深度学习模型的模型参数;
步骤6、采用测试集对优化后MAResUNet深度学习模型进行精度评价。
进一步地,步骤1中获取的遥感影像包括全色影像和多光谱影像,对其进行预处理的方法包括:
对多光谱影像进行辐射定标,再对辐射定标后的多光谱影像进行大气校正;
对全色影像进行辐射定标和正射校正;
将校正后的全色影像和多光谱影像先进行几何配准,再采用Gram-Schmidt方法将两种影像进行融合,并根据研究区范围进行图像镶嵌和裁剪,得到研究区域的多光谱遥感影像。
进一步地,步骤2中,根据倒伏倾角将作物倒伏严重程度定量划分为四个级别:未倒伏、轻度倒伏、中度倒伏和重度倒伏。
进一步地,未倒伏作物的茎与地面的夹角θNL在85-90°之间;轻度倒伏作物茎秆与地面的夹角θLL在60-85°之间;中度倒伏作物的茎秆与地面的夹角θML为30-60°,重度倒伏作物的茎秆与地面的夹角θSL为0-30°。
进一步地,步骤3中处理得到作物倒伏数据集的方法为:
根据获得遥感影像制作区分作物和背景的掩膜图像,在掩膜图像中对作物田块内部的倒伏情况进行标注,根据作物倒伏的严重程度分别对各像元值进行各级别标注得到具有标签的标注图像;
设置滑动窗口,对经过预处理的遥感影像和具有标签的标注图像进行裁剪和扩增,生成分别包含遥感影像和各级别标签的标注图像的原始数据集。
进一步地,数据输入模块包括预处理层,预处理层用于计算预处理后的遥感影像的归一化植被指数并将其与预处理后的遥感影像进行融合再作为MAResUNet深度学习模型的输入。
进一步地,编码器提取图像特征的方法为:
数据输入模块处理得到的输入特征图输入编码器中后,进行第一次残差单元运算,包括两次3×3的卷积、批归一化处理和ReLu函数激活,并与输入特征图进行逐元素加和;
接下来进行三次网络结构相同的串联特征提取运算单元,每个运算单元的第一层为ECA模块,包括一次输出尺寸为1×1的全局平均池化,一次自适应大小的k×k卷积和sigmod激活函数,输出特征图尺寸不变;
每个运算单元第二层为残差运算单元,包括交替进行的两次批归一化处理、ReLu和3×3的卷积运算;
每个运算单元第三层为恒等映射,包括一次3×3的卷积运算和矩阵逐元素相加,将数据输入模型输出的特征图与卷积后的特征图融合;
经过三次运算单元的特征提取后输出特征图。
进一步地,解码器结构包括三个串联的上采样层,每个上采样层包括以下部分:
第一部分为转置卷积,使特征图尺寸翻倍,通道数不变;
第二部分为跳跃连接,通过最大池化和拼接计算将特征图高级语义信息与编码器对应层的特征提取结果结合;
第三部分为交替进行的两次批归一化处理、ReLu和3×3的卷积运算以及恒等映射,使特征图通道数减半,大小不变;
第四部分为RA模块,将与全1矩阵作差后得到的反向权重和编码器对应层特征求矩阵哈达玛积,经过一次1×1卷积后与编码器输出的输入特征图相加,得到通道数和大小不变的识别后的结果图。
进一步地,步骤6中使用准确度Precision、召回率Recall、F1分数以及交并比IoU评估每种类别的分割精度;用全局准确度Global Accuracy、GAcc和平均交并比Mean IoU、MIoU评估模型整体的识别精度,其计算公式如下:
式中,TP为预测是正样本且实际也是正样本的像元数量;FP为预测是正样本而实际是负样本的像元数量;TN为预测是负样本且实际也是负样本的像元数量;FN为预测是负样本而实际是正样本的像元数量;TP+FP+TN+FN为1像元数量;n为总类别数;上述正样本具体指在分类过程中实际属于目标分类的样本,上述负样本具体指在分类过程中实际不属于目标分类的样本,在图像分割任务中,样本指图像的像元。
本发明的另一个目的是提供一种用于实现上述的基于深度学习的作物倒伏级别的预测方法的***,包括:
遥感影像预处理模块,用于接收卫星采集的遥感影像数据并对遥感影像数据进行预处理;
倒伏划分模块,用于获取作物田块内作物倒伏严重程度并根据作物倒伏严重程度对作物田块进行多级倒伏划分;
标注模块,用于对预处理后的遥感影像进行掩膜处理并根据倒伏划分模块划分的倒伏级别对掩膜图像中的作物田块进行倒伏级别标注得到标注图像;
数据集划分模块,用于将预处理后的遥感影像和标注图像进行裁剪扩增得到数据集,并将数据集划分为训练集、验证集和测试集;
模型构建模块,用于构建对水稻倒伏级别进行预测的MAResUNet深度学习模型;
模型训练模块,用于采用训练集训练MAResUNet深度学习模型并采用验证集验证得到优化后的MAResUNet深度学习模型;
模型精度评价模块,用于采用测试集验证MAResUNet深度学习模型的预测精度。
与现有技术相比,本发明的有益效果为:
本发明根据水稻倒伏遥感影像特性对深度学习模型进行针对性改进,具体地,本发明将植被指数具有先验知识的人工特征与多光谱遥感影像进行融合作为模型输入、在编码器中增加ECA通道注意力模块以提高重要特征通道的权重,并在解码器中增加RA反向注意力模块以提高类间模糊边界的分割效果,进而提高MAResUNet模型基于遥感影像进行作物倒伏程度预测的准确率;
本发明能够监测大田尺度范围的作物倒伏严重程度,扩大了水稻倒伏监测的空间应用范围;此外,本发明在定性区分作物是否发生倒伏的基础上进一步定量判断水稻倒伏的严重程度,实现了对作物倒伏的分级识别。
附图说明
图1为本发明实施例基于深度学习的水稻倒伏级别的预测方法的流程图;
图2为本发明实施例高分七号卫星遥感影像预处理的流程图;
图3为本发明实施例MAResUNet深度学习模型的结构图;
图4为本发明实施例ECA通道注意力模块的结构图;
图5为本发明实施例RA反向注意力模块的结构图;
图6为本发明实施例MAResUNet模型与已有模型的测试水稻倒伏区域分级提取视觉分割效果比较:(a)原始卫星遥感影像;(b)地面真值;(c)FCN分级提取结果;(d)PSPNet分级提取结果;(e)SegNet分级提取结果;(f)UNet分级提取结果;(g)MAResUNet分级提取结果。
具体实施方式
下面将结合本发明实施例对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
下面结合具体实施例对本发明作进一步说明,但不作为本发明的限定。
如图1所示,本发明实施例提供一种基于深度学习的水稻倒伏级别的预测方法,包括以下步骤:
步骤1、获取研究区的农田遥感影像数据,并对其进行预处理;
本实施例使用高分七号卫星(GF-7)遥感影像作为数据源,高分七号卫星搭载两线阵立体相机,传感器宽幅为20km,可拍摄单波段的全色影像以及包含4个波段的多光谱影像,其中,全色影像空间分辨率优于0.8m,多光谱影像空间分辨率优于3.2m,具体参数信息如表1所示。从中国资源卫星应用中心陆地观测卫星数据服务平台(https://data.cresda.cn/)下载能够覆盖友谊农场全部区域的两景高分七号卫星遥感影像,包括GeoTIFF格式的原始影像文件、储存影像信息的元数据文件、记录RPC模型参数的.rpb文件等,成像日期为2022年9月27日,此时研究区水稻已经完全成熟。
表1高分七号卫星光学传感器参数
由于卫星在成像过程中会受到飞行姿态、轨道高度、大气辐射、太阳高度角等自身条件和环境因素的影响,产生不同程度的辐射畸变和几何畸变,使得直接拍摄得到的遥感影像难以准确反映地物的真实特征,因此,需要根据研究目的对原始影像数据进行不同程度的纠正和重建以满足应用要求,即对原始遥感影像的预处理。具体地,对原始遥感影像的预处理方法为:
首先,对多光谱影像进行辐射定标,将输出的灰度值转换为具有实际物理意义的辐射亮度值,消除传感器自身引起的***误差;由于水稻倒伏监测过程中涉及逐像元的定量计算和生物物理量提取,对遥感数据的准确性要求较高,故对辐射定标后的多光谱影像进行大气校正,尽量降低大气散射和吸收引起的辐射误差;基于数字高程模型DEM对多光谱影像进行正射校正,纠正因地形变化引起的影像几何畸变。之后,使用与多光谱影像类似的方法对全色影像进行辐射定标和正射校正,由于全色影像不用于定量计算,故无需进行大气校正。为了得到具有较高空间分辨率的多光谱影像,将校正后的全色影像和多光谱影像进行图像融合,图像融合前需要以空间分辨率更高的全色影像为基准建立空间映射关系进行几何配准,以消除两种影像间的空间位置误差;之后采用Gram-Schmidt方法将两种影像融合,并根据研究区范围进行图像镶嵌和裁剪,得到关于研究区域预处理后的高分辨率多光谱遥感影像,具体预处理流程如图2所示。
步骤2、根据作物倒伏严重程度对农田进行多级倒伏划分;
本实施例于2022年8月上旬至10月上旬对友谊农场灌浆期至收获前水稻的生长情况进行持续监测,发现研究区分别于2022年8月21日-2022年8月25日出现暴雨、大风、冰雹等强对流天气,导致农场内首次出现多处大面积水稻倒伏。倒伏灾害发生后,对友谊农场水稻种植区进行实地调查,在统计水稻倒伏发生的主要区域分布情况后,选择其中倒伏面积较大且包含不同倒伏严重程度的水稻田块作为感兴趣区域,这些感兴趣区域较为分散地分布在友谊农场的不同区域,以保证能够较好地代表研究区水稻倒伏的整体情况。之后,分别定量测量了61个感兴趣区中433个样本小区的水稻倒伏程度。测量时,为了反映水稻冠层结构在遥感影像上的空间异质性,在每个感兴趣区域内使用卷尺框选出6-10个包含正常水稻以及不同倒伏程度水稻的2m×2m样本小区,且控制样本小区间保持一定距离;使用手持GPS记录每个样本小区的中心点坐标,在样本小区中选取具有代表性的5株水稻,用量角仪测量水稻茎与地面的夹角作为倒伏水稻的倾斜角度,每个样本小区重复2次并取平均值表征该样本小区倒伏水稻的倾角θ。本实施例根据倒伏倾角将水稻倒伏严重程度定量划分为四个级别,分别为未倒伏(None-Lodging,NL)、轻度倒伏(Light Lodging,LL)、中度倒伏(Moderate Lodging,ML)和重度倒伏(Severe Lodging,SL)。其中,未倒伏水稻基本保持直立,茎与地面的夹角θNL在85-90°之间;轻度倒伏水稻茎秆出现小幅度倾斜,与地面的夹角θLL在60-85°之间;中度倒伏水稻的茎秆呈现明显倾斜,与地面的夹角θML为30-60°,重度倒伏水稻接近或完全贴伏于地面,与地面的夹角θSL为0-30°。
步骤3、根据步骤2划分的结果对应在农田遥感影像上人工标注相应的倒伏级别得到各级别标签的标注图像,将各级别标签的标注图像与预处理后的遥感影像进行处理得到作物倒伏数据集,将作物倒伏数据集划分为训练集、测试集和验证集;
高精度的样本标注和大规模的数据集构建是进行水稻倒伏区域监测识别的基础,本实施例基于水稻倒伏实地调查结果,结合对应样本小区的卫星遥感影像进行目视解译,确定研究区常见地物以及不同倒伏程度水稻在卫星遥感影像上呈现出的群体特征,对感兴趣区的水稻田块进行像素级的人工标注,得到能够反映研究区水稻倒伏情况的基准值标签(Ground Truth,GT)。首先制作区分水稻和背景的掩膜,将研究区内的水稻田块标注为255,将道路、水体、树木等其他地物视为背景区域并标注为0,生成与原图尺寸大小相同的单通道二值图像。之后,根据对水稻田块内部的倒伏情况对单通道二值图像进行标注,具体地,根据水稻倒伏的严重程度分别将未倒伏水稻、轻度倒伏水稻、中度倒伏水稻和重度倒伏水稻区域的像元值标注为1、2、3和4,最终具有标签的标注图像。
由于整幅遥感影像的尺寸过大,难以直接作为数据集输入深度学***变换等几何变换操作,之后,进行增加高斯噪声、改变图像亮度和对比度等色彩变换,修改参数以控制变换程度并重复以上操作,最终将图像样本数量扩充至4800张。按照4:1:1的比例将数据集随机划分为训练集、验证集和测试集,得到3200张影像作为训练集,各800张影像分别作为验证集和测试集。
步骤4、构建用于对作物倒伏级别进行预测的MAResUNet深度学习模型,MAResUNet深度学习模型包括数据输入模块、用于提取数据输入模块输入的图像特征的解码器以及用于对解码器提取的特征进行倒伏级别预测的编码器;
本实施例以ResUNet作为骨干网络构建用于对水稻倒伏级别进行识别的深度学习模型。该网络框架结合了ResNet和UNet两种经典的深度学习网络,采用UNet网络的对称式编码-解码结构,左侧为编码器,通过连续的卷积和池化操作逐步提取并压缩输入图像的特征;右侧为解码器,有与编码器层层对应的相反结构,通过上采样和卷积操作逐步恢复特征图尺寸并丰富图像信息,最终输出与原始图像相同大小的目标图像。UNet网络结构最大的特点是通过跳跃连接结构将编码过程中产生的浅层特征与解码过程中的深层特征拼接,组合两种不同尺度的信息,在保留更加复杂的高级语义特征的同时,补充了模型因前期大量卷积和池化计算中丢失的细粒度信息,提高了图像分割的性能。然而该网络结构也存在明显的缺陷,其用于特征提取的基本单元由两个简单堆叠的3×3卷积层构成,难以高效提取到输入图像中有价值的特征信息,此外,随着网络深度的增加,逐渐累积的不可逆的信息损失可能会使模型出现退化问题,导致图像分割精度下降,因此,ResUNet网络在原网络的基础上将由两层卷积组成的基本单元替换为ResNet网络中使用的残差块,残差块由主线的残差映射结构与支线的恒等映射结构共同组成,将原本对输入与输出映射关系的直接学习转化对输入与输出的残差函数的拟合,减少计算量的同时可以在浅层网络表现足够好时方便地实现恒等映射,缓解网络堆叠过程中产生的退化问题。
为此,在骨干网络的基础上,本实施例做了如下改进:1)模型的数据输入模块,该模块以融合植被指数具有先验知识的人工特征与多光谱影像共同作为模型输入;2)模型的编码器模块,在编码器中增加ECA通道注意力模块以提高重要特征通道的权重;3)模型的解码器模块,在解码器中增加RA反向注意力模块以提高类间模糊边界的分割效果,从而构建用于对水稻倒伏级别进行识别的MAResUNet(Multi-Attention Residual UNet)深度学校模型,该模型结构如图3所示。
MAResUNet模型的数据输入模块
神经网络在以特定目标进行特征提取的过程中更易被噪声干扰,出现特征提取不充分、不相关,陷入局部最优解的情况,通常需要制作规模庞大的数据集并进行长时间的资源密集型学习。而在模型中融合特定的先验知识可以为高效的特征选择和深度挖掘提供便利,增强模型输入对分割目标的描述能力,在节省冗余计算的同时保障特征深度,提高水稻倒伏区域提取的精度、速度和鲁棒性。因此,本实施例改进了现有深度学习模型的数据输入模块,通过计算基于遥感影像的人工特征作为具有明确物理意义和导向性的先验知识与预处理后的多光谱遥感影像融合共同作为模型的输入,提供神经网络难以直接从多光谱遥感影像中学习到的重要特征。该数据输入模块包括基于植被指数的计算公式构建的预处理层,该预处理层通过对多光谱遥感影像进行波段运算、邻域运算、异常值处理、叠加运算等步骤得到与多光谱遥感影像对应的人工特征并进行特征融合。
植被指数可以由两个或以上波段的光谱反射率数据经过数学运算得到,由于不同波长范围的电磁波反射率会随着植被类型、组织含水量、冠层结构等因素的变化而变化,基于不同运算规则得到的植被指数可以增强植被某些特定的细节或属性,进而反映植被生物量、健康状况等信息。由于水稻倒伏后相邻植株相互倾轧,茎秆的受光照面积较倒伏前明显增加,不同叶片交叠遮蔽,特别是下层植株长期浸泡在水中难以接受阳光直射,整体光合作用减弱,受伤及死亡的植株数量增加,一系列冠层结构及生长健康状况的改变,导致不同波段的反射率发生变化,从而引起不同倒伏程度水稻的植被指数出现差异。因此,本实施例通过计算多光谱遥感影像的归一化植被指数(Normalized Difference Vegetation Index,NDVI)并将其与多光谱遥感影像进行特征融合后作为MAResUNet深度学习模型的输入,归一化植被指数计算公式如下:
式中,ρred、ρnir分别为红光波段和近红外波段的反射率。
MAResUNet模型的编码器结构
MAResUNet模型在编码器阶段的特征提取过程中,随着下采样操作,特征图的通道数量会迅速增加,产生大量包含无用信息的冗余通道,降低计算效率。因此本实施例在网络编码器中加入ECA有效通道注意力(Efficient Channel Attention)模块,通过自适应分配不同通道的权重,加强特征提取过程中对有用信息的利用。ECA模块如图4所示,该模块首先对输入大小为C×H×W(C为通道数,H为特征图高度,W为特征图宽度)的特征图进行全局平均池化处理(Global Average Pooling,GAP)以获取每个通道的全局视野,将其压缩为1×1×C大小的特征图。之后,通过尺寸为k的一维卷积实现不同通道特征的局部跨通道交互,其中,卷积核大小k决定了权重计算的覆盖范围,通过建立与特征图通道数的非线性映射关系,自适应确定卷积核大小,公式为:
式中,k为卷积核大小;C为特征图通道数;γ和b为控制k和C关系的比例参数,γ=2,b=1。通过一维卷积及Sigmod激活函数计算后得到1×1×C的特征图作为各通道的权重。将通道权重与输入特征按照通道顺序进行逐通道点乘操作,输出与输入特征图尺寸相同的通道注意力特征图。
将通道数为4、大小为256×256的多光谱遥感影像输入到预处理层中,求得通道数为1、大小为256×256的NDVI植被指数特征图,并将该NDVI植被指数特征图与通道数为4、大小为256×256的多光谱遥感影像进行通道叠加,得到通道数为9、大小为256×256的输入特征图。将输入特征图输入到编码器中,进行第一次残差单元运算,包括两次3×3的卷积、批归一化处理和ReLu函数激活,并与输入特征图进行逐元素加和,使特征图通道数变为32,分辨率不变。接下来进行三次网络结构相同的串联特征提取运算单元,每个运算单元的第一层为ECA模块,包括一次输出尺寸为1×1的全局平均池化,一次自适应大小的k×k卷积和sigmod激活函数,输出特征图尺寸不变;运算单元第二层为残差运算单元,包括交替进行的两次批归一化处理、ReLu和3×3的卷积运算;第三层为恒等映射,包括一次3×3的卷积运算和矩阵逐元素相加,将输入特征图与卷积后的特征图融合。每个特征提取运算后,特征图通道数翻倍,特征图尺寸减半。第一次特征提取输出通道数为64,大小为128×128的特征图;第二次特征提取输出通道数为128,大小为64×64的特征图;第三次特征提取输出通道数为256,大小为32×32的特征图。
MAResUNet模型的解码器结构
在编码器中提取的最终语义信息只能得到分割目标的大致位置,难以确定不同区域间的模糊边界,因此本实施例在解码器丰富图像语义信息的过程中增加了RA反向注意力(Reverse Attention)模块,通过弱化具有强烈响应的分割对象显著区域来增强分割区域边界的细节和结构信息。该模块结构如图5所示,首先对解码器中尺寸为C×H/2×W/2高级语义特征图进行2倍上采样操作,得到与对应低级语义信息的相同尺寸C×H×W;之后,用softmax函数对上采样后的高级语义特征进行归一化处理并用全1矩阵减去该特征图,得到反向注意力权重,如公式(3)所示;将反向注意力权重与对应低级语义图相乘,获得边缘特征图,如公式(4)所示;最后将边缘特征图与原高级语义特征图进行逐元素加和,输出计算结果,如公式(5)所示。
F=A·Slow (4)
MAResUNet模型的解码器结构包括三个串联的上采样层,每个上采样层的运算由三个主要部分组成,第一部分为转置卷积,使特征图尺寸翻倍,通道数不变;第二部分为跳跃连接,通过最大池化和拼接计算将特征图高级语义信息与编码器对应层的特征提取结果结合;第三部分为交替进行的两次批归一化处理、ReLu和3×3的卷积运算以及恒等映射,使特征图通道数减半,大小不变;第四部分为RA模块,将与全1矩阵作差后得到的反向权重和编码器对应层特征求矩阵哈达玛积,经过一次1×1卷积后与编码区器输出的特征图相加,得到通道数和大小不变的特征图。每次上采样运算后特征图通道数减半,大小翻倍,第一次上采样运算输出特征图通道数为256,大小为64×64;第二次上采样运算输出特征图通道数为128、大小为128×128;第三次上采样运算输出特征图通道数为64、大小为256×256;最后依次进行一次转置卷积和1×1卷积,输出通道数为4、大小为256×256的预测结果图。
步骤5、将训练集中的图像数据输入到MAResUNet深度学习模型中并通过验证集进行验证得到优化后的MAResUNet深度学习模型的模型参数;
在本实施例中,在进行模型训练时,将经预处理后的多光谱遥感影像输入到数据输入模块中,设置使用AdamW作为模型优化器,采用自适应学习率策略,设置初始学习率为lr0=0.0002,模型共迭代训练600个周期,每次迭代后基于DiceLoss与FocalLoss组成的联合损失函数计算训练集的预测值与真实值的误差,反向传播优化模型并在验证集上验证模型训练效果。
步骤6、采用测试集对优化后MAResUNet深度学习模型进行精度评价;
为了评价本实施例方法的预测效果,使用准确度(Precision)、召回率(Recall)、F1分数以及交并比(IoU)评估每种类别的分割精度;用全局准确度(Global Accuracy,GAcc)和平均交并比(Mean IoU,MIoU)评估模型整体的识别精度,其计算公式如下:
式中,TP为预测是正样本且实际也是正样本的像元数量;FP为预测是正样本而实际是负样本的像元数量;TN为预测是负样本且实际也是负样本的像元数量;FN为预测是负样本而实际是正样本的像元数量;TP+FP+TN+FN为1像元数量;n为总类别数;上述正样本具体指在分类过程中实际属于目标分类的样本,上述负样本具体指在分类过程中实际不属于目标分类的样本,在图像分割任务中,样本指图像的像元。
为了进一步验证本实施例提出的MAResUNet深度学习模型的实际分割性能,在800张图像组成的测试集上使用5种模型(FCN、SegNet、PSPNet、UNett、MAResUNet)进行了水稻倒伏区域级别识别。图6给出了五种模型在测试集上进行水稻倒伏区域分级提取的视觉分割结果,从左到右依次为原始遥感影像、地面真值以及各模型模拟结果。从图中可以看出,各模型在视觉效果上均能较好指示不同倒伏程度水稻的基本范围,但是FCN和PSPNet无法提取相邻两个区域之间的细节信息,边界划分较为简单粗糙。对于面积较小的水稻倒伏区域,FCN、PSPNet和SegNet均存在忽略或错分的情况。本研究提出的MAResUNet对于不同倒伏程度的水稻区域划分与地面真值最为接近,与其他模型相比,能够识别较小范围的目标区域,对于不同区域之间的边界细节也能更能准确地还原。
表2和表3给出了不同模型在测试集上分级提取水稻倒伏区域的总体效果以及各类型倒伏水稻的提取精度。从表2中可以看出,本实施例提出的模型对水稻倒伏区域分级提取的整体效果最优,模型的GAcc和MIoU分别较FCN、SegNet、PSPNet和UNet提高了4.24%、2.81%、3.48%和0.35%,以及15.01%、10.21%、12.39%和2.23%,表明本模型可以在提高正样本像元分类正确率的基础上,大幅降低负样本分类的错误率,提高模型不同倒伏程度水稻区域分割结果与真实结果的重合度,增加模型整体提取的准确性。表3进一步给出了各模型不同倒伏程度水稻区域提取的详细结果,从表中可以看出,本研究提出的模型对于各倒伏程度水稻区域的提取精度均高于其他模型,具有较好的鲁棒性和泛化能力。特别是轻度倒伏水稻区域,MAResUNet的IoU和F1分数分别较FCN、SegNet、PSPNet和UNet提高了19.58%、15.71%、17.57%和3.21%,以及13.02%、10.22%、12.68%和2.11%。从不同倒伏程度水稻区域的提取精度来看,本实施例提出的MAResUNet模型对于重度倒伏水稻区域提取精度最高,IoU和F1分数分别为92.27%和93.94%,其次为未倒伏水稻和中度倒伏水稻,IoU和F1分数分别为91.86%和93.5%7以及85.83%和90.49%,对轻度倒伏水稻的提取效果最差,IoU和F1分数分别为80.25%和87.26%。
表2MAResUNet与已有模型在测试集中倒伏程度区域的识别精度结果比较
以上评价指标单位均为%
表3MAResUNet与已有模型在测试集中不同倒伏程度区域的识别精度结果比较
以上评价指标单位均为%
综上,本实施例的MAResUNet相对于传统的FCN、SegNet、PSPNet、UNett模型不但在整体倒伏区域的识别精度有所提高,而且对各级别的倒伏程度的识别精度均有较大程度的提高,能够与大区域尺度的水稻倒伏情况识别提供研究基础。
本实施例还提供一种用于实现上述的基于深度学习的作物倒伏级别的预测方法的***,包括:
遥感影像预处理模块,用于接收卫星采集的遥感影像数据并对遥感影像数据进行预处理;
倒伏划分模块,用于获取作物田块内作物倒伏严重程度并根据作物倒伏严重程度对作物田块进行多级倒伏划分;
标注模块,用于对预处理后的遥感影像进行掩膜处理并根据倒伏划分模块划分的倒伏级别对掩膜图像中的作物田块进行倒伏级别标注得到标注图像;
数据集划分模块,用于将预处理后的遥感影像和标注图像进行裁剪扩增得到数据集,并将数据集划分为训练集、验证集和测试集;
模型构建模块,用于构建对水稻倒伏级别进行预测的MAResUNet深度学习模型;
模型训练模块,用于采用训练集训练MAResUNet深度学习模型并采用验证集验证得到优化后的MAResUNet深度学习模型;
模型精度评价模块,用于采用测试集验证MAResUNet深度学习模型的预测精度。
以上仅为本发明较佳的实施例,并非因此限制本发明的实施方式及保护范围,对于本领域技术人员而言,应当能够意识到凡运用本发明说明书内容所作出的等同替换和显而易见的变化所得到的方案,均应当包含在本发明的保护范围内。

Claims (10)

1.一种基于深度学习的作物倒伏级别的预测方法,其特征在于,包括如下步骤:
步骤1、获取研究区的农田遥感影像数据,并对其进行预处理;
步骤2、根据作物倒伏严重程度对农田进行多级倒伏划分;
步骤3、根据步骤2划分的结果对应在预处理后的农田遥感影像上人工标注相应的倒伏级别得到各级别标签的标注图像,将各级别标签的标注图像与预处理后的遥感影像进行处理得到作物倒伏数据集,将作物倒伏数据集划分为训练集、测试集和验证集;
步骤4、构建用于对作物倒伏级别进行预测的MAResUNet深度学习模型,MAResUNet深度学习模型包括数据输入模块、用于提取数据输入模块输入的图像特征的解码器以及用于对解码器提取的特征进行倒伏信息识别的编码器;
步骤5、将训练集中的图像数据输入到MAResUNet深度学习模型中并通过验证集进行验证得到优化后的MAResUNet深度学习模型的模型参数;
步骤6、采用测试集对优化后MAResUNet深度学习模型进行精度评价。
2.根据权利要求1所述的基于深度学习的作物倒伏级别的预测方法,其特征在于,步骤1中获取的遥感影像包括全色影像和多光谱影像,对其进行预处理的方法包括:
对多光谱影像进行辐射定标,再对辐射定标后的多光谱影像进行大气校正;
对全色影像进行辐射定标和正射校正;
将校正后的全色影像和多光谱影像先进行几何配准,再采用Gram-Schmidt方法将两种影像进行融合,并根据研究区范围进行图像镶嵌和裁剪,得到研究区域的多光谱遥感影像。
3.根据权利要求1所述的基于深度学习的作物倒伏预测的识别方法,其特征在于,步骤2中,根据倒伏倾角将作物倒伏严重程度定量划分为四个级别:未倒伏、轻度倒伏、中度倒伏和重度倒伏。
4.根据权利要求3所述的基于深度学习的作物倒伏级别的预测方法,其特征在于,未倒伏作物的茎与地面的夹角θNL在85-90°之间;轻度倒伏作物茎秆与地面的夹角θLL在60-85°之间;中度倒伏作物的茎秆与地面的夹角θML为30-60°,重度倒伏作物的茎秆与地面的夹角θSL为0-30°。
5.根据权利要求1所述的基于深度学习的作物倒伏级别的预测方法,其特征在于,步骤3中处理得到作物倒伏数据集的方法为:
根据获得的遥感影像制作区分作物和背景的掩膜图像,在掩膜图像中对作物田块内部的倒伏情况进行标注,根据作物倒伏的严重程度分别对各像元值进行各级别标注得到具有标签的标注图像;
设置滑动窗口,对经过预处理的遥感影像和具有标签的标注图像进行裁剪和扩增,生成分别包含遥感影像和各级别标签的标注图像的原始数据集。
6.根据权利要求1所述的基于深度学习的作物倒伏级别的识别方法,其特征在于,数据输入模块包括预处理层,预处理层用于计算预处理后的遥感影像的归一化植被指数并将其与预处理后的遥感影像进行融合再作为MAResUNet深度学习模型的输入。
7.根据权利要求1所述的基于深度学习的作物倒伏级别的预测方法,其特征在于,编码器提取图像特征的方法为:
数据输入模块处理得到的输入特征图输入编码器中后,进行第一次残差单元运算,包括两次3×3的卷积、批归一化处理和ReLu函数激活,并与输入特征图进行逐元素加和;
接下来进行三次网络结构相同的串联特征提取运算单元,每个运算单元的第一层为ECA模块,包括一次输出尺寸为1×1的全局平均池化,一次自适应大小的k×k卷积和sigmod激活函数,输出特征图尺寸不变;
每个运算单元第二层为残差运算单元,包括交替进行的两次批归一化处理、ReLu和3×3的卷积运算;
每个运算单元第三层为恒等映射,包括一次3×3的卷积运算和矩阵逐元素相加,将数据输入模型输出的特征图与卷积后的特征图融合;
经过三次运算单元的特征提取后输出特征图。
8.根据权利要求1所述的基于深度学习的作物倒伏级别的预测方法,其特征在于,解码器结构包括三个串联的上采样层,每个上采样层包括以下部分:
第一部分为转置卷积,使特征图尺寸翻倍,通道数不变;
第二部分为跳跃连接,通过最大池化和拼接计算将特征图高级语义信息与编码器对应层的特征提取结果结合;
第三部分为交替进行的两次批归一化处理、ReLu和3×3的卷积运算以及恒等映射,使特征图通道数减半,大小不变;
第四部分为RA模块,将与全1矩阵作差后得到的反向权重和编码器对应层特征求矩阵哈达玛积,经过一次1×1卷积后与编码器输出的输入特征图相加,得到通道数和大小不变的识别后的结果图。
9.根据权利要求1所述的基于深度学***均交并比Mean IoU、MIoU评估模型整体的识别精度,其计算公式如下:
式中,TP为预测是正样本且实际也是正样本的像元数量;FP为预测是正样本而实际是负样本的像元数量;TN为预测是负样本且实际也是负样本的像元数量;FN为预测是负样本而实际是正样本的像元数量;TP+FP+TN+FN为1像元数量;n为总类别数;上述正样本具体指在分类过程中实际属于目标分类的样本,上述负样本具体指在分类过程中实际不属于目标分类的样本,在图像分割任务中,样本指图像的像元。
10.一种用于实现根据权利要求1-9任意一项所述的基于深度学习的作物倒伏级别的预测方法的***,其特征在于,包括:
遥感影像预处理模块,用于接收卫星采集的遥感影像数据并对遥感影像数据进行预处理;
倒伏划分模块,用于获取作物田块内作物倒伏严重程度并根据作物倒伏严重程度对作物田块进行多级倒伏划分;
标注模块,用于对预处理后的遥感影像进行掩膜处理并根据倒伏划分模块划分的倒伏级别对掩膜图像中的作物田块进行倒伏级别标注得到具有标签的标注图像;
数据集划分模块,用于将预处理后的遥感影像和标注图像进行裁剪和扩增得到数据集,并将数据集划分为训练集、验证集和测试集;
模型构建模块,用于构建对水稻倒伏级别进行预测的MAResUNet深度学习模型;
模型训练模块,用于采用训练集训练MAResUNet深度学习模型并采用验证集验证得到优化后的MAResUNet深度学习模型;
模型精度评价模块,用于采用测试集验证MAResUNet深度学习模型的预测精度。
CN202311147987.5A 2023-09-06 2023-09-06 基于深度学习的作物倒伏级别的预测方法及*** Pending CN117197668A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311147987.5A CN117197668A (zh) 2023-09-06 2023-09-06 基于深度学习的作物倒伏级别的预测方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311147987.5A CN117197668A (zh) 2023-09-06 2023-09-06 基于深度学习的作物倒伏级别的预测方法及***

Publications (1)

Publication Number Publication Date
CN117197668A true CN117197668A (zh) 2023-12-08

Family

ID=88991822

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311147987.5A Pending CN117197668A (zh) 2023-09-06 2023-09-06 基于深度学习的作物倒伏级别的预测方法及***

Country Status (1)

Country Link
CN (1) CN117197668A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117422958A (zh) * 2023-12-19 2024-01-19 山东工程职业技术大学 基于深度学习的财务数据校验方法及***
CN117636174A (zh) * 2023-12-12 2024-03-01 中山大学 一种植被高度预测方法及***

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117636174A (zh) * 2023-12-12 2024-03-01 中山大学 一种植被高度预测方法及***
CN117422958A (zh) * 2023-12-19 2024-01-19 山东工程职业技术大学 基于深度学习的财务数据校验方法及***
CN117422958B (zh) * 2023-12-19 2024-03-19 山东工程职业技术大学 基于深度学习的财务数据校验方法及***

Similar Documents

Publication Publication Date Title
US7058197B1 (en) Multi-variable model for identifying crop response zones in a field
Su et al. Spectral analysis and mapping of blackgrass weed by leveraging machine learning and UAV multispectral imagery
CN117197668A (zh) 基于深度学习的作物倒伏级别的预测方法及***
Popescu et al. Remote sensing in the analysis and characterization of spatial variability of the territory. a study case in Timis County, Romania.
Duadze Land use and land cover study of the savannah ecosystem in the Upper West Region (Ghana) using remote sensing
CN111462223B (zh) 基于Sentinel-2影像的江淮地区大豆和玉米种植面积识别方法
CN111738175A (zh) 一种基于遥感影像和卷积神经网络的农业干旱监测***
CN113505635A (zh) 基于光学和雷达的冬小麦与大蒜混种区识别方法及装置
CN113205014B (zh) 一种基于图像锐化的时序数据耕地提取方法
CN113553697B (zh) 基于长时序多源数据的煤炭开采植被扰动分析方法
CN116883853B (zh) 基于迁移学习的作物时空信息遥感分类方法
US20230162496A1 (en) System and method for assessing pixels of satellite images of agriculture land parcel using ai
CN114220022A (zh) 一种基于卫星与无人机协同观测的水稻倒伏遥感监测方法
Somers et al. Endmember library approaches to resolve spectral mixing problems in remotely sensed data: Potential, challenges, and applications
Zou et al. Combining spectral and texture feature of UAV image with plant height to improve LAI estimation of winter wheat at jointing stage
CN117456367A (zh) 一种农作物种植区域识别方法、装置、设备及存储介质
US20230108422A1 (en) Methods and systems for use in processing images related to crops
CN115147730A (zh) 一种联合全卷积神经网络和集成学习的遥感分类方法
CN114782835A (zh) 作物倒伏面积比例检测方法及装置
Rai et al. Advancement in Agricultural Techniques With the Introduction of Artificial Intelligence and Image Processing
Azzari et al. Understanding the requirements for surveys to support satellite-based crop type mapping
EP4250250A1 (en) Carbon soil backend
ENGEN et al. Deep Hybrid Neural Networks on Multi-temporal Satellite Data: Predicting Farm-scale Crop Yields
Dappen et al. Delineation of 2005 land use patterns for the state of Nebraska department of natural resources
Abdullahi et al. Advances of image processing in precision agriculture

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination