CN112861869A - 一种基于轻量级卷积神经网络的高粱倒伏图像分割方法 - Google Patents
一种基于轻量级卷积神经网络的高粱倒伏图像分割方法 Download PDFInfo
- Publication number
- CN112861869A CN112861869A CN202110287975.7A CN202110287975A CN112861869A CN 112861869 A CN112861869 A CN 112861869A CN 202110287975 A CN202110287975 A CN 202110287975A CN 112861869 A CN112861869 A CN 112861869A
- Authority
- CN
- China
- Prior art keywords
- neural network
- convolutional neural
- sorghum
- lodging
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/68—Food, e.g. fruit or vegetables
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Bioinformatics & Computational Biology (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Evolutionary Biology (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于轻量级卷积神经网络的高粱倒伏图像分割方法,涉及图像处理技术领域,所述方法包括:将采集到的RGB图像数据划分为训练集、验证集和测试集,并对训练集和验证集进行标注;将标注后的训练集、验证集及未标注的测试集均进行数据扩充;将扩充后的训练集输入Incomplete‑SegNet卷积神经网络模型中进行训练;将扩充后的验证集输入Incomplete‑SegNet卷积神经网络模型中进行模型验证,优化模型参数;将测试集输入Incomplete‑SegNet卷积神经网络模型完成图像的分割。本发明的方法能够自动识别高粱倒伏区域及边界,对高粱倒伏区域识别准确率可高达98.54%。
Description
技术领域
本发明涉图像处理技术领域,具体涉及一种基于轻量级卷积神经网络的高粱倒伏图像分割方法。
背景技术
高粱是我国主要农作物之一,主要种植于我国的东北地区,该地区夏季暴雨及大风天气频发,易造成高粱倒伏,影响籽粒品质、造成收割困难,最终导致产量降低。利用搭载摄像头的无人机并结合深度学习方法对高粱倒伏区域图像的提取具有快速、便捷、准确等特点,对农业保险定损、生产力预测及农业生产管理具有重要意义。
在计算机图形学及遥感技术不成熟时判别高粱倒伏的方法大部分是依靠人工进入高粱地中进行勘测,工作效率极低。随着计算机视觉及遥感技术的快速发展,有人提出了将其应用于植物倒伏区域判断之中,但是目前在高粱倒伏区域识别中使用计算机视觉、遥感技术及图像分割技术的研究较少,针对其他植物倒伏区域图像提取目前主要分为两个方向,一是基于计算机视觉与遥感技术对植物倒伏区域进行识别,但区域边界贴合性较差、建模复杂且不具备自学习能力;二是应用图像分割技术自动对除高粱外的其他植物倒伏区域进行图像分割,目前应用在农业图像分割中效果较好的SegNet网络模型由于使用了VGG16作为主干特征提取网络,在参数规模上较大、训练及预测所需时间均较长,不利于快速对高粱倒伏区域进行分割。
发明内容
为了解决上述问题,本发明提供一种基于轻量级卷积神经网络的高粱倒伏图像分割方法,包括:
S1:将采集到的RGB图像数据划分为训练集、验证集和测试集,并对训练集和验证集进行标注;
S2:将步骤S1中标注后的训练集、验证集及未标注的测试集均进行数据扩充;
S3:将步骤S2中扩充后的训练集输入Incomplete-SegNet卷积神经网络模型中进行训练;
S4:将步骤S2中扩充后的验证集输入训练后的模型中进行验证,优化模型参数。
S5:将步骤S1中的测试集输入优化后的模型中完成图像的分割。
进一步地,所述扩充方式为依次进行水平翻转、垂直翻转、水平与垂直方向同时翻转。
更进一步地,所述Incomplete-SegNet卷积神经网络模型在编码阶段采用MobileNet网络,包括五个编码单元:
第一编码单元:采用步长为2的Conv及步长为1的Conv dw+Conv进行图像特征提取;
第二编码单元、第三编码单元、第五编码单元均先采用步长为2的Conv dw和步长为1的Conv,再采用步长为1的Conv dw和Conv进行图像特征提取;
第四编码单元:先采用步长为2的Conv dw和步长为1的Conv,在采用5次步长为1的Conv dw和Conv进行图像特征提取。
更进一步地,在所述Incomplete-SegNet卷积神经网络模型的编码阶段还加入了Droupout优化算法用来防止过拟合情况的发生。
更进一步地,所述Incomplete-SegNet卷积神经网络模型解码阶段包括4个解码单元:第一解码单元、第二解码单元、第三解码单元均采用Upsampling 和2D+ZeroPadding 2D+Conv2D+BatchNormalization对图像进行处理,第四解码单元采用Upsampling 2D+ZeroPadding 2D+Conv2D+BatchNormalization对图像进行处理,并将获得的特征图输入Softmax函数进行高粱倒伏区域概率判断。
更进一步地,Incomplete-SegNet卷积神经网络模型的激活函数为Relu6。
更进一步地,所述Incomplete-SegNet卷积神经网络模的损失函数为熵函数:
本发明的有益效果:
本发明的方法能够自动识别高粱倒伏区域及边界,对高粱倒伏区域识别准确率可高达98.54%,训练时间为3h,单帧检测时间为0.6s,参数规模为5.56×106,在相同的试验参数及环境下,该方法相比传统SegNet网络在准确度上提高了0.51%,训练时间减少了3.77h,单帧检测时间减少了0.21s,参数规模缩小了70.27%。
除了上面所描述的目的、特征和优点之外,本发明还有其它的目的、特征和优点。下面将参照图,对本发明作进一步详细的说明。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。
图1为本发明实施例的一种基于轻量级卷积神经网络的高粱倒伏图像分割方法流程图;
图2为本发明实施例的 Incomplete-SegNet卷积神经网络模型结构图;
图3为本发明实施例的高粱倒伏图像分割效果。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
参考图1,本发明一种基于轻量级卷积神经网络的高粱倒伏图像分割方法。首先利用无人机对高粱倒伏区域进行图像获取、标注及数据扩充;然后在SegNet编码主干网络中使用深度可分离卷积来降低计算量,并在特征提取阶段对特征图增加归一化处理,同时将SegNet网络的解码阶段变为4次上采样;最后通过调优超参数、随机提取训练数据及采用Adam+学习率衰减优化算法对高粱倒伏区域图像进行分割试验。该方法能够较准确的自动识别高粱倒伏区域及边界,可以为高粱倒伏自动预测提供参考。
实施例
2019年10月使用搭载禅思X3摄像头的大疆悟1无人机INSPIRE V2.0进行了高粱倒伏图片采集工作,采集地点为吉林省吉林市昌邑区桦皮厂镇桦皮厂村,图像分辨率为1280×720,对采集到的高粱倒伏图像数据进行人工筛选,最终筛选出171张高质量的图像数据。
S1:将采集到的RGB图像数据划分为训练集、验证集和测试集,训练集、验证集和测试集的数量比为8:1:1,然后采用Label ME标注工具对训练集和验证集的高粱倒伏区域进行人工标注;
S2:将步骤S1中标注后的训练集、验证集及未标注的测试集均进行数据扩充;
扩充方法为对图像依次进行水平翻转、垂直翻转、水平与垂直方向同时翻转。
S3:将步骤S2中扩充后的训练集输入Incomplete-SegNet卷积神经网络模型中进行训练;
参考图2,构建Incomplete-SegNet卷积神经网络模型,所述模型包括编码器和解码器。
图2中Conv表示为卷积,s1表示卷积的步长为1,s2表述卷积的步长为2,Conv dw表示深度可分离卷积,Upsampling表示上采样,ZeroPadding表示零填充,BatchNormalization表示批标准化,SoftMax表示逻辑回归函数。
在编码阶段,本申请的Incomplete-SegNet卷积神经网络模型采用MobileNet网络替代VGG16,MobileNet是Google针对移动设备及嵌入式设备提出的一款轻量级的特征提取网络模型,在MobileNet中使用深度可分离卷积进行特征提取并从通道数及特征图大小两方面减小计算量,使编码器的五层编码过程简化为:
第一编码单元:采用步长为2的Conv及步长为1的Conv dw+Conv进行图像特征提取,获得F1层图像特征,使图像的长、宽比原图像缩小1倍;
第二编码单元:先采用步长为2的Conv dw和步长为1的Conv,再采用步长为1的Conv dw和Conv进行图像特征提取,获得F2层图像特征,使图像的长、宽比原图像缩小2倍
第三编码单元:先采用步长为2的Conv dw和步长为1的Conv,再采用步长为1的Conv dw和Conv进行图像特征提取,获得F3层图像特征,使图像的长、宽比原图像缩小4倍;
第四编码单元:采用步长为2的Conv dw和4次步长为1的Conv进行图像特征提取,获得F4层图像特征,使图像的长、宽比原图像缩小8倍;
第五编码单元:先采用步长为2的Conv dw和步长为1的Conv,在采用5次步长为1的Conv dw和Conv进行图像特征提取,获得F5层图像特征,使图像的长、宽比原图像缩小16倍。
MobileNet主干特征提取网络结构如表1所示:
表1 MobileNet主干特征提取网络结构
在所述Incomplete-SegNet卷积神经网络模型中,激活函数用Relu6代替Relu,Relu6与Relu相比函数结构更为复杂,解决了梯度消失现象,而且Relu6限制了最大输出值,而Relu不加以限制,使用Relu6作为特征提取网络的激活函数可以在移动设备float16低精度时也能有较好的分辨率,而使用Relu激活函数不限制激活范围,输出的数值范围为0到正无穷,如果激活值特别大会使输出结果分布范围较宽,导致低精度的float16无法精准描述太大范围内的数值而造成精度损失。另外,Relu6计算速度快,收敛速度快于Sigmoid与Tanh函数。因此本发明使用Relu6作为激活函数,也为了本模型能够移植到小型设备端奠定了基础,其函数表达式为:
在Incomplete-SegNet卷积神经网络模型的编码阶段还加入了Droupout优化算法随机使一些神经元失活防止过拟合情况的发生。
解码阶段:
所述Incomplete-SegNet卷积神经网络模型解码阶段包括4个解码单元:第一解码单元、第二解码单元、第三解码单元均为Upsampling和2D+ZeroPadding、2D+Conv2D+BatchNormalization,第四解码单元为Upsampling 2D+ZeroPadding 2D+Conv2D+BatchNormalization,并将第四解码单元获得的特征图输入Softmax函数进行高粱倒伏区域概率判断。
所述softmax函数的表达式为:
采用扩充后的训练集对Incomplete-SegNet卷积神经网络模型进行训练,
为了使得Incomplete-SegNet网络在高粱倒伏区域分割中达到较好的效果,使模型的输出具有较高分割精度,使用交叉熵函数来表征模型的分割结果与标准结果的差异。在高粱倒伏区域图像分割中,交叉熵函数代表高粱倒伏区域手工标注与分割结果之间的差异。在本发明中使用将每个像素的交叉熵取平均值作为最终损失函数结果,其表达式为:
模型中的优化器在Adam的基础上结合了学习率衰减优化算法。Adam可以替换传统随机梯度下降的一阶过程,能够根据数据迭代地更新神经网络权重,在非凸优化问题中具备计算效率高、消耗内存小,并且适用于非稳态目标及解决大规模数据和参数优化等诸多优点,其中Adam的参数采用默认参数。学习率衰减(ReduceLROnPlateau)是在网络性能不再提升的情况下,将学习率进行调小处理,这样会使得训练的效果更佳。
搭建好训练模型后对网络模型进行训练阶段,在训练完成后***会生成判别高粱图像倒伏区域的权重文件。
S4:将扩充后的验证集输入训练好的Incomplete-SegNet卷积神经网络模型中进行模型验证,优化模型参数。
S5:将测试集输入优化后的Incomplete-SegNet卷积神经网络模型完成图像的分割。
结果显示,测试集的平均准确率为98.54%,训练时间为3h,单帧检测时间为0.6s,参数规模为5.56×106。在相同的试验参数及环境下,该方法比传统SegNet网络模型在准确度上提高了0.51%,训练时间减少了3.77h,单帧检测时间减少了0.21s,参数规模缩小了70.27%。还可以看出本文算法能够较准确的分割出高粱倒伏区域,且边界相比传统SegNet算法分割的更为准确,部分效果如图3所示。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于轻量级卷积神经网络的高粱倒伏图像分割方法,其特征在于,包括:
S1:将采集到的RGB图像数据划分为训练集、验证集和测试集,并对训练集和验证集进行标注;
S2:将步骤S1中标注后的训练集、验证集及未标注的测试集均进行数据扩充;
S3:将步骤S2中扩充后的训练集输入Incomplete-SegNet卷积神经网络模型中进行训练;
S4:将步骤S2中扩充后的验证集输入训练后的模型中进行验证,优化模型参数;
S5:将步骤S1中的测试集输入优化后的模型中完成图像的分割。
2.根据权利要求1所述的基于轻量级卷积神经网络的高粱倒伏图像分割方法,其特征在于,所述扩充方式为依次进行水平翻转、垂直翻转、水平与垂直方向同时翻转。
3.根据权利要求1所述的基于轻量级卷积神经网络的高粱倒伏图像分割方法,其特征在于,所述Incomplete-SegNet卷积神经网络模型在编码阶段采用MobileNet网络,包括五个编码单元:
第一编码单元:采用步长为2的Conv及步长为1的Conv dw+Conv进行图像特征提取;
第二编码单元、第三编码单元、第五编码单元均先采用步长为2的Conv dw和步长为1的Conv,再采用步长为1的Conv dw和Conv进行图像特征提取;
第四编码单元:先采用步长为2的Conv dw和步长为1的Conv,在采用5次步长为1的Convdw和Conv进行图像特征提取。
4.根据权利要求3所述的基于轻量级卷积神经网络的高粱倒伏图像分割方法,其特征在于,在所述Incomplete-SegNet卷积神经网络模型的编码阶段还加入了Droupout优化算法用来防止过拟合情况的发生。
5.根据权利要求1所述的基于轻量级卷积神经网络的高粱倒伏图像分割方法,其特征在于,所述Incomplete-SegNet卷积神经网络模型解码阶段包括4个解码单元:第一解码单元、第二解码单元、第三解码单元均采用Upsampling 和2D+ZeroPadding 2D+Conv2D+BatchNormalization对图像进行处理,第四解码单元采用Upsampling 2D+ZeroPadding 2D+Conv2D+BatchNormalization对图像进行处理,并将获得的特征图输入Softmax函数进行高粱倒伏区域概率判断。
6.根据权利要求1所述的基于轻量级卷积神经网络的高粱倒伏图像分割方法,其特征在于,Incomplete-SegNet卷积神经网络模型的激活函数为Relu6。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110287975.7A CN112861869A (zh) | 2021-03-17 | 2021-03-17 | 一种基于轻量级卷积神经网络的高粱倒伏图像分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110287975.7A CN112861869A (zh) | 2021-03-17 | 2021-03-17 | 一种基于轻量级卷积神经网络的高粱倒伏图像分割方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112861869A true CN112861869A (zh) | 2021-05-28 |
Family
ID=75995171
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110287975.7A Withdrawn CN112861869A (zh) | 2021-03-17 | 2021-03-17 | 一种基于轻量级卷积神经网络的高粱倒伏图像分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112861869A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114257783A (zh) * | 2021-11-12 | 2022-03-29 | 山东省农业科学院作物研究所 | 一种田地中甜高粱生长情况监控***及监控方法 |
WO2023035766A1 (zh) * | 2021-09-07 | 2023-03-16 | 中国电信股份有限公司 | 特征提取方法和装置、编码器、通信*** |
-
2021
- 2021-03-17 CN CN202110287975.7A patent/CN112861869A/zh not_active Withdrawn
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023035766A1 (zh) * | 2021-09-07 | 2023-03-16 | 中国电信股份有限公司 | 特征提取方法和装置、编码器、通信*** |
CN114257783A (zh) * | 2021-11-12 | 2022-03-29 | 山东省农业科学院作物研究所 | 一种田地中甜高粱生长情况监控***及监控方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110119728B (zh) | 基于多尺度融合语义分割网络的遥感图像云检测方法 | |
CN114092832B (zh) | 一种基于并联混合卷积网络的高分辨率遥感影像分类方法 | |
CN105139395B (zh) | 基于小波池化卷积神经网络的sar图像分割方法 | |
CN112347970B (zh) | 一种基于图卷积神经网络的遥感影像地物识别方法 | |
CN114943963A (zh) | 一种基于双分支融合网络的遥感图像云和云影分割方法 | |
CN112950780B (zh) | 一种基于遥感影像的网络地图智能生成方法及*** | |
CN114494821B (zh) | 基于特征多尺度感知与自适应聚合的遥感影像云检测方法 | |
CN110751644B (zh) | 道路表面裂纹检测方法 | |
CN107506792B (zh) | 一种半监督的显著对象检测方法 | |
CN111695640B (zh) | 地基云图识别模型训练方法及地基云图识别方法 | |
CN111178438A (zh) | 一种基于ResNet101的天气类型识别方法 | |
CN112861869A (zh) | 一种基于轻量级卷积神经网络的高粱倒伏图像分割方法 | |
CN110599459A (zh) | 基于深度学习的地下管网风险评估云*** | |
CN112001293A (zh) | 结合多尺度信息和编解码网络的遥感影像地物分类方法 | |
CN115223063A (zh) | 基于深度学习的无人机遥感小麦新品种倒伏面积提取方法及*** | |
CN111353396A (zh) | 一种基于SCSEOCUnet的混凝土裂缝分割方法 | |
CN113420619A (zh) | 一种遥感影像建筑物提取方法 | |
CN113111716A (zh) | 一种基于深度学习的遥感影像半自动标注方法和装置 | |
CN114120036A (zh) | 一种轻量化的遥感图像云检测方法 | |
CN115330703A (zh) | 基于上下文信息融合的遥感影像云与云阴影检测方法 | |
CN111738052A (zh) | 基于深度学习的多特征融合高光谱遥感地物分类方法 | |
CN113077438B (zh) | 针对多细胞核彩色图像的细胞核区域提取方法及成像方法 | |
CN114299379A (zh) | 一种基于高动态影像的阴影区植被覆盖度提取方法 | |
CN114092467A (zh) | 一种基于轻量化卷积神经网络的划痕检测方法及*** | |
CN114120359A (zh) | 一种基于堆叠沙漏网络的群养猪体尺测量方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210528 |