CN117496353A - 基于两阶段分割模型的稻田秧苗杂草茎中心区分定位方法 - Google Patents
基于两阶段分割模型的稻田秧苗杂草茎中心区分定位方法 Download PDFInfo
- Publication number
- CN117496353A CN117496353A CN202311516295.3A CN202311516295A CN117496353A CN 117496353 A CN117496353 A CN 117496353A CN 202311516295 A CN202311516295 A CN 202311516295A CN 117496353 A CN117496353 A CN 117496353A
- Authority
- CN
- China
- Prior art keywords
- weed
- image
- seedling
- seedling weed
- distinguishing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 241000196324 Embryophyta Species 0.000 title claims abstract description 140
- 235000007164 Oryza sativa Nutrition 0.000 title claims abstract description 56
- 235000009566 rice Nutrition 0.000 title claims abstract description 56
- 230000011218 segmentation Effects 0.000 title claims abstract description 51
- 238000000034 method Methods 0.000 title claims abstract description 35
- 240000007594 Oryza sativa Species 0.000 title 1
- 241000209094 Oryza Species 0.000 claims abstract description 55
- 230000007246 mechanism Effects 0.000 claims abstract description 27
- 238000005286 illumination Methods 0.000 claims abstract description 13
- 238000000605 extraction Methods 0.000 claims abstract description 5
- 238000012549 training Methods 0.000 claims description 20
- 239000013598 vector Substances 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000012795 verification Methods 0.000 claims description 14
- 230000000875 corresponding effect Effects 0.000 claims description 13
- 238000013145 classification model Methods 0.000 claims description 11
- 238000012360 testing method Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000010220 Pearson correlation analysis Methods 0.000 claims description 2
- 238000004422 calculation algorithm Methods 0.000 claims description 2
- 239000002131 composite material Substances 0.000 claims description 2
- 230000002596 correlated effect Effects 0.000 claims description 2
- 230000004927 fusion Effects 0.000 claims description 2
- 238000013515 script Methods 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 claims description 2
- 238000009333 weeding Methods 0.000 abstract description 13
- 238000013461 design Methods 0.000 abstract description 2
- 238000013136 deep learning model Methods 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 244000038559 crop plants Species 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 235000013339 cereals Nutrition 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于两阶段分割模型的稻田秧苗杂草茎中心区分定位方法，通过构建不同光照条件下多种图像色彩特征组合和空间约束的稻田秧苗杂草植株分割模型，实现图像中植株与背景的分割，并在此基础上，在实例分割模型Mask R‑CNN的图像特征提取层引入注意力机制，实现稻田秧苗杂草茎中心的区分定位模型，基于注意力机制探索具有灵敏的表达能力的特征提取器设计的同时，使网络能够自动学习到每个特征的重要程度，关注与目标相关的特征而抑制与目标不相关的特征，从而实现秧苗与杂草茎中心的区分定位，为除草机械除去株间杂草提供有效支撑，具有提高除草机构自动定位杂草的准确性和除草机构的作业质量。
Description
技术领域
本发明属于深度学习与机器视觉技术领域，具体地说，本发明涉及基于两阶段分割模型的稻田秧苗杂草茎中心区分定位方法。
背景技术
水稻是我国主要粮食作物，在水稻生长过程中，杂草是水稻生产的主要制约因素。除草方式中机械除草作为一种环境友好型的绿色除草方式，可有效缓解当前化学除草带来的危害。而根据秧苗和杂草的位置精确控制除草机械除去株间杂草，水稻秧苗与杂草的区分定位是极其关键的环节，其定位的准确性直接影响除草机构作业质量。
机器视觉具有信息完整丰富、非接触测量、价格成本低等优点，目前成为一种主流的作物植株检测与定位技术。为识别作物植株并进行定位，部分学者(Computers andElectronics in Agriculture,2020,169:1-12)通过提取作物图像中颜色、纹理、形状等特征来识别作物，在此基础上获取目标作物的位置信息。相比传统方法，深度学习模型凭借其卓越的特征学习能力，现已广泛应用于作物分割、植株分类、水果识别等农业领域。但深度学习模型是一种数据驱动的学习方法，且稻田水稻和多种杂草共存，尤其稻田禾本科杂草与水稻形态相近，区分性的信息仅仅隐藏在微小的细节中，要求深度学习模型的特征提取器具有更加灵敏的特征提取能力，且有足够明确的大型数据集来训练深度学习模型。因此，如何根据针对水稻图像特点，获得最接近秧苗自然属性且对光照鲁棒的特征表达，有效消除或降低图像处理中光照及秧苗杂草自身形态相似性对秧苗定位精度的影响是稻田株间机械除草所面临的关键技术难题。
发明内容
本发明提供基于两阶段分割模型的稻田秧苗杂草茎中心区分定位方法，以解决上述背景技术中存在的问题。
为了实现上述目的，本发明采取的技术方案为：基于两阶段分割模型的稻田秧苗杂草茎中心区分定位方法，具体包括以下步骤：
步骤S1：搭建图像采集***，包括计算机和安装在移动平台上的工业相机，利用工业相机在稻田中垂直向下采集不同光照下水稻秧苗杂草图像，并传输至计算机进行分析处理；
步骤S2：秧苗杂草植株标签制作，利用Labeling对不同光照条件下秧苗杂草图像数据集进行秧苗杂草植株和背景的人工标注，并划分为训练集和验证集；
步骤S3：秧苗杂草图像色彩特征向量提取，在秧苗杂草图像中，通过颜色指数转换公式，将不同光照条件下RGB图像转化为ExG、NDI、VEG、S/V和ExCg图像，以R、G、B、H、S、V、ExG、NDI、VEG、S/V、Cg和ExCg图像对应的颜色特征构成12维特征向量，并采用特征降维方法进行秧苗杂草图像的关键色彩特征参数提取；
步骤S4：秧苗杂草植株、背景分割模型构建，结合图像具有的邻域空间一致性和二分类模型，构建具有邻域空间一致性约束的秧苗杂草植株、背景分割模型，并以秧苗杂草植株训练集图像对应的颜色特征分量作为分割模型输入，并以对应的秧苗杂草植株标签图为监督，训练分割模型，并基于验证集图像的分类结果优化分割模型参数；
步骤S5：秧苗杂草的茎中心数据集制作，对另采集的秧苗杂草图像进行数据增强，基于步骤S4的分割模型实现图像中秧苗杂草植株、背景像素的分类，获取秧苗杂草植株二值图像，以其作为秧苗杂草图像的掩膜，分别标记秧苗、杂草的茎中心；
步骤S6：基于实例分割模型Mask R-CNN和注意力机制，在秧苗杂草植株、背景分割结果基础上，实现稻田秧苗杂草茎中心区分定位；
步骤S7：定义稻田秧苗杂草茎中心区分定位模型的损失函数，并将上述制作的秧苗杂草的茎中心数据集按照一定比例划分为训练集、验证集和测试集，采用训练集和验证集，对所述的稻田秧苗杂草茎中心区分定位模型进行训练，结合测试集进行模型性能的评估。
优选的，所述步骤S3中，秧苗杂草图像色彩特征向量提取，通过颜色指数转换公式，在RGB色彩空间中提取ExG、NDI、VEG图像，并将RGB图像转化到符合人眼视觉特性的HSV色彩空间，提取S/V图像，将RGB图像转化到YCrCb空间，提取ExCg图像，其中，ExG、NDI、VEG、ExCg的计算公式如下：
ExCg＝2Cg-Cr-Cb；
优选的，所述步骤S3中，秧苗杂草图像色彩特征提取，运用Pearson相关性分析算法对12维特征向量[R,G,B,H,S,V,ExG,NDI,VEG,S/V,Cg,ExCg]进行相关系数计算，保留强相关的特征参数，其中，任两个特征的相关系数计算公式如下：
式中：Xk和Yk分别是特征X、Y的第k个数据；M为特征中总的数据量。
优选的，所述步骤S4中，秧苗杂草植株、背景分割模型构建,基于图像空间邻域像素的相似程度和支持向量机SVM分类模型，构建邻域空间一致性约束的秧苗杂草植株、背景分割模型，对于图像中任一像素点x，其n邻域表示为Nn(x)，计算像素点x与其邻域Nn(x)像素的相似程度Sj(x,xj)，其计算公式如下：
式中：ηc是像素x灰度值；ηi是x邻域像素灰度值；ηij是邻域Nn(x)中第j个像素的n邻域像素i像素值；ηcj是邻域Nn(x)中第j个像素的n邻域像素c像素值；N是邻域像素个数；
基于邻域相似度设置像素邻域空间信息融合权重，并将像素邻域空间信息融合到SVM分类模型中，SVM分类模型计算公式如下：
式中：α表示拉格朗日系数；m是数据集个数；σ为方差；yt为样本图像对应的类别标签，植株和背景；yl为样本图像对应的类别数量；Ft(x)为具有邻域空间约束的像素x的特征向量，像素x的特征向量定义为ft(x)，Fl(x)为具有邻域空间约束的像素i的特征向量，则Ft(x)计算公式如下：
优选的，所述步骤S5中，秧苗杂草的茎中心数据集制作，其特征在于利用Python脚本对采集的图像进行亮度调节、对比度增强、几何变换，数据增强后的图像经上述植株背景分类模型分割出图像中植株像素，并利用标注工具VGG Image Annotator对分割后的水稻秧苗杂草图像进行茎中心的区分标注，植株中心是用圆形区域来表示的，用以定义植株的茎中心，且秧苗和杂草个体分别用掩膜标记，将标注后的图像数据集以预设比例划分为训练集、验证集和测试集。
优选的，所述步骤S6中，构建稻田秧苗杂草茎中心区分定位模型；在实例分割模型Mask R-CNN的图像特征提取层引入注意力机制，构建注意力机制引导的特征学习模块，特征学习模块由上层位置注意力机制PAM与下层通道注意力机制CAM构成，其中，PAM和CAM定义如下：
式中：和/>分别表示对输入特征图像进行平均池化、最大池化后的特征图；在位置注意力机制中，/>进行维度拼接后，经7×7的卷积层生成位置注意力图AttentionPAM(F)；在通道注意力机制中，/>和/>经具有隐藏层的多层感知机MLP组成的共享网络，通过按位加法融合输出特征向量，从而生成通道注意力图AttentionCAM(F)；W0和W1为MLP的权重尺寸；σ表示Sigmoid函数。
优选的，所述步骤S7中，定义稻田秧苗杂草茎中心区分定位模型的损失函数，构建一种复合损失函数，其计算公式如下：
Loss＝lw+lmiou+lssim；
式中：lw为类别加权损失函数；lmiou为平均交并比损失函数；lssim为结构相似性损失函数；
lw对每个类别计算目标区域占图像的比例，来分配不同的权重，来平衡图像中目标区域与背景的不平衡，计算如下：
式中：k为类别索引；a为像素索引；Y+表示第k类目标像素集合；Y-表示非第k类目标像素集合；ya k为像素a在第k类上的地面真值；pa k为像素a在第k类上的预测值；
lmiou是比较地面真值与预测结果的相似度，计算如下：
采用以上技术方案的有益效果是：
1、本发明的基于两阶段分割模型的稻田秧苗杂草茎中心区分定位方法，基于图像不同特征的表征能力不同，且图像像素具有空间连通性，各像素间的相对位置关系存在相对不变的特性，通过构建不同光照条件下多种图像色彩特征组合和空间约束的稻田秧苗杂草植株分割模型，实现图像中植株与背景的分割，并在此基础上，在实例分割模型Mask R-CNN的图像特征提取层引入注意力机制，实现稻田秧苗杂草茎中心的区分定位模型，基于注意力机制探索具有灵敏的表达能力的特征提取器设计的同时，使网络能够自动学习到每个特征的重要程度，关注与目标相关的特征而抑制与目标不相关的特征，从而实现秧苗中心与杂草茎中心的区分定位，为除草机械除去株间杂草提供有效支撑，具有提高除草机构自动定位杂草的准确性和除草机构的作业质量。
附图说明
图1为原始秧苗图；
图2为苗草植株、背景标注的结果图；
图3为秧苗杂草植株分割实现方案图；
图4为秧苗杂草植株分割结果图；
图5为秧苗、杂草茎中心标注的结果图；
图6为秧苗、杂草茎中心区分定位实现方案图；
图7为注意力机制融入实现方案图；
具体实施方式
下面对照附图，通过对实施例的描述，对本发明的具体实施方式作进一步详细的说明，目的是帮助本领域的技术人员对本发明的构思、技术方案有更完整、准确和深入的理解，并有助于其实施。
如图1至图7所示，本发明是基于两阶段分割模型的稻田秧苗杂草茎中心区分定位方法，以下用具体实施例对具体工作方式进行阐述：
实施例1：
步骤S1：搭建图像采集***，包括计算机和安装在移动平台上的工业相机，利用工业相机在稻田中垂直向下采集不同光照下水稻秧苗杂草图像，并传输至计算机进行分析处理；
步骤S2：秧苗杂草植株标签制作，利用Labeling对不同光照条件下秧苗杂草图像数据集进行秧苗杂草植株和背景的人工标注，如图2所示，白色像素为秧苗杂草植株，黑色像素为背景，将标注好的图像样本划分为训练集和验证集；
步骤S3：秧苗杂草图像色彩特征向量提取，在秧苗杂草图像中，通过颜色指数转换公式，将不同光照条件下RGB图像转化为ExG、NDI、VEG、S/V和ExCg图像，以R、G、B、H、S、V、ExG、NDI、VEG、S/V、Cg和ExCg图像对应的颜色特征构成12维特征向量，并采用特征降维方法进行秧苗杂草图像的关键色彩特征参数提取；
步骤S4：秧苗杂草植株、背景分割模型构建，结合图像具有的邻域空间一致性和二分类模型，构建具有邻域空间一致性约束的秧苗杂草植株、背景分割模型，实现方案如图3所示，以秧苗杂草植株训练集图像对应的颜色特征分量作为分割模型输入，并以对应的秧苗杂草植株标签图为监督，训练分割模型，并基于验证集图像的分类结果优化分割模型参数；
步骤S5：秧苗杂草的茎中心数据集制作，对另采集的秧苗杂草图像进行数据增强，基于步骤S4的分割模型实现图像中秧苗杂草植株、背景像素的分类，获取秧苗杂草植株二值图像，如图4所示，以其作为秧苗杂草图像的掩膜，分别标记秧苗、杂草的茎中心，如图5所示；
步骤S6：基于实例分割模型Mask R-CNN和注意力机制，构建稻田秧苗杂草茎中心区分定位模型，模型实现方案如图6所示，其中注意力模块由上层位置注意力模块PAM与下层通道注意力模块CAM构成，PAM模块旨在从特征图中提取基于类的相关性，而CAM模块则通过类通道的加权来改善特征重建的过程，以获更好的上下文表达，注意力机制融入Mask-RCNN模型的实现方案如图7所示，分割后的植株图像，经过骨干网络ResNet提取的特征图，输入PAM和CAM模块，够让网络模型更加关注感兴趣区域，使得模型聚焦所要提取的重要特征包含位置、通道上下文信息的特征图，忽略不相关特征，获得对该图像中苗草具有判别能力的特征；
步骤S7：定义稻田秧苗杂草茎中心区分定位模型的损失函数，并将上述制作的秧苗杂草的茎中心数据集按照一定比例划分为训练集、验证集和测试集，采用训练集和验证集，对所述的稻田秧苗杂草茎中心区分定位模型进行训练，结合测试集进行模型性能的评估。
以上结合附图对本发明进行了示例性描述，显然，本发明具体实现并不受上述方式的限制，只要是采用了本发明的方法构思和技术方案进行的各种非实质性的改进；或未经改进，将本发明的上述构思和技术方案直接应用于其它场合的，均在本发明的保护范围之内。
Claims (7)
1.基于两阶段分割模型的稻田秧苗杂草茎中心区分定位方法，其特征在于：具体包括以下步骤：
步骤S1：搭建图像采集***，包括计算机和安装在移动平台上的工业相机，利用工业相机在稻田中垂直向下采集不同光照下水稻秧苗杂草图像，并传输至计算机进行分析处理；
步骤S2：秧苗杂草植株标签制作，利用Labeling对不同光照条件下秧苗杂草图像数据集进行秧苗杂草植株和背景的人工标注，并划分为训练集和验证集；
步骤S3：秧苗杂草图像色彩特征向量提取，在秧苗杂草图像中，通过颜色指数转换公式，将不同光照条件下RGB图像转化为ExG、NDI、VEG、S/V和ExCg图像，以R、G、B、H、S、V、ExG、NDI、VEG、S/V、Cg和ExCg图像对应的颜色特征构成12维特征向量，并采用特征降维方法进行秧苗杂草图像的关键色彩特征参数提取；
步骤S4：秧苗杂草植株、背景分割模型构建，结合图像具有的邻域空间一致性和二分类模型，构建具有邻域空间一致性约束的秧苗杂草植株、背景分割模型，并以秧苗杂草植株训练集图像对应的颜色特征分量作为分割模型输入，并以对应的秧苗杂草植株标签图为监督，训练分割模型，并基于验证集图像的分类结果优化分割模型参数；
步骤S5：秧苗杂草的茎中心数据集制作，对另采集的秧苗杂草图像进行数据增强，基于步骤S4的分割模型实现图像中秧苗杂草植株、背景像素的分类，获取秧苗杂草植株二值图像，以其作为秧苗杂草图像的掩膜，分别标记秧苗、杂草的茎中心；
步骤S6：基于实例分割模型Mask R-CNN和注意力机制，在秧苗杂草植株、背景分割结果基础上，实现稻田秧苗杂草茎中心区分定位；
步骤S7：定义稻田秧苗杂草茎中心区分定位模型的损失函数，并将上述制作的秧苗杂草的茎中心数据集按照一定比例划分为训练集、验证集和测试集，采用训练集和验证集，对所述的稻田秧苗杂草茎中心区分定位模型进行训练，结合测试集进行模型性能的评估。
2.根据权利要求1所述的基于两阶段分割模型的稻田秧苗杂草茎中心区分定位方法，其特征在于：所述步骤S3中，秧苗杂草图像色彩特征向量提取，通过颜色指数转换公式，在RGB色彩空间中提取ExG、NDI、VEG图像，并将RGB图像转化到符合人眼视觉特性的HSV色彩空间，提取S/V图像，将RGB图像转化到YCrCb空间，提取ExCg图像，其中，ExG、NDI、VEG、ExCg的计算公式如下：
ExCg＝2Cg-Cr-Cb；
3.根据权利要求1所述的基于两阶段分割模型的稻田秧苗杂草茎中心区分定位方法，其特征在于：所述步骤S3中，秧苗杂草图像色彩特征提取，运用Pearson相关性分析算法对12维特征向量[R,G,B,H,S,V,ExG,NDI,VEG,S/V,Cg,ExCg]进行相关系数计算，保留强相关的特征参数，其中，任两个特征的相关系数计算公式如下：
式中：Xk和Yk分别是特征X、Y的第k个数据；M为特征中总的数据量。
4.根据权利要求1所述的基于两阶段分割模型的稻田秧苗杂草茎中心区分定位方法，其特征在于：所述步骤S4中，秧苗杂草植株、背景分割模型构建,基于图像空间邻域像素的相似程度和支持向量机SVM分类模型，构建邻域空间一致性约束的秧苗杂草植株、背景分割模型，对于图像中任一像素点x，其n邻域表示为Nn(x)，计算像素点x与其邻域Nn(x)像素的相似程度Sj(x,xj)，其计算公式如下：
式中：ηc是像素x灰度值；ηi是x邻域像素灰度值；ηij是邻域Nn(x)中第j个像素的n邻域像素i像素值；ηcj是邻域Nn(x)中第j个像素的n邻域像素c像素值；N是邻域像素个数；
基于邻域相似度设置像素邻域空间信息融合权重，并将像素邻域空间信息融合到SVM分类模型中，SVM分类模型计算公式如下：
式中：α表示拉格朗日系数；m是数据集个数；σ为方差；yt为样本图像对应的类别标签，植株和背景；yl为样本图像对应的类别数量；Ft(x)为具有邻域空间约束的像素x的特征向量，像素x的特征向量定义为ft(x)，Fl(x)为具有邻域空间约束的像素i的特征向量，则Ft(x)计算公式如下：
5.根据权利要求1所述的基于两阶段分割模型的稻田秧苗杂草茎中心区分定位方法，其特征在于：所述步骤S5中，秧苗杂草的茎中心数据集制作，其特征在于利用Python脚本对采集的图像进行亮度调节、对比度增强、几何变换，数据增强后的图像经上述植株背景分类模型分割出图像中植株像素，并利用标注工具VGG Image Annotator对分割后的水稻秧苗杂草图像进行茎中心的区分标注，植株中心是用圆形区域来表示的，用以定义植株的茎中心，且秧苗和杂草个体分别用掩膜标记，将标注后的图像数据集以预设比例划分为训练集、验证集和测试集。
6.根据权利要求1所述的基于两阶段分割模型的稻田秧苗杂草茎中心区分定位方法，其特征在于：所述步骤S6中，构建稻田秧苗杂草茎中心区分定位模型；在实例分割模型MaskR-CNN的图像特征提取层引入注意力机制，构建注意力机制引导的特征学习模块，特征学习模块由上层位置注意力机制PAM与下层通道注意力机制CAM构成，其中，PAM和CAM定义如下：
式中：和/>分别表示对输入特征图像进行平均池化、最大池化后的特征图；在位置注意力机制中，/>进行维度拼接后，经7×7的卷积层生成位置注意力图AttentionPAM(F)；在通道注意力机制中，/>和/>经具有隐藏层的多层感知机MLP组成的共享网络，通过按位加法融合输出特征向量，从而生成通道注意力图AttentionCAM(F)；W0和W1为MLP的权重尺寸；σ表示Sigmoid函数。
7.根据权利要求1所述的基于两阶段分割模型的稻田秧苗杂草茎中心区分定位方法，其特征在于：所述步骤S7中，定义稻田秧苗杂草茎中心区分定位模型的损失函数，构建一种复合损失函数，其计算公式如下：
Loss＝lw+lmiou+lssim；
式中：lw为类别加权损失函数；lmiou为平均交并比损失函数；lssim为结构相似性损失函数；
lw对每个类别计算目标区域占图像的比例，来分配不同的权重，来平衡图像中目标区域与背景的不平衡，计算如下：
式中：k为类别索引；a为像素索引；Y+表示第k类目标像素集合；Y-表示非第k类目标像素集合；ya k为像素a在第k类上的地面真值；pa k为像素a在第k类上的预测值；
lmiou是比较地面真值与预测结果的相似度，计算如下：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311516295.3A CN117496353A (zh) | 2023-11-13 | 2023-11-13 | 基于两阶段分割模型的稻田秧苗杂草茎中心区分定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311516295.3A CN117496353A (zh) | 2023-11-13 | 2023-11-13 | 基于两阶段分割模型的稻田秧苗杂草茎中心区分定位方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117496353A true CN117496353A (zh) | 2024-02-02 |
Family
ID=89677902
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311516295.3A Pending CN117496353A (zh) | 2023-11-13 | 2023-11-13 | 基于两阶段分割模型的稻田秧苗杂草茎中心区分定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117496353A (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101807252A (zh) * | 2010-03-24 | 2010-08-18 | 中国农业大学 | 作物行中心线提取方法和*** |
| CN109614973A (zh) * | 2018-11-22 | 2019-04-12 | 华南农业大学 | 水稻秧苗及苗期杂草图像语义分割方法、***、设备和介质 |
| CN111340141A (zh) * | 2020-04-20 | 2020-06-26 | 天津职业技术师范大学(中国职业培训指导教师进修中心) | 一种基于深度学习的作物幼苗与杂草检测方法及*** |
| CN114067219A (zh) * | 2021-11-11 | 2022-02-18 | 华东师范大学 | 一种基于语义分割与超像素分割融合的农田作物识别方法 |
| CN114677325A (zh) * | 2022-01-25 | 2022-06-28 | 安徽农业大学 | 水稻茎秆截面分割模型的构建方法及基于该模型的检测方法 |
| CN115205672A (zh) * | 2022-05-25 | 2022-10-18 | 西安建筑科技大学 | 一种基于多尺度区域注意力的遥感建筑物语义分割方法及*** |
| CN115423862A (zh) * | 2022-08-19 | 2022-12-02 | 华中农业大学 | 一种遮挡条件下种苗叶面积测量方法 |
| CN115451965A (zh) * | 2022-08-19 | 2022-12-09 | 安徽农业大学 | 基于双目视觉的插秧机插植***相对航向信息检测方法 |
| CN115797929A (zh) * | 2022-09-21 | 2023-03-14 | 华南农业大学 | 基于双注意力机制的小型农田图像分割方法、装置 |
| CN116071389A (zh) * | 2023-01-31 | 2023-05-05 | 重庆理工大学 | 一种基于前背景匹配的边界框弱监督图像分割方法 |
| CN116452526A (zh) * | 2023-03-30 | 2023-07-18 | 淮阴工学院 | 一种基于图像检测的稻种识别和计数方法 |
| CN116778460A (zh) * | 2023-06-21 | 2023-09-19 | 西南科技大学 | 一种基于图像识别的疲劳驾驶识别方法 |
-
2023
- 2023-11-13 CN CN202311516295.3A patent/CN117496353A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101807252A (zh) * | 2010-03-24 | 2010-08-18 | 中国农业大学 | 作物行中心线提取方法和*** |
| CN109614973A (zh) * | 2018-11-22 | 2019-04-12 | 华南农业大学 | 水稻秧苗及苗期杂草图像语义分割方法、***、设备和介质 |
| CN111340141A (zh) * | 2020-04-20 | 2020-06-26 | 天津职业技术师范大学(中国职业培训指导教师进修中心) | 一种基于深度学习的作物幼苗与杂草检测方法及*** |
| CN114067219A (zh) * | 2021-11-11 | 2022-02-18 | 华东师范大学 | 一种基于语义分割与超像素分割融合的农田作物识别方法 |
| CN114677325A (zh) * | 2022-01-25 | 2022-06-28 | 安徽农业大学 | 水稻茎秆截面分割模型的构建方法及基于该模型的检测方法 |
| CN115205672A (zh) * | 2022-05-25 | 2022-10-18 | 西安建筑科技大学 | 一种基于多尺度区域注意力的遥感建筑物语义分割方法及*** |
| CN115423862A (zh) * | 2022-08-19 | 2022-12-02 | 华中农业大学 | 一种遮挡条件下种苗叶面积测量方法 |
| CN115451965A (zh) * | 2022-08-19 | 2022-12-09 | 安徽农业大学 | 基于双目视觉的插秧机插植***相对航向信息检测方法 |
| CN115797929A (zh) * | 2022-09-21 | 2023-03-14 | 华南农业大学 | 基于双注意力机制的小型农田图像分割方法、装置 |
| CN116071389A (zh) * | 2023-01-31 | 2023-05-05 | 重庆理工大学 | 一种基于前背景匹配的边界框弱监督图像分割方法 |
| CN116452526A (zh) * | 2023-03-30 | 2023-07-18 | 淮阴工学院 | 一种基于图像检测的稻种识别和计数方法 |
| CN116778460A (zh) * | 2023-06-21 | 2023-09-19 | 西南科技大学 | 一种基于图像识别的疲劳驾驶识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| 杨俊: "小麦生物量及产量与无人机图像特征参数的相关性", 《农业工程学报》, vol. 35, no. 23, 31 October 2019 (2019-10-31), pages 2 - 3 * |
| 杨俊: "小麦生物量及产量与无人机图像特征参数的相关性", 农业工程学报》, vol. 35, no. 23, 31 October 2019 (2019-10-31), pages 2 - 3 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Gayathri et al. | Image analysis and detection of tea leaf disease using deep learning | |
| Liu et al. | A detection method for apple fruits based on color and shape features | |
| WO2022160771A1 (zh) | 基于自适应多尺度特征提取模型的高光谱图像分类方法 | |
| CN112288706A (zh) | 一种自动化的染色体核型分析以及异常检测方法 | |
| CN109919177B (zh) | 基于层次化深度网络的特征选择方法 | |
| Kumari et al. | Hybridized approach of image segmentation in classification of fruit mango using BPNN and discriminant analyzer | |
| CN112766155A (zh) | 一种基于深度学习的海水养殖区提取方法 | |
| CN109034269A (zh) | 一种基于计算机视觉技术的棉铃虫雌雄成虫判别方法 | |
| CN112464983A (zh) | 一种用于苹果树叶病害图像分类的小样本学习方法 | |
| CN112784869A (zh) | 一种基于注意力感知与对抗学习的细粒度图像识别方法 | |
| CN110516648B (zh) | 基于无人机遥感和模式识别的苎麻株数识别方法 | |
| Bhimavarapu et al. | Analysis and characterization of plant diseases using transfer learning | |
| CN113435254A (zh) | 一种基于哨兵二号影像的耕地深度学习提取方法 | |
| CN116977960A (zh) | 一种基于实例分割的水稻秧苗行检测方法 | |
| Borman et al. | Classification of Medicinal Wild Plants Using Radial Basis Function Neural Network with Least Mean Square | |
| CN114965501A (zh) | 基于冠层参数处理的花生病害检测与产量预测方法 | |
| CN113011506A (zh) | 一种基于深度重分形频谱网络的纹理图像分类方法 | |
| CN117152609A (zh) | 一种农作物外形特征检测*** | |
| CN113191352A (zh) | 一种基于目标检测和二值图像检测的水表指针读数识别方法 | |
| CN114700941B (zh) | 一种基于双目视觉的草莓采摘方法、机器人*** | |
| Poonguzhali et al. | Crop condition assessment using machine learning | |
| CN117496353A (zh) | 基于两阶段分割模型的稻田秧苗杂草茎中心区分定位方法 | |
| CN116524344A (zh) | 一种基于rgb-d信息融合的番茄串采摘点检测方法 | |
| Fang et al. | Classification system study of soybean leaf disease based on deep learning | |
| CN114973005A (zh) | 一种基于RePMMS-Net的绿豆叶斑病识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |