CN109614973A - 水稻秧苗及苗期杂草图像语义分割方法、***、设备和介质 - Google Patents

水稻秧苗及苗期杂草图像语义分割方法、***、设备和介质 Download PDF

Info

Publication number
CN109614973A
CN109614973A CN201811395683.XA CN201811395683A CN109614973A CN 109614973 A CN109614973 A CN 109614973A CN 201811395683 A CN201811395683 A CN 201811395683A CN 109614973 A CN109614973 A CN 109614973A
Authority
CN
China
Prior art keywords
seedling
image
weeds
rice
rice seedling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811395683.XA
Other languages
English (en)
Inventor
蒋郁
邓向武
齐龙
马旭
郑文汉
龚浩
邓若玲
刘闯
陶明
李秀昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Agricultural University
Original Assignee
South China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Agricultural University filed Critical South China Agricultural University
Priority to CN201811395683.XA priority Critical patent/CN109614973A/zh
Publication of CN109614973A publication Critical patent/CN109614973A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种水稻秧苗及苗期杂草图像语义分割方法、***、设备和介质，所述方法包括：获取水稻秧苗及苗期杂草的彩色样本图像；生成与彩色样本图像对应的标签样本图像；将彩色样本图像及其对应的标签样本图像分为训练样本和测试样本；对所有样本进行预处理和数据扩增，形成训练数据集和测试数据集；构建基于全卷积神经网络的水稻秧苗及苗期杂草图像语义分割模型；利用水稻秧苗及苗期杂草图像语义分割模型待分割水稻秧苗及苗期杂草的彩色图像的的像素进行分类，输出水稻秧苗及苗期杂草分割图像，实现水稻秧苗及苗期杂草图像的语义分割。本发明能够从样本中学习并提取得到鲁棒性强的特征，实现水稻秧苗及苗期杂草图像的语义分割。

Description

水稻秧苗及苗期杂草图像语义分割方法、***、设备和介质
技术领域
本发明涉及一种水稻秧苗及苗期杂草图像语义分割方法，尤其是一种水稻秧苗及苗期杂草图像语义分割方法、***、计算机设备和存储介质，属于图像处理与深度学习技术领域。
背景技术
农药的精准喷施可在不影响杂草防控效果的前提下，有效节约40～60％的农药用量。水稻秧苗及苗期杂草识别是除草剂喷施对象和药品种类选择的依据，是稻田杂草精确防控管理的基础，因此，如何快速准确进行水稻秧苗及苗期杂草自动识别具有重要意义。
由于在以往水稻秧苗及苗期杂草识别过程中，往往依靠手工设计特征，需要丰富的专业知识并且花费大量的时间。特征的好坏在很大程度上还要依靠经验和运气，往往整个算法的测试和调节工作都集中于此，需要手工完成，十分费力。与之相比，近年来受到广泛关注的深度学习理论中的一个重要观点就是手设计的特征描述子作为视觉计算的第一步，往往过早地丢失掉有用信息，而直接从图像中学习到与任务相关的特征表示，比手工设计特征更加有效。
申请号为201710102806.5的中国发明专利申请公开了一种基于深度堆叠网络的杂草图像识别方法。该基于深度堆叠网络的杂草图像识别方法包括：对训练图像进行收集和预处理；构造并训练深度堆叠网络模型；将测试样本输入经过训练后的深度堆叠网络模型，进行杂草图像的自动识别。但是深度堆叠网络模型结构针对大样本的图像数据，具有训练时间长和鲁棒性不强等缺点。
发明内容
本发明的第一个目的是为了解决上述现有技术的缺陷，提供了一种水稻秧苗及苗期杂草图像语义分割方法，该方法能够从样本中学习并提取得到鲁棒性强的特征，实现水稻秧苗及苗期杂草图像的语义分割。
本发明的第二个目的在于提供一种水稻秧苗及苗期杂草图像语义分割***。
本发明的第三个目的在于提供一种计算机设备。
本发明的第四个目的在于提供一种存储介质。
本发明的第一个目的可以通过采取如下技术方案达到：
一种水稻秧苗及苗期杂草图像语义分割方法，所述方法包括：
获取水稻秧苗及苗期杂草的彩色样本图像；
生成与彩色样本图像对应的标签样本图像；其中，所述标签样本图像带有水稻秧苗、苗期杂草和背景对应的像素种类标签；
将彩色样本图像及其对应的标签样本图像分为训练样本和测试样本；
对所有样本进行预处理和数据扩增，形成训练数据集和测试数据集；
通过训练数据集训练全卷积神经网络，构建基于全卷积神经网络的水稻秧苗及苗期杂草图像语义分割模型；
利用全卷积神经网络训练模型对待分割水稻秧苗及苗期杂草的彩色图像的像素进行分类，输出水稻秧苗及苗期杂草分割图像，实现水稻秧苗及苗期杂草图像的语义分割。
进一步的，所述对所有样本进行预处理和数据扩增，形成训练数据集和测试数据集，具体包括：
将彩色样本图像及其对应的标签样本图像的尺度调整至预设值；
通过图像在[-180°,180°]内随机旋转、沿X、Y轴在[-10°,10°]内随机偏移的方法对所述彩色样本图像及其对应的标签样本图像进行扩增；
随机将80％的彩色样本图像及其对应的标签样本图像作为训练数据集，剩余20％的彩色样本图像及其对应的标签样本图像样本作为测试数据集。
进一步的，所述对所有样本进行预处理和数据扩增，形成训练数据集和测试数据集，还包括：
通过对水稻秧苗、苗期杂草和背景像素总数进行计算，加入惩罚权重的方法使像素种类达到平衡。
进一步的，所述水稻秧苗及苗期杂草图像语义分割模型包括基于SegNet的编码器-解码器结构和像素分类网络；
所述基于SegNet的编码器-解码器结构的构建过程为：编码器由VGG16的前十三层卷积网络构成，其中有多个编码单元，通过卷积提取特征，使每个编码单元对应一个解码单元，多个解码单元构成的解码器使用反卷积和上采样，以填充在池化过程中缺失的内容；
所述像素分类网络的构建过程为：在基于SegNet的编码器-解码器结构中的最后一个卷积层输出水稻秧苗、苗期杂草和背景对应的像素种类，基于SegNet的编码器-解码器结构最后加上一个softmax分类器层为每个像素产生类概率，完成图像像素级别的分类。
进一步的，所述编码器-解码器结构包括：
每个编码单元包括至少两个卷积单元和一个池化层；其中，每个卷积单元包括卷积层、批归一化层和Relu层，所述池化层用于使卷积层输出的特征图缩小为原来的1/2；
在池化层中增加一个索引功能，以保存最大池化选出的权值在滤波器中的相对位置；在解码器中上采样是池化的逆过程，通过索引功能使得图像在上采样中变大2倍。
本发明的第二个目的可以通过采取如下技术方案达到：
一种水稻秧苗及苗期杂草图像语义分割***，所述***包括：
获取模块，用于获取水稻秧苗及苗期杂草的彩色样本图像；
生成模块，用于生成与彩色样本图像对应的标签样本图像；其中，所述标签样本图像带有水稻秧苗、苗期杂草和背景对应的像素种类标签；
样本划分模块，用于将彩色样本图像及其对应的标签样本图像分为训练样本和测试样本；
数据集形成模块，用于对所有样本进行预处理和数据扩增，形成训练数据集和测试数据集；
构建模块，用于通过训练数据集训练全卷积神经网络，构建基于全卷积神经网络的水稻秧苗及苗期杂草图像语义分割模型；
语义分割模块，用于利用全卷积神经网络训练模型对待分割水稻秧苗及苗期杂草的彩色图像的像素进行分类，输出水稻秧苗及苗期杂草分割图像，实现水稻秧苗及苗期杂草图像的语义分割。
进一步的，所述数据集形成模块，具体包括：
调整单元，用于将彩色样本图像及其对应的标签样本图像的尺度调整至预设值；
扩增单元，用于通过图像在[-180°,180°]内随机旋转、沿X、Y轴在[-10°,10°]内随机偏移的方法对所述彩色样本图像及其对应的标签样本图像进行扩增；
随机形成单元，用于随机将80％的彩色样本图像及其对应的标签样本图像作为训练数据集，剩余20％的彩色样本图像及其对应的标签样本图像样本作为测试数据集。
进一步的，所述数据集形成模块，还包括：
计算单元，用于通过对水稻秧苗、苗期杂草和背景像素总数进行计算，加入惩罚权重的方法使像素种类达到平衡。
进一步的，所述构建模块中，水稻秧苗及苗期杂草图像语义分割模型包括基于SegNet的编码器-解码器结构和像素分类网络；
所述基于SegNet的编码器-解码器结构的构建过程为：编码器由VGG16的前十三层卷积网络构成，其中有多个编码单元，通过卷积提取特征，使每个编码单元对应一个解码单元，多个解码单元构成的解码器使用反卷积和上采样，以填充在池化过程中缺失的内容；
所述像素分类网络的构建过程为：在基于SegNet的编码器-解码器结构中的最后一个卷积层输出水稻秧苗、苗期杂草和背景对应的像素种类，基于SegNet的编码器-解码器结构最后加上一个softmax分类器层为每个像素产生类概率，完成图像像素级别的分类。
进一步的，所述编码器-解码器结构包括：
每个编码单元包括至少两个卷积单元和一个池化层；其中，每个卷积单元包括卷积层、批归一化层和Relu层，所述池化层用于使卷积层输出的特征图缩小为原来的1/2；
在池化层中增加一个索引功能，以保存最大池化选出的权值在滤波器中的相对位置；在解码器中上采样是池化的逆过程，通过索引功能使得图像在上采样中变大2倍。
本发明的第三个目的可以通过采取如下技术方案达到：
一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现上述的水稻秧苗及苗期杂草图像语义分割方法。
本发明的第四个目的可以通过采取如下技术方案达到：
一种存储介质，存储有程序，所述程序被处理器执行时，实现上述的水稻秧苗及苗期杂草图像语义分割方法。
本发明相对于现有技术具有如下的有益效果：
本发明通过获取水稻秧苗及苗期杂草的彩色样本图像，以及生成与彩色样本图像对应的标签样本图像，得到训练数据集，通过训练数据集训练全卷积神经网络，构建基于全卷积神经网络的水稻秧苗及苗期杂草图像语义分割模型，经过测试，该水稻秧苗及苗期杂草图像语义分割模型能够用于水稻秧苗及苗期杂草图像的语义分割，保证了分割的精准程度和完整性，而且分割效果好。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明实施例1的水稻秧苗及苗期杂草图像语义分割方法的流程图。
图2为本发明实施例1的水稻秧苗及苗期杂草的样本图像。
图3为本发明实施例1的水稻秧苗及苗期杂草样本图像对应的标签样本图像。
图4为本发明实施例1的水稻秧苗及苗期杂草图像语义分割模型训练示意图。
图5为本发明实施例1的水稻秧苗及苗期杂草图像语义分割模型结构图。
图6为本发明实施例1的水稻秧苗及苗期杂草图像语义分割示意图。
图7为本发明实施例2的水稻秧苗及苗期杂草图像语义分割***的结构框图。
图8为本发明实施例2的数据集形成模块的结构框图。
图9为本发明实施例3的计算机设备的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
如图1所示，本实施例提供了一种水稻秧苗及苗期杂草图像语义分割方法，该方法包括以下步骤：
S1、获取水稻秧苗及苗期杂草的彩色样本图像。
本实施例先获取水稻秧苗及苗期杂草的彩色样本图像(即RGB样本图像)，其可以通过采集获取，例如在自然条件下通过摄像头拍摄水稻秧苗及苗期杂草的彩色样本图像，也可以从数据库查找获取，例如预先在数据库内存储水稻秧苗及苗期杂草的彩色样本图像，从数据库中搜索水稻秧苗及苗期杂草的彩色样本图像即可得到。
S2、生成与彩色样本图像对应的标签样本图像；其中，所述标签样本图像带有水稻秧苗、苗期杂草和背景对应的像素种类的标签。
在获取水稻秧苗及苗期杂草的彩色样本图像后，可以通过人工进行标注，具体为：用户输入标注命令，然后响应该标注命令，对水稻秧苗及苗期杂草的彩色样本图像进行水稻秧苗、苗期杂草和背景对应的像素种类的标注，从而生成与彩色样本图像对应的标签样本图像，即该标签样本图像带有水稻秧苗、苗期杂草和背景对应的像素种类标签。
图2示出了水稻秧苗及苗期杂草的样本图像，图3示出了对应的标签样本图像。
S3、彩色样本图像及其对应的标签样本图像分为训练样本和测试样本。
S4、对所有样本进行预处理和数据扩增，形成训练数据集和测试数据集。
具体地，该步骤S4包括：
S401、将彩色样本图像及其对应的标签样本图像的尺度调整至预设值。
在本实施例中，预设值为256×228，彩色样本图像及其对应的标签样本图像的初始尺度均为1024×912，为了方便后续处理，将尺度由1024×912变换为256×228。
S402、通过图像在[-180°,180°]内随机旋转、沿X、Y轴在[-10°,10°]内随机偏移的方法对所述彩色样本图像及其对应的标签样本图像进行扩增；
S403、随机将80％的彩色样本图像及其对应的标签样本图像作为训练数据集，剩余20％的彩色样本图像及其对应的标签样本图像样本作为测试数据集。
为了解决像素种类不平衡的问题，本实施例的步骤S4还包括：
S404、通过对水稻秧苗、苗期杂草和背景像素总数进行计算，加入惩罚权重的方法使像素种类达到平衡，惩罚权重系数计算过程如式(1)～(3)所示；
其中，w0为水稻秧苗像素的权重、w1为苗期杂草像素的权重和w2为背景像素的权重，Ni0为第i张图像中水稻秧苗像素的个数，Ni1为第i张图像中苗期杂草像素的个数，Ni2为第i张图像中背景像素的个数，Ni为第i张图像中所有像素的总和。试验计算结果如表1所示。
表1图像样本像素量及惩罚权重系数
S5、通过训练数据集训练全卷积神经网络，构建基于全卷积神经网络的水稻秧苗及苗期杂草图像语义分割模型。
通过训练数据集训练全卷积神经网络如图4所示，水稻秧苗及苗期杂草图像语义分割模型包括基于SegNet的编码器-解码器结构和像素分类网络，如图5所示。
基于SegNet的编码器-解码器结构的构建过程为：编码器由VGG16的前十三层卷积网络构成，其中有五个编码单元，第一个编码单元包括VGG16的第一层和第二层卷积网络，第二个编码单元包括VGG16的第三层和第四层卷积网络，第三个编码单元包括VGG16的第五层、第六层和第七层卷积网络，第四个编码单元包括VGG16的第八层、第九层和第十层卷积网络，第五个编码单元包括VGG16的第十一层、第十二层和第十三层卷积网络，通过卷积提取特征，使每个编码单元对应一个解码单元，五个解码单元构成的解码器使用反卷积和上采样，以填充在池化过程中缺失的内容。
像素分类网络的构建过程为：在基于SegNet的编码器-解码器结构中的最后一个卷积层输出水稻秧苗、苗期杂草和背景对应的像素种类，基于SegNet的编码器-解码器结构最后加上一个softmax分类器层为每个像素产生类概率，完成图像像素级别的分类。
进一步地，所述编码器-解码器结构包括：
每个编码单元包括至少两个卷积单元和一个池化层(即pooling层，3×3窗口、步进2和最大池化)，其中第一个编码单元和第二个编码单元都有两个卷积单元，而第三个编码单元、第四个编码单元和第五个编码单元都有三个卷积单元；其中，每个卷积单元包括卷积层、批归一化层和Relu(Rectified linear unit，修正线性单元)层，所述池化层具体功能是使卷积层输出的特征图缩小为原来的1/2，具体参数如下表2所示。
表2 SegNet-VGG16编码器内部结构参数表
在池化层中增加一个索引(index)功能，以保存最大池化选出的权值在3×3滤波器中的相对位置；在解码器中上采样是池化的逆过程，通过索引功能使得图像在上采样中变大2倍，具体参数如下表3所示。
表3 SegNet-VGG16解码器内部结构参数表
如上所述，以20％的彩色样本图像及其对应的标签样本图像样本作为测试数据集，对水稻秧苗及苗期杂草图像语义分割模型进行测试，像素准确率PA(Pixel Accuracy)为图像中语义类比标记正确的像素占总像素的比例，如式(4)所示：
IoU(Intersection over Union，均正比)是语义分割的标准度量，其计算的是像素的标记真实值(ground truth)和像素预测值(predicted segmentation)的并集，该IoU值按每个类别计算，然后取平均值，如式(5)所示：
其中，k表示类别，共k+1个类别(包含背景)，本实验中k＝2。i表示真实类别，j表示预测类别。pii表示真正，是真实类别与预测类别结果相同的像素数量，而pij表示假正，是i类别被错误判断为j类别的像素点数量，pji则表示为假负，即pii代表语义类别判断正确的像素点数量，pij和pji代表语义类别判断错误的像素点数量。
F值为综合考虑召回率和精度的平衡指标，兼顾分割的精准程度和完整性，F值越高，分割效果越好，如式(6)所示：
其中，A为由全卷积分割算法分割得到的像素类别集合，包括背景像素(v＝0)、水稻秧苗像素(v＝1)和苗期杂草像素(v＝2)，B为对应像素集的真实标签集合，包括背景像素(v＝0)、水稻秧苗像素(v＝1)和苗期杂草像素(v＝2)。i，j为像素索引，m为图像高，n为图像宽，vi,j为第i列第j行像素的灰度值。测试结果如下表4所示，可见本实施例的水稻秧苗及苗期杂草图像语义分割模型能够用于水稻秧苗及苗期杂草图像的语义分割。
表4 SegNet-VGG16模型测试结果
像素准确率 IoU F值
水稻秧苗 0.94792 0.51843 0.6972
苗期杂草 0.90606 0.53446 0.64007
背景 0.89914 0.89586 0.78987
S6、利用水稻秧苗及苗期杂草图像语义分割模型对待分割水稻秧苗及苗期杂草的彩色图像的像素进行分类，输出水稻秧苗及苗期杂草分割图像，实现水稻秧苗及苗期杂草图像的语义分割。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，相应的程序可以存储于计算机可读存储介质中。
应当注意，尽管在附图中以特定顺序描述了上述实施例的方法操作，但是这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
实施例2：
如图7所示，本实施例提供了一种水稻秧苗及苗期杂草图像语义分割***，该***包括获取模块、生成模块、样本划分模块、数据集形成模块、构建模块和语义分割模块，各个模块的具体功能如下：
所述获取模块，用于获取水稻秧苗及苗期杂草的彩色样本图像。
所述生成模块，用于生成与彩色样本图像对应的标签样本图像；其中，所述标签样本图像带有水稻秧苗、苗期杂草和背景对应的像素种类的标签。
所述样本划分模块，用于将彩色样本图像及其对应的标签样本图像分为训练样本和测试样本。
所述数据集形成模块，用于对所有样本进行预处理和数据扩增，形成训练数据集和测试数据集；该数据集形成模块如图8所示，具体包括：
调整单元，用于将彩色样本图像及其对应的标签样本图像的尺度调整至预设值。
扩增单元，用于通过图像在[-180°,180°]内随机旋转、沿X、Y轴在[-10°,10°]内随机偏移的方法对所述彩色样本图像及其对应的标签样本图像进行扩增。
随机形成单元，用于随机将80％的彩色样本图像及其对应的标签样本图像作为训练数据集，剩余20％的彩色样本图像及其对应的标签样本图像样本作为测试数据集。
计算单元，用于通过对水稻秧苗、苗期杂草和背景像素总数进行计算，加入惩罚权重的方法使像素种类达到平衡。
所述构建模块，用于通过训练数据集训练全卷积神经网络，构建基于全卷积神经网络的水稻秧苗及苗期杂草图像语义分割模型；其中，水稻秧苗及苗期杂草图像语义分割模型包括基于SegNet的编码器-解码器结构和像素分类网络；
所述基于SegNet的编码器-解码器结构的构建过程为：编码器由VGG16的前十三层卷积网络构成，其中有多个编码单元，通过卷积提取特征，使每个编码单元对应一个解码单元，多个解码单元构成的解码器使用反卷积和上采样，以填充在池化过程中缺失的内容；
所述像素分类网络的构建过程为：在基于SegNet的编码器-解码器结构中的最后一个卷积层输出水稻秧苗、苗期杂草和背景对应的像素种类，基于SegNet的编码器-解码器结构最后加上一个softmax分类器层为每个像素产生类概率，完成图像像素级别的分类。
进一步地，所述编码器-解码器结构包括：
每个编码单元包括至少两个卷积单元和一个池化层；其中，每个卷积单元包括卷积层、批归一化层和Relu层，所述池化层用于使卷积层输出的特征图缩小为原来的1/2；
在池化层中增加一个索引功能，以保存最大池化选出的权值在滤波器中的相对位置；在解码器中上采样是池化的逆过程，通过索引功能使得图像在上采样中变大2倍。
所述语义分割模块，用于利用水稻秧苗及苗期杂草图像语义分割模型对待分割水稻秧苗及苗期杂草的彩色图像的像素进行分类，输出水稻秧苗及苗期杂草分割图像，实现水稻秧苗及苗期杂草图像的语义分割。
在此需要说明的是，上述实施例提供的***仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
实施例3：
本实施例提供了一种计算机设备，该计算机设备可以为计算机，如图9所示，包括通过***总线连接的处理器、存储器、输入装置、显示器和网络接口。其中，处理器用于提供计算和控制能力，存储器包括非易失性存储介质和内存储器，该非易失性存储介质存储有操作***、计算机程序和数据库，该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境，计算机程序被处理器执行时，实现上述实施例1的水稻秧苗及苗期杂草图像语义分割方法，如下：
获取水稻秧苗及苗期杂草的彩色样本图像；
生成与彩色样本图像对应的标签样本图像；其中，所述标签样本图像带有水稻秧苗、苗期杂草和背景对应的像素种类标签；
将彩色样本图像及其对应的标签样本图像分为训练样本和测试样本；
对所有样本进行预处理和数据扩增，形成训练数据集和测试数据集；
通过训练数据集训练全卷积神经网络，构建基于全卷积神经网络的水稻秧苗及苗期杂草图像语义分割模型；
利用水稻秧苗及苗期杂草图像语义分割模型对待分割水稻秧苗及苗期杂草的彩色图像的像素进行分类，输出水稻秧苗及苗期杂草分割图像，实现水稻秧苗及苗期杂草图像的语义分割。
可以理解，本实施例的计算机设备还可以为服务器、移动终端等。
实施例4：
本实施例提供了一种存储介质，该存储介质存储有一个或多个程序，所述程序被处理器执行时，实现上述实施例1的水稻秧苗及苗期杂草图像语义分割方法，如下：
获取水稻秧苗及苗期杂草的彩色样本图像；
生成与彩色样本图像对应的标签样本图像；其中，所述标签样本图像带有水稻秧苗、苗期杂草和背景对应的像素种类标签；
将彩色样本图像及其对应的标签样本图像分为训练样本和测试样本；
对所有样本进行预处理和数据扩增，形成训练数据集和测试数据集；
通过训练数据集训练全卷积神经网络，构建基于全卷积神经网络的水稻秧苗及苗期杂草图像语义分割模型；
利用水稻秧苗及苗期杂草图像语义分割模型对待分割水稻秧苗及苗期杂草的彩色图像的像素进行分类，输出水稻秧苗及苗期杂草分割图像，实现水稻秧苗及苗期杂草图像的语义分割。
本实施例的存储介质可以是磁盘、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、U盘、移动硬盘等介质。
综上所述，本发明通过获取水稻秧苗及苗期杂草的彩色样本图像，以及生成与彩色样本图像对应的标签样本图像，得到训练数据集，通过训练数据集训练全卷积神经网络，构建基于全卷积神经网络的水稻秧苗及苗期杂草图像语义分割模型，经过测试，该水稻秧苗及苗期杂草图像语义分割模型能够用于水稻秧苗及苗期杂草图像的语义分割，保证了分割的精准程度和完整性，而且分割效果好。
以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明构思加以等同替换或改变，都属于本发明专利的保护范围。

Claims (10)

1.一种水稻秧苗及苗期杂草图像语义分割方法，其特征在于，所述方法包括：
获取水稻秧苗及苗期杂草的彩色样本图像；
生成与彩色样本图像对应的标签样本图像；其中，所述标签样本图像带有水稻秧苗、苗期杂草和背景对应的像素种类标签；
将彩色样本图像及其对应的标签样本图像分为训练样本和测试样本；
对所有样本进行预处理和数据扩增，形成训练数据集和测试数据集；
通过训练数据集训练全卷积神经网络，构建基于全卷积神经网络的水稻秧苗及苗期杂草图像语义分割模型；
利用水稻秧苗及苗期杂草图像语义分割模型对待分割水稻秧苗及苗期杂草的彩色图像的像素进行分类，输出水稻秧苗及苗期杂草分割图像，实现水稻秧苗及苗期杂草图像的语义分割。
2.根据权利要求1所述的水稻秧苗及苗期杂草图像语义分割方法，其特征在于，所述对所有样本进行预处理和数据扩增，形成训练数据集和测试数据集，具体包括：
将彩色样本图像及其对应的标签样本图像的尺度调整至预设值；
通过图像在[-180°,180°]内随机旋转、沿X、Y轴在[-10°,10°]内随机偏移的方法对所述彩色样本图像及其对应的标签样本图像进行扩增；
随机将80％的彩色样本图像及其对应的标签样本图像作为训练数据集，剩余20％的彩色样本图像及其对应的标签样本图像样本作为测试数据集。
3.根据权利要求2所述的水稻秧苗及苗期杂草图像语义分割方法，其特征在于，所述对所有样本进行预处理和数据扩增，形成训练数据集和测试数据集，还包括：
通过对水稻秧苗、苗期杂草和背景像素总数进行计算，加入惩罚权重的方法使像素种类达到平衡。
4.根据权利要求1-3任一项所述的水稻秧苗及苗期杂草图像语义分割方法，其特征在于，所述水稻秧苗及苗期杂草图像语义分割模型包括基于SegNet的编码器-解码器结构和像素分类网络；
所述基于SegNet的编码器-解码器结构的构建过程为：编码器由VGG16的前十三层卷积网络构成，其中有多个编码单元，通过卷积提取特征，使每个编码单元对应一个解码单元，多个解码单元构成的解码器使用反卷积和上采样，以填充在池化过程中缺失的内容；
所述像素分类网络的构建过程为：在基于SegNet的编码器-解码器结构中的最后一个卷积层输出水稻秧苗、苗期杂草和背景对应的像素种类，基于SegNet的编码器-解码器结构最后加上一个softmax分类器层为每个像素产生类概率，完成图像像素级别的分类。
5.根据权利要求4所述的水稻秧苗及苗期杂草图像语义分割方法，其特征在于，所述编码器-解码器结构包括：
每个编码单元包括至少两个卷积单元和一个池化层；其中，每个卷积单元包括卷积层、批归一化层和Relu层，所述池化层用于使卷积层输出的特征图缩小为原来的1/2；
在池化层中增加一个索引功能，以保存最大池化选出的权值在滤波器中的相对位置；在解码器中上采样是池化的逆过程，通过索引功能使得图像在上采样中变大2倍。
6.一种水稻秧苗及苗期杂草图像语义分割***，其特征在于，所述***包括：
获取模块，用于获取水稻秧苗及苗期杂草的彩色样本图像；
生成模块，用于生成与彩色样本图像对应的标签样本图像；其中，所述标签样本图像带有水稻秧苗、苗期杂草和背景对应的像素种类标签；
样本划分模块，用于将彩色样本图像及其对应的标签样本图像分为训练样本和测试样本；
数据集形成模块，用于对所有样本进行预处理和数据扩增，形成训练数据集和测试数据集；
构建模块，用于通过训练数据集训练全卷积神经网络，构建基于全卷积神经网络的水稻秧苗及苗期杂草图像语义分割模型；
语义分割模块，用于对待分割水稻秧苗及苗期杂草的彩色图像进行预处理，利用水稻秧苗及苗期杂草图像语义分割模型对待分割水稻秧苗及苗期杂草的彩色图像的像素进行分类，输出水稻秧苗及苗期杂草分割图像，实现水稻秧苗及苗期杂草图像的语义分割。
7.根据权利要求6所述的水稻秧苗及苗期杂草图像语义分割***，其特征在于，所述数据集形成模块，具体包括：
调整单元，用于将彩色样本图像及其对应的标签样本图像的尺度调整至预设值；
扩增单元，用于通过图像在[-180°,180°]内随机旋转、沿X、Y轴在[-10°,10°]内随机偏移的方法对所述彩色样本图像及其对应的标签样本图像进行扩增；
随机形成单元，用于随机将80％的彩色样本图像及其对应的标签样本图像作为训练数据集，剩余20％的彩色样本图像及其对应的标签样本图像样本作为测试数据集。
8.根据权利要求7所述的水稻秧苗及苗期杂草图像语义分割***，其特征在于，所述数据集形成模块，还包括：
计算单元，用于通过对水稻秧苗、苗期杂草和背景像素总数进行计算，加入惩罚权重的方法使像素种类达到平衡。
9.一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现权利要求1-5任一项所述的水稻秧苗及苗期杂草图像语义分割方法。
10.一种存储介质，存储有程序，其特征在于，所述程序被处理器执行时，实现权利要求1-5任一项所述的水稻秧苗及苗期杂草图像语义分割方法。
CN201811395683.XA 2018-11-22 2018-11-22 水稻秧苗及苗期杂草图像语义分割方法、***、设备和介质 Pending CN109614973A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811395683.XA CN109614973A (zh) 2018-11-22 2018-11-22 水稻秧苗及苗期杂草图像语义分割方法、***、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811395683.XA CN109614973A (zh) 2018-11-22 2018-11-22 水稻秧苗及苗期杂草图像语义分割方法、***、设备和介质

Publications (1)

Publication Number Publication Date
CN109614973A true CN109614973A (zh) 2019-04-12

Family

ID=66004836

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811395683.XA Pending CN109614973A (zh) 2018-11-22 2018-11-22 水稻秧苗及苗期杂草图像语义分割方法、***、设备和介质

Country Status (1)

Country Link
CN (1) CN109614973A (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110059772A (zh) * 2019-05-14 2019-07-26 温州大学 基于迁移vgg网络的遥感图像语义分割方法
CN110197491A (zh) * 2019-05-17 2019-09-03 上海联影智能医疗科技有限公司 图像分割方法、装置、设备和存储介质
CN110321905A (zh) * 2019-07-11 2019-10-11 广东工业大学 基于语义分割的异常区域检测方法、***及相关组件
CN110969182A (zh) * 2019-05-17 2020-04-07 丰疆智能科技股份有限公司 基于农田图像的卷积神经网络构建方法及其***
CN111368843A (zh) * 2020-03-06 2020-07-03 电子科技大学 一种基于语义分割的冰上湖提取的方法
CN111612797A (zh) * 2020-03-03 2020-09-01 江苏大学 一种水稻图像信息处理***
CN111639575A (zh) * 2020-05-25 2020-09-08 广东石油化工学院 除草耕深调节方法、装置、***、计算机设备及存储介质
CN111724371A (zh) * 2020-06-19 2020-09-29 联想(北京)有限公司 一种数据处理方法、装置及电子设备
CN112116595A (zh) * 2020-10-27 2020-12-22 河北农业大学 一种端到端的植物根系特征自动分割***
CN113280820A (zh) * 2021-06-09 2021-08-20 华南农业大学 基于神经网络的果园视觉导航路径提取方法与***
CN113610035A (zh) * 2021-08-16 2021-11-05 华南农业大学 一种基于改进编解码网络的水稻分蘖期杂草分割识别方法
CN113597874A (zh) * 2021-09-29 2021-11-05 农业农村部南京农业机械化研究所 一种除草机器人及其除草路径的规划方法、装置和介质
CN113610040A (zh) * 2021-08-16 2021-11-05 华南农业大学 一种基于改进BiSeNetV2分割网络的水稻田杂草密度实时统计方法
CN113807143A (zh) * 2020-06-12 2021-12-17 广州极飞科技股份有限公司 作物连通域的识别方法、装置及作业***
CN117496353A (zh) * 2023-11-13 2024-02-02 安徽农业大学 基于两阶段分割模型的稻田秧苗杂草茎中心区分定位方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564587A (zh) * 2018-03-07 2018-09-21 浙江大学 一种基于全卷积神经网络的大范围遥感影像语义分割方法
CN108647568A (zh) * 2018-03-30 2018-10-12 电子科技大学 基于全卷积神经网络的草地退化自动提取方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564587A (zh) * 2018-03-07 2018-09-21 浙江大学 一种基于全卷积神经网络的大范围遥感影像语义分割方法
CN108647568A (zh) * 2018-03-30 2018-10-12 电子科技大学 基于全卷积神经网络的草地退化自动提取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
EVAN SHELHAMER, JONATHAN LONG, AND TREVOR DARRELL, MEMBER: "Fully Convolutional Networks for Semantic Segmentation", 《 IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
轩永仓: "基于全卷积神经网络的大田复杂场景图像的语义分割研究", 《信息科技辑》 *

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110059772B (zh) * 2019-05-14 2021-04-30 温州大学 基于多尺度解码网络的遥感图像语义分割方法
CN110059772A (zh) * 2019-05-14 2019-07-26 温州大学 基于迁移vgg网络的遥感图像语义分割方法
CN110969182A (zh) * 2019-05-17 2020-04-07 丰疆智能科技股份有限公司 基于农田图像的卷积神经网络构建方法及其***
CN110197491B (zh) * 2019-05-17 2021-08-17 上海联影智能医疗科技有限公司 图像分割方法、装置、设备和存储介质
CN110197491A (zh) * 2019-05-17 2019-09-03 上海联影智能医疗科技有限公司 图像分割方法、装置、设备和存储介质
CN110321905A (zh) * 2019-07-11 2019-10-11 广东工业大学 基于语义分割的异常区域检测方法、***及相关组件
CN111612797A (zh) * 2020-03-03 2020-09-01 江苏大学 一种水稻图像信息处理***
CN111612797B (zh) * 2020-03-03 2021-05-25 江苏大学 一种水稻图像信息处理***
CN111368843A (zh) * 2020-03-06 2020-07-03 电子科技大学 一种基于语义分割的冰上湖提取的方法
CN111368843B (zh) * 2020-03-06 2022-06-10 电子科技大学 一种基于语义分割的冰上湖提取的方法
CN111639575A (zh) * 2020-05-25 2020-09-08 广东石油化工学院 除草耕深调节方法、装置、***、计算机设备及存储介质
CN113807143A (zh) * 2020-06-12 2021-12-17 广州极飞科技股份有限公司 作物连通域的识别方法、装置及作业***
CN111724371A (zh) * 2020-06-19 2020-09-29 联想(北京)有限公司 一种数据处理方法、装置及电子设备
CN111724371B (zh) * 2020-06-19 2023-05-23 联想(北京)有限公司 一种数据处理方法、装置及电子设备
CN112116595A (zh) * 2020-10-27 2020-12-22 河北农业大学 一种端到端的植物根系特征自动分割***
CN113280820A (zh) * 2021-06-09 2021-08-20 华南农业大学 基于神经网络的果园视觉导航路径提取方法与***
CN113280820B (zh) * 2021-06-09 2022-11-29 华南农业大学 基于神经网络的果园视觉导航路径提取方法与***
CN113610040A (zh) * 2021-08-16 2021-11-05 华南农业大学 一种基于改进BiSeNetV2分割网络的水稻田杂草密度实时统计方法
CN113610035A (zh) * 2021-08-16 2021-11-05 华南农业大学 一种基于改进编解码网络的水稻分蘖期杂草分割识别方法
CN113610040B (zh) * 2021-08-16 2023-06-27 华南农业大学 一种基于改进BiSeNetV2分割网络的水稻田杂草密度实时统计方法
CN113610035B (zh) * 2021-08-16 2023-10-10 华南农业大学 一种基于改进编解码网络的水稻分蘖期杂草分割识别方法
CN113597874A (zh) * 2021-09-29 2021-11-05 农业农村部南京农业机械化研究所 一种除草机器人及其除草路径的规划方法、装置和介质
WO2023050783A1 (zh) * 2021-09-29 2023-04-06 农业农村部南京农业机械化研究所 除草机器人及其除草路径的规划方法、装置和介质
CN117496353A (zh) * 2023-11-13 2024-02-02 安徽农业大学 基于两阶段分割模型的稻田秧苗杂草茎中心区分定位方法

Similar Documents

Publication Publication Date Title
CN109614973A (zh) 水稻秧苗及苗期杂草图像语义分割方法、***、设备和介质
CN107391703B (zh) 图像库的建立方法及***、图像库和图像分类方法
CN112906720B (zh) 基于图注意力网络的多标签图像识别方法
CN111079602A (zh) 基于多尺度区域特征约束的车辆细粒度识别方法及装置
CN107679250A (zh) 一种基于深度自编码卷积神经网络的多任务分层图像检索方法
CN106227851A (zh) 基于深度卷积神经网络端对端的通过分层深度搜索的图像检索方法
CN107730000A (zh) 用于空调的冷媒泄漏检测方法和装置
CN107358142A (zh) 基于随机森林构图的极化sar图像半监督分类方法
CN106529499A (zh) 基于傅里叶描述子和步态能量图融合特征的步态识别方法
CN110619059B (zh) 一种基于迁移学习的建筑物标定方法
CN109583483A (zh) 一种基于卷积神经网络的目标检测方法和***
CN112949740B (zh) 一种基于多级度量的小样本图像分类方法
CN110070026B (zh) 基于模式识别的视频图像危险态势感知方法、***、装置
CN104751175B (zh) 基于增量支持向量机的sar图像多类标场景分类方法
CN110298348A (zh) 遥感影像建筑物样本区域提取方法及***、存储介质、设备
CN110807485B (zh) 基于高分遥感影像二分类语义分割图融合成多分类语义图的方法
CN106169083A (zh) 基于视觉特征的电影推荐方法和***
CN112464766A (zh) 一种农田地头自动识别方法及***
CN110765882A (zh) 一种视频标签确定方法、装置、服务器及存储介质
CN112131261B (zh) 基于社区网络的社区查询方法、装置和计算机设备
CN113111716A (zh) 一种基于深度学习的遥感影像半自动标注方法和装置
CN115359353A (zh) 一种花卉识别分类方法及装置
CN104102922A (zh) 一种基于上下文感知字典学习的害虫图像分类方法
CN106096622A (zh) 半监督的高光谱遥感图像分类标注方法
CN111242134A (zh) 一种基于特征自适应学习的遥感影像地物分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190412

RJ01 Rejection of invention patent application after publication