CN114549939A - 一种基于图像特征提取的树木病虫害图片分类方法 - Google Patents

Abstract

本发明公开了一种基于图像特征提取的树木病虫害图片分类方法，包括：对树木病虫害图像数据进行采集和存储；对树木病虫害图像数据的病虫害类别进行人工标注；将采集的多张树木病虫害图像的灰度向量及其类别标注值构成原始的全量数据集；M个机器学习算法并行地为原始的全量数据集的每张图像提取M个新的数值特征；在原始的全量数据集上使用多层感知机神经网络算法训练最终的病虫害类别分类模型；对树木病虫害图像的病虫害类别进行预测；使用集合分类模型对树木病虫害图像提取多个新的特征，通过放回随机抽样确保不同的新特征之间是相互独立的，可提高树木病虫害图像识别的准确率。

Description

一种基于图像特征提取的树木病虫害图片分类方法

技术领域

本发明属于图片识别处理领域，具体涉及一种基于图像特征提取的树木病虫害图片分类方法。

背景技术

树木病虫害的识别是对树木进行保护和利用的基础，传统的病虫害识别方式通常是农业专家及技术人员借助光学显微镜目视的方式进行观测识别，这种传统方法存在效率较低、极度依赖观测人员的经验、成本较高等缺点。随着机器学习等相关技术的发展，在人工标注的图像样本的基础之上训练机器学习分类模型来对树木病虫害图像进行分类具有可行性。

主流的机器学习图像分类模型能否取得较好识别效果的关键在于图像特征的提取，关于图像特征提取，业界主流的方法是对图像中物体的边缘轮廓等特征进行提取；但这种方法分类结果的独立性不好，影响树木病虫害图像识别地准确率。

发明内容

针对现有技术的以上缺陷或改进需求，本发明要解决的是方法是对图像中物体的边缘轮廓等特征进行提取；但这种方法分类结果的独立性不好，影响树木病虫害图像识别地准确率的问题。

为了实现上述目的，本发明涉及一种基于图像特征提取的树木病虫害图片分类方法，包括如下步骤：

步骤1：对树木病虫害图像数据进行采集和存储；

步骤2：对步骤1中的树木病虫害图像数据的病虫害类别进行人工标注；

步骤3：将步骤1采集的多张树木病虫害图像的灰度向量及其类别标注值构成原始的全量数据集；

步骤4：选取M个不同的机器学习算法,对其中的每个机器学习算法都依次执行4个步骤:通过放回抽样构造新的训练集、寻找最优参数、训练图像分类模型、使用图像分类模型为原始的全量数据集的每张图像提取1个新的数值特征；M个机器学习算法并行地执行上述流程为原始的全量数据集的每张图像提取了M个新的数值特征；

步骤5：以图像的灰度值向量以及M个新的数值特征作为输入，以病虫害类别标注值作为输出，在原始的全量数据集上使用多层感知机神经网络算法训练最终的病虫害类别分类模型；

步骤6：对树木病虫害图像的病虫害类别进行预测。

进一步的，所述步骤1的具体方法为：从自然界中通过图像传感器采集总共N张各种类型的树木病虫害图像，将这N张图像分别记为χ ₁ ,χ ₂ ,…,χ _N ，所有图像的像素都是H×W，每张图像都有3个通道，按照红绿蓝的顺序进行存储，每个通道都对应着一个H行W列的灰度矩阵。

进一步的，所述步骤2的具体方法为：设病虫害的类别总共有C种，C种病虫害类别用1,2,…,C这C个整数表示，步骤1中N张各种类型的树木病虫害图像的病虫害类别已经被人工标注，类别标注整数值分别是y ₁ , y ₂ , …, y _N ，则y ₁ , y ₂ ,…, y _N 均属于集合{1,2,⋯,C}。

进一步的，所述步骤3的具体方法为：设步骤1中N张各种类型的树木病虫害图像中的任一病虫害图像在数学上都对应着3个H行W列的灰度矩阵R _i ,G _i ,B _i ，将这三个矩阵依次按行展开成3个灰度值向量，每个向量的长度都是H× W，再把这三个向量拼接成一个长度为3 ×H×W的灰度值向量，将这个长为3×H×W的灰度值向量记为x _i ，类别标注值记为y _i ,图像的记号与图像对应的灰度值向量一一对应；

N张各种类型的树木病虫害图像的灰度向量及其类别标注值构成原始的全量数据集：

。

进一步的，所述步骤4的具体方法为：

使用M种不同的机器学习算法并行地训练图像分类模型，要求这M种机器学习算法 均不是多层感知机神经网络分类模型；将这M种机器学习算法分别记为

；

针对选择的M种机器学习算法中的某个特定算法

:

,

为该算法构造训练集、选择最优参数、基于最优参数训练模型的流程是：

第一步，构造训练集；设定放回抽样的次数是L，初始化新的训练集为空集

，循环执行抽样操作L次，每次执行抽样操作时，都从

中随机地选择一个样本，将该样本复制一份并追加到新训练集S中；L 次抽样操作都执行完成后，新训练集S的样本容量为L；

第二步，选择最优参数；针对机器学习分类算法

，j=1,2, …,M 为其构造算法参数搜索集合W，W中的每个元素都是与算法

相匹配的参 数；基于W中的不同参数来训练算法

，最终的分类准确率是不一样，为此 需要从W中找到一个使得分类准确率最高的参数；将

中 的样本随机的切分成占比75%的训练集和占比25%的验证集，对于W中的每个参数，使用该参 数在训练集上训练模型，在验证集上计算分类准确率，筛选出使得验证集上分类准确率最 高的那个参数，将其记为

；

第三步，基于最优参数训练模型；使用参数

在

上训练树木病虫害分类模型，得到一个病虫害类别分类函数

， 自变量x代表长度为3×H×W的灰度值向量变量,分类函数的输出值是一个代表病虫害类别 的整数值；

将上述包含3个步骤的流程作用在所有的M种算法上，最终得到M个病虫害类别分类函数：

;

将N张各种类型的树木病虫害图像的灰度值向量x _i ,i=1,2, ^… ,N,输入进M个病虫害类别分类函数中，则为第i张图像新增了M个特征：

。

进一步的，所述步骤5的具体方法为：

对于N张各种类型的树木病虫害图像的灰度值向量x _i 及类别标注值y _i ,，将每张图 像的灰度值向量与M个新增的特征s _i,1 , s _i,2 , …，s _i,M , i=1,2, …,N拼接成一个新的输入 向量

，

的具体构造如下：

;

使用多层感知机神经网络算法MLP以及匹配的参数w _MLP ，在训练集

_, y _i ,i=1,2, …,N上训练多层感知机图像分类函数f _MLP (w _MLP ,x)，自变量x代表长度为3×H×W的灰度值向 量,分类函数的输出值是一个代表病虫害类别的整数值。

进一步的，所述步骤6的具体方法为：

对于一张新采集且病虫害类别未知的树木病虫害图像x _new ，通过裁剪缩放使得其 像素是H×W，裁剪缩放后的图像对应着3个H行W列的灰度矩阵R _new ,G _new ,B _new ，将这三个矩阵 依次按行展开成3个灰度值向量，每个向量的长度都是H×W，再把这三个向量拼接成一个长 度为3×H×W的灰度值向量，将这个长为3×H×W的灰度值向量也记为x _new ，将x _new 输入M个病 虫害分类函数：

中，为该图 像新增了M个特征：

将x _new 与M个新增的特征拼接成一个新的输入向量

：

；

将

输入多层感知机图像分类函数

中，则这张新采集 且病虫害类别未知的树木病虫害图像的病虫害类别由下式给出：

。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

本发明的基于图像特征提取的树木病虫害图片分类方法，使用集合分类模型对树木病虫害图像提取多个新的特征，通过放回随机抽样确保不同的新特征之间是相互独立的，可提高树木病虫害图像识别的准确率。

附图说明

图1为本发明较佳实施例的流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

请参考图1，本发明涉及一种基于图像特征提取的树木病虫害图片分类方法，具体包括如下步骤：

(1)树木病虫害图像数据集的标注

从自然界中通过图像传感器采集总共N张各种类型的树木病虫害图像，将这N张图像分别记为χ ₁ ,χ ₂ ,…,χ _N ，所有图像的像素都是H×W，每张图像都有3个通道，按照红绿蓝的顺序进行存储，每个通道都对应着一个H行W列的灰度矩阵。

设病虫害的类别总共有C种，C种病虫害类别用1,2,…,C这C个整数表示， N张各种类型的树木病虫害图像的病虫害类别已经被人工标注，类别标注整数值分别是y ₁ , y ₂ , …, y _N ，则y ₁ , y ₂ ,…, y _N 均属于集合{1,2,⋯,C}。

N张各种类型的树木病虫害图像中的任一病虫害图像在数学上都对应着3个H行W列的灰度矩阵R _i ,G _i ,B _i ，将这三个矩阵依次按行展开成3个灰度值向量，每个向量的长度都是H× W，再把这三个向量拼接成一个长度为3×H×W的灰度值向量，将这个长为3×H×W的灰度值向量记为x _i ，类别标注值记为y _i ,图像的记号与图像对应的灰度值向量一一对应；

N张各种类型的树木病虫害图像的灰度向量及其类别标注值构成原始的全量数据集：

。

(2)基于集合分类模型的树木病虫害图像特征提取

使用M种不同的机器学习算法并行地训练图像分类模型，要求这M种机器学习算法 均不是多层感知机神经网络分类模型；将这M种机器学习算法分别记为

；

针对选择的M种机器学习算法中的某个特定算法

:

,

为该算法构造训练集、选择最优参数、基于最优参数训练模型的流程是：

第一步，构造训练集；设定放回抽样的次数是L，初始化新的训练集为空集

，循环执行抽样操作L次，每次执行抽样操作时，都从

中随机地选择一个样本，将该样本复制一份并追加到新训练集S中；L 次抽样操作都执行完成后，新训练集S的样本容量为L；

第二步，选择最优参数；针对机器学习分类算法

，j=1,2, …,M

为其构造算法参数搜索集合W，W中的每个元素都是与算法

相 匹配的参数；基于W中的不同参数来训练算法

，最终的分类准确率是不 一样，为此需要从W中找到一个使得分类准确率最高的参数；将

中 的样本随机的切分成占比75%的训练集和占比25%的验证集，对于W中的每个参数，使用该参 数在训练集上训练模型，在验证集上计算分类准确率，筛选出使得验证集上分类准确率最 高的那个参数，将其记为

；

第三步，基于最优参数训练模型；使用参数

在

上训练树木病虫害分类模型，得到一个病虫害类别分类函数

，自变量x代表长度为3×H×W的灰度值向量变量, 分类函数的输出值是一个代表病虫害类别的整数值；

将上述包含3个步骤的流程作用在所有的M种算法上，最终得到M个病虫害类别分类函数：

;

将N张各种类型的树木病虫害图像的灰度值向量x _i ,i=1,2, ^… ,N,输入进M个病虫害类别分类函数中，则为第 i张图像新增了M个特征：

。

(3)树木病虫害图像分类模型的训练

对于N张各种类型的树木病虫害图像的灰度值向量x _i 及类别标注值y _i ,，在第(2)节 中通过集合分类模型为每个病虫害图像新增M个新增的特征s _i,1 , s _i,2 , …，s _i,M ,将每张图 像的灰度值向量与M个新增的特征s _i,1 , s _i,2 , …，s _i,M , i=1,2, …,N拼接成一个新的输入 向量

，

的具体构造如下：

;

使用多层感知机神经网络算法MLP以及匹配的参数w _MLP ，在训练集

_, y _i ,i=1,2, …,N上训练多层感知机图像分类函数f _MLP (w _MLP ,x)，自变量x代表长度为3×H×W的灰度值向 量,分类函数的输出值是一个代表病虫害类别的整数值。

(4)树木病虫害图像类别的预测

对于一张新采集且病虫害类别未知的树木病虫害图像x _new ，通过裁剪缩放使得其 像素是H×W，裁剪缩放后的图像对应着3个H行W列的灰度矩阵R _new ,G _new ,B _new ，将这三个矩阵 依次按行展开成3个灰度值向量，每个向量的长度都是H×W，再把这三个向量拼接成一个长 度为3×H×W的灰度值向量，将这个长为3×H×W的灰度值向量也记为x _new ，将x _new 输入M个病 虫害分类函数：

中，为该图 像新增了M个特征：

使用第(3)节涉及到的方法，将x _new 与M个新增的特征拼接成一个新的输入向量

：

；

将

输入多层感知机图像分类函数

中，则这张新采集 且病虫害类别未知的树木病虫害图像的病虫害类别由下式给出：

。

相较于业界主流的做法，本方案创新性地提出了一种新的图像特征提取方法：使用多个机器学习分类算法在标注好的病虫害图像数据集上并行地训练，训练每个机器学习分类模型训练时，不直接使用原始的全量数据集，而是对原始全量数据集进行有放回的随机抽样，在又放回随机抽样得到的新数据集上再训练这个特定的机器学习分类模型。由于放回抽样的随机性，不同机器学习分类模型的训练集是不同的，确保了分类结果的独立性。

将一张病虫害图像输入进训练完成后得到的多个图像分类函数中，得到若干个分类结果，将这些分类结果看作新的特征，则新特征的数量与并行训练的机器学习分类算法的数量一致。将这若干个新的特征结合图像的灰度值向量作为新的输入数据，训练神经网络分类模型，最终得到树木病虫害图像分类模型。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于图像特征提取的树木病虫害图片分类方法，其特征在于，包括如下步骤：

步骤1：对树木病虫害图像数据进行采集和存储；

步骤2：对步骤1中的树木病虫害图像数据的病虫害类别进行人工标注；

步骤3：将步骤1采集的多张树木病虫害图像的灰度向量及其类别标注值构成原始的全量数据集；

步骤4：选取M个不同的机器学习算法,对其中的每个机器学习算法都依次执行4个步骤:通过放回抽样构造新的训练集、寻找最优参数、训练图像分类模型、使用图像分类模型为原始的全量数据集的每张图像提取1个新的数值特征；M个机器学习算法并行地执行上述流程为原始的全量数据集的每张图像提取了M个新的数值特征；

步骤5：以图像的灰度值向量以及M个新的数值特征作为输入，以病虫害类别标注值作为输出，在原始的全量数据集上使用多层感知机神经网络算法训练最终的病虫害类别分类模型；

步骤6：对树木病虫害图像的病虫害类别进行预测。

2.根据权利要求1所述的基于图像特征提取的树木病虫害图片分类方法，其特征在于，所述步骤1的具体方法为：从自然界中通过图像传感器采集总共N张各种类型的树木病虫害图像，将这N张图像分别记为χ ₁ ,χ ₂ ,…,χ _N ，所有图像的像素都是H×W，每张图像都有3个通道，按照红绿蓝的顺序进行存储，每个通道都对应着一个H行W列的灰度矩阵。

3.根据权利要求2所述的基于图像特征提取的树木病虫害图片分类方法，其特征在于，所述步骤2的具体方法为：设病虫害的类别总共有C种，C种病虫害类别用1,2,…,C这C个整数表示，步骤1中N张各种类型的树木病虫害图像的病虫害类别已经被人工标注，类别标注整数值分别是y ₁ , y ₂ , …, y _N ，则y ₁ , y ₂ ,…, y _N 均属于集合{1,2,⋯,C}。

4.根据权利要求3所述的基于图像特征提取的树木病虫害图片分类方法，其特征在于：所述步骤3的具体方法为：设步骤1中N张各种类型的树木病虫害图像中的任一病虫害图像在数学上都对应着3个H行W列的灰度矩阵R _i ,G _i ,B _i ，将这三个矩阵依次按行展开成3个灰度值向量，每个向量的长度都是H× W，再把这三个向量拼接成一个长度为3×H×W的灰度值向量，将这个长为3×H×W的灰度值向量记为x _i ，类别标注值记为y _i ,图像的记号与图像对应的灰度值向量一一对应；

N张各种类型的树木病虫害图像的灰度向量及其类别标注值构成原始的全量数据集：

。

5.根据权利要求4所述的基于图像特征提取的树木病虫害图片分类方法，其特征在于，所述步骤4的具体方法为：

使用M种不同的机器学习算法并行地训练图像分类模型，要求这M种机器学习算法均不 是多层感知机神经网络分类模型；将这M种机器学习算法分别记为

；

针对选择的M种机器学习算法中的某个特定算法

:

,

为该算法构造训练集、选择最优参数、基于最优参数训练模型的流程是：

第一步，构造训练集；设定放回抽样的次数是L，初始化新的训练集为空集

，循环执行抽样操作L次，每次执行抽样操作时，都从

中随机地选择一个样本，将该样本复制一份并追加到新训练集S中；L 次抽样操作都执行完成后，新训练集S的样本容量为L；

第二步，选择最优参数；针对机器学习分类算法

，j=1,2, …,M为其 构造算法参数搜索集合W，W中的每个元素都是与算法

相匹配的参数；基 于W中的不同参数来训练算法

，最终的分类准确率是不一样，为此需要 从W中找到一个使得分类准确率最高的参数；将

中的样本 随机的切分成占比75%的训练集和占比25%的验证集，对于W中的每个参数，使用该参数在训 练集上训练模型，在验证集上计算分类准确率，筛选出使得验证集上分类准确率最高的那 个参数，将其记为

；

第三步，基于最优参数训练模型；使用参数

在

上训练树木病虫害分类模型，得到一个病虫害类别分类函数

，自变量x代表长度为3×H×W的灰度值向量变量,分类函数的输出值是一个代表病虫害类 别的整数值；

将上述包含3个步骤的流程作用在所有的M种算法上，最终得到M个病虫害类别分类函数：

;

将N张各种类型的树木病虫害图像的灰度值向量x _i ,i=1,2, …,N,输入进M个病虫害类别分类函数中，则为第 i张图像新增了M个特征：

。

6.根据权利要求5所述的基于图像特征提取的树木病虫害图片分类方法，其特征在于，所述步骤5的具体方法为：

对于N张各种类型的树木病虫害图像的灰度值向量x _i 及类别标注值y _i ,，将每张图像的 灰度值向量与M个新增的特征s _i,1 , s _i,2 , …，s _i,M , i=1,2, …,N拼接成一个新的输入向量

，

的具体构造如下：

;

使用多层感知机神经网络算法MLP以及匹配的参数w _MLP ，在训练集

_, y _i , i=1,2, …,N 上训练多层感知机图像分类函数f _MLP (w _MLP ,x)，自变量x代表长度为3×H×W的灰度值向量, 分类函数的输出值是一个代表病虫害类别的整数值。

7.根据权利要求6所述的基于图像特征提取的树木病虫害图片分类方法，其特征在于，所述步骤6的具体方法为：

对于一张新采集且病虫害类别未知的树木病虫害图像x _new ，通过裁剪缩放使得其像素 是H×W，裁剪缩放后的图像对应着3个H行W列的灰度矩阵R _new ,G _new ,B _new ，将这三个矩阵依次 按行展开成3个灰度值向量，每个向量的长度都是H×W，再把这三个向量拼接成一个长度为3×H×W的灰度值向量，将这个长为3×H×W的灰度值向量也记为x _new ，将x _new 输入M个病虫害 分类函数：

中，为该图像新 增了M个特征：

将x _new 与M个新增的特征拼接成一个新的输入向量

：

；

将

输入多层感知机图像分类函数

中，则这张新采集且病虫 害类别未知的树木病虫害图像的病虫害类别由下式给出：

。

Images