CN112800929A - 一种基于深度学习的竹笋数量与高生长率的在线监测方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的竹笋数量与高生长率在线监测方法，包括：1通过固定的网络摄像头定时采集包含竹笋的竹林图像；2采用已训练好的竹笋深度学习模型，获得目标区域检测框以及各检测框的顶点坐标，检测框的个数即代表竹笋的数量；3对所有检测框进行排序，并将排序后的对应坐标存入基础数据库或临时数据库；4筛选竹笋；5计算竹笋高生长率。本发明提出的方法可以实时监测竹林中竹笋数量和高生长率，从而判断竹笋的生长状况。该方法实用性强，结果准确，适用于竹林经营的各个方面，尤其是笋用林的培育和林下经济。

Description

一种基于深度学习的竹笋数量与高生长率的在线监测方法

技术领域

本发明涉及智慧农林领域，具体涉及一种基于深度学习的竹笋数量与高生长率的在线监测方法，适用于竹林经营的各个方面，尤其是笋用林的培育和林下经济。

背景技术

竹子在全球范围内有着广泛的分布，被誉为“世界第二大森林”。我国是世界上拥有竹类资源最多的国家。竹子不仅在吸收二氧化碳、防止水土流失、维持生物多样性等方面发挥重要作用，而且为人类提供多种加工材料，竹笋更是绿色健康食品。竹笋的数量、高生长状态与竹笋品质、成竹产量等密切相关，因此在竹林经营、笋用林培育和林下经济中，需要及时了解竹笋数量以及高生长状态。

由于竹林密度大、环境复杂，竹笋数量与高生长速率难以高效、准确获取。传统的竹笋数量主要是依靠人工计数，高生长速率主要通过卷尺、标杆等工具进行人工接触式测量高度后再计算。计算机视觉和图像测量是一种可行的解决方法，通过监控摄像头定时获取竹林图像，无线传输到云服务器，设计图像处理和分析算法，获得竹笋数量和高生长速率。常见图像处理和分析算法的核心是图像分割，只有把竹笋分割出来才能进一步计算数量和高度。由于背景、光照等多种不利因素影响较大，分割算法需要综合运用颜色、纹理、形态等特征，不仅复杂度高，而且效果不佳。后续尚需进行一系列图像处理操作，同时也会进一步引入误差。

发明内容

本发明是为了解决上述现有技术存在的不足之处，提出一种基于深度学习的竹笋数量与高生长率的在线监测方法，以期能够实现竹笋数量与高生长率的在线自动检测，从而能够判断竹笋的生长状况并采取相应的措施。

本发明为解决技术问题采用如下技术方案：

本发明一种基于深度学习的竹笋数量与高生长率的在线监测方法的特点是按如下步骤进行：

步骤1：定义当前获取的图像帧数为n，并初始化n＝1；

步骤2：获取第n帧包含竹笋的竹林图像；

步骤3：采用已训练好的竹笋深度学习模型对所获取的第n帧竹林图像进行竹笋检测，获得所述第n帧竹林图像中的m_n个竹笋区域检测框以及各竹笋区域检测框的四个顶点的坐标值，其中，竹笋区域检测框的个数m_n表示所检测出的第n帧竹林图像中的竹笋数量；

步骤4：对第n帧竹林图像中的m_n个竹笋区域检测框按照排序原则进行排序；

步骤5：判断n＝1是否成立，若成立，则将排序后的竹笋区域检测框所对应的坐标存入基础数据库；否则，将排序后的竹笋区域检测框所对应的坐标存入临时数据库；

步骤6：判断m_n＝m_n-1是否成立，若成立，则直接执行步骤7；否则，判断m_n-m_n-1＞0是否成立，若成立，则将第n帧竹林图像中所增加的m_n-m_n-1个竹笋区域检测框按照排序原则存入基础数据库中，否则，回到步骤2继续检测；当n＝1时，令m_n＝m_n-1；

步骤7：筛选竹笋；

利用式(1)对所述临时数据库和基础数据库中的竹笋区域检测框的坐标信息进行筛选，若满足式(1)，则表示相应的竹笋检测框图有效，否则，表示相应的竹笋检测框图无效；

式(1)中，x_e和y_e分别表示最大横坐标误差和最大纵坐标误差；x_i1 ^n-1表示第n-1帧竹林图像中排序后的第i个竹笋区域检测框的左下角顶点的x轴坐标，x_i1 ⁿ表示第n帧竹林图像中排序后的第i个竹笋区域检测框的左下角顶点的x轴坐标，y_i1 ^n-1表示第n-1帧竹林图像中排序后的第i个竹笋区域检测框的左下角顶点的y轴坐标，y_i1 ⁿ表示第n帧竹林图像中排序后的第i个竹笋区域检测框的左下角顶点的y轴坐标；i＝[1,m_n]；

步骤8：利用式(2)求得第i个竹笋在第n-1帧竹林图像中的高度p_i ^n-1和在第n帧竹林图像中的高度p_i ⁿ；

式(2)中，y_i2 ^n-1表示第n-1帧竹林图像中排序后的第i个竹笋区域检测框的右下角顶点的y轴坐标，y_i2 ⁿ表示第n帧竹林图像中排序后的第i个竹笋区域检测框的右下角顶点的y轴坐标，y_i3 ^n-1表示第n-1帧竹林图像中排序后的第i个竹笋区域检测框的右上角顶点的y轴坐标，y_i3 ⁿ表示第n帧竹林图像中排序后的第i个竹笋区域检测框的右上角顶点的y轴坐标；

步骤9：利用式(3)计算第i个竹笋在第n帧竹林图像中高生长率

式(3)中，α_i ⁿ表示第i个竹笋在第n帧竹林图像中的高生长率，p_i ^n-1表示第i个竹笋在第n-1帧竹林图像中的高度，p_i ⁿ表示第i个竹笋在第n帧竹林图像中的高度。

本发明所述的基于深度学习的竹笋数量与高生长速率的在线监测方法的特点也在于，所述步骤4中的排序原则为：

将每个竹笋区域检测框以其左下角顶点的x轴坐标进行升序排序，若x轴坐标相同，则以左下角顶点的y轴坐标进行升序排序，从而得到排序后的竹笋区域检测框。

与现有技术相比，本发明的有益效果在于：

1、本发明通过已训练好的竹笋深度学习模型，再结合独特的目标检测框顶点坐标排序、筛选和运算方法，可以同时准确地获取竹笋数量和高生长率，满足了在线自动监测需求。

2、本发明方法是基于深度学习原理进行竹笋检测，本质上来说，后续随着应用时间增长而不断获得新样本，检测精度具有不断提高的空间，目标检测模型将会得到更好的训练结果。

附图说明

图1为本发明方法的总体流程图；

图2为本发明方法的竹笋实际检测框图；

图3为本发明方法的竹笋检测框示意图；

图4为本发明方法的竹笋长高后检测框示意图。

具体实施方式

本实施例中，如图1所示，一种基于深度学习的竹笋数量与高生长率在线监测方法是按如下步骤进行：

步骤1：通过网络摄像机采集真实林间环境下的竹笋图像，并上传至阿里云中的FTP服务器，计算机下载足够多的竹笋图像作为初始数据集；

步骤2：通过对初始数据集旋转90°、180°和270°，亮度增加1.5倍，减少0.1倍等方式，得到增强了6倍的新数据集；

步骤3：用图像标注软件labelimg对新数据集中的所有竹笋进行标注，并将新数据集按8：1：1的比例划分为训练集、测试集和验证集；

步骤4：选择基于YOLOv4的目标检测模型训练数据集，并用测试集测试、验证集验证训练结果，动态调整学习率及置信度等参数，得到最佳的竹笋深度学习模型；

步骤5：定义当前从服务器中获取的图像帧数为n，并初始化n＝1；

步骤6：获取第n帧包含竹笋的竹林图像；

步骤7：采用已训练好的竹笋深度学习模型对所获取的第n帧竹林图像进行竹笋检测，获得所述第n帧竹林图像中的m_n个竹笋区域检测框以及各竹笋区域检测框的四个顶点的坐标值。其中，竹笋区域检测框的个数m_n表示所检测出的第n帧竹林图像中的竹笋数。如图2的竹笋实际检测框图，图中共有19个竹笋区域检测框，即代表检测到19株竹笋；

步骤8：对第n帧竹林图像中的m_n个竹笋区域检测框按照排序原则进行排序；

排序原则：将每个竹笋区域检测框以其左下角顶点的x轴坐标进行升序排序，若x轴坐标相同，则以左下角顶点的y轴坐标进行升序排序，从而得到排序后的竹笋区域检测框。图3为第n-1帧竹林图像竹笋检测框示意图，共四个竹笋区域检测框，按照上述排序规则得到的顺序为A、B、C、D。其中，黑色三角形区域代表竹笋，(x_i1 ^n-1,y_i1 ^n-1)、(x_i2 ^n-1,y_i2 ^n-1)、(x_i3 ^n-1,y_i3 ^n-1)分别表示图像中排序后的第i个竹笋区域检测框的左下角、右下角、右上角顶点坐标；

步骤9：判断n＝1是否成立，若成立，则将排序后的竹笋区域检测框所对应的坐标存入基础数据库；否则，将排序后的竹笋区域检测框所对应的坐标存入临时数据库；

步骤10：判断m_n＝m_n-1是否成立，若成立，则直接执行步骤11；否则，判断m_n-m_n-1＞0是否成立，若成立，则将第n帧竹林图像中所增加的m_n-m_n-1个竹笋区域检测框按照排序原则存入基础数据库中，否则，回到步骤6继续检测；当n＝1时，令m_n＝m_n-1；

步骤11：筛选竹笋；

图4为第n帧竹林图像中竹笋检测框示意图。其中，两三角形不重叠的部分表示第n-1帧竹林图像中对应竹笋长高的部分，(x_i1 ⁿ,y_i1 ⁿ)、(x_i2 ⁿ,y_i2 ⁿ)、(x_i3 ⁿ,y_i3 ⁿ)分别表示图像中排序后的第i个竹笋区域检测框的左下角、右下角、右上角顶点坐标。一般一株竹笋的左下角顶点的坐标不会有太大的误差，考虑竹笋生长前后左下角顶点坐标的误差为x_e和y_e的情况；利用式(1)对所述临时数据库和基础数据库中的竹笋区域检测框的坐标信息进行筛选，若满足式(1)，则表示相应的竹笋检测框图有效，否则，表示相应的竹笋检测框图无效；

式(1)中，x_e和y_e分别表示最大横坐标误差和最大纵坐标误差；x_i1 ^n-1表示第n-1帧竹林图像中排序后的第i个竹笋区域检测框的左下角顶点的x轴坐标，x_i1 ⁿ表示第n帧竹林图像中排序后的第i个竹笋区域检测框的左下角顶点的x轴坐标，y_i1 ^n-1表示第n-1帧竹林图像中排序后的第i个竹笋区域检测框的左下角顶点的y轴坐标，y_i1 ⁿ表示第n帧竹林图像中排序后的第i个竹笋区域检测框的左下角顶点的y轴坐标；i＝[1,m_n]；

步骤12：利用式(2)求得第i个竹笋在第n-1帧竹林图像中的高度p_i ^n-1和在第n帧竹林图像中的高度p_i ⁿ；

式(2)中，y_i2 ^n-1表示第n-1帧竹林图像中排序后的第i个竹笋区域检测框的右下角顶点的y轴坐标，y_i2 ⁿ表示第n帧竹林图像中排序后的第i个竹笋区域检测框的右下角顶点的y轴坐标，y_i3 ^n-1表示第n-1帧竹林图像中排序后的第i个竹笋区域检测框的右上角顶点的y轴坐标，y_i3 ⁿ表示第n帧竹林图像中排序后的第i个竹笋区域检测框的右上角顶点的y轴坐标；

步骤13：利用式(3)计算第i个竹笋在第n帧竹林图像中高生长率α_i ⁿ：

式(3)中，α_i ⁿ表示第i个竹笋在第n帧竹林图像中的高生长率，p_i ^n-1表示第i个竹笋在第n-1帧竹林图像中的高度，p_i ⁿ表示第i个竹笋在第n帧竹林图像中的高度。

Claims (2)

1.一种基于深度学习的竹笋数量与高生长率的在线监测方法，其特征是按如下步骤进行：

步骤1：定义当前获取的图像帧数为n，并初始化n＝1；

步骤2：获取第n帧包含竹笋的竹林图像；

步骤3：采用已训练好的竹笋深度学习模型对所获取的第n帧竹林图像进行竹笋检测，获得所述第n帧竹林图像中的m_n个竹笋区域检测框以及各竹笋区域检测框的四个顶点的坐标值，其中，竹笋区域检测框的个数m_n表示所检测出的第n帧竹林图像中的竹笋数量；

步骤4：对第n帧竹林图像中的m_n个竹笋区域检测框按照排序原则进行排序；

步骤5：判断n＝1是否成立，若成立，则将排序后的竹笋区域检测框所对应的坐标存入基础数据库；否则，将排序后的竹笋区域检测框所对应的坐标存入临时数据库；

步骤6：判断m_n＝m_n-1是否成立，若成立，则直接执行步骤7；否则，判断m_n-m_n-1＞0是否成立，若成立，则将第n帧竹林图像中所增加的m_n-m_n-1个竹笋区域检测框按照排序原则存入基础数据库中，否则，回到步骤2继续检测；当n＝1时，令m_n＝m_n-1；

步骤7：筛选竹笋；

利用式(1)对所述临时数据库和基础数据库中的竹笋区域检测框的坐标信息进行筛选，若满足式(1)，则表示相应的竹笋检测框图有效，否则，表示相应的竹笋检测框图无效；

式(1)中，x_e和y_e分别表示最大横坐标误差和最大纵坐标误差；x_i1 ^n-1表示第n-1帧竹林图像中排序后的第i个竹笋区域检测框的左下角顶点的x轴坐标，x_i1 ⁿ表示第n帧竹林图像中排序后的第i个竹笋区域检测框的左下角顶点的x轴坐标，y_i1 ^n-1表示第n-1帧竹林图像中排序后的第i个竹笋区域检测框的左下角顶点的y轴坐标，y_i1 ⁿ表示第n帧竹林图像中排序后的第i个竹笋区域检测框的左下角顶点的y轴坐标；i＝[1,m_n]；

步骤8：利用式(2)求得第i个竹笋在第n-1帧竹林图像中的高度p_i ^n-1和在第n帧竹林图像中的高度p_i ⁿ；

式(2)中，y_i2 ^n-1表示第n-1帧竹林图像中排序后的第i个竹笋区域检测框的右下角顶点的y轴坐标，y_i2 ⁿ表示第n帧竹林图像中排序后的第i个竹笋区域检测框的右下角顶点的y轴坐标，y_i3 ^n-1表示第n-1帧竹林图像中排序后的第i个竹笋区域检测框的右上角顶点的y轴坐标，y_i3 ⁿ表示第n帧竹林图像中排序后的第i个竹笋区域检测框的右上角顶点的y轴坐标；

步骤9：利用式(3)计算第i个竹笋在第n帧竹林图像中高生长率α_i ⁿ：

式(3)中，α_i ⁿ表示第i个竹笋在第n帧竹林图像中的高生长率，p_i ^n-1表示第i个竹笋在第n-1帧竹林图像中的高度，p_i ⁿ表示第i个竹笋在第n帧竹林图像中的高度。

2.根据权利要求1所述的基于深度学习的竹笋数量与高生长速率的在线监测方法，其特征是，所述步骤4中的排序原则为：

将每个竹笋区域检测框以其左下角顶点的x轴坐标进行升序排序，若x轴坐标相同，则以左下角顶点的y轴坐标进行升序排序，从而得到排序后的竹笋区域检测框。

Images