CN116227685A - 低成本的智能油茶果产量估计方法 - Google Patents

低成本的智能油茶果产量估计方法 Download PDF

Info

Publication number
CN116227685A
CN116227685A CN202310048575.XA CN202310048575A CN116227685A CN 116227685 A CN116227685 A CN 116227685A CN 202310048575 A CN202310048575 A CN 202310048575A CN 116227685 A CN116227685 A CN 116227685A
Authority
CN
China
Prior art keywords
fruit
tea
convolutional neural
images
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310048575.XA
Other languages
English (en)
Other versions
CN116227685B (zh
Inventor
施明宏
周磊
周宏平
姜洪喆
陈青
蒋雪松
陈吉朋
王金鹏
陈佳佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Forestry University
Original Assignee
Nanjing Forestry University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Forestry University filed Critical Nanjing Forestry University
Priority to CN202310048575.XA priority Critical patent/CN116227685B/zh
Publication of CN116227685A publication Critical patent/CN116227685A/zh
Application granted granted Critical
Publication of CN116227685B publication Critical patent/CN116227685B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种低成本的智能油茶果产量估计方法。其步骤：将油茶果树RGB图像分组，构建二分类数据集；搭建带预训练权重的卷积神经网络油茶树二分类模型；通过微调训练的方式优化卷积神经网络油茶树二分类模型，使其能够准确区分有果实图像和无果实图像；当判定结果为无果实图像时，直接输出果实数量为0，当判定结果为有果实图像时，采用梯度加权类激活图算法对二分类模型中全局池化层之前的深度特征进行可视化，得到与预测有果实图像神经元权重关联的注意力特征图；特征图局部极大值点的个数作为图像中油茶果数量的预测结果。本方法可大大减少人工成本投入，提高油茶产量预估效率。

Description

低成本的智能油茶果产量估计方法
技术领域
本发明涉及机器视觉及人工智能领域，具体是一种低成本的智能油茶果产量估计方法。
背景技术
油茶是一种油料作物，其果实被认定为一种绿色健康的食用油原料，在中国南方丘陵地区种植。机器人技术、智能农林业机械装备的发展促进了机械化的油茶果采收模式的兴起。为进一步推进油茶种植管理的自动化进程，果实采收前通常需要对种植区域内的果实产量进行估计，以便于农林业机械装备的调度。
常规的产量估测方法包括人工估计、按果树数量估计等，存在精度差或效率低等问题。为解决上述问题，研究人员提出采用机器视觉和机器学习方法结合的果实产量估计方法，直接建立输入图像与图像中果实数量之间的映射模型；或采用新兴的深度学习目标算法，如YOLO，FasterRCNN等，用于单个果实的识别，再根据识别的果实个数估计产量。这些方法虽然具备智能化特点且预测精度相对较高，但是其中的模型训练过程需要大量的人工标注(即需要像模型提供图像中的真实的果实数量)，人工劳动成本较高。因此，需要提出一种可以在减少人工成本投入的同时提高产量预估效率的智能油茶果产量估计方法。
发明内容
本发明所要解决的技术问题是针对上述现有技术的不足提供一种低成本的智能油茶果产量估计方法，本低成本的智能油茶果产量估计方法可以克服现有的基于机器智能的果实产量估计模型人工标注成本高的问题，该方法可以为实现快速、低成本的油茶果产量评估提供技术基础。
为实现上述技术目的，本发明采取的技术方案为：
一种低成本的智能油茶果产量估计方法，包括以下步骤：
(1)采集多棵油茶果树的RGB图像；
(2)将采集得到的RGB图像分组，分为有果实的图像和无果实的图像，构建二分类油茶数据集；
(3)搭建带预训练权重的卷积神经网络油茶树二分类模型；
(4)通过微调训练的方式，采用二分类油茶数据集再次训练优化所述卷积神经网络油茶树二分类模型，使其能准确区分有果实图像和无果实图像；
(5)利用训练好的卷积神经网络油茶树二分类模型处理油茶果树的RGB图像；
(6)当卷积神经网络油茶树二分类模型的判定结果为无果实图像时，直接输出最终果实数量0；当卷积神经网络油茶树二分类模型的判定结果为有果实图像时，采用梯度加权类激活图算法对卷积神经网络油茶树二分类模型中全局池化层之前的深度特征进行可视化，得到与负责预测有果实图像类别概率得分的神经元权重关联的注意力特征图；
(7)提取所述注意力特征图中的局部极大值点，局部极大值点的个数作为对应有果实图像中油茶果数量的预测结果。
作为本发明进一步改进的技术方案，所述的步骤(3)具体为：
(3.1)、预训练ResNet50骨干网络：基于ResNet50构建果实目标检测网络，获取已公开的带有人工标注的果实目标检测数据集，进而对果实目标检测网络中的ResNet50骨干网络进行预训练；从经过训练的果实目标检测网络中提出ResNet50骨干网络部分，得到预训练后的ResNet50骨干网络；
(3.2)构建卷积神经网络油茶树二分类模型：在预训练后的ResNet50骨干网络后添加1个全局池化层和1个由2个神经元构成的全连接层，进而构建卷积神经网络油茶树二分类模型；通过基于微调训练的迁移学习方式，且采用二分类油茶数据集再次训练优化卷积神经网络油茶树二分类模型，使其能准确区分有果实图像和无果实图像。
作为本发明进一步改进的技术方案，所述的步骤(7)具体为：
对注意力特征图进行高斯滤波，提取所述注意力特征图中的局部极大值点，局部极大值点的个数作为对应图像中油茶果数量的预测结果。
本发明的有益效果为：
本发明油茶果产量估计方法中，果实数量预测模型的训练无需人工标注图中果实的真实位置或果实的真实数量，通过挖掘有果实图像和无果实图像之间的深度特征差异实现果实分布情况的估计，并预测果实数量，人工标注非常简单，效率高，只需标注图中是否有果实这一信息，进而克服现有的基于机器智能的果实产量估计模型人工标注成本高的问题，该方法可以为实现快速、低成本的油茶果产量评估提供技术基础。
附图说明
图1为本发明实施例中油茶果产量估计方法的***框架图。
图2为本发明实施例中油茶果产量估计方法的工作流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，以下结合实施例及其附图对本发明作进一步说明。
参见图1和图2，本实施例提供一种低成本的智能油茶果产量估计方法，包括以下步骤：
第一步：使用RGB相机模块或数码相机采集大量的油茶果树的RGB图像，拍摄对象应包含有大量油茶果实、少量油茶果实以及没有油茶果实的油茶树。
第二步：将采集得到的RGB图像进行人工分组，分为有果实图像和无果实图像，快速实现人工图像标注，构建二分类油茶数据集。
第三步：预训练ResNet50骨干网络：基于ResNet50构建果实目标检测网络，从互联网获取公开的带有人工标注的苹果目标检测数据集，实现ResNet50骨干网络的预训练；从经过训练的果实目标检测网络中提出ResNet50骨干网络部分，删除其余部分，得到预训练后的ResNet50骨干网络，即带有预训练权重的ResNet50结构。
第四步：构建基于卷积神经网络的油茶树二分类模型：在预训练后的ResNet50骨干网络后添加1个全局池化层和1个由2个神经元构成的全连接层，构建卷积神经网络油茶树二分类模型。通过基于微调训练的迁移学习方式，采用二分类油茶数据集再次训练优化卷积神经网络油茶树二分类模型，使其能够准确区分有果实图像和无果实图像。
第五步：利用训练好的卷积神经网络油茶树二分类模型处理油茶图像；当判定结果为无果实图像时，直接输出最终果实数量预测结果为0；当判定结果为有果实图像时，采用梯度加权类激活图(Grad-CAM)算法对卷积神经网络油茶树二分类模型中全局池化层之前的输出，即ResNet骨干网络输出的深度特征进行可视化，得到与负责预测有果实图像的类别概率得分的神经元权重关联的注意力特征图；对所述注意力特征图进行高斯滤波，排除部分干扰信息，而后提取所述注意力特征图中的局部极大值点(即深度学习模型注意力较高的区域)，提取得到的点的个数N作为有果实图像中油茶果数量的预测结果。
第四步中的卷积神经网络油茶树二分类模型为：骨干网络选用带有预训练权重的ResNet50结构，而后设置1个全局池化层和1个由2个神经元构成的全连接层。ResNet50权重的预训练采用经济林果目标检测一般数据集，结合油茶表征通过微调训练使得预训练迁移模型获得更高的建模精度，提升网络训练收敛速度。
本发明油茶果产量估计方法中，果实数量预测模型的训练无需人工标注图中果实的真实位置或果实的真实数量，通过挖掘有果实图像和无果实图像之间的深度特征差异实现果实分布情况的估计，并预测果实数量，人工标注非常简单，效率高，只需标注图中是否有果实这一信息。
本发明的保护范围包括但不限于以上实施方式，本发明的保护范围以权利要求书为准，任何对本技术做出的本领域的技术人员容易想到的替换、变形、改进均落入本发明的保护范围。

Claims (3)

1.一种低成本的智能油茶果产量估计方法，其特征在于，包括以下步骤：
(1)采集多棵油茶果树的RGB图像；
(2)将采集得到的RGB图像分组，分为有果实的图像和无果实的图像，构建二分类油茶数据集；
(3)搭建带预训练权重的卷积神经网络油茶树二分类模型；
(4)通过微调训练的方式，采用二分类油茶数据集再次训练优化所述卷积神经网络油茶树二分类模型，使其能准确区分有果实图像和无果实图像；
(5)利用训练好的卷积神经网络油茶树二分类模型处理油茶果树的RGB图像；
(6)当卷积神经网络油茶树二分类模型的判定结果为无果实图像时，直接输出最终果实数量0；当卷积神经网络油茶树二分类模型的判定结果为有果实图像时，采用梯度加权类激活图算法对卷积神经网络油茶树二分类模型中全局池化层之前的深度特征进行可视化，得到与负责预测有果实图像类别概率得分的神经元权重关联的注意力特征图；
(7)提取所述注意力特征图中的局部极大值点，局部极大值点的个数作为对应有果实图像中油茶果数量的预测结果。
2.根据权利要求1所述的低成本的智能油茶果产量估计方法，其特征在于：所述的步骤(3)具体为：
(3.1)、预训练ResNet50骨干网络：基于ResNet50构建果实目标检测网络，获取已公开的带有人工标注的果实目标检测数据集，进而对果实目标检测网络中的ResNet50骨干网络进行预训练；从经过训练的果实目标检测网络中提出ResNet50骨干网络部分，得到预训练后的ResNet50骨干网络；
(3.2)构建卷积神经网络油茶树二分类模型：在预训练后的ResNet50骨干网络后添加1个全局池化层和1个由2个神经元构成的全连接层，进而构建卷积神经网络油茶树二分类模型；通过基于微调训练的迁移学习方式，且采用二分类油茶数据集再次训练优化卷积神经网络油茶树二分类模型，使其能准确区分有果实图像和无果实图像。
3.根据权利要求2所述的低成本的智能油茶果产量估计方法，其特征在于：所述的步骤(7)具体为：
对注意力特征图进行高斯滤波，提取所述注意力特征图中的局部极大值点，局部极大值点的个数作为对应图像中油茶果数量的预测结果。
CN202310048575.XA 2023-01-31 2023-01-31 低成本的智能油茶果产量估计方法 Active CN116227685B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310048575.XA CN116227685B (zh) 2023-01-31 2023-01-31 低成本的智能油茶果产量估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310048575.XA CN116227685B (zh) 2023-01-31 2023-01-31 低成本的智能油茶果产量估计方法

Publications (2)

Publication Number Publication Date
CN116227685A true CN116227685A (zh) 2023-06-06
CN116227685B CN116227685B (zh) 2023-09-22

Family

ID=86576114

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310048575.XA Active CN116227685B (zh) 2023-01-31 2023-01-31 低成本的智能油茶果产量估计方法

Country Status (1)

Country Link
CN (1) CN116227685B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109508824A (zh) * 2018-11-07 2019-03-22 西京学院 一种农作物生长态势检测及产量预估方法
CN110533068A (zh) * 2019-07-22 2019-12-03 杭州电子科技大学 一种基于分类卷积神经网络的图像对象识别方法
CN111178439A (zh) * 2019-12-31 2020-05-19 杭州电子科技大学 基于卷积神经网络及微调的sar图像分类方法
CN114581816A (zh) * 2022-02-18 2022-06-03 河南科技学院 一种植物工厂茄果类蔬菜果实实时检测与计数方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109508824A (zh) * 2018-11-07 2019-03-22 西京学院 一种农作物生长态势检测及产量预估方法
CN110533068A (zh) * 2019-07-22 2019-12-03 杭州电子科技大学 一种基于分类卷积神经网络的图像对象识别方法
CN111178439A (zh) * 2019-12-31 2020-05-19 杭州电子科技大学 基于卷积神经网络及微调的sar图像分类方法
CN114581816A (zh) * 2022-02-18 2022-06-03 河南科技学院 一种植物工厂茄果类蔬菜果实实时检测与计数方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHEN JIPENG ETAL: "《Development of a design platform for the high-range sprayer used for street trees based on a VR visualization》", 《IJIDEM:INTERNATIONAL JOURNAL ON INTERACTIVE DESIGN AND MANUFACTURING》 *

Also Published As

Publication number Publication date
CN116227685B (zh) 2023-09-22

Similar Documents

Publication Publication Date Title
Wang et al. YOLOv3‐Litchi Detection Method of Densely Distributed Litchi in Large Vision Scenes
Chen et al. An improved Yolov3 based on dual path network for cherry tomatoes detection
CN109325495A (zh) 一种基于深度神经网络建模的作物图像分割***及方法
CN110610506B (zh) 一种基于图像处理技术的姬松茸子实体生长参数检测方法
CN112541508A (zh) 果实分割识别方法及***、果实采摘机器人
CN113192026A (zh) 一种基于可见光图像的核桃成熟度检测与预测方法
CN111798470B (zh) 一种应用于智能农业的农作物图像实体分割方法及***
Gao et al. Recognition and Detection of Greenhouse Tomatoes in Complex Environment.
CN116543282A (zh) 基于多尺度融合与CBAM-ResNet50的农作物病害分割方法、***、设备及介质
CN115984698A (zh) 一种基于改进YOLOv5的荔枝果实生长期识别方法
CN113435254A (zh) 一种基于哨兵二号影像的耕地深度学习提取方法
CN116524279A (zh) 一种数字农业的人工智能图像识别作物长势分析方法
CN115376008A (zh) 病虫害识别方法、装置、电子设备和存储介质
CN115861686A (zh) 基于边缘深度学习的荔枝关键生长期识别检测方法及***
Ma et al. Using an improved lightweight YOLOv8 model for real-time detection of multi-stage apple fruit in complex orchard environments
CN111950349A (zh) 基于语义分割的田间导航线提取方法
Zhao et al. Transient multi-indicator detection for seedling sorting in high-speed transplanting based on a lightweight model
CN116227685B (zh) 低成本的智能油茶果产量估计方法
CN111523503A (zh) 基于改进ssd算法的苹果目标检测方法
Zahan et al. A deep learning-based approach for mushroom diseases classification
Sun et al. A recognition method of cattle and sheep based on convolutional neural network
CN115147835B (zh) 一种基于改进RetinaNet的自然果园场景下的凤梨成熟度检测方法
CN116385271A (zh) 一种遥感图像耕地撂荒识别方法
Mudgil et al. Identification of Tomato Plant Diseases Using CNN-A Comparative Review
CN112329697B (zh) 一种基于改进YOLOv3的树上果实识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant