CN113344968A - 一种果园水果识别与产量统计***和方法 - Google Patents

一种果园水果识别与产量统计***和方法 Download PDF

Info

Publication number
CN113344968A
CN113344968A CN202110539458.4A CN202110539458A CN113344968A CN 113344968 A CN113344968 A CN 113344968A CN 202110539458 A CN202110539458 A CN 202110539458A CN 113344968 A CN113344968 A CN 113344968A
Authority
CN
China
Prior art keywords
fruit
target
image
frame
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110539458.4A
Other languages
English (en)
Inventor
史云
张保辉
钱建平
李会宾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Cloud View Information Technology Co ltd
Original Assignee
Suzhou Cloud View Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Cloud View Information Technology Co ltd filed Critical Suzhou Cloud View Information Technology Co ltd
Priority to CN202110539458.4A priority Critical patent/CN113344968A/zh
Publication of CN113344968A publication Critical patent/CN113344968A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种果园水果识别与产量统计***，包括：果实检测模块，其接收经过了分帧处理的果实视频数据，并提取果实图像的颜色纹理特征和语义特征，定位图像中每个果实的坐标位置；果实多目标跟踪模块，其对每帧图像的果实目标进行跟踪；特定区域计数模块，其在视频序列中划定果树计数区域，累计截止当前视频序列的果实数量。本发明还提出一种果园水果识别与产量统计方法，包括：S10：读取果实视频数据；S20：果实检测与定位；S30：果实多目标跟踪；S40：计算特定区域果实数量；S50：统计果实数量。本发明解决了全局视频序列中存在的复杂遮挡所导致的跟踪目标丢失问题。

Description

一种果园水果识别与产量统计***和方法
技术领域
本发明属于目标识别技术及智慧农业技术领域，具体涉及一种果园水果识别与产量统计***和方法。
背景技术
随着计算机视觉和智慧农业的快速发展，果实检测技术已成为研究热点，该技术对于实现果实产量统计、果实自动采摘及果园自动化管理具有重要现实意义，其中果实产量统计对于果实收获作业计划和市场营销策略起着至关重要的作用。收获果实之前准确地统计果园产量，在现阶段，有助于管理者根据园区果实分布情况合理地分配劳动力，在未来，有助于部署采摘机器人工作策略，使其高效地完成采摘任务，实现果园智能化生产。
近年来，深度学习技术逐渐取代了传统的计算机视觉技术，成为果实计数任务的主流方法，许多学者开展了广泛研究。基于视觉的果实计数存在两个关键问题：果实检测精度问题和相同果实的重复计数问题。
为了提高果实检测精度，现有技术有基于更快的基于区域的卷积神经网络(Faster-RCNN)，采用Resnet-101和深度学习的方法，大尺度的蔬果得分置信度较高，比较容易检测到，而小尺度的置信度得分较低，非常容易被漏检。为了避免同一水果的重复计数，一些研究者提出了基于静态图像和视频序列的解决方案。基于视频序列的计数方法能够从多个视角采集果实图像，从而使更多的水果的观察到，被认为是一种有效的果实计数方法。然而在采集的实际果园场景图像中，果实往往呈现尺度小、分辨率低等特点，导致难以提取其有效特征准确检测到图像中每个果实，上述研究虽然有效提升了果实检测精度，但是并没有针对同时出现小尺度目标进行分析。
发明内容
本发明针对以上问题，提出了标准果园下的水果识别与产量统计***和方法。
本发明提出一种果园水果识别与产量统计***，包括：果实检测模块，其接收经过了分帧处理的果实视频数据，并提取果实图像的颜色纹理特征和语义特征，定位图像中每个果实的坐标位置；果实多目标跟踪模块，其读取每帧图像的果实目标位置并进行跟踪；特定区域计数模块，其在视频序列中划定果树计数区域，累计截止当前视频序列的果实数量。
本发明还提出一种果园水果识别与产量统计方法，包括：S10：读取果实视频数据；S20：果实检测与定位；S30：果实多目标跟踪；S40：计算特定区域果实数量；S50：统计果实数量。
本发明基于视频序列的计数方法能够从多个视角采集果实图像，观测到更多的果实，为准确统计果实数量提供基础保障，是一种有效的果实计数方案。而且在实际果园中，柑橘果实生长密集、树叶茂密，容易相互遮挡或被树叶遮挡，从不同视角采集果实图像时，柑橘果实的遮挡状态会有较大差异，本发明解决了全局视频序列中存在的复杂遮挡所导致的跟踪目标丢失问题。
附图说明
图1本发明***的结构原理图。
图2本发明方法的实施例的流程图。
图3本发明方法的一个实施例的流程图。
图4本发明方法的一个实施例的果实多目标跟踪计数流程图。
图5本发明方法的一个实施例的特定计数区域示意图。
具体实施方式
为了能够更加清楚的说明本发明的方法流程，下面结合具体实施例进行进一步描述，所说明的实施例仅用于说明本发明的技术方案，实施例设置的参数数值并非限定本发明。
如图1所示，本发明的***首先通过对采集的标准果园场景中果实视频序列进行果实检测处理，获取每帧图像中的果实位置坐标信息，然后将每个果实用跟踪算法进行跟踪，为每个果实分配唯一的跟踪ID，并将不同视频序列中相同的果实数据相关联，最后统计特定计数区域内跟踪ID数量即得到果实产量统计结果。
本发明的***包括：果实视频采集装置模块10、果实检测模块20、果实多目标跟踪模块30、特定区域计数模块40和果实数量统计模块50。所述果实视频采集装置模块10将拍摄标准果园中的果实数据逐帧输入到果实检测模块20，所述果实检测模块20将每帧图像中果实检测结果输入到果实多目标跟踪模块30，所述果树多目标跟踪模块30将每帧图像的跟踪结果输入到特征区域计数模块40，所述特定区域计数模块40将每帧计数结果输入到所述果实数量统计模块50，所述果实数量统计模块50统计截止当前视频序列的果实数量并可视化显示在图像上。果实视频采集装置模块10利用高分辨率相机采集果园视频数据，并进行视频分帧处理，输入到果实检测模块20。
具体地，果实检测模块20从所述果实视频采集装置模块10读取视频序列，利用深度学习目标检测算法提取果实图像的颜色纹理特征和语义特征，定位图像中每个果实的坐标位置，并输入到果实多目标跟踪模块30。
果实多目标跟踪模块30从所述果实检测模块20读取每帧图像的果实目标位置，利用卡尔曼滤波器对每个新出现的果实目标创建一个新的***，并对果实运动状态进行预测和更新，然后使用匈牙利匹配算法将不同视频帧间的果实进行数据关联，并将每帧的跟踪结果输入到所述特定区域计数模块40。
特定区域计数模块40从所述果实多目标跟踪模块30读取每帧图像跟踪结果，在视频序列中使用两条计数线划定果树计数区域，仅对计数区域内的果实目标进行计数处理，并将每帧的计数结果输入到所述果实数量统计模块50。
果实数量统计模块50从所述特定区域计数模块40读取每帧视频序列的跟踪计数结果，累计截止当前视频序列的果实数量并可视化显示在图像上。
本发明的方法的流程图如图2所示，包括以下步骤：
步骤S10：读取果实视频数据；
步骤S20：果实检测与定位；
步骤S30：果实多目标跟踪；
步骤S40：计算特定区域果实数量；
步骤S50：统计果实数量。
读取果实视频数据的步骤S10主要从摄像装置中读取果实视频序列，对视频进行分帧处理，并将视频数据转化为图像数据，逐帧输入到步骤S20。
果实检测与定位步骤S20还包括以下步骤，实施步骤如图3所示：
步骤S200：从所述读取果实视频数据步骤S10获取果实图像，并做归一化处理。
步骤S210：加载训练的果实检测网络模型，例如Yolov3、Yolov4等网络模型。
步骤S220：利用训练的果实检测网络模型，对输入图像数据进行前向推理预算，获得目标特征向量。
步骤S230：对步骤S220的目标特征向量进行解析，计算出果实置信度分数和坐标位置。
步骤S240：利用NMS非极大值抑制方法，对步骤S230预测的果实目标进行筛选，移除重叠度较高的目标框。
步骤S250：统计步骤S240筛选后的果实目标框，作为当前图像最终的果实检测结果，并输入到果实多目标跟踪步骤S30。
实施方式的果实多目标跟踪步骤S30还包括以下步骤，实施步骤如图4所示：
步骤S300：从所述果实检测与定位步骤S20获取图像果实检测结果。
步骤S310：从所述步骤S300读取果实目标后，利用卡尔曼滤波实现对目标运动状态的预测和更新，卡尔曼滤波(Kalman Filtering)是一种利用线性状态方程，通过***输入输出观测数据，从而对***状态进行最优估计的算法。
步骤S320：从所述步骤S310获得卡尔曼预测目标轨迹后，计算跟踪目标与当前帧检测目标的匹配度。首先计算运动匹配度：计算当前帧的检测结果与已确认跟踪轨迹的运动匹配度进行关联度量。运动匹配度是通过二者在Kalman滤波预测位置之间的马氏距离进行度量：
Figure BDA0003071119850000051
其中，d(i,j)代表当前帧中第j个检测框和第i条跟踪轨迹之间的马氏距离，Si和yi分别是轨迹通过Kalman滤波预测得到的当前时刻的协方差矩阵和状态量，dj是第j个检测框的状态。
其次，计算IOU代价矩阵，基于交并比(Intersection over Union,IoU)的匹配机制是为了缓解部分遮挡或外界条件干扰导致的外观突变，利用目标运动的位置连续性进行匹配。IoU和IoU代价矩阵可以通过式3-2和式3-3计算获得：
Figure BDA0003071119850000052
IoUcost＝1-IoU(di,tj) (3-3)
其中，di,tj分别代表第i个未匹配的检测结果和第j个未匹配的轨迹，
Figure BDA0003071119850000053
和
Figure BDA0003071119850000054
分别代表检测边框和轨迹保存的边框。IoU(di,tj)值越小则表明二者的位置重合度越高，IoU损失也就越小，反之则越大。因此可以利用IoU损失来衡量检测结果与轨迹之间的位置相似度，从而实现关联匹配。IoU匹配的过程如下：首先计算未匹配的跟踪框和未匹配的检测框之间的IoU值，由两两之间的IoU生成代价矩阵，然后将代价矩阵输入到匈牙利算法中计算最优匹配。
步骤S330：从所述步骤S320获取马氏距离和IOU代价矩阵，利用匈牙利匹配算法将检测目标与跟踪目标相关联。
首先将马氏距离和IOU代价矩阵应用匈牙利算法获得最优匹配结果；为每个待匹配轨迹设置优先级。通过匈牙利匹配之后，需要对不同状态的跟踪轨迹进行后续处理和更新，当前已有的跟踪轨迹的状态可以分为已确认的跟踪轨迹和未确认的跟轨迹。一般将首次检测的目标状态设置为未确认的跟踪轨迹，如果在后续帧能够连续检测并匹配到该目标3次，就将其跟踪状态更新为已确认的跟踪轨迹。
步骤S340：从所述步骤S330获取当前帧跟踪结果，保存每个跟踪目标的移动轨迹并可视化显示到原图像上。
实施方式的计算特定区域果实数量步骤S40，从所述步骤S30获取每帧图像的跟踪结果，主要对计数区域内的果实目标进行计数处理，计数可视化图像如附图5所示，两条黄色虚线内的区域即为计数区域。
实施方式的统计果实数量步骤S40，从所述计算特定区域果实数量步骤S40获取每帧图像的计数结果，并持续累加统计截止当前视频序列所有的计数总和。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在发明的保护范围之内。

Claims (10)

1.一种果园水果识别与产量统计***，其特征在于，包括：
果实检测模块，其接收经过了分帧处理的果实视频数据，并提取果实图像的颜色纹理特征和语义特征，定位图像中每个果实的坐标位置；
果实多目标跟踪模块，其对每帧图像的果实目标进行跟踪；
特定区域计数模块，其在视频序列中划定果树计数区域，统计截止当前视频序列的果实数量。
2.根据权利要求1所述的***，其特征在于，还包括：
所述果实检测模块从所述果实视频采集装置模块读取视频序列，提取果实图像的颜色纹理特征和语义特征，定位图像中每个果实的坐标位置。
3.根据权利要求2所述的***，其特征在于，
所述果实检测模块利用NMS非极大值抑制方法，对果实目标进行筛选，移除重叠度较高的目标框，统计筛选后的果实目标框，作为当前图像最终的果实检测结果。
4.根据权利要求2所述的***，其特征在于，
所述果实多目标跟踪模块读取每帧图像的果实目标位置，利用卡尔曼滤波器对每个新出现的果实目标创建一个新的***，并对果实运动状态进行预测和更新，使用匈牙利匹配算法将不同视频帧间的果实进行数据关联，获得每帧的跟踪结果。
5.根据权利要求4所述的***，其特征在于，
所述果实多目标跟踪模块获得卡尔曼预测目标轨迹后，通过马氏距离来计算跟踪目标与当前帧检测目标的匹配度；计算IOU代价矩阵，利用IoU损失来衡量检测结果与轨迹之间的位置相似度，实现关联匹配。
6.一种果园水果识别与产量统计方法，其特征在于，包括：
S1：读取果实视频数据，对果实视频数据进行分帧处理；
S2：提取果实图像的颜色纹理特征和语义特征，定位图像中每个果实的坐标位置；
S3：对每帧图像的果实目标进行跟踪；
S4：在视频序列中划定果树计数区域，计算果实数量；
S5：统计截止当前视频序列的果实数量。
7.根据权利要求6所述的方法，其特征在于，
步骤S2还包括：从所述果实视频采集装置模块读取视频序列，提取果实图像的颜色纹理特征和语义特征，定位图像中每个果实的坐标位置。
8.根据权利要求7所述的方法，其特征在于，
步骤S2还包括：利用NMS非极大值抑制方法，对果实目标进行筛选，移除重叠度较高的目标框，统计筛选后的果实目标框，作为当前图像最终的果实检测结果。
9.根据权利要求8所述的方法，其特征在于，
步骤S3还包括：读取每帧图像的果实目标位置，利用卡尔曼滤波器对每个新出现的果实目标创建一个新的***，并对果实运动状态进行预测和更新，使用匈牙利匹配算法将不同视频帧间的果实进行数据关联，获得每帧的跟踪结果。
10.根据权利要求9所述的方法，其特征在于，
步骤S3还包括：获得卡尔曼预测目标轨迹后，通过马氏距离来计算跟踪目标与当前帧检测目标的匹配度；计算IOU代价矩阵，利用IoU损失来衡量检测结果与轨迹之间的位置相似度，实现关联匹配。
CN202110539458.4A 2021-05-18 2021-05-18 一种果园水果识别与产量统计***和方法 Pending CN113344968A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110539458.4A CN113344968A (zh) 2021-05-18 2021-05-18 一种果园水果识别与产量统计***和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110539458.4A CN113344968A (zh) 2021-05-18 2021-05-18 一种果园水果识别与产量统计***和方法

Publications (1)

Publication Number Publication Date
CN113344968A true CN113344968A (zh) 2021-09-03

Family

ID=77470957

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110539458.4A Pending CN113344968A (zh) 2021-05-18 2021-05-18 一种果园水果识别与产量统计***和方法

Country Status (1)

Country Link
CN (1) CN113344968A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113920457A (zh) * 2021-09-16 2022-01-11 中国农业科学院农业资源与农业区划研究所 一种基于空间和地面信息采集协同处理的果实产量估计方法和***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108363997A (zh) * 2018-03-20 2018-08-03 南京云思创智信息科技有限公司 一种在视频中对特定人的实时跟踪方法
CN111882580A (zh) * 2020-07-17 2020-11-03 元神科技(杭州)有限公司 一种视频多目标跟踪方法及***
CN111914664A (zh) * 2020-07-06 2020-11-10 同济大学 基于重识别的车辆多目标检测和轨迹跟踪方法
CN112084914A (zh) * 2020-08-31 2020-12-15 的卢技术有限公司 一种融合空间运动和表观特征学习的多目标跟踪方法
CN112669349A (zh) * 2020-12-25 2021-04-16 北京竞业达数码科技股份有限公司 一种客流统计方法、电子设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108363997A (zh) * 2018-03-20 2018-08-03 南京云思创智信息科技有限公司 一种在视频中对特定人的实时跟踪方法
CN111914664A (zh) * 2020-07-06 2020-11-10 同济大学 基于重识别的车辆多目标检测和轨迹跟踪方法
CN111882580A (zh) * 2020-07-17 2020-11-03 元神科技(杭州)有限公司 一种视频多目标跟踪方法及***
CN112084914A (zh) * 2020-08-31 2020-12-15 的卢技术有限公司 一种融合空间运动和表观特征学习的多目标跟踪方法
CN112669349A (zh) * 2020-12-25 2021-04-16 北京竞业达数码科技股份有限公司 一种客流统计方法、电子设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113920457A (zh) * 2021-09-16 2022-01-11 中国农业科学院农业资源与农业区划研究所 一种基于空间和地面信息采集协同处理的果实产量估计方法和***

Similar Documents

Publication Publication Date Title
Gai et al. A detection algorithm for cherry fruits based on the improved YOLO-v4 model
Wu et al. Detection and counting of banana bunches by integrating deep learning and classic image-processing algorithms
Xiong et al. Visual detection of green mangoes by an unmanned aerial vehicle in orchards based on a deep learning method
Rong et al. Tomato cluster detection and counting using improved YOLOv5 based on RGB-D fusion
CN107886086A (zh) 一种基于图像视频的目标动物检测方法及装置
Huang et al. Deep localization model for intra-row crop detection in paddy field
Lin et al. Automatic detection of plant rows for a transplanter in paddy field using faster r-cnn
CN112580671A (zh) 一种基于深度学习的稻穗多发育期自动检测方法及***
CN116051996A (zh) 一种基于多模态信息的二阶段农作物生长预测方法
CN114818909A (zh) 一种基于作物长势特征的杂草检测方法和装置
Gao et al. Recognition and Detection of Greenhouse Tomatoes in Complex Environment.
CN107464232B (zh) 一种无人插秧机栽插质量的图像检测方法
Fue et al. Ensemble method of deep learning, color segmentation, and image transformation to track, localize, and count cotton bolls using a moving camera in real-time
CN113344968A (zh) 一种果园水果识别与产量统计***和方法
Sudha et al. Real time riped fruit detection using faster R-CNN deep neural network models
Zhong et al. Identification and depth localization of clustered pod pepper based on improved Faster R-CNN
EP3961568A1 (en) Crop growth measurement system based on crop images, and method thereof
CN116310806B (zh) 一种基于图像识别的智慧农业一体化管理***及方法
Aljaafreh et al. A Real-Time Olive Fruit Detection for Harvesting Robot Based on YOLO Algorithms
Fang et al. Classification system study of soybean leaf disease based on deep learning
Wu et al. Twice matched fruit counting system: An automatic fruit counting pipeline in modern apple orchard using mutual and secondary matches
Gong et al. An Improved Method for Extracting Inter-row Navigation Lines in Nighttime Maize Crops using YOLOv7-tiny
WO2022137242A1 (en) Deep learning system for estimating object volume, weight and crop yields based on remote imaging
CN113628253A (zh) 一种精准检测动物个体健康的方法及***与存储介质
Zhang et al. Automatic tracking of multi-fruit targets with oscillation under natural growth conditions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 215331 room 97, building 32-1, Nanyuan, Jiangxiang, Lujia Town, Kunshan City, Suzhou City, Jiangsu Province

Applicant after: Suzhou Zhongnong Shuzhi Technology Co.,Ltd.

Address before: 215331 room 97, building 32-1, Nanyuan, Jiangxiang, Lujia Town, Kunshan City, Suzhou City, Jiangsu Province

Applicant before: Suzhou Cloud View Information Technology Co.,Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210903