CN115937314A - 一种油茶果生长姿态检测方法 - Google Patents
一种油茶果生长姿态检测方法 Download PDFInfo
- Publication number
- CN115937314A CN115937314A CN202211661768.4A CN202211661768A CN115937314A CN 115937314 A CN115937314 A CN 115937314A CN 202211661768 A CN202211661768 A CN 202211661768A CN 115937314 A CN115937314 A CN 115937314A
- Authority
- CN
- China
- Prior art keywords
- fruit
- oil tea
- fruits
- posture
- growth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种油茶果生长姿态检测方法,其步骤:使用双目相机获取油茶果的RGB图像和三维点云;标注出图像中每个果实的外接矩形框及对应的生长姿态类别,构建图像数据集;采用所述图像数据集训练基于深度学习目标检测方法的油茶果位置及姿态识别模型;使用训练好的模型计算图像中油茶果外接矩形框及其粗略的生长姿态表述;采用椭圆拟合算法和自适应阈值分割算法,在外接矩形框内精确提取果实区域,并获取对应三维子数据点集中代表果实的点集P;根据果实粗略生长姿态表述及所述点集P中的特征点计算精炼的果实生长姿态表述。该方法数据处理量小,步骤相对简单,检测效率高,且能够为实现低花苞损伤率的自动化油茶果采摘提供技术支持。
Description
技术领域
本发明涉及机器视觉及人工智能领域,具体地说,涉及一种油茶果生长姿态检测方法。
背景技术
油茶是一种木本油料树种,是世界四大油源树种之一,其果实被视为健康食用油原料,在中国南方丘陵地区种植。油茶枝条分布错乱、花果同期、果实密集生长且方向不规则等问题使得油茶的高效采收成为难题。
传统的油茶果采收主要靠人工操作,费时费力、成本高。随着机器人技术和先进农林机械设备的发展,其在油茶果采收中得到了广泛应用。现阶段已有振摇式油茶果采摘机器人、梳刷式油茶果采摘机器人等装备得以运用,且取得良好的采摘效果;但由于分离果实与果柄的需要,大范围的梳刷或对整棵油茶树的机械振动同时会对枝条上与果实同其存在的大量花苞、花朵、叶片等部位产生损伤,可能导致油茶果产量的显著降低;上述问题使得振摇式油茶果采摘机器人、梳刷式油茶果采摘机器人在实际应用中收到一些限制。
随着机器视觉技术的发展,出现了基于油茶果视觉定位的采摘方法。采用普通相机或深度相机拍摄油茶果图像,使用智能图像处理方法计算油茶果位置,引导机械臂对果实进行精确抓取。此类方法虽可以实现精准采摘,然而油茶果生长方向不规则,叶片、花朵对果实的遮挡等问题将导致使用扭转、剪切等方式采摘果实时可能严重损伤周围枝条及花苞。
人工智能技术的发展给果实采收带来了新方法。深度学习和机器视觉的结合,可实现果实、果柄空间位置的识别。此类方法在苹果、葡萄等果柄长而明显、果实随重力向地面方向生长的水果的采摘中得到了初步应用。但是油茶果果柄短,生长角度不确定,上述智能果柄识别方法较难直接运用。
发明内容
本发明的目的为提供一种油茶果生长姿态检测方法,可以克服现有智能果实姿态检测方法数据处理步骤复杂、效率低、人工标注成本高的问题,该方法可以为实现低花苞损伤率的自动化油茶果采摘提供技术基础。
为了实现上述目的,本发明提供的油茶果生长姿态检测方法,包括以下步骤:
(1)使用双目相机获取油茶果的RGB图像和三维点云数据;
(2)对油茶果RGB图像进行人工标注,标注出图像中每个果实的外接矩形框及对应的类别:“上”,“下”,“左”,“右”,“前”五种生长姿态类别q,不标注向后方生长的果实,构建图像数据集;
(3)采用所述图像数据集训练深度学习目标检测模型FasterRCNN,训练后得到油茶果位置及姿态识别模型。
(4)使用所述油茶果位置及姿态识别模型直接处理油茶果RGB图像,输出油茶果在RGB图像中的外接矩形框的像素坐标及其粗略的生长姿态表述;
(5)提取一个检测得到的果实目标的矩形区域,获取RGB图像对应区域内的子图像(获取RGB图像中果实目标的矩形区域内的子图像),并获取三维点云数据中对应区域内的子数据点集;
(6)采用椭圆拟合算法和自适应阈值分割算法,精确提取子图像中的果实覆盖的像素点,并获取对应子数据点集中代表果实的点集P。
(7)使用果实目标的外接矩形区域中心点像素坐标对应的点云子集中的数据点空间坐标(X,Y,Z)表述果实的实际位置,再根据式F(P,q)计算精炼的果实生长姿态表述(E,S),并组合成(X,Y,Z,E,S):
(8)重复步骤(5)~(7),得到图像中所有果实的位置及姿态表述。
(9)根据果实的空间位置及生长姿态表述(X,Y,Z,E,S),调整机械臂及末端机械手爪的位置及方向,使手爪沿着油茶果中轴线方向移动并抓取,减少对枝条和花苞的损伤。
作为优选,步骤(2)中,不标注向后方生长的果实,具体判定依据为:与相机成像平面夹角大于20°且生长方向指向远离相机镜头方向的果实,不采摘;其余生长状态的果实区分为“上”,“下”,“左”,“右”,“前”五种生长姿态类别,见图3。步骤(3)中,FasterRCNN模型的输出配置为每个油茶果的在图像中的外接矩形框左上角和右下角的坐标,以及对应的生长姿态类别,具体见图5.
本发明的有益效果:该油茶果生长姿态检测方法,数据处理量小,步骤相对简单,检测效率高,该方法能够为实现低花苞损伤率的自动化油茶果采摘提供技术支持。
附图说明
图1是本发明实施例中油茶果生长姿态检测方法的***框架图;
图2是本发明实施例中油茶果生长姿态检测方法的工作流程图;
图3是本发明实施例中所采用的果实粗略生长姿态类别标注方法的示意图;其中a为5种生长姿态类别q的示意图,b为对具体的RGB图像人工标注生长姿态类别的示意图;
图4是本发明实施例中所采用的果实精炼的生长姿态计算方法的示意图;其中a为(E,S)指示方向为前的油茶果,b为(E,S)指示方向为右的油茶果;
图5是本发明实施例中所采用的油茶果位置及姿态识别模型结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,以下结合实施例及其附图对本发明作进一步说明。
实施例
参见图1和图2,本实施例的油茶果生长姿态检测方法包括以下步骤:
第一步:采集油茶果图像和三维点云,构建油茶果数据集。使用双目相机5采集大量的油茶果RGB图像和三维点云数据。对RGB图像进行人工标注,标出RGB图像中每个果实的外接矩形及对应的粗略的生长姿态类别q,具体判定法则见图3,“上”:沿着重力方向向上,与重力方向夹角<20°的果实;“下”:沿着重力方向向下,与重力方向夹角<20°的果实;“左”:在相机成像平面、与重力方向垂直方向向左,夹角<20°的果实;“右”:在相机成像平面、与重力方向垂直方向向右,夹角<20°的果实;“前”:垂直于相机成像平面、沿着果实指向成像设备方向,夹角<20°的果实。
第二步:建立深度学习目标检测网络模型。将构建油茶果数据集存储到计算机端,而后采用训练数据集训练FasterRCNN网络,其结构参见图5。FasterRCNN中的ResNet-50骨干网络用于自动学习提取图像中的深度特征,区域推荐网络和ROI池化模块从提取得到的深度特征获取与图中果实信息相关的特征,而后采用多层感知机头部及两路全连接层将果实相关特征与期望的输出建立映射关系,分别用于果实姿态类别和位置坐标的预测。基于上述过程建立以RGB图像为输入、以油茶果外接矩形框及对应的粗略生长姿态类别q为输出的端到端的映射关系。
第三步:检测油茶果的空间位置及粗略生长姿态类别。在PC端训练好模型后,将模型的结构和权重参数移植固化到控制器上。使用双目相机5采集一组油茶果的RGB图像4及对应三维点云数据。利用训练好的模型分析处理RGB图像4,得到油茶果3的外接矩形框6及对应的粗略生长姿态类别q。
第四步:计算精炼的油茶果生长姿态信息。在所述外接矩形框6内,采用椭圆拟合算法和自适应阈值分割算法,精确提取子图像中的果实覆盖的像素区域7,并获取对应子数据点集中代表果实的三维点云子集P。根据式F(P,q)计算精炼的果实生长姿态表述8,定义为(E,S),表示E点指向S点方向:
第五步:根据果实空间位置及生长姿态信息确定机械手爪采摘方向。在三维点云子集P中,检索所述外接矩形框6的中心点像素坐标对应的三维空间坐标,定义为(X,Y,Z),即得到油茶果的实际空间位置。将计算得到的油茶果的实际空间位置(X,Y,Z)及果实生长姿态表述(E,S)信息融合,控制机械手爪2的运动。令(X,Y,Z)信息为机械手爪中心点的目标位置,(E,S)指示的矢量方向作为机械手爪中轴线1的目标朝向,控制机械手爪2的到指定位置、根据指定角度采摘油茶果。
本发明公开了一种油茶果生长姿态检测方法,属于机器视觉及人工智能领域,包括以下步骤:使用双目相机获取油茶果的RGB图像和三维点云;标注出图像中每个果实的外接矩形框及对应的生长姿态类别,构建图像数据集;采用所述图像数据集训练基于深度学习目标检测方法的油茶果位置及姿态识别模型;使用训练好的模型计算图像中油茶果外接矩形框及其粗略的生长姿态表述;采用椭圆拟合算法和自适应阈值分割算法,在外接矩形框内精确提取果实区域,并获取对应三维子数据点集中代表果实的点集P;根据果实粗略生长姿态表述及所述点集P中的特征点计算精炼的果实生长姿态表述;根据果实的空间位置及生长姿态表述,控制机械手爪移动到目标果实位置、沿着目标果实中轴线方向移动并抓取。通过该方法可以克服现有智能果实姿态检测方法数据处理步骤复杂、效率低、人工标注成本高的问题,且该方法可以为实现低花苞损伤率的自动化油茶果采摘提供技术基础。
Claims (4)
1.一种油茶果生长姿态检测方法,其特征是:包括以下步骤:
(1)使用双目相机获取油茶果的RGB图像和三维点云数据;
(2)对油茶果RGB图像进行人工标注,标注出图像中每个果实的外接矩形框及对应的类别:“上”,“下”,“左”,“右”,“前”五种生长姿态类别q,不标注向后方生长的果实,构建图像数据集;
(3)采用所述图像数据集训练深度学习目标检测模型FasterRCNN,训练后得到油茶果位置及姿态识别模型;
(4)使用所述油茶果位置及姿态识别模型直接处理油茶果RGB图像,输出油茶果在RGB图像中的外接矩形框的像素坐标及其粗略的生长姿态表述;
(5)提取一个检测得到的果实目标的矩形区域,获取RGB图像对应区域内的子图像,并获取三维点云数据中对应区域内的子数据点集;
(6)采用椭圆拟合算法和自适应阈值分割算法,精确提取子图像中的果实覆盖的像素点,并获取对应子数据点集中代表果实的点集P;
(7)使用果实目标的外接矩形区域中心点像素坐标对应的点集P中的数据点空间坐标(X,Y,Z)表述果实的实际位置,再根据式F(P,q)计算精炼的果实生长姿态表述(E,S),并组合成(X,Y,Z,E,S):
(8)重复步骤(5)~(7),得到图像中所有果实的位置及姿态表述。
2.如权利要求1所述的油茶果生长姿态检测方法,其特征是:步骤(2)中,不标注向后方生长的果实,具体判定依据为:与相机成像平面夹角大于20°且生长方向指向远离相机镜头方向的果实。
3.如权利要求1所述的油茶果生长姿态检测方法,其特征是:步骤(3)中,FasterRCNN模型的输出配置为每个油茶果的在图像中的外接矩形框左上角和右下角的坐标,以及对应的生长姿态类别。
4.如权利要求1所述的油茶果生长姿态检测方法,其特征是:步骤(8)后有步骤:
(9)根据果实的空间位置及生长姿态表述(X,Y,Z,E,S),调整用于采摘油茶果的机械臂及末端机械手爪的位置及方向,(X,Y,Z)信息为机械手爪中心点的目标位置,(E,S)指示的矢量方向作为机械手爪轴线的目标朝向,使机械手爪沿着油茶果中轴线方向移动。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211661768.4A CN115937314B (zh) | 2022-12-23 | 2022-12-23 | 一种油茶果生长姿态检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211661768.4A CN115937314B (zh) | 2022-12-23 | 2022-12-23 | 一种油茶果生长姿态检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115937314A true CN115937314A (zh) | 2023-04-07 |
CN115937314B CN115937314B (zh) | 2023-09-08 |
Family
ID=86648882
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211661768.4A Active CN115937314B (zh) | 2022-12-23 | 2022-12-23 | 一种油茶果生长姿态检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115937314B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117011843A (zh) * | 2023-08-09 | 2023-11-07 | 仲恺农业工程学院 | 一种用于火龙果自动化采摘的图像识别与姿态评估方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109978949A (zh) * | 2019-03-26 | 2019-07-05 | 南开大学 | 基于计算机视觉的农作物识别与特征点三维坐标提取的一种方法 |
CN111445523A (zh) * | 2020-03-25 | 2020-07-24 | 中国农业科学院农业信息研究所 | 果实位姿计算方法、装置、计算机设备及存储介质 |
US20220005209A1 (en) * | 2018-11-27 | 2022-01-06 | Nanjing Forestry University | Binocular-vision-based method for tracking fruit space attitude and fruit space motion |
CN114029945A (zh) * | 2021-10-13 | 2022-02-11 | 大连理工大学 | 一种类球形果实采摘机械臂的抓取路径控制方法 |
CN114332689A (zh) * | 2021-12-14 | 2022-04-12 | 中国科学院合肥物质科学研究院 | 一种柑橘识别定位方法、装置、设备及存储介质 |
CN114782360A (zh) * | 2022-04-19 | 2022-07-22 | 浙江工业大学 | 基于DCT-YOLOv5模型的实时番茄姿态检测方法 |
CN115250745A (zh) * | 2022-08-05 | 2022-11-01 | 华南农业大学 | 一种基于视觉技术的全自动水果采摘机器人及采摘方法 |
CN115497089A (zh) * | 2022-09-30 | 2022-12-20 | 五邑大学 | 基于深度学习的火龙果采摘方法、装置、设备及存储介质 |
CN115496979A (zh) * | 2022-09-15 | 2022-12-20 | 常州大学 | 一种基于多重特征融合的果园幼果生长姿态视觉辨识方法 |
-
2022
- 2022-12-23 CN CN202211661768.4A patent/CN115937314B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220005209A1 (en) * | 2018-11-27 | 2022-01-06 | Nanjing Forestry University | Binocular-vision-based method for tracking fruit space attitude and fruit space motion |
CN109978949A (zh) * | 2019-03-26 | 2019-07-05 | 南开大学 | 基于计算机视觉的农作物识别与特征点三维坐标提取的一种方法 |
CN111445523A (zh) * | 2020-03-25 | 2020-07-24 | 中国农业科学院农业信息研究所 | 果实位姿计算方法、装置、计算机设备及存储介质 |
CN114029945A (zh) * | 2021-10-13 | 2022-02-11 | 大连理工大学 | 一种类球形果实采摘机械臂的抓取路径控制方法 |
CN114332689A (zh) * | 2021-12-14 | 2022-04-12 | 中国科学院合肥物质科学研究院 | 一种柑橘识别定位方法、装置、设备及存储介质 |
CN114782360A (zh) * | 2022-04-19 | 2022-07-22 | 浙江工业大学 | 基于DCT-YOLOv5模型的实时番茄姿态检测方法 |
CN115250745A (zh) * | 2022-08-05 | 2022-11-01 | 华南农业大学 | 一种基于视觉技术的全自动水果采摘机器人及采摘方法 |
CN115496979A (zh) * | 2022-09-15 | 2022-12-20 | 常州大学 | 一种基于多重特征融合的果园幼果生长姿态视觉辨识方法 |
CN115497089A (zh) * | 2022-09-30 | 2022-12-20 | 五邑大学 | 基于深度学习的火龙果采摘方法、装置、设备及存储介质 |
Non-Patent Citations (2)
Title |
---|
DANQI XU等: "3D Reconstruction of camellia Oleifera Fruit Recongnition and Fruit Branch on Kinect Camera", 2021 2ND INTERNATIONAL ON ARTIFICIAL INTELLIGENCE AND INFORMATION SYSTEMS * |
李立君 等: "基于改进凸壳理论的遮挡油茶果定位检测算法", 农业机械学报, vol. 47, no. 12 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117011843A (zh) * | 2023-08-09 | 2023-11-07 | 仲恺农业工程学院 | 一种用于火龙果自动化采摘的图像识别与姿态评估方法 |
CN117011843B (zh) * | 2023-08-09 | 2024-05-14 | 仲恺农业工程学院 | 一种用于火龙果自动化采摘的图像识别与姿态评估方法 |
Also Published As
Publication number | Publication date |
---|---|
CN115937314B (zh) | 2023-09-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Li et al. | Detection of fruit-bearing branches and localization of litchi clusters for vision-based harvesting robots | |
CN111602517A (zh) | 一种串型水果分布式视觉主动感知方法及其应用 | |
Wang et al. | Deep learning approach for apple edge detection to remotely monitor apple growth in orchards | |
CN201600330U (zh) | 成熟菠萝识别与定位*** | |
CN111418349B (zh) | 一种水果采摘智能机器人及其实现水果采摘的方法 | |
Zhaoxin et al. | Design a robot system for tomato picking based on YOLO v5 | |
Kalampokas et al. | Grape stem detection using regression convolutional neural networks | |
CN108064560A (zh) | 基于Kinect景深相机的水果自动采摘***及方法 | |
CN114260895B (zh) | 一种采摘机器人机械臂抓取避障方向确定的方法及其*** | |
CN112990103A (zh) | 一种基于机器视觉的串采二次定位方法 | |
Badhan et al. | Real-time weed detection using machine learning and stereo-vision | |
Miao et al. | Efficient tomato harvesting robot based on image processing and deep learning | |
CN108093868A (zh) | 一种基于嵌入式智能控制及双目机器视觉的采摘*** | |
CN115937314B (zh) | 一种油茶果生长姿态检测方法 | |
Jin et al. | Detection method for table grape ears and stems based on a far-close-range combined vision system and hand-eye-coordinated picking test | |
Ji et al. | Research on key technology of truss tomato harvesting robot in greenhouse | |
CN111950391A (zh) | 果树芽体的识别方法及装置 | |
Wang et al. | A research for intelligent cotton picking robot based on machine vision | |
CN115316129A (zh) | 基于双目视觉识别的自适应仿生采摘装置及串果采摘方法 | |
Rao | Design of automatic cotton picking robot with Machine vision using Image Processing algorithms | |
CN114387343A (zh) | 一种成簇平菇的菌柄采摘位置的检测方法 | |
Yang et al. | Vision based fruit recognition and positioning technology for harvesting robots | |
CN117197595A (zh) | 基于边缘计算的果树生育期识别方法、装置及管理平台 | |
Nguyen et al. | Ready or Not? A Robot-Assisted Crop Harvest Solution in Smart Agriculture Contexts | |
Zhou et al. | Application progress of machine vision technology in the field of modern agricultural equipment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |