CN110648359B - 一种果实目标定位识别方法及*** - Google Patents

一种果实目标定位识别方法及*** Download PDF

Info

Publication number
CN110648359B
CN110648359B CN201910901551.8A CN201910901551A CN110648359B CN 110648359 B CN110648359 B CN 110648359B CN 201910901551 A CN201910901551 A CN 201910901551A CN 110648359 B CN110648359 B CN 110648359B
Authority
CN
China
Prior art keywords
fruit target
fruit
target
image
positioning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910901551.8A
Other languages
English (en)
Other versions
CN110648359A (zh
Inventor
贾伟宽
田玉宇
郑元杰
侯素娟
闫兴超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Normal University
Original Assignee
Shandong Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Normal University filed Critical Shandong Normal University
Priority to CN201910901551.8A priority Critical patent/CN110648359B/zh
Publication of CN110648359A publication Critical patent/CN110648359A/zh
Application granted granted Critical
Publication of CN110648359B publication Critical patent/CN110648359B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30128—Food products

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种果实目标定位识别方法及***，解决了采摘机器人的视觉***定位与识别效率较差的问题，该方法简单、实践速度快，能够得到相对精准的识别结果，适用于采摘机器人的实时作业；该方法包括以下步骤：获取相机采集的果实目标的RGB图像和深度图像；绘制果实目标深度图像的等高线图，将等高线图进行量化处理，得到向量梯度场，旋转向量梯度场中所有向量形成旋涡，将涡度最大位置定位为果实目标的圆心；基于图论的分割方法对果实目标的RGB图像进行分割；利用果实目标的圆心和RGB图像分割后的图像区域，识别果实目标区域。

Description

一种果实目标定位识别方法及***
技术领域
本发明涉及农业机械技术领域，具体涉及一种适用于果实采摘机器人的果实目标定位识别方法及***。
背景技术
农业机器人的机器视觉***，用来感知环境信息以及目标物的识别和定位，已广泛应用于采摘机器人目标识别。实现目标物的快速、精准识别与定位，直接影响着采摘机器人可靠性与实时性。
目标物的精准识别与定位是视觉***的关键所在。近年来，在静态果实目标识别，动态果实目标识别，遮挡或重叠果实目标识别等都取得比较大的进展，果实目标的高效识别，直接影响着农业机器人的作业效率。当前的方法大都采用先识别再定位的方法，而对于目标果实的识别又大都采取分割、特征提取、分类器识别等步骤，尽管学者们提出诸如基于各种优化聚类、神经网络等分割算法；各种支持向量机、深度网络的优化识别算法等。这些算法更注重目标果实的识别效果，却忽略了识别或定位的效率，导致大多相关研究难以达到实时作业需求。
发明内容
为了克服上述现有技术的不足，本发明提供了一种果实目标定位识别方法及***，解决了采摘机器人的视觉***定位与识别效率较差的问题，该方法简单、实践速度快，能够得到相对精准的识别结果，适用于采摘机器人的实时作业。
本发明一方面提供的一种果实目标定位识别方法的技术方案是：
一种果实目标定位识别方法，该方法包括以下步骤：
获取相机采集的果实目标的RGB图像和深度图像；
绘制果实目标深度图像的等高线图，将等高线图进行量化处理，得到向量梯度场，旋转向量梯度场中所有向量形成旋涡，将涡度最大位置定位为果实目标的圆心；
基于图论的分割方法对果实目标的RGB图像进行分割；
利用果实目标的圆心和RGB图像分割后的图像区域，识别果实目标区域。
本发明另一方面提供的一种果实目标定位识别***的技术方案是：
一种果实目标定位识别***，该***包括：
图像获取模块，用于获取相机采集的果实目标的RGB图像和深度图像；
果实目标定位模块，用于绘制果实目标深度图像的等高线图，将等高线图进行量化处理，得到向量梯度场，旋转向量梯度场中所有向量形成旋涡，将涡度最大位置定位为果实目标的圆心；
图像分割模块，用于基于图论的分割方法对果实目标的RGB图像进行分割；
果实目标识别模块，用于基于果实目标的圆心和RGB图像分割后的图像区域，识别果实目标区域。
本发明另一方面提供的一种计算机可读存储介质的技术方案是：
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如下步骤：
获取相机采集的果实目标的RGB图像和深度图像；
绘制果实目标深度图像的等高线图，将等高线图进行量化处理，得到向量梯度场，旋转向量梯度场中所有向量形成旋涡，将涡度最大位置定位为果实目标的圆心；
基于图论的分割方法对果实目标的RGB图像进行分割；
利用果实目标的圆心和RGB图像分割后的图像区域，识别果实目标区域。
本发明另一方面提供的一种处理装置的技术方案是：
一种处理装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如下步骤：
获取相机采集的果实目标的RGB图像和深度图像；
绘制果实目标深度图像的等高线图，将等高线图进行量化处理，得到向量梯度场，旋转向量梯度场中所有向量形成旋涡，将涡度最大位置定位为果实目标的圆心；
基于图论的分割方法对果实目标的RGB图像进行分割；
利用果实目标的圆心和RGB图像分割后的图像区域，识别果实目标区域。
通过上述技术方案，本发明的有益效果是：
(1)本发明可以快速精准的识别较为复杂背景下果实目标，快速稳定，识别率较高，可用于采摘机器人的实时识别，改善了在采摘机器人作业过程中识别效率问题；
(2)本发明在深度图像的基础上定位果实，利用果实的三维形状特征，不受限于果实的颜色特征，仅考虑目标的形状特征，不需要反复修改颜色阈值，可以应用到各种果实采摘或预产的机器人视觉***中。
(3)本发明先实现目标果实的定位，再进行目标区域识别，大幅度提高目标果实的识别与定位效率，能够更好地适应采摘机器人实时作业需求。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本申请，并不构成对本发明的不当限定。
图1是实施例一提供的果实目标定位识别方法的流程图；
图2(a)是实施例一中对同一采样点拍摄的深度图像；
图2(b)是实施例一中对同一采样点拍摄的RGB图像
图3是实施例一中根据深度图像三维特性得到的等高线图；
图4是实施例一中将深度图量化映射到二维平面中得到沿苹果表面方向呈现向外发散状的方向向量；
图5是实施例一中将图4中向量旋转90°得到涡度中心图；
图6是实施例一中RGB图像经过分割后的分割图像；
图7是实施例一中区域识别结果图；
图8是实施例一中图像分割过程具体实施流程图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
图1是本实施例涉及的果实目标定位识别方法的流程图。如图1所示，所示果实目标定位识别方法包括以下步骤：
S101，获取果实目标的RGB图像和对应的深度图像。
在本实施例中，采用装有Kinect摄像头的相机，在同一环境下，对同一采样点，在同一角度拍摄RGB图像和对应的深度图像。
在本实施例中，所述RGB图像和深度图像在自然光环境下采集，包括顺光、逆光情况。图像采集使用镜头：Kinect V2(Microsoft)，RGB图像采集分辨率1920×1080，深度图像分辨率为512×424，输出格式为JPG。每一个样本采样点，同时输出果实目标的RGB图像和深度图像。RGB图像如图2(b)所示，深度图像如图2(a)所示。
本实施例采用装有Kinect摄像头的相机拍摄得到深度图像的工作原理为：
通过一个红外散斑发射器向果实目标发射红外光束，当光束到达果实目标后反射回深度摄像头，利用返回散斑之间的几何关系计算摄像头到果实目标之间的距离。深度摄像头通过黑白光谱的方式来感知周围环境，在得到的深度图像中，黑色深度越深代表目标越远，白色颜色越浅代表距离目标越近。黑白间的灰色地带表示目标物与传感器间的物理距离，从而可以从深度图像上反映出果实目标的三维形状信息。
S102，对得到果实目标的深度图像进行预处理。
具体地，由于Kinect摄像头直接得到果实目标的深度图像噪声比较大，边缘相对比较模糊，首先，对果实目标的深度图像的缘信息进行平滑处理，然后，采用均值滤波器对果实目标的深度图像进行去燥处理。
S103，利用等深信息解析果实目标深度图像的三维梯度场信息，将三维梯度场信息进行二维投影，旋转得到果实目标深度图像的涡度，每个聚集的涡度中心即为果实目标的圆心。
具体地，所述步骤103的具体实现方法如下：
(1)根据深度图像的三维信息绘制二维果实目标距相机距离的等高线图。
利用映射的深度信息计算果实目标深度图像的三维几何特征，并由此绘制果实目标距相机的距离等高线图。
由深度传感器原理可知，距离摄像头较近的像素具有较小的距离值，如图3所示，因为果实目标表面呈凸球面，则果实目标中心的距离值较小，而周边距离值相对较大。
(2)对等高线图的深度信息进行量化处理。
在等高线图中建立向量梯度场。
Figure BDA0002211985290000061
表示三维空间中在向量梯度场上的一组向量(u,v)，u,v分别表示深度D在三维坐标中x,y方向的偏导，即得到果实目标的梯度方向。
Figure BDA0002211985290000062
由于果实目标表面呈凸抛物线，做向量
Figure BDA0002211985290000063
沿着深度D在平面(x,y)方向上的偏导数，将向量梯度场中向量组映射到二维平面，得到的方向向量在梯度场中沿果实目标表面方向呈现向外发散状，即垂直于等高线向外发散的方向向量，如图4所示。
(3)定位果实目标的圆心。
将图4中所有向量统一固定原点沿顺时针方向旋转90°，则相邻向量引用的像素角速度(仅方向)为：
Figure BDA0002211985290000071
其中，
Figure BDA0002211985290000072
为一个在x,y,z方向的偏导算子，
Figure BDA0002211985290000073
表示在z轴方向向量。由于旋涡大小的变化速率由边缘向圆心增大，在梯度场中向量所拼接成类似圆弧形状。如若向量大小相同，则角速度为：
Figure BDA0002211985290000074
其中，φ表示弧长大小(类似于向量大小)，t表示相同时间。使得原来呈凸抛物线面的梯度向量顺时针旋转；而原凹抛物线面的梯度向量呈现逆时针旋转，呈现混乱状。在深度图像中，距离变化最快处可获得最大涡度，因此角速度变化最大处即为果实目标的圆心，如图5所示。
旋转后的向量在果实目标表面处呈顺时针旋涡状，将涡度最大的地方定位为果实目标中心。
本实施例在深度图像模式下，根据果实目标深度图像的梯度信息，通过涡度中心寻找果实目标的圆心，实现果实目标的快速精准定位。
S104，将果实目标的RGB图像进行基于图论的分割，得到果实目标的超像素区域。
请参阅附图8，所述步骤104的具体实现方式如下：
S104-1，在进行分割前对果实目标的RGB图像进行高斯滤波降噪，其中sigma＝0.8。
S104-2，基于图论的概念，对于输入图片G(V,E)，具有M个顶点v和N条边e，对边进行权重减小的排序，排序得到e1,e2,…eN。
S104-3，定义了一个分割的评估机制来控制像素点是否合并，从e1开始，若边上的两个顶点不在同一区域内，且满足合并条件：不相似度不大于二者内部的不相似度，即wi,j≤Mint(Ci,Cj)，则合并两个像素。
所述超像素区域内部的差异定义为：
Figure BDA0002211985290000081
即此区域内每个顶点连接的边中不相似度最大值。
所述超像素区域内两个区域之间的差异定义为：
Figure BDA0002211985290000082
即vi,vj分别为两个区域内的顶点，它们的连线之间不相似度的最小值。
区域比较：通过检查两个区域Dif(C1,C2)之间的差异相对于至少一个区域Int(C1)和Int(C2)内部的差异是否较大来评估两个区域之间是否存在边界。阈值函数用于控制两个区域之间的差异必须大于最小内部差异的程度，即：
Figure BDA0002211985290000083
其中，最小内部差异MInt定义为：
M Int(C1,C2)＝min(Int(C1)+τ(C1),Int(C2)+τ(C2)
S104-4，若不满足，则更新阈值和区域标号直到满足条件，合并至所有边都遍历结束。得到的分割图像如图6所示。
本实施例在RGB图像模式下，通过构造评估约束机制优化基于图论的分割算法，对果实目标的RGB图像进行高效分割，寻找果实目标区域。
S105，确定果实目标的区域。
把果实目标看作一个类圆形，步骤103采用深度图像梯度场的方式已知果实目标的圆心，然后步骤104对获取的果实目标RGB图像使用基于图论的分割，采用不同的RGB色彩去标注不同的分割区域，得到了超像素区域。
将存在果实目标的圆心的超像素区域确定为存在果实目标的区域。对这一块超像素区域进行扫描，得到超像素区域的面积，以与该超像素区域面积相等的圆形的半径为半径，以得到果实目标的圆心为圆心，拟合出果实目标区域。
具体地，所述步骤105的具体实现方式如下：
S105-1，对步骤104得到的分割图像进行遍历，找出包含步骤103标定的果实目标的中心点的超像素区域。
S105-2，扫描果实目标的中心点所在的超像素区域，得到该超像素区域的面积。
S105-3，以果实目标的中心点为圆心，以与超像素区域面积相等的圆的半径为半径，对果实目标轮廓进行拟合，得到果实目标区域。
本实施例结合两种图像模式，从圆心向果实目标区域边界扫描，寻求最大半径，对果实目标轮廓进行拟合，最终实现果实目标的识别与定位。
本实施例提出的果实目标定位识别方法，使用kinect相机在自然光源下对同一采样点分别同时拍摄深度图像和RGB图像；在深度图像的基础上基于图像深度信息将三维信息进行二维映射，实现果实目标中心定位，首先将采集到的果实目标深度图像，利用深度图像的梯度场信息，将梯度向量顺时针旋转90度，旋涡中心即为果实目标圆心，以确定果实目标位置；然后引入基于图论的分割算法，通过构造自适应阈值，寻找果实目标区域；最后根据果实目标圆心所在超像素区域的面积，拟合出果实目标区域，实现果实目标的识别与定位。
本实施例提出的果实目标定位识别方法针对的果实目标可为苹果、橘子、梨等绿色果实。
实施例二
本实施例提供一种果实目标定位识别***，该***包括：
图像获取模块，用于获取相机采集的果实目标的RGB图像和深度图像；
果实目标定位模块，用于绘制果实目标深度图像的等高线图，将等高线图进行量化处理，得到向量梯度场，旋转向量梯度场中所有向量形成旋涡，将涡度最大位置定位为果实目标的圆心；
图像分割模块，用于基于图论的分割方法对果实目标的RGB图像进行分割；
果实目标识别模块，用于基于果实目标的圆心和RGB图像分割后的图像区域，识别果实目标区域。
在本实施例中，果实目标定位模块的具体实现方法为：
利用果实目标与相机之间的距离值计算果实目标深度图像的三维几何特征信息；
根据目标深度图像的三维几何特征信息绘制果实目标距相机的距离等高线图；
在等高线图中建立向量梯度场，将向量梯度场中任意一组向量沿着设定深度在二维平面方向上做偏导数，将向量梯度场中所有向量组映射到二维平面，得到的向量在梯度场中沿果实目标表面方向呈现向外发散状；
将向量梯度场中所有向量统一按照固定原点沿顺时针方向旋转设定角度；
旋转后的向量在果实目标表面方向呈顺时针旋涡状，将涡度最大位置定位为果实目标的圆心。
在本实施例中，所述图像分割模块的具体实现方法为：
对果实目标的RGB图像进行高斯滤波降噪处理；
基于图论，对RGB图像的多条边按照权重减小进行排序，
定义分割评估机制，包括超像素区域内部的差异和两个区域之间的差异；
按照排序结果，从权重最大的边开始遍历，判断该边上的两个顶点是否在同一区域内，是否满足合并条件；若不在同一区域内，且满足合并条件，则合并两个像素点，若不满足合并条件，则更新阈值和区域标号直到满足条件，直至所有边遍历结束，得到分割后图像。
在本实施例中，所述果实目标识别模块的具体实现方法为：
对RGB图像分割后的图像进行遍历，找出包含果实目标的圆心的超像素区域；
扫描果实目标的圆心所在的超像素区域，得到该超像素区域的面积；
以果实目标的圆心为圆心，与超像素区域面积相等的圆的半径为半径，对果实目标轮廓进行拟合，得到果实目标区域。
实施例三
本实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如下步骤：
获取相机采集的果实目标的RGB图像和深度图像；
绘制果实目标深度图像的等高线图，将等高线图进行量化处理，得到向量梯度场，旋转向量梯度场中所有向量形成旋涡，将涡度最大位置定位为果实目标的圆心；
基于图论的分割方法对果实目标的RGB图像进行分割；
利用果实目标的圆心和RGB图像分割后的图像区域，识别果实目标区域。
实施例四
本实施例提供一种处理装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如下步骤：
获取相机采集的果实目标的RGB图像和深度图像；
绘制果实目标深度图像的等高线图，将等高线图进行量化处理，得到向量梯度场，旋转向量梯度场中所有向量形成旋涡，将涡度最大位置定位为果实目标的圆心；
基于图论的分割方法对果实目标的RGB图像进行分割；
利用果实目标的圆心和RGB图像分割后的图像区域，识别果实目标区域。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (9)

1.一种果实目标定位识别方法，其特征是，该方法包括以下步骤：
获取相机采集的果实目标的RGB图像和深度图像；
绘制果实目标深度图像的等高线图，将等高线图进行量化处理，得到向量梯度场，旋转向量梯度场中所有向量形成旋涡，将涡度最大位置定位为果实目标的圆心；
基于图论的分割方法对果实目标的RGB图像进行分割；
利用果实目标的圆心和RGB图像分割后的图像区域，识别果实目标区域；
所述果实目标区域的识别方法为：
对RGB图像分割后的图像进行遍历，寻找包含果实目标的圆心的超像素区域；
扫描果实目标的圆心所在的超像素区域，得到该超像素区域的面积；
以果实目标的圆心为圆心，与超像素区域面积相等的圆的半径为半径，对果实目标轮廓进行拟合，得到果实目标区域；
从圆心向果实目标区域边界扫描，寻求最大半径，对果实目标轮廓进行拟合，最终实现果实目标的识别与定位。
2.根据权利要求1所述的果实目标定位识别方法，其特征是，还包括对果实目标深度图像的边缘信息进行平滑处理，采用均值滤波器对果实目标深度图像进行去燥处理的步骤。
3.根据权利要求1所述的果实目标定位识别方法，其特征是，所述等高线图的绘制方法为：
利用果实目标与相机之间的距离值计算果实目标深度图像的三维几何特征信息；
根据目标深度图像的三维几何特征信息绘制果实目标距相机的距离等高线图。
4.根据权利要求1所述的果实目标定位识别方法，其特征是，所述将等高线图进行量化处理的方法为：
在等高线图中建立向量梯度场，将向量梯度场中任意一组向量沿着设定深度在二维平面方向上做偏导数，将向量梯度场中所有向量组映射到二维平面，得到的向量在梯度场中沿果实目标表面方向呈现向外发散状。
5.根据权利要求1所述的果实目标定位识别方法，其特征是，所述果实目标的圆心的定位方法为：
分别将向量梯度场中所有向量统一按照固定原点沿顺时针方向旋转设定角度；
旋转后的向量在果实目标表面方向呈顺时针旋涡状，将涡度最大位置定位为果实目标的圆心。
6.根据权利要求1所述的果实目标定位识别方法，其特征是，所述基于图论的分割方法对果实目标的RGB图像进行分割的步骤包括：
对果实目标的RGB图像进行高斯滤波降噪处理；
基于图论，将RGB图像的多条边按照权重由大到小顺序进行排序，
定义分割评估机制，包括超像素区域内部的差异和两个区域之间的差异；
按照排序结果，从权重最大的边开始遍历，判断该边上的两个顶点是否在同一区域内，是否满足合并条件；若不在同一区域内，且满足合并条件，则合并两个像素点，若不满足合并条件，则更新阈值和区域标号直到满足条件，直至所有边遍历结束，得到分割后图像。
7.一种果实目标定位识别***，其特征是，该***包括：
图像获取模块，用于获取相机采集的果实目标的RGB图像和深度图像；
果实目标定位模块，用于绘制果实目标深度图像的等高线图，将等高线图进行量化处理，得到向量梯度场，旋转向量梯度场中所有向量形成旋涡，将涡度最大位置定位为果实目标的圆心；
图像分割模块，用于基于图论的分割方法对果实目标的RGB图像进行分割；
果实目标识别模块，用于基于果实目标的圆心和RGB图像分割后的图像区域，识别果实目标区域；
所述果实目标区域的识别方法为：
对RGB图像分割后的图像进行遍历，寻找包含果实目标的圆心的超像素区域；
扫描果实目标的圆心所在的超像素区域，得到该超像素区域的面积；
以果实目标的圆心为圆心，与超像素区域面积相等的圆的半径为半径，对果实目标轮廓进行拟合，得到果实目标区域；
从圆心向果实目标区域边界扫描，寻求最大半径，对果实目标轮廓进行拟合，最终实现果实目标的识别与定位。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征是，该程序被处理器执行时实现如权利要求1-6中任一项所述的果实目标定位识别方法中的步骤。
9.一种处理装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征是，所述处理器执行所述程序时实现如权利要求1-6中任一项所述的果实目标定位识别方法中的步骤。
CN201910901551.8A 2019-09-23 2019-09-23 一种果实目标定位识别方法及*** Active CN110648359B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910901551.8A CN110648359B (zh) 2019-09-23 2019-09-23 一种果实目标定位识别方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910901551.8A CN110648359B (zh) 2019-09-23 2019-09-23 一种果实目标定位识别方法及***

Publications (2)

Publication Number Publication Date
CN110648359A CN110648359A (zh) 2020-01-03
CN110648359B true CN110648359B (zh) 2022-07-08

Family

ID=68992503

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910901551.8A Active CN110648359B (zh) 2019-09-23 2019-09-23 一种果实目标定位识别方法及***

Country Status (1)

Country Link
CN (1) CN110648359B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112132785B (zh) * 2020-08-25 2023-12-15 华东师范大学 一种二维材料的透射电镜图像识别、分析方法及***
CN113344844A (zh) * 2021-04-14 2021-09-03 山东师范大学 基于rgb-d多模图像信息的目标果实检测方法及***
CN114067206B (zh) * 2021-11-16 2024-04-26 哈尔滨理工大学 一种基于深度图像的球形果实识别定位方法
CN114260895B (zh) * 2021-12-22 2023-08-22 江苏大学 一种采摘机器人机械臂抓取避障方向确定的方法及其***

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10462972B2 (en) * 2016-09-15 2019-11-05 Harvestmoore, L.L.C. Methods for automated pruning and harvesting of fruit plants utilizing a graphic processor unit
CN108010036B (zh) * 2017-11-21 2020-01-21 江南大学 一种基于rgb-d相机的物体对称轴检测方法
CN108668637A (zh) * 2018-04-25 2018-10-19 江苏大学 一种机器视觉自然放置葡萄串抓取点定位方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Efficient graph-based image segmentation;PEDRO F. FELZENSZWALB etc.;《International Journal of Computer Vision》;20040930;第59卷(第2期);第167-181页 *
Machine vision system for early yield estimation of citrus in a site-specific manner;Daeun Choi etc.;《2015 ASABE Annual International Meeting》;20151231;第1-6页 *
基于超像素的Graph-Based图像分割算法;贾耕云 等;《北京邮电大学学报》;20180626;第41卷(第3期);第46-50页 *

Also Published As

Publication number Publication date
CN110648359A (zh) 2020-01-03

Similar Documents

Publication Publication Date Title
CN110648359B (zh) 一种果实目标定位识别方法及***
Zermas et al. Fast segmentation of 3d point clouds: A paradigm on lidar data for autonomous vehicle applications
Lu et al. Fast 3D line segment detection from unorganized point cloud
Rabbani et al. Segmentation of point clouds using smoothness constraint
CN111665842B (zh) 一种基于语义信息融合的室内slam建图方法及***
CN106981077B (zh) 基于dce和lss的红外图像和可见光图像配准方法
Adam et al. H-RANSAC: A hybrid point cloud segmentation combining 2D and 3D data
WO2015017941A1 (en) Systems and methods for generating data indicative of a three-dimensional representation of a scene
Holz et al. Towards semantic scene analysis with time-of-flight cameras
Hu et al. An automatic 3D registration method for rock mass point clouds based on plane detection and polygon matching
Wang et al. An overview of 3d object detection
Abbeloos et al. Point pair feature based object detection for random bin picking
Yogeswaran et al. 3d surface analysis for automated detection of deformations on automotive body panels
CN114783068A (zh) 姿态识别方法、装置、电子装置和存储介质
WO2022111682A1 (zh) 移动行人检测方法、电子设备及机器人
US11468609B2 (en) Methods and apparatus for generating point cloud histograms
CN111798453A (zh) 用于无人驾驶辅助定位的点云配准方法及其***
Yuan et al. 3D point cloud recognition of substation equipment based on plane detection
Lu et al. Long range traversable region detection based on superpixels clustering for mobile robots
Tabkha et al. Semantic enrichment of point cloud by automatic extraction and enhancement of 360° panoramas
CN113628170A (zh) 一种基于深度学习的激光线提取方法及***
Novacheva Building roof reconstruction from LiDAR data and aerial images through plane extraction and colour edge detection
CN114897999B (zh) 物***姿识别方法、电子设备、存储介质和程序产品
Dryanovski et al. Real-time pose estimation with RGB-D camera
Ma et al. Depth image denoising and key points extraction for manipulation plane detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant