CN102113434B - 一种果实振荡状况下采摘机器人的采摘方法 - Google Patents

一种果实振荡状况下采摘机器人的采摘方法 Download PDF

Info

Publication number
CN102113434B
CN102113434B CN2011100075184A CN201110007518A CN102113434B CN 102113434 B CN102113434 B CN 102113434B CN 2011100075184 A CN2011100075184 A CN 2011100075184A CN 201110007518 A CN201110007518 A CN 201110007518A CN 102113434 B CN102113434 B CN 102113434B
Authority
CN
China
Prior art keywords
fruit
objective
objective fruit
image
picking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2011100075184A
Other languages
English (en)
Other versions
CN102113434A (zh
Inventor
赵德安
吕继东
姬伟
陈玉
沈慧良
张颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University
Original Assignee
Jiangsu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University filed Critical Jiangsu University
Priority to CN2011100075184A priority Critical patent/CN102113434B/zh
Publication of CN102113434A publication Critical patent/CN102113434A/zh
Application granted granted Critical
Publication of CN102113434B publication Critical patent/CN102113434B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Harvesting Machines For Specific Crops (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种采摘机器人的果实采摘方法,该方法通过图像采集步骤连续实时采集果实图像；目标果实检测步骤对采集的图像进行预处理，去除背景，检测出图像中的目标果实；快速傅立叶变换对目标果实振荡周期计算步骤；单目视觉测距方法对目标果实深度计算；机器人直动关节行程速度确定步骤和目标果实采摘步骤。通过该方法可以实现满足苹果等类球状果实震荡下的采摘机器人采摘过程，提高采摘机器人的采摘效率。

Description

一种果实振荡状况下采摘机器人的采摘方法
技术领域
本发明是一种涉及采摘机器人果实采摘的方法，尤其是对苹果等类球状果实在振荡状况下的采摘方法。
背景技术
苹果等类球状果实采摘机器人在进行果实采摘时，首先采摘机器人各模块初始化，其机械臂靠近果树于适合距离；视频摄像头捕捉并获得目标果实的图像信息，图像处理软件进行背景消除、识别定位等，得出目标果实的位置信息；机器人控制计算机驱动各关节运动，完成果实抓取、果实与果枝分离等采摘动作。然而，在采摘机器人进行果实与果枝分离的过程中，不管采用切断方式还是扭断方式，都会引起果树上其他果实的振荡；另外，自然界风力的作用也会导致果实振荡的发生，从而会使得后续果实的识别定位时间变长，连续采摘间断，进而加长了果实采摘的整体时间，影响采摘机器人的采摘效率。
发明内容
本发明的目的是：提供一种果实振荡状况下采摘机器人的采摘方法，解决由于果实振荡影响采摘机器人采摘效率的问题。其方法简单、通用性好，能够显著提高采摘机器人果实采摘的速度。
本发明果实振荡状况下采摘机器人的采摘方法的技术方案是,包括以下步骤:
1）图像采集步骤：连续实时采集果实图像；
2）目标果实检测步骤：对采集的图像进行预处理，去除背景，检测出图像中的目标果实；依据下式求取振荡目标果实的二维质心坐标:
，
Figure DEST_PATH_IMAGE002
其中：i，j为目标果实图像像素的横、纵坐标，n为目标果实图像的总像素数，Ω为属于同一目标果实图像的像素集合；
3）目标果实振荡周期计算步骤：确定目标果实振幅最高的图像帧，计算其在振荡平衡位置的坐标，判断比较目标果实在x和y方向上的振幅大小，对振幅较大的方向采用基于目标果实多帧图像质心坐标的快速傅立叶变换，得到目标果实的振荡周期TS；
4）目标果实深度计算步骤：根据视频摄像头不同位置采集的两幅图像中目标果实形状特征的差值，采用基于形状特征的单目视觉测距方法计算得到目标果实深度d；
5）机器人直动关节行程速度确定步骤：计算以目标果实振荡平衡位置为起始点的TS/4周期的个数td，其公式为：
Figure DEST_PATH_IMAGE003
其中：t为步骤1）—4）所需的时间，N为振荡幅值最高的图像帧数，TC为图像采集周期；
通过td计算目标果实到达振荡平衡位置所需的时间，则目标果实深度d与该时间相除即为机器人直动关节运动到达目标果实的行程速度v；
6）目标果实采摘步骤：以行程速度v驱动机器人直动关节到达目标果实进行采摘。
本发明的技术效果为：对于苹果等类球状果实采摘机器人将果实分离果枝时导致其他果实振荡以及由于自然界风力作用引起果实振荡的情况，该发明方法仍能对这些振荡的果实进行连续的抓取采摘，而不必等待振荡果实停止下来才完成其识别定位，继而才进行抓取采摘，由此减少了采摘时间，提高了采摘效率，大大增强了采摘机器人的实用性。
附图说明
图1为果实采摘流程；
图2为采摘机器人采摘机构图；
图3为果实振荡曲线图； 
图4为果实振荡快速傅立叶变换曲线图；
图5为采摘机器人目标果实深度示意图；
其中：1-数据处理与***控制模块，2-机械臂底座，3-腰部，4-大臂，5-小臂，6-直动关节，7-末端执行器，8-图像采集模块，9-振荡周期，10-振荡平衡位置，11-果实振荡原始曲线，12-果实振荡采集连接曲线，13-果实振荡快速傅立叶变换幅值-频率曲线，14-目标果实深度d，15-果树。
具体实施方式
下面结合附图对本发明的实施方式做进一步的描述。
图2中的采摘机器人其采摘机构主要由腰部3、大臂4、小臂5、直动关节6和末端执行器7组成，其中腰部3、大臂4、小臂5为旋转关节，腰部3旋转带动机械臂底座2动作，直动关节6可伸长末端执行器7，腰部3、大臂4、小臂5和直动关节6整体联动实现末端执行器7在工作空间中进退任意方向；图像采集模块8采用眼在手上安装方式，实现对果实图像的采集；数据处理与***控制模块1负责图像信息的处理和对机器人的控制。
采摘机器人图像采集模块8可以采用二维摄像装置，如CMOS视频摄像头，它能够连续实时采集果实图像；数据处理与***控制模块1采用数字处理器，它能够将采集到的图像信息进行加工处理，并能控制采摘机器人完成目标果实的采摘；图像采集模块8和数据处理与***控制模块1通过数据传输线连接。数据处理与***控制模块1可以采用工业控制计算机，数据传输线采用USB接口的数据传输线。
图3为果实的震荡曲线，由图可见，果实的振荡近似为阻尼运动，其振荡周期9保持不变，每个振荡周期9经历两次震荡平衡位置10。果实振荡周期的求取方法采用数字图像处理技术，首先将振荡果实从所采集的多帧图像中检测出来，其后计算出果实的振荡周期。
采摘机器人采摘振荡状况下目标果实的过程如下：
(1) 图像采集步骤
视频摄像头采集频率为15帧/秒，连续采集30帧图像。
(2)   目标果实检测步骤
本实施例对视频摄像头所采集的图像首先使用矢量中值滤波的方法进行图像预处理，去除噪声、突出前景果实、保持其边缘和细节；然后采用帧间差分法对相邻帧图像进行差分处理，去除背景，其结果再与原始帧进行交集，从而检测出图像中的振荡果实；最后依据下式求取振荡目标果实的二维质心坐标(x, y)。
Figure 645581DEST_PATH_IMAGE001
，
Figure 314460DEST_PATH_IMAGE002
式中（i, j）为目标果实图像像素的横、纵坐标，n为目标果实图像的总像素数，Ω为属于同一目标果实图像的像素集合。
(3) 目标果实振荡周期计算步骤
由上述所求取30帧图像目标果实二维质心坐标值首先来确定果实振幅最高的图像帧，计算果实在振荡平衡位置的坐标，然后判断比较果实在x和y方向上的振幅大小，若果实在x方向上的振幅大，则对所求取30帧图像目标果实质心的x坐标进行快速傅立叶变换；若果实在y方向上的振幅大，则对所求取30帧图像目标果实质心的y坐标进行快速傅立叶变换，由此可以得到目标果实的振荡频率。图4中是对果实振荡曲线的快速傅立叶变换分析，它们的纵坐标表示的都是果实的振荡幅值，果实振荡快速傅立叶变换幅值-频率曲线13是果实振荡采集连接曲线12连接曲线各个采集点进行快速傅立叶变换的幅值-频率曲线图，15帧/秒的采集频率采集30帧图像，其横坐标各个点对应的频率应为0.5Hz，即快速傅立叶变换的频率分辨率为0.5Hz，由于快速傅立叶变换结果的对称性，通常只使用前半部分的结果，即小于采集频率一半的结果，由此从图4中的果实振荡快速傅立叶变换幅值-频率曲线13可知，目标果实的振荡频率为1.5Hz，这和图4中的11目测频率是相符的；由目标果实的振荡频率可求出振荡周期TS。视频摄像头在相同采集频率下增加图像采集帧数，可提高快速傅立叶变换的频率分辨率，从而提高目标果实的振荡周期计算精度。
图3中振荡周期T不变。图5中采摘机器人机械臂的姿态即为机器人寻找目标果实时其机械臂的初始工作姿态，此过程中直动关节是收缩在小臂内的。
(4) 目标果实深度计算步骤
目标果实深度的计算是基于单目视觉的，根据视频摄像头不同位置采集的两幅图像中目标果实形状特征的差值计算得到目标果实深度d。本实施例以目标果实的半径这一形状特征作为测距变量。采摘机器人首先从步骤(1)中所采集图像中任选一帧提取目标果实的半径r1，然后机器人向前移动g的距离，采集并提取该位置的目标果实半径r2，则目标果实深度d为：
Figure DEST_PATH_IMAGE004
(5)机器人直动关节行程速度确定步骤
从视频摄像头采集图像开始计时，直到目标果实振荡周期TS及目标果实深度d计算出来所需的时间为t；视频摄像头图像采集周期TC由步骤(1)可知；机器人直动关节的行程速度v是可控的，其最大行程速度为vmax。假定第N帧图像目标果实振荡幅值最高，以该图像采集时间点加TS/4即为目标果实振荡的一个平衡位置时间点，由此可得td：
Figure 610619DEST_PATH_IMAGE003
式中td为以果实振荡平衡位置为起始点的TS/4周期的个数。对td取余得tdy。机器人直动关节运动到达目标果实进行采摘的行程速度v为：
Figure DEST_PATH_IMAGE005
  
Figure DEST_PATH_IMAGE006
对td取余得tdy；m与对td取整的奇偶性一致，且m满足
Figure DEST_PATH_IMAGE007
下取值最小。
 (6) 以行程速度v驱动机器人直动关节到达目标果实进行采摘，此时目标果实正处于平衡位置。

Claims (2)

1.一种果实振荡状况下采摘机器人的采摘方法，其特征在于包括以下步骤：
1）图像采集步骤：连续实时采集果实图像；
2）目标果实检测步骤：对采集的图像进行预处理，去除背景，检测出图像中的目标果实；依据下式求取振荡目标果实的二维质心坐标:
Figure 246990DEST_PATH_IMAGE001
，
Figure 977180DEST_PATH_IMAGE002
其中：i，j为目标果实图像像素的横、纵坐标，n为目标果实图像的总像素数，Ω为属于同一目标果实图像的像素集合；
3）目标果实振荡周期计算步骤：确定目标果实振幅最高的图像帧，计算其在振荡平衡位置的坐标，判断比较目标果实在x和y方向上的振幅大小，对振幅较大的方向采用基于目标果实多帧图像质心坐标的快速傅立叶变换，得到目标果实的振荡周期TS；
4）目标果实深度计算步骤：根据视频摄像头不同位置采集的两幅图像中目标果实形状特征的差值，采用基于形状特征的单目视觉测距方法计算得到目标果实深度d；所述单目视觉测距方法为，从步骤1）所采集图像中任选一帧提取目标果实的半径r1，然后机器人向前移动g的距离，采集并提取该位置的目标果实半径r2，则目标果实深度d为：
Figure 756917DEST_PATH_IMAGE003
。
5）机器人直动关节行程速度确定步骤：计算以目标果实振荡平衡位置为起始点的TS/4周期的个数td，其公式为：
Figure 214443DEST_PATH_IMAGE004
其中：t为步骤1）—4）所需的时间，N为振荡幅值最高的图像帧数，TC为图像采集周期；
目标果实深度d与目标果实到达振荡平衡位置所需的时间相除，得到机器人直动关节运动到达目标果实的行程速度v，其公式为：
Figure 28816DEST_PATH_IMAGE005
 
Figure 851278DEST_PATH_IMAGE006
对td取余得tdy；m与对td取整的奇偶性一致，且m满足
Figure 429896DEST_PATH_IMAGE007
下取值最小。
6）目标果实采摘步骤：以行程速度v驱动机器人直动关节到达目标果实进行采摘。
2.根据权利要求1所述的一种果实振荡状况下采摘机器人的采摘方法，其特征在于，所述步骤2）目标果实检测步骤中去除背景的方法为，采用从多帧图像中基于帧间差分再与原始帧取交集的方法。
CN2011100075184A 2011-01-14 2011-01-14 一种果实振荡状况下采摘机器人的采摘方法 Expired - Fee Related CN102113434B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2011100075184A CN102113434B (zh) 2011-01-14 2011-01-14 一种果实振荡状况下采摘机器人的采摘方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2011100075184A CN102113434B (zh) 2011-01-14 2011-01-14 一种果实振荡状况下采摘机器人的采摘方法

Publications (2)

Publication Number Publication Date
CN102113434A CN102113434A (zh) 2011-07-06
CN102113434B true CN102113434B (zh) 2012-08-15

Family

ID=44212456

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011100075184A Expired - Fee Related CN102113434B (zh) 2011-01-14 2011-01-14 一种果实振荡状况下采摘机器人的采摘方法

Country Status (1)

Country Link
CN (1) CN102113434B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103279762B (zh) * 2013-05-21 2016-04-13 常州大学 一种自然环境下果实常见生长形态判定方法
CN104933727A (zh) * 2015-07-06 2015-09-23 王跃宣 移动微型目标提取方法和装置
CN105719282B (zh) * 2016-01-16 2018-06-08 常州大学 一种果园红色苹果图像果实枝叶区域获取方法
CN105701829B (zh) * 2016-01-16 2018-05-04 常州大学 一种套袋绿色果实图像分割方法
CN105718945B (zh) * 2016-01-20 2020-07-31 江苏大学 基于分水岭和神经网络的苹果采摘机器人夜间图像识别方法
CN107450595A (zh) * 2017-09-19 2017-12-08 广东容祺智能科技有限公司 一种基于无人机的采药***
CN109514523B (zh) * 2018-12-29 2024-03-12 贺州学院 一种柔性机械臂
CN111310591A (zh) * 2020-01-20 2020-06-19 复旦大学 多类型样本数据制作装置及方法
CN111444833B (zh) * 2020-03-25 2023-09-15 中国农业科学院农业信息研究所 果实测产方法、装置、计算机设备及存储介质
CN113099847B (zh) * 2021-05-25 2022-03-08 广东技术师范大学 一种基于果实三维参数预测模型的果实采摘方法
CN114885672B (zh) * 2022-03-31 2024-02-09 重庆市农业科学院 结球甘蓝采摘***
CN115486272B (zh) * 2022-09-14 2024-01-26 云南农业大学 一种利用空气振动波采收挂枝成熟核桃果实的方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3971480A (en) * 1974-06-07 1976-07-27 Lynch Corporation Rotary actuator
EP0685779A1 (en) * 1994-06-03 1995-12-06 Toyota Jidosha Kabushiki Kaisha Method of computing drive pattern for suppressing vibration of industrial robot
CN101019484A (zh) * 2007-03-06 2007-08-22 江苏大学 果蔬采摘机器人末端执行器
CN101395989A (zh) * 2008-10-10 2009-04-01 江苏大学 一种苹果采摘机器人的末端执行器
CN101803511A (zh) * 2009-12-29 2010-08-18 浙江工业大学 球果采摘机器人的柔性末端执行器

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3971480A (en) * 1974-06-07 1976-07-27 Lynch Corporation Rotary actuator
EP0685779A1 (en) * 1994-06-03 1995-12-06 Toyota Jidosha Kabushiki Kaisha Method of computing drive pattern for suppressing vibration of industrial robot
CN101019484A (zh) * 2007-03-06 2007-08-22 江苏大学 果蔬采摘机器人末端执行器
CN101395989A (zh) * 2008-10-10 2009-04-01 江苏大学 一种苹果采摘机器人的末端执行器
CN101803511A (zh) * 2009-12-29 2010-08-18 浙江工业大学 球果采摘机器人的柔性末端执行器

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
张向珂.采摘机械手障碍信息探测.《江苏大学硕士学位论文》.2010,全文. *
方建军.采摘机器人开放式控制***设计.《农业机械学报》.2005,第36卷(第5期),83-86. *
李占坤等.基于工业PC机的果树采摘机器人控制***设计.《机械设计与制造》.2010,(第6期),142-144. *
薛峰等.六自由度农业采摘机器人驱动控制仿真研究.《农机化研究》.2010,(第7期),59-64. *

Also Published As

Publication number Publication date
CN102113434A (zh) 2011-07-06

Similar Documents

Publication Publication Date Title
CN102113434B (zh) 一种果实振荡状况下采摘机器人的采摘方法
CN103529855B (zh) 一种旋转可调式双目视觉的目标识别定位装置及其在农业果实采摘机械的应用
CN107688391B (zh) 一种基于单目视觉的手势识别方法和装置
CN100591202C (zh) 柑橘采摘机器人的柔性采摘装置和方法
CN106251399B (zh) 一种基于lsd-slam的实景三维重建方法及实施装置
KR101616926B1 (ko) 영상 처리 장치 및 방법
CN111462154B (zh) 基于深度视觉传感器的目标定位方法、装置及自动抓取机器人
CN107309876B (zh) 机械手采摘的控制方法
US11270461B2 (en) System and method for posture sequence on video from mobile terminals
CN107671008A (zh) 一种基于视觉的零部件流水线自动分拣装箱设备
CN106272427A (zh) 一种工业机器人智能拾取***
EP1335322A3 (en) Method of determining body motion from captured image data
CN107798313A (zh) 一种人体姿态识别方法、装置、终端和存储介质
CN107220601B (zh) 一种基于在线置信度判别的目标抓捕点预测方法
WO2019127518A1 (zh) 避障方法、装置及可移动平台
CN109684941A (zh) 一种基于matlab图像处理荔枝果实采摘区域划分方法
CN107610086A (zh) 一种基于仿生复眼结构的工业并联机器人快速视觉检测算法
CN114119739A (zh) 一种基于双目视觉的手部关键点空间坐标获取方法
Dubois et al. Using image processing for biomechanics measures in swimming
CN106886758B (zh) 基于三维姿态估计的昆虫识别装置及方法
CN116439018B (zh) 一种七自由度水果采摘机器人及其采摘方法
CN109729835A (zh) 一种基于双目视觉的油茶果采摘***及控制方法
Wakayama et al. 6D-pose estimation for manipulation in retail robotics using the inference-embedded OAK-D camera
EP4309122A2 (en) Visual servoing of a robot
CN116128769B (zh) 摇摆运动机构的轨迹视觉记录***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120815

Termination date: 20180114

CF01 Termination of patent right due to non-payment of annual fee