CN115997560B - 一种基于机械臂的果实采摘方法、***及装置 - Google Patents
一种基于机械臂的果实采摘方法、***及装置 Download PDFInfo
- Publication number
- CN115997560B CN115997560B CN202211729092.8A CN202211729092A CN115997560B CN 115997560 B CN115997560 B CN 115997560B CN 202211729092 A CN202211729092 A CN 202211729092A CN 115997560 B CN115997560 B CN 115997560B
- Authority
- CN
- China
- Prior art keywords
- picked
- picking
- target
- module
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 235000013399 edible fruits Nutrition 0.000 title claims abstract description 176
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000003860 storage Methods 0.000 claims description 56
- 230000000007 visual effect Effects 0.000 claims description 23
- 230000033001 locomotion Effects 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 2
- 238000004590 computer program Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 241000227653 Lycopersicon Species 0.000 description 3
- 235000007688 Lycopersicon esculentum Nutrition 0.000 description 3
- 238000012271 agricultural production Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000007599 discharging Methods 0.000 description 3
- 235000012055 fruits and vegetables Nutrition 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 206010063385 Intellectualisation Diseases 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004040 coloring Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Landscapes
- Manipulator (AREA)
Abstract
本发明公开了一种基于机械臂的果实采摘方法、***及装置,涉及农业采摘机械技术领域,主要目的在于提升对待采摘目标的采摘准确率。本发明主要的技术方案为:根据第一视觉模块采集的图像确定至少一个待采摘目标的第一位置;根据所述第一位置以及机械臂的当前位置确定所述待采摘目标的采摘顺序列表;基于所述采摘顺序列表控制所述机械臂将第二视觉模块移动至待采摘目标对应的第一位置;根据所述第二视觉模块采集的图像确定所述待采摘目标的尺寸信息以及采摘位置;根据所述尺寸信息调整所述果实采摘模块的采摘口尺寸;根据所述采摘位置控制所述果实采摘模块采摘所述待采摘目标。本发明用于果实采摘。
Description
技术领域
本发明涉及农业采摘机械技术领域,尤其涉及一种基于机械臂的果实采摘方法、***及装置。
背景技术
随着社会科技水平不断提高,农业生产逐渐朝机械化、自动化、智能化方向发展,例如在从前,需要人工根据果蔬的成熟度,着色以及尺寸等有选择的进行采摘,但这对于人工消耗较大,并且进度较慢,因此影响采摘进度以及后续发展,所以,逐渐采用机器代替人工进采摘,来有效的降低人工成本以及提高果蔬利润。
但现有的抓取式采摘机器采用的视觉模块的相机通常是固定的,相机视角不足,进而导致相机可能会出现对待采摘目标的被遮挡情况以及具体定位判断失误的情况出现,最终导致对待采摘目标的采摘准确率低下。
发明内容
鉴于上述问题,本发明提供一种基于机械臂的果实采摘方法、***及装置,主要目的是为了提升对待采摘目标的采摘准确率。
为解决上述技术问题,本发明提出以下方案:
第一方面,本发明提供了一种基于机械臂的果实采摘方法,所述机械臂上设置有两个视觉模块以及果实采摘模块,所述方法包括:
根据第一视觉模块采集的图像确定至少一个待采摘目标的第一位置;
根据所述第一位置以及机械臂的当前位置确定所述待采摘目标的采摘顺序列表;
基于所述采摘顺序列表控制所述机械臂将第二视觉模块移动至待采摘目标对应的第一位置;
根据所述第二视觉模块采集的图像确定所述待采摘目标的尺寸信息以及采摘位置;
根据所述尺寸信息调整所述果实采摘模块的采摘口尺寸;
根据所述采摘位置控制所述果实采摘模块采摘所述待采摘目标。
第二方面,本发明提供了一种基于机械臂的果实采摘装置,所述机械臂上设置有两个视觉模块以及果实采摘模块,所述装置包括:
第一确定单元,用于根据第一视觉模块采集的图像确定至少一个待采摘目标的第一位置;
第二确定单元,用于根据所述第一位置以及机械臂的当前位置确定所述待采摘目标的采摘顺序列表;
控制单元,用于基于所述采摘顺序列表控制所述机械臂将第二视觉模块移动至待采摘目标对应的第一位置;
第三确定单元,用于根据所述第二视觉模块采集的图像确定所述待采摘目标的尺寸信息以及采摘位置;
第一调整单元,用于根据所述尺寸信息调整所述果实采摘模块的采摘口尺寸;
采摘单元,用于根据所述采摘位置控制所述果实采摘模块采摘所述待采摘目标。
为了实现上述目的,根据本发明的第三方面,提供了一种存储介质,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行上述第一方面的基于机械臂的果实采摘方法。
为了实现上述目的,根据本发明的第四方面,提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行上述第一方面的基于机械臂的果实采摘方法。
借由上述技术方案,本发明提供的一种基于机械臂的果实采摘方法、***及装置,可以先通过第一视觉模块采集图像,然后根据第一视觉模块采集的图像确定至少一个待采摘目标,进而确定出至少一个待采摘目标的第一位置,且所述第一位置为第二视觉模块所要移动的位置,因此通过两个视觉模块之间的配合,便于进一步对所述待采摘目标进行观察,以便于对后续对待采摘目标进行采摘,然后可以进一步确定出机械臂的当前位置,进而可以根据所述第一位置以及机械臂的当前位置确定所述待采摘目标的采摘顺序列表,这样可以在后续按照所述采摘列表对待采摘目标进行采摘,而不是随机进行采摘,因此可以保证对采摘的秩序以及效率,进一步的,可以基于所述采摘顺序列表控制所述机械臂将第二视觉模块移动至待采摘目标对应的第一位置,以便于所述第二视觉模块可以进一步在第一位置处对所述待采摘目标进行进一步采集,在所述第二视觉模块到达所述第一位置处之后,可以根据所述第二视觉模块采集的图像确定所述待采摘目标的尺寸信息以及采摘位置,这样,可以在所述第一视觉模块采集的图像确定至少一个待采摘目标的第一位置的基础上,进一步利用所述第二视觉模块确定出待采摘目标的尺寸信息以及采摘位置,然后根据所述尺寸信息调整所述果实采摘模块的采摘口尺寸,可以对不同尺寸的待采摘目标进行采摘,不局限于统一尺寸的待采摘目标,提高了对不同待采摘目标采摘的适用性,在调节完所述果实采摘模块的采摘口尺寸之后,可以根据所述采摘位置控制所述果实采摘模块采摘所述待采摘目标。这样,通过所述第一视觉模块拍摄的图像先确定出待采摘目标的第一位置,再利用所述第二视觉模块在第一位置处进一步对所述待采摘目标进行采集,确定出所述待采摘目标的尺寸信息以及采摘位置,并非只利用单独的视觉模块对待采摘目标进行粗略判断,在一定程度上提高对所述待采摘目标的识别以及定位精度,然后可以根据确定出的所述待采摘目标的尺寸信息调节所述果实采摘模块的采摘口尺寸,在此基础上再对所述待采摘目标进行采摘,这样,通过将采摘口的尺寸按照所述待采摘目标的尺寸进行调节,可以提高对不同待采摘目标的适用性,这样通过增加对所述待采摘目标的识别以及定位精度以及对不同尺寸的待采摘目标的适用性,最终可以提高对待采摘目标的采摘准确率。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了本发明实施例提供一种基于机械臂的果实采摘***的立体结构示意图;
图2示出了本发明实施例提供的一种基于机械臂的果实采摘方法流程图;
图3示出了本发明实施例提供的另一种基于机械臂的果实采摘方法流程图;
图4示出了本发明实施例提供的一种基于机械臂的果实采摘装置的组成框图;
图5示出了本发明实施例提供的另一种基于机械臂的果实采摘装置的组成框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
在社会科技水平的不断提高过程中,人们对于农业生产的要求和效率也不断提高,农业生产逐渐朝机械化、自动化、智能化方向发展,例如在从前,由于果实的成熟度不一致,人们需依据着色、尺寸等指标有选择地采摘,是人工消耗最大、影响产业发展的瓶颈环节,但现在逐渐采用可以降低人工成本并提高果蔬利润的农业机器人进行果实的采摘,但现有的利用农业机器人对果实进行采摘时,一方面是利用单相机的方法,对果实的成熟度以及定位进行一个大致的判断,然后对果实进行采摘,但该方法对果实的定位不够精确,另一方面,现有的农业机器人相机通常是固定安装在机器人上的,不能进行移动,因此相机视角不足,可能会导致相机对于果实的判断不够准确,最后,现有的采摘机器采摘器的夹持力度难以达到最优,通常会导致果实受到挤压甚至划伤,影响贮存时间。为此,本发明实施例提供了一种基于机械臂的果实采摘方法,可以提升对待采摘目标的采摘准确率。
下面以执行主体为基于机械臂的果实采摘***为例对本发明实施例提供的基于机械臂的果实采摘方法加以说明。
请参阅图1,图1为本发明实施例提供一种基于机械臂的果实采摘***的立体结构示意图。如图1中所示,在实际应用场景的果实采摘***中,该***包括用于采摘果实的四轴机器臂3、两个视觉模块、果实采摘模块4以及控制模块12;第一视觉模块1设置于四轴机械臂3的第一运动关节的上表面处,通过机械臂的移动带动其上下移动,第二视觉模块2与果实采摘模块4设置于四轴机械臂3的第三运动关节上;在此***中,所述第一视觉模块1可以先确定目标视野内采摘物的成熟度,并基于所述采摘物的成熟度确定出目标视野内的至少一个待采摘目标以及所述第二视觉模块2移动的第一位置,进而所述第二视觉模块2可以确定待采摘目标的采摘位置以及尺寸信息,最终所述果实采摘模块4可以根据待采摘目标的尺寸信息调节采摘口的尺寸以采摘待采摘目标;其中,所述控制模块12分别与四轴机器臂3、两个视觉模块、果实采摘模块4电连接,执行所述上述基于机械臂的果实采摘方法,以使所述***完成对待采摘目标的采摘。
进一步的,在上述基于机械臂的果实采摘***的基础上,所述***还包括有采摘口5、果实暂存箱6、负压源9、光电传感器10、果实储存箱11、供电模块13,所述供电模块13用于在工作时为果实采摘***供电,所述采摘口5与所述负压源9连接,用于通过负压源9的负压吸力将待采摘目标吸入采摘口5中,其中,所述果实采摘模块4还包括变径组件以及驱动组件,所述变径组件设置于所述采摘口5的筒口(图未示),可以相对于所述采摘口5的方向收缩或扩张,以扩大或缩小所述采摘口5的尺寸大小,所述驱动组件与所述变径组件活动连接(图未示)以驱动所述变径组件的收缩或扩张;所述果实暂存箱6连接于果实采摘模块4的下方,用于在待采摘目标采摘成功之后,落入所述果实暂存箱6下方进行暂存,其中所述果实暂存箱6下方还设有盖板,所述果实储存箱11位于所述果实暂存箱6下方,并与所述果实暂存箱6下方盖板连接,用于在所述果实暂存箱6下方盖板打开时,采摘下的目标可以成功落入果实储存箱11中,以保证采摘下来的目标的完整性。
在果实采摘模块4工作时,所述驱动组件可以驱动所述变径组件按照所述待采摘目标的尺寸信息进行收缩或扩张以调节采摘口5的尺寸,进而可以在采摘位置处采摘待采摘目标,在所述待采摘目标采摘成功之后,采摘完成的目标可以落入连接于果实采摘模块4下方的果实暂存箱6中,同时所述控制模块12接收到所述光电传感器10的跳变信号验证待采摘目标采摘成功,同时,所述控制模块12可以通过设置于所述果实暂存箱6下方的压力传感器(图未示)检测所述果实暂存箱6的承重,进而在检测到所述果实暂存箱6达到指定承重阈值时,所述果实暂存箱6下方的盖板打开,将采摘完成的目标卸入果实储存箱11中。
其中,所述控制模块12为具备AI计算能力的控制板,可连接两个及以上的相机,能够通过串口或CAN与各模块通讯,控制各模块完成指定工作。
请同时参阅图2,图2为本发明实施例提供的一种基于机械臂的果实采摘方法流程图:
201、根据第一视觉模块采集的图像确定至少一个待采摘目标的第一位置。
该步骤中,机械臂可以先带动第一视觉模块上下移动,进而所述第一视觉模块可以先采集目标视野内所有采摘物的图像,需要说明的是,这里可以是针对目标视野内的所有采摘物拍摄一张图像,也可以是针对所有采摘物拍摄多张图像,也可以一个采摘物对应一张图像或者一个采摘物对应多张图像,在此不做任何限定,然后,根据所述第一视觉模块采集的图像从采摘物中确定出至少一个待采摘目标,进而可以确定至少一个待采摘目标的第一位置,其中,所述第一位置为第二视觉模块所移动的位置,其用于所述第二视觉模块来进一步采集待采摘目标的图像。
具体的,确定至少一个待采摘目标的第一位置时,可以先利用所述第一视觉模块根据其拍摄的带有所述待采摘目标的图像,确定出所述待采摘目标的一次定位信息,然后可以是只根据所述待采摘目标的一次定位信息的方式,还可以是根据所述一次定位信息结合第二视觉模块的位置的方式,确定出所述第一位置。
其中,所述第一位置可以有多个,具体数量不做任何限定,其可以是一个待采摘目标对应于至少一个第一位置,也可以存在不同的待采摘目标之间的部分第一位置相同的情况。
其中,所述第一视觉模块可以是采用具有深度感知能力的深度(RGBD)相机或双目相机;所述第二机器视觉模块选取具有深度感知能力的深度(RGBD)相机或双目相机,或不具有深度感知能力的单目RGB相机。
202、根据第一位置以及机械臂的当前位置确定待采摘目标的采摘顺序列表。
该步骤中,在根据第一视觉模块采集的图像确定至少一个待采摘目标的第一位置之后,可以进一步确定出机械臂当前所在的位置,然后根据第一位置以及机械臂的当前位置确定待采摘目标的采摘顺序列表。
具体的,在利用第一位置以及机械臂的当前位置确定待采摘目标的采摘顺序列表时,可以是根据第一位置确定出各个待采摘目标与机械臂当前位置之间的距离,然后再利用所述第一视觉模块确定出各待采摘目标的成熟度,进而将成熟度以及距离进行加权组合的方式,还可以是根据各待采摘目标对应的第一位置与所述机械臂的当前位置来规划所述机械臂采摘各待采摘目标的最优路径的方式,来确定出待采摘目标的采摘顺序列表。
示例性的,例如在利用成熟度以及距离进行加权组合的方式确定所述采摘顺序列表时,若待采摘目标A与机械臂当前位置之间的距离为2米,成熟度为一级成熟,待采摘目标B与机械臂当前位置之间的距离为3米,成熟度为三级成熟,待采摘目标C与机械臂当前位置之间的距离为也为1米,成熟度为二级成熟,需要说明的是,在本实施例中,成熟度等级越高,待采摘目标越成熟,基于此,所述采摘顺序列表依次可以为待采摘目标C-待采摘目标B-待采摘目标A。
203、基于采摘顺序列表控制机械臂将第二视觉模块移动至待采摘目标对应的第一位置。
该步骤中,在确定出所述采摘顺序列表之后,可以根据所述采摘顺序列表中的顺序,确定出对应的待采摘目标,然后根据该待采摘目标,确定出其对应的第一位置中的一个第一位置,这里,确定出的该第一位置可以是与机械臂当前位置最近的,也可以是距离最远但视角最好的,在此不做限定,进而可以控制所述机械臂将第二视觉模块移动至该待采摘目标对应的第一位置处。
示例性的,若所述采摘顺序列表中的第一个待采摘目标为A,其对应的第一位置分别有距离机械臂当前位置最近的A1处,距离机械臂当前位置最远,但视角最好的A2处,在此情况下,若想更好的对所述待采摘目标进行进一步观察,则可以选择A2处,然后,进而可以控制所述机械臂将所述第二视觉模块移动到A2处,若想更快的观察到所述待采摘目标,则可以控制所述机械臂将所述第二视觉模块移动到A1处,进一步需要说明的是,每一个第一位置处的视角都可以达到对所述待采摘目标观察的最低标准。
204、根据第二视觉模块采集的图像确定待采摘目标的尺寸信息以及采摘位置。
该步骤中,将所述第二视觉模块移动到第一位置处之后,可以控制所述第二视觉模块在第一位置处采集待采摘目标的图像,再通过基于特征的方法,还可以是基于深度学习的语义分割的方法,结合所述第二视觉模块采集所述待采摘目标的图像判断出所述待采摘目标的采摘位置以及估计出所述待采摘目标的尺寸信息,在此需要说明的是,所述第二视觉模块采集的所述待采摘目标的图像可以是多张,且在估计所述待采摘目标的尺寸信息时,可以是估计其等效直径,例如番茄,在此时假定番茄是一个球体,主要是估计其为一个球体时该球体的等效直径。
其中,所述待采摘目标的采摘位置以及尺寸信息均可以为多个,其均可以为不同方向,不同角度的。
205、根据尺寸信息调整果实采摘模块的采摘口尺寸。
该步骤中,在确定出所述尺寸信息之后,可以进一步确定出所述果实采摘模块的采摘口尺寸,然后将所述采摘口的尺寸和所述待采摘目标的尺寸进行对比或者是计算二者之间的差值,确定出所述果实采摘模块的采摘口是否需要调整,若需要,则进一步根据所述差值确定出要调整所述采摘口的尺寸大小,即将所述采摘口在原本尺寸的基础上还要缩小多少尺寸或增加多少尺寸,在此需要说明的是,若采摘口的尺寸不超出太多所述待采摘目标的尺寸,即虽然大于所述待采摘目标的尺寸,但刚好可以将其吸入,则无需调整。
示例性的,若所述待采摘目标的尺寸为4cm,所述采摘口的尺寸为3cm,则可以确定所述采摘口的尺寸相对于待采摘目标来说小1cm,所以可以确定,此时需要将所述采摘口的尺寸增加1-2cm,以保证所述待采摘目标可以被吸入。
206、根据采摘位置控制果实采摘模块采摘待采摘目标。
该步骤中,在确定出所述采摘位置以后,可以控制所述机械臂将所述果实采摘模块带动至采摘目标处,然后控制所述果实采摘模块采摘所述待采摘目标。
其中,在采摘所述待采摘目标时,可以是利用吸力,将所述待采摘目标吸入所述采摘口中,然后在将所述待采摘目标吸入之后,可以将所述采摘口缩小至最小,以便于所述待采摘目标不能随意掉出。
基于上述图2的实现方式可以看出,本发明提供的一种基于机械臂的果实采摘方法,可以先通过第一视觉模块采集图像,然后根据第一视觉模块采集的图像确定至少一个待采摘目标的第一位置,其中,所述第一位置为所述第二视觉模块所要移动的位置,以便于进一步对所述待采摘进行采集,这样,通过所述第一视觉模块和所述第二视觉模块之间的配合,可以方便所述第二视觉模块进行后续的二次定位,增加对所述待采摘目标的判断精度,有利于提升后续对待采摘目标进行采摘时的准确率,然后可以进一步确定出机械臂的当前位置,进而可以根据所述第一位置以及机械臂的当前位置确定所述待采摘目标的采摘顺序列表,这样可以在后续按照所述采摘列表对待采摘目标进行采摘,可以保证对采摘的秩序,有利于提升对待采摘目标进行采摘时的速度,进一步的,可以基于所述采摘顺序列表控制所述机械臂将第二视觉模块移动至待采摘目标对应的第一位置,以便于所述第二视觉模块可以进一步在第一位置处对所述待采摘目标进行进一步采集,在所述第二视觉模块到达所述第一位置处之后,可以根据所述第二视觉模块采集的图像确定所述待采摘目标的尺寸信息以及采摘位置,这样,可以在所述第一视觉模块采集的图像确定至少一个待采摘目标的第一位置的基础上,进一步利用所述第二视觉模块确定出待采摘目标的尺寸信息以及采摘位置,然后根据所述尺寸信息调整所述果实采摘模块的采摘口尺寸,可以对不同尺寸的待采摘目标进行采摘,不局限于统一尺寸的待采摘目标,提高了对不同待采摘目标采摘的适用性,在调节完所述果实采摘模块的采摘口尺寸之后,可以根据所述采摘位置控制所述果实采摘模块采摘所述待采摘目标。这样,通过所述第一视觉模块拍摄的图像先确定出待采摘目标的第一位置,再利用所述第二视觉模块在第一位置处进一步对所述待采摘目标进行采集,确定出所述待采摘目标的尺寸信息以及采摘位置,并非只利用单独的视觉模块对待采摘目标进行粗略判断,在一定程度上提高对所述待采摘目标的识别以及定位精度,然后可以根据确定出的所述待采摘目标的尺寸信息调节所述果实采摘模块的采摘口尺寸,在此基础上再对所述待采摘目标进行采摘,这样,通过将采摘口的尺寸按照所述待采摘目标进行采摘,可以提高对不同待采摘目标的适用性,这样通过增加对所述待采摘目标的识别以及定位精度以及调节所述采摘口的尺寸来采摘不同待采摘目标,最终可以提高对待采摘目标的采摘准确率。
进一步的,作为对图2所示实施例的细化及扩展,本发明实施例还提供了另一种基于机械臂的果实采摘方法,如图3所示,其具体步骤如下:
301、根据第一视觉模块采集的图像确定至少一个待采摘目标的第一位置。
在该步骤中,提出了一种在确定至少一个待采摘目标的第一位置时,区别于步骤201的更优的实施方式,具体的,可以是先控制所述第一视觉模块采集目标视野内采摘物的图像以及所述采摘物的图像深度信息,在确定出所述采摘物的图像深度信息以后,可以在所述采摘物图像的基础上利用深度学习的方法或者基于特征的方法确定出所述采摘物的成熟度,然后可以利用所述采摘物的成熟度从所述采摘物中确定出至少一个待采摘目标,进而可以基于所述图像深度信息确定出所述待采摘目标的一次定位信息,确定出所述待采摘目标的至少一个第一位置。
进一步的,在根据所述待采摘目标的一次定位信息确定出所述待采摘目标的至少一个第一位置时,可以是先确定出所述第二视觉模块的参数信息,然后根据所述第二视觉模块的参数信息确定出适合所述第二视觉模块对待采摘的采摘距离,然后可以结合所述距离以及所述第二视觉模块的位置,以及所述待采摘目标的一次定位信息确定出所述待采摘目标的第一位置,这样,可以方便所述第二视觉模块后续对所述待采摘目标进行二次定位,提高对所述待采摘目标的精准度。
其中,所述目标视野内的采摘物可以是多个,其可以为机械臂带动第一视觉模块上下移动所能观察到的全部采摘物。
其中,所述待采摘目标为从采摘物中确定出的可以采摘的采摘物,可以在后续对其进行采摘。
302、根据第一位置以及机械臂的当前位置确定待采摘目标的采摘顺序列表。
在该步骤中,提供了一种在确定待采摘目标的采摘顺序列表时,区别于步骤202的更优的实施方式,具体的,可以是确定出位于机械臂第三运动关节处的果实采摘模块的当前位置,然后再根据所述待采摘目标的第一位置以及所述果实采摘模块的当前位置规划出所述机械臂采摘各采摘目标的最优路径,然后根据所述最优路径,确定出所述各待采摘目标的采摘顺序,得到采摘顺序列表。
示例性的,若所述果实采摘模块位于A1处,待采摘目标1的第一位置位于距所述A1位置2米距离东南方向的A2处,待采摘目标2的第一位置位于距所述A1位置2米距离西北方向的A3处,待采摘目标3的第一位置位于距所述A1位置1米距离东南方向的A4处,则所述采摘顺序列表可以是待采摘目标3-待采摘目标1-待采摘目标2,这样通过按照最优路径来确定采摘顺序列表,进而按照所述采摘顺序列表进行采摘,可以大大增加对所述待采摘目标的采摘效率。
303、基于采摘顺序列表控制机械臂将第二视觉模块移动至待采摘目标对应的第一位置。
在该步骤中,提出了一种在将所述第二视觉模块移动至待采摘目标对应的第一位置时,区别于步骤203的更优的实施方式,具体的,可以先确定出所述采摘顺序列表中的第一个待采摘目标,然后确定出该待采摘目标的一个第一位置,然后可以控制所述第二视觉模块在对应的第一位置处采集该待采摘目标对应的图像以及图像深度信息,进而可以在所述待采摘目标对应图像的基础上利用基于特征的方法或基于深度学习的语义分割方法判断出所述待采摘目标是否被遮挡,若是,则可以更换所述待采摘目标对应的其他第一位置,若根据在所述待采摘目标对应的所有第一位置处拍摄的图像都已经判断出所述待采摘目标被遮挡,则可以控制所述机械臂将所述第二视觉模块移动至所述采摘顺序列表中的下一待采摘目标对应的第一位置,从而实现对遮挡的目标进行规避,以避免由于遮挡造成的采摘失败造成的采摘效率损失。
示例性的,若所述采摘顺序列表中的第一顺序的待采摘目标位待采摘目标1,第二顺序的待采摘目标为待采摘目标2,所述待采摘目标1对应的所有第一位置分别为A1、A2、A3,所述第二视觉模块在所述A1处拍摄所述待采摘目标1的图像,进而通过在所述A1处拍摄的图像确定出所述待采摘目标1被遮挡,则可以更换到所述待采摘目标1对应的A2处拍摄所述待采摘目标1的图像,若在所述A1、A2处拍摄的所述待采摘目标1都已判断出所述待采摘目标1被遮挡,则可以控制所述机械臂将所述第二视觉模块移动至所述待采摘目标2对应的第一位置处。
304、根据第二视觉模块采集的图像确定待采摘目标的尺寸信息以及采摘位置。
在该步骤中,提供了一种在确定所述待采摘目标的尺寸信息以及采摘位置时,区别于步骤204的更优的实施方式,具体的,若在所述待采摘目标对应的第一位置处确定所述待采摘目标未被遮挡,则可以根据所述待采摘目标采集的多个图像分析所述待采摘目标的多个图像信息以及对应的尺寸信息,其中,所述待采摘目标的多个图像可以是在所述待采摘目标对应的不同第一位置处拍摄的,其可以是在不同角度进行拍摄的,进而可以在多个图像确定出所述待采摘目标的多个尺寸信息,由于所述待采摘目标的多个图像可以是在不同角度拍摄的,所以多个尺寸信息可以是不同的,进而可以从多个尺寸信息张确定出所述待采摘目标的目标尺寸信息,例如,所述待采摘目标的目标尺寸信息可以是多个尺寸信息中最大尺寸的,这样可以避免由于对所述待采摘目标尺寸估计过小造成的采摘失败等情况,在确定出所述目标尺寸信息之后,可以根据所述目标尺寸信息所对应的图像深度信息确定所述待采摘目标的采摘位置,这样,在所述第一位置的基础上,根据所述图像深度信息确定所述待采摘目标的采摘位置,不仅一定程度上增加对所述待采摘目标的定位精度,还便于后续对所述待采摘目标的采摘。
305、根据尺寸信息调整果实采摘模块的采摘口尺寸。
在该步骤中,提出了一种在调整所述采摘口尺寸时,区别于步骤205的更优的实施方式,具体的,其可以先确定出所述待采摘目标的尺寸信息以及果实采摘模块的采摘口的尺寸信息,确定其之间的差值,进而可以根据其差值确定出调整所述采摘口的尺寸以及调整的方向,例如是向内收缩还是向外扩张,进而可以根据所述尺寸以及调整方向,控制所述果实采摘模块中的驱动组件驱动所述果实采摘模块中的变径组件按照所述调整方向以及尺寸进行收缩或扩张,来调整所述采摘口的尺寸。
306、根据采摘位置控制果实采摘模块采摘待采摘目标。
在该步骤中,提供了一种在采摘所述待采摘目标时,区别于步骤2056的更优的实施方式,具体的,在采摘所述待采摘目标时,可以对采摘所述待采摘目标进行时间上的检测,检测其在指定时间阈值内是否采摘到所述待采摘目标,其中,所述指定时间阈值为采摘所述待采摘目标所用时的最大时间,若在指定时间阈值内未采摘到所述待采摘目标,则可以检测用于提供吸力以吸入待采摘目标的负压源的吸力,进而可以根据所述负压源的吸力调整所述采摘口的尺寸,即若在指定时间阈值内未采摘到所述待采摘目标,且所述负压源吸力达到第一吸力阈值,则所述待采摘目标可能由于所述采摘口的尺寸原因造成采摘困难,则可以将所述采摘口增加指定的尺寸,若所述负压源的吸力小于第二吸力阈值,则所述待采摘目标可能由于所述采摘口尺寸过大造成的采摘失败,则可以将所述采摘口缩小指定尺寸,其中,所述第二吸力阈值小于第一吸力阈值,这样,通过在采摘过程中及时对采摘状况进行检测,可以对所述采摘口进行及时调整,在一定程度上增加对所述待采摘目标的采摘效率。
307、通过压力传感器检测果实采摘模块中的果实暂存箱是否到达指定承重阈值。
该步骤中,在将所述待采摘目标采摘完成以后,所述待采摘目标可以自动落入位于所述果实采摘模块中的果实暂存箱,同时可以利用设置在所述果实暂存箱下方的压力传感器实时检测所述果实暂存箱的重量是否达到指定承重阈值,其中,所述指定承重阈值为所述果实暂存箱所能承受的最大重量,以便于所述果实暂存箱超出指定承重阈值的情况而造成后续的待采摘目标无法落入所述果实暂存箱,造成采摘目标落在地面,导致所述采摘目标损坏的情况出现。
308、控制果实暂存箱下方盖板打开,将采摘完成的采摘目标卸入果实采摘模块中的果实储存箱。
该步骤中,若检测出达到指定承重阈值,则可以控制所述果实暂存箱下方盖板打开,进而可以将采摘完成的采摘目标卸入果实采摘模块的果实储存箱,这样,可以将所述采摘完成的采摘目标安全放置在果实储存箱内,保证了采摘下来的目标完好性。
在一些可能的实施方式中,在步骤306根据所述采摘位置控制所述果实采摘模块采摘所述待采摘目标时,所述方法还包括:
检测在预设时间段内是否接收到所述果实采摘模块中的光电传感器跳变信号,所述光电传感器设置于采摘口内壁;
若是,确定所述待采摘目标采摘成功,切换至所述采摘顺序列表中的下一待采摘目标进行采摘;
若否,确定所述待采摘目标采摘失败,且在对同一个待采摘目标的采摘失败次数达到指定次数时放弃采摘所述待采摘目标,并将所述待采摘目标列入难抓取列表。
该步骤中,在采摘所述待采摘目标时,可以检测在预设时间段内是否接收到所述采摘口内壁的光电传感器的跳变信号,若接收到,则可以确定所述待采摘目标采摘成功,则可以切换至所述采摘顺序列表中的下一待采摘目标进行采摘,若未检测出所述光电传感器的跳变信号,则可以确定所述待采摘目标采摘失败,并记录采摘失败次数,这时,可以进一步控制所述机械臂后退,以将所述采摘目标扯下,在扯下所述待采摘目标时,可以进一步检测是否接收到所述光电传感器的跳变信号,若成功,则可以切换至采摘顺序列表中的下一待采摘目标,若失败,则所述采摘失败次数加一,若同一待采摘目标的采摘失败次数达到指定次数,则放弃对所述待采摘目标的采摘,并将所述待采摘目标列入难抓取列表,避免对同一目标进行无限采摘,降低采摘效率的情况出现。
其中,在采摘成功的情况下,采摘成功的目标会自动落入果实采摘模块下方的果实暂存箱中,因此,若采摘成功,则所述光电传感器会跳变,产生跳变信号,若失败,则所述光电传感器不会跳变,因此,检测不到所述光电传感器的跳变信号。
其中,所述指定次数可以是3次,也可以是5次,其可以根据具体业务情况而定,在此不做任何限定。
在一些可能的实施方式中,在步骤305根据所述尺寸信息调整所述果实采摘模块的采摘口尺寸之前,所述方法还包括:
确定所述待采摘目标的尺寸信息是否在所述果实采摘模块采摘口的尺寸调整范围之内;
若否,则放弃采摘。
该步骤中,在对所述待采摘目标进行采摘之前,可以预先根据所述待采摘目标的尺寸信息以及所述果实采摘模块采摘口的尺寸信息确定所述待采摘目标的尺寸信息是否在所述采摘口的尺寸调整范围之内,例如,所述待采摘目标的尺寸信息大于所述果实采摘模块的采摘口的最大尺寸,若达到,则可以放弃对待采摘目标的采摘,这样,避免了所述待采摘目标的尺寸超出了所述果实采摘模块的可采摘范围造成的采摘失败浪费采摘时间的情况出现,因此可以在一定程度上保证采摘的效率。
进一步的,作为对上述图2所示方法的实现,本发明实施例还提供了一种基于机械臂的果实采摘装置,用于对上述图2所示的方法进行实现。该装置实施例与前述方法实施例对应,为便于阅读,本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述,但应当明确,本实施例中的装置能够对应实现前述方法实施例中的全部内容。如图4所示,该装置包括:
第一确定单元401,用于根据第一视觉模块采集的图像确定至少一个待采摘目标的第一位置;
第二确定单元402,用于根据所述第一确定单元401确定的第一位置以及机械臂的当前位置确定所述待采摘目标的采摘顺序列表;
控制单元403,用于基于所述第二确定单元402确定的采摘顺序列表控制所述机械臂将第二视觉模块移动至待采摘目标对应的第一位置;
第三确定单元404,用于根据所述控制单元403控制的第二视觉模块采集的图像确定所述待采摘目标的尺寸信息以及采摘位置;
第一调整单元405,用于根据所述第三确定单元404确定的尺寸信息调整所述果实采摘模块的采摘口尺寸;
采摘单元406,用于根据所述第三确定单元404确定的采摘位置控制所述果实采摘模块采摘所述待采摘目标。
进一步的,作为对上述图3所示方法的实现,本发明实施例还提供了另一种基于机械臂的果实采摘装置,用于对上述图3所示的方法进行实现。该装置实施例与前述方法实施例对应,为便于阅读,本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述,但应当明确,本实施例中的装置能够对应实现前述方法实施例中的全部内容。如图5所示,该装置包括:
第一确定单元401,用于根据第一视觉模块采集的图像确定至少一个待采摘目标的第一位置;
第二确定单元402,用于根据所述第一确定单元401确定的第一位置以及机械臂的当前位置确定所述待采摘目标的采摘顺序列表;
控制单元403,用于基于所述第二确定单元402确定的采摘顺序列表控制所述机械臂将第二视觉模块移动至待采摘目标对应的第一位置;
第三确定单元404,用于根据所述控制单元403控制的第二视觉模块采集的图像确定所述待采摘目标的尺寸信息以及采摘位置;
第一调整单元405,用于根据所述第三确定单元404确定的尺寸信息调整所述果实采摘模块的采摘口尺寸;
采摘单元406,用于根据所述第三确定单元404确定的采摘位置控制所述果实采摘模块采摘所述待采摘目标。
一种可选的实施方式中,所述第一确定单元401包括:
第一控制模块4011,用于控制所述第一视觉模块采集目标视野内采摘物的图像以及所述采摘物的图像深度信息,并基于所述采摘物的图像分析所述采摘物的成熟度;
第一确定模块4012,用于根据所述第一控制模块4011确定出的采摘物的成熟度从采摘物中确定出至少一个待采摘目标,并基于所述待采摘目标对应的图像深度信息确定所述至少一个待采摘目标的一次定位信息;
第二确定模块4013,用于根据所述第一确定模块4012确定出的一次定位信息确定各待采摘目标对应的第一位置。
一种可选的实施方式中,所述第二确定模块4013具体用于:
根据第二视觉模块的参数信息确定适合第二视觉模块对待采摘目标拍摄的距离;
根据所述距离、第二视觉模块的位置以及所述第一视觉模块确定的待采摘目标的一次定位信息确定所述待采摘目标的第一位置。
一种可选的实施方式中,所述第二确定单元402包括:
第三确定模块4021,用于确定所述果实采摘模块的当前位置;
规划模块4022,用于根据各待采摘目标对应的第一位置与所述第三确定模块4021确定出的果实采摘模块的当前位置规划所述机械臂采摘各待采摘目标的最优路径;
第四确定模块4023,用于基于所述规划模块4022规划的最优路径确定各待采摘目标的采摘顺序,得到采摘顺序列表。
一种可选的实施方式中,所述控制单元403包括:
第二控制模块4031,用于控制所述机械臂按照所述采摘顺序列表中的采摘顺序将第二视觉模块移动至待采摘目标对应的第一位置处;
判断模块4032,用于利用所述第二控制模块4031将第二视觉模块移动至对应的第一位置处采集待采摘目标对应的图像以及图像深度信息,并基于所述待采摘目标对应的图像判断所述待采摘目标是否被遮挡;
更换模块4033,用于若所述判断模块4032判断出是,则更换所述待采摘目标对应的第一位置,直至所述第二视觉模块在所述待采摘目标对应的全部第一位置处都已判断所述待采摘目标被遮挡,则控制所述机械臂将第二视觉模块移动至所述采摘顺序列表中的下一待采摘目标对应的第一位置。
一种可选的实施方式中,所述第三确定单元404包括:
分析模块4041,用于若所述待采摘目标未被遮挡,则根据所述第二视觉模块采集的多个图像分析所述待采摘目标的多个图像深度信息以及对应的尺寸信息;
第五确定模块4042,用于从所述分析模块4041分析的多个尺寸信息中确定出所述待采摘目标的目标尺寸信息;
第六确定模块4043,用于根据所述第五确定模块4042确定的目标尺寸信息对应的图像深度信息确定待采摘目标的采摘位置。
一种可选的实施方式中,所述第一调整单元405包括:
第七确定模块4051,用于根据所述尺寸信息确定调整所述果实采摘模块中采摘口的尺寸以及调整方向;
驱动模块4052,用于根据所述第七确定模块4051确定的尺寸以及调整方向控制所述果实采摘模块中的驱动组件驱动所述果实采摘模块中的变径组件进行收缩或扩张,以调整所述采摘口尺寸。
一种可选的实施方式中,在所述采摘单元406所述根据所述采摘位置控制所述果实采摘模块采摘所述待采摘目标时,所述装置还包括第二调整单元407,所述第二调整单元407包括:
第一检测模块4071,用于检测指定时间阈值内是否采摘到所述待采摘目标;
调整模块4072,用于若所述检测模块4071检测出否,则根据所述果实采摘模块中的负压源吸力调整采摘口尺寸,其中,若负压源吸力达到第一吸力阈值,则根据所述待采摘目标的尺寸信息将所述采摘口增加指定尺寸,若负压源吸力小于第二吸力阈值,则根据所述待采摘目标的尺寸信息将所述采摘口缩小指定尺寸,所述第二吸力阈值小于第一吸力阈值。
一种可选的实施方式中,在所述采摘单元406所述根据所述采摘位置控制所述果实采摘模块采摘所述待采摘目标时,所述装置还包括检测单元408,所述检测单元408包括:
第二检测模块4081,用于检测在预设时间段内是否接收到所述果实采摘模块中的光电传感器跳变信号,所述光电传感器设置于采摘口内壁;
切换模块4082,用于若第二检测模块4081检测出是,确定所述待采摘目标采摘成功,切换至所述采摘顺序列表中的下一待采摘目标进行采摘;
第一放弃模块4083,用于若第二检测模块4081检测出否,确定所述待采摘目标采摘失败,且在对同一个待采摘目标的采摘失败次数达到指定次数时放弃采摘所述待采摘目标,并将所述待采摘目标列入难抓取列表。
一种可选的实施方式中,在所述第一调整单元405根据所述尺寸信息调整所述果实采摘模块的采摘口尺寸之前,所述装置还包括第四确定单元409,所述第四确定单元409包括:
第八确定模块4091,用于确定所述待采摘目标的尺寸信息是否在所述果实采摘模块采摘口的尺寸调整范围之内;
第二放弃模块4092,用于若所述第八确定模块4091确定出否,则放弃采摘。
一种可选的实施方式中,在所述采摘单元406所述根据所述采摘位置控制所述果实采摘模块采摘所述待采摘目标之后,所述装置还包括卸入单元410,所述卸入单元410包括:
第三检测模块4101,用于通过压力传感器检测果实采摘模块中的果实暂存箱是否到达指定承重阈值,所述压力传感器设置于所述果实暂存箱下方;
卸入模块4102,若所述第三检测模块4101检测出达到,则控制所述果实暂存箱下方盖板打开,将采摘完成的采摘目标卸入果实采摘模块中的果实储存箱。
进一步的,本发明实施例还提供一种存储介质,所述存储介质用于存储计算机程序,其中,所述计算机程序运行时控制所述存储介质所在设备执行上述图2-3中所述的基于机械臂的果实采摘方法。
进一步的,本发明实施例还提供一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行上述图2-3中所述的基于机械臂的果实采摘方法。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
可以理解的是,上述方法及装置中的相关特征可以相互参考。另外,上述实施例中的“第一”、“第二”等是用于区分各实施例,而并不代表各实施例的优劣。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在此提供的算法和显示不与任何特定计算机、虚拟***或者其它设备固有相关。各种通用***也可以与基于在此的示教一起使用。根据上面的描述,构造这类***所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
此外,存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
本领域内的技术人员应明白,本申请的实施例可提供为方法、***、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、***或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (12)
1.一种基于机械臂的果实采摘方法,其特征在于,所述机械臂上设置有两个视觉模块以及果实采摘模块,所述方法包括:
根据第一视觉模块采集的图像确定至少一个待采摘目标的第一位置;
根据所述第一位置以及机械臂的当前位置确定所述待采摘目标的采摘顺序列表;
基于所述采摘顺序列表控制所述机械臂将第二视觉模块移动至待采摘目标对应的第一位置,包括:控制所述机械臂按照所述采摘顺序列表中的采摘顺序将第二视觉模块移动至待采摘目标对应的第一位置处;
利用所述第二视觉模块在对应的第一位置处采集待采摘目标对应的图像以及图像深度信息,并基于所述待采摘目标对应的图像判断所述待采摘目标是否被遮挡;
若是,则更换所述待采摘目标对应的第一位置,直至所述第二视觉模块在所述待采摘目标对应的全部第一位置处都已判断所述待采摘目标被遮挡,则控制所述机械臂将第二视觉模块移动至所述采摘顺序列表中的下一待采摘目标对应的第一位置;
根据所述第二视觉模块采集的图像确定所述待采摘目标的尺寸信息以及采摘位置,包括:
若所述待采摘目标未被遮挡,则根据所述第二视觉模块采集的多个图像分析所述待采摘目标的多个图像深度信息以及对应的尺寸信息;
从多个尺寸信息中确定出所述待采摘目标的目标尺寸信息;
根据所述目标尺寸信息对应的图像深度信息确定待采摘目标的采摘位置;
根据所述尺寸信息调整所述果实采摘模块的采摘口尺寸;
根据所述采摘位置控制所述果实采摘模块采摘所述待采摘目标,所述方法还包括:
检测指定时间阈值内是否采摘到所述待采摘目标;
若否,则根据所述果实采摘模块中的负压源吸力调整采摘口尺寸,其中,若负压源吸力达到第一吸力阈值,则根据所述待采摘目标的尺寸信息将所述采摘口增加指定尺寸,若负压源吸力小于第二吸力阈值,则根据所述待采摘目标的尺寸信息将所述采摘口缩小指定尺寸,所述第二吸力阈值小于第一吸力阈值。
2.根据权利要求1所述的方法,其特征在于,所述根据第一视觉模块采集的图像确定至少一个待采摘目标的第一位置,包括:
控制所述第一视觉模块采集目标视野内采摘物的图像以及所述采摘物的图像深度信息,并基于所述采摘物的图像分析所述采摘物的成熟度;
根据所述采摘物的成熟度从采摘物中确定出至少一个待采摘目标,并基于所述待采摘目标对应的图像深度信息确定所述至少一个待采摘目标的一次定位信息;
根据所述一次定位信息确定各待采摘目标对应的第一位置。
3.根据权利要求2所述的方法,其特征在于,所述根据所述一次定位信息确定各待采摘目标对应的第一位置,包括:
根据第二视觉模块的参数信息确定适合第二视觉模块对待采摘目标拍摄的距离;
根据所述距离、第二视觉模块的位置以及所述第一视觉模块确定的待采摘目标的一次定位信息确定所述待采摘目标的第一位置。
4.根据权利要求1所述的方法,其特征在于,所述根据所述第一位置以及机械臂的当前位置确定所述待采摘目标的采摘顺序列表,包括:
确定所述果实采摘模块的当前位置;
根据各待采摘目标对应的第一位置与所述果实采摘模块的当前位置规划所述机械臂采摘各待采摘目标的最优路径;
基于所述最优路径确定各待采摘目标的采摘顺序,得到采摘顺序列表。
5.根据权利要求1所述的方法,其特征在于,所述根据所述尺寸信息调整所述果实采摘模块的采摘口尺寸,包括:
根据所述尺寸信息确定调整所述果实采摘模块中采摘口的尺寸以及调整方向;
根据所述尺寸以及调整方向控制所述果实采摘模块中的驱动组件驱动所述果实采摘模块中的变径组件进行收缩或扩张,以调整所述采摘口尺寸。
6.根据权利要求1所述的方法,其特征在于,所述根据所述采摘位置控制所述果实采摘模块采摘所述待采摘目标时,所述方法还包括:
检测在预设时间段内是否接收到所述果实采摘模块中的光电传感器跳变信号,所述光电传感器设置于采摘口内壁;
若是,确定所述待采摘目标采摘成功,切换至所述采摘顺序列表中的下一待采摘目标进行采摘;
若否,确定所述待采摘目标采摘失败,且在对同一个待采摘目标的采摘失败次数达到指定次数时放弃采摘所述待采摘目标,并将所述待采摘目标列入难抓取列表。
7.根据权利要求1所述的方法,其特征在于,在所述根据所述尺寸信息调整所述果实采摘模块的采摘口尺寸之前,所述方法还包括:
确定所述待采摘目标的尺寸信息是否在所述果实采摘模块采摘口的尺寸调整范围之内;
若否,则放弃采摘。
8.根据权利要求1所述的方法,其特征在于,在所述根据所述采摘位置控制所述果实采摘模块采摘所述待采摘目标之后,所述方法还包括:
通过压力传感器检测果实采摘模块中的果实暂存箱是否到达指定承重阈值,所述压力传感器设置于所述果实暂存箱下方;
若达到,则控制所述果实暂存箱下方盖板打开,将采摘完成的采摘目标卸入果实采摘模块中的果实储存箱。
9.一种基于机械臂的果实采摘装置,其特征在于,所述机械臂上设置有两个视觉模块以及果实采摘模块,所述装置包括:
第一确定单元,用于根据第一视觉模块采集的图像确定至少一个待采摘目标的第一位置;
第二确定单元,用于根据所述第一位置以及机械臂的当前位置确定所述待采摘目标的采摘顺序列表;
控制单元,用于基于所述采摘顺序列表控制所述机械臂将第二视觉模块移动至待采摘目标对应的第一位置,包括:第二控制模块,用于控制所述机械臂按照所述采摘顺序列表中的采摘顺序将第二视觉模块移动至待采摘目标对应的第一位置处;
判断模块,用于利用所述第二控制模块将第二视觉模块移动至对应的第一位置处采集待采摘目标对应的图像以及图像深度信息,并基于所述待采摘目标对应的图像判断所述待采摘目标是否被遮挡;
更换模块,用于若所述判断模块判断出是,则更换所述待采摘目标对应的第一位置,直至所述第二视觉模块在所述待采摘目标对应的全部第一位置处都已判断所述待采摘目标被遮挡,则控制所述机械臂将第二视觉模块移动至所述采摘顺序列表中的下一待采摘目标对应的第一位置;
第三确定单元,用于根据所述第二视觉模块采集的图像确定所述待采摘目标的尺寸信息以及采摘位置,包括:分析模块,用于若所述待采摘目标未被遮挡,则根据所述第二视觉模块采集的多个图像分析所述待采摘目标的多个图像深度信息以及对应的尺寸信息;
第五确定模块,用于从所述分析模块分析的多个尺寸信息中确定出所述待采摘目标的目标尺寸信息;
第六确定模块,用于根据所述第五确定模块确定的目标尺寸信息对应的图像深度信息确定待采摘目标的采摘位置;
第一调整单元,用于根据所述尺寸信息调整所述果实采摘模块的采摘口尺寸;
采摘单元,用于根据所述采摘位置控制所述果实采摘模块采摘所述待采摘目标,所述装置还包括第二调整单元,所述第二调整单元包括:
第一检测模块,用于检测指定时间阈值内是否采摘到所述待采摘目标;
调整模块,用于若所述检测模块检测出否,则根据所述果实采摘模块中的负压源吸力调整采摘口尺寸,其中,若负压源吸力达到第一吸力阈值,则根据所述待采摘目标的尺寸信息将所述采摘口增加指定尺寸,若负压源吸力小于第二吸力阈值,则根据所述待采摘目标的尺寸信息将所述采摘口缩小指定尺寸,所述第二吸力阈值小于第一吸力阈值。
10.一种基于机械臂的果实采摘***,其特征在于,所述***包括用于采摘果实的四轴机器臂、两个视觉模块、果实采摘模块以及控制模块;
第一视觉模块设置于四轴机械臂的第一运动关节的上表面处,通过机械臂的移动带动其上下移动,第二视觉模块与果实采摘模块设置于四轴机械臂的第三运动关节上;
所述第一视觉模块用于确定目标视野内采摘物的成熟度,并基于所述采摘物的成熟度确定出目标视野内的至少一个待采摘目标以及所述第二视觉模块移动的第一位置;
所述第二视觉模块用于确定待采摘目标的采摘位置以及尺寸信息;
所述果实采摘模块用于根据待采摘目标的尺寸信息调节采摘口的尺寸以采摘待采摘目标;
所述控制模块分别与四轴机器臂、两个视觉模块、果实采摘模块电连接,执行所述权利要求1-8中任一项所述的基于机械臂的果实采摘方法,以使所述***完成对待采摘目标的采摘。
11.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行如权利要求1至权利要求8中任意一项所述的基于机械臂的果实采摘方法。
12.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行如权利要求1至权利要求8中任意一项所述的基于机械臂的果实采摘方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211729092.8A CN115997560B (zh) | 2022-12-30 | 2022-12-30 | 一种基于机械臂的果实采摘方法、***及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211729092.8A CN115997560B (zh) | 2022-12-30 | 2022-12-30 | 一种基于机械臂的果实采摘方法、***及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115997560A CN115997560A (zh) | 2023-04-25 |
CN115997560B true CN115997560B (zh) | 2023-12-01 |
Family
ID=86031387
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211729092.8A Active CN115997560B (zh) | 2022-12-30 | 2022-12-30 | 一种基于机械臂的果实采摘方法、***及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115997560B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104067781A (zh) * | 2014-06-16 | 2014-10-01 | 华南农业大学 | 基于虚拟机器人与真实机器人集成的采摘***及方法 |
US9462749B1 (en) * | 2015-04-24 | 2016-10-11 | Harvest Moon Automation Inc. | Selectively harvesting fruits |
CN109429715A (zh) * | 2018-12-29 | 2019-03-08 | 苏州大学 | 一种气吸式水果采摘装置 |
CN110268862A (zh) * | 2019-08-06 | 2019-09-24 | 电子科技大学 | 一种反馈吸持型采摘头及其采摘方法 |
CN111602517A (zh) * | 2020-05-28 | 2020-09-01 | 华南农业大学 | 一种串型水果分布式视觉主动感知方法及其应用 |
CN111758396A (zh) * | 2020-07-21 | 2020-10-13 | 四川省机械研究设计院 | 一种基于视觉协作***的自行走花椒采摘机器人 |
CN113853945A (zh) * | 2021-09-16 | 2021-12-31 | 北京市农林科学院智能装备技术研究中心 | 吸摘式执行器及吸摘控制方法 |
CN114067309A (zh) * | 2021-10-25 | 2022-02-18 | 大连理工大学 | 一种基于多视角三维重建的甜椒识别与采摘顺序确定方法 |
CN215872722U (zh) * | 2021-06-17 | 2022-02-22 | 山东华宇工学院 | 智能化番茄采摘机器人 |
CN217657156U (zh) * | 2022-05-17 | 2022-10-28 | 西南大学 | 一种柑橘无损采摘末端执行器 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113099847B (zh) * | 2021-05-25 | 2022-03-08 | 广东技术师范大学 | 一种基于果实三维参数预测模型的果实采摘方法 |
-
2022
- 2022-12-30 CN CN202211729092.8A patent/CN115997560B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104067781A (zh) * | 2014-06-16 | 2014-10-01 | 华南农业大学 | 基于虚拟机器人与真实机器人集成的采摘***及方法 |
US9462749B1 (en) * | 2015-04-24 | 2016-10-11 | Harvest Moon Automation Inc. | Selectively harvesting fruits |
CN109429715A (zh) * | 2018-12-29 | 2019-03-08 | 苏州大学 | 一种气吸式水果采摘装置 |
CN110268862A (zh) * | 2019-08-06 | 2019-09-24 | 电子科技大学 | 一种反馈吸持型采摘头及其采摘方法 |
CN111602517A (zh) * | 2020-05-28 | 2020-09-01 | 华南农业大学 | 一种串型水果分布式视觉主动感知方法及其应用 |
CN111758396A (zh) * | 2020-07-21 | 2020-10-13 | 四川省机械研究设计院 | 一种基于视觉协作***的自行走花椒采摘机器人 |
CN215872722U (zh) * | 2021-06-17 | 2022-02-22 | 山东华宇工学院 | 智能化番茄采摘机器人 |
CN113853945A (zh) * | 2021-09-16 | 2021-12-31 | 北京市农林科学院智能装备技术研究中心 | 吸摘式执行器及吸摘控制方法 |
CN114067309A (zh) * | 2021-10-25 | 2022-02-18 | 大连理工大学 | 一种基于多视角三维重建的甜椒识别与采摘顺序确定方法 |
CN217657156U (zh) * | 2022-05-17 | 2022-10-28 | 西南大学 | 一种柑橘无损采摘末端执行器 |
Also Published As
Publication number | Publication date |
---|---|
CN115997560A (zh) | 2023-04-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105759720B (zh) | 基于计算机视觉的机械手跟踪定位在线识别与纠偏方法 | |
EP3749475B1 (en) | Method for seam tracking in pipe welding | |
RU2566226C2 (ru) | Способ выбора физических объектов в роботехнической системе | |
CN105120209B (zh) | 综采工作面矿用摄像仪跟机拍摄方法及*** | |
CN104842361A (zh) | 具有3d箱体定位功能的机器人*** | |
CN101860732A (zh) | 一种控制云台摄像机自动跟踪目标的方法 | |
Herakovic | Robot vision in industrial assembly and quality control processes | |
CN111483803B (zh) | 控制方法、抓取***和存储介质 | |
CN108214487A (zh) | 基于双目视觉和激光雷达的机器人目标定位和抓取方法 | |
Tho et al. | Design and development of the vision sorting system | |
CN104102069A (zh) | 一种成像***的对焦方法及装置、成像*** | |
CN115861988B (zh) | 一种基于rgb区分度的茶叶采摘方法和*** | |
EP4207068A1 (en) | Target object detection method and apparatus, and electronic device, storage medium and program | |
CN115890639A (zh) | 一种机器人视觉引导定位抓取控制*** | |
CN115997560B (zh) | 一种基于机械臂的果实采摘方法、***及装置 | |
CN111292376A (zh) | 一种仿生视网膜的视觉目标跟踪方法 | |
JP2020181290A (ja) | 物品認識システムおよび物品認識方法 | |
KR20230061612A (ko) | 머신 러닝을 이용한 물체의 피킹 자동화 시스템 및 그 제어 방법 | |
CN112288809B (zh) | 一种用于多物体复杂场景的机器人抓取检测方法 | |
CN107356232A (zh) | 一种视觉检测***用图像处理方法 | |
CN113232022B (zh) | 一种圆盘传送跟踪控制方法、***、装置及存储介质 | |
CN112601007B (zh) | 一种特征区域的图像采集方法及设备 | |
CN115116048A (zh) | 一种基于点云质心识别及定位栈板的方法、*** | |
CN112544235B (zh) | 一种智能水果采摘机器人 | |
CN118145318B (zh) | 基于机器视觉技术的机器人自动上下料***及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |