CN109729835B - 一种基于双目视觉的油茶果采摘***及控制方法 - Google Patents
一种基于双目视觉的油茶果采摘***及控制方法 Download PDFInfo
- Publication number
- CN109729835B CN109729835B CN201910124070.0A CN201910124070A CN109729835B CN 109729835 B CN109729835 B CN 109729835B CN 201910124070 A CN201910124070 A CN 201910124070A CN 109729835 B CN109729835 B CN 109729835B
- Authority
- CN
- China
- Prior art keywords
- picking
- oil tea
- fruit
- tea fruit
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 235000013399 edible fruits Nutrition 0.000 title claims abstract description 226
- 241001122767 Theaceae Species 0.000 title claims abstract description 152
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000007246 mechanism Effects 0.000 claims abstract description 70
- 230000008569 process Effects 0.000 claims description 14
- 230000009471 action Effects 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000007797 corrosion Effects 0.000 claims description 4
- 238000005260 corrosion Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 230000005484 gravity Effects 0.000 claims description 3
- 239000003921 oil Substances 0.000 description 95
- 230000005611 electricity Effects 0.000 description 4
- 241000209507 Camellia Species 0.000 description 2
- 239000010495 camellia oil Substances 0.000 description 2
- 235000018597 common camellia Nutrition 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P60/00—Technologies relating to agriculture, livestock or agroalimentary industries
- Y02P60/12—Technologies relating to agriculture, livestock or agroalimentary industries using renewable energies, e.g. solar water pumping
Landscapes
- Manipulator (AREA)
Abstract
本发明提供一种基于双目视觉的油茶果采摘***及控制方法，其方法包括：控制装置根据预先规划的行径路线生成行走指令，行走指令用于驱动履带式移动装置前进至采摘目的地；双目视觉装置采集油茶果图像，并根据油茶果图像确定油茶果的采摘信息；控制装置根据采摘信息生成采摘指令，将采摘指令分别发送至采摘执行机构和机械臂中。能够按照规划的行径路线行走，对行径路线上的多个采摘目的地进行果实采摘，到达采摘目的地时，通过双目视觉装置采集油茶果图像，对油茶果图像进行处理得到采摘信息，根据采摘信息得到控制采摘执行机构和机械臂实施采摘的采摘指令，实现油茶果的自动采摘，节省人力，提高效率。
Description
技术领域
本发明主要涉及自动采摘技术领域，具体涉及一种基于双目视觉的油茶果采摘***及控制方法。
背景技术
目前油茶果采摘主要依靠人工采摘，劳动量大而效率极低。油茶果采摘已成为油茶产业发展最薄弱的一环，逐渐成为阻碍油茶产业快速发展的瓶颈。
发明内容
本发明所要解决的技术问题是针对现有技术的不足，提供一种基于双目视觉的油茶果采摘***及控制方法。
本发明解决上述技术问题的技术方案如下：一种基于双目视觉的油茶果采摘***，包括工作平台、履带式移动装置、采摘执行机构、机械臂、双目视觉装置和控制装置。
所述工作平台为中空腔体结构，所述履带式移动装置设置在所述工作平台的底部，所述机械臂设置在所述工作平台上表面的中心处，所述采摘执行机构设置在所述机械臂的顶端，所述双目视觉装置设置在所述工作平台上表面，所述控制装置设置在所述工作平台的中空腔体结构内，所述双目视觉装置与所述控制装置电连接，所述控制装置分别与所述采摘执行机构和所述履带式移动装置电连接。
所述控制装置用于根据预先规划的行径路线生成行走指令，所述行走指令用于驱动所述履带式移动装置前进至采摘目的地。
所述双目视觉装置用于采集采摘目的地预设范围内油茶果图像，并根据所述油茶果图像确定油茶果的采摘信息。
所述控制装置还用于根据所述采摘信息生成采摘指令，将所述采摘指令分别发送至所述采摘执行机构和所述机械臂中，所述采摘指令用于驱动所述采摘执行机构和所述机械臂进行油茶果采摘。
本发明解决上述技术问题的另一技术方案如下：一种基于双目视觉的油茶果采摘控制方法，包括如下步骤：
控制装置根据预先规划的行径路线生成行走指令，所述行走指令用于驱动履带式移动装置前进至采摘目的地。
双目视觉装置采集所述采摘目的地预设范围内油茶果图像，并根据所述油茶果图像确定油茶果的采摘信息。
所述控制装置根据所述采摘信息生成采摘指令，将所述采摘指令分别发送至采摘执行机构和机械臂中，所述采摘指令用于驱动所述采摘执行机构和所述机械臂进行油茶果采摘。
本发明的有益效果是：能够按照规划的行径路线行走，对行径路线上的多个采摘目的地进行果实采摘，到达采摘目的地时，通过双目视觉装置采集油茶果图像，对油茶果图像进行处理得到采摘信息，根据采摘信息得到控制采摘执行机构和机械臂实施采摘的采摘指令，实现油茶果的自动采摘，节省人力，提高效率。
附图说明
图1为本发明一实施例提供的油茶果采摘***的结构示意图；
图2为本发明一实施例提供的油茶果采摘方法的流程示意图；
图3为本发明另一实施例提供的油茶果采摘方法的流程示意图；
图4为本发明一实施例提供的确定采摘信息的流程示意图；
图5为本发明一实施例提供的规划行径路线的流程示意图。
附图中，各标记所代表的部件名称如下：
1、采摘执行机构，2、机械臂，3、双目视觉装置，4、控制装置，5、工作平台。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
图1为本发明一实施例提供的油茶果采摘***的结构示意图。
如图1所示，一种基于双目视觉的油茶果采摘***，包括工作平台5、履带式移动装置6、采摘执行机构1、机械臂2、双目视觉装置3和控制装置4。
所述工作平台5为中空腔体结构，所述履带式移动装置6设置在所述工作平台5的底部，所述机械臂2设置在所述工作平台5上表面的中心处，所述采摘执行机构1设置在所述机械臂2的顶端，所述双目视觉装置3设置在所述工作平台5上表面，所述控制装置4设置在所述工作平台5的中空腔体结构内，所述双目视觉装置3与所述控制装置4电连接，所述控制装置4分别与所述采摘执行机构1和所述履带式移动装置6电连接。具体地，所述双目视觉装置3通过数据线与所述控制装置4电连接，所述控制装置4通过信号线分别与所述采摘执行机构1和所述履带式移动装置6电连接。
所述控制装置4用于根据预先规划的行径路线生成行走指令，所述行走指令用于驱动所述履带式移动装置6前进至采摘目的地。
所述双目视觉装置3用于采集所述采摘目的地预设范围内油茶果图像，并根据所述油茶果图像确定油茶果的采摘信息。
所述控制装置4还用于根据所述采摘信息生成采摘指令，将所述采摘指令分别发送至所述采摘执行机构1和所述机械臂2中，所述采摘指令用于驱动所述采摘执行机构1和所述机械臂2进行油茶果采摘。
具体地，所述预设范围内为360°，双目视觉装置根据本次采集的油茶果图像判断可采摘范围内是否存在油茶果果实，若存在，则控制装置通过采摘信息驱动采摘执行机构和机械臂进行果实采摘，若不存在，控制装置发出控制信号使双目视觉装置旋转90°，并计数一次，同时判断计数次数是否达到4次，若未达到计数次数4次，则控制装置通过采摘信息驱动采摘执行机构和机械臂进行果实采摘，若达到4次，则控制装置驱动所述履带式移动装置前进至下一采摘目的地。
上述实施例中，能够按照规划的行径路线行走，对行径路线上的多个采摘目的地进行果实采摘，到达采摘目的地时，通过双目视觉装置采集油茶果图像，对油茶果图像进行处理得到采摘信息，根据采摘信息得到控制采摘执行机构和机械臂实施采摘的采摘指令，实现油茶果的自动采摘，节省人力，提高效率。
可选地，作为本发明的一个实施例，所述双目视觉装置3包括摄像机和视觉图像处理器，所述摄像机设有两个，两个所述摄像机设置在所述工作平台5的上表面上且分别位于所述机械臂2的两侧。
所述摄像机，用于采集所述预设范围内油茶果图像。
所述视觉图像处理器，用于对所述油茶果图像进行预处理，得到预处理油茶果图像，并从所述预处理油茶果图像中识别出多个油茶果轮廓,对所述多个油茶果轮廓分别进行三维定位处理，得到多个油茶果轮廓对应的三维定位信息，并对得到的多个三维定位信息进行计算，得到采摘信息,将所述采摘信息发送至所述控制装置4中。
具体地，所述摄像机为可360°旋转的摄像机，所述摄像机通过旋转轴安装在所述工作平台5的上表面上。
可选地，作为本发明的一个实施例，如图4所示，所述视觉图像处理器包括：
图像预处理单元，用于对所述油茶果图像进行图像滤波处理，对经图像滤波处理的油茶果图像进行亮度直方图均衡化处理，并对经均衡化处理的油茶果图像进行二值化处理，并对经二值化处理的油茶果图像进行腐蚀膨胀处理，得到预处理油茶果图像。
三维定位单元，用于对所述预处理油茶果图像进行特征提取，识别出多个油茶果轮廓，分别对所述多个油茶果轮廓进行立体匹配处理，对经立体匹配处理的多个油茶果轮廓分别进行三维重建处理，得到多个三维定位信息。
采摘点重心计算单元，用于对所述多个三维定位信息分别进行极坐标变换处理，得到多个极坐标数据，并分别对所述多个极坐标数据进行距离变换处理，得到多个距离值数据，并分别对所述多个距离值数据进行线性拟合，得到多组果实采摘位置信息及姿态角信息。
果实数目确定单元，用于根据所述多个果实采摘位置信息确定采摘果实数目。
发送单元，用于将所述多组果实采摘位置信息及姿态角信息和所述采摘果实数目作为所述采摘信息发送至所述控制装置4中。
上述实施例中，对油茶果图像进行预处理能够得到较清晰的油茶果采摘，便于特征提取，对油茶果进行三维重建处理得到三维定位信息，对三维定位信息处理，能够得到重心位置和油茶果轮廓拟合，来进一步确定油茶果采摘位置信息及姿态角信息。
可选地，作为本发明的一个实施例，所述控制装置4包括：
路径规划单元，用于根据预先规划的行径路线生成行走指令，所述行走指令用于驱动所述履带式移动装置6前进至采摘目的地。
控制处理单元，用于当到达所述采摘目的地时，向所述双目视觉装置3发送采集指令，所述采集指令用于驱动所述双目视觉装置3采集所述采摘目的地预设范围内油茶果图像。
还用于当接收到所述双目视觉装置3发送的所述多组果实采摘位置信息及姿态角信息和所述采摘果实数目时，根据所述采摘果实数目对所述多组果实采摘位置信息及姿态角信息进行顺序标号处理，并根据经标号的各组果实采摘位置信息及姿态角信息得到机械臂采摘指令和采摘执行机构采摘指令，并根据标号顺序向所述机械臂2发送所述机械臂采摘指令以及向所述采摘执行机构1发送所述采摘执行机构采摘指令，所述机械臂采摘指令用于驱动所述机械臂2运动，所述采摘执行机构采摘指令用于驱动所述采摘执行机构1执行采摘动作。
上述实施例中，对每组的果实采摘位置信息及姿态角信息进行顺序标号，并且根据该顺序得到机械臂采摘指令和采摘执行机构采摘指令，能够使机械臂和采摘执行机构顺序执行各个指令，有序且有效的自动实施油茶果采摘。
可选地，作为本发明的一个实施例，所述控制装置4还包括判断单元。
所述判断单元，用于判断是否执行完成属于当前采摘目的地的经标号的各组采摘指令，如果完成，则根据预先规划的行径路线生成下一行走指令，所述下一行走指令用于驱动所述履带式移动装置6前进至下一采摘目的地。
可选地，作为本发明的一个实施例，所述判断单元还用于，生成下一行走指令前，根据获取的工作平台当前定位信息判断是否行走完成预先规划的行径路线，若是，则向所述控制处理单元发送待机指令，若否，则生成下一行走指令。
上述实施例中，能够对预先规划的行径路线中的各个采摘点进行油茶果采摘，极大提高了采摘效率。
图2为本发明一实施例提供的油茶果采摘方法的流程示意图。
可选地，作为本发明的另一个实施例，如图2所示，一种基于双目视觉的油茶果采摘控制方法，包括如下步骤：
控制装置4根据预先规划的行径路线生成行走指令，所述行走指令用于驱动履带式移动装置6前进至采摘目的地。
双目视觉装置3采集采摘目的地预设范围内油茶果图像，并根据所述油茶果图像确定油茶果的采摘信息，将所述采摘信息发送至所述控制装置4中。
所述控制装置4根据所述采摘信息生成采摘指令，将所述采摘指令分别发送至采摘执行机构1和机械臂2中，所述采摘指令用于驱动所述采摘执行机构1和所述机械臂2进行油茶果采摘。
具体地，如图4所示，对预先规划的行径路线设置过程如下：
根据预设导航地图确定可规划路径。所述导航地图中包括油茶果果园内油茶果树栽种的地理位置。
根据可规划路径的道路宽度、道路长度、道路坡度和和道路转角确定路径方位和前进最大范围。
根据机械臂的运动范围确定可采摘范围，从而确定履带式移动装置行走步长大小。
可选地，作为本发明的一个实施例，所述根据所述油茶果图像确定油茶果的采摘信息的过程包括：
对所述油茶果图像进行预处理，得到预处理油茶果图像，并从所述预处理油茶果图像中识别出多个油茶果轮廓,对所述多个油茶果轮廓分别进行三维定位处理，得到多个油茶果轮廓对应的三维定位信息，并对得到的多个三维定位信息进行计算，得到采摘信息。
可选地，作为本发明的一个实施例，如图5所示，所述得到预处理油茶果图像的过程包括：
对所述油茶果图像进行图像滤波处理，对经图像滤波处理的油茶果图像进行亮度直方图均衡化处理，并对经均衡化处理的油茶果图像进行二值化处理，并对经二值化处理的油茶果图像进行腐蚀膨胀处理，得到预处理油茶果图像。
所述得到多个油茶果轮廓对应的三维定位信息的过程包括：
对所述预处理油茶果图像进行特征提取，识别出多个油茶果轮廓，分别对所述多个油茶果轮廓进行立体匹配处理，对经立体匹配处理的多个油茶果轮廓分别进行三维重建处理，得到多个三维定位信息。
所述得到采摘信息的过程包括：
对所述多个三维定位信息分别进行极坐标变换处理，得到多个极坐标数据，并分别对所述多个极坐标数据进行距离变换处理，得到多个距离值数据，并分别对所述多个距离值数据进行线性拟合，得到多组果实采摘位置信息及姿态角信息。
根据所述多个果实采摘位置信息确定采摘果实数目，将所述多组果实采摘位置信息及姿态角信息和所述采摘果实数目作为所述采摘信息。
可选地，作为本发明的一个实施例，所述控制装置4根据所述采摘信息生成采摘指令的过程包括：
当到达所述采摘目的地时，向所述双目视觉装置3发送采集指令，所述采集指令用于驱动所述双目视觉装置3采集所述采摘目的地预设范围内油茶果图像。
当接收到所述双目视觉装置3发送的所述多组果实采摘位置信息及姿态角信息和所述采摘果实数目时，根据所述采摘果实数目对所述多组果实采摘位置信息及姿态角信息进行顺序标号处理，并根据经标号的各组果实采摘位置信息及姿态角信息得到机械臂采摘指令和采摘执行机构采摘指令，并根据标号顺序向所述机械臂2发送所述机械臂采摘指令以及向所述采摘执行机构1发送所述采摘执行机构采摘指令，所述机械臂采摘指令用于驱动所述机械臂2运动，所述采摘执行机构采摘指令用于驱动所述采摘执行机构1执行采摘动作。
具体地，机械臂执行采摘指令的过程如下：
机械臂采摘指令具体用于规划机械臂的运动轨迹，即果实采摘轨迹和指定果实采摘位置点。
控制装置发送机械臂采摘指令至机械臂的驱动单元中，机械臂的驱动单元驱动机械臂按照所述运动轨迹进行运动。
判断机械臂是否到达指定果实采摘位置，若机械臂未到达指定果实采摘位置则重新规划机械臂的运动轨迹；若机械臂到达指定果实采摘位置，则机械臂停止动作并发送反馈信号至控制装置中。
具体地，采摘执行机构执行采摘指令的过程如下：
采摘执行机构采摘指令用于驱动采摘执行机构执行采摘动作。
控制装置发送采摘执行机构采摘指令至采摘执行机构的驱动单元中，采摘执行机构的驱动单元驱动采摘执行机构进行动作等待。
控制装置接收到机械臂的反馈信号时，所述反馈信号为到达指定果实采摘位置且调整到预定果实采摘姿态的信号，再次发送采摘执行机构采摘指令给采摘执行机构的驱动单元，采摘执行机构的驱动单元驱动采摘执行机构进行一次采摘动作。
采摘执行机构的驱动单元发送反馈信号至控制装置中，并进入下一次动作等待。
可选地，作为本发明的一个实施例，当执行完当前标号的采摘指令时，还包括步骤：判断是否执行完成属于当前采摘目的地的经标号的各组采摘指令，如果完成，则根据预先规划的行径路线生成下一行走指令，所述下一行走指令用于驱动所述履带式移动装置前进至下一采摘目的地。
可选地，作为本发明的一个实施例，生成下一行走指令前，还包括步骤：根据获取的工作平台当前定位信息判断是否行走完成预先规划的行径路线，若是，则向所述控制处理单元发送待机指令，若否，则生成下一行走指令。
可选地，作为本发明的一个实施例，还包括步骤：双目视觉装置根据本次采集的油茶果图像判断可采摘范围内是否存在油茶果果实，若存在，则控制装置通过采摘信息驱动采摘执行机构和机械臂进行果实采摘，若不存在，控制装置发出控制信号使双目视觉装置旋转90°，并计数一次，同时判断计数次数是否达到4次，若未达到计数次数4次，则控制装置通过采摘信息驱动采摘执行机构和机械臂进行果实采摘，若达到4次，则控制装置驱动所述履带式移动装置前进至下一采摘目的地。所述预设范围内为360°，即进行4次旋转。
具体地，双目视觉装置还包括计数装置，在执行采摘指令前，控制装置发送清零至所述计时装置中使计数装置清零。
如图3所示，以下实施例给出控制装置控制油茶果采摘的整个实施过程。
步骤S0:上电初始化并启动采摘***。
步骤S1:控制装置根据预先规划的行径路线生成行走指令，履带式移动装置移动到路径规划中的采摘起始位置处，并根据行走指令行进至采摘目的地。
步骤S2:机械臂基座复位，同时记录机械臂旋转的计数装置清零，双目视觉装置的摄像机拍摄采摘目的地预设范围内的油茶果图像，由视觉图像处理器对油茶果图像进行处理，并根据处理后的油茶果图像分析油茶果果实的位置，得到多组果实采摘位置信息及姿态角信息和所述采摘果实数目，并传输至控制装置中。
步骤S3：判断本次油茶果图像中可采摘范围内是否存在油茶果果实，若存在执行步骤S4；若不存在，控制装置发出控制信号使双目视觉装置旋转90°，并计数一次，同时判断是否计数次数达到4次，若未达到计数次数4次，则再次返回执行步骤S2；若达到计数次数4次执行步骤S8。
步骤S4：控制装置根据所述采摘果实数目对所述多组果实采摘位置信息及姿态角信息进行顺序标号处理并保存，同时根据油茶果果实的位置规划每个油茶果采摘过程中的机械臂运动轨迹，根据果实采摘位置信息和果实采摘的姿态角信息，得到机械臂采摘指令和采摘执行机构采摘指令。
步骤S5：控制装置将机械臂采摘指令传输到机械臂的驱动单元，机械臂的驱动单元驱动机械臂按照预设运动轨迹进行运动，判断是否到达指定果实采摘位置，若未达到则重新驱动机械臂按照预设运动轨迹进行运动，若达到机械臂停止动作，并执行步骤S6。
步骤S6：控制装置将采摘执行机构采摘指令传输到采摘执行机构，当机械臂到达指定果实采摘位置且调整到预定果实采摘姿态，采摘执行机构执行动作完成一次果实采摘。
步骤S7：根据标号顺序判断各采摘指令是否均完成，若均完成，执行步骤S8；若未完成，对采摘范围内的所有的果实进行采摘，则返回执行步骤S5。
步骤S8：判断是否行走完成预先规划的行径路线，若未行走完，则控制装置驱动履带式移动装置移动到预先规划的行径路线的下一采摘位置处，并返回步骤S2；若完成行径路线，***进入待机模式，并发出停止作业警报，结束。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (4)
1.一种基于双目视觉的油茶果采摘***，其特征在于，包括工作平台（5）、履带式移动装置（6）、采摘执行机构（1）、机械臂（2）、双目视觉装置（3）和控制装置（4），
所述工作平台（5）为中空腔体结构，所述履带式移动装置（6）设置在所述工作平台（5）的底部，所述机械臂（2）设置在所述工作平台（5）上表面的中心处，所述采摘执行机构（1）设置在所述机械臂（2）的顶端，所述双目视觉装置（3）设置在所述工作平台（5）上表面，所述控制装置（4）设置在所述工作平台（5）的中空腔体结构内，所述双目视觉装置（3）与所述控制装置（4）电连接，所述控制装置（4）分别与所述采摘执行机构（1）和所述履带式移动装置（6）电连接;
所述控制装置（4）用于根据预先规划的行径路线生成行走指令，所述行走指令用于驱动所述履带式移动装置（6）前进至采摘目的地；
所述双目视觉装置（3）用于采集采摘目的地预设范围内油茶果图像，并根据所述油茶果图像确定油茶果的采摘信息；
所述控制装置（4）还用于根据所述采摘信息生成采摘指令，将所述采摘指令分别发送至所述采摘执行机构（1）和所述机械臂（2）中，所述采摘指令用于驱动所述采摘执行机构（1）和所述机械臂（2）进行油茶果采摘；
所述双目视觉装置（3）包括摄像机和视觉图像处理器，所述摄像机设有两个，两个所述摄像机设置在所述工作平台（5）的上表面上且分别位于所述机械臂（2）的两侧；
所述摄像机，用于采集所述预设范围内油茶果图像；
所述视觉图像处理器，用于对所述油茶果图像进行预处理，得到预处理油茶果图像，并从所述预处理油茶果图像中识别出多个油茶果轮廓,对所述多个油茶果轮廓分别进行三维定位处理，得到多个油茶果轮廓对应的三维定位信息，并对得到的多个三维定位信息进行计算，得到采摘信息, 将所述采摘信息发送至所述控制装置（4）中；
所述视觉图像处理器包括：
图像预处理单元，用于对所述油茶果图像进行图像滤波处理，对经图像滤波处理的油茶果图像进行亮度直方图均衡化处理，并对经均衡化处理的油茶果图像进行二值化处理，并对经二值化处理的油茶果图像进行腐蚀膨胀处理，得到预处理油茶果图像；
三维定位单元，用于对所述预处理油茶果图像进行特征提取，识别出多个油茶果轮廓，分别对所述多个油茶果轮廓进行立体匹配处理，对经立体匹配处理的多个油茶果轮廓分别进行三维重建处理，得到多个三维定位信息；
采摘点重心计算单元，用于对所述多个三维定位信息分别进行极坐标变换处理，得到多个极坐标数据，并分别对所述多个极坐标数据进行距离变换处理，得到多个距离值数据，并分别对所述多个距离值数据进行线性拟合，得到多组果实采摘位置信息及姿态角信息；
果实数目确定单元，用于根据所述多个果实采摘位置信息确定采摘果实数目；
发送单元，用于将所述多组果实采摘位置信息及姿态角信息和所述采摘果实数目作为所述采摘信息发送至所述控制装置（4）中；
所述控制装置（4）包括：
路径规划单元，用于根据预先规划的行径路线生成行走指令，所述行走指令用于驱动所述履带式移动装置（6）前进至采摘目的地；
控制处理单元，用于当到达所述采摘目的地时，向所述双目视觉装置（3）发送采集指令，所述采集指令用于驱动所述双目视觉装置（3）采集所述采摘目的地预设范围内油茶果图像；
还用于当接收到所述双目视觉装置（3）发送的所述多组果实采摘位置信息及姿态角信息和所述采摘果实数目时，根据所述采摘果实数目对所述多组果实采摘位置信息及姿态角信息进行顺序标号处理，并根据经标号的各组果实采摘位置信息及姿态角信息得到机械臂采摘指令和采摘执行机构采摘指令，并根据标号顺序向所述机械臂（2）发送所述机械臂采摘指令以及向所述采摘执行机构（1）发送所述采摘执行机构采摘指令，所述机械臂采摘指令用于驱动所述机械臂（2）运动，所述采摘执行机构采摘指令用于驱动所述采摘执行机构（1）执行采摘动作。
2.根据权利要求1所述的油茶果采摘***，其特征在于，所述控制装置（4）还包括判断单元；
所述判断单元，用于判断是否执行完成属于当前采摘目的地的经标号的各组采摘指令，如果完成，则根据预先规划的行径路线生成下一行走指令，所述下一行走指令用于驱动所述履带式移动装置（6）前进至下一采摘目的地。
3.根据权利要求2所述的油茶果采摘***，其特征在于，所述判断单元还用于，生成下一行走指令前，根据获取的工作平台当前定位信息判断是否行走完成预先规划的行径路线，若是，则向所述控制处理单元发送待机指令，若否，则生成下一行走指令。
4.一种基于双目视觉的油茶果采摘控制方法，其特征在于，包括如下步骤：
控制装置根据预先规划的行径路线生成行走指令，所述行走指令用于驱动履带式移动装置前进至采摘目的地；
双目视觉装置采集采摘目的地预设范围内油茶果图像，并根据所述油茶果图像确定油茶果的采摘信息；
所述控制装置根据所述采摘信息生成采摘指令，将所述采摘指令分别发送至采摘执行机构和机械臂中，所述采摘指令用于驱动所述采摘执行机构和所述机械臂进行油茶果采摘；
所述根据所述油茶果图像确定油茶果的采摘信息的过程包括：
对所述油茶果图像进行预处理，得到预处理油茶果图像，并从所述预处理油茶果图像中识别出多个油茶果轮廓,对所述多个油茶果轮廓分别进行三维定位处理，得到多个油茶果轮廓对应的三维定位信息，并对得到的多个三维定位信息进行计算，得到采摘信息；
所述得到预处理油茶果图像的过程包括：
对所述油茶果图像进行图像滤波处理，对经图像滤波处理的油茶果图像进行亮度直方图均衡化处理，并对经均衡化处理的油茶果图像进行二值化处理，并对经二值化处理的油茶果图像进行腐蚀膨胀处理，得到预处理油茶果图像；
所述得到多个油茶果轮廓对应的三维定位信息的过程包括：
对所述预处理油茶果图像进行特征提取，识别出多个油茶果轮廓，分别对所述多个油茶果轮廓进行立体匹配处理，对经立体匹配处理的多个油茶果轮廓分别进行三维重建处理，得到多个三维定位信息；
所述得到采摘信息的过程包括：
对所述多个三维定位信息分别进行极坐标变换处理，得到多个极坐标数据，并分别对所述多个极坐标数据进行距离变换处理，得到多个距离值数据，并分别对所述多个距离值数据进行线性拟合，得到多组果实采摘位置信息及姿态角信息；
根据所述多个果实采摘位置信息确定采摘果实数目，将所述多组果实采摘位置信息及姿态角信息和所述采摘果实数目作为所述采摘信息；
所述控制装置根据所述采摘信息生成采摘指令的过程包括：
当到达所述采摘目的地时，向所述双目视觉装置发送采集指令，所述采集指令用于驱动所述双目视觉装置采集所述采摘目的地预设范围内油茶果图像；
当接收到所述双目视觉装置发送的所述多组果实采摘位置信息及姿态角信息和所述采摘果实数目时，根据所述采摘果实数目对所述多组果实采摘位置信息及姿态角信息进行顺序标号处理，并根据经标号的各组果实采摘位置信息及姿态角信息得到机械臂采摘指令和采摘执行机构采摘指令，并根据标号顺序向所述机械臂发送所述机械臂采摘指令以及向所述采摘执行机构发送所述采摘执行机构采摘指令，所述机械臂采摘指令用于驱动所述机械臂运动，所述采摘执行机构采摘指令用于驱动所述采摘执行机构执行采摘动作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910124070.0A CN109729835B (zh) | 2019-02-19 | 2019-02-19 | 一种基于双目视觉的油茶果采摘***及控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910124070.0A CN109729835B (zh) | 2019-02-19 | 2019-02-19 | 一种基于双目视觉的油茶果采摘***及控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109729835A CN109729835A (zh) | 2019-05-10 |
| CN109729835B true CN109729835B (zh) | 2024-01-12 |
Family
ID=66367777
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910124070.0A Active CN109729835B (zh) | 2019-02-19 | 2019-02-19 | 一种基于双目视觉的油茶果采摘***及控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109729835B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112861654A (zh) * | 2021-01-20 | 2021-05-28 | 浙江理工大学 | 一种基于机器视觉的名优茶采摘点位置信息获取方法 |
| CN113099847B (zh) * | 2021-05-25 | 2022-03-08 | 广东技术师范大学 | 一种基于果实三维参数预测模型的果实采摘方法 |
| CN114731845A (zh) * | 2022-02-24 | 2022-07-12 | 华南农业大学 | 一种移动式脐橙采摘接收设备 |
| CN115316129B (zh) * | 2022-08-12 | 2024-03-12 | 华南农业大学 | 基于双目视觉识别的自适应仿生采摘装置及串果采摘方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101356877A (zh) * | 2008-09-19 | 2009-02-04 | 中国农业大学 | 一种温室环境下黄瓜采摘机器人***及采摘方法 |
| CN102165880A (zh) * | 2011-01-19 | 2011-08-31 | 南京农业大学 | 一种自主导航的履带式移动水果采摘机器人及水果采摘方法 |
| CN102662399A (zh) * | 2012-05-09 | 2012-09-12 | 江苏科技大学 | 一种面向多目标的水果采摘机器人的路径优化方法 |
| CN104700404A (zh) * | 2015-03-02 | 2015-06-10 | 中国农业大学 | 一种果实定位识别方法 |
| CN108901362A (zh) * | 2018-08-15 | 2018-11-30 | 湖南师范大学 | 一种绿豆采摘机器人 |
| CN209572477U (zh) * | 2019-02-19 | 2019-11-05 | 广西师范大学 | 一种油茶果采摘装置 |
-
2019
- 2019-02-19 CN CN201910124070.0A patent/CN109729835B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101356877A (zh) * | 2008-09-19 | 2009-02-04 | 中国农业大学 | 一种温室环境下黄瓜采摘机器人***及采摘方法 |
| CN102165880A (zh) * | 2011-01-19 | 2011-08-31 | 南京农业大学 | 一种自主导航的履带式移动水果采摘机器人及水果采摘方法 |
| CN102662399A (zh) * | 2012-05-09 | 2012-09-12 | 江苏科技大学 | 一种面向多目标的水果采摘机器人的路径优化方法 |
| CN104700404A (zh) * | 2015-03-02 | 2015-06-10 | 中国农业大学 | 一种果实定位识别方法 |
| CN108901362A (zh) * | 2018-08-15 | 2018-11-30 | 湖南师范大学 | 一种绿豆采摘机器人 |
| CN209572477U (zh) * | 2019-02-19 | 2019-11-05 | 广西师范大学 | 一种油茶果采摘装置 |
Non-Patent Citations (2)
| Title |
|---|
| 基于ADAMS的油茶果采摘机械臂试验设计及优化;张立勇;饶洪辉;罗时挺;余佳佳;刘木华;;农机化研究(第11期) * |
| 基于Matlab的油茶果机械采摘平台设计与试验;张立勇;饶洪辉;黄登昇;陈斌;刘木华;;南方农机(第21期) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109729835A (zh) | 2019-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109729835B (zh) | 一种基于双目视觉的油茶果采摘***及控制方法 | |
| EP3811748B1 (en) | A weeding machine and a method for carrying out weeding using the weeding machine | |
| CN104714547B (zh) | 带有相机的自主园林车辆 | |
| CN111178148B (zh) | 一种基于无人机视觉***的地面目标地理坐标定位方法 | |
| CN108955667A (zh) | 一种融合激光雷达与二维码的复合导航方法、装置及*** | |
| CN106965179A (zh) | 一种工业机器人的视觉定位***及方法 | |
| CN113982690B (zh) | 基于锚护作业的控制方法及装置、***、掘锚护一体机 | |
| CN108801269A (zh) | 一种室内云机器人导航***及方法 | |
| CN108633482A (zh) | 一种水果采摘飞行器 | |
| CN106871902A (zh) | 一种无人机导航的方法、装置以及*** | |
| CN116048082A (zh) | 一种基于无人机识别的名优茶自动采摘控制***及方法 | |
| CN116508493B (zh) | 一种龙门履带式茶叶采摘机器人及其采摘方法 | |
| CN110433467A (zh) | 基于双目视觉和蚁群算法的捡乒乓球机器人运行方法及设备 | |
| CN216058333U (zh) | 一种智能移动水果采摘机器人 | |
| CN108811766A (zh) | 一种人机交互式温室果蔬采收机器人***及其采收方法 | |
| CN111862200B (zh) | 一种煤棚内无人机定位方法 | |
| CN208289901U (zh) | 一种增强视觉的定位装置及机器人 | |
| CN107272037A (zh) | 一种道路设施位置、图像信息采集装置及采集信息的方法 | |
| CN113812262B (zh) | 一种基于机器视觉的油茶果采摘机器人 | |
| CN112414410B (zh) | 路径生成方法、设备作业方法和设备控制*** | |
| CN111328554B (zh) | 一种草莓自动采摘机器人 | |
| CN211240896U (zh) | 一种视觉定位的仿生蛇嘴采摘机构和无人机采收装置 | |
| CN115589845A (zh) | 一种智能采棉机器人及其采棉作业路径规划方法 | |
| CN116466724A (zh) | 一种机器人的移动定位方法、装置和机器人 | |
| CN110989623A (zh) | 地面无人作业设备及控制其移动的方法和装置、存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |