CN116117807A - 一种辣椒采摘机器人及控制方法 - Google Patents
一种辣椒采摘机器人及控制方法 Download PDFInfo
- Publication number
- CN116117807A CN116117807A CN202211742467.4A CN202211742467A CN116117807A CN 116117807 A CN116117807 A CN 116117807A CN 202211742467 A CN202211742467 A CN 202211742467A CN 116117807 A CN116117807 A CN 116117807A
- Authority
- CN
- China
- Prior art keywords
- picking
- pepper
- fruit
- path
- potential field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 240000008574 Capsicum frutescens Species 0.000 title claims description 17
- 235000013399 edible fruits Nutrition 0.000 claims abstract description 61
- 235000002566 Capsicum Nutrition 0.000 claims abstract description 55
- 235000016761 Piper aduncum Nutrition 0.000 claims abstract description 42
- 235000017804 Piper guineense Nutrition 0.000 claims abstract description 42
- 235000008184 Piper nigrum Nutrition 0.000 claims abstract description 42
- 239000006002 Pepper Substances 0.000 claims abstract description 41
- 241000722363 Piper Species 0.000 claims abstract description 41
- 238000009826 distribution Methods 0.000 claims abstract description 28
- 239000012636 effector Substances 0.000 claims abstract description 12
- 238000004364 calculation method Methods 0.000 claims abstract description 10
- 238000001228 spectrum Methods 0.000 claims abstract description 7
- 239000003016 pheromone Substances 0.000 claims description 33
- 230000004927 fusion Effects 0.000 claims description 14
- 230000033001 locomotion Effects 0.000 claims description 13
- 230000012010 growth Effects 0.000 claims description 12
- 238000003306 harvesting Methods 0.000 claims description 12
- 230000001276 controlling effect Effects 0.000 claims description 11
- 241000257303 Hymenoptera Species 0.000 claims description 9
- 239000001390 capsicum minimum Substances 0.000 claims description 7
- QVFWZNCVPCJQOP-UHFFFAOYSA-N chloralodol Chemical compound CC(O)(C)CC(C)OC(O)C(Cl)(Cl)Cl QVFWZNCVPCJQOP-UHFFFAOYSA-N 0.000 claims description 7
- 241000758706 Piperaceae Species 0.000 claims description 6
- 238000002310 reflectometry Methods 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 5
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 2
- 125000003275 alpha amino acid group Chemical group 0.000 claims description 2
- 150000001875 compounds Chemical class 0.000 claims description 2
- 230000002596 correlated effect Effects 0.000 claims description 2
- 230000001105 regulatory effect Effects 0.000 claims description 2
- 239000003638 chemical reducing agent Substances 0.000 claims 2
- 230000009897 systematic effect Effects 0.000 abstract 1
- 241000196324 Embryophyta Species 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000010521 absorption reaction Methods 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000002689 soil Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 241001464837 Viridiplantae Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000012271 agricultural production Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 229930002875 chlorophyll Natural products 0.000 description 1
- 235000019804 chlorophyll Nutrition 0.000 description 1
- ATNHDLDRLWWWCB-AENOIHSZSA-M chlorophyll a Chemical compound C1([C@@H](C(=O)OC)C(=O)C2=C3C)=C2N2C3=CC(C(CC)=C3C)=[N+]4C3=CC3=C(C=C)C(C)=C5N3[Mg-2]42[N+]2=C1[C@@H](CCC(=O)OC\C=C(/C)CCC[C@H](C)CCC[C@H](C)CCCC(C)C)[C@H](C)C2=C5 ATNHDLDRLWWWCB-AENOIHSZSA-M 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 235000012055 fruits and vegetables Nutrition 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000008635 plant growth Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01D—HARVESTING; MOWING
- A01D46/00—Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs
- A01D46/30—Robotic devices for individually picking crops
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J5/00—Manipulators mounted on wheels or on carriages
- B25J5/007—Manipulators mounted on wheels or on carriages mounted on wheels
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/1605—Simulation of manipulator lay-out, design, modelling of manipulator
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Robotics (AREA)
- General Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Environmental Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种辣椒采摘机器人及控制方法，属于自动采摘领域，所述的辣椒采摘机器人控制***首先通过GIS***构建待采摘农场实时三维地图，根据农作物光谱数据库确定农作物产量分布情况，使用势场函数求出最优行驶路径，随后采摘机器人进行***上电自检，自检通过后，下位机控制底盘移动到初始位置，通过深度相机获取采摘辣椒果实的图像特征，对深度相机所采取到的图像进行信息识别计算，获取辣椒果实信息，下位机根据辣椒果实三维坐标通过蚁群算法确定最优采摘顺序，再控制采摘末端执行器移动到指定位置进行抓取采摘；实现了对辣椒采摘机器人的全自动智能化远程控制和对辣椒果实目标的高精度抓取，简化了采摘工序，节省了采摘时间。
Description
技术领域
本发明属于自动采摘领域，更具体的说涉及一种辣椒采摘机器人及控制方法。
背景技术
近年来随着人工智能在农业领域的研究推进，农业采摘机器人已经开始从研发转入到试验阶段，农业采摘机器人不但可以提高采摘的作业效率、降低果蔬的损伤、降低农业生产成本，还能节约劳动资源、增加农民收入，同时也可以有效缓解我国农业劳动力短缺问题，为果实的自动化采摘提供了新的方式。
目前国内外关于果实采摘机器控制***的研究仍处于起步阶段，近年来大多数研究针对的是结构化环境下的半自动化采摘控制，面对复杂的非结构环境时，无法对果实产量与区域进行精准的划分，即无法一次性完全采摘成熟的辣椒，需要人工干预，且辣椒形状不规则，枝干复杂、遮挡性高、目标小，无法果实进行快速、精准的识别，采摘使难以做到对辣椒的全自动、精准、快速、高效的采摘，采摘时会有遗漏，定位不准损坏辣椒的情况发生。
因此，提供了一种辣椒采摘机器人及控制方法，实现辣椒果实智能化识别与精准采摘，提高采摘效率，降低采摘遗漏率。
发明内容
为了克服背景技术中存在的问题，本发明提供了一种辣椒采摘机器人及控制方法，以解决现有采摘机器人面对复杂的非结构环境时，无法对辣椒果实产量与采摘区域进行精准的划分，无法对高遮挡、目标小的辣椒果实进行快速、精准的识别，无法做到对果实的全自动、稳定、高效采摘的问题。
为了实现上述目的，本发明采用以下技术方案实现的：
所述一种辣椒采摘机器人控制方法，包括以下步骤：
步骤一，建立农作物光谱数据库；
步骤二，构建三维区域地图确定作物产量分布情况，根据步骤一建立的数据库，确定植被分布情况和植被覆盖比值，根据植物分布情况以及植被覆盖比值，利用ARGIS软件中的arcscene模块绘制作物分布三维地图；
步骤三，规划机器人移动最优路径，利用势场函数来建立人工势场通过引力场函数和斥力场函数，得到整个运行空间的全局势场函数，根据势场函数求出最优行驶路径；
步骤四，***上电自检，采摘机器人移动至指定位置；
步骤五，可采摘对象识别与定位，构建Yolov7多模态注意力融合轻量化深度网络模型，通过网络对深度相机所采取到的图像进行图像信息目标识别，获取果实生长方向以及果实质心像素坐标；
步骤六，执行采收程序，通过所求得的果实质心三维坐标通过蚁群算法，确定最优采摘顺序。
优选地，步骤一所述的建立农作物光谱数据库包括：步骤1.1，使用多光谱镜头采集采摘场地辣椒各生长期的多光谱数据；
步骤1.2，将采集的数据使用归一化差分植被指数来综合反映辣椒的生长分布和覆盖情况，归一化差分植被指数通过可见光红光波段和近红外波段这两个波段测量值计算得，其中，归一化差分植被指数计算公式如下：
NDVI＝(ρNIR-ρR)/(ρNIR+ρR) (1)
式中：NDVI是归一化差分植被指数，ρNIR是近红外波段的反射率，ρR是红光波段的反射率。
优选地，步骤三所述的移动最优路径计算过程为：
将环境设为一种抽象的人造引力场，目标点对移动机器人产生“引力”，障碍物对移动机器人产生“斥力”，通过二者的合力来控制移动机器人的运动，利用势场函数U(q)来建立人工势场：
U(q)＝Uatt(q)+Urep(q) (2)
引力势场函数：
斥力势场函数：
(3)、(3)、(4)式中，U(q)表示引力势场函数与斥力势场函数之和，Uatt(q)表示引力势场函数，Urep(q)表示斥力势场函数，ξ表示正比例位置增益系数与NDVI值成正相关，ρ(q，qgoal)表示当前点到目标点的欧几里得距离|q-qgoal|，η表示斥力增益，ρ(q，qobs)表示当前点到障碍物的距离，ρ0表示障碍物作用距离阈值；
根据步骤二构建的三维区域地图，当辣椒采摘机器人进入障碍物的影响范围时，两者之间距离越大，斥力势场值应越小，反之，距离越小，势场值应越大；辣椒采摘机器人沿着合势力场值U(q)梯度下降最快的方向朝目标点移动。
优选地，所述的步骤五具体实现步骤如下：
根据采集的待采摘果实的图像特征，构建Yolov7多模态注意力融合轻量化深度网络模型，网络对深度相机所采取到的RGB图像进行图像信息目标识别，获取果实生长方向以及果实质心像素坐标，并结合深度相机所得的深度信息以及相机内参，获取所有目标辣椒果实质心相对于深度相机光圈的三维坐标，目标辣椒果实质心相对于深度相机光圈的三维坐标计算公式为：
X′[mm]＝X[mm]-N (7)
(5)、(6)、(7)、(8)式中，X[mm]表示果实质心相对于图像中心的距离在x轴上的投影，Y[mm]表示果实质心相对于图像中心的距离在y轴上的投影，
表示深度图在坐标(x0，y0)的点处的值，cx表示图像中心沿x轴的坐标，以像素为单位，cy表示图像中心沿y轴的坐标，fx和fy是通过标定获得图像的相机光学***的内部参数，沿x轴和y轴的焦距，(x0，y0)是图像中检测到的物体的中心的坐标，以像素为单位，公式(7)为计算RGB相机模块离真实感中心的偏移距离，其中X′[mm]表示从相机中心到物体沿x轴的距离的无偏投影，N是深度相机镜头的偏移量，Z[mm]表示果实质心相对于图像中心的距离在z轴上的投影；
通过该计算可将轻量化网络所得的果实质心像素坐标转换为果实质心相对于相机光心的三维坐标。
优选地，设备收到步骤五求得的果实质心三维坐标列表后，步骤六所述的通过三维坐标通过蚁群算法确定辣椒最优采摘顺序计算步骤为：
步骤6.1，将采摘路径类比为蚂蚁移动路径，初始化蚂蚁个数m为三维坐标总数的1.5倍、信息素因子α为1、启发函数因子β为1，beta信息素挥发因子ρ设置为0.2，信息素常数Q设置为10，最大迭代次数t设置为200；
步骤6.2，模拟采摘抓手移动路径，将m个蚂蚁随机放置在不同的出发地，计算下一个待访问三维坐标，直至每个蚂蚁都访问完所有的三维坐标；
步骤6.3，根据各点之间连接路径的信息素浓度确定下一个运动点，t时刻，第k只蚂蚁从点i转移到点j的概率如下所示：
式(9)中，i、j分别表示每段路径的起点和终点，α和ρ表示调节因子，τi(t)表示时间t时由i到j的信息素浓度，nij(t)等于路径长度dij的倒数，allowk表示未访问过的坐标的集合；
路径i到j上的信息素浓度越大，τij(t)的值就越大，该采摘路径被选择的概率就越大，同样该路径长度越短，则nij(t)＝1/dij越大，该采摘路径被选择的概率就越大；
在采摘抓手运动过程中，计算各个蚂蚁经过的路径长度L，记录当前迭代次数中的历史最优解，同时，对各个三维坐标所连接的路径的信息素浓度进行更新，信息素更新的表达式为
τis(t+n)＝ρτij(t)+Δτij (10)
式(10)中，ρ是挥发因子，Δτij表示遍历完所有三维坐标后，所有路径i到j的蚂蚁留下的信息素总量，即：
式(11)中，
表示第k只蚂蚁在路径i到j上面留下的信息素量；
如果第k只蚂蚁经过路径i到j，则
式(12)中，Q为信息素常数、Lk为已经走过的路径总长度；
当达到最大迭代次数时，输出记录的历史最优解，最优解即为辣椒最优采摘路径。
所述一种辣椒采摘机器人辣椒采摘机器人包括深度相机、激光雷达、陀螺仪传感器、避障传感器、薄膜压力传感器、直线电机、滑轨Ⅰ、丝杠、滑轨Ⅱ、舵机、气缸、减速电机、框架，减速电机安装在框架底部四角行走轮上，滑轨Ⅰ安装在框架底部两侧，两滑轨Ⅰ端部各安装有直线电机，两滑轨Ⅰ的滑块上安装有滑轨Ⅱ，滑轨Ⅱ端部安装有直线电机，滑轨Ⅱ上安装有丝杠，丝杠下端安装有舵机，气缸安装在舵机底部输出轴上，避障传感器和薄膜压力传感器安装在舵机侧边上，深度相机安装在舵机侧边用于拍摄辣椒图像进行目标信息识别，激光雷达通过支架安装在框架上，陀螺仪传感器安装在激光雷达的支架上。
优选地，所述深度相机、激光雷达通过USB接口连接到下位机上，深度相机、激光雷达和GIS模块组成融合感知***，陀螺仪传感器、避障传感器和薄膜压力传感器通过串行接口电路连接到下位机输入端上，直线电机连接直线电机控制器，直线电机控制器通过串行接口电路连接到下位机输出端上，丝杠连接丝杆控制器，丝杆控制器通过串行接口电路连接到下位机输出端上、舵机连接舵机控制器，舵机控制通过串行接口电路连接到下位机输出端上，气缸连接末端执行器控制器，末端执行器控制器通过串行接口电路连接到下位机输出端上，减速电机连接底盘控制器，底盘控制器通过串行接口电路连接到下位机输出端上，下位机上连接有LoRa无线模块，LoRa无线模块通过以太网连接上位机和用户控制端，上位机和用户控制端通过以太网连接PC端。
本发明有益效果：
本发明通过GIS模块确定农作物产量分布图，实现了对辣椒种植区域辣椒产量遥感监测，根据产量分布图配合人工势场算法求解出采摘最优路径，通过Yolov7多模态注意力融合轻量化深度网络模型配合深度相机实现果实在微型处理***上的智能化识别与精准定位与定向，实现了对辣椒果实目标的高精度定位，采用蚁群算法规划采摘路径，利用LoRa无线模块实时传输用户控制端指令与机器状态，实现了对辣椒采摘机器人的全自动智能化远程控制和对辣椒果实目标的高精度抓取，简化了采摘工序，节省了采摘时间。
附图说明
图1为本发明的控制***硬件连接示意图；
图2为本发明利用GIS确定农作物产量分布流程图；
图3为本发明的***上电自检流程图；
图4为本发明的可采摘对象识别与定位流程图；
图5为本发明的通过蚁群算法确定最优采摘顺序流程图；
图6为本发明的执行采收程序流程图；
图7为本发明的控制装置结构示意图；
图8为本发明的采摘抓手结构示意图。
图中标号为，1-下位机、2-融合感知***、201-深度相机、202-激光雷达、203-GIS模块、3-传感器、301-陀螺仪传感器、302-避障传感器、303-薄膜压力传感器、4-直线电机控制器、401-直线电机、402-滑轨Ⅰ、5-丝杠控制器、501-丝杠、502-滑轨Ⅱ、6-舵机控制器、601-舵机、7-末端执行器控制器、701-气缸、8-底盘控制器、801-减速电机、9-LoRa无线模块、10-局域网、11-用户控制端、12-上位机、13-框架。
具体实施方式
了使本发明的目的、技术方案和有益效果更加清楚，下面将结合附图，对本发明的优选实施例进行详细的说明，以方便技术人员理解。
如图1所示，一种辣椒采摘机器人控制方法与控制方法，包括下位机1，下位机1通过USB双向通讯连接有融合感知***2，下位机1通过串口通信方式连接有直线电机控制器4、丝杠控制器5、舵机控制器6、末端执行器控制器7、底盘控制器8、LoRa无线模块9，所述LoRa无线模块9通过局域网10连接用户控制端11和上位机12。
如图1图7图8所示，一种辣椒采摘机器人包括深度相机201、激光雷达202、陀螺仪传感器301、避障传感器302、薄膜压力传感器303、直线电机401、滑轨Ⅰ402、丝杠501、滑轨Ⅱ502、舵机601、气缸701、减速电机801、框架13，减速电机801安装在框架13底部四角行走轮上，通过控制各电机启停和电机转速控制采摘机器人行走和转向，减速电机801连接底盘控制器8，底盘控制器8通过串行接口电路连接到下位机1输出端上，滑轨Ⅰ402安装在框架13底部两侧，两滑轨Ⅰ402端部各安装有直线电机401，直线电机401连接直线电机控制器4，通过滑轨Ⅰ402和直线电机401控制采摘抓手纵向移动，直线电机控制器4通过串行接口电路连接到下位机1输出端上，两滑轨Ⅰ402的滑块上安装有滑轨Ⅱ502，滑轨Ⅱ502端部各安装有直线电机401，用于控制采摘抓手横向移动，滑轨Ⅱ502上安装有丝杠501，丝杠501连接丝杆控制器5，控制采摘抓手上下移动，丝杆控制器5通过串行接口电路连接到下位机1输出端上，丝杠501下端安装有舵机601，舵机601连接舵机控制器6，舵机601控制采摘抓手转向，舵机控制器6通过串行接口电路连接到下位机1输出端上，气缸701安装在舵机601底部输出轴上，气缸701连接末端执行器控制器7，控制采摘抓手抓合，末端执行器控制器7通过串行接口电路连接到下位机1输出端上，避障传感器302和薄膜压力传感器303安装在舵机601侧边上，陀螺仪传感器301、避障传感器302和薄膜压力传感器303通过串行接口电路连接到下位机1输入端上，避障传感器302对采摘障碍物进行检测，薄膜压力传感器303对采摘时的抓力进行检测，避免损坏采摘目标，深度相机201安装在舵机601侧边用于拍摄辣椒图像进行目标信息识别，激光雷达202通过支架安装在框架13上，对采摘目标进行距离检测，深度相机201、激光雷达202和GIS模块203组成融合感知***2，对目标信息进行准确计算、定位和识别，GIS模块203获取农田信息***数据再通过用卫星对处理好的农田数据区域进行遥感遥测，分析空间作物分布，融合感知***2通过USB双向通讯连接到下位机1上，陀螺仪传感器301安装在激光雷达202的支架上，对采摘机器人的姿态进行判断。
一种辣椒采摘机器人控制方法，包括以下步骤：
步骤一，建立农作物光谱数据库；
步骤二，构建三维区域地图确定作物产量分布情况，根据步骤一建立的数据库，确定植被分布情况和植被覆盖比值，根据植物分布情况以及植被覆盖比值，利用ARGIS软件中的arcscene模块绘制作物分布三维地图；
步骤三，规划机器人移动最优路径，利用势场函数来建立人工势场通过引力场函数和斥力场函数，得到整个运行空间的全局势场函数，根据势场函数求出最优行驶路径；
步骤四，***上电自检，采摘机器人移动至指定位置；
步骤五，可采摘对象识别与定位，构建Yolov7多模态注意力融合轻量化深度网络模型，通过网络对深度相机所采取到的图像进行图像信息目标识别，获取果实生长方向以及果实质心像素坐标；
步骤六，执行采收程序，通过所求得的果实质心三维坐标通过蚁群算法，确定最优采摘顺序。
如图2所示，GIS***构建三维区域地图确定作物产量分布情况时，先使用搭载红外、红光、绿光、红边、以及RGB合成五种多光谱镜头的无人机采集采摘场地辣椒各生长期的多光谱数据，根据采集的数据选择归一化差分植被指数(Normalized DifferenceVegetation Index，NDVI)来综合反映辣椒的生长分布和覆盖情况，植物叶面在可见光红光波段有很强的吸收特性，在近红外波段有很强的反射特性，这是植被遥感监测的物理基础。通过这两个波段测值组合得到的NDVI指数，对土壤背景变化敏感，能较好地识别植被和水体。在植被处于中、低覆盖度时，该指数随覆盖度的增加而迅速增大，当达到一定覆盖度后增长缓慢，所以适用于植被早、中期生长阶段的动态监测。其中，NDVI指数计算公式如下：
NDVI＝ (ρNIR-ρR)/(ρNIR+ρR) (1)
式中：ρNIR是近红外波段的反射率，ρR是红光波段的反射率。
可见光红光波段(0.58-0.68μm)位于叶绿素吸收带，近红外波段(0.75-1.10μm)位于绿色植物光谱高反射区。NDVI取值范围为-1～1，NDVI值近似为0表示无植被的裸土区；NDVI正值表示有植被覆盖，且随覆盖度增大而增大，大于0.7表明该区域植被密度较高；而地面覆盖水雪区域NDVI是负值。NDVI是植物空间密度和植物生长状态的最好指示因子，与植被覆盖的分布密度呈线性相关关系，一般应用于检测植被生长状态、植被覆盖等领域。
在计算各生长期的NDVI指数后，GIS模块获取农田信息***数据再通过用卫星对处理好的农田数据区域进行遥感遥测，将红外、红光、绿光、红边、以及RGB合成五种波段进行组合计算得到植被指数，确定植被分布情况以及植被覆盖比值，分析空间作物分布并利用ARGIS软件中的arcscene模块，根据植物分布情况以及植被覆盖比值，绘制作物分布三维地图。
本发明步骤三中，上位机规划机器人移动路径时，在GIS模块将空间作物分布信息传送给上位机后,上位机通过根据作物分布三维地图，利用人工势场算法求解出采摘最优路径，机器人在周围环境中运动时，将环境设计成一种抽象的人造引力场，目标点对移动机器人产生“引力”，障碍物对移动机器人产生“斥力”，最后通过二者的合力来控制移动机器人的运动，利用势场函数U来建立人工势场，势场函数是一种可微函数，空间中某点势场函数值的大小，代表了该点的势场强度。采用引力势场函数与斥力势场函数，用U(q)表示二者之和。
U(q)＝Uatt(q)+Urep(q) (2)
引力势场函数：
由于机器人行驶路径与当前地区作物植被覆盖量有关，因此ξ表示正比例位置增益系数与NDVI值成正相关，ρ(q，qgoal)表示当前点到目标点的欧几里得距离|q-qgoal|
斥力势场函数：
η表示斥力增益ρ(q，qobs)表示当前点到障碍物的距离，ρ0表示障碍物作用距离阈值。
根据引力场函数和斥力场函数，可以得到整个运行空间的全局势场函数，根据步骤二构建三维区域地图，虚拟辣椒采摘机器人进入障碍物的影响范围后，两者之间距离越大，斥力势场值应越小，反之，距离越小，势场值应越大；辣椒采摘机器人沿着合势力场值U(q)梯度下降最快的方向朝目标点移动，可得最优行驶路径，将求得的最优路径存放到可读列表中，并通过LoRa无线模块，将列表传输至下位机。
本发明中如图3所示，***上电自检时，采摘末端执行器回归初始位置，判断硬件是否存在异常，然后通过陀螺仪传感器对辣椒采摘机器人的姿态进行判断，以及程序初始化，当***部件无法正常运行或时输出相应的错误提示，当采摘机器人不平衡时，通过底盘控制器控制减速电机调整姿态至水平，自检通过后，所述***进入待机状态，等待用户控制端下发采收指令。
如图4所示，所述采摘对象识别与定位时，在用户控制端下发采收指令后，通过局域网连接***LoRa无线模块将用户指令同步至下位机，下位机收到采摘指令后，通过融合感知***根据待采摘果实的图像特征，构建Yolov7多模态注意力融合轻量化深度网络模型，利用该网络对深度相机所采取到的RGB图像进行图像信息目标识别，获取果实生长方向以及果实质心像素坐标，并结合所得深度相机所得的深度信息以及相机内参，获取所有目标辣椒果实质心相对于深度相机光圈的三维坐标。其中：
X[mm]是相对于图像中心的距离在x轴上的投影(单位为mm)，Y[mm]是相对于图像中心的距离在y轴上的投影(单位为mm)，
是深度图在坐标(x0，y0)(以mm为单位)的点处的值，cx是图像中心沿x轴(以像素为单位)的坐标，cy是图像中心沿y轴的坐标(以像素为单位)，fx和fy是通过标定获得图像的相机光学***的内部参数(沿x轴和y轴的焦距)，(x0，y0)是图像中检测到的物体的中心的坐标，以像素为单位。当计算沿x轴到物体的距离时，需要考虑RGB相机模块离真实感中心的偏移：
X′[mm]＝X[mm]-35 (7)
其中X′[mm]是从相机中心到物体沿x轴的距离的无偏投影(以mm为表示)，35(mm)是Intel Real Sense Depth相机d435i的偏移量。
最后根据上述公式所得的数据，可以求出三维坐标中Z轴的数据
式中Z[mm]是从相机中心到物体沿z轴的距离的无偏投影(以mm为表示)；
通过该计算可将轻量化网络所得的果实质心像素坐标转换为果实质心相对于相机光心的三维坐标。
如图5所示，所述执行采收程序时，通过所求得得果实质心三维坐标，确定最优采摘顺序具体方法如下，在下位机收到果实质心三维坐标列表后，将采摘路径设为蚂蚁移动路径，首先初始化蚂蚁个数m为三维坐标总数的1.5倍、信息素因子α为1、启发函数因子β为1，beta、信息素挥发因子ρ设置为0.2，信息素常数Q设置为10，最大迭代次数t设置为200，随后将m个蚂蚁随机放置在不同的出发地，计算下一个待访问三维坐标，直至每个蚂蚁都访问完所有的三维坐标。根据各点之间连接路径的信息素浓度确定下一个运动点，t时刻，第k只蚂蚁从点i转移到点j的概率如下所示
其中，i、j分别表示每段路径的起点和终点，其中α和ρ为调节因子，用于调节τij(t)和nij(t)之间的作用，τi(t)表示时间t时由i到j的信息素浓度，nij(t)等于路径长度dij的倒数allowk表示未访问过的坐标的集合，如果路径i到j上的信息素浓度越大，τij(t)的值就越大，该路径被选择的概率就越大；同样改路径长度越短，则nij(t)＝1/dij越大，该路径被选择的概率就越大。在蚂蚁运动过程中，计算各个蚂蚁经过的路径长度L，记录当前迭代次数中的历史最优解，同时，对各个三维坐标所连接的路径的信息素浓度进行更新，信息素更新的表达式为
τis(t+n)＝ρτij(t)+Δτij (10)
其中ρ是挥发因子，Δτij表示遍历完所有三维坐标后，所有路径i到j的蚂蚁留下的信息素总量，即：
式中：Δτij表示第k只蚂蚁在路径i到j上面留下的信息素量
如果第k只蚂蚁经过路径i到j，则
式中：Q为信息素常数、Lk为已经走过的路径总长度；
当达到最大迭代次数时，输出记录的历史最优解。
如图6所示，所述执行采收程序时，根据蚁群算法所计算出最优采摘顺序，避障传感器引导下位机控制直线电机控制器与丝杠控制器分别控制直线电机与丝杠运行使得采摘末端执行器到达果实采摘点，并根据融合感知***所得果实生长方向，下位机控制舵机控制器控制夹爪上方的舵机转动采摘抓手使得抓手与果实生长方向平行，再由下位机控制末端执行器控制器控制气缸进而使采摘抓手抓住目标辣椒果实，当采摘抓手上的薄膜压力传感器传给下位机的信号到达所设定的阈值后，用于控制夹爪的气缸停止运行，随后下位机控制舵机控制器控制夹爪上方的舵机旋转90°将目标辣椒果实取下后，下位机控制直线电机控制器与丝杠控制器分别控制直线电机与丝杠将果实放入指定位置后复位。如果融合感知***识别范围内仍有目标辣椒果实，则循环执行采摘程序，否则下位机控制底盘控制器控制减速电机移动至下一区域进行采摘。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何不经过创造性劳动想到的变化或替换，都应涵盖在本发明的保护范围之内。
Claims (7)
1.一种辣椒采摘机器人控制方法，其特征在于，包括以下步骤：
步骤一，建立农作物光谱数据库；
步骤二，构建三维区域地图确定作物产量分布情况，根据步骤一建立的数据库，确定植被分布情况和植被覆盖比值，根据植物分布情况以及植被覆盖比值，利用ARGIS软件中的arcscene模块绘制作物分布三维地图；
步骤三，规划机器人移动最优路径，利用势场函数来建立人工势场通过引力场函数和斥力场函数，得到整个运行空间的全局势场函数，根据势场函数求出最优行驶路径；
步骤四，***上电自检，采摘机器人移动至指定位置；
步骤五，可采摘对象识别与定位，构建Yolov7多模态注意力融合轻量化深度网络模型，通过网络对深度相机所采取到的图像进行图像信息目标识别，获取果实生长方向以及果实质心像素坐标；
步骤六，执行采收程序，通过所求得的果实质心三维坐标通过蚁群算法，确定最优采摘顺序。
2.根据权利要求1所述的一种辣椒采摘机器人控制方法，其特征在于，步骤一所述的建立农作物光谱数据库包括：步骤1.1，使用多光谱镜头采集采摘场地辣椒各生长期的多光谱数据；
步骤1.2，将采集的数据使用归一化差分植被指数来综合反映辣椒的生长分布和覆盖情况，归一化差分植被指数通过可见光红光波段和近红外波段这两个波段测量值计算得，其中，归一化差分植被指数计算公式如下：
NDVI＝(ρNIR-ρR)/(ρNIR+ρR) (1)
式中：NDVI是归一化差分植被指数，ρNIR是近红外波段的反射率，ρR是红光波段的反射率。
3.根据权利要求1所述的一种辣椒采摘机器人控制方法，其特征在于，步骤三所述的移动最优路径计算过程为：
将环境设为一种抽象的人造引力场，目标点对移动机器人产生“引力”，障碍物对移动机器人产生“斥力”，通过二者的合力来控制移动机器人的运动，利用势场函数U(q)来建立人工势场：
U(q)＝Uatt(q)+Urep(q) (2)
引力势场函数：
斥力势场函数：
(2)、(3)、(4)式中，U(q)表示引力势场函数与斥力势场函数之和,Uatt(q)表示引力势场函数，Urep(q)表示斥力势场函数，ξ表示正比例位置增益系数与NDVI值成正相关，ρ(q,qgoal)表示当前点到目标点的欧几里得距离|q-qgoal|，η表示斥力增益，ρ(q,qobs)表示当前点到障碍物的距离，ρ0表示障碍物作用距离阈值；
当无辣椒采摘机器人进入障碍物的影响范围时，两者之间距离越大，斥力势场值应越小，反之，距离越小，势场值应越大；辣椒采摘机器人沿着合势力场值U(q)梯度下降最快的方向朝目标点移动。
4.根据权利要求1所述的一种辣椒采摘机器人控制方法，其特征在于，所述的步骤五具体实现步骤如下：
根据采集的待采摘果实的图像特征，构建Yolov7多模态注意力融合轻量化深度网络模型，网络对深度相机所采取到的RGB图像进行图像信息目标识别，获取果实生长方向以及果实质心像素坐标，并结合深度相机所得的深度信息以及相机内参，获取所有目标辣椒果实质心相对于深度相机光圈的三维坐标，目标辣椒果实质心相对于深度相机光圈的三维坐标计算公式为：
式中，X[mm]表示果实质心相对于图像中心的距离在x轴上的投影，
表示深度图在坐标(x0,y0)的点处的值，cx表示图像中心沿x轴的坐标，fx是通过标定获得图像的相机光学***沿x轴的焦距，(x0,y0)是图像中检测到的物体的中心坐标，以像素为单位；
式中，Y[mm]表示果实质心相对于图像中心的距离在y轴上的投影，cy表示图像中心沿y轴的坐标，fy是通过标定获得图像的相机光学***沿y轴的焦距；
X'[mm]＝X[mm]-n (7)
公式(7)为计算深度相机模块离真实感中心的偏移距离，其中X'[mm]表示从相机中心到物体沿x轴的距离的无偏投影，n表示深度相机的镜头偏移量；
式中，Z[mm]表示果实质心相对于图像中心的距离在z轴上的投影；
通过该计算可将轻量化网络所得的果实质心像素坐标转换为果实质心相对于相机光心的三维坐标。
5.根据权利要求1和5所述的一种辣椒采摘机器人控制方法，其特征在于，设备收到步骤五求得的果实质心三维坐标列表后，步骤六所述的通过三维坐标通过蚁群算法确定辣椒最优采摘顺序计算步骤为：
步骤6.1，将采摘路径类比为蚂蚁移动路径，初始化蚂蚁个数m为三维坐标总数的1.5倍、信息素因子α为1、启发函数因子β为1，beta信息素挥发因子ρ设置为0.2，信息素常数Q设置为10，最大迭代次数t设置为200；
步骤6.2，模拟采摘抓手移动路径，将m个蚂蚁随机放置在不同的出发地，计算下一个待访问三维坐标，直至每个蚂蚁都访问完所有的三维坐标；
步骤6.3，根据各点之间连接路径的信息素浓度确定下一个运动点，t时刻，第k只蚂蚁从点i转移到点j的概率如下所示：
式(9)中，i、j分别表示每段路径的起点和终点，α和ρ表示调节因子，τi(t)表示时间t时由i到j的信息素浓度，nij(t)等于路径长度dij的倒数，allowk表示未访问过的坐标的集合；
路径i到j上的信息素浓度越大，τij(t)的值就越大，该采摘路径被选择的概率就越大，同样该路径长度越短，则nij(t)＝1/dij越大，该采摘路径被选择的概率就越大；
在采摘抓手运动过程中，计算各个蚂蚁经过的路径长度L，记录当前迭代次数中的历史最优解，同时，对各个三维坐标所连接的路径的信息素浓度进行更新，信息素更新的表达式为
τis(t+n)＝ρτij(t)+Δτij (10)
式(10)中，ρ是挥发因子，Δτij表示遍历完所有三维坐标后，所有路径i到j的蚂蚁留下的信息素总量，即：
式(11)中，
表示第k只蚂蚁在路径i到j上面留下的信息素量；
如果第k只蚂蚁经过路径i到j，则
式(12)中，Q为信息素常数、Lk为已经走过的路径总长度；
当达到最大迭代次数时，输出记录的历史最优解，最优解即为辣椒最优采摘路径。
6.一种辣椒采摘机器人，应用于权利要求1-5任一项所述的一种辣椒采摘机器人，其特征在于：所述辣椒采摘机器人包括深度相机(201)、激光雷达(202)、陀螺仪传感器(301)、避障传感器(302)、薄膜压力传感器(303)、直线电机(401)、滑轨Ⅰ(402)、丝杠(501)、滑轨Ⅱ(502)、舵机(601)、气缸(701)、减速电机(801)、框架(13)，减速电机(801)安装在框架(13)底部四角行走轮上，滑轨Ⅰ(402)安装在框架(13)底部两侧，两滑轨Ⅰ(402)端部各安装有直线电机(401)，两滑轨Ⅰ(402)的滑块上安装有滑轨Ⅱ(502)，滑轨Ⅱ(502)端部安装有直线电机(401)，滑轨Ⅱ(502)上安装有丝杠(501)，丝杠(501)下端安装有舵机(601)，气缸(701)安装在舵机(601)底部输出轴上，避障传感器(302)和薄膜压力传感器(303)安装在舵机(601)侧边上，深度相机(201)安装在舵机(601)侧边用于拍摄辣椒图像进行目标信息识别，激光雷达(202)通过支架安装在框架(13)上，陀螺仪传感器(301)安装在激光雷达(202)的支架上。
7.根据权利要求6所述的一种辣椒采摘机器人，其特征在于：所述深度相机(201)、激光雷达(202)通过USB接口连接到下位机(1)上，深度相机(201)、激光雷达(202)和GIS模块(203)组成融合感知***(2)，陀螺仪传感器(301)、避障传感器(302)和薄膜压力传感器(303)通过串行接口电路连接到下位机(1)输入端上，直线电机(401)连接直线电机控制器(4)，直线电机控制器(4)通过串行接口电路连接到下位机(1)输出端上，丝杠(501)连接丝杆控制器(5)，丝杆控制器(5)通过串行接口电路连接到下位机(1)输出端上、舵机(601)连接舵机控制器(6)，舵机控制器(6)通过串行接口电路连接到下位机(1)输出端上，气缸(701)连接末端执行器控制器(7)，末端执行器控制器(7)通过串行接口电路连接到下位机(1)输出端上，减速电机(801)连接底盘控制器(8)，底盘控制器(8)通过串行接口电路连接到下位机(1)输出端上，下位机(1)上连接有LoRa无线模块(9)，LoRa无线模块(9)通过以太网连接上位机(12)和用户控制端(11)，上位机(12)和用户控制端(11)通过以太网连接PC端。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211742467.4A CN116117807A (zh) | 2022-12-30 | 2022-12-30 | 一种辣椒采摘机器人及控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211742467.4A CN116117807A (zh) | 2022-12-30 | 2022-12-30 | 一种辣椒采摘机器人及控制方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116117807A true CN116117807A (zh) | 2023-05-16 |
Family
ID=86300322
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211742467.4A Pending CN116117807A (zh) | 2022-12-30 | 2022-12-30 | 一种辣椒采摘机器人及控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116117807A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118003340A (zh) * | 2024-04-08 | 2024-05-10 | 厦门熠明机器人自动化有限公司 | 基于深度学习的视觉机械臂物料抓取控制方法及*** |
-
2022
- 2022-12-30 CN CN202211742467.4A patent/CN116117807A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118003340A (zh) * | 2024-04-08 | 2024-05-10 | 厦门熠明机器人自动化有限公司 | 基于深度学习的视觉机械臂物料抓取控制方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lee et al. | Deep learning-based monocular obstacle avoidance for unmanned aerial vehicle navigation in tree plantations: Faster region-based convolutional neural network approach | |
| CA2830009C (en) | Tree metrology system | |
| CN102368158B (zh) | 一种果园机械导航定位方法 | |
| Stefas et al. | Vision-based monitoring of orchards with UAVs | |
| CN109792951B (zh) | 用于杂交水稻授粉的无人机航线校正***及其校正方法 | |
| CN108827297B (zh) | 一种基于图像的无人机农业巡检轨迹实时规划方法 | |
| CN108881825A (zh) | 基于Jetson TK1的水稻杂草无人机监控***及其监控方法 | |
| CN111178148B (zh) | 一种基于无人机视觉***的地面目标地理坐标定位方法 | |
| CN108901366B (zh) | 一种天地一体化柑橘采摘方法 | |
| CN109255302A (zh) | 目标物识别方法及终端、移动装置控制方法及终端 | |
| CN113920474B (zh) | 一种智能监管柑橘种植态势的物联网***及方法 | |
| CN106708075B (zh) | 基于固定翼无人机的大范围油菜田spad值遥感***及采集方法 | |
| CN106155082B (zh) | 一种基于光流的无人机仿生智能避障方法 | |
| CN109739133A (zh) | 基于雷达定位的番茄采摘机器人***及其控制方法 | |
| CN116117807A (zh) | 一种辣椒采摘机器人及控制方法 | |
| WO2023204243A1 (ja) | 森林管理システムおよび森林管理方法 | |
| Wang et al. | Research advance in phenotype detection robots for agriculture and forestry | |
| Fan et al. | A high-throughput phenotyping robot for measuring stalk diameters of maize crops | |
| CN111931832A (zh) | 一种变电站巡检设备最优数据采集方法及*** | |
| CN115280960B (zh) | 一种基于田间视觉slam的联合收获机转向控制方法 | |
| Nguyen et al. | Characteristics of optical flow from aerial thermal imaging,“thermal flow” | |
| Ji et al. | Performance analysis of target information recognition system for agricultural robots | |
| Conejero et al. | Collaborative smart-robot for yield mapping and harvesting assistance | |
| CN112461362B (zh) | 一种利用无人机进行空间照度监测的***及方法 | |
| CN220180924U (zh) | 一种跨垄式检测用小车 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |