CN104615150A - 一种基于机器视觉的自适应精准喷雾设备及方法 - Google Patents

Abstract

本发明涉及一种基于机器视觉的自适应精准定位喷雾设备及方法，包括机械臂、壳体、核心计算模块、图像采集模块、喷雾模块，壳体固定在机械臂上，核心计算模块固定在壳体内，图像采集模块包括安装在壳体上并与核心计算模块相连的主摄像头、辅摄像头和补光灯，喷雾模块包括安装在机械臂上的储药箱、喷管和喷头，喷管上安装有与核心计算模块相连的电磁阀。本发明利用机器视觉技术，在农用机械运行过程中实时获取喷雾任务目标分布信息，通过单目摄像头轨迹重构技术结合卡尔曼滤波算法估算出机械实时移动轨迹，依据作业机械移动轨迹信息推算出喷头的正确喷雾时机，实现精准的变量喷雾，提高了药剂的使用效率，减轻了环境的污染。

Description

一种基于机器视觉的自适应精准喷雾设备及方法

技术领域

本发明属于农机自动化领域，涉及一种基于机器视觉的自动喷雾设备及方法，尤其涉及一种基于机器视觉的自适应精准定位喷雾设备及方法。

背景技术

传统的农用喷雾机械适用于较大规模种植，具有经济、高效、省时，显著降低劳动强度与成本等诸多优点，但在作业过程中难以根据作物的生长和分布情况进行精准喷雾，从而导致农药或肥料的大量浪费，导致生产成本高以及污染残留给农产品和环境带来的种种问题。随着机器视觉技术和农业机械技术的发展，通过机器视觉技术对田间作物生长位置和生长密度进行信息获取与实时分析，并通过靶向变量实现喷雾控制是农机自动化领域技术发展的一个趋势。要实现喷雾目标的精准定位和实时变量喷雾是基于机器视觉的自动喷雾设备及方法的一个技术难点，突出体现在喷雾机械的实时准确的速度估计上。现有的方法大体分为三类：第一类是使用农用机械慢速情况下平均速度作为整个喷雾作业中的参考速度，以此控制喷雾时机的选择；第二类是使用GPS进行定位，获取任务中的喷雾装置的相对实时移动位置；第三类是使用专门的速度传感器进行测速。

第一类方案实现简单，但在实际运行中目标定位误差较大，在田间作业实际推广中往往会造成喷药药剂的大量浪费。第二类方法，如专利ZL02246301.1提供的离线分析方法，先采集田间杂草位置和密度信息，离线分析之后制成处方图；具体农机喷雾工作时，将离线的分析信息和位置发送给喷雾设备控制器。此方法虽然通过离线解决了变量喷雾的要求，但由于受GPS作业精度所限，只适于大片区的较大粒度的变量喷雾作业，难以实时精准的对片区内作物实现更准确的对靶喷雾。第三类方法，如专利ZL02829239.1设计了一种轨道车辆的除草方法，通过速度传感器进行实时的速度测量，配合使用轨道车辆减少运行中的机械抖动和姿态变换，以增加速度传感器的测量精度，使喷雾时机控制更加准确。但这种方法需要首先架设固定轨道，设备成本相对较高，且速度传感器在长时间的工作过程中产生的累积误差影响难以消除，对喷雾作业的准确程度仍会产生较大影响。

发明内容

本发明针对现有技术中存在的不足，提供了一种基于机器视觉的自适应精准定位喷雾设备及方法。

本发明是通过以下技术方案实现的：

一种基于机器视觉的自适应精准定位喷雾设备，包括机械臂、壳体、核心计算模块、图像采集模块、喷雾模块；所述壳体固定在机械臂上；所述核心计算模块固定在壳体内；所述图像采集模块包括安装在壳体上并与核心计算模块相连的主摄像头、辅摄像头和补光灯；所述喷雾模块包括安装在机械臂上的储药箱、喷管和喷头，喷管上安装有与核心计算模块相连的电磁阀。

所述核心计算模块包括距离参数自动校准模块、目标检测模块、速度检测模块、时延估计模块和喷雾任务执行模块。

所述主摄像头帧数为60帧/秒。

所述辅摄像头帧数为30帧/秒。

一种基于机器视觉的自适应精准定位喷雾方法，包括以下步骤：

步骤S1：分别通过主摄像头和辅摄像头抽取视频帧，规格化后对图片目标区域进行特征提取、特征匹配，从视差中获取以像素为单位的摄像头位置差，估计出喷雾的实际距离；

步骤S2：将主摄像头抓取的视频帧中的目标检测区域进行网格化，依次提取并快速统计有效点，根据有效点个数对网格单元进行目标融合，分析判断喷雾目标的具***置和面积，封装形成喷雾任务；

步骤S3：从主摄像头中获取相邻的两个视频帧，分别从图像中的目标检测区域提取特征点，利用特征点进行特征匹配和提纯，推算出摄像头的空间变换距离，进一步计算出摄像头在一个视频帧间隔时间内的平均移动速度，以此速度信息更新和修正卡尔曼滤波器，利用卡尔曼滤波器平均每隔20帧估计一次摄像头的移动速度；

步骤S4：根据目标检测模块获取的喷雾任务队列和速度检测模块估算出的摄像头移动速度，方法以固定20ms一个周期的速度不断遍历任务队列，不断利用当前摄像头移动速度累积积分出单个任务的运动轨迹。根据检测设备和喷雾设备设定的间隔距离和累积积分出的任务移动距离准确的计算出喷雾任务的准确执行时间。一旦任务达到***设定喷雾间隔距离，则立即发送喷雾任务命令给喷雾任务执行模块，并从任务队列中清除该喷雾任务。

步骤S5：通过分析发送过来的任务命令，发送设定的高低电平信号控制电磁阀开启或者关闭，完成喷雾作业的开启或关闭。

与现有技术相比，本发明利用机器视觉技术，在农用机械运行过程中实时获取喷雾任务目标分布信息，通过单目摄像头轨迹重构技术结合卡尔曼滤波算法估算出机械实时移动轨迹，依据作业机械移动轨迹信息推算出喷头的正确喷雾时机，实现精准的变量喷雾，从而解决了现有农机田间喷雾技术中存在的喷雾时机控制问题，提高了药剂的使用效率，减轻了环境的污染。

附图说明

图1是本发明的自适应精准喷雾工作流程示意图；

图2是本发明的自适应精准喷雾设备立体图；

图3是本发明的自适应精准喷雾设备结构示意图。

其中，1、壳体，2、核心计算模块，3、主摄像头，4、辅摄像头，5、补光灯，6、喷头，7、喷管，8、电磁阀。

具体实施方式

以下结合附图和实施例对本发明的技术方案作详细说明。

图2和图3为本发明的基于机器视觉的自适应精准定位喷雾设备的立体图和结构示意图，包括机械臂、固定在机械臂上的壳体1、固定在壳体1内的核心计算模块2、安装在壳体1上的图像采集模块和喷雾模块；图像采集模块包括分别与核心计算模块2相连的主摄像头3、辅摄像头4和补光灯5，其中主摄像头帧数为60帧/秒、辅摄像头帧数为30帧/秒；喷雾模块包括安装在机械臂上的储药箱、喷管7和喷头6，喷管7上安装有与核心计算模块2相连的电磁阀8。

图1为本发明的基于机器视觉的自适应精准定位喷雾方法工作流程图，其自适应精准定位喷雾设备的核心计算模块2包括距离参数自动校准模块、目标检测模块、速度检测模块、时延估计模块和喷雾任务执行模块。该方法首先自动获取喷雾装置具体安装高度下检测单元和喷雾单元的像素距离。然后通过规则格网化视频图像，快速检测出喷雾目标，形成任务队列。利用主摄像头提取相邻视频图像中的特征点，通过特征点匹配获取摄像头相邻视频帧间隔内的像素距离，并且通过结合卡尔曼滤波技术获取指定时间粒度下的摄像头移动速度估计值。通过累积积分，重建出摄像头的运动轨迹，从而获取农用机械的实际最佳喷雾时机，实现最终的精准喷雾作业。其具体步骤如下：

步骤S1：距离参数自动校准模块分别通过主摄像头3和辅摄像头4抽取视频帧，规格化后对图片目标区域进行特征提取、特征匹配，从视差中获取摄像头位置差，估计出喷雾的实际距离。其中包括：

步骤S11：首先分别通过主摄像头3和辅助摄像头4抽取视频帧，规格化后分别提取特征点，对特征点计算其描述子；

步骤S12：利用比值法进行快速的特征点匹配，然后使用RANSAC算法提纯匹配结果，得到可信度更高的匹配特征点对；

步骤S13：利用匹配特征点对求取由于视差造成的位移平均值D_cam，公式如下：

$D_{\mathrm{cam}}=\sqrt{{\left(\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{x}_i^a-x_i^b}{N}\right)}^2+{\left(\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{y}_i^a-y_i^b}{N}\right)}^2}.$

由于已知主摄像头3、辅摄像头4相对距离L，而主摄像头距离喷头单元距离为2L，可以直接估算出目标检测单元到达喷射装置的在统一焦距和高度下的像素距离 $T_d=D_{\mathrm{cam}}\frac{2L}{L}.$

步骤S2：目标检测模块将主摄像头3抓取的视频帧中的目标检测区域进行网格化，依次提取并快速统计有效点，根据有效点个数对网格单元进行目标融合，分析判断喷雾目标的具***置和面积，封装形成喷雾任务。其中包括：

步骤S21：通过主摄像头3抽取实时检测到的视频数据。为了加快目标提取的速度和定位的稳定性，算法先对检测区域进行网格化，以检测区域内划分的规则格网作为处理和判断的基本单元；

步骤S22：在网格单元中，根据公式

$\mathrm{Pix}=\left\{\begin{array}{c}\mathrm{255,2}G-R-B>\mathrm{Thr}\\ \mathrm{0,2}G-R-B<=\mathrm{Thr}\end{array}\right.$

快速的提取目标像素点，并且统计单个网格内目标像素点个数；

步骤S23：以单个网格区域为基准，过滤掉有效点密度过低的单元，在有效点密度达到要求的前景网格中统计单元中的有效点分布质心位置。令N为有效像素个数，和为前景网格中有效点质心，公式如下：

$\left\{\begin{array}{c}\stackrel{\&OverBar;}{\mathrm{tx}}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{x}_i\\ \stackrel{\&OverBar;}{\mathrm{ty}}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{y}_i\end{array}\right.$

将相邻的前景网格单元通过种子填充算法快速的融合，将融合后的网格单元覆盖区域作为单个喷雾目标体覆盖区域，通过累加融合的网格单元质心，将其快速求和取平均后作为目标区域的质心，Tx和Ty为融合目标区域的质心位置，M为单块融合前景网格联通体的个数，质心计算公式如下：

$\left\{\begin{array}{c}\mathrm{Tx}=\frac{1}{M}\underset{j=1}{\overset{M}{\mathrm{\&Sigma;}}}{\stackrel{\&OverBar;}{\mathrm{tx}}}_j\\ \mathrm{Ty}=\frac{1}{M}\underset{j=1}{\overset{M}{\mathrm{\&Sigma;}}}{\stackrel{\&OverBar;}{\mathrm{ty}}}_j\end{array}\right.$

根据当前的目标检测状态跳变信息，将喷雾任务封装成单独任务结点，推送到时延估计模块。

步骤S3：速度检测模块从主摄像头3中获取相邻的两个视频帧，分别从图像中的目标检测区域提取特征点，利用特征点进行特征匹配和提纯，推算出摄像头的空间变换距离，进一步计算出摄像头在一个视频帧间隔时间内的平均移动速度，以此速度信息更新和修正卡尔曼滤波器，利用卡尔曼滤波器平均每隔20帧估计一次摄像头的移动速度。其中包括：

步骤S31：为喷雾设备执行喷雾任务的行驶轨迹建立线性运动模型，算法首先创建一个时间间隔为330ms的卡尔曼滤波器；

步骤S32：利用主摄像头获取相邻视频图像数据，在指定目标区域中提取特征点，并且使用描述子对其进行描述；

步骤S33：通过比值法和RANSAC提纯，设定最小匹配特征点个数，随机从提纯后的特征点集中提取出三个不共线的特征点；

步骤S34：由于图像采集模块相对机械臂固定，抽取的视频图像只存在旋转、平移为主的运动方式，***可以采用计算运动参数的方法对摄像机的二维运动方式进行描述，从而得到整个喷雾设备在喷雾作业中的运动轨迹。此处采用直角坐标系，故而平面运动中XY两个坐标轴旋转角度相同θ_X＝θ_Y＝θ，可以利用六参数仿射变换模型推算摄像头的全局运动，其中起始位置(X_T0,Y_T0)，目标位置(X_TP,Y_TP)，平面位移(X_SP,Y_SP)，具体公式如下：

$\left\{\begin{array}{c}{X}_{\mathrm{TP}}=X_{T0}+Y_{\mathrm{SP}}*\sin \mathrm{\&theta;}+X_{\mathrm{SP}}*\cos \mathrm{\&theta;}\\ Y_{\mathrm{TP}}=Y_{T0}+Y_{\mathrm{SP}}*\cos \mathrm{\&theta;}-X_{\mathrm{SP}}*\sin \mathrm{\&theta;}\end{array}\right.$

根据运动参数模型，求解出参数：缩放scale，旋转rotation，x轴偏移量xtranslation，y轴偏移量ytranslation。已知相邻帧的抽取时间为t_f，进而得到相邻视频帧间隔内平均移动像素的距离，移动速度v＝(xtranslate/t_f,ytranslate/t_f)；

步骤S35：重复S32到S34的过程，以解算出的像素单位下的速度信息更新卡尔曼滤波器参数，同时利用预测模型估计出指定时间间隔内的摄像头运动速度值。

步骤S4：时延估计模块根据目标检测模块获取的喷雾任务队列和速度检测模块估算出的主摄像头3移动速度，方法以固定20ms一个周期的速度不断遍历任务队列，不断利用当前主摄像头3移动速度累积积分出单个任务的运动轨迹。根据检测设备和喷雾设备设定的间隔距离和累积积分出的任务移动距离准确的计算出喷雾任务的准确执行时间。一旦任务达到***设定喷雾间隔距离，则立即发送喷雾任务命令给喷雾任务执行模块，并从任务队列中清除该喷雾任务。其中包括：

步骤S41：以固定周期T遍历任务队列，依次取出单个任务队列，进行位移积分并更新参数。其中任务节点中最近一次更新时间为t，当前像素位移累积为s，速度检测模块中最近的速度估计值v和当前结点的更新时间t^cur，具体更新操作如下：

$\left\{\begin{array}{c}s=s+(t^{\mathrm{cur}}-t)v\\ t=t^{\mathrm{cur}}\end{array}\right.$

步骤S42：判断当前像素距离s是否接近喷雾目标范围，一旦满足|s-2L|<ε(ε为像素距离vT/4)则向喷雾任务执行模块发送开启或关闭喷雾指令，同时将此任务从任务队列中删除。

步骤S5：喷雾任务执行模块通过分析发送过来的任务命令，发送设定的高低电平信号控制电磁阀8开启或者关闭，完成喷雾作业的开启或关闭。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理想得到的变换和改型，也应视为被涵盖在本发明的保护范围之内。

Claims (5)

1.一种基于机器视觉的自适应精准定位喷雾设备，其特征在于：包括机械臂、壳体、核心计算模块、图像采集模块、喷雾模块；所述壳体固定在机械臂上；所述核心计算模块固定在壳体内；所述图像采集模块包括安装在壳体上并与核心计算模块相连的主摄像头、辅摄像头和补光灯；所述喷雾模块包括安装在机械臂上的储药箱、喷管和喷头，喷管上安装有与核心计算模块相连的电磁阀。

2.根据权利要求1所述基于机器视觉的自适应精准定位喷雾设备，其特征在于：所述核心计算模块包括距离参数自动校准模块、目标检测模块、速度检测模块、时延估计模块和喷雾任务执行模块。

3.根据权利要求1所述基于机器视觉的自适应精准定位喷雾设备，其特征在于：所述主摄像头帧数为60帧/秒。

4.根据权利要求1所述基于机器视觉的自适应精准定位喷雾设备，其特征在于：所述辅摄像头帧数为30帧/秒。

5.根据权利要求1～4任一项所述基于机器视觉的自适应精准定位喷雾设备的喷雾方法，其特征在于：包括以下步骤：

步骤S1：分别通过主摄像头和辅摄像头抽取视频帧，规格化后对图片目标区域进行特征提取、特征匹配，从视差中获取摄像头位置差，估计出喷雾的实际距离；

步骤S2：将主摄像头抓取的视频帧中的目标检测区域进行网格化，依次提取并快速统计有效点，根据有效点个数对网格单元进行目标融合，分析判断喷雾目标的具***置和面积，封装形成喷雾任务；

步骤S3：从主摄像头中获取相邻的两个视频帧，分别从图像中的目标检测区域提取特征点，利用特征点进行特征匹配和提纯，推算出摄像头的空间变换距离，进一步计算出摄像头在一个视频帧间隔时间内的平均移动速度，以此速度信息更新和修正卡尔曼滤波器，利用卡尔曼滤波器平均每隔20帧估计一次摄像头的移动速度；

步骤S4：根据目标检测模块获取的喷雾任务队列和速度检测模块估算出的摄像头移动速度，方法以固定20ms一个周期的速度不断遍历任务队列，不断利用当前摄像头移动速度累积积分出单个任务的运动轨迹。根据检测设备和喷雾设备设定的间隔距离和累积积分出的任务移动距离准确的计算出喷雾任务的准确执行时间。一旦任务达到***设定喷雾间隔距离，则立即发送喷雾任务命令给喷雾任务执行模块，并从任务队列中清除该喷雾任务。

步骤S5：通过分析发送过来的任务命令，发送设定的高低电平信号控制电磁阀开启或者关闭，完成喷雾作业的开启或关闭。