CN102688823B - 一种基于手眼喷雾机械臂的喷雾定位装置及方法 - Google Patents

Abstract

本发明公开了机器视觉和图像处理技术领域中的一种基于手眼喷雾机械臂的喷雾定位装置及方法。本发明包括机械臂、摄像机和喷头；机械臂固定在机械臂基座上；摄像机和喷头分别安装在机械臂末端。本发明实现了对目标的三维信息轮廓提取与定位，定位准确、计算量适中，实现精准自动化喷雾，减少环境污染，提高农药利用率。

Description

一种基于手眼喷雾机械臂的喷雾定位装置及方法

技术领域

本发明属于机器视觉和图像处理技术领域，尤其涉及一种基于手眼喷雾机械臂的喷雾定位装置及方法。

背景技术

在农业生产过程中，为防治病虫害，往往需要经过多次农药喷洒。而施药的过程会对环境和操作人员的健康造成一定的危害，特别是在温室条件下，空间相对封闭，施药次数多，因此危害更为明显。通过研制自动化精准施药***，可将药液直接喷洒到作物表面，避免药液浪费，提高药液使用效率、减少环境污染、保障劳动者健康、减轻劳动强度。研制自动化施药***有着重要的现实意义和社会价值。

在自动化施药***中，目前主要存在的问题有：

1.喷药定位不够准确，药液浪费严重。根据2010年国际植保机械与施药技术学术会议资料显示我国农药平均利用率极低，只有20％左右。大部分的农药都没有得到充分有效的利用，究其根源一方面在于施药方法和手段不够科学合理，另外在农药的使用上多采用粗放式喷药，缺乏精准施药的技术与条件。

2.农药喷洒不够均匀，作物表面药液残留超标，尤其在温室中生产的作物更为明显。药液喷洒时的雾化效果和喷雾作业方式对喷雾的均匀性有着很大的影响。资料显示，采用静电喷雾可以形成微小的雾滴颗粒，并具有良好的附着性，有利于减少重喷和漏喷，提高喷雾的均匀性。采用防漂移等技术也可一定程度上改善喷雾效果，但从根本上讲喷雾定位的准确性直接会影响到喷雾质量。

3.喷雾农机具的使用适应性有限。例如国外在果树园中使用的喷雾机，采用超生波喷雾定位，这种方式要求果树以特定的距离和排列方式栽培，只要在超声波检测范围内存在物体，就会进行喷雾。喷雾时不论作物形态如何，都以同样方式工作。因此，当环境和作物发生变化后就很难有效工作。

4.用于自动化精准喷雾的机器人定位检测效果不够理想，实时性较差。例如，运用视觉检测技术对特定病虫害区域进行喷雾的机器人，其定位检测的算法上，往往较为复杂，需要一定的计算时间。同时，对需要施药的目标作物检测也存在一定的错误率。

5.对农作物喷雾施药基本使用的都属于二维定位***。在工作过程中，一般都是先通过特定的传感器或摄像头先检测并获取喷雾对象的二维信息，将喷头移动到指定位置或对多个喷头的开闭进行控制，而喷头与目标作物的距离往往都是事先设定好的，工作过程中并不调整。因此，当作物形态、大小存在一定差异时，就会造成不同的喷雾效果。

6.农药喷洒自动化***的性价比同样是制约其广泛应用的一个问题。但是，随着设施农业数量和技术的不断发展，同时与老龄化社会到来相伴随的劳动力成本不断上升，自动化喷雾作业的将有着广阔的应用前景。

综上所述，当前最重要的问题是解决喷雾目标的识别和定位问题，开发一种具有良好适应性、定位准确、实时性好、性价比高的喷雾定位***。

目前，对于物体空间三维信息获取的方法主要有激光、超声波、雷达、红外和双目视觉等。前四者工作时通常是以通过反射波时间或相位差来计算距离信息，双目视觉主要通过三角测距原理，通过左右图像匹配来实现定位信息获取。双目视觉定位***的优点在于，适用范围广泛，可通过一定的算法配合直接实现对目标的识别和定位；其缺点是识别与定位算法往往较为复杂，实时性和鲁棒性较差，特别是对物体形态不规则、环境复杂、光照条件差的场合更加难以检测。

发明内容

针对上述背景技术中提到目标特征尺寸提取计算方法复杂，易受目标形态、光照等因素影响等不足，本发明提出了一种基于手眼喷雾机械臂的喷雾定位装置及方法。

本发明的技术方案是，一种基于手眼喷雾机械臂的喷雾定位装置，其特征是该装置包括机械臂基座、机械臂、摄像机和喷头；

所述机械臂固定在机械臂基座上；摄像机和喷头分别安装在机械臂末端。

所述机械臂为四自由度喷雾机械臂。

一种基于手眼喷雾机械臂的喷雾定位方法，通过机械臂和摄像头对目标进行定位，其特征是该方法包括以下步骤：

步骤1：确定摄像机坐标和喷头坐标的转换公式；

步骤2：移动机械臂，分别从主视、俯视和左视三个方向采集图像；

步骤3：对图像进行形态学运算，消除噪声干扰区域，确定目标的外接轮廓和形心；

步骤4：移动机械臂，使摄像机的光轴对准形心，获取目标的第一设定位置的图像，计算第一设定位置的图像的特征尺寸；

步骤5：继续移动机械臂至设定位置，获取目标的第二设定位置的图像，计算第二设定位置的图像的特征尺寸，通过第一设定位置的图像和第二设定位置的图像计算摄像机与目标的距离；

步骤6：在步骤5的基础上，求得目标在摄像机所在坐标系中的位置和空间尺寸；

步骤7：计算目标在机械臂基座所在坐标系中的的坐标位置，进而获得目标轮廓的三维尺寸及目标相对于机械臂基座的位置信息。

所述确定目标的外接轮廓和形心的方法为：从上、下、左和右四个方向扫描图像，确定目标的轮廓，并以目标的轮廓的矩形框的中心做为目标的形心。

本发明提供了一种基于手眼机械臂的农作物自动化喷雾定位装置及方法。可以实现对目标的三维信息轮廓提取与定位。该方法定位准确、计算量适中，可以满足喷雾实时性要求，并且工作过程中具有较高的灵活性和适应能力，为实现精准自动化喷雾，减少环境污染，提高农药利用率，提供了一种有效的实现方法。

附图说明

图1为重构植物轮廓空间图示；

图2为目标距离检测原理图；

图3为主视植物轮廓检测图像处理过程示意图；图3a为沿光轴第一位置图像；图3b为沿光轴第二位置图像；

图4为以主视图为例的图像处理与控制流程图；

图5为四自由度喷雾机械臂应用实例。

具体实施方式

下面结合附图，对优选实施例作详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。

本发明要解决的技术问题是：提供一种基于手眼喷雾臂的农作物轮廓检测和定位方法，能够快速准确的计算出目标作物的大致外形轮廓信息和距离喷雾臂的相对位置关系，算法具有良好适应性和实时性。该方法克服了固定摄像机双目视觉***视场范围有限、对相机标定精度要求高、遮挡时容易出现错误匹配等问题。

为解决以上问题，本发明提供了一种基于手眼喷雾机械臂的喷雾定位方法。包括机械臂基座、机械臂、摄像机和喷头；机械臂固定在机械臂基座上；摄像机和喷头分别安装在机械臂末端。机械臂为四自由度喷雾机械臂。

该方法利用机械臂控制***可根据指定要求将固定于机械臂末端的摄像机按指定的方式运动，摄像机可以获得不同位置的图像，根据摄像机针孔成像模型原理，只要找到对应目标物在不同位置时的图像中对应的特征尺寸，就可以结合相机标定参数，求得目标作物与摄像机镜头的直线距离，即获得了目标作物与相机之间的深度信息，并可计算出目标作物在二维平面中的实际尺寸范围。控制机械臂变换摄像机成像角度，分别沿目标作物为中心正交的主视、俯视和左视三个方向移动机械臂并拍摄，最终可获得三个方向的目标作物实际外接矩形轮廓尺寸，并根据投影对应关系重构出作物的三维矩形块轮廓信息（如图1所示）。

根据摄像机成像原理，空间点P在图像平面上的坐标值与摄像机坐标系上坐标值之间的关系为：

$\left[\begin{array}{c}x\\ y\end{array}\right]=\frac{f}{z_c}\left[\begin{array}{c}{x}_c\\ y_c\end{array}\right]---\left(1\right)$

其中：c为摄像机坐标系，点P在摄像机坐标系中的坐标为(x_c,y_c,z_c)，x、y为点P图像平面上的横坐标和纵坐标；f为摄像机镜头的焦距。

由式（1）可得：

xz_c＝fx_c

式中，摄像机的焦距f是定值,如果将摄像机沿其光轴的方向移动的距离为s,点P在摄像机坐标系中的坐标x_c和y_c是保持不变的。可得：xz_c=常数。

工作时，首先，在第1个位置获得目标的一幅图像，然后，摄像机沿其光轴方向移动一定的距离，获得第2幅图像（图2）。这样，由上式可得：

x₁z_c1=x₂z_c2；x₁(z_c2+s)=x₂z_c2；

其中，x₁、x₂分别为第一和第二位置时的图像坐标系中目标特征的横轴坐标值；z_c1和z_c2分别为两个位置摄像机坐标系下的目标点z轴方向的坐标。

将两次位置变化的植物冠层外廓尺寸值代入由上式即可进行深度信息的计算。

基于以上计算原理，在获取有关深度信息计算参数时的图像处理过程如图3所示。图中以获取作物主视图图像为例，反映了对作物的图像处理与其外接矩形轮廓提取过程。

图像处理过程及方法如下：

1.图像预处理滤除噪声并由作物的颜色特征分割图像，提取目标作物。

2.识别和初步定位目标作物。通过计算作物面积占整个图像比例来确定是否检到作物，并以此判断机械臂是否达到与作物相对合适的位置。（摄像头移动优先顺序为先平移，后垂直）。

3.形态学运算，滤除小的干扰区域面积。

4.四边扫描图像，确定目标作物外接轮廓，并以矩形框中心做为目标作物形心。

5.移动机械臂使摄像机对准形心后，计算第一位置图像的特征尺寸。

6.沿光轴移动机械臂后，计算第二位置图像的特征尺寸。

7.代入相应长宽，由式2计算距离。

8.已知距离和图像坐标代入式1反求摄像机坐标下的目标点位置和尺寸。

9.转换位置，重复以上过程。获得摄像机坐标下的目标作物位置与空间尺寸。

10.根据机械臂手眼标定信息及控制***位置信息，计算目标相对于机械臂基座的坐标位置。最终获得轮廓及目标作物相对于喷雾基座的位置信息。

控制机械臂移动到其它两个位置，以同样的方法计算轮廓长宽，最终获得作物的三维长宽高尺寸及位置信息。

图像处理与控制流程如图4所示：

第1步：确定摄像机坐标和喷头坐标的转换公式；

在如图5所示的四自由度喷雾机械臂上安装摄像机。机械臂控制***可以对安装在机械臂末端的摄像机实现准确的定位和移动控制。可实时控制末端执行器位置（喷头）相对于喷雾臂基座的坐标位置及运动轨迹。

对摄像头进行手眼标定。即确定摄像头坐标与喷头坐标的相对转换关系。标定方法如下：

1.固定黑白格平面标定模板在摄像机视场范围内，移动机械臂采集多幅标定模板图像，并按张正友标定方法求出摄像机内外参数。

2.求相对于标定模板不同位置时两摄像机坐标相对位置关系

设摄像机由空间位置a点运动到b点，相对于固定标定模板的各自的外参矩阵A和B均可通过上一步标定过程获得，为已知参数矩阵。故摄像机由a到b的旋转平移矩阵C可由式C=AB^-1获得。

3.对应上一步，利用已知机械臂控制***信息可获得喷头（末端执行器）两个对应位置的相对空间关系矩阵D。结合上步所求得的摄像机相对位置关系矩阵C,可进一步求取手眼关系矩阵X。

根据各坐标系之间的转换关系，可得到以上参数矩阵满足关系式CX=XD。将上式改写为采用旋转平移参数表达的关系式：

$\left[\begin{array}{cc}{R}_c& t_c\\ 0^T& 1\end{array}\right]\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]=\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{cc}{R}_d& t_c\\ 0^T& 1\end{array}\right]---\left(3\right)$

展开上式可得：

R_cR＝RR_d                            （4）

R_ct+t_c＝Rt_d+t

上式中已知的是R_c、R_d、t_c、t_d，且R、R_c、R_d均为正交单位矩阵，R与t需要求解。由于一组关系式无法获得确定的解，以同样的方法控制机械臂再移动到下一个位置。因此，可得到新的方程。应用最小二乘法求解，可最终获得X矩阵。

有了手眼关系矩阵X即可根据喷头（机械臂末端执行器）相对于机械臂基座的关系矩阵，获得任意位置摄像机相对于机械臂基座的关系矩阵。当求得目标作物相对于摄像机的当前位置关系，即可根据目标作物相对于机械臂基座的坐标关系实现摄像机相对于作物的指定运动。同样，根据机械臂控制信号的位置信息亦可求得在任意不同位置时摄像机之间的相对位置关系。对已知***事先标定，并在工作过程中采用固定相对位置采集图像，可避免实时求解大量复杂计算，直接利用已知的标定信息，根据检测到的作物图像，运用特征点对应关系，求解三维空间信息。由于各图像采集位置相机的相对位置关系已知，可利用极线约束、唯一性约束等匹配约束条件提高定位匹配的计算速度和准确性。计算结果可用于进一步提高定位算法的准确性和鲁棒性。

第2步：移动机械臂，分别从主视、俯视和左视三个方向采集图像；

喷雾机械臂视觉定位***以主视方向为初始位置，沿作物行移动行走平台，并采集图像。通过颜色特征检测作物。采用超绿图像分割算法实时计算绿色目标区域与整个图像面积所占比例。当达到规定的数值，说明有目标作物出现。放慢移动平台速度，连续几幅图所得比例数值不再增大，数值在误差范围内相同时，可认为发现单株作物，停车，小范围移动机械臂，使摄像机相对作物的初始位置达到指定的位置。判断依据为目标作物图像面积占总图像面积的比例是否达到规定范围。

第3步：对图像进行形态学运算，消除噪声干扰区域。四边扫描图像，确定目标作物外接矩形轮廓，并以矩形框中心做为目标作物形心。当扫描到第一个目标像素点位置时，计算其连通域的像素个数必须大于设定值才认为有效，避免因干扰信息错误判断轮廓边界。

步骤4：移动机械臂，使摄像机的光轴对准形心，获取目标的第一设定位置的图像，计算第一设定位置的图像的特征尺寸；

步骤5：移动机械臂至第二设定位置，获取目标的第二设定位置的图像，计算第二设定位置的图像的特征尺寸，通过第一设定位置的图像和第二设定位置的图像计算摄像机与目标的距离；

步骤6：在步骤5的基础上，求得目标在摄像机所在坐标系中的位置和空间尺寸；

步骤7：计算目标在机械臂基座所在坐标系中的的坐标位置，进而获得目标轮廓的三维尺寸及目标相对于喷雾基座的位置信息。

根据机械臂手眼标定信息及控制***位置信息，计算目标作物相对于机械臂基座的坐标位置。最终获得作物轮廓三维尺寸及目标作物相对于机械臂基座的位置信息。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (2)

1.一种基于手眼喷雾机械臂进行喷雾定位的方法，通过机械臂和摄像头对目标进行定位，其特征是该方法包括以下步骤：

步骤1：确定摄像机坐标和喷头坐标的转换公式；

步骤2：移动机械臂，分别从主视、俯视和左视三个方向采集图像；

步骤3：对图像进行形态学运算，消除噪声干扰区域，确定目标的外接轮廓和形心；

步骤4：移动机械臂，使摄像机的光轴对准形心，获取目标的第一设定位置的图像，计算第一设定位置的图像的特征尺寸；

步骤5：移动机械臂至第二设定位置，获取目标的第二设定位置的图像，计算第二设定位置的图像的特征尺寸，通过第一设定位置的图像和第二设定位置的图像计算摄像机与目标的距离；

步骤6：在步骤5的基础上，求得目标在摄像机所在坐标系中的位置和空间尺寸；

步骤7：计算目标在机械臂基座所在坐标系中的的坐标位置，进而获得目标轮廓的三维尺寸及目标相对于机械臂基座的位置信息。

2.根据权利要求1所述的喷雾定位的方法，其特征是所述确定目标的外接轮廓和形心的方法为：从上、下、左和右四个方向扫描图像，确定目标的轮廓，并以目标的轮廓的矩形框的中心做为目标的形心。

Images