CN112614193B - 基于机器视觉的小麦返青期喷雾感兴趣区域智能标定方法 - Google Patents
基于机器视觉的小麦返青期喷雾感兴趣区域智能标定方法 Download PDFInfo
- Publication number
- CN112614193B CN112614193B CN202011558495.1A CN202011558495A CN112614193B CN 112614193 B CN112614193 B CN 112614193B CN 202011558495 A CN202011558495 A CN 202011558495A CN 112614193 B CN112614193 B CN 112614193B
- Authority
- CN
- China
- Prior art keywords
- coordinate system
- image
- spray
- ground
- nozzle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000005507 spraying Methods 0.000 title claims abstract description 29
- 241000209140 Triticum Species 0.000 title claims abstract description 16
- 235000021307 Triticum Nutrition 0.000 title claims abstract description 11
- 239000007921 spray Substances 0.000 claims abstract description 174
- 238000001514 detection method Methods 0.000 claims abstract description 60
- 238000013507 mapping Methods 0.000 claims abstract description 8
- 239000011159 matrix material Substances 0.000 claims description 44
- 238000012937 correction Methods 0.000 claims description 22
- 239000003086 colorant Substances 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000005192 partition Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 4
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 claims description 3
- 239000000575 pesticide Substances 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 8
- 241000196324 Embryophyta Species 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000009333 weeding Methods 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 1
- 241000238631 Hexapoda Species 0.000 description 1
- 241000607479 Yersinia pestis Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 238000003306 harvesting Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000010899 nucleation Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
- G06T2207/30208—Marker matrix
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明涉及一种基于机器视觉的小麦返青期喷雾感兴趣区域智能标定方法，用于在返青期小麦植保作业前，对喷杆喷雾机的各相机进行标定，确定出每一个喷头对应检测区域在图像中的位置。方法包括：标定前准备；获取地面棋盘格图像和标识板平面棋盘格图像；识别标识板，确定喷头在图像中的位置；将图像中的喷头交点映射至标识板坐标系；喷头交点投影至地面；引入参数，确定喷头对应区域；将喷头对应检测区域返回图像坐标系，获取图像感兴趣区域。本发明由黑白棋盘格图像建立三维坐标系，通过标识板和黑白棋盘格快速确定喷头对应区域在图像中的位置，即感兴趣区域，无需人工测量相机的高度，俯仰角等信息，降低人工误差，具有通用性好、准确度高的特点。
Description
技术领域
本发明涉及一种基于机器视觉的智能标定方法，特别涉及一种基于机器视觉的小麦返青期喷雾感兴趣区域智能标定方法。
背景技术
随着精准农业的不断发展，变量喷药技术成为精准智能施药技术的重要组成部分，其应用可以改变我国传统大面积平均喷药方式，能够有效减少农药使用量，促进农药合理使用，有助于保护环境，降低对绿色食品作物的危害。其中，以视觉传感器为主的感知技术日益成为研究的热点。机器视觉技术已广泛应用于各种农田作业(如除草，喷药，播种，收获等)过程中，其作业的效果直接影响到农业机械的效率、可靠性及稳定性。
与世界先进农业国相比,我国精准智能喷药技术水平还比较落后,用于喷药的传统植保机械不考虑不同地块受病虫草害的情况,采取大面积均量投入的喷药方法,导致农药在部分田地用量不足,在部分田地用量过度。现有变量喷药的主要应用途径有：一、利用处方图对农田的病虫草害进行评判，不同位置喷施不同药量，但是这种处方图的方法在除草前期需要对农田中的点进行采集并且评判，效率较低；二、使用对靶喷药的变量喷药方式，利用图像分割技术对杂草和作物进行分割，然后对杂草进行对靶喷药，但是对于类似于小麦的密集型作物实际作业效果较差。三、利用激光雷达的树冠变量喷药方式，利用激光雷达探测采集树行两侧树冠边界与激光扫描传感器之间的距离,实现仿形变量喷药，但是这种方式大多数是应用于树冠等距离可识别性高的农作物喷药，对于地面的农田作物效果实际作业效果较差。针对于密集地面作物，如小麦返青期，对于缺苗，断苗，无苗的区域使用变量喷药技术，暂未有一种很好变量喷药方法。
相机的标定可以分为两种方式：自标定和依赖于参照物标定。相机自标定是通过拍摄周围物体，依据数字图像处理相关方法以及依据数字图像处理相关方法以及几何计算来调节相机参数，标定结果误差较大，不适用于高精度的应用场合。依靠参照物的相机标定相比自标定方法精度更高，通过相机成像，依据数字图像处理方法，计算相机的内外参矩阵，得到由三维世界坐标到二维平面坐标的转换矩阵。为了得到这种矩阵，通常需要测量相机高度，俯仰角度等信息，以此得到相机坐标系和规定的世界坐标系的转换关系，通常这种做法只涉及到了一个三维世界的平面的到像素平面的投影转换关系，不涉及到多个平面的投影转换关系，对于多个平面多台相机，人工测量高度和俯仰角的方法比较复杂。
发明内容
针对返青期小麦植保作业时，喷药点与地面实际作业区域在图像中的位置不同的问题，本发明的目的是提供一种基于机器视觉的小麦返青期喷雾感兴趣区域智能标定方法，对固定于喷杆上方的相机的拍摄区域进行标定，从而确定喷头对应检测区域在图像中的位置，使实际检测区域与地面实际作业区域保持一致，为喷杆喷雾车机施药的准确性提供前提条件。
为了实现上述目的，本发明提供了如下技术方案：
一种基于机器视觉的小麦返青期喷雾感兴趣区域智能标定方法，用于在返青期小麦植保作业前，对喷杆喷雾机6的各相机1进行标定，确定出每一个喷头对应检测区域5在图像中的位置，所述喷杆喷雾机6包括垂直于机具前进方向的具有多个喷头7的喷杆4和多个朝向地面作物且位于喷杆4上方的相机1。该方法包括如下步骤：
S1、标定前准备；
在每一个喷头7的正上方各设置与机具前进方向平行的喷头标识板2；在每个相机1的采集区域内各设置与喷杆4平行的喷杆标识板3，喷头标识板2和喷杆标识板3位于同一水平的标识板平面11内；将黑白棋盘格标定板9分别设置在各相机1的采集区域内，各相机1分别采集一张带有黑白棋盘格标定板9的清晰图像，建立相机坐标系8和图像坐标系，提取图像中的棋盘格的角点信息，并对应黑白棋盘格标定板9的尺寸设置每个棋盘格角点的像素坐标；由张氏标定法获得相机的内参和畸变参数；
所述喷头标识板2和喷杆标识板3的颜色不同；
S2、获取地面棋盘格图像和标识板平面棋盘格图像；
将与步骤S1相同的黑白棋盘格标定板9分别设置在各相机1的采集区域内的地面13和标识板平面11内，各相机1分别拍摄一张带有设置在地面13和标识板平面11的黑白棋盘格标定板9的地面棋盘格图像和标识板平面棋盘格图像，提取两幅图像中黑白棋盘格标定板9的棋盘格的角点信息，并根据黑白棋盘格标定板9的尺寸设置每个棋盘格角点的像素坐标，建立地面坐标系12和标识板坐标系10，使用步骤S1获得的相机的内参，对两幅图像中的棋盘格进行外参矩阵的估计，获得地面坐标系12的外参矩阵Mf_c和标识板坐标系10的外参矩阵Mp_c；
S3、识别标识板，确定喷头在图像中的位置；
S3.1、对步骤S2获得的各相机1的地面棋盘格图像和标识板平面棋盘格图像进行畸变校正，获得地面棋盘格校正图像和标识板平面棋盘格校正图像；
S3.2、根据喷杆标识板3的颜色选择对应的颜色识别的方式对步骤S3.1获得的各相机1的标识板平面棋盘格校正图像中的喷杆标识板3进行识别，并进行二值处理；对得到的喷杆标识板3的二值图像的真值点使用最小二乘法进行拟合，得到喷杆标识板3的喷杆拟合直线以及该直线在图像坐标系下的喷杆拟合直线方程；
S3.3、根据喷头标识板2的颜色选择对应的颜色识别的方式对步骤S3.1获得的各相机1的标识板平面棋盘格校正图像中的喷头标识板2进行识别，并进行二值处理；对得到的包含多个喷头标识板2的二值图像进行分区，每一个分区只包含一个喷头标识板2的二值图像，对每一个分区的二值图像使用最小二值法进行直线拟合，得到各喷头标识板2的喷头拟合直线以及该直线在图像坐标系下的喷头拟合直线方程；
S3.4、将步骤S3.3获得的每一个喷头拟合直线方程和步骤S3.2获得的喷杆拟合直线方程进行联立求解，得到多个交点，所述交点为喷头交点，所述喷头交点为在标识板平面棋盘格图像中喷头的位置；
S4、将图像中的喷头交点映射至标识板坐标系；
由步骤S3.1获得的标识板平面棋盘格校正图像获取图像坐标到标识板坐标系10的单应性矩阵R3×3；再通过公式1将步骤S3.4获得的图像坐标系下的喷头交点映射到标识板坐标系10下，得到标识板坐标系10下的喷头交点坐标；
式中，x、y分别为标识板坐标系10下的喷头交点坐标的x轴坐标值、y轴坐标值，单位为mm；X、Y分别为图像坐标系下的喷头交点的x轴坐标值，y轴坐标系坐标值，单位为像素；s为比例因子，R3×3为单应性矩阵；
S5、喷头交点投影至地面；
通过公式2将步骤S4获得的标识板坐标系10下的喷头交点坐标转换到地面坐标系12，得到地面坐标系12下的喷头交点坐标；
式中，Mp_c为标识板坐标系10的外参矩阵，Mf_c -1为地面坐标系12的外参逆矩阵；(Xpw，Ypw，Zpw)为标识板坐标系10下的喷头交点坐标，Xpw、Ypw、Zpw分别为标识板坐标系10下的喷头交点坐标的x轴坐标值、y轴坐标值和z轴坐标值，单位为mm；(Xf，Yf，Zf)为在地面坐标系12下的喷头交点坐标，Xf、Yf、Zf分别为在地面坐标系12下的喷头交点坐标的x轴坐标值、y轴坐标值和z轴坐标值，单位为mm；
S6、引入参数，确定喷头对应区域；
令地面坐标系12的喷头交点坐标的Zf等于0，得到喷头交点在地面坐标系12下的喷头投影坐标；分别设置喷头7的有效喷幅宽度w、喷头7对应的检测区域与喷杆4之间的距离h1和喷头7对应检测区域宽度h2，通过公式3和公式4确定在地面坐标系12下的喷头对应的检测区域5的坐标；
式中，(Xf1,Yf1)为喷头交点在地面坐标系12下的喷头投影坐标，Xf1,Yf1分别为喷头交点在地面坐标系12下喷头投影坐标的x轴坐标值、y轴坐标值，单位为mm；α为地面坐标系12的喷杆投影直线与该坐标系横轴的夹角，单位为度；(X′f1,Y′f1)为(Xf1,Yf1)在地面坐标系旋转角度α后的喷头交点坐标，X′f1、Y′f1分别为(Xf1,Yf1)在地面坐标系旋转角度α后的喷头交点坐标的x轴坐标值、y轴坐标值，单位为mm；(Xf2,Yf2)，(Xf3,Yf3)，(Xf4,Yf4)，(Xf5,Yf5)为喷头对应检测区域5的四个边界点在地面坐标系12下的坐标，Xf2、Xf3、Xf4、Xf5为喷头对应检测区域5的四个边界点在地面坐标系12下的x轴坐标值，Yf2、Yf3、Yf4、Yf5为喷头对应检测区域5的四个边界点在地面坐标系12下的y轴坐标值，单位为mm；h1为喷头7对应的检测区域与喷杆4之间的距离，单位为mm；h2为喷头7对应检测区域宽度，单位为mm；w为喷头7的有效喷幅宽度，单位为mm；
S7、将喷头对应检测区域返回图像坐标系，获取图像感兴趣区域；
通过公式5和公式6将步骤S6获得的地面坐标系12下喷头对应的检测区域5返回至图像坐标系，获得对应的像素坐标值，获取图像感兴趣区域；
式中，Mf_c为地面坐标系12的外参矩阵，(Xf,Yf,0)为对应检测区域5在地面坐标系12下的坐标，Xf、Yf、0分别为对应检测区域5在地面坐标系12下的x轴坐标值、y轴坐标值和z轴坐标值，单位为mm；(Xcf,Ycf,Zcf)为喷头对应检测区域5在相机坐标系8下的坐标，Xcf、Ycf、Zcf分别为喷头对应检测区域5在相机坐标系8下的x轴坐标值、y轴坐标值和z轴坐标值，单位为mm；
式中，A为相机的内参矩阵；s为比例系数；(Xcf,Ycf,Zcf)为喷头对应检测区域5在相机坐标系8下的坐标，Xcf、Ycf、Zcf分别为喷头对应检测区域5在相机坐标系8下的x轴坐标值、y轴坐标值和z轴坐标值，单位为mm；u、v分别为检测区域在图像坐标系下的横坐标和纵坐标。
所述相机1的像素设置为1920×1080，所采集的图像像素均为1920×1080。
所述步骤S1中，内参为图像由相机坐标系8转换到图像坐标系的变换矩阵，用于计算相机坐标系8下的坐标点在图像中的位置。
所述步骤S1中，畸变参数为在相机制造过程中，以及相机坐标系8转换至图像坐标系过程产生的畸变。
所述步骤S2中，外参矩阵是由黑白棋盘格标定板9所确定的坐标系转换到相机坐标系8下的矩阵。
所述步骤S3.1中，畸变校利用步骤S1获得的畸变参数对有畸变的图像进行校正，消除畸变。
所述喷杆标识板3为绿色，在步骤S3.2中，采用2g-r-b的和大津法对图像绿色区域进行识别和二值化处理。
所述喷头标识板2为红色，在步骤S3.3中，采用2r-g-b的和大津法对图像红色区域进行识别和二值化处理。
所述步骤S4中，单映性矩阵为图像坐标点转换到标识板坐标系的转换矩阵。
所述步骤S6中，地面坐标系12的喷杆投影直线与该坐标系横轴的夹角α确定过程如下：
任意选取两个地面坐标系12下的喷头投影点坐标，求取地面坐标系12中喷杆投影直线l：y＝kx+b；式中k为直线斜率；通过直线斜率k获取喷杆投影直线与该坐标系横轴的夹角。与现有技术相比，本发明的有益效果在于：
本发明由黑白棋盘格图像建立三维坐标系，通过标识板和黑白棋盘格快速确定喷头对应区域在图像中的位置，即感兴趣区域，无需人工测量相机的高度，俯仰角等信息，降低人工误差，具有通用性好、准确度高的特点。
附图说明
图1为本发明的基于机器视觉的小麦返青期喷雾感兴趣区域智能标定方法的流程图；
图2为本发明的喷杆喷雾机6作业示意图；
图3为本发明的喷雾感兴趣区域标定的图像采集及坐标系示意图。
其中的附图标记为：
1 相机 2 喷头标识板
3 喷杆标识板 4 喷杆
5 喷头对应检测区域 6 喷杆喷雾机
7 喷头 8 相机坐标系
9 黑白棋盘格标定板 10 标识板坐标系
11 标识板平面 12 地面坐标系
13 地面
w 喷头7的有效喷幅宽度
h1 喷头7对应的检测区域与喷杆4之间的距离
h2 喷头7对应检测区域宽度
具体实施方式
下面结合附图和实施例对本发明进行进一步说明。
一种基于机器视觉的小麦返青期喷雾感兴趣区域智能标定方法，用于在返青期小麦植保作业前，对喷杆喷雾机6的各相机1进行标定，确定出每一个喷头对应检测区域5在图像中的位置。如图2所示，所述喷杆喷雾机6包括垂直于机具前进方向的具有多个喷头7的喷杆4和多个朝向地面作物且位于喷杆4上方的相机1；所述相机1与喷杆4之间的距离为900～1100mm，相机1相对于地面的倾斜角度25～35度，喷头高度为400～600mm。
如图1所示，该方法包括如下步骤：
S1、标定前准备；
在每一个喷头7的正上方各设置与机具前进方向平行的喷头标识板2；在每个相机1的采集区域内各设置与喷杆4平行的喷杆标识板3，喷头标识板2和喷杆标识板3位于同一水平的标识板平面11内；将黑白棋盘格标定板9分别设置在各相机1的采集区域内，各相机1分别采集一张带有黑白棋盘格标定板9的清晰图像，建立相机坐标系8和图像坐标系，提取图像中的棋盘格的角点信息，并对应黑白棋盘格标定板9的尺寸设置每个棋盘格角点的像素坐标；由张氏标定法获得相机的内参和畸变参数。所述张氏标定法为属于本领域公知常识，在此不再赘述。
本实施例中相机1的像素设置为1920×1080，以下采集的图像像素均为1920×1080。
所述喷头标识板2和喷杆标识板3的颜色不同。本实施例中，喷头标识板2采用红色标识，喷杆标识板3采用绿色标识。所述喷杆标识板3的长度为300mm，宽度为90mm；喷头标识板2的长度为190mm，宽度为50mm。
所述黑白棋盘格标定板9中，每个黑白方格的边长为30mm，黑白方格阵列12×9。
所述内参为图像由相机坐标系8转换到图像坐标系的变换矩阵。该参数用于计算相机坐标系8下的坐标点在图像中的位置。
所述畸变参数为在相机制造过程中，以及相机坐标系8转换至图像坐标系过程产生的畸变。
S2、获取地面棋盘格图像和标识板平面棋盘格图像；
将与步骤S1相同的黑白棋盘格标定板9分别设置在各相机1的采集区域内的地面13和标识板平面11内，各相机1分别拍摄一张带有设置在地面13和标识板平面11的黑白棋盘格标定板9的地面棋盘格图像和标识板平面棋盘格图像，提取两幅图像中黑白棋盘格标定板9的棋盘格的角点信息，并根据黑白棋盘格标定板9的尺寸设置每个棋盘格角点的像素坐标，建立地面坐标系12和标识板坐标系10，使用步骤S1获得的相机的内参，对两幅图像中的棋盘格进行外参矩阵的估计，获得地面坐标系12的外参矩阵Mf_c和标识板坐标系10的外参矩阵Mp_c。
所述外参矩阵是由黑白棋盘格标定板9所确定的坐标系转换到相机坐标系8下的矩阵。
S3、识别标识板，确定喷头在图像中的位置；
S3.1、对步骤S2获得的各相机1的地面棋盘格图像和标识板平面棋盘格图像进行畸变校正，获得地面棋盘格校正图像和标识板平面棋盘格校正图像；
所述畸变校正是利用步骤S1中标定所获得的畸变参数对有畸变的图像进行校正，消除畸变。畸变校正属于本领域常用技术手段，在此不再赘述。
S3.2、根据喷杆标识板3的颜色选择对应的颜色识别的方式对步骤S3.1获得的各相机1的标识板平面棋盘格校正图像中的喷杆标识板3进行识别，并进行二值处理；对得到的喷杆标识板3的二值图像的真值点使用最小二乘法进行拟合，得到喷杆标识板3的喷杆拟合直线以及该直线在图像坐标系下的喷杆拟合直线方程。
本实施例中，喷杆标识板3为绿色，采用2g-r-b的和大津法对图像绿色区域进行识别和二值化处理。
S3.3、根据喷头标识板2的颜色选择对应的颜色识别的方式对步骤S3.1获得的各相机1的标识板平面棋盘格校正图像中的喷头标识板2进行识别，并进行二值处理；对得到的包含多个喷头标识板2的二值图像进行分区，每一个分区只包含一个喷头标识板2的二值图像，对每一个分区的二值图像使用最小二值法进行直线拟合，得到各喷头标识板2的喷头拟合直线以及该直线在图像坐标系下的喷头拟合直线方程。
本实施例中，喷头标识板2为红色，采用2r-g-b的和大津法对图像红色区域进行识别和二值化处理。
S3.4、将步骤S3.3获得的每一个喷头拟合直线方程和步骤S3.2获得的喷杆拟合直线方程进行联立求解，得到多个交点，所述交点为喷头交点，所述喷头交点为在标识板平面棋盘格图像中喷头的位置。
S4、将图像中的喷头交点映射至标识板坐标系；
由步骤S3.1获得的标识板平面棋盘格校正图像获取图像坐标到标识板坐标系10的单应性矩阵R3×3；再通过公式(1)将步骤S3.4获得的图像坐标系下的喷头交点映射到标识板坐标系10下，得到标识板坐标系10下的喷头交点坐标；
式中，x、y分别为标识板坐标系10下的喷头交点坐标的x轴坐标值、y轴坐标值，单位为mm；X、Y分别为图像坐标系下的喷头交点的x轴坐标值，y轴坐标系坐标值，单位为像素；s为比例因子，R3×3为单应性矩阵。
所述的单映性矩阵为从一个平面到另一个平面投影映射，在本实施例中表示为图像坐标点转换到标识板坐标系的转换矩阵。
S5、喷头交点投影至地面；
通过公式(2)将步骤S4获得的标识板坐标系10下的喷头交点坐标转换到地面坐标系12，得到地面坐标系12下的喷头交点坐标；
式中，Mp_c为标识板坐标系10的外参矩阵，Mf_c -1为地面坐标系12的外参逆矩阵；(Xpw，Ypw，Zpw)为标识板坐标系10下的喷头交点坐标，Xpw、Ypw、Zpw分别为标识板坐标系10下的喷头交点坐标的x轴坐标值、y轴坐标值和z轴坐标值，单位为mm，(Xf，Yf，Zf)为在地面坐标系12下的喷头交点坐标，Xf、Yf、Zf分别为在地面坐标系12下的喷头交点坐标的x轴坐标值、y轴坐标值和z轴坐标值，单位为mm。
S6、引入参数，确定喷头对应区域
令地面坐标系12的喷头交点坐标的Zf等于0，得到喷头交点在地面坐标系12下的喷头投影坐标；分别设置喷头7的有效喷幅宽度w、喷头7对应的检测区域与喷杆4之间的距离h1和喷头7对应检测区域宽度h2，通过公式(3)和公式(4)确定在地面坐标系12下的喷头对应的检测区域5的坐标。
式中，(Xf1,Yf1)为喷头交点在地面坐标系12下的喷头投影坐标，Xf1,Yf1分别为喷头交点在地面坐标系12下喷头投影坐标的x轴坐标值、y轴坐标值，单位为mm；α为地面坐标系12的喷杆投影直线与该坐标系横轴的夹角，单位为度；(X′f1,Y′f1)为(Xf1,Yf1)在地面坐标系旋转α角度后的喷头交点坐标，X′f1、Y′f1分别为(Xf1,Yf1)在地面坐标系旋转α角度后的喷头交点坐标的x轴坐标值、y轴坐标值，单位为mm；(Xf2,Yf2)，(Xf3,Yf3)，(Xf4,Yf4)，(Xf5,Yf5)为喷头对应检测区域5的四个边界点在地面坐标系12下的坐标，Xf2、Xf3、Xf4、Xf5为喷头对应检测区域5的四个边界点在地面坐标系12下的x轴坐标值，Yf2、Yf3、Yf4、Yf5为喷头对应检测区域5的四个边界点在地面坐标系12下的y轴坐标值，单位为mm；h1为喷头7对应的检测区域与喷杆4之间的距离，单位为mm；h2为喷头7对应检测区域宽度，单位为mm，w为喷头7的有效喷幅宽度，单位为mm。
其中，地面坐标系12的喷杆投影直线与该坐标系横轴的夹角α确定过程如下：
任意选取两个地面坐标系12下的喷头投影点坐标，求取地面坐标系12中喷杆投影直线l：y＝kx+b；式中k为直线斜率；通过直线斜率k获取喷杆投影直线与该坐标系横轴的夹角。
本实施例中，喷头7的有效喷幅宽度w为600mm，喷头7对应的检测区域与喷杆4之间的距离h1为200mm，喷头7对应检测区域宽度h2为200mm。
S7、将喷头对应检测区域返回图像坐标系，获取图像感兴趣区域；
通过公式(5)和公式(6)将步骤S6获得的地面坐标系12下喷头对应的检测区域5返回至图像坐标系，获得对应的像素坐标值，获取图像感兴趣区域；
式中，Mf_c为地面坐标系12的外参矩阵，(Xf,Yf,0)为对应检测区域5在地面坐标系12下的坐标，Xf、Yf、0分别为对应检测区域5在地面坐标系12下的x轴坐标值、y轴坐标值和z轴坐标值，单位为mm；(Xcf,Ycf,Zcf)为喷头对应检测区域5在相机坐标系8下的坐标，Xcf、Ycf、Zcf分别为喷头对应检测区域5在相机坐标系8下的x轴坐标值、y轴坐标值和z轴坐标值，单位为mm。
式中，A为相机的内参矩阵；s为比例系数；(Xcf,Ycf,Zcf)为喷头对应检测区域5在相机坐标系8下的坐标，Xcf、Ycf、Zcf分别为喷头对应检测区域5在相机坐标系8下的x轴坐标值、y轴坐标值和z轴坐标值，单位为mm；u、v分别为检测区域在图像坐标系下的横坐标和纵坐标。
Claims (10)
1.一种基于机器视觉的小麦返青期喷雾感兴趣区域智能标定方法，用于在返青期小麦植保作业前，对喷杆喷雾机(6)的各相机(1)进行标定，确定出每一个喷头对应检测区域(5)在图像中的位置，所述喷杆喷雾机(6)包括垂直于机具前进方向的具有多个喷头(7)的喷杆(4)和多个朝向地面作物且位于喷杆(4)上方的相机(1)，其特征在于，该方法包括如下步骤：
S1、标定前准备；
在每一个喷头(7)的正上方各设置与机具前进方向平行的喷头标识板(2)；在每个相机(1)的采集区域内各设置与喷杆(4)平行的喷杆标识板(3)，喷头标识板(2)和喷杆标识板(3)位于同一水平的标识板平面(11)内；将黑白棋盘格标定板(9)分别设置在各相机(1)的采集区域内，各相机(1)分别采集一张带有黑白棋盘格标定板(9)的清晰图像，建立相机坐标系(8)和图像坐标系，提取图像中的棋盘格的角点信息，并对应黑白棋盘格标定板(9)的尺寸设置每个棋盘格角点的像素坐标；由张氏标定法获得相机的内参和畸变参数；
所述喷头标识板(2)和喷杆标识板(3)的颜色不同；
S2、获取地面棋盘格图像和标识板平面棋盘格图像；
将与步骤S1相同的黑白棋盘格标定板(9)分别设置在各相机(1)的采集区域内的地面(13)和标识板平面(11)内，各相机(1)分别拍摄一张带有设置在地面(13)和标识板平面(11)的黑白棋盘格标定板(9)的地面棋盘格图像和标识板平面棋盘格图像，提取两幅图像中黑白棋盘格标定板(9)的棋盘格的角点信息，并根据黑白棋盘格标定板(9)的尺寸设置每个棋盘格角点的像素坐标，建立地面坐标系(12)和标识板坐标系(10)，使用步骤S1获得的相机的内参，对两幅图像中的棋盘格进行外参矩阵的估计，获得地面坐标系(12)的外参矩阵Mf_c和标识板坐标系(10)的外参矩阵Mp_c；
S3、识别标识板，确定喷头在图像中的位置；
S3.1、对步骤S2获得的各相机(1)的地面棋盘格图像和标识板平面棋盘格图像进行畸变校正，获得地面棋盘格校正图像和标识板平面棋盘格校正图像；
S3.2、根据喷杆标识板(3)的颜色选择对应的颜色识别的方式对步骤S3.1获得的各相机(1)的标识板平面棋盘格校正图像中的喷杆标识板(3)进行识别，并进行二值处理；对得到的喷杆标识板(3)的二值图像的真值点使用最小二乘法进行拟合，得到喷杆标识板(3)的喷杆拟合直线以及该直线在图像坐标系下的喷杆拟合直线方程；
S3.3、根据喷头标识板(2)的颜色选择对应的颜色识别的方式对步骤S3.1获得的各相机(1)的标识板平面棋盘格校正图像中的喷头标识板(2)进行识别，并进行二值处理；对得到的包含多个喷头标识板(2)的二值图像进行分区，每一个分区只包含一个喷头标识板(2)的二值图像，对每一个分区的二值图像使用最小二值法进行直线拟合，得到各喷头标识板(2)的喷头拟合直线以及该直线在图像坐标系下的喷头拟合直线方程；
S3.4、将步骤S3.3获得的每一个喷头拟合直线方程和步骤S3.2获得的喷杆拟合直线方程进行联立求解，得到多个交点，所述交点为喷头交点，所述喷头交点为在标识板平面棋盘格图像中喷头的位置；
S4、将图像中的喷头交点映射至标识板坐标系；
由步骤S3.1获得的标识板平面棋盘格校正图像获取图像坐标到标识板坐标系(10)的单应性矩阵R3×3；再通过公式1将步骤S3.4获得的图像坐标系下的喷头交点映射到标识板坐标系(10)下，得到标识板坐标系(10)下的喷头交点坐标；
式中，x、y分别为标识板坐标系(10)下的喷头交点坐标的x轴坐标值、y轴坐标值，单位为mm；X、Y分别为图像坐标系下的喷头交点的x轴坐标值，y轴坐标系坐标值，单位为像素；s为比例因子，R3×3为单应性矩阵；
S5、喷头交点投影至地面；
通过公式2将步骤S4获得的标识板坐标系(10)下的喷头交点坐标转换到地面坐标系(12)，得到地面坐标系(12)下的喷头交点坐标；
式中，Mp_c为标识板坐标系(10)的外参矩阵，Mf_c -1为地面坐标系(12)的外参逆矩阵；(Xpw，Ypw，Zpw)为标识板坐标系(10)下的喷头交点坐标，Xpw、Ypw、Zpw分别为标识板坐标系(10)下的喷头交点坐标的x轴坐标值、y轴坐标值和z轴坐标值，单位为mm；(Xf，Yf，Zf)为在地面坐标系(12)下的喷头交点坐标，Xf、Yf、Zf分别为在地面坐标系(12)下的喷头交点坐标的x轴坐标值、y轴坐标值和z轴坐标值，单位为mm；
S6、引入参数，确定喷头对应区域；
令地面坐标系(12)的喷头交点坐标的Zf等于0，得到喷头交点在地面坐标系(12)下的喷头投影坐标；分别设置喷头(7)的有效喷幅宽度w、喷头(7)对应的检测区域与喷杆(4)之间的距离h1和喷头(7)对应检测区域宽度h2，通过公式3和公式4确定在地面坐标系(12)下的喷头对应的检测区域(5)的坐标；
式中，(Xf1,Yf1)为喷头交点在地面坐标系(12)下的喷头投影坐标，Xf1,Yf1分别为喷头交点在地面坐标系(12)下喷头投影坐标的x轴坐标值、y轴坐标值，单位为mm；α为地面坐标系(12)的喷杆投影直线与该坐标系横轴的夹角，单位为度；(X′f1,Y′f1)为(Xf1,Yf1)在地面坐标系旋转角度α后的喷头交点坐标，X′f1、Y′f1分别为(Xf1,Yf1)在地面坐标系旋转角度α后的喷头交点坐标的x轴坐标值、y轴坐标值，单位为mm；(Xf2,Yf2)，(Xf3,Yf3)，(Xf4,Yf4)，(Xf5,Yf5)为喷头对应检测区域(5)的四个边界点在地面坐标系(12)下的坐标，Xf2、Xf3、Xf4、Xf5为喷头对应检测区域(5)的四个边界点在地面坐标系(12)下的x轴坐标值，Yf2、Yf3、Yf4、Yf5为喷头对应检测区域(5)的四个边界点在地面坐标系(12)下的y轴坐标值，单位为mm；h1为喷头(7)对应的检测区域与喷杆(4)之间的距离，单位为mm；h2为喷头(7)对应检测区域宽度，单位为mm；w为喷头(7)的有效喷幅宽度，单位为mm；
S7、将喷头对应检测区域返回图像坐标系，获取图像感兴趣区域；
通过公式5和公式6将步骤S6获得的地面坐标系(12)下喷头对应的检测区域(5)返回至图像坐标系，获得对应的像素坐标值，获取图像感兴趣区域；
式中，Mf_c为地面坐标系(12)的外参矩阵，(Xf,Yf,0)为对应检测区域(5)在地面坐标系(12)下的坐标，Xf、Yf、0分别为对应检测区域(5)在地面坐标系(12)下的x轴坐标值、y轴坐标值和z轴坐标值，单位为mm；(Xcf,Ycf,Zcf)为喷头对应检测区域(5)在相机坐标系(8)下的坐标，Xcf、Ycf、Zcf分别为喷头对应检测区域(5)在相机坐标系(8)下的x轴坐标值、y轴坐标值和z轴坐标值，单位为mm；
式中，A为相机的内参矩阵；s为比例系数；(Xcf,Ycf,Zcf)为喷头对应检测区域(5)在相机坐标系(8)下的坐标，Xcf、Ycf、Zcf分别为喷头对应检测区域(5)在相机坐标系(8)下的x轴坐标值、y轴坐标值和z轴坐标值，单位为mm；u、v分别为检测区域在图像坐标系下的横坐标和纵坐标。
2.根据权利要求1所述的方法，其特征在于，所述相机(1)的像素设置为1920×1080，所采集的图像像素均为1920×1080。
3.根据权利要求1所述的方法，其特征在于，所述步骤S1中，内参为图像由相机坐标系(8)转换到图像坐标系的变换矩阵，用于计算相机坐标系(8)下的坐标点在图像中的位置。
4.根据权利要求1所述的方法，其特征在于，所述步骤S1中，畸变参数为在相机制造过程中，以及相机坐标系(8)转换至图像坐标系过程产生的畸变。
5.根据权利要求1所述的方法，其特征在于，所述步骤S2中，外参矩阵是由黑白棋盘格标定板(9)所确定的坐标系转换到相机坐标系(8)下的矩阵。
6.根据权利要求1所述的方法，其特征在于，所述步骤S3.1中，畸变校利用步骤S1获得的畸变参数对有畸变的图像进行校正，消除畸变。
7.根据权利要求1所述的方法，其特征在于，所述喷杆标识板(3)为绿色，在步骤S3.2中，采用2g-r-b的和大津法对图像绿色区域进行识别和二值化处理。
8.根据权利要求1所述的方法，其特征在于，所述喷头标识板(2)为红色，在步骤S3.3中，采用2r-g-b的和大津法对图像红色区域进行识别和二值化处理。
9.根据权利要求1所述的方法，其特征在于，所述步骤S4中，单映性矩阵为图像坐标点转换到标识板坐标系的转换矩阵。
10.根据权利要求1所述的方法，其特征在于，所述步骤S6中，地面坐标系(12)的喷杆投影直线与该坐标系横轴的夹角α确定过程如下：
任意选取两个地面坐标系(12)下的喷头投影点坐标，求取地面坐标系(12)中喷杆投影直线l：y＝kx+b；式中k为直线斜率；通过直线斜率k获取喷杆投影直线与该坐标系横轴的夹角。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011558495.1A CN112614193B (zh) | 2020-12-25 | 2020-12-25 | 基于机器视觉的小麦返青期喷雾感兴趣区域智能标定方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011558495.1A CN112614193B (zh) | 2020-12-25 | 2020-12-25 | 基于机器视觉的小麦返青期喷雾感兴趣区域智能标定方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112614193A CN112614193A (zh) | 2021-04-06 |
| CN112614193B true CN112614193B (zh) | 2024-03-22 |
Family
ID=75245047
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011558495.1A Active CN112614193B (zh) | 2020-12-25 | 2020-12-25 | 基于机器视觉的小麦返青期喷雾感兴趣区域智能标定方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112614193B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114565683B (zh) * | 2022-03-02 | 2022-09-27 | 禾多科技（北京）有限公司 | 一种精度确定方法、装置、设备、介质及产品 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107655664A (zh) * | 2017-08-29 | 2018-02-02 | 农业部南京农业机械化研究所 | 基于双目图像采集的喷雾机喷杆动态特性测试***及方法 |
| WO2019080229A1 (zh) * | 2017-10-25 | 2019-05-02 | 南京阿凡达机器人科技有限公司 | 基于机器视觉的棋子定位方法、***、存储介质及机器人 |
| CN110490940A (zh) * | 2019-08-15 | 2019-11-22 | 北京迈格威科技有限公司 | 基于棋盘格单幅图像的相机标定方法和装置 |
| CN111028297A (zh) * | 2019-12-11 | 2020-04-17 | 凌云光技术集团有限责任公司 | 面结构光三维测量***的标定方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180116556A1 (en) * | 2016-10-27 | 2018-05-03 | Nanjing Avatarmind Robot Technology Co., Ltd. | Height measurement method based on monocular machine vision |
-
2020
- 2020-12-25 CN CN202011558495.1A patent/CN112614193B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107655664A (zh) * | 2017-08-29 | 2018-02-02 | 农业部南京农业机械化研究所 | 基于双目图像采集的喷雾机喷杆动态特性测试***及方法 |
| WO2019080229A1 (zh) * | 2017-10-25 | 2019-05-02 | 南京阿凡达机器人科技有限公司 | 基于机器视觉的棋子定位方法、***、存储介质及机器人 |
| CN110490940A (zh) * | 2019-08-15 | 2019-11-22 | 北京迈格威科技有限公司 | 基于棋盘格单幅图像的相机标定方法和装置 |
| CN111028297A (zh) * | 2019-12-11 | 2020-04-17 | 凌云光技术集团有限责任公司 | 面结构光三维测量***的标定方法 |
Non-Patent Citations (1)
| Title |
|---|
| 玉米行间定点扎穴深施追肥机的设计与试验;胡红;李洪文;王庆杰;何进;张翼夫;陈婉芝;王宪良;;农业工程学报;20161223(第24期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112614193A (zh) | 2021-04-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112669393B (zh) | 一种激光雷达与相机联合标定方法 | |
| CN110118528B (zh) | 一种基于棋盘靶标的线结构光标定方法 | |
| CN109215071B (zh) | 基于视觉的智能稻麦收割机割幅测量方法 | |
| CN108053450B (zh) | 一种基于多约束的高精度双目相机标定方法 | |
| CN113137920B (zh) | 一种水下测量的设备与水下测量方法 | |
| Liu et al. | Evaluation of a laser scanning sensor in detection of complex-shaped targets for variable-rate sprayer development | |
| CN109032174B (zh) | 一种无人机作业航线规划方法以及作业执行方法 | |
| Andersen et al. | Geometric plant properties by relaxed stereo vision using simulated annealing | |
| CN106225774B (zh) | 一种基于计算机视觉的无人驾驶农机耕道测量装置及方法 | |
| CN111486864A (zh) | 基于立体正八边结构的多源传感器联合标定方法 | |
| CN109920006B (zh) | 一种青饲机自动抛送***位姿变换矩阵的标定方法 | |
| CN102422832B (zh) | 喷雾视觉定位***及定位方法 | |
| CN112614193B (zh) | 基于机器视觉的小麦返青期喷雾感兴趣区域智能标定方法 | |
| WO2021017352A1 (zh) | 激光雷达-摄像机联合标定靶和联合标定方法 | |
| CN112395984A (zh) | 一种用于无人驾驶农业机械的苗列导航线检测方法 | |
| CN115205466A (zh) | 一种基于结构光的输电通道三维重建方法和*** | |
| CN112435290A (zh) | 基于饱和度分割的叶面积图像测量方法 | |
| CN108917722B (zh) | 植被覆盖度计算方法及装置 | |
| KR102023087B1 (ko) | 카메라 캘리브레이션 방법 | |
| Cho et al. | Vision-based uncut crop edge detection for automated guidance of head-feeding combine | |
| CN115546266B (zh) | 基于局部法向相关的多条带机载激光点云配准方法 | |
| CN112837314A (zh) | 基于2D-LiDAR和Kinect的果树冠层参数检测***和方法 | |
| Shanmugam et al. | A machine-vision-based real-time sensor system to control weeds in agricultural fields | |
| CN117058051A (zh) | 一种基于激光点云与微光图像融合的方法及装置 | |
| Jiang et al. | A vision system based crop rows for agricultural mobile robot |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |