CN105211034B - 一种车载式林木三维彩色成像对靶喷雾方法 - Google Patents
一种车载式林木三维彩色成像对靶喷雾方法 Download PDFInfo
- Publication number
- CN105211034B CN105211034B CN201510548915.0A CN201510548915A CN105211034B CN 105211034 B CN105211034 B CN 105211034B CN 201510548915 A CN201510548915 A CN 201510548915A CN 105211034 B CN105211034 B CN 105211034B
- Authority
- CN
- China
- Prior art keywords
- dimensional
- computer
- data
- position data
- under test
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提供一种林木识别率高、速度快、成本低的车载式林木三维彩色成像对靶喷雾方法，其步骤：车载平台移动时，二维激光雷达在扫描平面内对车载平台侧部的待测物体上下扫描，获取待测物体在扫描平面内的二维位置数据，并将二维位置数据传给计算机；计算机根据车速传感器测量的速度信号得到车载平台的移动位置数据，并将移动位置数据和二维位置数据结合转化为待测物体的三维位置数据；计算机再将从彩色CCD获取的待测物体的彩色图像信号与三维位置数据按几何关系映射融合，形成待测物体的三维彩色云点数据，再由计算机对三维彩色云点数据分析，识别适合对靶喷雾作业的林木，控制喷雾装置进行对靶喷雾作业。
Description
技术领域
本发明涉及一种车载式林木三维彩色成像对靶喷雾方法。
背景技术
车载式对靶喷雾是控制技术、喷雾技术在农业、林业应用中的集中表现，是近距离林业遥感的典型应用。车载式对靶喷雾机是广泛用于果园、行道树、观赏林等树木的农药喷洒设备之一。一般采用超声波、微波、光学成像、红外、激光测距等传感方式探测树木等靶标，通过控制***实现针对特定靶标的农药喷雾施用，从而实现对靶喷雾，这种方式也称为精确喷雾。在达到相同的防治效果的情况下，对靶喷雾技术减少了农药的使用量、降低了环境污染及人畜危害，近年来得到了广泛的推广。但是由于林木轮廓的多变性、林木间的杂乱性，特别是城镇行道树，其道路两边的车辆、建筑等都影响了对靶喷雾***对林木的识别，因此现有的林木对靶喷雾技术大多采用粗略的靶标识别方法来识别林木，以配合喷雾作业相对粗放的特点。粗略的靶标识别方法主要是通过简单的特征进行了有无靶标的识别，其误判率较高。因此，需要一种更精确的适合于林木对靶喷雾的靶标识别***，要求其成本低、速度快、林木识别率高。
发明内容
本发明的目的是提供一种林木识别率高、速度快、成本低的车载式林木三维彩色成像对靶喷雾方法。
本发明的车载式林木三维彩色成像对靶喷雾方法，车载平台7上安装有二维激光雷达 2、具有彩色CCD 3的摄像头、车速传感器4、计算机5以及喷雾装置6；车速传感器4测量车载平台7在行驶方向8上的移动速度；该对靶喷雾方法包括下述步骤：
a、车载平台7移动时，二维激光雷达2在扫描平面内对车载平台侧部的待测物体1上下扫描，获取待测物体在扫描平面内的二维位置数据Pi，j(xi,yi)，并将二维位置数据传给计算机5；
b、计算机5根据车速传感器4测量的速度信号得到车载平台的移动位置数据，并将移动位置数据和二维位置数据结合转化为待测物体1的三维位置数据Pi,j(xi,yi,zi)；
c、计算机5再将从彩色CCD 3获取的待测物体的彩色图像信号PXi,Yi(Ri,Gi,Bi)，与三维位置数据按几何关系映射融合，形成待测物体1的三维彩色云点数据 Pi,j(xi,yi,zi,Ri,Gi,Bi)，
d、再由计算机5对三维彩色云点数据分析，识别适合对靶喷雾作业的林木，控制喷雾装置进行对靶喷雾作业。
本发明的有益效果：在喷雾车辆的车载平台上安装彩色摄像头及二维激光雷达，该激光雷达的扫描面与车辆行驶方向相垂直，计算机同时通过车速传感器测量车辆的行驶速度，形成外界环境的三维坐标(位置)数据，并与彩色摄像头拍摄的彩色图像信号按几何关系映射融合得到对外界环境的三维彩色数据，再由计算机从三维彩色数据中找出待喷雾的林木靶标，计算出相应的喷雾量，最终控制喷雾，以达到对靶喷雾的目的。
二维激光雷达可以测得物点的距离数据，彩色CCD测得物点的图像坐标及色彩数据，这两组数据具有对相同物点的不同描述，即激光雷达测得的距离信息与CCD色度信息是同一物点的坐标数据、色度数据在不同坐标系下的描述。本发明将车辆移动速度、二维坐标数据、色度数据三者相结合，实现了对外界环境的三维彩色成像，适合对靶喷雾作业要求。
在此过程中，计算机读取高速线扫描激光雷达获得二维测距数据，结合车速信号，形成三维激光雷达测距数据流；再结合读取到的相应时刻彩色摄像头获取的作业区图像信号，根据测量目标激光云点与彩色CCD测量数据的映射关系，使得激光雷达测得的距离、方位等坐标数据与彩色CCD获得的图像信息进行数据融合，实现了满足对靶喷雾作业要求的三维彩色成像数据流。
本发明的目的是这样实现的：该车载式林木三维彩色成像对靶喷雾方法，车载平台7 上安装有二维激光雷达2、具有彩色CCD3的摄像头、车速传感器4、计算机5以及喷雾装置6；车速传感器4测量车载平台7在行驶方向8上的移动速度；车载平台7移动时，二维激光雷达2在扫描平面内对车载平台侧部的待测物体1上下扫描，获取待测物体在扫描平面内的二维位置数据，并将二维位置数据传给计算机5；计算机5根据车速传感器4测量的速度信号得到车载平台的移动位置数据，并将移动位置数据和二维位置数据结合转化为待测物体1的三维位置数据；计算机5再将获取的彩色CCD3的彩色图像信号，与三维位置数据按几何关系映射融合，形成待测物体1的三维彩色云点数据，再由计算机5对三维彩色云点数据分析，识别适合对靶喷雾作业的林木，控制喷雾装置进行对靶喷雾作业。本车载式林木三维彩色成像对靶喷雾方法对林木识别率高，自动化程度高，作业速度快、成本低。
上述的对靶喷雾方法，二维激光雷达2的扫描平面与车载平台的行驶方向垂直。
上述的对靶喷雾方法，步骤d中，计算机5对三维彩色云点数据进行如下分析，识别出对靶喷雾作业的林木的方法是：
当三维彩色云点数据Pi,j(xi,yi,zi,Ri,Gi,Bi)同时满足下述三个条件： 45＜Ri+Gi+Bi＜720；则待测物体1为对靶喷雾作业的林木。由于树木图像的多变性，特别是树木缝隙与树阴暗处的明暗对比突出等特点，本发明特采用明暗色彩提取采用加权算法，能较好的适应过亮与过暗的图像点，把太亮或太暗的非树木对象排除在喷雾范围内。Rmin、Rmax表示二维激光雷达到被测定点的最短距离、最远距离，可由用户设定。保证了靶标在适当的距离范围内。保证了从彩色背景中，提取绿色，或近似绿色的部分。
上述的对靶喷雾方法，在步骤a后、步骤b前有步骤a1：计算机5对待测物体在扫描平面内的二维位置数据Pi，j(xi,yi)，进行筛选，如果Xmin＜xi＜Xmax、Ymin＜yi＜Ymax则保留该二维位置数据Pi，j(xi,yi)，否则则丢弃该二维位置数据Pi，j(xi,yi)。Xmin、Xmax是待测物体在二维激光雷达2的扫描平面内的一个方向(如x轴方向)上的最近距离和最远距离，Ymin、 Ymax是待测物体在二维激光雷达2的扫描平面内的另一个方向(如y轴方向)上的最近距离和最远距离。Xmin、Xmax、Ymin、Ymax是人为设定的，保证了靶标在适当的距离范围内。
上述的对靶喷雾方法，步骤c的具体过程：计算机5获取的待测物体的彩色图像信号 PXi,Yi(Ri,Gi,Bi)后，对该数据的RGB三原色分量按下述方法进行绿色色彩提取处理，处理后的图像信号PXi,Yi(Ri,Gi,Bi)只有PXi,Yi(0,0,0)或PXi,Yi(0,255,0)两种：
公式(1)
然后计算机再把处理后的图像信号PXi,Yi(Ri,Gi,Bi)与三维位置数据按几何关系映射融合，形成待测物体(1)的三维彩色云点数据Pi,j(xi,yi,zi,Ri,Gi,Bi)；
步骤d的具体过程：计算机对三维彩色云点数据Pi,j(xi,yi,zi,Ri,Gi,Bi)按照下述方法处理成靶标云点Qi,j：
公式(2)
然后计算机读取靶标云点Qi,j按下述方法进行计算：如果S＝1 则控制喷雾装置进行喷雾作业，如果S＝0则控制喷雾装置不进行喷雾作业；I，J分别为喷雾区间的大小，M为数量阈值常数，范围0～I*J。
步骤c中，计算机同时获取彩色CCD的彩色图像数据PXi,Yi(Ri,Gi,Bi)，对该数据的RGB 三原色分量进行绿色色彩提取。由于树木图像的多变性，特别是树木缝隙与树阴暗处的明暗对比突出等特点，明暗色彩提取采用加权算法，见公式(1)，能较好的适应过亮与过暗的图像点。经过该公式(1)处理后的图像像点只有黑色(0,0,0)及绿色(0,255,0)两种，即方便在屏幕上显示，也方便于后续处理。
步骤d中，对三维彩色云点数据Pi,j(xi,yi,zi,Ri,Gi,Bi)按照公式(2)处理成靶标云点 Qi,j，即保证了靶标在适当的距离范围内，又确保了靶标的绿色特性。
附图说明
图1是本发明的总体结构图。
图中：1、待测物体 2、二维激光雷达 3、彩色CCD 4、车速传感器 5、计算机 6、喷雾装置 7、车载平台 8、行驶方向
具体实施方式
下面结合附图对本发明进一步说明。
图1中，待测物体1是对靶喷雾的靶标，其大小、位置、复杂程度等未知。车载平台 7上安装有高速线扫描二维激光雷达2、具有彩色CCD3的摄像头、计算机5以及喷雾装置 6。该激光雷达的扫描平面与车辆行驶方向相垂直，二维激光雷达2与具有彩色CCD3的摄像头安装在车载平台7的前端，目的是提前获取数据信息，由计算机5进行决策，最后控制布置在车载平台7后部的喷雾装置6。车速传感器4测量车载平台7在行驶方向8上的移动速度。车载平台7在图1所示行驶方向8移动时，二维激光雷达2的扫描平面依次从右向左扫描待测物体1，并将扫描二维数据流Pi，j(xi,yi)传给计算机5；在此同时，计算机 5结合车速传感器4的测量的车载平台7移动速度信号，计算出相应的位移，将数据转化为三维位置数据Pi,j(xi,yi,zi)。计算机5将获取的彩色CCD3的彩色图像信号PXi,Yi(Ri,Gi,Bi)，与三维位置数据Pi,j(xi,yi,zi)按几何关系映射融合，形成了三维彩色云点数据 Pi,j(xi,yi,zi,Ri,Gi,Bi)。再由计算机5通过色彩识别结合云点数据分析，最终实现对林木靶标的识别。
二维激光雷达可以测得物点的距离数据，彩色CCD图像测得物点的图像坐标及色彩数据，这两组数据具有对相同物点的不同描述，即激光雷达测得的距离信息与CCD色度信息是同一物点的坐标数据、色度数据在不同坐标系下的描述。本发明将车车辆移动速度、二维坐标数据、色度数据三者相结合，实现了对外界环境的三维彩色成像，适合对靶喷雾作业要求。
在此过程中，计算机读取高速线扫描激光雷达获得二维测距数据，结合车速信号，形成三维激光雷达测距数据流；再结合读取到的相应时刻彩色摄像头获取的作业区图像信号，根据测量目标激光云点与彩色CCD测量数据的映射关系，使得激光雷达测得的距离、方位等坐标数据与彩色CCD获取的图像信息进行数据融合，实现了满足对靶喷雾作业要求的三维彩色成像数据流。
所述车载式林木三维彩色成像对靶喷雾方法，详细过程如下。
1,计算机获取二维激光雷达的数据
计算机获取二维激光雷达的数据云点Pi，j(xi,yi)后，首先进行阈值过滤，即采集结果与矩形窗函数相乘，以获取制定范围区间的数据，去除距离过近及过远的数据。再结合车辆的移动速度与二维激光雷达的帧率，最终将处理后的数据保存为三维位置数据 Pi,j(xi,yi,zi)。
2,获取彩色CCD的图像数据
计算机同时获取彩色CCD的图像数据PXi,Yi(Ri,Gi,Bi)，对该数据的RGB三原色分量进行绿色色彩提取。由于树木图像的多变性，特别是树木缝隙与树阴暗处的明暗对比突出等特点，特采用明暗色彩提取采用加权算法，见公式(1)，能较好的适应了过亮与过暗的图像点。
公式(1)
根据公式 (1)，Ri,Gi,Bi必须同时满足45＜Ri+Gi+Bi＜720、这两个条件时，(Ri,Gi,Bi)＝(0,255,0)。其它情形下，(Ri,Gi,Bi)＝(0,0,0)。
经过该公式处理后的图像像点只有黑色(0,0,0)及绿色(0,255,0)两种，即方便在屏幕上显示，也方便于后续处理。
3,形成了三维彩色云点数据
彩色图像信号PXi,Yi(Ri,Gi,Bi)，与三维位置数据Pi,j(xi,yi,zi)按几何关系映射融合，形成了三维彩色云点数据Pi,j(xi,yi,zi,Ri,Gi,Bi)，即任一个点Pi,j包含了数据的空间位置信息 (xi,yi,zi)也包含了该点的色彩信息(Ri,Gi,Bi)。对数据Pi,j(xi,yi,zi,Ri,Gi,Bi)按照公式(2) 进行阈值处理成靶标云点Qi,j，该处理即保证了靶标在适当的距离范围内又确保了靶标的绿色特性((Ri,Gi,Bi)＝(0,255,0))，也就是说，靶标必须同时满足在适当的距离范围内、绿色特性这两个条件时，Qi,j＝1。如果，靶标不在适当的距离范围内，或者靶标不是绿色，Qi,j＝0。Rmin、Rmax表示二维激光雷达到被测定点的最短距离、最远距离，可由用户设定。
公式(2)
4,控制喷雾装置中的喷雾电磁阀
当车辆移动时，计算机读取靶标云点Qi,j进入数量阈值按公式(3)进行检测，以控制喷雾电磁阀的开启与闭合，最终实现对靶喷雾。
公式(3)
公式(3)中，若满足则S＝1，表示喷雾电磁阀开启进行对靶喷雾；若不满足则S＝0，表示喷雾电磁阀关闭。
I，J分别为喷雾区间的大小，M为数量阈值常数，范围0～I*J，可由用户设定。
Claims (3)
1.一种车载式林木三维彩色成像对靶喷雾方法，其特征是：车载平台(7)上安装有二维激光雷达(2)、具有彩色CCD(3)的摄像头、车速传感器(4)、计算机(5)以及喷雾装置(6)；车速传感器(4)测量车载平台(7)在行驶方向(8)上的移动速度；该对靶喷雾方法包括下述步骤：
a、车载平台(7)移动时，二维激光雷达(2)在扫描平面内对车载平台侧部的待测物体(1)上下扫描，获取待测物体在扫描平面内的二维位置数据Pi，j(xi,yi)，并将二维位置数据传给计算机(5)；
b、计算机(5)根据车速传感器(4)测量的速度信号得到车载平台的移动位置数据，并将移动位置数据和二维位置数据结合转化为待测物体(1)的三维位置数据Pi,j(xi,yi,zi)；
c、计算机(5)获取待测物体的彩色图像信号PXi,Yi(Ri,Gi,Bi)后，对该数据的RGB三原色分量按下述方法进行绿色色彩提取处理，处理后的图像信号PXi,Yi(Ri,Gi,Bi)只有PXi,Yi(0,0,0)或PXi,Yi(0,255,0)两种：
;
然后计算机再把处理后的图像信号PXi,Yi(Ri,Gi,Bi)与三维位置数据按几何关系映射融合，形成待测物体(1)的三维彩色云点数据Pi,j(xi,yi,zi,Ri,Gi,Bi)；
d、再由计算机(5)对三维彩色云点数据分析，识别适合对靶喷雾作业的林木，控制喷雾装置进行对靶喷雾作业，具体过程为：
计算机对三维彩色云点数据Pi,j(xi,yi,zi,Ri,Gi,Bi)按照下述方法处理成靶标云点Qi,j：;然后计算机读取靶标云点Qi,j按下述方法进行计算：;如果S＝1则控制喷雾装置进行喷雾作业，如果S＝0则控制喷雾装置不进行喷雾作业；I，J分别为喷雾区间的大小，M为数量阈值常数，范围0～I*J。
2.根据权利要求1所述的车载式林木三维彩色成像对靶喷雾方法，其特征是：二维激光雷达(2)的扫描平面与车载平台的行驶方向垂直。
3.根据权利要求1或2所述的车载式林木三维彩色成像对靶喷雾方法，其特征是：在步骤a后、步骤b前有步骤a1：计算机(5)对待测物体在扫描平面内的二维位置数据Pi，j(xi,yi)，进行筛选，如果Xmin＜xi＜Xmax、Ymin＜yi＜Ymax则保留该二维位置数据Pi，j(xi,yi)，否则则丢弃该二维位置数据Pi，j(xi,yi)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510548915.0A CN105211034B (zh) | 2015-08-31 | 2015-08-31 | 一种车载式林木三维彩色成像对靶喷雾方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510548915.0A CN105211034B (zh) | 2015-08-31 | 2015-08-31 | 一种车载式林木三维彩色成像对靶喷雾方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105211034A CN105211034A (zh) | 2016-01-06 |
| CN105211034B true CN105211034B (zh) | 2017-10-27 |
Family
ID=54980656
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510548915.0A Active CN105211034B (zh) | 2015-08-31 | 2015-08-31 | 一种车载式林木三维彩色成像对靶喷雾方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105211034B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106885512A (zh) * | 2017-02-15 | 2017-06-23 | 吴思辰 | 一种三维扫描成像方法 |
| CN107218926B (zh) * | 2017-05-12 | 2020-04-03 | 西北工业大学 | 一种基于无人机平台的远程扫描的数据处理方法 |
| CN109580617B (zh) * | 2018-11-22 | 2020-03-17 | 华南农业大学 | 果树冠层靶标快速识别装置、方法、计算设备及存储介质 |
| CN110178825A (zh) * | 2019-07-08 | 2019-08-30 | 河北农业大学 | 基于Kinect的果园精准喷施*** |
| CN111937834B (zh) * | 2020-07-10 | 2022-05-03 | 北京农业智能装备技术研究中心 | 一种进、出风口面积联合调节的对靶喷雾机及方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5751576A (en) * | 1995-12-18 | 1998-05-12 | Ag-Chem Equipment Co., Inc. | Animated map display method for computer-controlled agricultural product application equipment |
| CN103196368B (zh) * | 2013-03-18 | 2015-07-22 | 华东师范大学 | 基于车载激光扫描数据的单株树三维绿量自动估算方法 |
| CN103548802B (zh) * | 2013-11-05 | 2015-03-25 | 南京林业大学 | 自走式果园自动对靶喷雾机及其喷雾方法 |
| CN104463894B (zh) * | 2014-12-26 | 2020-03-24 | 山东理工大学 | 一种多视角三维激光点云全局优化整体配准方法 |
-
2015
- 2015-08-31 CN CN201510548915.0A patent/CN105211034B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN105211034A (zh) | 2016-01-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105211034B (zh) | 一种车载式林木三维彩色成像对靶喷雾方法 | |
| Nissimov et al. | Obstacle detection in a greenhouse environment using the Kinect sensor | |
| US9052329B2 (en) | Tire detection for accurate vehicle speed estimation | |
| CN111369541B (zh) | 一种智能汽车恶劣天气条件下车辆检测方法 | |
| CN108038453A (zh) | 一种基于rgbd的汽车驾驶员状态检测和识别*** | |
| CN110415259B (zh) | 一种基于激光反射强度的行道树点云识别方法 | |
| US20100013615A1 (en) | Obstacle detection having enhanced classification | |
| CN108731587A (zh) | 一种基于视觉的无人机动态目标跟踪与定位方法 | |
| CN102314600A (zh) | 用于畅通路径检测的去除由基于车辆的相机捕获的图像中的阴影 | |
| CN109828267A (zh) | 基于实例分割和深度摄像头的变电站巡检机器人障碍物检测和测距方法 | |
| CN112991433B (zh) | 基于双目深度感知和车辆位置的货车外廓尺寸测量方法 | |
| CN109059869B (zh) | 一种检测植保无人机对果树喷施效果的方法 | |
| CN114639115B (zh) | 一种人体关键点与激光雷达融合的3d行人检测方法 | |
| CN107341455B (zh) | 一种区域多特征的检测方法及检测装置 | |
| KR20220004738A (ko) | 3d 맵핑 및 광의 모델링을 사용하는 객체 인식을 위한 시스템 및 방법 | |
| JP2007280041A (ja) | 車体色判別装置 | |
| CN110276371B (zh) | 一种基于深度学习的集装箱角件识别方法 | |
| Han | Tree height measurement based on image processing with 3-points correction | |
| CN103680148A (zh) | 一种出租车识别方法 | |
| CN113658089A (zh) | 一种基于深度相机的双数据流融合物体识别方法 | |
| CN109720381A (zh) | 一种轨道车防撞方法及其*** | |
| CN111332305A (zh) | 一种主动预警型交通道路感知辅助驾驶预警*** | |
| Huo et al. | Feature extraction and recognition of typical Targets by Linear Array LiDAR | |
| US20220230340A1 (en) | System and method for object recognition using 3d mapping and modeling of light | |
| Dong-Si et al. | Extraction of shady roads using intrinsic colors on stereo camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20160106 Assignee: Nantong Guangyi Electromechanical Co., Ltd. Assignor: Nanjing Forestry University Contract record no.: 2018320000368 Denomination of invention: Vehicle-mounted type forest three-dimensional color image toward-target spraying method Granted publication date: 20171027 License type: Common License Record date: 20181210 Application publication date: 20160106 Assignee: Nantong Bolin Mechanical and Electrical Technology Co., Ltd. Assignor: Nanjing Forestry University Contract record no.: 2018320000372 Denomination of invention: Vehicle-mounted type forest three-dimensional color image toward-target spraying method Granted publication date: 20171027 License type: Common License Record date: 20181210 |