CN105139407A - 一种基于Kinect传感器的颜色深度匹配植株识别方法 - Google Patents
一种基于Kinect传感器的颜色深度匹配植株识别方法 Download PDFInfo
- Publication number
- CN105139407A CN105139407A CN201510568245.9A CN201510568245A CN105139407A CN 105139407 A CN105139407 A CN 105139407A CN 201510568245 A CN201510568245 A CN 201510568245A CN 105139407 A CN105139407 A CN 105139407A
- Authority
- CN
- China
- Prior art keywords
- image
- depth
- color
- plant
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于Kinect传感器的颜色深度匹配植株识别方法,该方法包括:第一步,调用Kinect传感器彩色摄像头和红外摄像头;第二步,获取彩色图像和深度图像及其数据;第三步,对所获取的彩色图像和深度图像进行处理;第四步,彩色图像和深度图像匹配,提取植株目标。由于同时进行了彩色图像和深度图像的处理,并将两种图像匹配,在农业喷雾植株检测领域的应用中,能够更加精确的实现目标植株的检测。
Description
技术领域
本发明涉及一种农业喷雾植株检测技术,尤其涉及一种基于Kinect传感器的颜色深度匹配植株识别方法。
背景技术
近年来,由于传感器具有微型化、数字化、智能化以及多功能化等特点,在农业果树、花卉等植株的农药喷雾领域起到重要的作用,基于传感器的植株检测技术也逐渐成为人们研究的一大热点。目前,基于传感器的植株检测技术主要有三种:红外线技术、超声波对靶技术和激光技术。基于红外线技术和超声波对靶技术的传感器检测方法,由于其受喷雾环境温度、湿度等因素的影响,对植株检测的精确性有很大的影响,从而降低了农药的有效利用率;基于激光技术的传感器检测方法,其高精度、高速度的检测特点,能够快速实现植株目标的实时检测,从而达到提高农药的有效利用率、减少农药对环境污染的目的,但是基于激光技术的传感器,其价格往往较高,运用在农业喷雾领域,增加了农药喷洒设备的成本,从经济层面上考虑,其实际应用的推广难度较大。Kinect传感器为微软公布的XBOX360体感周边外设,该设备的技术可以同时提供彩色图像和深度图像,从而获取三维空间的数据,且不受光线的影响,其价格也较便宜。
发明内容
为解决现有技术的不足,本发明的目的在于提供一种基于Kinect传感器的颜色深度匹配植株识别方法,能够更加精确的实现目标植株的检测。
本发明采用如下的技术方案:
一种基于Kinect传感器的颜色深度匹配植株识别方法,包括步骤:
步骤1,调用Kinect传感器彩色摄像头和红外摄像头;
步骤2,获取彩色图像和深度图像及其数据;
步骤3,对所获取的彩色图像和深度图像进行处理:将步骤2中所获取的RGB彩色图像颜色模型转换为HSV颜色模型,对色调H进行阀值限制,从而获取图像中绿色植株部分,显示为白色点阵,其余背景及杂物显示为黑色点阵,对HSV阀值处理后的图像进行Canny算子图像边缘检测处理,标识出图像中的植株的实际边缘;将步骤2中所获取的深度图像,限制需要检测的深度距离范围,显示限定范围内的物体,去除范围之外的干扰物,对限制深度范围后获取的深度图像,选用最大类间方差法对限定深度范围后的图像进行阀值处理,进一步去除背景干扰物,显示范围物体为白色,背景色为黑色;
步骤4,对步骤3处理后得到的彩色图像和深度图像进行相乘匹配,保留深度距离范围内的绿色植株目标,去除背景及其他杂物;所述彩色图像和深度图像进行相乘匹配方法的图像匹配原则为:当同一像素点的彩色图像和深度图像像素值均不为0时,表示该像素为目标植株点,保留该像素点;反之,若彩色图像和深度图像存在0像素值时,说明该像素点为误差点,去除该像素点。
进一步,所述步骤1,调用Kinect传感器彩色摄像头和红外摄像头,彩色摄像头所获取的彩色图像像素为640x480,红外摄像头所获取的深度图像像素为640x480。
进一步,所述步骤2,通过帧触发循环函数设定循环次数i,获取指定帧i+1的彩色图像和深度图像及其数据流。
进一步,所述步骤3,对色调H的阀值限制范围取[90,145],限制需要检测的深度距离范围为[700,1200],所选取的数值范围能够充分实现限定深度距离范围内对应植株目标有无、大小、形状等特征信息的检测。
进一步,所述步骤4中,彩色图像和深度图像进行相乘匹配方法的其数学模型如下:
其中pn为彩色图像和深度图像进行相乘匹配所得图像像素值的有无,有置1,无则置0;cn为彩色图像的像素值,dn为深度图像的像素值
本发明的有益效果在于:一种基于Kinect传感器的颜色深度匹配植株识别方法,通过彩色摄像头和深度摄像头获取彩色图像和深度图像,并对其进行相应的图像处理和匹配,实现限定深度距离范围内对应植株目标有无、大小、形状等特征信息的检测,满足农业喷雾植株目标检测的要求,提高喷雾的精确度和农药的有效利用率,降低农药喷洒的浪费以及对环境的影响。
附图说明
图1是本发明一种基于Kinect传感器的颜色深度匹配植株识别方法的步骤流程图;
图2是本发明基于图1的进一步步骤实施图;
图3是本发明通过MATLAB调用Kinect传感器获取的彩色图像;
图4是本发明对所获取的彩色图像处理后的效果图;
图5是本发明对所获取的深度图像处理后的效果图;
图6是本发明对处理后的彩色图像和深度图像进行匹配的效果图。
具体实施方式
以下结合附图和具体实施例对本发明作具体的介绍。
参照图1所示,本发明提供一种基于Kinect传感器的颜色深度匹配植株识别方法,通过彩色摄像头和深度摄像头获取彩色图像和深度图像,并对其进行相应的图像处理和匹配,实现限定深度距离范围内对应植株目标有无、大小、形状等特征信息的检测。包括如下步骤:
步骤1,通过MATLAB软件调用Kinect传感器彩色摄像头和红外摄像头;
步骤2,获取彩色图像和深度图像及其数据;
步骤3,对所获取的彩色图像和深度图像进行处理;
步骤4,彩色图像和深度图像匹配,提取植株目标。
本发明相对现有技术来说,同时调用彩色摄像头和深度摄像头,对所获取的彩色图像和深度图像进行处理,从颜色以及深度信息这两方面同时进行目标植株的检测提取,因此在植株的检测识别上能够实现比现有技术的识别准确度更好。
参照图2所示,给出了基于图1的更详细的步骤实施图。本发明将结合图3~图6的实例对图1的各个步骤进行详细论述,实例的预期效果是识别与彩色图像图3中形状不规则的绿色植株(a)的枝叶部分。
步骤1:通过MATLAB软件调用Kinect传感器彩色摄像头和红外摄像头,将Kinect传感器接至计算机上,彩色摄像头所获取的彩色图像像素为640x480,红外摄像头所获取的深度图像像素为640x480。
步骤2:通过软件程序中的帧触发循环函数设定循环次数i,获取指定帧i+1的彩色图像和深度图像及其数据流。所获取的单帧图像数据以矩阵形式保存,其中彩色图像数据为640x480x3uint8格式,深度图像数据为640x480uint16格式。
步骤3:对所获取的彩色图像和深度图像进行处理。
(1)彩色图像处理:
将步骤2中所获取的RGB彩色图像颜色模型转换为HSV颜色模型,对色调H进行阀值限制,本发明实例中对色调H的阀值限制范围优先选取[90,145],从而获取图像中绿色植株部分,显示为白色点阵,其余背景及杂物显示为黑色点阵,可根据实际需要,更改色调H的阀值范围。
对HSV阀值处理后的图像进行Canny算子图像边缘检测处理,标识出图像中的植株的实际边缘。在实际操作过程中,可根据需实现的效果不同,选取其他图像边缘检测的方法。
从图4中可以看出,Kinect所获取的彩色图像经处理后,可以去除其它非绿色物体的干扰,并将形状不规则的绿色植株(a)、(b)的枝叶部分从复杂的色彩环境中提取出来。
(2)深度图像处理:
将步骤2中所获取的深度图像,限制需要检测的深度距离范围,显示限定范围内的物体,去除范围之外的干扰物。其中,深度范围根据实际实施例选取,本发明实施选取的深度范围优选为[700,1200],在深度范围内的数据保留,深度范围外的数据置为0。
对限制深度范围后获取的深度图像,选用最大类间方差法(OTSU)对限定深度范围后的图像进行阀值处理,进一步去除背景干扰物,显示范围物体为白色,背景色为黑色,此处选用的最大类间方差法(OTSU)是由日本学者大津(NobuyukiOtsu)于1979年提出的一种自适应的阀值确定的方法,在实际操作过程中,可根据需求使用其他算法对阀值范围进行限定。
从图5中可以看出,Kinect所获取的深度图像经处理后,所限制的深度范围[700,1200]内的植株(a)及其他物体均被保留,范围之外的干扰植株(b)和物体已被去除。
步骤4:对步骤3处理后得到的彩色图像和深度图像进行相乘匹配,保留深度距离范围内的绿色植株目标,去除背景及其他杂物。彩色图像和深度图像进行相乘匹配方法,其数学模型如下:
其中pn为彩色图像和深度图像进行相乘匹配所得图像像素值的有无,有置1,无则置0;cn为彩色图像的像素值,dn为深度图像的像素值。当同一像素点的彩色图像和深度图像像素值均不为0时,表示该像素为目标植株点,保留该像素点;反之,若彩色图像和深度图像存在0像素值时,说明该像素点为误差点,去除该像素点。
从图6中可以看出,实例的预期效果已经达到,通过处理后的彩色图像和深度图像的匹配,去除了彩色图像中绿色干扰植株(b)的枝叶部分,同时去除了深度图像中其他干扰物,仅保留了所需识别的形状不规则绿色植株(a)的枝叶部分。
本发明基于Kinect传感器采集的彩色图像和深度图像,通过颜色数据对彩色图像进行限制,深度距离对深度图像进行限制,同时从颜色和距离两方面对所获取的数据进行处理,更加精确的实现对植株目标有无、大小、形状等特征的检测。本发明可以广泛应用于农业喷雾领域的植株目标检测、植株生长状况等方面。
以上内容是结合具体的软件实施方法对本发明所作的进一步详细说明,不能认定本发明的具体实施只限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,采用其他软件或算法,而且性能或用途相同,都应当视为属于本发明的保护范围。
Claims (5)
1.一种基于Kinect传感器的颜色深度匹配植株识别方法,其特征在于,包括步骤:
步骤1,调用Kinect传感器彩色摄像头和红外摄像头;
步骤2,获取彩色图像和深度图像及其数据;
步骤3,对所获取的彩色图像和深度图像进行处理:将步骤2中所获取的RGB彩色图像颜色模型转换为HSV颜色模型,对色调H进行阀值限制,从而获取图像中绿色植株部分,显示为白色点阵,其余背景及杂物显示为黑色点阵,对HSV阀值处理后的图像进行Canny算子图像边缘检测处理,标识出图像中的植株的实际边缘;将步骤2中所获取的深度图像,限制需要检测的深度距离范围,显示限定范围内的物体,去除范围之外的干扰物,对限制深度范围后获取的深度图像,选用最大类间方差法对限定深度范围后的图像进行阀值处理,进一步去除背景干扰物,显示范围物体为白色,背景色为黑色;
步骤4,对步骤3处理后得到的彩色图像和深度图像进行相乘匹配,保留深度距离范围内的绿色植株目标,去除背景及其他杂物;所述彩色图像和深度图像进行相乘匹配方法的图像匹配原则为:当同一像素点的彩色图像和深度图像像素值均不为0时,表示该像素为目标植株点,保留该像素点;反之,若彩色图像和深度图像存在0像素值时,说明该像素点为误差点,去除该像素点。
2.根据权利要求1所述的一种基于Kinect传感器的颜色深度匹配植株识别方法,其特征在于:所述步骤1,调用Kinect传感器彩色摄像头和红外摄像头,彩色摄像头所获取的彩色图像像素为640x480,红外摄像头所获取的深度图像像素为640x480。
3.根据权利要求1所述的一种基于Kinect传感器的颜色深度匹配植株识别方法,其特征在于:所述步骤2,通过帧触发循环函数设定循环次数i,获取指定帧i+1的彩色图像和深度图像及其数据流。
4.根据权利要求1所述的一种基于Kinect传感器的颜色深度匹配植株识别方法,其特征在于:所述步骤3,对色调H的阀值限制范围取[90,145],限制需要检测的深度距离范围为[700,1200]。
5.根据权利要求1所述的一种基于Kinect传感器的颜色深度匹配植株识别方法,其特征在于:所述步骤4中,彩色图像和深度图像进行相乘匹配方法的其数学模型如下:
其中pn为彩色图像和深度图像进行相乘匹配所得图像像素值的有无,有置1,无则置0;cn为彩色图像的像素值,dn为深度图像的像素值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510568245.9A CN105139407B (zh) | 2015-09-08 | 2015-09-08 | 一种基于Kinect传感器的颜色深度匹配植株识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510568245.9A CN105139407B (zh) | 2015-09-08 | 2015-09-08 | 一种基于Kinect传感器的颜色深度匹配植株识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105139407A true CN105139407A (zh) | 2015-12-09 |
CN105139407B CN105139407B (zh) | 2018-08-21 |
Family
ID=54724739
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510568245.9A Active CN105139407B (zh) | 2015-09-08 | 2015-09-08 | 一种基于Kinect传感器的颜色深度匹配植株识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105139407B (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106060146A (zh) * | 2016-06-22 | 2016-10-26 | 江苏大学 | 基于压缩感知的变量喷雾靶标图像云端传输与远程观测***及方法 |
CN106247951A (zh) * | 2016-08-29 | 2016-12-21 | 上海交通大学 | 一种基于深度图像的物体测量方法 |
CN106774856A (zh) * | 2016-08-01 | 2017-05-31 | 深圳奥比中光科技有限公司 | 基于唇语的交互方法以及交互装置 |
CN106897719A (zh) * | 2017-01-06 | 2017-06-27 | 沈阳工业大学 | 基于Kinect的典型零部件识别与定位方法 |
CN108335308A (zh) * | 2017-01-20 | 2018-07-27 | 深圳市祈飞科技有限公司 | 一种橙子自动检测方法、***以及机器人智能零售终端 |
CN108629779A (zh) * | 2017-03-24 | 2018-10-09 | 上海传英信息技术有限公司 | 智能抠图的方法和移动终端 |
CN109471434A (zh) * | 2018-11-09 | 2019-03-15 | 江苏大学 | 一种新型的变量喷雾路径规划自主导航***及方法 |
CN109886905A (zh) * | 2019-01-25 | 2019-06-14 | 江苏大学 | 一种基于Kinect传感器的颜色深度融合的导航线提取识别方法 |
CN109923856A (zh) * | 2017-05-11 | 2019-06-21 | 深圳市大疆创新科技有限公司 | 补光控制装置、***、方法以及移动设备 |
CN111899294A (zh) * | 2020-09-30 | 2020-11-06 | 歌尔光学科技有限公司 | 物体检测方法、物体检测装置以及物体检测*** |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130033484A1 (en) * | 2011-08-01 | 2013-02-07 | Fuji Xerox Co., Ltd. | System and method for interactive markerless paper documents in 3d space with mobile cameras and projectors |
CN103971116A (zh) * | 2014-04-24 | 2014-08-06 | 西北工业大学 | 基于Kinect的感兴趣区域检测方法 |
CN104700404A (zh) * | 2015-03-02 | 2015-06-10 | 中国农业大学 | 一种果实定位识别方法 |
-
2015
- 2015-09-08 CN CN201510568245.9A patent/CN105139407B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130033484A1 (en) * | 2011-08-01 | 2013-02-07 | Fuji Xerox Co., Ltd. | System and method for interactive markerless paper documents in 3d space with mobile cameras and projectors |
CN103971116A (zh) * | 2014-04-24 | 2014-08-06 | 西北工业大学 | 基于Kinect的感兴趣区域检测方法 |
CN104700404A (zh) * | 2015-03-02 | 2015-06-10 | 中国农业大学 | 一种果实定位识别方法 |
Non-Patent Citations (2)
Title |
---|
刘俊: "运动目标的检测与跟踪算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
王辉 等: "基于视觉组合的苹果作业机器人识别与定位", 《农业机械学报》 * |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106060146A (zh) * | 2016-06-22 | 2016-10-26 | 江苏大学 | 基于压缩感知的变量喷雾靶标图像云端传输与远程观测***及方法 |
CN106774856A (zh) * | 2016-08-01 | 2017-05-31 | 深圳奥比中光科技有限公司 | 基于唇语的交互方法以及交互装置 |
CN106774856B (zh) * | 2016-08-01 | 2019-08-30 | 深圳奥比中光科技有限公司 | 基于唇语的交互方法以及交互装置 |
CN106247951A (zh) * | 2016-08-29 | 2016-12-21 | 上海交通大学 | 一种基于深度图像的物体测量方法 |
CN106247951B (zh) * | 2016-08-29 | 2019-04-02 | 上海交通大学 | 一种基于深度图像的物体测量方法 |
CN106897719A (zh) * | 2017-01-06 | 2017-06-27 | 沈阳工业大学 | 基于Kinect的典型零部件识别与定位方法 |
CN106897719B (zh) * | 2017-01-06 | 2019-09-06 | 沈阳工业大学 | 基于Kinect的典型零部件识别与定位方法 |
CN108335308A (zh) * | 2017-01-20 | 2018-07-27 | 深圳市祈飞科技有限公司 | 一种橙子自动检测方法、***以及机器人智能零售终端 |
CN108629779A (zh) * | 2017-03-24 | 2018-10-09 | 上海传英信息技术有限公司 | 智能抠图的方法和移动终端 |
CN109923856A (zh) * | 2017-05-11 | 2019-06-21 | 深圳市大疆创新科技有限公司 | 补光控制装置、***、方法以及移动设备 |
CN109471434A (zh) * | 2018-11-09 | 2019-03-15 | 江苏大学 | 一种新型的变量喷雾路径规划自主导航***及方法 |
CN109471434B (zh) * | 2018-11-09 | 2022-01-11 | 江苏大学 | 一种新型的变量喷雾路径规划自主导航***及方法 |
CN109886905A (zh) * | 2019-01-25 | 2019-06-14 | 江苏大学 | 一种基于Kinect传感器的颜色深度融合的导航线提取识别方法 |
CN111899294A (zh) * | 2020-09-30 | 2020-11-06 | 歌尔光学科技有限公司 | 物体检测方法、物体检测装置以及物体检测*** |
CN111899294B (zh) * | 2020-09-30 | 2021-05-11 | 歌尔光学科技有限公司 | 物体检测方法、物体检测装置以及物体检测*** |
Also Published As
Publication number | Publication date |
---|---|
CN105139407B (zh) | 2018-08-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105139407A (zh) | 一种基于Kinect传感器的颜色深度匹配植株识别方法 | |
AU2015265625B2 (en) | Methods, systems, and devices relating to real-time object identification | |
CN103914836B (zh) | 基于机器视觉的农田机械导航线提取算法 | |
Tong et al. | Skewness correction and quality evaluation of plug seedling images based on Canny operator and Hough transform | |
CN105701476A (zh) | 一种基于机器视觉的生产线产品自动化识别***及方法 | |
CN201600330U (zh) | 成熟菠萝识别与定位*** | |
CN105989601B (zh) | 基于机器视觉的农业agv玉米行间导航基准线提取方法 | |
CN106688705A (zh) | 一种智能种植大棚及其采用的监测方法 | |
CN104036231B (zh) | 人体躯干识别装置及方法、终点影像检测方法、装置 | |
CN105719282B (zh) | 一种果园红色苹果图像果实枝叶区域获取方法 | |
CN114067206B (zh) | 一种基于深度图像的球形果实识别定位方法 | |
CN112990103A (zh) | 一种基于机器视觉的串采二次定位方法 | |
Feng et al. | A separating method of adjacent apples based on machine vision and chain code information | |
CN105243658A (zh) | 一种基于Kinect传感器的植株深度特征识别方法 | |
CN103729621B (zh) | 基于叶片骨架模型的植物叶片图像自动识别方法 | |
CN114387343A (zh) | 一种成簇平菇的菌柄采摘位置的检测方法 | |
CN113331160B (zh) | 一种烟草专用精准喷药*** | |
CN106683069A (zh) | 农田苗期行内作物-杂草识别方法 | |
CN108734054A (zh) | 无遮挡的柑橘果实图像识别方法 | |
CN106780443A (zh) | 作物害虫的预警方法和作物害虫的预警装置 | |
Tannouche et al. | A real time efficient management of onions weeds based on a multilayer perceptron neural networks technique | |
CN112016418B (zh) | 一种割线识别方法、装置、电子设备及存储介质 | |
Zhang et al. | A leaf vein detection scheme for locating individual plant leaves | |
Xiao-Lian et al. | Identification and location of picking tomatoes based on machine vision | |
Shasha et al. | Evaluation of grapevine sucker segmentation algorithms for precision targeted spray |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |