CN104408407A - 苹果采摘机器人的夜间识别方法 - Google Patents
苹果采摘机器人的夜间识别方法 Download PDFInfo
- Publication number
- CN104408407A CN104408407A CN201410617729.3A CN201410617729A CN104408407A CN 104408407 A CN104408407 A CN 104408407A CN 201410617729 A CN201410617729 A CN 201410617729A CN 104408407 A CN104408407 A CN 104408407A
- Authority
- CN
- China
- Prior art keywords
- apple
- image
- pixel
- district
- night
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000003306 harvesting Methods 0.000 title abstract description 6
- 238000001914 filtration Methods 0.000 claims abstract description 9
- 230000011218 segmentation Effects 0.000 claims abstract description 5
- 238000005286 illumination Methods 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 6
- 230000004075 alteration Effects 0.000 claims description 5
- 238000009877 rendering Methods 0.000 claims description 4
- 241001236093 Bulbophyllum maximum Species 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 241000220225 Malus Species 0.000 abstract description 37
- 235000021016 apples Nutrition 0.000 abstract description 4
- 238000003709 image segmentation Methods 0.000 abstract description 4
- 235000013399 edible fruits Nutrition 0.000 description 7
- 230000008569 process Effects 0.000 description 4
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- 235000010724 Wisteria floribunda Nutrition 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 235000007688 Lycopersicon esculentum Nutrition 0.000 description 1
- 240000003768 Solanum lycopersicum Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- 238000002386 leaching Methods 0.000 description 1
- 239000002932 luster Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种苹果采摘机器人的夜间识别方法，在人工光源照明的条件下，进行图像采集；采用R-G色差分割法进行基于颜色的分割图像，并用最大类间方差法二值化，采用滤除较小的连通区的方法滤除S2所得图像中的噪声；然后，定位图像中苹果的大致位置，再在原始图像中提取出苹果所在区域，提取出苹果表面的高亮反光区；最后将高亮反光区与S3的结果图像相加融合得到最终结果。本发明解决了苹果采摘机器人夜间识别中光源的选择和布置问题以及夜间图像中阴影和反光的问题，使苹果采摘机器人在夜间也能正常工作。
Description
技术领域
本发明涉及果树采摘机器人图像识别领域，尤其是苹果采摘机器人的夜间识别方法。
背景技术
我国是一个苹果生产大国，用于水果采摘的劳动力占整个苹果生产过程所用劳动力的1/3以上。使用苹果采摘机器人进行采摘不仅可以降低人工成本，还可以减少损伤率，提高采摘效率。为了在苹果成熟期内，尽快完成密集的采摘工作，水果采摘机器人不仅需要在白天能正常工作还需要具有夜间工作的能力。但是夜间光照不足，采摘机器人的视觉***难以获得清晰的图像，使机器人无法正常工作。
1997年，孙明等通过对苹果果实、叶、枝等的色泽信号的直方图分析,利用色差信号(G-Y)和(R-B)分别对红色果实和黄绿果实的图像进行分割处理。2001年,南京农业大学的张瑞合等研究了自然光条件下西红柿的识别和定位问题。2002年，Bulanon D.M.等根据富士苹果在颜色与背景有较大的差异，利用照度和颜色模型对富士苹果进行检测,并用最佳阈值进行分割。2003年，中国农业大学的张铁中等根据大部分水果成熟时，其表面颜色会发生明显变化，并且和自然背景存在较大的差异的特点，提出了一种基于色彩空间参照表的图像分割算法，用于提取复杂背景下的目标果实。然而这些方法大都是基于白天自然光下的图像识别，对于夜间人工光源下的图像识别少有涉及。
发明内容
针对现有技术中存在不足，本发明提供了一种苹果采摘机器人的夜间识别方法，解决了苹果采摘机器人夜间识别中光源的选择和布置问题以及夜间图像中阴影和反光的问题，使苹果采摘机器人在夜间也能正常工作。
本发明是通过以下技术手段实现上述技术目的的。
苹果采摘机器人的夜间识别方法，其特征在于，包含以下步骤：
S1：在人工光源照明的条件下，进行图像采集；
S2：采用R-G色差分割法进行基于颜色的分割图像，并用最大类间方差法二值化；
S3：采用滤除较小的连通区的方法滤除S2所得图像中的噪声；
S4：定位图像中苹果的大致位置，再在原始图像中提取出苹果所在区域；
S5：提取出苹果表面的高亮反光区；
S6：最后将高亮反光区与S3的结果图像相加融合得到最终结果。
进一步地，所述S1中照明用的人工光源为显色性100的白炽灯。
进一步地，所述白炽灯为两盏、且间隔1m布置。
进一步地，所述S3的具体步骤如下：
a.按照8连通标准划分连通区，对每个连通区进行编号并且计算各个连通区域的大小即像素数；
b.找出最大的连通区；
c.将面积小于最大连通区0.1倍的连通区删除，即将小连通区的像素值置0。
进一步地，所述S4具体步骤如下：
a.求出S3的结果图像中各个连通区内像素点的坐标平均值并将其作为连通区的中心o；
b.求出各个连通区各像素点横坐标与o点横坐标的最大差值和纵坐标与o点纵坐标的最大差值，取两者中最大的记为r；
c.在S1中采集的图像里以o为中心，2r为边长画一个正方形并将正方形外的区域的像素的RGB分量都置为0。
进一步地，所述S5的方法是根据S4结果图像中每个像素点的RGB分量大小进行分类，保留RGB分量分别处于230～255,220～255和210～255范围内的像素点并将这些像素点的RGB分量大小都置为255，其余像素点RGB分量大小都置为0。
本发明的有益效果是：白炽灯良好的显色性减少了采集到图像的色彩偏差。同时采用两盏灯在不同位置进行照明，减少了阴影的影响，对高亮反光区的提取屏蔽了反光造成的色彩丢失，使识别出的果实更完整接近白天自然光下的识别效果，让采摘机器人在夜间也能正常工作。
附图说明
图1为夜间单个白炽灯照明下的图像；
图2为夜间两个白炽灯照明下的图像；
图3为图2采用R-G色差分割后并通过最大类间方差法二值化后的图像；
图4为图3滤除较小连通区域后的图像；
图5为通过图4确定苹果大致位置后在图2中提取出苹果所在区域的结果图像；
图6为在图4中提取出高亮反光区的结果图像；
图7为图4和图6相加融合后的图像。
具体实施方式
下面结合附图以及具体实施例对本发明作进一步的说明，但本发明的保护范围并不限于此。
本发明的具体步骤为：
1.图像的采集
本发明采用彩色CCD摄像头采集图像，但是夜间照度低在无人工光源照明的情况下采集的图像难以识别。因此采用人工光源进行照明，辅助摄像头进行图像采集。相比于其他光源，白炽灯具有良好的显色性能够保证拍摄的图像不会产生色彩上的偏差更接近于真实环境并且图像色彩饱和度更佳，更有利于后续的图像分割和识别。
当单独使用一盏白炽灯进行照明时，采集的图像如图1所示，由于枝叶或者苹果自身的遮挡在图像部分区域产生阴影，严重影响图像的识别。采用两盏灯相距1m布置的方法进行照明，采集的图像如图2所示，相比单点照明，两点照明能够明显的减少阴影造成的影响。对比图1和图2可以看出，采用两盏灯在不同方位照明能有效消除或削弱阴影的影响。
2.图像的不完全识别
本发明采用一种基于色彩的识别方法即R-G色差分割法对图像进行分割，也就是用RGB彩色模型下的R分量减去G分量。夜间人工光源下采集的图像背景简单存在大片暗区，并且白炽灯下图像的色彩饱和度较高，适合采用基于色彩的识别方法。此外基于色彩的识别方法算法简单，运算速度快。
色差分割后的图像是灰度图像，为了方便后续的计算和处理需要将图像二值化。本发明采用最大类间方差法对灰度图进行二值化后如图3所示。最大类间方差法计算简单，是一种稳定，常用的算法。
二值化后图像中除了苹果还有一些其他的噪声。本发明通过滤除较小连通区的方法滤除噪声，得如图4所示的图像，具体步骤如下：
a.按照8连通标准划分连通区，对每个连通区进行编号并且计算各个连通区域的大小即像素数；
b.找出最大的连通区；
c.将面积小于最大连通区0.1倍的连通区删除，即将小连通区的像素值置0。
相比于常用的腐蚀法，这种方法不仅能滤除噪声，还能保持识别出的苹果区域不受影响，从而避免对最终结果造成偏差。
夜间人工光源下采集的图像，除了可能产生阴影还会受到反光的影响在苹果表面产生高亮反光区，使部分区域色彩饱和度降低甚至全为白色。因此初步识别只能识别出苹果表面色彩饱和度较高的部分，所以识别出的苹果是残缺不全的无法作为最终的识别数据指导机器人采摘。
3.提取高亮反光区
针对苹果表面的高亮反光区饱和度低甚至全为白色的特点，本发明对高亮反光区进行单独提取。但是为了避免苹果表面区域之外其他高亮反光区的影响，本发明通过除噪后的图像中首先确定苹果的大致区域，再对区域内的高亮反光区进行提取。
确定苹果大致区域的方法步骤如下：
a.求出S3的结果图像中各个连通区内像素点的坐标平均值并将其作为连通区的中心o；
b.求出各个连通区各像素点横坐标与o点横坐标的最大差值和纵坐标与o点纵坐标的最大差值，取两者中最大的记为r；
c.在S1中采集的图像里以o为中心，2r为边长画一个正方形并将正方形外的区域的像素的RGB分量都置为0。
如图5所示，这样就将苹果所在的大致区域从复杂的图像中分离出来从而进行更为精细的处理而不必考虑复杂背景的影响。
提取高亮反光区：高亮反光区的色彩饱和度极低具体表现为RGB三个色彩分量的值都较高。经实验对比将RGB分量分别在230～255，220～255，210～255范围内的像素点定为高亮反光区的像素点。高亮反光区的提取过程是将苹果大致区域内属于高亮反光区像素点的值置1，其他点的像素值置0，如图6所示。
4.图像融合
图像融合就是将不完全识别的结果和提取的高亮反光区相加得到完整的结果，如图7所示。
所述实施例为本发明的优选的实施方式，但本发明并不限于上述实施方式，在不背离本发明的实质内容的情况下，本领域技术人员能够做出的任何显而易见的改进、替换或变型均属于本发明的保护范围。
Claims (6)
1.苹果采摘机器人的夜间识别方法，其特征在于，包括以下步骤：
S1：在人工光源照明的条件下，进行图像采集；
S2：采用R-G色差分割法进行基于颜色的分割图像，并用最大类间方差法二值化；
S3：采用滤除较小的连通区的方法滤除S2所得图像中的噪声；
S4：定位图像中苹果的大致位置，再在原始图像中提取出苹果所在区域；
S5：提取出苹果表面的高亮反光区；
S6：最后将高亮反光区与S3的结果图像相加融合得到最终结果。
2.如权利要求1所述的苹果采摘机器人的夜间识别方法，其特征在于：所述S1中照明用的人工光源为显色性100的白炽灯。
3.如权利要求2所述的苹果采摘机器人的夜间识别方法，其特征在于：所述白炽灯为两盏、且间隔1m布置。
4.如权利要求1所述的苹果采摘机器人的夜间识别方法，其特征在于：所述S3的具体步骤如下：
a.按照8连通标准划分连通区，对每个连通区进行编号并且计算各个连通区域的大小即像素数；
b.找出最大的连通区；
c.将面积小于最大连通区0.1倍的连通区删除，即将小连通区的像素值置0。
5.如权利要求1所述的苹果采摘机器人的夜间识别方法，其特征在于：所述S4的具体步骤如下：
a.求出S3的结果图像中各个连通区内像素点的坐标平均值并将其作为连通区的中心o；
b.求出各个连通区各像素点横坐标与o点横坐标的最大差值和纵坐标与o点纵坐标的最大差值，取两者中最大的记为r；
c.在S1中采集的图像里以o为中心，2r为边长画一个正方形并将正方形外的区域的像素的RGB分量都置为0。
6.如权利要求1所述的苹果采摘机器人的夜间识别方法，其特征在于：所述S5的方法是根据S4结果图像中每个像素点的RGB分量大小进行分类，保留RGB分量分别处于230～255,220～255和210～255范围内的像素点并将这些像素点的RGB分量大小都置为255，其余像素点RGB分量大小都置为0。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410617729.3A CN104408407B (zh) | 2014-11-05 | 2014-11-05 | 苹果采摘机器人的夜间识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410617729.3A CN104408407B (zh) | 2014-11-05 | 2014-11-05 | 苹果采摘机器人的夜间识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104408407A true CN104408407A (zh) | 2015-03-11 |
| CN104408407B CN104408407B (zh) | 2019-04-02 |
Family
ID=52646038
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410617729.3A Expired - Fee Related CN104408407B (zh) | 2014-11-05 | 2014-11-05 | 苹果采摘机器人的夜间识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104408407B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107341491A (zh) * | 2016-11-23 | 2017-11-10 | 华东交通大学 | 一种基于机器视觉的脐橙识别方法 |
| CN108154491A (zh) * | 2018-01-26 | 2018-06-12 | 上海觉感视觉科技有限公司 | 一种图像反光消除方法 |
| CN108710850A (zh) * | 2018-05-17 | 2018-10-26 | 中国科学院合肥物质科学研究院 | 一种适用性强的枸杞果实识别方法和*** |
| CN112580646A (zh) * | 2020-12-08 | 2021-03-30 | 北京农业智能装备技术研究中心 | 番茄果实成熟度分割方法及采摘机器人 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003000031A (ja) * | 2001-06-21 | 2003-01-07 | Bio Oriented Technol Res Advancement Inst | 果実の検出方法 |
| CN102682286A (zh) * | 2012-04-16 | 2012-09-19 | 中国农业大学 | 基于激光视觉***的采摘机器人果实识别方法 |
| CN102831398A (zh) * | 2012-07-24 | 2012-12-19 | 中国农业大学 | 基于深度图像的树上苹果识别方法 |
| CN103177445A (zh) * | 2013-03-13 | 2013-06-26 | 浙江大学 | 基于分段阈值图像分割及光斑识别的室外番茄识别方法 |
| CN103697937A (zh) * | 2013-12-06 | 2014-04-02 | 上海交通大学 | 环境与植株生长态势协同监测分析装置及方法 |
-
2014
- 2014-11-05 CN CN201410617729.3A patent/CN104408407B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003000031A (ja) * | 2001-06-21 | 2003-01-07 | Bio Oriented Technol Res Advancement Inst | 果実の検出方法 |
| CN102682286A (zh) * | 2012-04-16 | 2012-09-19 | 中国农业大学 | 基于激光视觉***的采摘机器人果实识别方法 |
| CN102831398A (zh) * | 2012-07-24 | 2012-12-19 | 中国农业大学 | 基于深度图像的树上苹果识别方法 |
| CN103177445A (zh) * | 2013-03-13 | 2013-06-26 | 浙江大学 | 基于分段阈值图像分割及光斑识别的室外番茄识别方法 |
| CN103697937A (zh) * | 2013-12-06 | 2014-04-02 | 上海交通大学 | 环境与植株生长态势协同监测分析装置及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 吕继东等: "苹果采摘机器人目标果实快速跟踪识别方法", 《农业机械学报》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107341491A (zh) * | 2016-11-23 | 2017-11-10 | 华东交通大学 | 一种基于机器视觉的脐橙识别方法 |
| CN108154491A (zh) * | 2018-01-26 | 2018-06-12 | 上海觉感视觉科技有限公司 | 一种图像反光消除方法 |
| CN108154491B (zh) * | 2018-01-26 | 2021-04-23 | 上海觉感视觉科技有限公司 | 一种图像反光消除方法 |
| CN108710850A (zh) * | 2018-05-17 | 2018-10-26 | 中国科学院合肥物质科学研究院 | 一种适用性强的枸杞果实识别方法和*** |
| CN108710850B (zh) * | 2018-05-17 | 2022-12-06 | 中国科学院合肥物质科学研究院 | 一种枸杞果实识别方法和*** |
| CN112580646A (zh) * | 2020-12-08 | 2021-03-30 | 北京农业智能装备技术研究中心 | 番茄果实成熟度分割方法及采摘机器人 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104408407B (zh) | 2019-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108470339A (zh) | 一种基于信息融合的重叠苹果视觉识别与定位方法 | |
| Silwal et al. | Apple identification in field environment with over the row machine vision system | |
| CN103177445B (zh) | 基于分段阈值图像分割及光斑识别的室外番茄识别方法 | |
| CN105913421B (zh) | 基于自适应形状暗通道的遥感图像云检测方法 | |
| CN104408407A (zh) | 苹果采摘机器人的夜间识别方法 | |
| CN106152937A (zh) | 空间定位装置、***及其方法 | |
| CN102759528A (zh) | 一种农作物叶部病害检测方法 | |
| CN103310218A (zh) | 一种重叠遮挡果实精确识别方法 | |
| CN106096491B (zh) | 一种眼底彩色照相图像中微动脉瘤自动化识别方法 | |
| CN103295018A (zh) | 一种枝叶遮挡果实精确识别方法 | |
| CN103679146A (zh) | 基于高通滤波器和Hough变换的安全带智能检测方法 | |
| CN103279762A (zh) | 一种自然环境下果实常见生长形态判定方法 | |
| CN114359143A (zh) | 一种遥感影像道路提取方法 | |
| CN110399785B (zh) | 一种基于深度学习与传统算法的树叶遮挡的检测方法 | |
| CN103456012B (zh) | 基于最大稳定曲率区域的视觉人手检测跟踪方法及*** | |
| CN104636716B (zh) | 绿色果实识别方法 | |
| CN110134148A (zh) | 一种输电线路直升机巡视中输电线路沿线跟踪方法 | |
| CN106023223A (zh) | 柑橘果实大小描述及分级方法 | |
| CN108090910A (zh) | 一种基于信息熵梯度简化pcnn模型的夜间室外番茄植株图像分割算法 | |
| CN105427321B (zh) | 一种检测托盘上是否有软袋的方法 | |
| CN101794391A (zh) | 一种温室环境下导航线提取方法 | |
| Mohammed Amean et al. | Automatic plant branch segmentation and classification using vesselness measure | |
| CN109255795A (zh) | 一种番茄植株边缘排序算法 | |
| CN114240758B (zh) | 一种以四边形地块为参照物的山区茶园低空图像拼接方法 | |
| CN109948543A (zh) | 一种田间近景图像的导航线提取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20200528 Address after: 215500 No.13, Caotang Road, Changshu, Suzhou, Jiangsu Province Patentee after: Changshu intellectual property operation center Co.,Ltd. Address before: Zhenjiang City, Jiangsu Province, 212013 Jingkou District Road No. 301 Patentee before: JIANGSU University |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20200903 Address after: 3 / F, No. 88, changbang Road, Santang village, Mocheng street, Changshu City, Suzhou City, Jiangsu Province Patentee after: Changshu guide brand management Co.,Ltd. Address before: 215500 No.13, Caotang Road, Changshu, Suzhou, Jiangsu Province Patentee before: Changshu intellectual property operation center Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190402 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |