CN111931789A - 一种适用于不同光照、作物密度和生长背景的直线作物行提取方法 - Google Patents

一种适用于不同光照、作物密度和生长背景的直线作物行提取方法 Download PDF

Info

Publication number
CN111931789A
CN111931789A CN202010735409.3A CN202010735409A CN111931789A CN 111931789 A CN111931789 A CN 111931789A CN 202010735409 A CN202010735409 A CN 202010735409A CN 111931789 A CN111931789 A CN 111931789A
Authority
CN
China
Prior art keywords
crop
window
clustering
image
growth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010735409.3A
Other languages
English (en)
Other versions
CN111931789B (zh
Inventor
魏新华
刘青山
王爱臣
张敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University
Original Assignee
Jiangsu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University filed Critical Jiangsu University
Priority to CN202010735409.3A priority Critical patent/CN111931789B/zh
Publication of CN111931789A publication Critical patent/CN111931789A/zh
Application granted granted Critical
Publication of CN111931789B publication Critical patent/CN111931789B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种适用于不同光照、作物密度和生长背景的直线作物行提取方法,采集田间作物的RGB图像,并转换到Lab颜色空间,提取Lab颜色空间中的a、b通道,分别计算a、b通道的最佳分割阈值,获取二值图像;对截取的二值图像顶部图像带进行垂直投影,获取均值漂移的聚类窗口带宽;计算聚类窗口内的均值漂移向量,同时以窗口边缘为种子点利用区域生长对作物进行聚类,通过窗口移动和区域生长得到所有作物行;最后对每行作物的中心点进行拟合得到直线作物行。本发明适用不同光照条件、作物密度和生长背景的作物行提取,识别率高、运算速度快,为精准农业导航在复杂田间环境影响下的提取,提供了一种有效、抗干扰的方法。

Description

一种适用于不同光照、作物密度和生长背景的直线作物行提 取方法
技术领域
本发明涉及农业图像处理的相关领域,具体涉及一种适用于不同光照、作物密度和生长背景的直线作物行提取方法。
背景技术
随着精准农业和农业装备智能化的迅速发展,为了节约劳动力和提高效率,基于机器视觉的农机自动驾驶和辅助导航成为精准农业的研究热点。其中作物行中心线的提取是农机视觉导航的关键环节。
国内外相关学者对机器视觉下的作物行提取做了大量研究。如常用的Hough变换提取作物行,但其存在因求取累加器峰值导致过大计算量的问题,且易受杂草和作物边缘影响。最小二乘法也在作物行提取中被广泛采用,最小二乘法相比Hough变换实时性更好,但处理场景单一,算法的适应性和泛化性能较差。
在田间进行实际作物行提取时,田间光照、不同作物种植密度和作物生长背景等因素对作物行提取算法的鲁棒性提出了较为严格的要求,现有方法难以实现不同条件下作物行的准确提取。同时,为满足农机视觉导航实时性的要求,作物行提取算法的处理速度须够快。
发明内容
针对现有技术中存在不足,本发明提供了一种适用于不同光照、作物密度和生长背景的直线作物行提取方法,该方法鲁棒性较好,能够有效减小不同环境光照、作物生长密度、作物生长背景和杂草等因素的影响,实现不同条件下作物行的准确提取。
本发明是通过以下技术手段实现上述技术目的的。
一种适用于不同光照、作物密度和生长背景的直线作物行提取方法,将采集的田间作物的RGB图像转换到Lab颜色空间,提取Lab颜色空间中的a、b通道,计算a、b通道的最佳分割阈值,通过阈值分割获取二值图像;对截取的二值图像顶部图像带进行垂直投影,获取均值漂移的聚类窗口带宽;从二值图像顶部图像带中心点作为起始点,计算以窗口带宽为边长的正方形内所有样本点的漂移向量,中心点沿漂移向量移动;同时选取窗口边缘的目标样本点作为种子点,对窗口左右两侧进行扩张,当中心点漂移至图像底部时,一行作物标记完成,再进行下一行聚类,最终遍历整幅图像;由每行作物聚类过程中的中心点确定直线作物行。
进一步的优选方案,所述a、b通道的最佳分割阈值为:
Figure BDA0002604844490000021
其中:ta表示a通道中的图像背景区域和目标区域的熵之和达到最大时的最佳分割阈值,tb表示b通道中的图像背景区域和目标区域的熵之和达到最大时的最佳分割阈值,argmax为函数取最大值时对应的自变量取值,t为像素,目标区域的熵
Figure BDA0002604844490000022
背景区域的熵
Figure BDA0002604844490000023
目标区域在整张图片中所占比例为ω0,背景区域在整张图片中所占比例为ω1,p[i]是图像灰度值为i的概率,k为像素最大值。
进一步的优选方案,通过阈值分割获取二值图像后,还进行形态学操作,包括:滤除小面积连通区域,进行闭操作去除噪声点,再进行开操作填充孔洞。
进一步的优选方案,所述聚类窗口带宽为感兴趣区域中作物行间距的最小值。
进一步的优选方案,所述漂移向量为:
Figure BDA0002604844490000024
其中:M(x)为聚类窗口内样本点的漂移向量,p为聚类中心点,
Figure BDA0002604844490000025
为核函数,Sd为窗口区域。
进一步的优选方案,所述中心点沿漂移向量移动后,记录每次漂移的中心点,如果漂移向量停滞但仍未到达图像边缘,则扩大窗口带宽,直到聚类窗口内出现未聚类过的点。
进一步的优选方案,所述下一行聚类时,将中心点以聚类窗口带宽为单位向左右平行漂移。
本发明的有益效果为:本发明通过Lab颜色空间下的a、b双通道最大熵法提取二值图像,有效减小不同环境光照和作物背景对图像分割的影响,提高了对不同光照的适应性;通过顶部图像带进行垂直投影获取的聚类窗口带宽,根据垂直投影感兴趣区域中行间隔自适应调整聚类窗口尺寸,在保证聚类时在唯一作物行间漂移的提前下,尽可能减小迭代次数以提高运行效率,对于不同密度的作物行有较好的适应性;均值漂移和区域生长相结合的聚类方法,使本发明的聚类方法满足不同作物行密度下的作物行数识别,以及不同作物种类的作物行识别。该方法对于不同光照、不同密度、不同种类和不同背景下的作物行提取都有较好的适应性。
附图说明
图1为本发明所述直线作物行提取流程图;
图2为本发明采集到的图像示意图;
图3为本发明获取聚类窗口带宽的过程图,图3(a)为截取二值图像顶部图像带,图3(b)为图3(a)垂直投影,图3(c)为区分作物行和非作物行,图3(d)为获取聚类窗口带宽;
图4为本发明聚类完成后的中心点集图;
图5为本发明直线拟合结果图;
图6为本发明作物行提取方法在不同场景下的作物行提取结果图,图6(a)为光照较弱且作物行数较多、设有保温膜的水稻,图6(b)为光照较弱且作物行数一般、土壤干燥的小麦,图6(c)为光照较弱且作物行数较少、土壤湿润的玉米,图6(d)为光照较弱且作物行数一般、土壤湿润的玉米,图6(e)为光照较弱且作物行数一般、土壤干燥的油菜。
具体实施方式
下面结合附图以及具体实施例对本发明作进一步的说明,但本发明的保护范围并不限于此。
本实施例图像采集选择OV5640摄像头,拍摄时俯角在45°左右,OV5640摄像头实时采集田间作物信息,通过图像采集卡将数据传输给处理器(i.MX 6UL),运行在i.MX 6UL中的Linux***在Qt5+OpenCV环境下读取摄像头采集到的视频流,以便后续帧的处理。
如图1所示,一种适用于不同光照、作物密度和生长背景的直线作物行提取方法,具体包括以下步骤:
步骤(1),Qt程序通过首尾帧法读取视频流中关键帧的田间作物的RGB图像,如图2所示。
步骤(2),将RGB颜色空间下的田间作物图像转换到Lab颜色空间,提取Lab颜色空间中的a、b通道,分别计算a、b通道的图像熵,通过图像最大熵法求取a、b通道的最佳分割阈值,然后阈值分割获取二值图像,滤除小面积连通区域,进行闭操作去除噪声点,再进行开操作填充孔洞;a、b通道的最佳分割阈值表示为:
Figure BDA0002604844490000041
其中:ta表示a通道中的图像背景区域和目标区域的熵之和达到最大时的最佳分割阈值,tb表示b通道中的图像背景区域和目标区域的熵之和达到最大时的最佳分割阈值,argmax为函数取最大值时对应的自变量取值,t为像素,取值范围是0-255;
目标区域的熵Hf表示为:
Figure BDA0002604844490000042
背景区域的熵Hb表示为:
Figure BDA0002604844490000043
目标区域在整张图片中所占比例为ω0,背景区域在整张图片中所占比例为ω1,p[i]是图像灰度值为i的概率,k为像素最大值。
步骤(3),需要选择合适的聚类窗口带宽,聚类窗口过大导致相邻作物行被识别为同一作物行,聚类窗口过小会增大聚类迭代次数降低执行效率,所以需基于最小行间距的原则选取合适的窗口带宽;作物行由于透视原因,两侧作物的成像斜率较大向中间倾斜,最终汇集到图像顶部中间区域,所以选择中间区域作为感兴趣区域(ROI),选取ROI中作物行间距的最小值为聚类窗口带宽。通过截取二值图像顶部图像带,进行垂直投影,计算ROI中的作物行间距的最小值,该值即为聚类窗口带宽d。如图3所示,为获取聚类窗口带宽的过程,图3(a)为截取二值图像顶部图像带,图3(b)是对所述顶部图像带进行垂直投影,利用图3(c)中阈值μ区分作物行和非作物行,找出图像的中间区域作为ROI,如图3(d),在ROI找出非作物行的最小值,即为聚类窗口带宽d。
步骤(4),以聚类窗口带宽为单位,进行聚类,具体为:
步骤(4.1),初始化n(n的初始值为0),选中二值图像顶部图像带的中心点(0.5*W±d*n,1)作为起始点,其中W为图像宽的像素;
步骤(4.2),将包含中心点、以聚类窗口带宽d为边长的正方形为窗口内所有样本点记为集合M,判断目标区域(集合M)未标记样本点是否为空,未标记样本点为空时,n+1,直到未标记样本点为非空,将中心点视作簇C1;
步骤(4.3),计算集合M内的漂移向量,将漂移向量表示为:
Figure BDA0002604844490000051
其中:M(x)为聚类窗口内样本点的漂移向量,p为聚类中心点,
Figure BDA0002604844490000052
为核函数,采用单位均匀核函数,同时以选取窗口边缘的目标样本点作为种子点,使用区域生长法对窗口左右两侧进行扩张,标记此次集合M内样本点和区域生长扩张样本点;Sd为窗口区域;
步骤(4.4),中心点沿漂移向量指向的位置移动;
步骤(4.5),重复步骤(4.2)-(4.4),记录每次漂移的中心点,如因作物种植不连续导致聚类陷入局部最优(即目标区域未标记样本点为空),即漂移向量停滞但仍未到达底部(即未到达图像边缘),则扩大窗口带宽,直到中心点漂移至图像底部(即窗口内样本点非空),此时视为一行作物已被标记。
步骤(5),中心点返回顶部,开始进入下一行聚类,重复步骤(4),并将中心点以带宽d为单位向左右平行漂移,此时聚类的簇视为C2。
步骤(6),重复步骤(4)-(5),直至聚类的标记样本点达到图像边界,此时所有作物行都被聚类,此时所有的中心点集如图4所示。
步骤(7),根据每一簇聚类时的中心点,通过最小二乘法拟合直线,获取直线作物行,结果如图5所示。
本发明可以应用于不同作物的作物行所提取,如小麦、玉米和油菜等作物。如图6和表1所示为本发明方法和Hough变换在不同场景下提取作物行的结果对比,图6(a)为光照较弱且作物行数较多(密度较高)、设有保温膜的水稻,图6(b)为光照较弱且作物行数一般(密度较均匀)、土壤干燥的小麦,图6(c)为光照较弱且作物行数较少(密度较低)、土壤湿润的玉米,图6(d)为光照较弱且作物行数一般(密度较低)、土壤湿润的玉米,图6(e)为光照较弱且作物行数一般(密度较均匀)、土壤干燥的油菜;可以看出本发明所用方法可以全部提取出几种场景下的肉眼可见作物行,与Hough变换在不同场景下提取作物行的结果对比(见表1),本发明的行识别率(已识别行和实际行数的比值)均为100%,而且远高于Hough变换方法的行识别率;在本实施例本发明方法和Hough变换在提取作物行时,均设有参考直线,两种方法提取的作物行与参考直线的平均误差角度(误差角度是提取出的作物行直线与参考直线的夹角,参考直线为人工经验预设,所有作物行直线与参考直线夹角的均值记为作物行直线平均误差,夹角越小说明算法越精确)见表1,本发明的平均误差角度较小,识别效果更精准;且本发明作物行提取平均耗时较短。
表1本发明方法和Hough变换在不同场景下提取作物行的结果对比
Figure BDA0002604844490000061
从表1中数据可以看出,本发明提供的方法,无论是行识别率、平均误差角度或是提取耗时都优于Hough变换,所以,本发明提供的作物行提取方法为精准农业导航线的在复杂田间环境影响下的获取提供了一种快速有效、抗干扰的方法。
所述实施例为本发明的优选的实施方式,但本发明并不限于上述实施方式,在不背离本发明的实质内容的情况下,本领域技术人员能够做出的任何显而易见的改进、替换或变型均属于本发明的保护范围。

Claims (7)

1.一种适用于不同光照、作物密度和生长背景的直线作物行提取方法,其特征在于,将采集的田间作物的RGB图像转换到Lab颜色空间,提取Lab颜色空间中的a、b通道,计算a、b通道的最佳分割阈值,通过阈值分割获取二值图像;对截取的二值图像顶部图像带进行垂直投影,获取均值漂移的聚类窗口带宽;从二值图像顶部图像带中心点作为起始点,计算以窗口带宽为边长的正方形内所有样本点的漂移向量,中心点沿漂移向量移动;同时选取窗口边缘的目标样本点作为种子点,对窗口左右两侧进行扩张,当中心点漂移至图像底部时,一行作物标记完成,再进行下一行聚类,最终遍历整幅图像;由每行作物聚类过程中的中心点确定直线作物行。
2.根据权利要求1所述的适用于不同光照、作物密度和生长背景的直线作物行提取方法,其特征在于,所述a、b通道的最佳分割阈值为:
Figure FDA0002604844480000011
其中:ta表示a通道中的图像背景区域和目标区域的熵之和达到最大时的最佳分割阈值,tb表示b通道中的图像背景区域和目标区域的熵之和达到最大时的最佳分割阈值,argmax函数取最大值时对应的自变量取值,t为像素,目标区域的熵
Figure FDA0002604844480000012
背景区域的熵
Figure FDA0002604844480000013
目标区域在整张图片中所占比例为ω0,背景区域在整张图片中所占比例为ω1,p[i]是图像灰度值为i的概率,k为像素最大值。
3.根据权利要求1所述的适用于不同光照、作物密度和生长背景的直线作物行提取方法,其特征在于,通过阈值分割获取二值图像后,还进行形态学操作,包括:滤除小面积连通区域,进行闭操作去除噪声点,再进行开操作填充孔洞。
4.根据权利要求1所述的适用于不同光照、作物密度和生长背景的直线作物行提取方法,其特征在于,所述聚类窗口带宽为感兴趣区域中作物行间距的最小值。
5.根据权利要求1所述的适用于不同光照、作物密度和生长背景的直线作物行提取方法,其特征在于,所述漂移向量为:
Figure FDA0002604844480000021
其中:M(x)为聚类窗口内样本点的漂移向量,p为聚类中心点,
Figure FDA0002604844480000022
为核函数,Sd为窗口区域。
6.根据权利要求1所述的适用于不同光照、作物密度和生长背景的直线作物行提取方法,其特征在于,所述中心点沿漂移向量移动后,记录每次漂移的中心点,如果漂移向量停滞但仍未到达图像边缘,则扩大窗口带宽,直到聚类窗口内出现未聚类过的点。
7.根据权利要求1所述的适用于不同光照、作物密度和生长背景的直线作物行提取方法,其特征在于,所述下一行聚类时,将中心点以聚类窗口带宽为单位向左右平行漂移。
CN202010735409.3A 2020-07-28 2020-07-28 一种适用于不同光照、作物密度和生长背景的直线作物行提取方法 Active CN111931789B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010735409.3A CN111931789B (zh) 2020-07-28 2020-07-28 一种适用于不同光照、作物密度和生长背景的直线作物行提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010735409.3A CN111931789B (zh) 2020-07-28 2020-07-28 一种适用于不同光照、作物密度和生长背景的直线作物行提取方法

Publications (2)

Publication Number Publication Date
CN111931789A true CN111931789A (zh) 2020-11-13
CN111931789B CN111931789B (zh) 2024-05-14

Family

ID=73315297

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010735409.3A Active CN111931789B (zh) 2020-07-28 2020-07-28 一种适用于不同光照、作物密度和生长背景的直线作物行提取方法

Country Status (1)

Country Link
CN (1) CN111931789B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115601690A (zh) * 2022-12-13 2023-01-13 山东常生源生物科技股份有限公司(Cn) 一种基于智慧农业的食用菌环境检测方法
CN116243273A (zh) * 2023-05-09 2023-06-09 中国地质大学(武汉) 一种光子计数激光雷达数据滤波方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107301644A (zh) * 2017-06-09 2017-10-27 西安电子科技大学 基于均值漂移和模糊聚类的自然图像无监督分割方法
CN108133471A (zh) * 2016-11-30 2018-06-08 天津职业技术师范大学 一种自然光照条件下基于人工蜂群算法的农业移动机器人导航路径提取方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108133471A (zh) * 2016-11-30 2018-06-08 天津职业技术师范大学 一种自然光照条件下基于人工蜂群算法的农业移动机器人导航路径提取方法及装置
CN107301644A (zh) * 2017-06-09 2017-10-27 西安电子科技大学 基于均值漂移和模糊聚类的自然图像无监督分割方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115601690A (zh) * 2022-12-13 2023-01-13 山东常生源生物科技股份有限公司(Cn) 一种基于智慧农业的食用菌环境检测方法
CN116243273A (zh) * 2023-05-09 2023-06-09 中国地质大学(武汉) 一种光子计数激光雷达数据滤波方法及装置
CN116243273B (zh) * 2023-05-09 2023-09-15 中国地质大学(武汉) 一种针对植被冠层提取的光子计数激光雷达数据滤波方法

Also Published As

Publication number Publication date
CN111931789B (zh) 2024-05-14

Similar Documents

Publication Publication Date Title
CN107886086B (zh) 一种基于图像视频的目标动物检测方法及装置
DE69922973T2 (de) Verfolgung semantischer objekte in vektorbildsequenzen
CN109636784B (zh) 基于最大邻域和超像素分割的图像显著性目标检测方法
CN111753577B (zh) 自动采摘机器人中的苹果识别与定位方法
CN109447945B (zh) 基于机器视觉和图形处理的小麦基本苗快速计数方法
CN111931789B (zh) 一种适用于不同光照、作物密度和生长背景的直线作物行提取方法
US10013608B2 (en) Method and system for facilitating real time detection of linear infrastructural objects by aerial imagery
US11676376B2 (en) Method for detecting field navigation line after ridge sealing of crops
Gutzeit et al. Automatic segmentation of wood logs by combining detection and segmentation
CN102306307B (zh) 一种彩色显微图像序列中固点噪声的定位方法
CN113269191A (zh) 一种农作物叶片病害识别方法、装置和存储介质
CN115049908A (zh) 基于胚胎发育图像的多阶段智能分析方法及***
CN113763427A (zh) 一种基于从粗到精遮挡处理的多目标跟踪方法
CN111476744A (zh) 一种基于分类及大气成像模型的水下图像增强方法
CN111028263A (zh) 一种基于光流颜色聚类的运动物体分割方法及其***
Zhang et al. Detection algorithm for crop multi-centerlines based on machine vision
CN111401121A (zh) 一种基于超像素特征提取实现柑橘分割方法
Piani et al. Apple orchard flower clusters density mapping by unmanned aerial vehicle RGB acquisitions
CN116128816A (zh) 基于机器视觉的植物高垄栽培环境的作物导航线提取方法
CN115311520A (zh) 一种基于视觉识别的百香果成熟度检测及定位方法
CN110599518B (zh) 一种基于视觉显著度的超像素分割与条件数分块的目标跟踪方法
CN113269763A (zh) 基于深度图复原和亮度估计的水下图像清晰度恢复方法
CN112734786A (zh) 一种基于hsv颜色空间的自适应葡萄叶图像分割方法
CN110599517A (zh) 一种基于局部特征和全局hsv特征组合的目标特征描述方法
CN116503741B (zh) 一种农作物成熟期智能预测***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant