CN113658148B - 一种基于区域属性提取的中心花识别与定位方法及*** - Google Patents

一种基于区域属性提取的中心花识别与定位方法及*** Download PDF

Info

Publication number
CN113658148B
CN113658148B CN202110969938.4A CN202110969938A CN113658148B CN 113658148 B CN113658148 B CN 113658148B CN 202110969938 A CN202110969938 A CN 202110969938A CN 113658148 B CN113658148 B CN 113658148B
Authority
CN
China
Prior art keywords
flower
area
central
areas
irregularity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110969938.4A
Other languages
English (en)
Other versions
CN113658148A (zh
Inventor
杨公平
张岩
孙启玉
张同心
刘玉峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shuifa Intelligent Agricultural Technology Co ltd
Shandong University
Original Assignee
Shuifa Intelligent Agricultural Technology Co ltd
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shuifa Intelligent Agricultural Technology Co ltd, Shandong University filed Critical Shuifa Intelligent Agricultural Technology Co ltd
Priority to CN202110969938.4A priority Critical patent/CN113658148B/zh
Publication of CN113658148A publication Critical patent/CN113658148A/zh
Application granted granted Critical
Publication of CN113658148B publication Critical patent/CN113658148B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像处理领域，提供了一种基于区域属性提取的中心花识别与定位方法及***，首先将待识别图片输入图像分割模型得到分割图像；然后进行连通区域检测，保留面积排名靠前的多个连通区域，计算保留的各连通区域的边缘轮廓的不规则度；根据不规则度判断是否存在开放花，若存在开放花，定位其中一个开放花的位置；否则，基于面积、位置信息与不规则度来识别中心花的位置；若中心花区域存在黏连情况，则基于距离变换算法与循环阈值分割法将黏连区域***，对***后的区域重新识别中心花的位置，实现了中心花的快速、准确识别与定位，更好的节省了劳动力成本、提高了坐果率与产量。

Description

一种基于区域属性提取的中心花识别与定位方法及***
技术领域
本发明属于图像处理领域，尤其涉及一种基于区域属性提取的中心花识别与定位方法及***。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
在传统的果蔬农业生产工作中，通常要投入大量的人力资源，比如疏花疏果以及水果采摘等需要的劳动力花销以及时间花销都比较高。而果蔬农业中的机械化劳作能够发挥非常大的作用，并且十分符合如今的社会发展趋势。在果树的种植过程中，疏花是极其重要的一个环节。疏花即在果树的开花期保留中心花和开花较早的1～2个边花，而尤其每个花序只保留1朵中心花的，称为“以花定果”，这样可更好的保留树体的营养、提高坐果率以及节省后续的劳力。
农业服务机器人是果树以及诸多农业机械化劳作中的重要手段，其主要工作过程包括信息感知、路径规划和自主作业，在提高生产力、实现农业的规模化与精准化方面具有极大的优越性。视觉***作为农业机器人不可分割的部分，在识别、定位和分选中起到关键的作用。而对花朵与果实等部位的识别和精确定位一直是农业机器人视觉部分研究的热点和难点，关系到机器人的工作效率。
随着人工智能行业等领域的近些年来的不断发展与提高，农业设施的发展更趋于机械化以及智能化，在果树作物的智慧农业中，疏花这一过程也占据非常重要的地位，然而目前相关的研究与应用还比较少。同时，自然环境中的光照变化、花朵重叠、被枝叶遮挡等外界因素均对图像的质量及图像中花朵的分割与定位结果带来诸多挑战。
发明内容
为了解决上述背景技术中存在的技术问题，本发明提供一种基于区域属性提取的中心花识别与定位方法及***，首先将待识别图片输入图像分割模型得到分割图像；然后进行连通区域检测，保留面积排名靠前的多个连通区域，计算保留的各连通区域的边缘轮廓的不规则度；根据不规则度判断是否存在开放花，若存在开放花，定位其中一个开放花的位置；否则，基于面积、位置信息与不规则度来识别中心花的位置；若中心花区域存在黏连情况，则基于距离变换算法与循环阈值分割法将黏连区域***，对***后的区域重新识别中心花的位置，实现了中心花的快速、准确识别与定位，更好的节省了劳动力成本、提高了坐果率与产量。
为了实现上述目的，本发明采用如下技术方案：
本发明的第一个方面提供一种基于区域属性提取的中心花识别与定位方法，其包括：
获取待识别图片，采用图像分割模型对待识别图片进行分割，得到分割图像；
对分割图像做开运算，并进行连通区域检测，得到所有连通区域，计算每个连通区域的面积；
保留面积排名靠前的多个连通区域，计算保留的各连通区域的边缘轮廓的不规则度；
若不规则度大于不规则度阈值，则存在开放花，选取其中一朵开放花判定为中心花并定位其位置；否则，识别未开放状态的中心花区域，定位中心花的位置。
进一步的，所述识别未开放状态的中心花区域的具体步骤为：
在所有连通区域中，使用面积阈值法选取花朵区域；
计算统一中心点与各花朵区域的中心点之间的距离以及各花朵区域的边缘轮廓的不规则度；
得到面积最大的花朵区域、与统一中心点距离最小的花朵区域、不规则度最高的花朵区域，在三个花朵区域中选取评判得分最高的花朵区域作为中心花区域；
判断中心花区域的长短轴比，若未超过粘连阈值，则得到中心花区域；否则进行区域***，对***出的几个区域重复上述过程得到中心花区域。
进一步的，所述使用面积阈值法选取花朵区域的具体步骤为：
设定面积阈值，选取大于面积阈值的连通区域作为花朵区域；
若花朵区域数量大于一个花序的花朵数，则对各花朵区域按面积降序进行排列，根据一个花序的花朵数，保留排名靠前的多个花朵区域。
进一步的，所述区域***的步骤为：
采用距离变换算法对待***区域各像素点的值进行更新，得到距离变换之后的灰度图；
将该灰度图分割为两个小区域，并求取两个小区域的中心点；
计算***点，以***点为基准点，沿着垂直于两个中心点连线的方向，将待***区域***为两个连通区域；
重复上述过程，直至检测不到长短轴比大于粘连阈值的区域为止。
进一步的，所述距离变换算法的具体步骤为：
使用第一掩模，从左上开始，从左往右，从上往下遍历图像矩阵，将图像矩阵中各像素点的值进行更新；
使用第二掩模，从左上开始，从左往右，从上往下遍历图像矩阵，将图像矩阵中各像素点的值进行更新。
进一步的，所述不规则度的计算步骤为：
对连通区域提取边缘轮廓；
将连通区域的边缘轮廓的所有点作为一个点集合；
顺序提取点集合中的多个点，进行高次曲线的拟合，计算中间多个点的切线斜率，并放入切线斜率值集合，重复该步骤，直到点集合中的所有点被提取；
计算切线斜率值集合内的所有值的平均值，作为该边缘轮廓的不规则度。
进一步的，在顺序提取点集合中的多个点时，每一次提取的开始位置与上一次提取的结束位置有重叠。
本发明的第二个方面提供一种基于区域属性提取的中心花识别与定位***，其包括：
图像分割模块，其被配置为：获取待识别图片，采用图像分割模型对待识别图片进行分割，得到分割图像；
连通区域获取模块，其被配置为：对分割图像做开运算，并进行连通区域检测，得到所有连通区域，计算每个连通区域的面积；
不规则度计算模块，其被配置为：保留面积排名靠前的多个连通区域，计算保留的各连通区域的边缘轮廓的不规则度；
中心花定位模块，其被配置为：若不规则度大于不规则度阈值，则存在开放花，选取其中一朵开放花判定为中心花并定位其位置；否则，识别未开放状态的中心花区域，定位中心花的位置。
本发明的第三个方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的基于区域属性提取的中心花识别与定位方法中的步骤。
本发明的第四个方面提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的基于区域属性提取的中心花识别与定位方法中的步骤。
与现有技术相比，本发明的有益效果是：
本发明提供了一种基于区域属性提取的中心花识别与定位方法，其结合深度学习方法与传统图像处理方法，分别充分利用了神经网络的高分割精度与传统方法的轻便快捷，能取得较佳的中心花识别与定位效果。
本发明提供了一种基于区域属性提取的中心花识别与定位方法，将场景分为两种：存在开放花与全为花蕾，再针对每种情况使用不同的方法，降低了识别定位中心花的复杂性。而两种方法中都是基于对连通区域提取相关特征属性，算法简单快速。
本发明提供了一种基于区域属性提取的中心花识别与定位方法，其基于U-Net与区域属性提取对苹果中心花进行识别与定位，结合了卷积神经网络与传统的图像处理方法，其中U-Net神经网络模型结构简单清晰，且能在较小的数据集上得到较为优异的语义分割效果，且相比于传统分割方法而言，U-Net网络模型能达到更高的分割精度，为后续的处理与中心花定位提供了方便。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明实施例的一种基于区域属性提取的中心花识别与定位方法流程图；
图2是本发明实施例的U-Net网络结构示意图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
如图1所示，本实施例提供了一种基于区域属性提取的中心花识别与定位方法，在保证识别与定位准确度的同时，更好的节省劳动力成本以及提高坐果率与产量，其具体包括如下步骤：
步骤1：获取待识别的包含果树花的图片，输入图像分割模型进行语义分割，得到分割图像，即黑白二值图像，其中，白色部分为目标区域即花区域，黑色部分为背景区域。图像分割模型需要提前训练，使其能够对花图片进行语义分割。
在具体实施中，图像分割模型采用U-Net网络，花朵在图像中整体呈现红色，与背景中的绿叶以及枝干等部位区分较为明显，分割难度适中，因此，选用U-Net网络模型进行语义分割。U-Net网络是图像的语义分割领域一个经典的网络模型，其整体流程是编码与解码，即下采样与上采样，U-Net网络可以在比较小的数据集上训练就可以得到较好的效果。本实施例中，使用的U-Net网络结构以及相关网络参数见图2。
在具体实施中，训练U-Net网络使用的数据集共包含图片84张，将其中60张作为训练集，24张作为测试集，对图片使用在线图片标注工具CVAT进行手动标注。训练U-Net时的使用的参数设置如下：输入图像尺寸＝640×416、训练轮数epochs＝200、batch_size＝1、进程数num_workers＝4、学习率learning rate＝0.0002、优化函数选用Adam优化函数。
以苹果花为例，训练完成后的图像分割模型对苹果花分割的性能指标为Accuracy＝0.9894、Recall＝0.9500、F1 score＝0.8310，将包含果树花的图片输入图像分割模型后，输出为二值图像，其中白色部分为目标区域即苹果花区域，黑色部分为背景区域。
步骤2：开放状态中心花判断与识别：
在果树开花期，花朵的形态基本可以分为两种，即花蕾与开放花，花蕾形态整体呈现边缘连续均匀的圆形形状，而开放期花朵边缘则十分不规则，且一般来说面积要比花蕾大很多。而且中心花通常比边花发育更早，因此开花时间也更早。果树花期中，对中心花的识别定位主要分为以下两种情况：中心花与边花都为花蕾形态；中心花开放，而边花呈现花蕾形态。若是中心花与边花都已开放，则此时已经失去了进行疏花原本为了保留树体营养而留中心花的目的，此时留中心花与边花均可。因此本发明对于中心花的识别定位仅针对于以上叙述的两种情况。
S201、得到图像分割模型输出的黑白二值图像后，对图像做形态学处理的开运算，即将不同区域的细小粘连处分开，以进行后续的连通区域检测，优选的，开运算的核尺寸可以设置为8×8。
S202、对图像进行连通区域的检测，得到所有连通区域后，计算每个连通区域的面积，将各区域按照面积大小排列，保留面积排名靠前的多个连通区域。优选的，保留前三个面积最大的连通区域。
S203、求保留的各连通区域的边缘轮廓的不规则度。具体的：对保留的多个连通区域分别提取边缘轮廓，将组成边缘轮廓的所有点作为一个点集合U，本发明中对边缘上各点处的切线斜率求和再取平均，作为一个区域的边缘不规则度来衡量某个区域形状的规则与对称性。不规则度的计算过程如下。
(1)初始化：将每个边缘轮廓上的点作为集合U，设各点切线斜率值的集合为K。
(2)迭代：将提取的多个点作为边缘轮廓上的一个曲线段，进行高次曲线的拟合，计算中间多个点的切线斜率，并放入切线斜率值集合。
优选的，顺序提取集合U中的30个元素，设开始位置为i，结束位置为j，则j-i＝29，开始时i＝0。将这30个点作为边缘轮廓上的一个曲线段，进行高次曲线的拟合，优选的，设定拟合的多项式次数为7，即形式公式(1)所示。
y＝a0+a1x+a2x2+…+a7x7 (1)
拟合曲线之后，以拟合后的多项式对x求导函数。将各点横坐标值代入导函数公式，即可求得该点导数值，即该点处切线斜率值。为了避免曲线拟合时对曲线段端点处拟合效果差的问题，每次只计算中间多个点的切线斜率，优选的，只取计算的30个点切线斜率值中间的20个点值，加入集合K。
(3)重复迭代步骤(2)，直到点集合U中的所有点都被提取。在具体实施中，为了保证取点的连续与顺序性，顺序提取点集合中的多个点时，每一次提取的开始位置与上一次顺序提取的结束位置有重叠，优选的，每一次取元素时，开始位置i等于上一次的结束位置j–10。
(4)计算切线斜率值集合内的所有值的平均值，作为该边缘轮廓的不规则度。即将所有点处的切线斜率值求和取平均，作为该边缘轮廓的不规则度值r，计算方法见公式(2)，其中n为集合K的元素个数。
S204、判断每个区域是否存在开放花，若不规则度大于不规则度阈值，则存在开放花，根据前文，同时存在多朵开放花时，具体哪朵为中心花已不是关键问题，因为花开放后进行疏花对于保留树体营养作用已经十分小，因此只需随机选取其中一朵判定为中心花，并定位其位置，本发明中设置为选取结果集合中第一朵，设任一图像中通过不规则度判断之后得到的开放花区域集合为{f1，f2，f3，…，fn}＝F，n≥1，则一致取f1即集合中第一项作为中心花区域；否则，识别未开放状态的中心花区域，定位中心花的位置。因为通常开放花相比于花蕾而言，不规则度值要大很多，因此最后参考各个区域的不规则度，判断图中是否存在开放的花朵。
在具体实施中，得到不规则度值r后，将该值作为判断某个花朵区域是否为开放花的参考值，设定阈值为250，r值大于阈值，则认定该区域中为开放的花朵，使用opencv函数库绘制开放花的外接矩形，得到识别与定位结果。
步骤3：未开放状态中心花识别：
未开放状态中心花的识别针对于中心花与边花都处于花蕾时期的情况。当所有花朵都处于花蕾期时，各花朵形态十分相似，最明显的区别在于各花朵的位置，通常情况下，中心花位于所有花朵的中间位置，边花位于周围。但由于视角的不同，中心花在图中也可能偏离中心位置，因此只参考位置信息是不够的。由于中心花相比于边花发育时间更早，因此即使同处花蕾期，中心花蕾的体积相较于边花而言，会稍微大一些，但不明显；且相较于发育早期的花蕾而言，中晚期的花蕾形状的不规则度更高些，因此，未开放状态中心花识别综合考虑位置、面积与不规则度，来确定中心花蕾的位置。
S301：中心花位置确定
(1)面积筛选：首先对图像中的连通区域进行面积计算，使用面积阈值法删除掉面积较小的非花朵区域，只保留下花朵区域。具体的：设定面积阈值，删除掉小于面积阈值的连通区域，选取面积大于阈值的连通区域保留为花朵区域；若保留的连通区域(花朵区域)数量大于L，L为一个花序的花朵数，则对各区域面积按降序进行排列，保留前L个区域，若剩余连通区域数量小于等于L，则直接进行后续处理。
以苹果花为例，苹果花的每个花序包含6个花朵，中心花位于中央，5朵边花位于周围。因此，首先对图像中的连通区域进行面积计算，使用面积阈值法删除掉面积较小的非苹果花区域，此处在输入图像分辨率为640*416的情况下，设定面积阈值为500。删除掉小面积区域后，若剩余的连通区域数量大于6，则对各区域面积按降序进行排列，保留前6个区域。若剩余连通区域面积小于等于6，则直接进行后续处理。
(2)结合各个花朵区域的中心位置，求得所有区域的统一中心位置，再计算各个花朵区域距离统一中心位置的距离。
具体的：对各连通区域求中心坐标位置，设经过上一步处理后，图中存在k个连通区域，其中第j个连通区域中所有点集为P，所有点横坐标值的集合为Xp，纵坐标值的集合为Yp，则中心坐标位置计算如公式(3)所示。之后按照同样的计算方法，得到这k个点的统一中心点坐标，记为(xca，yca)。随后计算k个连通区域的中心点与统一中心点之间的欧式距离，统一中心点与各花朵区域的中心点之间的距离的计算方式如公式(4)所示。
(3)按照S203的方式计算各个连通区域边缘轮廓的不规则度。
(4)结合不规则度、面积、与中心位置距离三个指标，定位中心花区域，即得到各花朵区域的面积、位置信息(即距离统一中心位置的距离)以及不规则度后，进行中心花区域的判断与定位。
具体的：分别得到面积最大值区域的索引值、与统一中心位置距离最小的区域索引值、不规则度最高的区域索引值，设定三个指标对应的权重值分别为area_weight＝1.5、dist_weight＝1、poly_weight＝1，分别将权重值赋予相应索引位置的区域，即评判得分的计算方法为：面积最大的区域得分加1.5，距离最小的区域得分加1，不规则度最高的区域得分加1，若某区域同时具备两个以上的特征，则分数对应也叠加，最后每个区域的分数做为该区域的综合评判得分，选取分数最高的区域即判定为中心花区域。
(5)判断定位的中心花区域的长短轴比，若超过设定的粘连阈值，则进行区域***；否则，不存在粘连情况，得到中心花区域，此时即使用opencv库函数绘制中心花的最小外接矩形框，得到分割与定位结果。
由于各花蕾可能存在边缘粘连的情况，而存在粘连情况时，该区域面积明显很大，且不规则度高，因此按照上述方法判断得到的中心花区域可能是两朵或多朵花蕾粘连的情况。因此需要进一步的处理将粘连的花朵区域分开。单朵的花蕾一般呈现类圆形，外接矩形接近正方形，因此，如果一个连通区域的长短轴之比大于粘连阈值(优选的，该粘连阈值为1.4)，则该区域存在花粘连的情况，需要进行区域的***。
S302：中心花区域***
S3021：将需要***的连通区域S单独提取出来作为待***区域进行***操作，避免对其他区域的误操作。
S3022：采用距离变换算法对待***区域各像素点的值进行更新，得到距离变换之后的灰度图。
由于两个区域粘连时，通常其交界处边缘形态呈现一种瓶颈状，即相比于其他部分长度距离较窄，因此采用距离变换算法，计算区域中每个点到离其最近背景点的距离，将该距离作为该像素点的值，距离变换算法流程如下：
(1)输入图片为二值图像F，前景为1，背景为0，建立两个较小的局部掩模maskL、maskR，其都为大小的2*3的矩阵，其中maskL右下角的值为空值，maskR左上角的值为空值，即不参与计算；
(2)使用第一掩模maskL，从左上开始，从左往右，从上往下遍历矩阵F，将矩阵中像素点P点元素的值作如下更新：
F(P)＝min{F(P)，D(P，q)+F(q)}，P∈F，q∈maskL (5)
其中，D(P，q)是点P与q所在位置像素的距离，优选的，该距离采用欧氏距离；
(3)利用第二掩模maskR，从右下开始，从右往左，从下往上遍历矩阵F，将矩阵中P点元素的值作如下更新：
F(P)＝min{F(P)，D(P，q)+F(q)}，P∈F，q∈maskR (6)
(4)最终得到两次更新的矩阵，即为距离变换的结果。
S3023：将该灰度图分割为两个小区域，并求取两个小区域的中心点。
得到距离变换之后的灰度图，该灰度图通常呈现出两个中心亮斑，而边缘区域灰暗；随后对该灰度图使用一种循环的阈值分割，每次将阈值升高，直至分割后的图像检测出两个小连通区域s_area_1与s_area_2，此时其中一个小连通区域仅为一个单点或由几个点组成，其面积很小。求取两个小连通区域的中心点坐标分别为center1与center2，作为***后两个单独区域的中心，其计算方式如下：
S3024：计算***点。连接两个中心点，比较两个小连通区域sa1与sa2面积的大小，将***点位置向面积大的区域稍微偏移，***点位置计算方式如公式(8)，其中(xc1,yc1),(xc2,yc2)分别为两个中心点center1与center2的坐标值。
coords＝(xc1×0.75+xc2×0.35，yc1×0.75+yc2×0.35) (8)
S3025：以该***点位置为基准点，沿着垂直于两个中心点连线的方向，将连通区域S***为两个单独的连通区域。
S3026：重复上述过程(S3021-S3025)，直至检测不到长短轴之比大于粘连阈值的区域为止。
S3027：对***出的几个区域重新计算三个评价指标(各区域的面积、位置信息以及不规则度)，得出评判得分，判定中心花位置。即重复步骤S301中的(1)-(4)得出评判得分，得到中心花区域。最后使用opencv库函数绘制中心花的最小外接矩形框，得到分割与定位结果。
本发明基于U-Net与区域属性提取对中心花进行识别与定位，结合了卷积神经网络与传统的图像处理方法，其中U-Net神经网络模型结构简单清晰，且能在较小的数据集上得到较为优异的语义分割效果，且相比于传统分割方法而言，U-Net网络模型能达到更高的分割精度，为后续的处理与中心花定位提供了方便。在后续处理中将场景分为两种：存在开放花与全为花蕾，再针对每种情况使用不同的方法，降低了识别定位中心花的复杂性。而两种方法中都是基于对连通区域提取相关特征属性，算法简单快速。总体而言，本方法结合深度学习方法与传统图像处理方法，分别充分利用了神经网络的高分割精度与传统方法的轻便快捷，能取得较佳的中心花识别与定位效果。
实施例二
本实施例提供了一种基于区域属性提取的中心花识别与定位***，其具体包括如下模块：
图像分割模块，其被配置为：获取待识别图片，采用图像分割模型对待识别图片进行分割，得到分割图像；
连通区域获取模块，其被配置为：对分割图像做开运算，并进行连通区域检测，得到所有连通区域，计算每个连通区域的面积；
不规则度计算模块，其被配置为：将各连通区域按照面积大小排列，保留面积排名靠前的多个连通区域，计算保留的各连通区域的边缘轮廓的不规则度；
中心花定位模块，其被配置为：若不规则度大于不规则度阈值，则存在开放花，选取其中一朵开放花判定为中心花并定位其位置；否则，识别未开放状态的中心花区域，定位中心花的位置。
此处需要说明的是，本实施例中的各个模块与实施例一中的各个步骤一一对应，其具体实施过程相同，此处不再累述。
实施例三
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一所述的基于区域属性提取的中心花识别与定位方法中的步骤。
实施例四
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例一所述的基于区域属性提取的中心花识别与定位方法中的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于区域属性提取的中心花识别与定位方法，其特征在于，包括：
获取待识别图片，采用图像分割模型对待识别图片进行分割，得到分割图像；
对分割图像做开运算，并进行连通区域检测，得到所有连通区域，计算每个连通区域的面积；
保留面积排名靠前的多个连通区域，计算保留的各连通区域的边缘轮廓的不规则度；
若不规则度大于不规则度阈值，则存在开放花，选取其中一朵开放花判定为中心花并定位其位置；否则，识别未开放状态的中心花区域，定位中心花的位置；
所述识别未开放状态的中心花区域的具体步骤为：
在所有连通区域中，使用面积阈值法选取花朵区域；
计算统一中心点与各花朵区域的中心点之间的距离以及各花朵区域的边缘轮廓的不规则度；
得到面积最大的花朵区域、与统一中心点距离最小的花朵区域、不规则度最高的花朵区域，在三个花朵区域中选取评判得分最高的花朵区域作为中心花区域；
判断中心花区域的长短轴比，若未超过粘连阈值，则得到中心花区域；否则进行区域***，对***出的几个区域重复上述过程得到中心花区域；
所述不规则度的计算步骤为：
对连通区域提取边缘轮廓；
将连通区域的边缘轮廓的所有点作为一个点集合；
顺序提取点集合中的多个点，进行高次曲线的拟合，计算中间多个点的切线斜率，并放入切线斜率值集合，重复该步骤，直到点集合中的所有点被提取；
计算切线斜率值集合内的所有值的平均值，作为该边缘轮廓的不规则度。
2.如权利要求1所述的基于区域属性提取的中心花识别与定位方法，其特征在于，所述使用面积阈值法选取花朵区域的具体步骤为：
设定面积阈值，选取大于面积阈值的连通区域作为花朵区域；
若花朵区域数量大于一个花序的花朵数，则对各花朵区域按面积降序进行排列，根据一个花序的花朵数，保留排名靠前的多个花朵区域。
3.如权利要求1所述的基于区域属性提取的中心花识别与定位方法，其特征在于，所述区域***的步骤为：
采用距离变换算法对待***区域各像素点的值进行更新，得到距离变换之后的灰度图；
将该灰度图分割为两个小区域，并求取两个小区域的中心点；
计算***点，以***点为基准点，沿着垂直于两个中心点连线的方向，将待***区域***为两个连通区域；
重复上述过程，直至检测不到长短轴比大于粘连阈值的区域为止。
4.如权利要求3所述的基于区域属性提取的中心花识别与定位方法，其特征在于，所述距离变换算法的具体步骤为：
使用第一掩模，从左上开始，从左往右，从上往下遍历图像矩阵，将图像矩阵中各像素点的值进行更新；
使用第二掩模，从左上开始，从左往右，从上往下遍历图像矩阵，将图像矩阵中各像素点的值进行更新。
5.如权利要求1所述的基于区域属性提取的中心花识别与定位方法，其特征在于，在顺序提取点集合中的多个点时，每一次提取的开始位置与上一次提取的结束位置有重叠。
6.一种基于区域属性提取的中心花识别与定位***，其特征在于，包括：
图像分割模块，其被配置为：获取待识别图片，采用图像分割模型对待识别图片进行分割，得到分割图像；
连通区域获取模块，其被配置为：对分割图像做开运算，并进行连通区域检测，得到所有连通区域，计算每个连通区域的面积；
不规则度计算模块，其被配置为：保留面积排名靠前的多个连通区域，计算保留的各连通区域的边缘轮廓的不规则度；
中心花定位模块，其被配置为：若不规则度大于不规则度阈值，则存在开放花，选取其中一朵开放花判定为中心花并定位其位置；否则，识别未开放状态的中心花区域，定位中心花的位置；
所述识别未开放状态的中心花区域的具体步骤为：
在所有连通区域中，使用面积阈值法选取花朵区域；
计算统一中心点与各花朵区域的中心点之间的距离以及各花朵区域的边缘轮廓的不规则度；
得到面积最大的花朵区域、与统一中心点距离最小的花朵区域、不规则度最高的花朵区域，在三个花朵区域中选取评判得分最高的花朵区域作为中心花区域；
判断中心花区域的长短轴比，若未超过粘连阈值，则得到中心花区域；否则进行区域***，对***出的几个区域重复上述过程得到中心花区域；
所述不规则度的计算步骤为：
对连通区域提取边缘轮廓；
将连通区域的边缘轮廓的所有点作为一个点集合；
顺序提取点集合中的多个点，进行高次曲线的拟合，计算中间多个点的切线斜率，并放入切线斜率值集合，重复该步骤，直到点集合中的所有点被提取；
计算切线斜率值集合内的所有值的平均值，作为该边缘轮廓的不规则度。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一项所述的基于区域属性提取的中心花识别与定位方法中的步骤。
8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-5中任一项所述的基于区域属性提取的中心花识别与定位方法中的步骤。
CN202110969938.4A 2021-08-23 2021-08-23 一种基于区域属性提取的中心花识别与定位方法及*** Active CN113658148B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110969938.4A CN113658148B (zh) 2021-08-23 2021-08-23 一种基于区域属性提取的中心花识别与定位方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110969938.4A CN113658148B (zh) 2021-08-23 2021-08-23 一种基于区域属性提取的中心花识别与定位方法及***

Publications (2)

Publication Number Publication Date
CN113658148A CN113658148A (zh) 2021-11-16
CN113658148B true CN113658148B (zh) 2023-08-08

Family

ID=78492531

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110969938.4A Active CN113658148B (zh) 2021-08-23 2021-08-23 一种基于区域属性提取的中心花识别与定位方法及***

Country Status (1)

Country Link
CN (1) CN113658148B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104751199A (zh) * 2013-12-30 2015-07-01 华中科技大学 一种棉花裂铃期自动检测方法
CN110458200A (zh) * 2019-07-17 2019-11-15 浙江工业大学 一种基于机器学习的花朵种类识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104751199A (zh) * 2013-12-30 2015-07-01 华中科技大学 一种棉花裂铃期自动检测方法
CN110458200A (zh) * 2019-07-17 2019-11-15 浙江工业大学 一种基于机器学习的花朵种类识别方法

Also Published As

Publication number Publication date
CN113658148A (zh) 2021-11-16

Similar Documents

Publication Publication Date Title
Fu et al. A novel image processing algorithm to separate linearly clustered kiwifruits
Tian et al. Apple detection during different growth stages in orchards using the improved YOLO-V3 model
Dias et al. Multispecies fruit flower detection using a refined semantic segmentation network
Hu et al. Automatic detection of single ripe tomato on plant combining faster R-CNN and intuitionistic fuzzy set
Zheng et al. A mango picking vision algorithm on instance segmentation and key point detection from RGB images in an open orchard
CN112136505B (zh) 一种基于视觉选择注意机制的水果采摘顺序规划方法
Xiong et al. The recognition of litchi clusters and the calculation of picking point in a nocturnal natural environment
CN105718945B (zh) 基于分水岭和神经网络的苹果采摘机器人夜间图像识别方法
Liu et al. A method of segmenting apples at night based on color and position information
Song et al. Canopy segmentation and wire reconstruction for kiwifruit robotic harvesting
CN112990103B (zh) 一种基于机器视觉的串采二次定位方法
CN114067206B (zh) 一种基于深度图像的球形果实识别定位方法
Zhao et al. An end-to-end lightweight model for grape and picking point simultaneous detection
Chen et al. Segmentation of field grape bunches via an improved pyramid scene parsing network
CN113255434A (zh) 一种融合果实特征与深度卷积神经网络的苹果识别方法
CN111950349A (zh) 基于语义分割的田间导航线提取方法
CN115861686A (zh) 基于边缘深度学习的荔枝关键生长期识别检测方法及***
Rahman et al. Identification of mature grape bunches using image processing and computational intelligence methods
Wang et al. A transformer-based mask R-CNN for tomato detection and segmentation
Wang et al. Apple rapid recognition and processing method based on an improved version of YOLOv5
CN113658148B (zh) 一种基于区域属性提取的中心花识别与定位方法及***
Nguyen et al. Ready or Not? A Robot-Assisted Crop Harvest Solution in Smart Agriculture Contexts
CN114700941B (zh) 一种基于双目视觉的草莓采摘方法、机器人***
Quan et al. Selecting candidate regions of clustered tomato fruits under complex greenhouse scenes using RGB-D data
CN116071653A (zh) 基于自然图像的树木多级枝干结构自动提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant