CN111798470B - 一种应用于智能农业的农作物图像实体分割方法及*** - Google Patents

一种应用于智能农业的农作物图像实体分割方法及*** Download PDF

Info

Publication number
CN111798470B
CN111798470B CN202010699770.5A CN202010699770A CN111798470B CN 111798470 B CN111798470 B CN 111798470B CN 202010699770 A CN202010699770 A CN 202010699770A CN 111798470 B CN111798470 B CN 111798470B
Authority
CN
China
Prior art keywords
image
crop
segmentation
images
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010699770.5A
Other languages
English (en)
Other versions
CN111798470A (zh
Inventor
宁静
何泽懿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Happy Monkey Technology Co ltd
Original Assignee
Chengdu Happy Monkey Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Happy Monkey Technology Co ltd filed Critical Chengdu Happy Monkey Technology Co ltd
Priority to CN202010699770.5A priority Critical patent/CN111798470B/zh
Publication of CN111798470A publication Critical patent/CN111798470A/zh
Application granted granted Critical
Publication of CN111798470B publication Critical patent/CN111798470B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Forestry; Mining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Agronomy & Crop Science (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Animal Husbandry (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Mining & Mineral Resources (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种应用于智能农业的农作物图像实体分割方法及***，方法包括：S1：采集农作物图像数据；S2：根据步骤S1得到的农作物图像的面具图像计算边框及区域的初步处理，利用分水岭算法进行第一次实体分割；分割后得到不同区域，计算其区域图像像素强度平均值；S3：将步骤S2中的区域像素强度平均值作为入参，通过K均值聚类算法实现农作物目标和背景分离，并将分离结果进行第二次实体分割，提取不同的目标物体，并以颜色区分不同目标物体。本发明通过结合第一次实体分割和第二次实体分割，可以实现大批量自动化的图片实例分割的区域提取，分割效果好；本发明方法抽取的实列分割的结果也可以使用到其他的图像学习方法中。

Description

一种应用于智能农业的农作物图像实体分割方法及***
技术领域
本发明涉及人工智能图像识别技术领域，尤其涉及一种应用于智能农业的农作物图像实 体分割方法及***。
背景技术
随着生态农业的技术发展，越来越注重智慧农场中农作物的监控与识别，尤其在农作物 (比如蔬菜植物)的位置、个数和区域的分割和提取。现有农作物图像识别技术主要分为无 监督学习及有监督学习，农作物有监督学习以下几种：(1)农作物图像的种类的识别；(2) 图像里物体的位置识别；(3)图像里物体的实例分割。而无监督学习的发展主要有自动编码机等，但其应用场景远不如有监督学习成熟。第(1)种方法可以识别物体种类，缺陷是没办 法标出目标物体在图片里的实际位子。第(2)种方法可以找出物体的位置，但是不是到像素 级别的每一个实例上。第(3)种方法可以分割物***置，并且可以辨别同一个类型物体的实 例的个数，且识别准确率高。但需要大量的人工手动打标时间。
现有图像识别依赖于人工手动打标，如利用LabelMe等工具手动画出物体的边框。一部 分植物的形状复杂人工做实例分割的区域提取需要几分钟时间提取一张图片，如果大批量图 片需要做实例分割，需要耗费导量的人力和时间。
因此，针对现有的智慧农场中农作物的图像实体分割方法，很难自动地适应大数据量级 的农作物图像分割，不能对同一种植物作出有效地对实例进行打标，且分割效率不高。
发明内容
本发明所要解决的技术问题是针对现有的智慧农场中农作物的图像实体分割方法，很难 自动地适应大数据量级的农作物图像分割，不能对同一种植物作出有效地对实例进行打标， 且分割效率不高的问题，本发明提供了解决上述问题的一种应用于智能农业的农作物图像实体分割方法及***，本发明实现自动化流程，几分钟可以完成大批量的图片的学习；利用无 监督学习方式，来自动化完成图像中蔬菜的位置，个数和区域的提取。具体应用场景为室内 立体农场的植物的实体分割，其结果可以直接作为复杂的图像识别模型的目标变量。
本发明通过下述技术方案实现：
一种应用于智能农业的农作物图像实体分割方法，该方法包括以下步骤：
S1：采集农作物图像数据，对图像进行向量转化和颜色预处理，得到农作物图像的面具 图像；
S2：根据步骤S1得到的农作物图像的面具图像计算边框及区域的初步处理，利用分水岭 算法进行第一次实体分割；分割后得到不同区域，计算其区域图像像素强度平均值；
S3：将步骤S2中的区域像素强度平均值作为入参，通过K均值聚类算法实现农作物目 标和背景分离，并将分离结果进行第二次实体分割，提取不同的目标物体，并以颜色区分不 同目标物体。
基于现有的智慧农场中农作物的图像实体分割方法，很难自动地适应大数据量级的农作 物图像分割，不能对同一种植物作出有效地对实例进行打标，分割效率不高的问题；本发明 采用上述方案利用无监督人工智能方法方法，通过结合第一次实体分割和第二次实体分割，可以实现大批量自动化的图片实例分割的区域提取，通过自动化实例分割；且与传统分割方 法比较，能够对同一种植物作出有效地对实例进行打标，分割效率高、分割效果更好，且不 受样本数量影响；该方法不受图像复杂背景与前景间颜色差异的影响。
本发明方法克服了前述的现有技术中存在对于人工手动打标的依赖，提供了一种全新的 自动化目标分割及区域的方案。结果多种图像处理的算法来进行背景和目标物体的分离，从 而达到实例分割的效果。其结果直接用不同的图像识别的深度学习算法模型的目标变量。
本发明方法抽取的实列分割的结果也可以使用到其他的图像学习方法中。本方法应用场 景主要是室内立体栽培植物工厂，如根据不同应用场景对图片的颜色分布做一定的阈值设计， 也可适用于其他图像识别场景的训练样本打标应用中。
进一步地，步骤S1包括以下子步骤：
S101：把采集的农作物图像处理为RGB彩色格式，像素的大小不受限制，并对农作物图 像进行向量转化；
S102：对于农作物图像的像素减去平均值，进行正则化处理，此处的平均值应该取整个 图片集和的平均值；
S103：进行农作物图像颜色调整，将图像颜色由RGB彩色格式调整为HSV格式；
S104：利用HSV的颜色定义，根据参数对调整为HSV格式的农作物图像提取其面具图 像，所述面具图像为灰色图像。
进一步地，步骤S2包括以下子步骤：
S201：将步骤S1计算获取农作物图像的面具图像，进行边缘的提取，边缘提取主要是利 用的高低值进行；
S202：将步骤S201提取出的边缘，进行倒数计算，即把非边缘部分的像素做一个布尔值 的面具，并进行欧式距离计算；
S203：对步骤S202计算的距离，根据设定的参数最短距离，寻找区域内最大数值点所在 位置；
S204：根据步骤S203计算区域最大数值，根据区域来对每一个像素打标；
S205：根据打标的像素和步骤S202计算的欧式距离求负数，利用分水岭算法进行一个区 域的划分；
S206：根据步骤S205分水岭的结果区域，及步骤S204的面具图像来计算区域的平均像 素。
进一步地，步骤S3包括以下子步骤：
S301：构建K均值聚类模型，参数设置群中心个数以便做分离；
S302：把步骤206计算结果得到的区域平均像素度作为模型的入参，用K均值聚类算法 进行模型的训练；
S303：将模型的结果匹配到每一个像素点上，得到一个背景及目标物体的布尔面具图像；
S304：把模型结果的目标图像的区域，利用数学形态进行图像内的漏洞填补；
S305：针对步骤S304得到的图像上的目标层，进行不同实例的区分。
进一步地，所述农作物图像为农作物静态图片。
进一步地，还包括步骤S4：根据步骤S3找到目标像素区域的值，将农作物图像数据转 化为JSON格式，供后续农业分析使用，指导农业生产。
另一方面，本发明还提供了一种应用于智能农业的农作物图像实体分割***，该***支 持所述的一种应用于智能农业的农作物图像实体分割方法，该***包括图像采集单元、图像 导入单元、图像预处理单元、第一次实体分割处理单元、第二次实体分割处理单元和图像导 出单元；
所述图像采集单元，通过高清摄像头采集农场中农作物图像数据；
所述图像导入单元，把所述图像采集单元采集的农作物图像数据导入至所述图像预处理 单元；
所述图像预处理单元，按照同品种类型对导入的农作物图像进行向量转化和预处理，得 到农作物图像的面具图像；
所述第一次实体分割处理单元，用于根据所述图像预处理单元得到的农作物图像的面具 图像计算边框及区域的初步处理，利用分水岭算法进行第一次实体分割；分割后得到不同区 域，计算其区域图像像素强度平均值；
所述第二次实体分割处理单元，用于将所述第一次实体分割处理单元处理后的的区域像 素强度平均值作为入参，通过K均值聚类算法实现农作物目标和背景分离，并将分离结果进 行第二次实体分割，提取不同的目标物体，并以颜色区分不同目标物体。
所述图像导出单元，用于根据所述第二次实体分割处理单元找到的目标像素区域的值， 将农作物图像数据转化为JSON格式导出，供后续农业分析使用，指导农业生产。
本发明与现有技术相比，具有如下的优点和有益效果：
1、本发明采用无监督人工智能方法方法，通过结合第一次实体分割和第二次实体分割， 可以实现大批量自动化的图片实例分割的区域提取，通过自动化实例分割；且与传统分割方 法比较，能够对同一种植物作出有效地对实例进行打标，分割效率高、分割效果更好，且不受样本数量影响；该方法不受图像复杂背景与前景间颜色差异的影响；
2、本发明方法克服了现有技术中存在对于人工手动打标的依赖，提供了一种全新的自动 化目标分割及区域的方案；结合多种图像处理的算法来进行背景和目标物体的分离，从而达 到实例分割的效果。其结果直接用不同的图像识别的深度学习算法模型的目标变量；
3、本发明方法抽取的实列分割的结果也可以使用到其他的图像学习方法中，本方法应用 场景主要是室内立体栽培植物工厂，如根据不同应用场景对图片的颜色分布做一定的阈值设 计，也可适用于其他图像识别场景的训练样本打标应用中。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不 构成对本发明实施例的限定。在附图中：
图1为本发明一种应用于智能农业的农作物图像实体分割方法总流程图。
图2为本发明一种应用于智能农业的农作物图像实体分割方法实施例详细流程图。
图3为采用智能硬件采集到的图片数据(箭头左侧)与本发明方法加工后的结果(箭头 右侧)对比图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明 作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本 发明的限定。
实施例1
如图1至图3所示，本发明一种应用于智能农业的农作物图像实体分割方法，如图1所 示，该方法包括以下步骤：
S1：采集农作物图像数据，对图像进行向量转化和预处理，得到农作物图像的面具图像；
S2：根据步骤S1得到的农作物图像的面具图像计算边框及区域的初步处理，利用分水岭 算法进行第一次实体分割；分割后得到不同区域，计算其区域图像像素强度平均值；
S3：将步骤S2中的区域像素强度平均值作为入参，通过K均值聚类算法实现农作物目 标和背景分离，并将分离结果进行第二次实体分割，提取不同的目标物体，并以颜色区分不 同目标物体。
具体实施时，本发明已经通过批量的实验验证，效果很理想和预期设计的一致。输出的 实例分割的结果，每一个颜色代表了一个分割后的物体应用实例在室内立体农场上，作为图 像识别的个体识别和位置识别，本发明方法可以用来实现大批量自动打标。如图2所示，具 体的操作如下：
S1：采集农作物图片数据，对图片进行向量转化和预处理，得到农作物图片的面具图片； 其中图片大小为(640,480像素)，具体地：
S101：把采集的农作物图片处理为RGB彩色格式，像素的大小不受限制，并对农作物图 片进行向量转化；
S102：对于农作物图片的像素减去平均值，进行正则化处理，此处的平均值应该取整个 图片集和的平均值，用来起到一定降噪作用；
S103：进行农作物图片颜色调整，将图片颜色由RGB彩色格式调整为HSV格式；并设置参数为(36,60,60)至(70,255,255)范围内的像素；
S104：利用HSV的颜色定义，根据上述参数范围内的像素对调整为HSV格式的农作物 图片提取其面具图片，所述面具图片为灰色图片。其中，此处的参数设计根据绿色在HSV内 的对应的范围逻辑而设定的，可以根据不同的场景来调整此范围。
S2：根据步骤S1得到的农作物图片的面具图片计算边框及区域的初步处理，利用分水岭 算法进行第一次实体分割；分割后得到不同区域，计算其区域图像像素强度平均值；具体地：
S201：将步骤S1计算获取农作物图片的面具图片，进行边缘的提取，边缘提取主要是利 用的高低值进行；
S202：将步骤S201提取出的边缘，进行倒数计算，即把非边缘部分的像素做一个布尔值 的面具，并进行欧式距离计算；
S203：对步骤S202计算的距离，根据设定的参数最短距离，寻找区域内最大数值点所在 位置；
S204：根据步骤S203计算区域最大数值，根据区域来对每一个像素打标；
S205：根据打标的像素和步骤S202计算的欧式距离求负数，利用分水岭算法进行一个区 域的划分；
S206：根据步骤S205分水岭的结果区域，及步骤S204的面具图片来计算区域的平均像 素。
S3：将步骤S2中的区域像素强度平均值作为入参，通过K均值聚类算法实现农作物目 标和背景分离，并将分离结果进行第二次实体分割，提取不同的目标物体，并以颜色区分不 同目标物体；具体地：
S301：构建K均值聚类模型，参数设置群中心为2个，以便做背景分离。这里的随机种 子需要设定成一个固定值，以便每次都能把结果目标变量识别成功；
S302：把步骤206计算结果得到的区域平均像素度作为模型的入参，用K均值聚类算法 进行模型的训练；
S303：将模型的结果匹配到每一个像素点上，得到一个背景及目标物体的布尔面具图片；
S304：把模型结果的目标图像的区域，利用数学形态进行图像内的漏洞填补；
S305：针对步骤S304得到的图片上的目标层，进行不同实例的区分。
上述的K均值聚类模型属于现有技术，K均值聚类算法：
a)初始化随机的集群中心
b)重复计算和更新的集群中心：
其中的每一个i,设置：
再对其中每一个j,设置
其中，x(i)作为入参，是区域像素强度平均值从S2中得到；
μj定义为每次计算得出的集群的中心点值，每个集群所有点的均值进行计算。
ci针对每一个入参xi，计算xi到集群点的欧式距离，选取最小值做聚类。再根据结果进 行归聚类。
其中i为入参即图片中算好区域平均值,j为集群的点,m为在集群内的点个数。
S4：根据步骤S3找到目标像素区域的值，将结果和图片信息转化为JSONbase64格式的 信息，每个实体的轮廓存储为多个(x,y)的点的数值形式；并存储为支持LabelMe打开的格式，也一同输出支持COCO格式的JSON文件；供后续农业分析使用，指导农业生产。
如图3所示，图3为智能硬件采集到的图片数据(箭头左侧)到通过本发明方法加工后 的结果(箭头右侧)，一个轮廓代表每一个不同的实例。
图像通过以上方法，利用循环对大批量的图片进行计算。批量的循环上述的过程，可以 对大量的图片可以用来做训练的目标变量。其结果可以直接应用到实例分割类的图像识别与 图像位置识别综合的模型的目标变量上。
实施时：基于现有的智慧农场中农作物的图像实体分割方法，很难自动地适应大数据量 级的农作物图像分割，不能对同一种植物作出有效地区分，分割效率不高的问题；本发明采 用上述方案利用无监督人工智能方法方法，通过结合第一次实体分割和第二次实体分割，可以实现大批量自动化的图片实例分割的区域提取，通过自动化实例分割；且与传统分割方法 比较，能够对同一种植物作出有效地区分，分割效率高、分割效果更好，且不受样本数量影 响；该方法不受图像复杂背景与前景间颜色差异的影响。
本发明方法克服了前述的现有技术中存在对于人工手动打标的依赖，提供了一种全新的 自动化目标分割及区域的方案。结果多种图像处理的算法来进行背景和目标物体的分离，从 而达到实例分割的效果。其结果直接用不同的图像识别的深度学习算法模型的目标变量。
本发明方法抽取的实列分割的结果也可以使用到其他的图像学习方法中。本方法应用场 景主要是室内立体栽培植物工厂，如根据不同应用场景对图片的颜色分布做一定的阈值设计， 也可适用于其他图像识别场景的训练样本打标应用中。
实施例2
如图1至图3所示，本实施例与实施例1的区别在于，本实施例提供了一种应用于智能 农业的农作物图像实体分割***，该***支持实施例1中的一种应用于智能农业的农作物图 像实体分割方法，该***包括图像采集单元、图像导入单元、图像预处理单元、第一次实体 分割处理单元、第二次实体分割处理单元和图像导出单元；
所述图像采集单元，通过高清摄像头采集农场中农作物图像数据；
所述图像导入单元，把所述图像采集单元采集的农作物图像数据导入至所述图像预处理 单元；
所述图像预处理单元，按照同品种类型对导入的农作物图像进行向量转化和预处理，得 到农作物图像的面具图像；
所述第一次实体分割处理单元，用于根据所述图像预处理单元得到的农作物图像的面具 图像计算边框及区域的初步处理，利用分水岭算法进行第一次实体分割；分割后得到不同区 域，计算其区域图像像素强度平均值；
所述第二次实体分割处理单元，用于将所述第一次实体分割处理单元处理后的的区域像 素强度平均值作为入参，通过K均值聚类算法实现农作物目标和背景分离，并将分离结果进 行第二次实体分割，提取不同的目标物体，并以颜色区分不同目标物体。
所述图像导出单元，用于根据所述第二次实体分割处理单元找到的目标像素区域的值， 将农作物图像数据转化为JSON格式导出，供后续农业分析使用，指导农业生产。
具体地，所述图像预处理单元包括：
图片数据的导入为RGB彩色格式，像素的大小不受限制，并对农作物图片进行向量转化；
对于农作物图片的像素减去平均值，进行正则化处理，此处的平均值应该取整个图片集 和的平均值，用来起到一定降噪作用；
进行农作物图片颜色调整，将图片颜色由RGB彩色格式调整为HSV格式；并设置参数 为(36,60,60)至(70,255,255)范围内的像素；
利用HSV的颜色定义，根据上述参数范围内的像素对调整为HSV格式的农作物图片提 取其面具图片，所述面具图片为灰色图片。其中，此处的参数设计根据绿色在HSV内的对应 的范围逻辑而设定的，可以根据不同的场景来调整此范围。
具体地，所述第一次实体分割处理单元包括：
将所述图像预处理单元计算获取农作物图片的面具图片，进行边缘的提取，边缘提取主 要是利用的高低值进行；
将提取出的边缘，进行倒数计算，即把非边缘部分的像素做一个布尔值的面具，并进行 欧式距离计算；
对计算处的欧式距离，根据设定的参数最短距离，寻找区域内最大数值点所在位置；
根据计算出的区域最大数值，根据区域来对每一个像素打标；
根据打标的像素和计算出的欧式距离求负数，利用分水岭算法进行一个区域的划分；
根据分水岭的结果区域，及面具图片来计算区域的平均像素。
所述第二次实体分割处理单元包括：
构建K均值聚类模型，参数设置群中心为2个，以便做背景分离。这里的随机种子需要 设定成一个固定值，以便每次都能把结果目标变量识别成功；
把所述第一次实体分割处理单元计算结果得到的区域平均像素度作为模型的入参，用K 均值聚类算法进行模型的训练；
将模型的结果匹配到每一个像素点上，得到一个背景及目标物体的布尔面具图片；
把模型结果的目标图像的区域，利用数学形态进行图像内的漏洞填补；
针对得到的图片上的目标层，进行不同实例的区分。
所述图像导出单元包括：
将刚得到的实例分割的部分，算出每个实例的轮廓数据；
创建一个JSON格式的文件，并把本图片的信息转化为JSON格式的信息,与算好的实例 的轮廓数据并存储为支持LabelMe打开的格式；
同时也计算一个COCO格式的JSON文件，同时存储下来；
同时文件输出支持MIT版权的LabelMe软件格式打开并编辑，软件输出同时也支持COCO的图像格式。
还包括可视化展示单元、所述可视化展示单元，用于结果的可视化展示，本实施例用 LabelMe打开后的结果展示。
本发明实现自动化流程，几分钟可以完成大批量的图片的学习；利用无监督学习方式， 来自动化完成图像中蔬菜的位置，个数和区域的提取。具体应用场景为室内立体农场的植物 的实体分割，其结果可以直接作为复杂的图像识别模型的目标变量。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说 明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护 范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种应用于智能农业的农作物图像实体分割方法，其特征在于，该方法包括以下步骤：
S1：采集农作物图像数据，对图像进行向量转化和预处理，得到农作物图像的面具图像；
S2：根据步骤S1得到的农作物图像的面具图像计算边框及区域的初步处理，利用分水岭算法进行第一次实体分割；分割后得到不同区域，计算其区域图像像素强度平均值；
S3：将步骤S2中的区域像素强度平均值作为入参，通过K均值聚类算法实现农作物目标和背景分离，并将分离结果进行第二次实体分割，提取不同的目标物体，并以颜色区分不同目标物体；
步骤S1包括以下子步骤：
S101：把采集的农作物图像处理为RGB彩色格式，并对农作物图像进行向量转化；
S102：对于农作物图像的像素减去整体图像像素平均值，进行正则化处理；所述整体图像像素平均值是取整个农作物图像集合的像素平均值；
S103：进行农作物图像颜色调整，将图像颜色由RGB彩色格式调整为HSV格式；
S104：利用HSV的颜色定义，根据参数对调整为HSV格式的农作物图像提取其面具图像，所述面具图像为灰色图像；
步骤S2包括以下子步骤：
S201：将步骤S1计算获取农作物图像的面具图像，进行边缘的提取；
S202：将步骤S201提取出的边缘，进行倒数计算，即把非边缘部分的像素做一个布尔值的面具，并进行欧式距离计算；
S203：对步骤S202计算的距离，根据设定的参数最短距离，寻找区域内最大数值点所在位置；
S204：根据步骤S203计算区域最大数值，根据区域来对每一个像素打标；
S205：根据打标的像素和步骤S202计算的欧式距离求负数，利用分水岭算法进行一个区域的划分；
S206：根据步骤S205分水岭的结果区域，及步骤S204的面具图像来计算区域图像像素强度平均值；
还包括步骤S4：根据步骤S3找到目标像素区域的值，将农作物图像数据转化为JSON格式，供后续农业分析使用，指导农业生产；
步骤S3包括以下子步骤：
S301：构建K均值聚类模型，参数设置群中心个数以便做分离；
S302：把步骤S206计算结果得到的区域平均像素度作为模型的入参，用K均值聚类算法进行模型的训练；
S303：将模型的结果匹配到每一个像素点上，得到一个背景及目标物体的布尔面具图像；
S304：把模型结果的目标图像的区域，利用数学形态进行图像内的漏洞填补；
S305：针对步骤S304得到的图像上的目标层，进行不同实例的区分；
所述农作物图像为农作物静态图片。
2.一种应用于智能农业的农作物图像实体分割***，其特征在于，该***支持如权利要求1所述的一种应用于智能农业的农作物图像实体分割方法，该***包括图像采集单元、图像导入单元、图像预处理单元、第一次实体分割处理单元、第二次实体分割处理单元和图像导出单元；
所述图像采集单元，通过高清摄像头采集农场中农作物图像数据；
所述图像导入单元，把所述图像采集单元采集的农作物图像数据导入至所述图像预处理单元；
所述图像预处理单元，按照同品种类型对导入的农作物图像进行向量转化和预处理，得到农作物图像的面具图像；
所述第一次实体分割处理单元，用于根据所述图像预处理单元得到的农作物图像的面具图像计算边框及区域的初步处理，利用分水岭算法进行第一次实体分割；分割后得到不同区域，计算其区域图像像素强度平均值；
所述第二次实体分割处理单元，用于将所述第一次实体分割处理单元处理后的区域像素强度平均值作为入参，通过K均值聚类算法实现农作物目标和背景分离，并将分离结果进行第二次实体分割，提取不同的目标物体，并以颜色区分不同目标物体；
所述图像导出单元，用于根据所述第二次实体分割处理单元找到的目标像素区域的值，将农作物图像数据转化为JSON格式导出，供后续农业分析使用，指导农业生产；
所述图像预处理单元的执行过程为：
把采集的农作物图像处理为RGB彩色格式，并对农作物图像进行向量转化；
对于农作物图像的像素减去整体图像像素平均值，进行正则化处理；所述整体图像像素平均值是取整个农作物图像集合的像素平均值；
进行农作物图像颜色调整，将图像颜色由RGB彩色格式调整为HSV格式；
利用HSV的颜色定义，根据参数对调整为HSV格式的农作物图像提取其面具图像，所述面具图像为灰色图像；
所述第一次实体分割处理单元的执行过程为：
将图像预处理单元计算获取农作物图像的面具图像，进行边缘的提取；
将提取出的边缘，进行倒数计算，即把非边缘部分的像素做一个布尔值的面具，并进行欧式距离计算；
对计算的距离，根据设定的参数最短距离，寻找区域内最大数值点所在位置；
根据计算区域最大数值，根据区域来对每一个像素打标；
根据打标的像素和计算的欧式距离求负数，利用分水岭算法进行一个区域的划分；
根据分水岭的结果区域及面具图像来计算区域图像像素强度平均值。
CN202010699770.5A 2020-07-20 2020-07-20 一种应用于智能农业的农作物图像实体分割方法及*** Active CN111798470B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010699770.5A CN111798470B (zh) 2020-07-20 2020-07-20 一种应用于智能农业的农作物图像实体分割方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010699770.5A CN111798470B (zh) 2020-07-20 2020-07-20 一种应用于智能农业的农作物图像实体分割方法及***

Publications (2)

Publication Number Publication Date
CN111798470A CN111798470A (zh) 2020-10-20
CN111798470B true CN111798470B (zh) 2024-06-18

Family

ID=72808138

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010699770.5A Active CN111798470B (zh) 2020-07-20 2020-07-20 一种应用于智能农业的农作物图像实体分割方法及***

Country Status (1)

Country Link
CN (1) CN111798470B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111873643B (zh) * 2020-07-08 2022-03-22 许世岩 一种供应链物流管理的高效分拣打标***
CN112560749A (zh) * 2020-12-23 2021-03-26 安徽高哲信息技术有限公司 一种农作物分析***和分析方法
CN112950700B (zh) * 2021-02-25 2022-10-04 安徽农业大学 基于深度学习和图像处理的植物叶片气孔导度测量方法
CN116503741B (zh) * 2023-06-25 2023-08-25 山东仟邦建筑工程有限公司 一种农作物成熟期智能预测***

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107977976A (zh) * 2017-12-01 2018-05-01 浙江科技学院 一种图像分割方法
CN109241817A (zh) * 2018-07-02 2019-01-18 广东工业大学 一种无人机拍摄的农作物图像识别方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102509270A (zh) * 2011-11-14 2012-06-20 西安电子科技大学 基于标记分水岭算法和核进化聚类的图像分割方法
KR101759130B1 (ko) * 2016-07-14 2017-08-01 주식회사 공간정보 무인항공기를 이용한 농작물 데이터베이스화 구축시스템
CN109544568A (zh) * 2018-11-30 2019-03-29 长沙理工大学 目标图像分割方法、装置及设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107977976A (zh) * 2017-12-01 2018-05-01 浙江科技学院 一种图像分割方法
CN109241817A (zh) * 2018-07-02 2019-01-18 广东工业大学 一种无人机拍摄的农作物图像识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于K-means聚类与二次分水岭的果蔬图像分割方法;巨志勇, 李开亮, 毛颖颖;软件导刊;第17卷(第6期);第217-219+223页 *

Also Published As

Publication number Publication date
CN111798470A (zh) 2020-10-20

Similar Documents

Publication Publication Date Title
CN111798470B (zh) 一种应用于智能农业的农作物图像实体分割方法及***
CN108009542B (zh) 油菜大田环境下杂草图像分割方法
Lauguico et al. A comparative analysis of machine learning algorithms modeled from machine vision-based lettuce growth stage classification in smart aquaponics
CN109117703B (zh) 一种基于细粒度识别的混杂细胞种类鉴定方法
CN110610506A (zh) 一种基于图像处理技术的姬松茸子实体生长参数检测方法
CN114067206B (zh) 一种基于深度图像的球形果实识别定位方法
CN109871892A (zh) 一种基于小样本度量学习的机器人视觉认知***
CN112132153B (zh) 基于聚类和形态学处理的番茄果实识别方法及***
Keller et al. Soybean leaf coverage estimation with machine learning and thresholding algorithms for field phenotyping
CN111008642A (zh) 基于卷积神经网络的高分辨率遥感影像分类方法及***
CN107657276B (zh) 一种基于寻找语义类簇的弱监督语义分割方法
CN116310548A (zh) 一种进口种子产品中的入侵植物种子检测方法
CN111950349A (zh) 基于语义分割的田间导航线提取方法
Hafiz et al. Foreground segmentation-based human detection with shadow removal
Rahman et al. Identification of mature grape bunches using image processing and computational intelligence methods
CN112446417B (zh) 基于多层超像素分割的纺锤形果实图像分割方法及***
Hua et al. Image segmentation algorithm based on improved visual attention model and region growing
CN111191659B (zh) 服装生产***多形状衣架识别方法
CN112598013A (zh) 基于神经网络的计算机视觉处理方法
CN111401121A (zh) 一种基于超像素特征提取实现柑橘分割方法
CN115601690B (zh) 一种基于智慧农业的食用菌环境检测方法
CN116416523A (zh) 一种基于机器学习的水稻生长阶段的识别***和方法
CN108682033A (zh) 一种盛开期红花花丝图像二维中心点提取方法
Li et al. A novel denoising autoencoder assisted segmentation algorithm for cotton field
CN114494324A (zh) 一种基于显著性的花卉和果实图像的目标提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant