CN111627059B - 一种棉花叶片中心点位置定位方法 - Google Patents

一种棉花叶片中心点位置定位方法 Download PDF

Info

Publication number
CN111627059B
CN111627059B CN202010465318.2A CN202010465318A CN111627059B CN 111627059 B CN111627059 B CN 111627059B CN 202010465318 A CN202010465318 A CN 202010465318A CN 111627059 B CN111627059 B CN 111627059B
Authority
CN
China
Prior art keywords
center point
scanning
llower
axis
median
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010465318.2A
Other languages
English (en)
Other versions
CN111627059A (zh
Inventor
唐海涛
彭铁雁
韩红兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guilin Ceke Communication Equipment Co ltd
Original Assignee
Guilin Ceke Communication Equipment Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guilin Ceke Communication Equipment Co ltd filed Critical Guilin Ceke Communication Equipment Co ltd
Priority to CN202010465318.2A priority Critical patent/CN111627059B/zh
Publication of CN111627059A publication Critical patent/CN111627059A/zh
Application granted granted Critical
Publication of CN111627059B publication Critical patent/CN111627059B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Treatment Of Fiber Materials (AREA)

Abstract

本发明公开了一种棉花叶片中心点位置定位方法，包括以下步骤：S1：采集棉花图像；S2：提取图像中各棉花叶片的叶片轮廓；S3：提取某一棉花叶片的叶片轮廓的四个坐标点x1、x2、x3和x4；S4：计算所述棉花叶片的叶片轮廓的初始中心点的坐标；S5：获取中心点的横坐标xc；S6：获取中心点的纵坐标yc；S7：坐标(xc,yc)即为所述棉花叶片的中心点位置。本发明所述方法计算量小使其实时性较好，而且中心准确性符合实际应用要求，在实时性试验中，实时处理速度指标FPS值为20.107；在定位准确性上，测试最终获得平均误差MAE为26.861，符合实际应用场景对于定位准确性的要求。

Description

一种棉花叶片中心点位置定位方法
技术领域
本发明涉及作物自动识别定位技术领域，具体涉及一种棉花叶片中心点位置定位方法。
背景技术
基于图像处理的棉花叶片中心点定位方法可以快速获取目标作物的中心点坐标位置，为田间目标作物的精准喷洒、自动化管理等提供参考，该方法能提高作物精细化管理效率，降低额外劳动力的依赖和农业成本优化控制。通过特定相机获取目标作物的图像具有成本低、灵活性强、效率高的优点，目前也有激光传感器、红外传感器、深度相机等方法定位图像(不规则几何图像)中心点位置坐标，但这些方法普遍存在计算量大、制作成本高昂、实时性差等不足，因此，在实际生产生活中基于图像处理的棉花叶片中心点定位方法相较之下更为实用。
基于图像处理的棉花叶片中心点定位方法是利用相机获取目标作物的真实图像信息，通过一系列的图像分析计算处理，最终实现目标作物叶片中心点位置定位。目前主流叶片中心定位算法主要是通过提取作物的轮廓以及联通区域，并通过计算联通区域的质心获取作物中心点坐标。但这种方法对形状规则要求较高，对于几何形状不规则、背景复杂、目标物体重叠等图像的实时性、适应性较差。
为了弥补因作物形状不规则、背景复杂等带来的定位误差影响，已有技术采用先通过图像直方图目标作物统计确定待测作物，再对目标作物行进行直方图统计以此来确定目标作物的中心点(王永康等.一种基于图像灰度直方图相似度计算的室内定位方法[J].测绘通报,2018(4):63-67.)。但是，由于实际目标作物叶片普遍存在重叠现象，导致这种方法在具体应用场景中中心点定位误差较大。
发明内容
本发明要解决的技术问题是提供一种实时性较好、中心点定位准确性符合实际场景应用要求的棉花叶片中心点位置定位方法。
为解决上述技术问题，本发明采用以下技术方案：
一种棉花叶片中心点位置定位方法，包括以下步骤：
S1：采集棉花图像；
S2：提取图像中各棉花叶片的叶片轮廓；
S3：提取某一棉花叶片的叶片轮廓的四个坐标点，分别为左上坐标点x1(xltop,yltop)、右上坐标点x2(xrtop,yrtop)、左下坐标点x3(xllower,yllower)以及右下坐标点x4(xrlower,yrlower)；
S4：根据以下公式计算所述棉花叶片的叶片轮廓的初始中心点的坐标(x0,y0)：
Figure BDA0002512411370000021
/>
S5：以初始中心点为起点，设定横向步长△x，xllower≤△x≤xrlower，以经过初始中心点的纵轴为主轴进行向左、向右横向扫描，获取中心点的横坐标xc；
S6：以初始中心点为起点，设定纵向步长△y，yllower≤△y≤yltop，以经过初始中心点的横轴为主轴进行向上、向下纵向扫描，获取中心点的纵坐标yc；
S7：坐标(xc,yc)即为所述棉花叶片的中心点位置。
上述方法的步骤S1中，采用现有技术采集棉花图像并上传。步骤S2中，采用现有技术提取图像中各棉花叶片的叶片轮廓(即对棉花叶片的叶片区域进行分割)，如利用MaskR-CNN目标检测模型对棉花图像实施棉花叶片分割、基于卷积神经网络的目标叶片分割以及基于迁移学习的图像分割等；提取所得棉花叶片的叶片轮廓通常为长方形或正方形。
上述方法的步骤S5中，横向步长△x可以根据需要进行设置，通常情况下步长△x越小中心点的定位越准确。由于需要以经过初始中心点的纵轴为主轴进行向左(即以初始中心点为原点向x轴负方向)、向右(即以初始中心点为原点向x轴正方向)横向扫描，所以横向步长△x会存在正负值；当进行向左横向扫描时，横向步长△x为负值，当进行向右横向扫描时，横向步长△x为正值。在本申请的一个优选实施例中，横向步长△x设置为±5px。所述步骤S5进一步包括：
S501，初始化初次扫描次数i＝1，纵轴经过坐标(x0 *＝x0+△x,y0＝0)；
S502，扫描时，叶片轮廓被经过坐标(x0 *,y0)的纵轴分为两个图像区域，分别为图像区域ABCD和图像区域A*B*C*D*，其中：
图像区域ABCD的四个顶点位置分别为：A(xltop,yltop)、B(x0+△x,yltop)、C(x0+△x,yllower)、D(xllower,yllower)；
图像区域A*B*C*D*的四个顶点位置分别为：A*(x0+△x,yrtop)、B*(xrtop,yrtop)、C*(xrlower,yrlower)、D*(x0+△x,yllower)；
S503，将图像区域ABCD和A*B*C*D*分别缩放至同一规格的图片，并进一步转化为灰度图；
在步骤S503中，对图像区域ABCD和A*B*C*D*进行缩放并缩放至相同规格，以此保留结构、明暗等基本信息，摒弃不同尺寸/比例的图像带来的比较差异。所述图像区域ABCD和A*B*C*D*的缩放要求根据需要进行设定，通常是缩放至(20～30)×(20～30)大小，更优选是缩放至20px×20px的规格，即每张图像为400个像素。对对缩放后的图像转化成灰度图，可以进一步降低图像冗余信息量，提高算法的实时处理效率。
S504，分别计算两个灰度图每一行其像素点的均值和中位数，并记录每行像素点的均值和中位数；
S505，分别计算步骤S504所得两个图的所有均值和中位数的标准差，以得到的均值标准差和中位数标准差(图像区域ABCD经缩放并进一步转化成灰度图后的均值标准差和中位数标准差分别表示为σavg和σmedian，图像区域A*B*C*D*经缩放并进一步转化成灰度图后的均值标准差和中位数标准差分别表示为σavg *和σmedian *)作为各自的数值特征，即：
图像区域ABCD的数值特征：ABCD＝(σavg,σmedian)；
图像区域A*B*C*D*的数值特征：A*B*C*D*＝(σavg *,σmedian *)；
S506，利用图像区域ABCD、A*B*C*D*的数值特征，通过余弦函数计算二者的相似度imageSimilarity；即
Figure BDA0002512411370000031
S507，将计算所得相似度及当前扫描次数中纵轴经过的横坐标x0 *以元组形式保存至结果列表imageSimilaritys中，即imageSimilaritys.append((x0 *,imageSimilarity))，结束当前次的扫描；
S508，更新x0 *坐标，即将第i次扫描中的x0 *与横向步长△x的和重新定义为第i+1次扫描中的x0 *，判断该重新定义的x0 *与xrlower和xllower的关系，当x0 *>xrlower或者x0 *<xllower时，结束以纵轴为主轴的向右或向左横向扫描，执行步骤S509；否则执行步骤S502进行第i+1次扫描，直至更新后的x0 *满足结束以纵轴为主轴的向右或向左横向扫描的条件；
S509，在结束以纵轴为主轴的向右或向左横向扫描后，开始以纵轴为主轴的向左或向右横向扫描，实现步骤同S501～S508，得到同时包含以经过初始中心点的纵轴为主轴进行向左、向右横向扫描的结果列表imageSimilaritys；
S510，遍历结果列表imageSimilaritys，找出其中相似度值最小的元组数据，并以该元组数据中的x0 *作为所述棉花叶片中心点的横坐标xc。
上述方法的步骤S6中，纵向步长△y可以根据需要进行设置，其与横向步长△x的数值可以相同也可以不同，优选相同。由于需要以经过初始中心点的横轴为主轴进行向上(即以初始中心点为原点向y轴正方向)、向下(即以初始中心点为原点向y轴向方向)纵向扫描，所以纵向步长△y也会存在正负值；当进行向上纵向扫描时，纵向步长△y为负值，当进行向下纵向扫描时，纵向步长△y为正值。所述步骤S6进一步包括：
S601，初始化初次扫描次数i’＝1，横轴经过坐标(x0＝0,y0 *＝y0+△y)；
S602，扫描时，叶片轮廓被经过坐标(x0，y0 *)的横轴分为两个图像区域，分别为图像区域A’B’C’D’和图像区域A’*B’*C’*D’*，其中：
图像区域A’B’C’D’的四个顶点位置分别为：A’((xltop，yltop))、B’(xrtop,yrtop)、C’(xrtop,y0+△y)、D’(xltop,y0+△y)；
图像区域A’*B’*C’*D’*的四个顶点位置分别为：A’*(xllower,y0+△y)、B’*(xllower,y0+△y)、C’*(xrlower,yrlower)、D’*(xllower,yllower)；
S603，将图像区域A’B’C’D’和A’*B’*C’*D’*分别进行缩放，缩放至与经过初始中心点的纵轴为主轴进行向左、向右横向扫描过程中图像区域ABCD和A*B*C*D*进行缩放后的规格相同，并进一步转化为灰度图；
在步骤S603中，对图像区域A’B’C’D’和A’*B’*C’*D’*进行缩放的目的与前述步骤S503相同。
S604，分别计算两个灰度图每一行其像素点的均值和中位数，并记录每行像素点的均值和中位数；
S605，分别计算步骤S604所得两个图的所有均值和中位数的标准差(图像区域A’B’C’D’经缩放并进一步转化成灰度图后的均值标准差和中位数标准差分别表示为σavg’和σmedian’，图像区域A’*B’*C’*D’*经缩放并进一步转化成灰度图后的均值标准差和中位数标准差分别表示为σavg’*,σmedian’*)，以得到的均值标准差和中位数标准差作为各自的数值特征，即：
图像区域A’B’C’D’的数值特征：A’B’C’D’＝(σavg’,σmedian’)；
图像区域A’*B’*C’*D’*的数值特征：A’*B’*C’*D’*＝(σavg’*,σmedian’*)；
S606，利用图像区域A’B’C’D’、A’*B’*C’*D’*的数值特征，通过余弦函数计算二者的相似度imageSimilarity’；即
Figure BDA0002512411370000041
S607，将计算所得相似度及当前扫描次数中横轴经过的纵坐标y0 *以元组形式保存至结果列表imageSimilaritys’中，即imageSimilaritys’.append((y0 *，imageSimilarity’))，结束当前次的扫描；
S608，更新y0 *坐标，即将第i’次扫描中的y0 *与纵向步长△y的和重新定义为第i’+1次扫描中的y0 *，判断该重新定义的y0 *与yltop或yllower的关系，当y0 *>yltop或y0 *<yllower时，结束以横轴为主轴的向上或向下纵向扫描，执行步骤S609；否则执行步骤S602进行第i’+1次扫描，直至更新后的y0 *满足结束以横轴为主轴的向上或向下纵向扫描的条件；
S609，在结束以横轴为主轴的向上或向下纵向扫描后，开始以横轴为主轴的向下或向上纵向扫描，实现步骤同S601～S608，得到同时包含以经过初始中心点的横轴为主轴的向上、向下纵向扫描的结果列表imageSimilaritys’；
S610，遍历结果列表imageSimilaritys’，找出其中相似度值最小的元组数据，并以该元组数据中的y0 *作为所述棉花叶片中心点的纵坐标yc。
在本申请中，所述的横向为水平方向，所述的纵向为水平方向垂直的纵向方向，所述的横轴为与水平线平行的水平轴线，所述的纵轴为与水平线垂直的纵向轴线。
与现有技术相比，本发明所述方法计算量小使其实时性较好，而且中心准确性符合实际应用要求，在实时性试验中，申请人对1800张图片进行算法测试，最终获得的实时处理速度指标FPS值为20.107的表现；在定位准确性上，采用人工标准的图片和算法标注的定位误差进行测试(考虑到实际环境的干扰，允许存在定位坐标的误差为0～5px，则实际场景可接受的平均误差MAE范围为0～25)，测试最终获得平均误差MAE为26.861，接近误差上限25，符合实际应用场景对于定位准确性的要求。
附图说明
图1为本发明所述棉花叶片中心点位置定位方法的流程图；
图2为获取的棉花图像(即待上传的棉花图像)；
图3为对图2所示图像进行棉花叶片区域分割后的结果图(即提取图2所示图像中各棉花叶片的叶片轮廓后的结果图)；
图4为从图3中单独截取某一棉花叶片的叶片轮廓图片；
图5为图4所示图片中棉花叶片(以下也简称为目标作物)的初始中心点位置(x0,y0)的示意图；
图6为以目标作物初始中心点位置(x0,y0)为起点，以纵轴为主轴进行向左、向右横向扫描的示意图；
图7为以目标作物初始中心点位置(x0,y0)为起点，以纵轴为主轴进行向右(即向x轴正方向)移动+5px后的区域分割效果图；
图8为以目标作物初始中心点位置(x0,y0)为起点，以横轴为主轴进行向上、向下纵向扫描示意图；
图9为以目标作物初始中心点位置(x0,y0)为起点，以横轴为主轴进行向y轴向上(即向y轴正方向)移动+5px后的区域分割效果图；
图10为理论环境下目标作物的中心点位置定位示意图；
图11为实际环境下不同尺寸的目标作物中心点位置定位效果一览图。
具体实施方式
下面结合具体附图对本发明作进一步的详述，以更好地理解本发明的内容，但本发明并不限于以下实施例。
参照图1，本发明所述的棉花叶片中心点位置定位方法，包括以下步骤：
S1：采集棉花图像；
S2：提取图像中各棉花叶片的叶片轮廓；
S3：提取某一棉花叶片的叶片轮廓的四个坐标点，分别为左上坐标点x1(xltop,yltop)、右上坐标点x2(xrtop,yrtop)、左下坐标点x3(xllower,yllower)以及右下坐标点x4(xrlower,yrlower)；
S4：根据以下公式计算所述棉花叶片的叶片轮廓的初始中心点的坐标(x0,y0)：
Figure BDA0002512411370000061
S5：以初始中心点为起点，设定横向步长△x，xllower≤△x≤xrlower，以经过初始中心点的纵轴为主轴进行向左、向右横向扫描，获取中心点的横坐标xc；
S6：以初始中心点为起点，设定纵向步长△y，yllower≤△y≤yltop，以经过初始中心点的横轴为主轴进行向上、向下纵向扫描，获取中心点的纵坐标yc；
S7：坐标(xc,yc)即为所述棉花叶片的中心点位置。
在一个具体的实施例中，以图2所示的图像作为获取的棉花图像对本发明所述方法进行详述。
S1：以图2所示的图像作为获取的棉花图像并上传。
S2：利用现有Mask R-CNN目标检测模型对图2所示棉花图像实施棉花叶片分割，结果如图3所示。提取所得棉花叶片的叶片轮廓为长方形或正方形。
S3：单独截取图3中某一棉花叶片的叶片轮廓图片(如图4)，同时提取该所述棉花叶片的叶片轮廓的四个坐标点，分别记为左上坐标点x1(xltop,yltop)、右上坐标点x2(xrtop,yrtop)、左下坐标点x3(xllower,yllower)以及右下坐标点x4(xrlower,yrlower)。
S4：根据以下公式计算所述棉花叶片的叶片轮廓的初始中心点的坐标(x0y0)(如图5所示)：
Figure BDA0002512411370000062
S5：以初始中心点为起点，设定横向步长△x＝±5px，以经过初始中心点的纵轴为主轴进行向左、向右横向扫描，获取中心点的横坐标xc(如图6所示)，具体以纵轴为主轴进行向右横向扫描进行展示，包括：
S501，初始化初次扫描次数i＝1，纵轴经过坐标(x0 *＝x0+5px,y0＝0)；
S502，扫描时，叶片轮廓被经过坐标(x0 *,y0)的纵轴分为两个图像区域，分别为图像区域ABCD和图像区域A*B*C*D*(如图7所示)，其中：
图像区域ABCD的四个顶点位置分别为：A(xltop,yltop)、B(x0+5px,yltop)、C(x0+5px,yllower)、D(xllower,yllower)；
图像区域A*B*C*D*的四个顶点位置分别为：A*(x0+5px,yrtop)、B*(xrtop,yrtop)、C*(xrlower,yrlower)、D*(x0+5px,yllower)；
S503，将图像区域ABCD和A*B*C*D*分别缩放至20px×20px规格的图片(即每张图像为400个像素)，并采用现有技术将它们进一步转化为灰度图；
S504，分别计算两个灰度图每一行其像素点的均值和中位数，并记录每行像素点的均值和中位数；
S505，分别计算步骤S504所得两个图的所有均值和中位数的标准差，以得到的均值标准差和中位数标准差(图像区域ABCD经缩放并进一步转化成灰度图后的均值标准差和中位数标准差分别表示为σavg和σmedian，图像区域A*B*C*D*经缩放并进一步转化成灰度图后的均值标准差和中位数标准差分别表示为σavg *和σmedian *)作为各自的数值特征，即：
图像区域ABCD的数值特征：ABCD＝(σavg,σmedian)；
图像区域A*B*C*D*的数值特征：A*B*C*D*＝(σavg *,σmedian *)；
S506，利用图像区域ABCD、A*B*C*D*的数值特征，通过余弦函数计算二者的相似度imageSimilarity；即
Figure BDA0002512411370000071
S507，将计算所得相似度及当前扫描次数中纵轴经过的横坐标
Figure BDA0002512411370000072
以元组形式保存至结果列表imageSimilaritys中，即imageSimilaritys.append((/>
Figure BDA0002512411370000073
imageSimilarity))，结束当前次的扫描；
S508，更新x0 *坐标，即将第1次扫描中的x0 *(x0 *＝x0+5px)与+5px的和重新定义为第2次扫描中的x0 *，判断该重新定义的x0 *与xrlower和xllower的关系，当x0 *>xrlower或者x0 *<xllower时，结束以纵轴为主轴的向右横向扫描，执行步骤S509；否则执行步骤S502进行第2次扫描，直至更新后的x0 *满足结束以纵轴为主轴的向右横向扫描的条件；
S509，由于不仅需要以经过初始中心点的纵轴为主轴进行向左横向扫描，也需要以经过初始中心点的纵轴为主轴进行向右横向扫描，因此，在结束以纵轴为主轴的向右横向扫描后，需要开始以纵轴为主轴的向左横向扫描，向左横向扫描的实现步骤同S501～S508，只是横向步长的取值为负值(-5px)，直至完成以纵轴为主轴的向左横向扫描，得到同时包含纵轴为主轴的向左、向右横向扫描的结果列表imageSimilaritys。
S510，遍历结果列表imageSimilaritys，找出其中相似度值最小的元组数据，并以该元组数据中的x0 *作为所述棉花叶片中心点的横坐标xc。
S6：以初始中心点为起点，设定纵向步长△y＝±5px，以经过初始中心点的横轴为主轴进行向上、向下纵向扫描，获取中心点的纵坐标yc(如图8所示)；具体以横轴为主轴进行向上纵向扫描进行展示，包括：
S601，初始化初次扫描次数i’＝1，横轴经过坐标(x0＝0,y0 *＝y0+5px)；
S602，扫描时，叶片轮廓被经过坐标(x0，y0 *)的横轴分为两个图像区域，分别为图像区域A’B’C’D’和图像区域A’*B’*C’*D’*(如图9所示)，其中：
图像区域A’B’C’D’的四个顶点位置分别为：A’((xltop，yltop))、B’(xrtop,yrtop)、C’(xrtop,y0+5px)、D’(xltop,y0+5px)；
图像区域A’*B’*C’*D’*的四个顶点位置分别为：A’*(xllower,y0+5px)、B’*(xllower,y0+5px)、C’*(xrlower,yrlower)、D’*(xllower,yllower)；
S603，将图像区域A’B’C’D’和A’*B’*C’*D’*分别缩放至20px×20px规格的图片，并采用现有技术将它们进一步转化为灰度图；
S604，分别计算两个灰度图每一行其像素点的均值和中位数，并记录每行像素点的均值和中位数；
S605，分别计算步骤S604所得两个图的所有均值和中位数的标准差(图像区域A’B’C’D’经缩放并进一步转化成灰度图后的均值标准差和中位数标准差分别表示为σavg’和σmedian’，图像区域A’*B’*C’*D’*经缩放并进一步转化成灰度图后的均值标准差和中位数标准差分别表示为σavg’*,σmedian’*)，以得到的均值标准差和中位数标准差作为各自的数值特征，即：
图像区域A’B’C’D’的数值特征：A’B’C’D’＝(σavg’,σmedian’)；
图像区域A’*B’*C’*D’*的数值特征：A’*B’*C’*D’*＝(σavg’*,σmedian’*)；
S606，利用图像区域A’B’C’D’、A’*B’*C’*D’*的数值特征，通过余弦函数计算二者的相似度imageSimilarity’；即
Figure BDA0002512411370000081
S607，将计算所得相似度及当前扫描次数中横轴经过的纵坐标y0 *以元组形式保存至结果列表imageSimilaritys’中，即imageSimilaritys’.append((y0 *，imageSimilarity’))，结束当前次的扫描；
S608，更新y0 *坐标，即将第1次扫描中的y0 *(y0 *＝y0+5px)与纵向步长△y的和重新定义为第2次扫描中的y0 *，判断该重新定义的y0 *与yltop或yllower的关系，当y0 *>yltop时，结束以横轴为主轴的向上纵向扫描，执行步骤S609；否则执行步骤S602进行第2次扫描，直至更新后的y0 *满足结束以横轴为主轴的向上纵向扫描的条件；
S609，由于不仅需要以经过初始中心点的横轴为主轴的向上纵向扫描，也需要以经过初始中心点的横轴为主轴的向下纵向扫描，因此，在结束以横轴为主轴的向上纵向扫描后，需要开始以横轴为主轴的向下纵向扫描，所述向下纵向扫描的实现步骤同S601～S608，只是纵向步长的取值为负值(-5px)，直至完成以横轴为主轴的向下纵向扫描，得到同时包含横轴为主轴的向上、向下纵向扫描的结果列表imageSimilaritys’。
S610，遍历结果列表imageSimilaritys’，找出其中相似度值最小的元组数据，并以该元组数据中的y0 *作为所述棉花叶片中心点的纵坐标yc。
S7：坐标(xc,yc)即为所述棉花叶片的中心点位置(如图10所示)。
采用本发明所述方法在实际环境下对不同尺寸的目标作物中心点位置定位的效果一览图如图11所示。
对上述具体实施例中的画面每秒传输帧数(PFS)进行测试，测试方法及结果如下：
FPS测试方法如下：
步骤1：利用file_read函数读取***目录下的所有的目标作物访问地址，并用list形式保存到seeds中；
步骤2：根据步骤1中seeds通过切片操作完成种子100、500、900、1300、1800规模的提取；
步骤3：通过循环遍历seeds100、seeds500、seeds900、seeds1300、seeds1800种子文件，逐一的调用算法对每张图片进行处理并记录算法每次单张处理图片的用时，通过单张图片处理用时的累加形成该种子规模下的总用时，同时通过总用时除以总图片数量获得单张平均用时，由于记录所有单张图片处理用时，则可以最后获得单张最低用时和单张最高用时记录；
步骤4：通过累加不同规模下的平均单张用时并除以规模总数获得了最终的“汇总/平均单张用时”,即FPS。
为了验证算法的实时处理性能，在自建的图像数据库(共计1820张目标作物)上进行试验仿真，表1列出了本发明所述算法在不同规模数据量上的实时处理速度的试验结果，时间单位为毫秒(ms)。
表1：
Figure BDA0002512411370000091
对上述具体实施例中的中心点位置定位准确性进行测试：
中心点定位准确性验证主要采用事先人工定位标注的100张图片作为基准，同时，通过算法对上述图片进行二次定位标注，通过人工定位标注的坐标点dotorigin(xorigin,yorigin)与识别后的坐标点dotpredict(xpredict,ypredict)之间的欧式距离表示二者的误差，最后通过误差累积所得值除以100获得平均定位误差。
定位准确性测试方法：
步骤1：获取100张目标作物图片，人工为每张图片标注中心点坐标位置；
步骤2：算法对人工标注的100张目标作物图片进行二次定位标注；
步骤3：计算人工定位标注的坐标点dotorigin(xorigin,yorigin)与识别后的坐标点dotpredict(xpredict,ypredict)之间的欧式距离；
步骤4：将步骤3中误差累加，获得所有图片的误差累积和，并将误差累积和除以100，获得单张图片定位平均误差，即MAE，结果如下述表2所示。
表2：
Figure BDA0002512411370000101
/>

Claims (3)

1.一种棉花叶片中心点位置定位方法，其特征在于，包括以下步骤：
S1：采集棉花图像；
S2：提取图像中各棉花叶片的叶片轮廓；
S3：提取某一棉花叶片的叶片轮廓的四个坐标点，分别为左上坐标点x1(xltop,yltop)、右上坐标点x2(xrtop,yrtop)、左下坐标点x3(xllower,yllower)以及右下坐标点x4(xrlower,yrlower)；
S4：根据以下公式计算所述棉花叶片的叶片轮廓的初始中心点的坐标(x0,y0)：
Figure FDA0004088158740000011
S5：以初始中心点为起点，设定横向步长△x，xllower≤△x≤xrlower，以经过初始中心点的纵轴为主轴进行向左、向右横向扫描，获取中心点的横坐标xc；具体包括：
S501，初始化初次扫描次数i＝1，纵轴经过坐标(x0 *＝x0+△x,y0＝0)；
S502，扫描时，叶片轮廓被经过坐标(x0 *,y0)的纵轴分为两个图像区域，分别为图像区域ABCD和图像区域A*B*C*D*，其中：
图像区域ABCD的四个顶点位置分别为：A(xltop,yltop)、B(x0+△x,yltop)、C(x0+△x,yllower)、D(xllower,yllower)；
图像区域A*B*C*D*的四个顶点位置分别为：A*(x0+△x,yrtop)、B*(xrtop,yrtop)、C*(xrlower,yrlower)、D*(x0+△x,yllower)；
S503，将图像区域ABCD和A*B*C*D*分别缩放至同一规格的图片，并进一步转化为灰度图；
S504，分别计算两个灰度图每一行其像素点的均值和中位数，并记录每行像素点的均值和中位数；
S505，分别计算步骤S504所得两个图的所有均值和中位数的标准差，以得到的均值标准差和中位数标准差作为各自的数值特征，即：
图像区域ABCD的数值特征：ABCD＝(σavg,σmedian)；
图像区域A*B*C*D*的数值特征：A*B*C*D*＝(σavg *,σmedian *)；
S506，利用图像区域ABCD、A*B*C*D*的数值特征，通过余弦函数计算二者的相似度imageSimilarity；即
Figure FDA0004088158740000012
S507，将计算所得相似度及当前扫描次数中纵轴经过的横坐标x0 *以元组形式保存至结果列表imageSimilaritys中，即imageSimilaritys.append((x0 *,imageSimilarity))，结束当前次的扫描；
S508，更新x0 *坐标，即将第i次扫描中的x0 *与横向步长△x的和重新定义为第i+1次扫描中的x0 *，判断该重新定义的x0 *与xrlower和xllower的关系，当x0 *>xrlower或x0 *<xllower时，结束以纵轴为主轴的向右或向左横向扫描，执行步骤S509；否则执行步骤S502进行第i+1次扫描，直至更新后的x0 *满足结束以纵轴为主轴的向右或向左横向扫描的条件；
S509，在结束以纵轴为主轴的向右或向左横向扫描后，开始以纵轴为主轴的向左或向右横向扫描，实现步骤同S501至S508，得到同时包含以经过初始中心点的纵轴为主轴进行向左、向右横向扫描的结果列表imageSimilaritys；
S510，遍历结果列表imageSimilaritys，找出其中相似度值最小的元组数据，并以该元组数据中的x0 *作为所述棉花叶片中心点的横坐标xc；
S6：以初始中心点为起点，设定纵向步长△y，yllower≤△y≤yltop，以经过初始中心点的横轴为主轴进行向上、向下纵向扫描，获取中心点的纵坐标yc；
S7：坐标(xc,yc)即为所述棉花叶片的中心点位置。
2.根据权利要求1所述的棉花叶片中心点位置定位方法，其特征在于，步骤S6进一步包括：
S601，初始化初次扫描次数i’＝1，横轴经过坐标(x0＝0,y0 *＝y0+△y)；
S602，扫描时，叶片轮廓被经过坐标(x0，y0 *)的横轴分为两个图像区域，分别为图像区域A’B’C’D’和图像区域A’*B’*C’*D’*，其中：
图像区域A’B’C’D’的四个顶点位置分别为：A’((xltop，yltop))、B’(xrtop,yrtop)、C’(xrtop,y0+△y)、D’(xltop,y0+△y)；
图像区域A’*B’*C’*D’*的四个顶点位置分别为：A’*(xllower,y0+△y)、B’*(xllower,y0+△y)、C’*(xrlower,yrlower)、D’*(xllower,yllower)；
S603，将图像区域A’B’C’D’和A’*B’*C’*D’*分别进行缩放，缩放至与经过初始中心点的纵轴为主轴进行向左、向右横向扫描过程中图像区域ABCD和A*B*C*D*进行缩放后的规格相同，并进一步转化为灰度图；
S604，分别计算两个灰度图每一行其像素点的均值和中位数，并记录每行像素点的均值和中位数；
S605，分别计算步骤S604所得两个图的所有均值和中位数的标准差，以得到的均值标准差和中位数标准差作为各自的数值特征，即：
图像区域A’B’C’D’的数值特征：A’B’C’D’＝(σavg’,σmedian’)；
图像区域A’*B’*C’*D’*的数值特征：A’*B’*C’*D’*＝(σavg’*,σmedian’*)；
S606，利用图像区域A’B’C’D’、A’*B’*C’*D’*的数值特征，通过余弦函数计算二者的相似度imageSimilarity’；
S607，将计算所得相似度及当前扫描次数中横轴经过的纵坐标y0 *以元组形式保存至结果列表imageSimilaritys’中，即imageSimilaritys’.append((y0 *，imageSimilarity’))，结束当前次的扫描；
S608，更新y0 *坐标，即将第i’次扫描中的y0 *与纵向步长△y的和重新定义为第i’+1次扫描中的y0 *，判断该重新定义的y0 *与yltop或yllower的关系，当y0 *>yltop或y0 *<yllower时，结束以横轴为主轴的向上或向下纵向扫描，执行步骤S609；否则执行步骤S602进行第i’+1次扫描，直至更新后的y0 *满足结束以横轴为主轴的向上或向下纵向扫描的条件；
S609，在结束以横轴为主轴的向上或向下纵向扫描后，开始以横轴为主轴的向下或向上纵向扫描，实现步骤同S601～S608，得到同时包含以经过初始中心点的横轴为主轴的向上、向下纵向扫描的结果列表imageSimilaritys’；
S610，遍历结果列表imageSimilaritys’，找出其中相似度值最小的元组数据，并以该元组数据中的y0 *作为所述棉花叶片中心点的纵坐标yc。
3.根据权利要求1或2所述的棉花叶片中心点位置定位方法，其特征在于，所述横向步长△x与纵向步长△y的数值相同或不同。
CN202010465318.2A 2020-05-28 2020-05-28 一种棉花叶片中心点位置定位方法 Active CN111627059B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010465318.2A CN111627059B (zh) 2020-05-28 2020-05-28 一种棉花叶片中心点位置定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010465318.2A CN111627059B (zh) 2020-05-28 2020-05-28 一种棉花叶片中心点位置定位方法

Publications (2)

Publication Number Publication Date
CN111627059A CN111627059A (zh) 2020-09-04
CN111627059B true CN111627059B (zh) 2023-05-30

Family

ID=72259334

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010465318.2A Active CN111627059B (zh) 2020-05-28 2020-05-28 一种棉花叶片中心点位置定位方法

Country Status (1)

Country Link
CN (1) CN111627059B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112470735B (zh) * 2020-11-11 2022-07-22 江苏大学 基于三维定位的规则形状苗木自动修剪装置与方法
CN113298768B (zh) * 2021-05-20 2022-11-08 山东大学 棉花检测分割计数方法及***

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0997342A (ja) * 1995-08-03 1997-04-08 Sumitomo Electric Ind Ltd 樹木離隔距離計測システム
JPH11125506A (ja) * 1997-10-22 1999-05-11 Bando Chem Ind Ltd ブレード等の測長方法とその装置
JP2002203242A (ja) * 2000-12-28 2002-07-19 Japan Science & Technology Corp 植物認識システム
CA2391670A1 (en) * 2001-06-29 2002-12-29 Samsung Electronics Co., Ltd. Hierarchical image-based representation of still and animated three-dimensional object, method and apparatus for using this representation for the object rendering
JP2005182164A (ja) * 2003-12-16 2005-07-07 Sanyo Electric Co Ltd 画像領域判定方法、ならびにその方法を利用可能な画像領域判定装置、画像補正装置および電子透かし抽出装置
WO2010063252A1 (de) * 2008-12-03 2010-06-10 Forschungszentrum Jülich GmbH Verfahren zur vermessung des wachstums von blattscheiben von pflanzen sowie eine dazu geeignete vorrichtung
DE102010028382A1 (de) * 2010-04-29 2011-11-03 Siemens Aktiengesellschaft Verfahren und Computersystem zur Bearbeitung tomographischer Bilddaten aus einer Röntgen-CT-Untersuchung eines Untersuchungsobjektes
WO2013109625A1 (en) * 2012-01-17 2013-07-25 Alibaba Group Holding Limited Image index generation based on similarities of image features
JP2015095115A (ja) * 2013-11-12 2015-05-18 国立大学法人富山大学 領域分け方法、領域分けプログラム及び画像処理システム
WO2016014040A1 (en) * 2014-07-22 2016-01-28 Hewlett-Packard Development Company, L.P. Recovering planar projections
CN107220647A (zh) * 2017-06-05 2017-09-29 中国农业大学 一种叶片交叉条件下作物中心点定位方法及***
JP2018161058A (ja) * 2017-03-24 2018-10-18 キッセイコムテック株式会社 植物の生育状態評価方法、植物生育状態評価プログラム、植物生育状態評価装置ならびに植物モニタリングシステム
WO2019000455A1 (zh) * 2017-06-30 2019-01-03 上海联影医疗科技有限公司 图像分割的方法及***
WO2019113998A1 (zh) * 2017-12-11 2019-06-20 江苏大学 一种盆栽生菜的综合长势监测方法及装置
CN110119793A (zh) * 2019-03-27 2019-08-13 中国电建集团华东勘测设计研究院有限公司 林木栽植位置确定方法、***、存储设备及电子设备
CN111126316A (zh) * 2019-12-27 2020-05-08 湖南省农业信息与工程研究所 一种基于图像处理的四叶草的定位与识别方法
CN111194636A (zh) * 2020-02-21 2020-05-26 桂林市思奇通信设备有限公司 智能棉芽打顶***

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7519209B2 (en) * 2004-06-23 2009-04-14 Vanderbilt University System and methods of organ segmentation and applications of same
US20060072849A1 (en) * 2004-09-27 2006-04-06 Siemens Medical Solutions Usa, Inc. Multi-leaf collimator position sensing

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0997342A (ja) * 1995-08-03 1997-04-08 Sumitomo Electric Ind Ltd 樹木離隔距離計測システム
JPH11125506A (ja) * 1997-10-22 1999-05-11 Bando Chem Ind Ltd ブレード等の測長方法とその装置
JP2002203242A (ja) * 2000-12-28 2002-07-19 Japan Science & Technology Corp 植物認識システム
CA2391670A1 (en) * 2001-06-29 2002-12-29 Samsung Electronics Co., Ltd. Hierarchical image-based representation of still and animated three-dimensional object, method and apparatus for using this representation for the object rendering
JP2005182164A (ja) * 2003-12-16 2005-07-07 Sanyo Electric Co Ltd 画像領域判定方法、ならびにその方法を利用可能な画像領域判定装置、画像補正装置および電子透かし抽出装置
WO2010063252A1 (de) * 2008-12-03 2010-06-10 Forschungszentrum Jülich GmbH Verfahren zur vermessung des wachstums von blattscheiben von pflanzen sowie eine dazu geeignete vorrichtung
DE102010028382A1 (de) * 2010-04-29 2011-11-03 Siemens Aktiengesellschaft Verfahren und Computersystem zur Bearbeitung tomographischer Bilddaten aus einer Röntgen-CT-Untersuchung eines Untersuchungsobjektes
WO2013109625A1 (en) * 2012-01-17 2013-07-25 Alibaba Group Holding Limited Image index generation based on similarities of image features
JP2015095115A (ja) * 2013-11-12 2015-05-18 国立大学法人富山大学 領域分け方法、領域分けプログラム及び画像処理システム
WO2016014040A1 (en) * 2014-07-22 2016-01-28 Hewlett-Packard Development Company, L.P. Recovering planar projections
JP2018161058A (ja) * 2017-03-24 2018-10-18 キッセイコムテック株式会社 植物の生育状態評価方法、植物生育状態評価プログラム、植物生育状態評価装置ならびに植物モニタリングシステム
CN107220647A (zh) * 2017-06-05 2017-09-29 中国农业大学 一种叶片交叉条件下作物中心点定位方法及***
WO2019000455A1 (zh) * 2017-06-30 2019-01-03 上海联影医疗科技有限公司 图像分割的方法及***
WO2019113998A1 (zh) * 2017-12-11 2019-06-20 江苏大学 一种盆栽生菜的综合长势监测方法及装置
CN110119793A (zh) * 2019-03-27 2019-08-13 中国电建集团华东勘测设计研究院有限公司 林木栽植位置确定方法、***、存储设备及电子设备
CN111126316A (zh) * 2019-12-27 2020-05-08 湖南省农业信息与工程研究所 一种基于图像处理的四叶草的定位与识别方法
CN111194636A (zh) * 2020-02-21 2020-05-26 桂林市思奇通信设备有限公司 智能棉芽打顶***

Also Published As

Publication number Publication date
CN111627059A (zh) 2020-09-04

Similar Documents

Publication Publication Date Title
CN109785337B (zh) 一种基于实例分割算法的栏内哺乳动物清点方法
CN109443480B (zh) 基于图像处理的水位标尺定位及水位测量方法
CN111627059B (zh) 一种棉花叶片中心点位置定位方法
KR20210018181A (ko) 치수 계측 장치, 치수 계측 방법 및 반도체 제조 시스템
CN111046843A (zh) 一种智能驾驶环境下的单目测距方法
CN113838144B (zh) 一种基于机器视觉和深度学习的uv打印机上物件定位方法
CN111724354A (zh) 一种基于图像处理的多株小麦穗长与小穗数的测量方法
CN114463425B (zh) 一种基于概率Hough直线检测的工件表面无特征点定位方法
CN114660579A (zh) 一种全自动激光雷达与相机标定方法
CN114462646A (zh) 一种基于接触网安全巡检的杆号牌识别方法及***
CN111754461B (zh) 半导体芯片图像字符区域的定位方法、装置
CN111461230A (zh) 一种基于牙科stl模型和二维图像配准的牙模分类识别方法
CN111121637A (zh) 一种基于像素编码的光栅位移检测方法
CN115932877A (zh) 一种激光雷达和单目摄像头融合的目标跟踪方法及***
CN111260625B (zh) 胶印大张图像检测区域的自动提取方法
CN113063804B (zh) 一种基于图像处理的热切机视觉***自动定位方法
CN112233063B (zh) 一种大尺寸圆形物体的圆心定位方法
CN114266784A (zh) 基于线型掩膜扫描寻界的田间作物行区域实例分割方法
CN110968722A (zh) 一种用于无人机自主着陆的平台识别测量方法
CN117152361B (zh) 一种基于注意力机制的遥感影像能见度估计方法
CN118015004B (zh) 一种激光切割扫描***及方法
CN113112546B (zh) 基于三x组合标记的空间目标检测识别与位姿跟踪方法
CN117057377B (zh) 码的识别匹配方法
CN116580005B (zh) 基于图像处理与深度学习的管片模具开模***的引导方法
CN117969555B (zh) 墨滴打印漏点检测方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant