CN112200854A - 一种基于视频图像的叶类蔬菜三维表型测量方法 - Google Patents

一种基于视频图像的叶类蔬菜三维表型测量方法 Download PDF

Info

Publication number
CN112200854A
CN112200854A CN202011021158.9A CN202011021158A CN112200854A CN 112200854 A CN112200854 A CN 112200854A CN 202011021158 A CN202011021158 A CN 202011021158A CN 112200854 A CN112200854 A CN 112200854A
Authority
CN
China
Prior art keywords
point cloud
dimensional
leaf
cloud model
phenotype
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011021158.9A
Other languages
English (en)
Other versions
CN112200854B (zh
Inventor
韩宇星
杨自尚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Agricultural University
Original Assignee
South China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Agricultural University filed Critical South China Agricultural University
Priority to CN202011021158.9A priority Critical patent/CN112200854B/zh
Publication of CN112200854A publication Critical patent/CN112200854A/zh
Application granted granted Critical
Publication of CN112200854B publication Critical patent/CN112200854B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/36—Videogrammetry, i.e. electronic processing of video signals from a single source or from different sources to give parallax or range information
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N2021/8466—Investigation of vegetal material, e.g. leaves, plants, fruits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Geometry (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于视频图像的叶类蔬菜三维表型测量方法，包括以下步骤：通过数据获取装置获取叶类蔬菜的视频图像数据；对视频图像数据进行去除模糊图像帧处理，并使用基于植被指数和尺度不变特征变换匹配方法，获取视频图像数据中包含叶类蔬菜区域的关键帧；将关键帧图像重建为三维点云模型，通过三维点云模型进行三维空间的后处理，得到后处理点云模型；对后处理点云模型提取点云骨架并进行点云分割，进而对叶类蔬菜表型参数进行计算，得到叶类蔬菜三维表型测量结果；本发明提供了一种方便、低成本的三维表型测量手段，不需要繁琐的图像拍摄过程，可通过直接录制绿叶蔬菜的视频来得到表型参数，进一步的，可将该方法扩展应用于其他叶类蔬菜的分析。

Description

一种基于视频图像的叶类蔬菜三维表型测量方法
技术领域
本发明涉及计算机视觉技术与农业植物表型交叉的研究领域，特别涉及一种基于视频图像的叶类蔬菜三维表型测量方法。
背景技术
叶类蔬菜是人们日常生活中的所需各类营养的重要来源。蔬菜表型的量化和产量估计是其基因品种的选择和种植方式改进的前提，传统方式通过手工测量来完成，这是耗时而且繁琐的，同时改变了作物的生长状态，是破坏性的。因此，需要有高效便捷的原位蔬菜表型鉴定方法，以给育种研究和叶类蔬菜产量监测提供数据支持，从而改进提高蔬菜产量。
在过去的十几年，研究者广泛应用二维成像技术获取叶类蔬菜的表型。一些研究者使用CCD相机采集油菜数据，实现用于油菜表型二维参数的自动测量方法及装置。近些年，相关研究者将机器视觉与深度相结合，利用深度神经网络进行产量估计等。与此同时，一些研究者探索手机在农业生产中的应用，开发了基于手机拍摄图像的树木直径计算方法。然而由于二维世界缺乏深度信息，很难解决遮挡问题，尤其是在田间条件下这种情况非常普遍，从而难以获得研究对象精准的结构信息。
近些年，使用三维数据生成技术进行植物表型化的趋势不断增加。为了采集植物的三维数据，不同领域的研究者使用多种不同的基于三维传感器的技术，其主要可以分为两类：主动式和被动式。主动式传感器发射独立的光源，如手持激光扫描，结构光，地面激光扫描和飞行时间。LiDAR是用于表型分析的最广泛使用的主动传感器之一。除此之外，微软公司的Kinect是一种常见的主动传感器，它可以采集RGB-D数据，同时价格相对便宜，然而由于其分辨率较低，在室外场景下难以准确采集有效的数据。
基于被动方法的三维重建近些年受到关注。通过相机在不同角度采集感兴趣区域的图像，然后通过三角测量原理计算目标的深度信息。从运动中重建结构(SFM)方法由于其使用简单、鲁棒性等特点用于植物表型结构的测量、产量估计、良品预测中。目前由于SFM相关的工作针对单一的作物往往需要拍摄30到50张图像，拍摄过程复杂繁琐，且相机快门、ISO的参数的调整需要一定的经验。同时由于田间现场环境的复杂，如植物件的遮挡，风对植物抖动的影响，以及光照条件等都给这项工作带来了挑战。
发明内容
本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于视频图像的叶类蔬菜三维表型测量方法，首先获取拍摄视频的关键帧，其后通过三维重建算法获得植物点云模型，通过点云骨架提取和点云分割获取叶类蔬菜的表型参数，最终实现基于手机视频数据的叶类蔬菜三维表型自动测量和分析。
本发明的目的通过以下的技术方案实现：
一种基于视频图像的叶类蔬菜三维表型测量方法，包括以下步骤：
通过数据获取装置获取叶类蔬菜的视频图像数据；
对视频图像数据进行去除模糊图像帧处理，并使用基于植被指数和尺度不变特征变换匹配方法，获取视频图像数据中包含叶类蔬菜区域的关键帧；
将关键帧图像重建为三维点云模型，通过三维点云模型进行三维空间的后处理，得到后处理点云模型；
对后处理点云模型提取点云骨架并进行点云分割，进而对叶类蔬菜表型参数进行计算，得到叶类蔬菜三维表型测量结果。
进一步地，所述通过数据获取装置获取叶类蔬菜的视频图像数据，具体为：通过数据获取装置以不同的角度环绕叶类蔬菜进行拍摄视频，获取叶类蔬菜的视频图像数据。
进一步地，所述对视频图像数据进行去模糊处理，并使用基于植被指数和尺度不变特征变换匹配方法，获取视频图像数据中包含叶类蔬菜区域的关键帧，具体为：
S201、将视频图像数据解码为单帧图像进行保存，对保存的每一帧图像依次判断是否模糊，并将模糊的图像序号进行标记；
S202、对处理后未被标记模糊的单帧图像计算ExGR植被指数，得到叶类蔬菜显著图；
S203、对叶类蔬菜显著图依次进行分组并计算，获取视频图像数据中包含叶类蔬菜区域的关键帧。
进一步地，所述步骤S203，具体为：
设定I表示视频内一帧图像，对于一个具有n帧图像的视频S＝{Ii,i＝1,2,3,...,n}，假设期望得到的关键帧的数量m，则将具有n帧视频S从第一帧开始按等间隔帧数划分为m个集合；
计算所有集合内的每个叶类蔬菜显著图的SIFT特征，以第1个集合的第1个显著图I′1作为第1个关键帧，从第2个集合开始，将当前集合内的所有显著帧与前一个关键帧进行特征点匹配，将当前集合内最多匹配点的帧作为新的关键帧；重复当前步骤，直到计算完毕m个集合，得到m个关键帧，其计算公式为：
Figure BDA0002700645900000031
其中，{I'}i表示一个包含多个显著图的集合，Il'表示第i个集合{I'}i内的每一帧图像，
Figure BDA0002700645900000032
表示第i个显著图集合所得到的关键帧，
Figure BDA0002700645900000033
表示I'l与
Figure BDA0002700645900000034
这两帧图像计算SIFT特征匹配得到的特征点个数；
将m个关键帧在原始视频中对应的帧作为原始视频的图像序列，用于重建叶类蔬菜的三维点云模型。
进一步地，所述三维空间的后处理，包括滤波、平面拟合，简化。
进一步地，所述将关键帧图像重建为三维点云模型，通过三维点云模型进行三维空间的后处理，得到后处理的点云模型，具体为：
S301、对关键帧图像首先使用SFM算法重建得到稀疏的三维点云模型，进一步使用MVS算法进行重建，得到稠密的三维点云模型；
S302、对三维点云模型进行三维空间的滤波处理，得到滤波三维点云模型；
S303、对滤波三维点云模型进行平面拟合，将在检测到的平面作为地面，将垂直于地面的方向定义为Z轴方向，同时将平面以下的点云全部删除，得到平面拟合三维点云模型；
S304、对平面拟合点云模型进行简化，降低每个样本点云数量，从而将降低后续步骤的计算量。
进一步地，所述对后处理的点云模型提取点云骨架并进行点云分割，进而对叶类蔬菜表型参数进行计算，具体为：
S401、对点云模型进行尺寸转换，得到尺寸转换点云模型，进而得到叶类蔬菜点云模型的真实尺寸；
S402、对尺寸转换云模型进行骨架化处理，得到点云骨架模型；
S403、在点云骨架模型的基础上，对后处理点云模型进行点云分割，得到点云分割模型；
S404、对点云分割模型和点云骨架模型计算叶类蔬菜表型参数，得到叶类蔬菜三维表型测量。
进一步地，其特征在于，所述叶类蔬菜表型参数包括：植株高度、叶片数量、叶片长度、叶片夹角。
本发明与现有技术相比，具有如下优点和有益效果：
本发明通过直接录制绿叶蔬菜的视频最终得到表型参数，与其他基于摄影测量的其他方法相比，该方法不需要繁琐的图像拍摄过程；在关键帧提取步骤中，通过模糊图像去除和基于特征点匹配的方法，能够实现重建得到高质量的点云模型；提供了一种方便、低成本的三维表型测量手段，进一步的，可以将该方法扩展应用于其他叶类蔬菜的分析，对叶类蔬菜的改良、提高叶类蔬菜产量具有重要的现实意义。
附图说明
图1是本发明所述一种基于视频图像的叶类蔬菜三维表型测量方法的流程图；
图2为本发明所述实施例中视频数据通过不同角度采集的示意图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例：
一种基于视频图像的叶类蔬菜三维表型测量方法，如图1所示，包括以下步骤：
通过数据获取装置获取叶类蔬菜的视频图像数据；
对视频图像数据进行去模糊处理，并使用基于植被指数和尺度不变特征变换匹配方法，获取视频图像数据中包含叶类蔬菜区域的关键帧；
将关键帧图像重建为三维点云模型，通过三维点云模型进行三维空间的后处理，得到后处理点云模型；
对后处理点云模型提取点云骨架并进行点云分割，进而对叶类蔬菜表型参数进行计算，得到叶类蔬菜三维表型测量结果。
具体如下：
第一步、通过手机以不同的角度环绕叶类蔬菜拍摄视频；使用为相机参数为2000万像素的手机，设置拍摄分辨率2880x2160，视频帧率为30fps，曝光参数为自动，对焦模式为每次拍摄前进行手动对焦，以尽可能稳定的方式拍摄绕叶类蔬菜旋转进行拍摄视频。为了获取尽可能多的信息，以距离植物中心以30到50cm的距离，分别对每株植物分别以相对于地平面以0度、45度，75度的夹角旋转3次进行拍摄。拍摄方式如图2所示。在拍摄视频完成后，对单个的叶类蔬菜进行手动的测量其表型参数。
第二步、对获取到的视频每一帧图像判断是否发生模糊并去除模糊图像，在此基础上，使用基于植被指数和尺度不变特征变换(SIFT)匹配算法，获取视频中包含作物区域的关键帧；
对于使用手机围绕叶类蔬菜进行拍摄的视频，由于人在拍摄过程中的抖动，造成视频帧出现模糊。已知模糊的图片边界信息少，而正常清晰的图片边界信息多。因此通过计算图片二阶导的方差值能够作为判断图片是否发生模糊的依据。Laplacian算子具有二阶可导性，可以用来计算出图片中边界的区域。则图像的模糊程度可表示为：
D(f)＝∑y∑x|G(x,y)|，
其中，G(x,y)为图像f中的像素点(x,y)处的Laplacian算子的卷积。
植被指数主要能够反映植被在可见光、近红外波段反射等与土壤背景之间差异的指标，用来增强作物与周围地物的差异,有效分离出绿色作物和土壤背景。对于输入的RGB色彩空间图像，实验表明，过量绿色减去过量红色指数(ExGR)指数对于绿叶类蔬菜图像具有更优的表现，其中ExGR指数的计算方法如公式所示：
Figure BDA0002700645900000051
ExG＝2g-r-b，
ExR＝1.48r-g，
ExGR＝RxG-ExR，
尺度不变特征变换算法(SIFT)在图像平移、缩放、旋转等复杂变化环境下有着优异的性能，常用于图像拼接、点云模型重建等算法中。因此完整的关键帧提取方法如下：
1)设定I表示视频内一帧图像，对于一个具有n帧图像的视频S＝{Ii,i＝1,2,3,...,n}，假设期望得到的关键帧的数量m。则将具有n帧视频S从第一帧开始按等间隔帧数划分为m个集合。以每个集合的第1帧图像为起始帧，首先判断当前帧是否发生模糊，若存在模糊，则直接剔除当前帧，之后判断下一帧，直到本集合内视频帧判断完毕，最终集合内剩余得到的帧都为清晰帧。
2)对每个集合内的视频帧采用ExGR方法得到灰度化的叶类蔬菜显著图I′。
3)计算所有集合内的每个叶类蔬菜显著图的SIFT特征。以第1个集合的第1个显著图I1′作为第1个关键帧，从第2个集合开始，将当前集合内的所有显著帧与前一个关键帧进行特征点匹配。将当前集合内最多匹配点的帧作为新的关键帧。重复当前步骤，直到计算完毕m个集合，得到m个关键帧，其计算公式为：
Figure BDA0002700645900000061
4)将m个关键帧在原始视频中对应的帧作为原始视频的图像序列，进一步用于重建叶类蔬菜的3D点云模型。
第三步、通过SFM算法将关键帧图像重建为三维点云模型并进行三维空间的滤波等后处理；
对步骤二得到的关键帧图像使用SFM算法得到稀疏点云，之后使用MVS算法将稀疏点云重建为稠密点云。受到外界环境的影响，生成的点云模型包含一些离散分布的噪声，因此需要对点云模型进行三维空间的滤波处理。采取基于半径的离群点过滤器，进行噪声点过滤，从而获得更平滑的点云模型。
对于重建得到的点云，其在包含植物的同时也包含土壤地面。首先对点云模型进行平面检测，检测到的平面即为地平面。使用随机样本共识(RANSAC)算法来拟合平面，在检测到地面之后，将垂直于地面的方向定义为Z轴，同时将平面以下的点云全部删除，保留下来点云用于后续植物表型的计算。重建得到的高精度点云往往包含数十万甚至多达百万数量级，这对于后续的计算量是巨大的。为了提高效率，需要对点云进行简化，降低每株植物点云数量到1～3万左右，在模型精度影响较小的前提下，有效降低后续步骤计算量。
第四步、对后处理的点云模型提取点云骨架并进行点云分割，在此基础上对叶类蔬菜表型参数进行计算。
为了获得点云与真实世界之间的尺寸关系，首先测量立方体在三维空间的尺寸，能够得到比值k＝Lreal/Lvirtual，其中Lreal为立方体在真实世界的尺寸值，Lvirtual为立方体在点云空间内的尺寸值。之后通过比值k对点云模型进行尺寸转换，从而能够得到点云模型在真实世界的对应尺寸结果；对点云模型使用基于切片聚类的的点云骨架化算法，得到点云骨架模型，在此基础上对点云进行分割，得到具有不同分支的叶类蔬菜点云模型；之后，通过叶类蔬菜点云骨架模型和分割后点云进行表型参数计算。
植物株高；当植株与地面近乎垂直时，则其是从土壤地上部分开始到植物最顶端的欧式距离。此时可以直接对点云Z轴方向的最大值与最小值作差，即植物株高H＝Zmax/Zmin，其中Zmax为植株点云中Z轴方向最大的点的值，Zmin为Z轴方向最小的点的值。当植株与地面存在一定的夹角θ时，则植株高H＝(Zmax-Zmin)/sinθ。
叶片数量；对于叶类蔬菜，叶片数量可以通过计算植株骨架分支的个数来得到。
叶片长度；其由叶片分支骨架线的长度来计算。对于包含有的n个结点vi(i＝1,...,n)，其分支长度为结点间距离之和，即对于每个叶片长度Lb：
Figure BDA0002700645900000071
叶片角度；首先计算地面的法向量α，再通过叶片骨架分支计算分支处的切向量γ，则叶片分支夹角θ有：
Figure BDA0002700645900000072
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (8)

1.一种基于视频图像的叶类蔬菜三维表型测量方法，其特征在于，包括以下步骤：
通过数据获取装置获取叶类蔬菜的视频图像数据；
对视频图像数据进行去除模糊图像处理，并使用基于植被指数和尺度不变特征变换匹配方法，获取视频图像数据中包含叶类蔬菜区域的关键帧；
将关键帧图像重建为三维点云模型，通过三维点云模型进行三维空间的后处理，得到后处理点云模型；
对后处理点云模型提取点云骨架并进行点云分割，进而对叶类蔬菜表型参数进行计算，得到叶类蔬菜三维表型测量结果。
2.根据权利要求1所述的一种基于视频图像的叶类蔬菜三维表型测量方法，其特征在于，所述通过数据获取装置获取叶类蔬菜的视频图像数据，具体为：通过数据获取装置以不同的角度环绕叶类蔬菜进行拍摄视频，获取叶类蔬菜的视频图像数据。
3.根据权利要求1所述的一种基于视频图像的叶类蔬菜三维表型测量方法，其特征在于，所述对视频图像数据进行去除模糊图像处理，并使用基于植被指数和尺度不变特征变换匹配方法，获取视频图像数据中包含叶类蔬菜区域的关键帧，具体为：
S201、将视频图像数据解码为单帧图像进行保存，对保存的每一帧图像依次判断是否模糊，并将模糊的图像序号进行标记；
S202、对处理后未被标记模糊的单帧图像计算ExGR植被指数，得到叶类蔬菜显著图；
S203、对叶类蔬菜显著图依次进行分组并计算，获取视频图像数据中包含叶类蔬菜区域的关键帧。
4.根据权利要求3所述的一种基于视频图像的叶类蔬菜三维表型测量方法，其特征在于，所述步骤S203，具体为：
设定I表示视频内一帧图像，对于一个具有n帧图像的视频S＝{Ii,i＝1,2,3,...,n}，假设期望得到的关键帧的数量m，则将具有n帧视频S从第一帧开始按等间隔帧数划分为m个集合；
计算所有集合内的每个叶类蔬菜显著图的SIFT特征，以第1个集合的第1个显著图I′1作为第1个关键帧，从第2个集合开始，将当前集合内的所有显著帧与前一个关键帧进行特征点匹配，将当前集合内最多匹配点的帧作为新的关键帧；重复当前步骤，直到计算完毕m个集合，得到m个关键帧，其计算公式为：
Figure FDA0002700645890000021
其中，{I'}i表示一个包含多个显著图的集合，Il'表示第i个集合{I'}i内的每一帧图像，
Figure FDA0002700645890000022
表示第i个显著图集合所得到的关键帧，
Figure FDA0002700645890000023
表示I′l与
Figure FDA0002700645890000024
这两帧图像计算SIFT特征匹配得到的特征点个数；
将m个关键帧在原始视频中对应的帧作为原始视频的图像序列，用于重建叶类蔬菜的三维点云模型。
5.根据权利要求1所述的一种基于视频图像的叶类蔬菜三维表型测量方法，其特征在于，所述三维空间的后处理，包括滤波、平面拟合，简化。
6.根据权利要求5所述的一种基于视频图像的叶类蔬菜三维表型测量方法，其特征在于，所述将关键帧图像重建为三维点云模型，通过三维点云模型进行三维空间的后处理，得到后处理的点云模型，具体为：
S301、对关键帧图像首先使用SFM算法重建得到稀疏的三维点云模型，进一步使用MVS算法进行重建，得到稠密的三维点云模型；
S302、对三维点云模型进行三维空间的滤波处理，得到滤波三维点云模型；
S303、对滤波三维点云模型进行平面拟合，将在检测到的平面作为地面，将垂直于地面的方向定义为Z轴方向，同时将平面以下的点云全部删除，得到平面拟合三维点云模型；
S304、对平面拟合点云模型进行简化，降低每个样本点云数量，从而将降低后续步骤的计算量。
7.根据权利要求1所述的一种基于视频图像的叶类蔬菜三维表型测量方法，其特征在于，所述对后处理的点云模型提取点云骨架并进行点云分割，进而对叶类蔬菜表型参数进行计算，具体为：
S401、对点云模型进行尺寸转换，得到尺寸转换点云模型，进而得到叶类蔬菜点云模型的真实尺寸；
S402、对尺寸转换云模型进行骨架化处理，得到点云骨架模型；
S403、在点云骨架模型的基础上，对后处理点云模型进行点云分割，得到点云分割模型；
S404、对点云分割模型和点云骨架模型计算叶类蔬菜表型参数，得到叶类蔬菜三维表型测量。
8.根据权利要求7所述的一种基于视频图像的叶类蔬菜三维表型测量方法，其特征在于，其特征在于，所述叶类蔬菜表型参数包括：植株高度、叶片数量、叶片长度、叶片夹角。
CN202011021158.9A 2020-09-25 2020-09-25 一种基于视频图像的叶类蔬菜三维表型测量方法 Active CN112200854B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011021158.9A CN112200854B (zh) 2020-09-25 2020-09-25 一种基于视频图像的叶类蔬菜三维表型测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011021158.9A CN112200854B (zh) 2020-09-25 2020-09-25 一种基于视频图像的叶类蔬菜三维表型测量方法

Publications (2)

Publication Number Publication Date
CN112200854A true CN112200854A (zh) 2021-01-08
CN112200854B CN112200854B (zh) 2023-10-17

Family

ID=74008283

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011021158.9A Active CN112200854B (zh) 2020-09-25 2020-09-25 一种基于视频图像的叶类蔬菜三维表型测量方法

Country Status (1)

Country Link
CN (1) CN112200854B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114061488A (zh) * 2021-11-15 2022-02-18 华中科技大学鄂州工业技术研究院 一种物体测量方法、***以及计算机可读存储介质
CN115115621A (zh) * 2022-08-24 2022-09-27 聊城市泓润能源科技有限公司 一种基于图像处理的润滑油污染程度检测方法
CN115326805A (zh) * 2022-10-12 2022-11-11 云南瀚哲科技有限公司 图像采集装置与基于ibmr的烟叶作物长势分析方法
CN116704497A (zh) * 2023-05-24 2023-09-05 东北农业大学 一种基于三维点云的油菜表型参数提取方法及***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070031064A1 (en) * 2004-06-10 2007-02-08 Wenyi Zhao Method and apparatus for aligning video to three-dimensional point clouds
CN104021544A (zh) * 2014-05-07 2014-09-03 中国农业大学 一种温室蔬菜病害监控视频关键帧提取方法即提取***
CN106251399A (zh) * 2016-08-30 2016-12-21 广州市绯影信息科技有限公司 一种基于lsd‑slam的实景三维重建方法
US20190226852A1 (en) * 2016-09-09 2019-07-25 Nanyang Technological University Simultaneous localization and mapping methods and apparatus
CN110866975A (zh) * 2019-04-25 2020-03-06 华中农业大学 基于多目视觉的油菜图像获取装置及三维特征提取方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070031064A1 (en) * 2004-06-10 2007-02-08 Wenyi Zhao Method and apparatus for aligning video to three-dimensional point clouds
CN104021544A (zh) * 2014-05-07 2014-09-03 中国农业大学 一种温室蔬菜病害监控视频关键帧提取方法即提取***
CN106251399A (zh) * 2016-08-30 2016-12-21 广州市绯影信息科技有限公司 一种基于lsd‑slam的实景三维重建方法
US20190226852A1 (en) * 2016-09-09 2019-07-25 Nanyang Technological University Simultaneous localization and mapping methods and apparatus
CN110866975A (zh) * 2019-04-25 2020-03-06 华中农业大学 基于多目视觉的油菜图像获取装置及三维特征提取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
杨自尚: "植物根系三维模型中心线提取方法", 《中国优秀硕士学位沦为全文数据库》, pages 006 - 713 *
艾青林;余杰;胡克用;陈琦;: "基于ORB关键帧匹配算法的机器人SLAM实现", 机电工程, no. 05, pages 12 - 19 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114061488A (zh) * 2021-11-15 2022-02-18 华中科技大学鄂州工业技术研究院 一种物体测量方法、***以及计算机可读存储介质
CN114061488B (zh) * 2021-11-15 2024-05-14 华中科技大学鄂州工业技术研究院 一种物体测量方法、***以及计算机可读存储介质
CN115115621A (zh) * 2022-08-24 2022-09-27 聊城市泓润能源科技有限公司 一种基于图像处理的润滑油污染程度检测方法
CN115115621B (zh) * 2022-08-24 2022-11-11 聊城市泓润能源科技有限公司 一种基于图像处理的润滑油污染程度检测方法
CN115326805A (zh) * 2022-10-12 2022-11-11 云南瀚哲科技有限公司 图像采集装置与基于ibmr的烟叶作物长势分析方法
CN116704497A (zh) * 2023-05-24 2023-09-05 东北农业大学 一种基于三维点云的油菜表型参数提取方法及***
CN116704497B (zh) * 2023-05-24 2024-03-26 东北农业大学 一种基于三维点云的油菜表型参数提取方法及***

Also Published As

Publication number Publication date
CN112200854B (zh) 2023-10-17

Similar Documents

Publication Publication Date Title
CN112200854B (zh) 一种基于视频图像的叶类蔬菜三维表型测量方法
CN109146948B (zh) 基于视觉的作物长势表型参数量化与产量相关性分析方法
US10930065B2 (en) Three-dimensional modeling with two dimensional data
CN111724433B (zh) 一种基于多目视觉的作物表型参数提取方法及***
CN113112504A (zh) 一种植物点云数据分割方法及***
Santos et al. 3D plant modeling: localization, mapping and segmentation for plant phenotyping using a single hand-held camera
Zhang et al. 3D monitoring for plant growth parameters in field with a single camera by multi-view approach
Masuda Leaf area estimation by semantic segmentation of point cloud of tomato plants
CN110866975A (zh) 基于多目视觉的油菜图像获取装置及三维特征提取方法
CN111429490A (zh) 一种基于标定球的农林作物三维点云配准方法
CN115937151B (zh) 一种作物叶片卷曲程度的判定方法
CN115861409B (zh) 大豆叶面积测算方法、***、计算机设备及存储介质
Paturkar et al. 3D reconstruction of plants under outdoor conditions using image-based computer vision
Paturkar et al. Non-destructive and cost-effective 3D plant growth monitoring system in outdoor conditions
CN112906719A (zh) 基于消费级深度相机的立木因子测量方法
CN115687850A (zh) 一种农田的灌溉需水量计算方法及装置
CN116862955A (zh) 一种植物图像的三维配准方法、***及设备
Amean et al. Automatic leaf segmentation and overlapping leaf separation using stereo vision
CN110866945A (zh) 一种倾斜摄影模型自动识别生成三维树的方法
CN110689022A (zh) 基于叶片匹配的各株作物图像提取方法
Dong et al. Three-dimensional quantification of apple phenotypic traits based on deep learning instance segmentation
CN117078821A (zh) 基于深度学习的植物快速三维渲染与表征提取工具
CN116580310A (zh) 一种基于图像识别的作物长势监测方法
CN116721344A (zh) 基于航拍设备的植被检测方法、装置和设备
CN113932712A (zh) 一种基于深度相机和关键点的瓜果类蔬菜尺寸测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant