CN116465887A - 基于设施作物表型采集装置的表型采集方法 - Google Patents

基于设施作物表型采集装置的表型采集方法 Download PDF

Info

Publication number
CN116465887A
CN116465887A CN202310260996.9A CN202310260996A CN116465887A CN 116465887 A CN116465887 A CN 116465887A CN 202310260996 A CN202310260996 A CN 202310260996A CN 116465887 A CN116465887 A CN 116465887A
Authority
CN
China
Prior art keywords
camera
crop
rgb
phenotype
light source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310260996.9A
Other languages
English (en)
Inventor
张倩
郭建鑫
于峰
王明
刘新
平阳
王一罡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Academy of Agriculture and Forestry Sciences
Original Assignee
Beijing Academy of Agriculture and Forestry Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Academy of Agriculture and Forestry Sciences filed Critical Beijing Academy of Agriculture and Forestry Sciences
Priority to CN202310260996.9A priority Critical patent/CN116465887A/zh
Publication of CN116465887A publication Critical patent/CN116465887A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/52—Measurement of colour; Colour measuring devices, e.g. colorimeters using colour charts
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G01N2021/0106—General arrangement of respective parts
    • G01N2021/0112—Apparatus in one mechanical, optical or electronic block
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N2021/8466—Investigation of vegetal material, e.g. leaves, plants, fruits
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
    • Y02A40/25—Greenhouse technology, e.g. cooling systems therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及作物表型采集技术领域，提供一种基于设施作物表型采集装置的表型采集方法，表型采集装置包括移动平台、安装支架和摄像组件；安装支架设于移动平台，摄像组件设于安装支架，摄像组件包括第一RGB‑D摄像头和第二RGB‑D摄像头；表型采集方法包括：控制移动平台分别沿同一作物行的左侧和右侧移动，获取作物行的视频采集信息；根据视频采集信息，获取作物行当中的每一株作物的左视图像、右视图像和俯视图像；根据左视图像、右视图像和俯视图像，建立作物的3D空间模型；对3D空间模型进行特征提取，获取作物的表型参数。本发明能够对设施作物快速、准确、无损地进行大批量表型测量。

Description

基于设施作物表型采集装置的表型采集方法
技术领域
本发明涉及作物表型采集技术领域，尤其涉及一种基于设施作物表型采集装置的表型采集方法。
背景技术
作物表型的数字化获取是作物生长发育研究的基础。表型采集与分析技术结合基因组信息，可培育出更高产、更优质、更耐胁迫的作物，从而大大提高育种改良效率。图像处理的发展使得基于图像的作物表型研究日趋成熟。
当前设施环境中应用的作物表型图像采集装置，或多或少的存在一定的弊端：手持采集设备，需要人工操作，受人为因素干扰较大；固定采集装置，无法连续采集图像、覆盖面小、视角单一；悬挂式装置，需要在大棚内部署悬挂点，建设难度大，受大棚规格影响。
传统的作物表型采集方法存在测量性状少，样本量小、多为人工测量效率低、主观性严重误差大、多针对单一植物适应性差等缺点，无法适应大批量、快速、准确、无损的表型测量要求。
发明内容
本发明提供一种基于设施作物表型采集装置的表型采集方法，用以解决当前难以对设施作物快速、准确、无损地进行大批量表型测量的问题。
本发明提供一种基于设施作物表型采集装置的表型采集方法，所述表型采集装置包括移动平台、安装支架和摄像组件；所述安装支架设于所述移动平台，所述摄像组件设于所述安装支架，所述摄像组件包括第一RGB-D摄像头和第二RGB-D摄像头，所述第一RGB-D摄像头用于设于作物行的左侧或右侧，所述第二RGB-D摄像头用于设于作物行的顶部；所述表型采集方法包括：
控制所述移动平台分别沿同一作物行的左侧和右侧移动，获取所述作物行的视频采集信息；
根据所述视频采集信息，获取所述作物行当中的每一株作物的左视图像、右视图像和俯视图像；
根据所述左视图像、所述右视图像和所述俯视图像，建立所述作物的3D空间模型；
对所述3D空间模型进行特征提取，获取所述作物的表型参数。
根据本发明提供的一种基于设施作物表型采集装置的表型采集方法，所述控制所述移动平台分别沿同一作物行的左侧和右侧移动，获取所述作物行的视频采集信息的步骤，包括：
控制所述移动平台在所述作物行的左侧沿所述作物行的延伸方向移动，获取所述第一RGB-D摄像头采集的第一视频信息和所述第二RGB-D摄像头采集的第二视频信息；
控制所述移动平台在所述作物行的右侧沿所述作物行的延伸方向移动，获取所述第一RGB-D摄像头采集的第三视频信息和所述第二RGB-D摄像头采集的第四视频信息；
相应地，所述根据所述视频采集信息，获取所述作物行当中的每一株作物的左视图像、右视图像和俯视图像的步骤，包括：
将所述第一视频信息和所述第三视频信息与所述第二视频信息和所述第四视频信息进行校准与匹配，获取所述作物行当中的每一株作物的所述左视图像、所述右视图像和所述俯视图像。
根据本发明提供的一种基于设施作物表型采集装置的表型采集方法，在所述作物行的左侧和右侧，所述移动平台沿所述作物行的延伸方向的移动速度相同；
其中，所述移动平台的移动速度是根据所述作物的类型确定的。
根据本发明提供的一种基于设施作物表型采集装置的表型采集方法，所述表型采集装置还包括比色板；所述比色板设于所述安装支架，所述比色板与所述第一RGB-D摄像头和所述第二RGB-D摄像头当中至少一者的镜头相对设置；
相应地，所述表型采集方法还包括：采用所述比色板对所述左视图像、所述右视图像和所述俯视图像的颜色进行校正。
根据本发明提供的一种基于设施作物表型采集装置的表型采集方法，所述安装支架包括竖直伸缩架和水平伸缩架；
所述竖直伸缩架的底端和所述移动平台连接，所述竖直伸缩架的顶端和所述水平伸缩架垂直连接；
所述第一RGB-D摄像头设于所述竖直伸缩架上，所述第二RGB-D摄像头设于所述水平伸缩架上。
根据本发明提供的一种基于设施作物表型采集装置的表型采集方法，所述第一RGB-D摄像头的光轴呈水平设置，所述竖直伸缩架用于调节所述第一RGB-D摄像头的光轴相对于水平面的高度；
所述第二RGB-D摄像头的光轴呈竖直设置，所述水平伸缩架用于调节所述第二RGB-D摄像头的光轴相对于所述竖直伸缩架的间距。
根据本发明提供的一种基于设施作物表型采集装置的表型采集方法，所述摄像组件还包括第一光源和第二光源；所述第一光源设于所述第一RGB-D摄像头的一侧，所述第二光源设于所述第二RGB-D摄像头的一侧；
相应地，所述表型采集方法还包括：在获取所述视频采集信息的过程中，控制所述第一光源和所述第二光源开启；
获取环境光照强度，根据所述环境光照强度调节所述第一光源和所述第二光源的发光功率。
根据本发明提供的一种基于设施作物表型采集装置的表型采集方法，所述第一光源和所述第二光源当中的至少一者包括LED灯。
根据本发明提供的一种基于设施作物表型采集装置的表型采集方法，所述表型采集装置还包括控制设备；所述控制设备包括供电模块、控制模块和通信模块；
所述供电模块分别与所述控制模块、所述通信模块和所述移动平台电性连接；所述移动平台和所述摄像组件分别与所述控制模块连接，所述控制模块和所述通信模块连接，所述通信模块用于与远程控制终端通信。
根据本发明提供的一种基于设施作物表型采集装置的表型采集方法，所述表型参数包括作物的株高、叶片数、冠层覆盖率、叶面积指数和叶片夹角。
本发明提供的基于设施作物表型采集装置的表型采集方法，通过控制移动平台分别沿同一作物行的左侧和右侧移动，使用第一RGB-D摄像头和第二RGB-D摄像头，采集作物含有RGB特征和深度特征的视频，经数据校准和匹配，得到作物的左视图像、右视图像和俯视图像，并依据以上表型图像建立作物的3D空间模型，从3D空间模型中提取作物的颜色、形状、纹理特征，进而获取作物的表型参数。
由上可知，本发明提供的基于设施作物表型采集装置的表型采集方法，不仅操作便捷，而且可以实现对设施作物快速、准确、无损地进行大批量的表型测量。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的设施作物表型采集装置的结构示意图；
图2是本发明提供的基于设施作物表型采集装置的表型采集方法的流程示意图；
图3是本发明提供的获取作物行的视频采集信息的流程示意图；
图4是本发明提供的设施作物表型采集装置的控制结构框图；
图5是本发明提供的基于设施作物表型采集装置的表型采集方法的工作流程示意图。
附图标记：
1、移动平台；
2、安装支架；21、竖直伸缩架；22、水平伸缩架；
3、摄像组件；31、第一RGB-D摄像头；32、第二RGB-D摄像头；33、第一光源；34、第二光源；
4、比色板；
5、控制设备；51、供电模块；52、控制模块；53、通信模块；54、存储模块；
6、作物行；7、田垄。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图5，通过具体的实施例及其应用场景对本发明实施例提供的基于设施作物表型采集装置的表型采集方法进行详细地说明。
在一些实施例中，如图1，本实施例提供一种设施作物表型采集装置，包括移动平台1、安装支架2和摄像组件3；安装支架2设于移动平台1，摄像组件3设于安装支架2，摄像组件3包括第一RGB-D摄像头31和第二RGB-D摄像头32，第一RGB-D摄像头31用于设于作物行6的左侧或右侧，第二RGB-D摄像头32用于设于作物行6的顶部。
可理解的是，移动平台1用于在相邻的两个田垄7之间行走；移动平台1包括载物台和行走机构，载物台用于承载表型采集装置的设备，行走机构和载物台连接，行走机构用于驱动载物台行走。行走机构包括驱动电机和行走轮，驱动电机用于驱动行走轮的行进和转向。
在一些示例中，在安装支架2的高度和长度范围满足对作物行6的图像采集需求的情况下，安装支架2可配置为固定支架。
可选地，固定支架包括竖直支架和水平支架，竖直支架设于移动平台1上，竖直支架和水平支架垂直连接；其中，第一RGB-D摄像头31设于竖直支架上，第一RGB-D摄像头31的镜头朝向作物行6的侧面；第二RGB-D摄像头32设于水平支架上，并且第二RGB-D摄像头32的镜头朝向作物行6的顶部。
在一些示例中，为了便于对不同类型的作物进行表型采集，安装支架2可配置为可调节支架。
可选地，可调节支架包括竖直支架和水平支架，竖直支架设于移动平台1上，竖直支架和水平支架垂直连接；其中，竖直支架和水平支架当中至少一者的长度可调节；第一RGB-D摄像头31设于竖直支架上，第一RGB-D摄像头31的镜头朝向作物行6的侧面；第二RGB-D摄像头32设于水平支架上，并且第二RGB-D摄像头32的镜头朝向作物行6的顶部。
摄像组件3中的第一RGB-D摄像头31和第二RGB-D摄像头32，能够同时采集作物的RGB图像和深度图像，RGB图像通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样颜色的图像，深度图像可以反映作物可见表面的几何形状，为后续作物的3D空间模型构建提供深度信息。
其中，第一RGB-D摄像头31用于采集作物的左侧或者右侧的视频，第二RGB-D摄像头32用于采集作物的俯视的视频。
如图2所示，本实施例还提供一种基于设施作物表型采集装置的表型采集方法，该表型采集方法的执行主体可以是设置于移动平台1上的控制设备，也可以是与控制设备通信连接的服务器，该表型采集方法包括如下步骤：
步骤211，控制移动平台1分别沿同一作物行6的左侧和右侧移动，获取作物行6的视频采集信息。
可理解的是，本发明主要用于设施大棚或者连栋温室，应用的作物对象可以是蔬菜、绿植、花卉、粮食作物中的任意一种。
如图1所示，在大棚内种植农作物或植物时，为了便于巡查管理，植物大多按照田垄7均匀分布，相邻的两个田垄7之间设置有垄沟。田垄7是在土地的表面分出一定宽度的一条一条的土岗，上面称垄台，相邻的两垄之间形成的沟，就叫垄沟，垄沟可以根据种植需求用于灌溉或行走。
移动平台1首先沿某一作物行6的左侧移动，设置于移动平台1上的第一RGB-D摄像头31采集作物左侧的视频，第二RGB-D摄像头32采集作物顶部的视频，然后，移动平台1再沿某一作物行6的右侧移动，设置于移动平台1上的第一RGB-D摄像头31采集作物右侧的视频，第二RGB-D摄像头32采集作物顶部的视频。
与此同时，表型采集装置完成一次检测后，该作物行6的每一株作物的信息均被采集，不仅可以实现作物视频的大批量采集，而且由于无需对每一株作物进行单独采集操作，可以确保对作物行6的作物快速采集，采集的效率大幅提高。
步骤212，根据视频采集信息，获取作物行6当中的每一株作物的左视图像、右视图像和俯视图像。
可理解的是，获取作物行6中的全部作物的采集视频后，将作物行6的左侧和顶部的视频信息与右侧和顶部的视频信息进行校准，并将每一株作物的左侧视频和右侧视频、顶部视频相匹配，采用视频抽帧的方式，将作物视频分解为若干张作物的图像，从中获取同一株作物的左视图像、右视图像和俯视图像。
由于获取的作物的左视图像、右视图像和俯视图像均包含RGB图像和深度图像，从而能够获取作物多视角、包含深度特征的表型图像，立体化的反应作物的冠层结构。
本实施例通过对同一株作物左侧和右侧的信息分别采集，校准后经过匹配，提高了作物采集信息的准确度，有效过滤了周边的环境信息，使得采集数据可以准确无误的还原每一株作物的表型图像。
步骤213，根据左视图像、右视图像和俯视图像，建立作物的3D空间模型。
可理解的是，基于第一RGB-D摄像头31和第二RGB-D摄像头32所采集的作物视频，利用所获取的同一株作物的左视图像、右视图像和俯视图像，建立作物的3D空间模型，3D空间模型中同时包含颜色、深度和空间图像特征。
步骤214，对3D空间模型进行特征提取，获取作物的表型参数。
可理解的是，通过作物的3D空间模型，利用图像分割，对颜色、形状、纹理特征的提取，进而估算作物的株高、叶片数、冠层覆盖率、叶面积指数、叶片夹角等表型参数。
本实施例通过获取包括作物的株高、叶片数、冠层覆盖率、叶面积指数和叶片夹角的作物表型参数，为作物的生长发育研究打下良好的基础，为后续培育更高产、更优质、更耐胁迫的作物，进而提高育种改良效率提供了数据的支撑。
与此同时，同一作物行6的所有作物可以实现图像的批量处理，从而实现设施环境内所有作物的表型参数的快速、自动、无损化采集。
本发明提供的基于设施作物表型采集装置的表型采集方法，通过控制移动平台1分别沿同一作物行6的左侧和右侧移动，使用第一RGB-D摄像头31和第二RGB-D摄像头32，采集作物含有RGB特征和深度特征的视频，经数据校准和匹配，得到作物的左视图像、右视图像和俯视图像，并依据以上表型图像建立作物的3D空间模型，从3D空间模型中提取作物的颜色、形状、纹理特征，进而获取作物的表型参数。
由上可知，本发明提供的基于设施作物表型采集装置的表型采集方法，不仅操作便捷，而且可以实现对设施作物快速、准确、无损地进行大批量的表型测量。
在一些实施例中，如图1和图3所示，本实施例的控制移动平台1分别沿同一作物行6的左侧和右侧移动，获取作物行6的视频采集信息的步骤，包括：
步骤311，控制移动平台1在作物行6的左侧沿作物行6的延伸方向移动，获取第一RGB-D摄像头31采集的第一视频信息和第二RGB-D摄像头32采集的第二视频信息。
步骤312，控制移动平台1在作物行6的右侧沿作物行6的延伸方向移动，获取第一RGB-D摄像头31采集的第三视频信息和第二RGB-D摄像头32采集的第四视频信息。
相应地，根据视频采集信息，获取作物行6当中的每一株作物的左视图像、右视图像和俯视图像的步骤，包括：
将第一视频信息和第三视频信息与第二视频信息和第四视频信息进行校准与匹配，获取作物行6当中的每一株作物的左视图像、右视图像和俯视图像。
可理解的是，移动平台1首先沿作物行6左侧移动，第一RGB-D摄像头31采集的第一视频信息，是作物的左侧的视频，第二RGB-D摄像头32采集的第二视频信息，是作物的顶部的视频，然后，移动平台1沿作物行6右侧移动，第一RGB-D摄像头31采集的第三视频信息，是作物的右侧的视频，第二RGB-D摄像头32采集的第四视频信息，是作物的顶部的视频。
将第一视频信息和第三视频信息进行校准并对同一株作物进行匹配，并将第二视频信息和第四视频信息进行校准并对同一株作物进行匹配，得到每一株作物的左侧、右侧和顶部的视频，采用视频抽帧的方式，将作物视频分解为若干张作物的图像，从中获取同一株作物的左视图像、右视图像和俯视图像。
在一些实施例中，如图1所示，在作物行6的左侧和右侧，本实施例的移动平台1沿作物行6的延伸方向的移动速度相同。
其中，移动平台1的移动速度是根据作物的类型确定的。
在作物行6的左侧和右侧，本实施例通过设置移动平台1沿作物行6的延伸方向的移动速度相同，使得摄像模组对同一作物行6左侧和右侧采集的视频相匹配，以便于后期对同一株作物的校准和匹配工作。
与此同时，是根据作物的具体类型来设定，对于冠层结构较大的作物，将移动平台1的移动速度设置为第一速度，对于冠层结构较小的作物，将移动平台1的移动速度设置为第二速度，本实施例通过设置第一速度比第二速度小，使得在作物冠层较大的情况下，能够确保摄像组件3采集的视频信息能够涵盖每一株作物，为后期每一株作物视频抽帧和各个视图的匹配做好基础，在作物冠层较小的情况下，既能保证摄像组件3采集视频信息的准确度，又能提高采集的效率。
在一些实施例中，如图1所示，本实施例的表型采集装置还包括比色板4；比色板4设于安装支架2，比色板4与第一RGB-D摄像头31和第二RGB-D摄像头32当中至少一者的镜头相对设置。
相应地，表型采集方法还包括：采用比色板4对左视图像、右视图像和俯视图像的颜色进行校正。
可理解的是，比色板4可以设置一个，单个比色板4可以和第一RGB-D摄像头31相对设置，单个比色板4也可以和第二RGB-D摄像头32相对设置。
比色板4还可以设置两个，其中的一个比色板4与第一RGB-D摄像头31相对设置，另一个比色板4和第二RGB-D摄像头32相对设置，使得第一RGB-D摄像头31和第二RGB-D摄像头32在采集视频时，比色板4能够作为作物的颜色背景，与作物同时被采集。
相应地，在后期的图像处理过程中，比色板4能够为采集的作物的左视图像、右视图像和俯视图像提供颜色校对，最大限度的减少光照、反射等环境因素造成的色差，使得对作物叶片颜色、果实成熟度等作物的颜色特征有较标准的色彩处理，实现作物图像的标准化还原，从而确保作物颜色特征的提取更加准确。
在一些实施例中，如图1所示，本实施例的安装支架2包括竖直伸缩架21和水平伸缩架22。
竖直伸缩架21的底端和移动平台1连接，竖直伸缩架21的顶端和水平伸缩架22垂直连接。
第一RGB-D摄像头31设于竖直伸缩架21上，第二RGB-D摄像头32设于水平伸缩架22上。
可以理解的是，竖直伸缩架21可以是伸缩杆，伸缩杆是一段圆杆和一段套杆的套接结构，通过圆杆和套杆的相对滑动实现竖直伸缩架21的伸缩。竖直伸缩架21也可以是可调节伸缩架，两段条形架可以相对滑动，两段条形架的位置调节合适后，通过锁紧件将竖直伸缩架21固定。竖直伸缩架21的长度改变时，第一RGB-D摄像头31相对于水平面的高度发生变化，从而可将第一RGB-D摄像头31的位置调整到正对作物的位置。
与此同时，水平伸缩架22可以是伸缩杆，水平伸缩架22也可以是可调节伸缩架，在此不再一一赘述。水平伸缩架22的长度改变时，第二RGB-D摄像头32相对于竖直伸缩架21的间距发生变化，从而可以将第二RGB-D摄像头32的位置调整到作物的顶部。
与此同时，比色板4既可以设置在竖直伸缩架21上，也可以设置在水平伸缩架22上。优选的，如图1所示，比色板4位于竖直伸缩架21上。
在进行表型采集作业时，竖直伸缩架21位于作物行6的左侧或者右侧，水平伸缩架22位于作物行6的顶部，使得表型采集装置能够近距离的对作物进行视频采集。
本实施例通过设置竖直伸缩架21和水平伸缩架22，使得通过垂直方向和水平方向的伸缩，表型采集装置可根据不同作物的株高、体积进行差异化的调节，以更好的适应不同作物，避免对作物采集视频时因高度及宽度的限制造成作物损伤，确保表型采集装置对不同类型作物广泛的适应性。
在一些实施例中，如图1所示，本实施例的第一RGB-D摄像头31的光轴呈水平设置，竖直伸缩架21用于调节第一RGB-D摄像头31的光轴相对于水平面的高度。
第二RGB-D摄像头32的光轴呈竖直设置，水平伸缩架22用于调节第二RGB-D摄像头32的光轴相对于竖直伸缩架21的间距。
可理解的是，本实施例通过调节竖直伸缩架21的长度，使得设置在竖直伸缩架21上的第一RGB-D摄像头31的位置发生改变，从而第一RGB-D摄像头31的光轴相对于水平面的高度发生变化，第一RGB-D摄像头31能正对作物冠层的左侧或右侧。
与此同时，本实施例通过调节水平伸缩架22的长度，使得设置在水平伸缩架22上的第二RGB-D摄像头32的位置发生改变，从而第二RGB-D摄像头32的光轴相对于竖直伸缩架21的间距发生变化，第二RGB-D摄像头32能正对作物冠层的顶部。
本实施例通过同时对第一RGB-D摄像头31和第二RGB-D摄像头32的采集范围进行调节，使得表型采集装置能够适应不同作物的高度和体积，获取近距离的采集作物的视频，确保采集的准确性。
在一些实施例中，如图1所示，本实施例的摄像组件3还包括第一光源33和第二光源34；第一光源33设于第一RGB-D摄像头31的一侧，第二光源34设于第二RGB-D摄像头32的一侧。
相应地，表型采集方法还包括：在获取视频采集信息的过程中，控制第一光源33和第二光源34开启。
获取环境光照强度，根据环境光照强度调节第一光源33和第二光源34的发光功率。
可理解的，第一光源33用于为第一RGB-D摄像头31的图像采集提供光照环境，第二光源34用于为第二RGB-D摄像头32的图像采集提供光照环境，以确保第一RGB-D摄像头31和第二RGB-D摄像头32采集作物视频时有充足的光源。
其中，第一光源33和第二光源34可以是LED灯，也可以是白炽灯。
与此同时，本实施例在安装支架2上设置光强传感器，以随时获取环境光照强度。在环境光照强度不足的情况下，本实施例通过调节第一光源33和第二光源34的电流强度或者电压强度，以实现对第一光源33和第二光源34的发光功率的调节，使得第一光源33和第二光源34能够根据环境光照强度自动调整亮度强弱，较大程度的减少作物冠层视图的阴影，减少了采集视频受光照、阴影的影响，确保了采集视频的准确性，为第一RGB-D摄像头31和第二RGB-D摄像头32采集视频时，提供跟随环境光照强度变化的充足光源。
在一些实施例中，如图1所示，为了便于实现对第一光源33和第二光源34的发光亮度的调节，本实施例的第一光源33和第二光源34当中的至少一者包括LED灯。
可选地，第一光源33和第二光源34均可设置为LED灯。
在一些实施例中，如图1和图4所示，本实施例的表型采集装置还包括控制设备5；控制设备5包括供电模块51、控制模块52和通信模块53。
供电模块51分别与控制模块52、通信模块53和移动平台1电性连接；移动平台1和摄像组件3分别与控制模块52连接，控制模块52和通信模块53连接，通信模块53用于与远程控制终端通信。
控制设备5包括供电模块51、控制模块52、通信模块53和存储模块54。供电模块51分别与控制模块52、通信模块53和存储模块54电性连接，控制模块52分别与通信模块53和存储模块54连接。
可理解的是，供电模块51包括电源模块、预警模块和电源管理模块，电源管理模块与电源模块电性连接，预警模块和电源管理模块分别与控制模块52电性连接。
电源模块可以是可充电的铅酸蓄电池组或锂电池组。在电源管理模块检测到电源模块的电量低于预设值时，控制模块52可控制预警模块发出预警指示，以提示操作人员对电源模块进行充电或者更换电源模块。
控制模块52包括PLC控制器或单片机。控制模块52连接供电模块51、通信模块53和存储模块54。存储模块54用于存储第一RGB-D摄像头31、第二RGB-D摄像头32采集到的视频信息。
控制模块52不仅可控制第一RGB-D摄像头31、第二RGB-D摄像头32对作物进行图像采集，也可在此过程中对第一光源33和第二光源34的开关状态和发光功率进行调节。
与此同时，操作人员也可通过通信模块53向控制模块52发送图像采集控制指令，控制模块52响应于该图像采集控制指令，以控制移动平台1的行进方向和速度，从而完成对作物视频的采集作业。
另外，控制模块52还控制通信模块53与远程控制终端建立通信连接，从而对于第一RGB-D摄像头31和第二RGB-D摄像头32采集的视频信息和控制模块52的相关处理数据，控制模块52也可通过通信模块53将其上传至远程控制终端。
其中，通信模块53包括蓝牙模块和GSM模块当中的至少一种。
在一些示例中，控制设备5可配置防水、防潮型的外壳，上述供电模块51、控制模块52和通信模块53设置于外壳内，从而基于外壳实现对供电模块51、控制模块52和通信模块53的一体化封装。
如图5所示，本实施例可参照如下步骤对作物的表性参数进行采集：
(1)硬件部署及初始化
将表型采集装置放置在设施环境的相邻的两个田垄7之间，调节竖直伸缩架21和水平伸缩架22的长度，确保竖直伸缩架21和水平伸缩架22与棚内作物的尺寸和体积相适配。此时，第一RGB-D摄像头31、第二RGB-D摄像头32、第一光源33、第二光源34和移动平台1的驱动电机处于关闭状态。开启表型采集装置电源，测试表型采集装置与远程控制终端的通信是否正常。
(2)设施环境作物表型快速采集
通过手动或远程开启表型采集装置的第一RGB-D摄像头31、第二RGB-D摄像头32、第一光源33和第二光源34，***自动检测第一RGB-D摄像头31、第二RGB-D摄像头32、第一光源33和第二光源34是否正常运行，若未正常运行则发出预警信号。如果检测结果正常，手动或远程预设移动平台1的运动速度，并开启移动平台1的驱动电机，在移动平台1的驱动电机的带动下，移动平台1载着摄像组件3沿着田垄7以一定速率向前行进，第一RGB-D摄像头31和第二RGB-D摄像头32持续不断的拍摄作物的视频，并将采集到的视频数据传输并存储到控制设备5。
当到达田垄7的尽头时，手动或远程控制移动平台1转向，移动至下一个田垄7进行采集。整个装置在设施环境中以“s”型运动轨迹，实现对每个田垄7的双向两侧视频采集。
(3)智能预警
控制设备5监测表型采集装置各部件是否正常运行，若表型采集装置出现故障则发出预警信息。对供电模块51和存储模块54进行使用监测，及时对供电模块51的电源不足、存储模块54的存储空间不足等情况也发出预警信息。
(4)作物表型图像处理
表型采集装置完成采集后，关闭电源。使用数据线通过接口将存储模块54中采集的视频数据导出，或者通过通信模块53将采集的视频数据上传给远程控制终端。
①数据校准：对同一作物行6左侧、右侧两次拍摄到的视频进行校准和匹配。经过校准，通过视频抽帧方式一一匹配同一株作物左视图像、右视图像和俯视图像。同时使用比色板4，实现作物图像的标准化还原，消除光照等环境条件造成的色差。
②作物空间模型构建：使用同一株作物的左视图像、右视图像和俯视图像的深度图像，使用模型构建作物的3D空间模型。
③作物表型参数提取：通过作物的3D空间模型，利用图像分割、颜色、形状、纹理特征的提取，进而估算作物的株高、叶片数、冠层覆盖率、叶面积指数、叶片夹角等表型参数。
④通过图像的批量处理，实现设施环境内所有作物的表型参数的快速、自动、无损化采集。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解、其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于设施作物表型采集装置的表型采集方法，其特征在于，所述表型采集装置包括移动平台、安装支架和摄像组件；所述安装支架设于所述移动平台，所述摄像组件设于所述安装支架，所述摄像组件包括第一RGB-D摄像头和第二RGB-D摄像头，所述第一RGB-D摄像头用于设于作物行的左侧或右侧，所述第二RGB-D摄像头用于设于作物行的顶部；所述表型采集方法包括：
控制所述移动平台分别沿同一作物行的左侧和右侧移动，获取所述作物行的视频采集信息；
根据所述视频采集信息，获取所述作物行当中的每一株作物的左视图像、右视图像和俯视图像；
根据所述左视图像、所述右视图像和所述俯视图像，建立所述作物的3D空间模型；
对所述3D空间模型进行特征提取，获取所述作物的表型参数。
2.根据权利要求1所述的基于设施作物表型采集装置的表型采集方法，其特征在于，所述控制所述移动平台分别沿同一作物行的左侧和右侧移动，获取所述作物行的视频采集信息的步骤，包括：
控制所述移动平台在所述作物行的左侧沿所述作物行的延伸方向移动，获取所述第一RGB-D摄像头采集的第一视频信息和所述第二RGB-D摄像头采集的第二视频信息；
控制所述移动平台在所述作物行的右侧沿所述作物行的延伸方向移动，获取所述第一RGB-D摄像头采集的第三视频信息和所述第二RGB-D摄像头采集的第四视频信息；
相应地，所述根据所述视频采集信息，获取所述作物行当中的每一株作物的左视图像、右视图像和俯视图像的步骤，包括：
将所述第一视频信息和所述第三视频信息与所述第二视频信息和所述第四视频信息进行校准与匹配，获取所述作物行当中的每一株作物的所述左视图像、所述右视图像和所述俯视图像。
3.根据权利要求2所述的基于设施作物表型采集装置的表型采集方法，其特征在于，在所述作物行的左侧和右侧，所述移动平台沿所述作物行的延伸方向的移动速度相同；
其中，所述移动平台的移动速度是根据所述作物的类型确定的。
4.根据权利要求1所述的基于设施作物表型采集装置的表型采集方法，其特征在于，所述表型采集装置还包括比色板；所述比色板设于所述安装支架，所述比色板与所述第一RGB-D摄像头和所述第二RGB-D摄像头当中至少一者的镜头相对设置；
相应地，所述表型采集方法还包括：采用所述比色板对所述左视图像、所述右视图像和所述俯视图像的颜色进行校正。
5.根据权利要求1所述的基于设施作物表型采集装置的表型采集方法，其特征在于，所述安装支架包括竖直伸缩架和水平伸缩架；
所述竖直伸缩架的底端和所述移动平台连接，所述竖直伸缩架的顶端和所述水平伸缩架垂直连接；
所述第一RGB-D摄像头设于所述竖直伸缩架上，所述第二RGB-D摄像头设于所述水平伸缩架上。
6.根据权利要求5所述的基于设施作物表型采集装置的表型采集方法，其特征在于，所述第一RGB-D摄像头的光轴呈水平设置，所述竖直伸缩架用于调节所述第一RGB-D摄像头的光轴相对于水平面的高度；
所述第二RGB-D摄像头的光轴呈竖直设置，所述水平伸缩架用于调节所述第二RGB-D摄像头的光轴相对于所述竖直伸缩架的间距。
7.根据权利要求1所述的基于设施作物表型采集装置的表型采集方法，其特征在于，所述摄像组件还包括第一光源和第二光源；所述第一光源设于所述第一RGB-D摄像头的一侧，所述第二光源设于所述第二RGB-D摄像头的一侧；
相应地，所述表型采集方法还包括：在获取所述视频采集信息的过程中，控制所述第一光源和所述第二光源开启；
获取环境光照强度，根据所述环境光照强度调节所述第一光源和所述第二光源的发光功率。
8.根据权利要求7所述的基于设施作物表型采集装置的表型采集方法，其特征在于，所述第一光源和所述第二光源当中的至少一者包括LED灯。
9.根据权利要求1所述的基于设施作物表型采集装置的表型采集方法，其特征在于，所述表型采集装置还包括控制设备；所述控制设备包括供电模块、控制模块和通信模块；
所述供电模块分别与所述控制模块、所述通信模块和所述移动平台电性连接；所述移动平台和所述摄像组件分别与所述控制模块连接，所述控制模块和所述通信模块连接，所述通信模块用于与远程控制终端通信。
10.根据权利要求1所述的基于设施作物表型采集装置的表型采集方法，其特征在于，所述表型参数包括作物的株高、叶片数、冠层覆盖率、叶面积指数和叶片夹角。
CN202310260996.9A 2023-03-13 2023-03-13 基于设施作物表型采集装置的表型采集方法 Pending CN116465887A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310260996.9A CN116465887A (zh) 2023-03-13 2023-03-13 基于设施作物表型采集装置的表型采集方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310260996.9A CN116465887A (zh) 2023-03-13 2023-03-13 基于设施作物表型采集装置的表型采集方法

Publications (1)

Publication Number Publication Date
CN116465887A true CN116465887A (zh) 2023-07-21

Family

ID=87172561

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310260996.9A Pending CN116465887A (zh) 2023-03-13 2023-03-13 基于设施作物表型采集装置的表型采集方法

Country Status (1)

Country Link
CN (1) CN116465887A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117314716A (zh) * 2023-09-06 2023-12-29 深圳市农业科技促进中心 种子特征采集设备及种子特征采集方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117314716A (zh) * 2023-09-06 2023-12-29 深圳市农业科技促进中心 种子特征采集设备及种子特征采集方法

Similar Documents

Publication Publication Date Title
CN106441442B (zh) 一种大田作物表型信息高通量对等监测装置及监测方法
JP5020444B2 (ja) 作物生育量測定装置、作物生育量測定方法、作物生育量測定プログラム及びその作物生育量測定プログラムを記録したコンピュータ読取可能な記録媒体
CN111561873B (zh) 自走式苗木树干表型信息采集***及其采集方法
CN105717115B (zh) 基于光学成像技术的高通量植物表型分析装置和方法
CN106596412A (zh) 利用无人机携带多光谱光源进行植物生长监测的方法
CN101356877B (zh) 一种温室环境下黄瓜采摘机器人***及采摘方法
CN110046613B (zh) 一种作物冠层原位生长表型监测装置及三维重建方法
CN105547252B (zh) 基于情景感知的作物冠层图像采集装置
KR102301658B1 (ko) 식물 생육 장치 및 그 제어 방법
JP5593255B2 (ja) 植生制御装置、植物育成システム
CN105547360B (zh) 基于情景感知的作物冠层图像采集方法
CN112507768A (zh) 目标物检测方法、装置和图像采集方法、装置
CN110121264A (zh) 生长舱流水线的图像获取***和方法
CN112036407B (zh) 一种植物群体三维表型原位获取方法及装置
CN105510335A (zh) 一种家用种植机的植物生长状况检测方法
CN113016506A (zh) 一种用于食用菌生长期三维表型参数获取的自动化种植箱
CN106683092B (zh) 测算蓝莓树冠郁闭度的装置和方法
CN115061168A (zh) 一种移动巡检式农作物生长监测***及方法
CN106908062A (zh) 一种自走式叶绿素荧光图像采集机器人及其采集方法
CN112816441B (zh) 一种设施园艺作物生长状况检测方法及装置
CN110064601B (zh) 一种蔬菜嫁接用苗检测分级***和分级方法
CN116465887A (zh) 基于设施作物表型采集装置的表型采集方法
CN103499313A (zh) 一种穴盘苗检测***和方法
CN103575917A (zh) 一种多光谱图像采集方法和装置
CN108834667A (zh) 一种基于物联网的大棚***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination