CN108414454A - 一种植物三维结构及光谱信息的同步测量***及测量方法 - Google Patents

Abstract

本发明实施例提供一种植物三维结构及光谱信息的同步测量***及测量方法。其中，所述***包括：采集装置和处理中心；采集装置用于同步采集植物的高光谱图像、全色图像和双目RGB图像，并发送至处理中心；处理中心用于接收高光谱图像、全色图像和双目RGB图像，并对高光谱图像、全色图像和双目RGB图像进行处理进而获得植物的三维结构及光谱信息。本发明实施例提供的植物三维结构及光谱信息的同步测量***及测量方法，可实现实时植物三维立体结构及对应光谱信息测量，所测即所得；为进行植物生长动态监测冠层结构变化和生理生态变化提供了高效的传感器工具，能够满足精准信息获取、精确建模及精准决策的需求，可以极大推动农业生产决策信息化。

Description

一种植物三维结构及光谱信息的同步测量***及测量方法

技术领域

本发明实施例涉及图像采集及处理技术领域，具体为一种植物三维结构及光谱信息的同步测量***及测量方法。

背景技术

植物生长过程中其冠层结构会随着生长进程发生显著变化，同时受养分、干旱及病虫害影响其地上部分(叶片、茎秆、果实等)会呈现不同生理生态变化。为了精准监测植物动态结构及生理变化，必须依赖高精度监测仪器。现阶段主要通过两类传感器分别进行监测，对于植物冠层结构(植物三维结构)主要利用激光雷达测量方法，对于光谱信息主要依赖成像或非成像光谱类传感器。

利用激光雷达方法测量植物冠层结构时，点云虽然可以直接体现植物结构特征，但是点云密度仍受限制，且高扫描线激光雷达成本高；此外，必须辅助地面参考差分定位***才能实现点云的拼接处理，增加了技术难度。利用非成像光谱类传感器测量光谱信息时，由于其采集的光谱信息是一定空间范围内所有地物的混合光谱，数据量很小、传输效率和光谱精度高。但难以满足进行植物内部或组分间精细生理生态探测要求，即无法区分植物冠层不同部分生理生态差异(如色素、水分、生物量、病虫害、光合…)。现有测量植物冠层结构和测量植物高光谱分开进行，难以同时获取植物冠层结构和光谱信息，无法满足植物生长动态结构变化和生理生态变化同步监测需求。

发明内容

为解决现有植物三维结构及光谱信息无法实现同步测量的问题，本发明实施例提供一种植物三维结构及光谱信息的同步测量***及测量方法。

第一方面，本发明实施例提供一种植物三维结构及光谱信息的同步测量***，该***包括：采集装置和处理中心；其中，所述采集装置用于同步采集植物的高光谱图像、全色图像和双目RGB图像，并将所述高光谱图像、所述全色图像和所述双目RGB图像发送至所述处理中心；所述处理中心用于接收所述高光谱图像、所述全色图像和所述双目RGB图像，并对所述高光谱图像、所述全色图像和所述双目RGB图像进行处理进而获得所述植物的三维结构及光谱信息。

第二方面，本发明实施例提供一种植物三维结构及光谱信息的同步测量方法，该方法包括：利用采集装置同步采集植物的高光谱图像、全色图像和双目RGB图像，并将所述高光谱图像、所述全色图像和所述双目RGB图像发送至处理中心；所述处理中心接收所述高光谱图像、所述全色图像和所述双目RGB图像，并对所述高光谱图像、所述全色图像和所述双目RGB图像进行处理进而获得所述植物的三维结构及光谱信息。

本发明实施例提供的植物三维结构及光谱信息的同步测量***及测量方法，可实现实时植物三维立体结构及对应光谱信息测量，所测即所得，解决了当前实时测量植物冠层三维结构和光谱信息无法同步测量难题；为进行植物生长动态监测冠层结构变化和生理生态变化提供了高效的传感器工具，能够满足精准信息获取、精确建模及精准决策的需求，可以极大推动农业生产决策信息化。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的植物三维结构及光谱信息的同步测量***结构示意图；

图2为本发明实施例提供的植物三维结构及光谱信息的同步测量***的采集装置的结构示意图；

图3为本发明实施例提供的植物三维结构及光谱信息的同步测量***的面阵式成像高光谱传感器结构示意图；

图4为本发明实施例提供的植物三维结构及光谱信息的同步测量***的传感器定标结果示意图；

图5为本发明实施例提供的植物三维结构及光谱信息的同步测量方法流程图；

图6为本发明实施例提供的植物三维结构及光谱信息的同步测量方法示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例提供的植物三维结构及光谱信息的同步测量***结构示意图。如图1所示，所述***包括：

采集装置10和处理中心20；

其中，所述采集装置10用于同步采集植物的高光谱图像、全色图像和双目RGB图像，并将所述高光谱图像、所述全色图像和所述双目RGB图像发送至所述处理中心20；

所述处理中心20用于接收所述高光谱图像、所述全色图像和所述双目RGB图像，并对所述高光谱图像、所述全色图像和所述双目RGB图像进行处理进而获得所述植物的三维结构及光谱信息。

本发明实施例提供的植物三维结构及光谱信息的同步测量***包括采集装置10和处理中心20，为了获得植物三维结构及对应的光谱信息，所述采集装置10同步采集植物的高光谱图像、全色图像和双目RGB图像，并将所述高光谱图像、全色图像和双目RGB图像发送至处理中心20进行处理。处理中心20接收到采集装置10同步采集并发送的所述高光谱图像、全色图像和双目RGB图像后，根据所述高光谱图像和所述全色图像得到所述光谱信息，根据所述双目RGB图像得到所述植物三维结构信息，且由于所述高光谱图像、全色图像和双目RGB图像是同步采集的，所以可以得到所述植物三维结构信息与所述光谱信息的对应关系，也即可以得到所述植物三维结构信息及与其对应的所述光谱信息。

本发明实施例提供的植物三维结构及光谱信息的同步测量***，可实现实时植物三维立体结构及对应光谱信息测量，所测即所得，解决了当前实时测量植物冠层三维结构和光谱信息无法同步测量难题；为进行植物生长动态监测冠层结构变化和生理生态变化提供了高效的传感器工具，能够满足精准信息获取、精确建模及精准决策的需求，可以极大推动农业生产决策信息化。

进一步地，基于上述实施例，所述采集装置10集成有面阵式成像高光谱传感器、全色图像传感器、双目RGB相机和单片机；其中，所述面阵式成像高光谱传感器用于采集所述植物的预设波段的高光谱图像；所述全色图像传感器用于采集所述植物的全色图像；所述双目RGB相机用于采集所述植物的双目RGB图像，所述双目RGB相机由两台同型号的RGB相机构成；所述单片机用于统一控制所述面阵式成像高光谱传感器、所述全色图像传感器和所述双目RGB相机的曝光时间，并将所述高光谱图像、所述全色图像和所述双目RGB图像发送至所述处理中心。

图2为本发明实施例提供的植物三维结构及光谱信息的同步测量***的采集装置的结构示意图。如图2所示，所述采集装置10集成有面阵式成像高光谱传感器(面阵式成像高光谱相机)、全色图像传感器(全色相机)、双目RGB相机和单片机。

当前成像高光谱由于数据量大，大部分都采用了线阵推扫式成像，虽然保证了较高的光谱分辨率，但为了获得空间连续光谱，必须依赖机械平台运动才能获得连续空间光谱信息，不适合定点实时测量模式；且线阵推扫式成像的最大挑战在于扫描线空间几何配准，单个扫描线难以提供更多辅助信息进行精确校正。目前为止，这类线扫高光谱仪主要还是用于卫星平台或有人航空稳定平台，难以应用在近地或无人机等非稳定移动平台。因此，本发明实施例为了实现适合定点、地面便携、移动平台(测量车、导轨车…)和近空(无人机、空中气艇…)搭载使用的植物三维结构及光谱信息的同步测量***，采集装置10采用了面阵式成像高光谱传感器，可实现实时连续空间光谱快速采集。

图3为本发明实施例提供的植物三维结构及光谱信息的同步测量***的面阵式成像高光谱传感器结构示意图。所述面阵式成像高光谱传感器用于采集所述植物的预设波段的高光谱图像。面阵式成像高光谱传感器CCD选择通道响应范围覆盖400-900nm波段范围，并且在CMOS上已经添加滤光材料，能够采400-900nm波段范围内任意不少于25个波段范围，每个波段像素数512×272。考虑到观测植物生理生态特殊性，主要选择如下：绿波段-530-580nm，10nm间隔，5个波段；红波段-630-670nm，10nm间隔，4个波段；红边波段-680-740nm，10nm，6个波段；近红外波段-780-880nm，10nm间隔，10个波段。以上共计25个波段。

当前大部分面阵式成像高光谱传感器主要通过在CMOS探测器上进行光谱矩阵划分，对不同波段增加滤波涂层，从而获得一定数目波段的成像光谱信息。这种方式可以高效采集成像光谱信息，成像光谱***结构非常简单。但由于CMOS传感器尺寸限制，如果增加成像波段，那么CCD上划分谱段对应的探元数就会相应减少，最终导致成像光谱的空间分辨率降低。比如，如果CMOS传感器有1000*1000探元，如果获取20个波段信息，那么每个波段占用的探元数为50*50。这就导致了成像光谱数据分辨率远远低于常规RGB相机图像分辨率。

因此，采用面阵式成像高光谱传感器，受CMOS传感器尺寸限制，其空间分辨率与波段数目互斥，波段数目越大空间分辨率越低。空间分辨率低就会导致采集的光谱多为混合光谱，仍无法区分不同植物组分生理生态差异。为此，必须将其空间分辨率增强，实现其空间分辨率与结构信息空间分辨率一致。本发明实施例提供的植物三维结构及光谱信息的同步测量***通过同步采集全色图像，进而实现增强光谱信息的空间分辨率。所述全色图像传感器用于采集所述植物的全色图像，全色图像传感器也需覆盖400-900nm波段范围。

所述双目RGB相机用于采集所述植物的双目RGB图像，所述双目RGB图像是指由两台RGB相机所采集的RGB图像，所述双目RGB相机由两台同型号的RGB相机构成。本发明实施例通过基于双目视觉的三维结构测量传感器，也即所述的双目RGB相机获取所述植物的三维结构信息。两台RGB相机需要保持基线距离210mm，视场角均为28°，保证视场内同时拍摄RGB图像重叠度达到立体测量要求。

对于测量植物冠层结构来说，为了获得连续空间分布的冠层结构三维信息，通过立体视觉测量是比较可行的方法，较激光雷达方法成本低，且易于操作。基于双目立体视觉的三维测量是一种被动式非接触测量方法，它除了可以获得目标的宽、高信息外，还可以获得目标的距离信息。双目立体视觉测量方法具有效率高、精度合适、***结构简单、成本低等优点，非常适合于现场在线、非接触式检测。

所述单片机用于统一控制所述面阵式成像高光谱传感器、所述全色图像传感器和所述双目RGB相机的曝光时间，以实现同步采集，并配置固态存储空间；控制方式有固定时间间隔自动采集、人工触发采集两种模式，统一控制四个传感器曝光时间一致。所述单片机将同步采集的所述高光谱图像、所述全色图像和所述双目RGB图像发送至所述处理中心，以实现植物三维结构及光谱信息的同步测量，得到植物三维结构及对应光谱信息。可以理解的，所述单片机也可在本地实现对所述高光谱图像、所述全色图像和所述双目RGB图像的处理。

在上述实施例的基础上，本发明实施例通过集成两台RGB相机，实现双目立体视觉观测，通过立体测量方法可以实时计算出冠层结构三维信息；利用面阵式成像高光谱传感器获取观测区域植物光谱信息；利用全色单通道相机(全色图像传感器)获得高分辨率图像；可实现实时采集植物连续空间结构信息和光谱信息，并保证结构和光谱的完全对应；适用于定点测量及地面便携、移动平台和无人机搭载使用。

进一步地，基于上述实施例，所述全色图像传感器和所述RGB相机的像素数和成像速率相同。

为便于处理中心20对所述高光谱图像、所述全色图像和所述双目RGB图像进行处理进而获得所述植物的三维结构及对应的光谱信息，所述高光谱图像、全色图像和双目RGB图像需进行同步采集，且所述全色图像传感器和所述RGB相机的像素数和成像速率需相同。比如，全色图像传感器可设置为像素数2048×2048，信噪比为60dB，成像速率为90帧/秒；RGB相机设置为像素数为2048×2048，信噪比为60dB，成像速率为90帧/秒。

在上述实施例的基础上，本发明实施例设置全色图像传感器和所述RGB相机的像素数和成像速率相同，为得到植物三维结构及对应光谱信息提供基础。

进一步地，基于上述实施例，所述处理中心在用于对所述高光谱图像、所述全色图像和所述双目RGB图像进行处理进而获得所述植物的三维结构及光谱信息时，具体用于：

对所述RGB相机采集的所述双目RGB图像进行实时计算，包括内定向、同名点匹配、空三加密及所述RGB相机的外方位元素计算，生成三维点云数据，从而获取所述植物的三维结构信息；

对每次RGB相机采集的左右两侧图像进行实时计算，主要步骤包括：内定向、同名点匹配、空三加密、两台RGB相机外方位元素计算(空中三角坐标X,Y,Z和姿态-俯仰角、滚动角、航偏角)。利用计算外方位元素自动生成三维点云数据。所述三维点云数据包括所述植物及其组成部分的位置坐标信息，因此根据所述三维点云数据可以获得所述植物的三维结构信息。

利用空间光谱融合算法将所述面阵式成像高光谱传感器采集的所述高光谱图像和所述全色图像传感器采集的所述全色图像进行实时融合，生成融合高光谱数据，从而获取所述植物的光谱信息；

面阵式成像高光谱传感器采集观测区域成像高光谱数据，即所述高光谱图像，全色图像传感器同时采集全色高分辨率图像，即所述全色图像。处理中心对所述高光谱图像和所述全色图像利用空间光谱融合算法实现实时二者融合，生成高分辨率高光谱数据。融合算法选择Modulation Transfer Function-Generalized Laplacian Pyramid(MTF-GLP)算法，依次对成像高光谱数据每个波段与全色图像数据进行融合。算法的主要原理是对全色图像进行空间滤波生成细节信息，然后将这些细节性信息融入到高光谱图像中，提高高光谱图像的空间分辨率。MTF-GLP方法的创新点在于在滤波中将高斯滤波器调节成高光谱图像采集所用的传感器的调制传输函数，因此高光谱波段间的结构模型在融合后生成的高光谱图像中得以保持，从而减小了光谱畸变。

利用传感器定标参数获取所述双目RGB图像和所述高光谱图像的空间对应关系，利用所述外方位元素获取所述双目RGB图像与所述三维点云数据的对应关系，进而建立所述三维点云数据与所述融合高光谱数据的对应关系，从而获取所述植物的所述三维结构信息及对应的所述光谱信息。

利用传感器定标参数、外方位元素的解算参数等，分别建立起双目RGB图像和所述高光谱图像的空间对应关系，双目RGB图像与所述三维点云数据的对应关系；因此可以建立所述三维点云数据和所述高光谱图像的对应关系。由于所述融合高光谱数据由所述高光谱图像和所述全色图像融合而得，因此，所述融合高光谱数据与所述高光谱图像具有对应关系。也即，可以建立所述三维点云数据与所述融合高光谱数据的对应关系，从而获取所述植物的所述三维结构信息及对应的所述光谱信息。

在上述实施例的基础上，本发明实施例将基于双目视觉的三维结构测量传感器与面阵式成像高光谱传感器进行了有机结合，并为了提高面阵式成像高光谱传感器空间分辨率，采用将成像光谱数据与全色图像传感器采集数据进行空间光谱融合，最终实时得到植物三维冠层结构信息和对应的高分辨率高光谱数据，三维冠层结构与光谱维度一一对应，实现了植物冠层三维结构和光谱同步获取。

进一步地，基于上述实施例，所述***还包括：定标装置，所述定标装置用于对所述面阵式成像高光谱传感器、所述全色图像传感器和所述双目RGB相机进行统一空间定标，以所述面阵式成像高光谱传感器为中心，分别标出所述面阵式成像高光谱传感器、所述全色图像传感器和所述双目RGB相机的成像中心位置坐标，获取传感器定标参数；并将所述传感器定标参数发送至所述处理中心。

如果所述采集装置的各个传感器的传感器定标参数未知，则所述***还包括定标装置，用于在测量之前对所述面阵式成像高光谱传感器、所述全色图像传感器和所述双目RGB相机进行统一空间定标。所述定标装置以所述面阵式成像高光谱传感器为中心，分别标出所述面阵式成像高光谱传感器、所述全色图像传感器和所述双目RGB相机的成像中心位置坐标，获取传感器定标参数。其中，所述传感器定标参数即为所述成像中心位置坐标。

图4为本发明实施例提供的植物三维结构及光谱信息的同步测量***的传感器定标结果示意图。如图4所示，四个传感器的成像中心位置坐标分别为：面阵式成像高光谱传感器(i0,j0)，RGB相机左(i2,j2),RGB相机右(i1,j1)，全色图像传感器(i3,j3)。定标装置将所述传感器定标参数发送至所述处理中心20，所述处理中心20根据四个传感器的成像中心位置坐标，即可得出它们之间的定标转换关系。

在上述实施例的基础上，本发明实施例通过对面阵式成像高光谱传感器、全色图像传感器和双目RGB相机进行统一空间定标，保证四个传感器的相互空间投影一一对应，最终实现结构信息与光谱信息的匹配。

图5为本发明实施例提供的植物三维结构及光谱信息的同步测量方法流程图。如图5所示，所述方法包括：

步骤101、利用采集装置同步采集植物的高光谱图像、全色图像和双目RGB图像，并将所述高光谱图像、所述全色图像和所述双目RGB图像发送至处理中心；

步骤102、所述处理中心接收所述高光谱图像、所述全色图像和所述双目RGB图像，并对所述高光谱图像、所述全色图像和所述双目RGB图像进行处理进而获得所述植物的三维结构及光谱信息。

为了获得植物三维结构及对应的光谱信息，利用所述采集装置同步采集植物的高光谱图像、全色图像和双目RGB图像，并将所述高光谱图像、全色图像和双目RGB图像发送至处理中心进行处理。处理中心接收到采集装置同步采集并发送的所述高光谱图像、全色图像和双目RGB图像后，根据所述高光谱图像和所述全色图像得到所述光谱信息，根据所述双目RGB图像得到所述植物三维结构信息，且由于所述高光谱图像、全色图像和双目RGB图像是同步采集的，所以可以得到所述植物三维结构信息与所述光谱信息的对应关系，也即可以得到所述植物三维结构信息及与其对应的所述光谱信息。

本发明实施例提供的植物三维结构及光谱信息的同步测量方法，可实现实时植物三维立体结构及对应光谱信息测量，所测即所得，解决了当前实时测量植物冠层三维结构和光谱信息无法同步测量难题；为进行植物生长动态监测冠层结构变化和生理生态变化提供了高效的传感器工具，能够满足精准信息获取、精确建模及精准决策的需求，可以极大推动农业生产决策信息化。

进一步地，基于上述实施例，所述采集装置集成有面阵式成像高光谱传感器、全色图像传感器、双目RGB相机和单片机，所述利用采集装置同步采集植物的高光谱图像、全色图像和双目RGB图像，并将所述高光谱图像、所述全色图像和所述双目RGB图像发送至处理中心具体包括：利用面阵式成像高光谱传感器采集所述植物的预设波段的高光谱图像；利用全色图像传感器采集所述植物的全色图像；利用双目RGB相机采集所述植物的双目RGB图像，所述双目RGB相机由两台同型号的RGB相机构成；利用单片机统一控制所述面阵式成像高光谱传感器、所述全色图像传感器和所述双目RGB相机的曝光时间，并将所述高光谱图像、所述全色图像和所述双目RGB图像发送至所述处理中心。

利用所述面阵式成像高光谱传感器采集所述植物的预设波段的高光谱图像。面阵式成像高光谱传感器CCD选择通道响应范围覆盖400-900nm波段范围。考虑到观测植物生理生态特殊性，主要选择如下：绿波段-530-580nm，10nm间隔，5个波段；红波段-630-670nm，10nm间隔，4个波段；红边波段-680-740nm，10nm，6个波段；近红外波段-780-880nm，10nm间隔，10个波段。以上共计25个波段。

利用所述全色图像传感器采集所述植物的全色图像，以实现增强光谱信息的空间分辨率。全色图像传感器也需覆盖400-900nm波段范围。

利用双目RGB相机采集植物的双目RGB图像，所述双目RGB图像是指由两台RGB相机所采集的RGB图像，所述双目RGB相机由两台同型号的RGB相机构成。两台RGB相机需要保持基线距离210mm，视场角均为28°，保证视场内同时拍摄RGB图像重叠度达到立体测量要求。

利用单片机统一控制所述面阵式成像高光谱传感器、所述全色图像传感器和所述双目RGB相机的曝光时间，以实现同步采集；控制方式有固定时间间隔自动采集、人工触发采集两种模式，统一控制四个传感器曝光时间一致。利用单片机将所述高光谱图像、所述全色图像和所述双目RGB图像发送至所述处理中心。以实现植物三维结构及光谱信息的同步测量，得到植物三维结构及对应光谱信息。

在上述实施例的基础上，本发明实施例通过集成两台RGB相机，实现双目立体视觉观测，通过立体测量方法可以实时计算出冠层结构三维信息；利用面阵式成像高光谱传感器获取观测区域植物光谱信息；利用全色单通道相机获得高分辨率图像；可实现实时采集植物连续空间结构信息和光谱信息，并保证结构和光谱的完全对应；适用于定点测量及地面便携、移动平台和无人机搭载使用。

进一步地，基于上述实施例，所述全色图像传感器和所述RGB相机的像素数和成像速率相同。

为便于处理中心对所述高光谱图像、所述全色图像和所述双目RGB图像进行处理进而获得所述植物的三维结构及对应的光谱信息，所述高光谱图像、全色图像和双目RGB图像需进行同步采集，且所述全色图像传感器和所述RGB相机的像素数和成像速率需相同。比如，全色图像传感器可设置为像素数2048×2048，信噪比为60dB，成像速率为90帧/秒；RGB相机设置为像素数为2048×2048，信噪比为60dB，成像速率为90帧/秒。

在上述实施例的基础上，本发明实施例设置全色图像传感器和所述RGB相机的像素数和成像速率相同，为得到植物三维结构及对应光谱信息提供基础。

进一步地，基于上述实施例，所述对所述高光谱图像、所述全色图像和所述双目RGB图像进行处理进而获得所述植物的三维结构及光谱信息具体包括：对所述RGB相机采集的所述双目RGB图像进行实时计算，包括内定向、同名点匹配、空三加密及所述RGB相机的外方位元素计算，生成三维点云数据，从而获取所述植物的三维结构信息；利用空间光谱融合算法将所述面阵式成像高光谱传感器采集的所述高光谱图像和所述全色图像传感器采集的所述全色图像进行实时融合，生成融合高光谱数据，从而获取所述植物的光谱信息；利用传感器定标参数获取所述双目RGB图像和所述高光谱图像的空间对应关系，利用所述外方位元素获取所述双目RGB图像与所述三维点云数据的对应关系，进而建立所述三维点云数据与所述融合高光谱数据的对应关系，从而获取所述植物的所述三维结构信息及对应的所述光谱信息。

图6为本发明实施例提供的植物三维结构及光谱信息的同步测量方法示意图。处理中心接收到采集装置发送的所述高光谱图像、所述全色图像和所述双目RGB图像后，对所述高光谱图像、所述全色图像和所述双目RGB图像进行处理进而获得所述植物的三维结构及光谱信息。

处理中心对每次RGB相机采集的左右两侧图像进行实时计算，主要步骤包括：内定向、同名点匹配、空三加密、两台RGB相机外方位元素计算(空中三角坐标X,Y,Z和姿态-俯仰角、滚动角、航偏角)。利用计算外方位元素自动生成三维点云数据，根据所述三维点云数据可以获得所述植物的三维结构信息。

面阵式成像高光谱传感器采集观测区域成像高光谱数据，即所述高光谱图像，全色图像传感器同时采集全色高分辨率图像，即所述全色图像。处理中心对所述高光谱图像和所述全色图像利用空间光谱融合算法实现实时二者融合，生成高分辨率高光谱数据。融合算法选择MTF-GLP算法，依次对成像高光谱数据每个波段与全色图像数据进行融合。

处理中心利用传感器定标参数、外方位元素的解算参数等，分别建立起双目RGB图像和所述高光谱图像的空间对应关系，双目RGB图像与所述三维点云数据的对应关系；因此可以建立所述三维点云数据和所述高光谱图像的对应关系。由于所述融合高光谱数据由所述高光谱图像和所述全色图像融合而得，因此，所述融合高光谱数据与所述高光谱图像具有对应关系。也即，可以建立所述三维点云数据与所述融合高光谱数据的对应关系，从而获取所述植物的所述三维结构信息及对应的所述光谱信息。

在上述实施例的基础上，本发明实施例将基于双目视觉的三维结构测量传感器与面阵式成像高光谱传感器进行了有机结合，并为了提高面阵式成像高光谱传感器空间分辨率，采用将成像光谱数据与全色图像传感器采集数据进行空间光谱融合，最终实时得到植物三维冠层结构信息和对应的高分辨率高光谱数据，三维冠层结构与光谱维度一一对应，实现了植物冠层三维结构和光谱同步获取。

进一步地，基于上述实施例，在所述利用采集装置同步采集植物的高光谱图像之前，所述方法还包括：对所述面阵式成像高光谱传感器、所述全色图像传感器和所述双目RGB相机进行统一空间定标，以所述面阵式成像高光谱传感器为中心，分别标出所述面阵式成像高光谱传感器、所述全色图像传感器和所述双目RGB相机的成像中心位置坐标，获取传感器定标参数；并将所述传感器定标参数发送至所述处理中心。

如果所述采集装置的各个传感器的传感器定标参数未知，在测量之前需利用定标装置对所述面阵式成像高光谱传感器、所述全色图像传感器和所述双目RGB相机进行统一空间定标。以所述面阵式成像高光谱传感器为中心，分别标出所述面阵式成像高光谱传感器、所述全色图像传感器和所述双目RGB相机的成像中心位置坐标，获取传感器定标参数。其中，所述传感器定标参数即为所述成像中心位置坐标。定标装置将所述传感器定标参数发送至所述处理中心，所述处理中心根据四个传感器的成像中心位置坐标，即可得出它们之间的定标转换关系。

在上述实施例的基础上，本发明实施例通过对面阵式成像高光谱传感器、全色图像传感器和双目RGB相机进行统一空间定标，保证四个传感器的相互空间投影一一对应，最终实现结构信息与光谱信息的匹配。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所描述的电子设备等实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种植物三维结构及光谱信息的同步测量***，其特征在于，包括：

采集装置和处理中心；

其中，所述采集装置用于同步采集植物的高光谱图像、全色图像和双目RGB图像，并将所述高光谱图像、所述全色图像和所述双目RGB图像发送至所述处理中心；

所述处理中心用于接收所述高光谱图像、所述全色图像和所述双目RGB图像，并对所述高光谱图像、所述全色图像和所述双目RGB图像进行处理进而获得所述植物的三维结构及光谱信息。

2.根据权利要求1所述的***，其特征在于，所述采集装置集成有面阵式成像高光谱传感器、全色图像传感器、双目RGB相机和单片机；

其中，所述面阵式成像高光谱传感器用于采集所述植物的预设波段的高光谱图像；

所述全色图像传感器用于采集所述植物的全色图像；

所述双目RGB相机用于采集所述植物的双目RGB图像，所述双目RGB相机由两台同型号的RGB相机构成；

所述单片机用于统一控制所述面阵式成像高光谱传感器、所述全色图像传感器和所述双目RGB相机的曝光时间，并将所述高光谱图像、所述全色图像和所述双目RGB图像发送至所述处理中心。

3.根据权利要求2所述的***，其特征在于，所述全色图像传感器和所述RGB相机的像素数和成像速率相同。

4.根据权利要求3所述的***，其特征在于，所述处理中心在用于对所述高光谱图像、所述全色图像和所述双目RGB图像进行处理进而获得所述植物的三维结构及光谱信息时，具体用于：

对所述RGB相机采集的所述双目RGB图像进行实时计算，包括内定向、同名点匹配、空三加密及所述RGB相机的外方位元素计算，生成三维点云数据，从而获取所述植物的三维结构信息；

利用空间光谱融合算法将所述面阵式成像高光谱传感器采集的所述高光谱图像和所述全色图像传感器采集的所述全色图像进行实时融合，生成融合高光谱数据，从而获取所述植物的光谱信息；

利用传感器定标参数获取所述双目RGB图像和所述高光谱图像的空间对应关系，利用所述外方位元素获取所述双目RGB图像与所述三维点云数据的对应关系，进而建立所述三维点云数据与所述融合高光谱数据的对应关系，从而获取所述植物的所述三维结构信息及对应的所述光谱信息。

5.根据权利要求4所述的***，其特征在于，所述***还包括：

定标装置，所述定标装置用于对所述面阵式成像高光谱传感器、所述全色图像传感器和所述双目RGB相机进行统一空间定标，以所述面阵式成像高光谱传感器为中心，分别标出所述面阵式成像高光谱传感器、所述全色图像传感器和所述双目RGB相机的成像中心位置坐标，获取传感器定标参数；并将所述传感器定标参数发送至所述处理中心。

6.一种植物三维结构及光谱信息的同步测量方法，其特征在于，包括：

利用采集装置同步采集植物的高光谱图像、全色图像和双目RGB图像，并将所述高光谱图像、所述全色图像和所述双目RGB图像发送至处理中心；

所述处理中心接收所述高光谱图像、所述全色图像和所述双目RGB图像，并对所述高光谱图像、所述全色图像和所述双目RGB图像进行处理进而获得所述植物的三维结构及光谱信息。

7.根据权利要求6所述的方法，其特征在于，所述采集装置集成有面阵式成像高光谱传感器、全色图像传感器、双目RGB相机和单片机，所述利用采集装置同步采集植物的高光谱图像、全色图像和双目RGB图像，并将所述高光谱图像、所述全色图像和所述双目RGB图像发送至处理中心具体包括：

利用面阵式成像高光谱传感器采集所述植物的预设波段的高光谱图像；

利用全色图像传感器采集所述植物的全色图像；

利用双目RGB相机采集所述植物的双目RGB图像，所述双目RGB相机由两台同型号的RGB相机构成；

利用单片机统一控制所述面阵式成像高光谱传感器、所述全色图像传感器和所述双目RGB相机的曝光时间，并将所述高光谱图像、所述全色图像和所述双目RGB图像发送至所述处理中心。

8.根据权利要求7所述的方法，其特征在于，所述全色图像传感器和所述RGB相机的像素数和成像速率相同。

9.根据权利要求8所述的方法，其特征在于，所述对所述高光谱图像、所述全色图像和所述双目RGB图像进行处理进而获得所述植物的三维结构及光谱信息具体包括：

对所述RGB相机采集的所述双目RGB图像进行实时计算，包括内定向、同名点匹配、空三加密及所述RGB相机的外方位元素计算，生成三维点云数据，从而获取所述植物的三维结构信息；

利用空间光谱融合算法将所述面阵式成像高光谱传感器采集的所述高光谱图像和所述全色图像传感器采集的所述全色图像进行实时融合，生成融合高光谱数据，从而获取所述植物的光谱信息；

利用传感器定标参数获取所述双目RGB图像和所述高光谱图像的空间对应关系，利用所述外方位元素获取所述双目RGB图像与所述三维点云数据的对应关系，进而建立所述三维点云数据与所述融合高光谱数据的对应关系，从而获取所述植物的所述三维结构信息及对应的所述光谱信息。

10.根据权利要求9所述的方法，其特征在于，在所述利用采集装置同步采集植物的高光谱图像之前，所述方法还包括：

对所述面阵式成像高光谱传感器、所述全色图像传感器和所述双目RGB相机进行统一空间定标，以所述面阵式成像高光谱传感器为中心，分别标出所述面阵式成像高光谱传感器、所述全色图像传感器和所述双目RGB相机的成像中心位置坐标，获取传感器定标参数；并将所述传感器定标参数发送至所述处理中心。