一种面向绿色植物时序模型的点云采集平台
技术领域
本实用新型属于植物三维形态表型测量技术领域,具体地说,涉及一种面向绿色植物时序模型的点云采集平台。
背景技术
植物表型是指反映植物结构、组成、发育过程和结果的一系列物理、生理和生化特性及性状;研究植物表型能够指导植物基因型研究,对植物基因组学的发展、掌握植物发展规律具有重要的意义。
通过测量植物的表型参数,分析各项参数随时间的变化规律,可以构建植物的动态生长模型,即植物的时序模型,用于直观显示植物随时间推演根、茎、叶、花和果实的外观形态、拓扑结构的变化,并可由于预测不同环境条件和栽培措施下的植物长势,同时还能结合计算机图形学技术,作为数字化虚拟植物生长的参数来源。
植物的表型参数繁多,其中最为直观的就是植物生长的几何拓扑结构,即植物的形态表型参数。由于植物相对复杂的空间形态结构,单纯二维层面的图像分析难以得到更精确的测量值,因此需要依靠一些三维测量方式获取植物生长过程中的三维形态表型参数;获取三维形态表型参数前,尤为重要的是重构出植物的三维模型。
重构植物的三维模型必然需要在植物从播种、生根、发芽、长叶、开花、结果的全生长周期过程中,连续、多次、重复采集植物的形态表型参数,每次采集结果不因环境变化而受影响,且采集结果精度高、可靠度好、迅速方便。
重构物体的三维模型的方法总体可分为两种,一种为主动式,即向对象投射一些特殊的光源或能量,通过检测透射或反射的能量来得到三维形态信息,例如利用三维扫描设备,采用结构光、编码光、激光等技术对真实物体进行扫描,直接得到物体空间点的信息,进而重构出三维形态;另一种为被动式,即不需要向对象投射某种光源或能量,而是检测对象反射环境的某种能量,例如利用摄像机、数码相机从各个视角拍摄的真实物体的两幅或者多幅图像进行重构。
目前植物表型检测领域获取植株三维模型的方法主要是主动式中的激光法,通过向植株对象发射激光信号,计算从发射信号到接收到反射信号的时间或相位变化,估算出信号的运行距离,从而计算出对象的空间位置信息。激光法的优点是重构准确性好,但是对仪器的精度要求非常高,因而成本也非常高。
主动式中的向植物发射结构光、编码光,拍摄植株对象表面的光反射分布状态,依据几何学计算出表面的位置信息也常被用来获取植株的三维模型。这种方法的优点在于计算简单、扫描速度快;在精度方面,根据发射的结构光、编码光的状态,有一定的波动,但整体而言精度较激光法要差。
除了上述的两种主动式的获取植物三维模型方法外,被动式中的单目或双目视觉的方法也常被用于植物的三维模型重构。其原理为预先放置好工业相机,并对工业相机进行标定,计算出工业相机的内、外参矩阵;单目视觉方法使用一个相机,令植物对象依次旋转一定的角度拍摄二维图片,再计算出二维图片上像素点在空间中相对相机的位置;双目视觉方法则在植物两侧各放置一个相机,令植物对象依次旋转一定的角度,两相机同时拍摄二维图片,再计算出二维图片上像素点在空间中相对两个相机的位置。
以上常用的获取植物三维模型方法都能够得到较为准确的植物三维模型,但其都有一个共性,即为了获取多角度的三维信息,都选取了植物旋转而传感器固定的运动方式。而当重建对象是茎杆细长且叶片细小柔软的植物时,这种植物旋转的运动方式很容易引起植物茎杆、叶片等器官的抖动,严重影响重建质量。为了避免植物器官的抖动,一方面可以优化带动植物旋转的控制***,但难免会降低旋转的速度,不利于重建的高效性;另一方面,也可以选择令植株固定而传感器运动的方案。但由于激光发射接收器本身结构精密且复杂,结构光、编码光以及单目、双目视觉方法都需要提前对***进行标定从而确定相机在***中的参数,若使植株固定而传感器运动,需要确保一套精度和流畅度极高的驱动传感器***运动的硬件控制***成为必要条件,但仍还要解决其他影响重建的问题。
综上,主动式重构植物三维模型的方法设备复杂、精度要求高、成本高,被动式中的单目或双目视觉用于植物的三维模型重构设备简单、精度要求低,成本相对低廉,但是若采用植物旋转而单目或双目相机固定的方式标定复杂、重建质量低。因此在使用相机重构植物三维模型时,采用植物固定而相机运动的方式成为确保重构模型精度高、设备成本低的途径。
从运动恢复形状(Structure from Motion,SfM)是被动式中一种构造三维模型的算法,其基本思想是令物体和相机发生相对运动并拍摄物体多个角度的二维图像序列,通过对该图像序列中的目标进行数学分析,计算物体或者相机的三维运动参数,由此得到物体的三维空间点云。常用的三维重构方法是在采集前预先对***进行了标定,相机在***中的相对位置提前确定,但是使用SfM算法所生成的三维模型的坐标系是在采集后估算出来的,即自动寻找特征匹配数最多的图像对作为初始图像对,开始计算外参及空间中的三维点;基于此初始图像对的计算结果,再不断添加新的图像进行计算。当随机选定拍摄位置和拍摄角度,并且拍摄环境(如光源、光照强度)不稳定时,对同一物体多次采集其图像序列用于三维重构,往往会造成每轮图像序列中特征匹配数最多的图像对不一致(即每次初始图像对拍摄时的位置是不一定的),造成每次生成的三维模型的坐标系不一致,如图1所示,对同一批图像序列选取四组不同的初始图像对所生成的四组点云在同一个坐标系中的分布情况,可以发现对象植株四次的三维模型的坐标不统一,相互间的位置及尺度都偏差较大,这将造成在对这些三维模型提取参数时,需要额外针对每次生成的坐标系调整相关的参数,使得算法的重复性不可靠。
而植物的时序模型研究需要基于多个时间段的植物三维模型,如某植物生长周期是六周,为研究其时序模型,需要每天定时采集其三维模型;若使用SfM算法,生成的三维模型坐标系不一致将为后续参数提取造成不便,例如:SfM算法生成的三维点云中包含除了植株对象点云外的其他环境点云(因为这些环境点云也被拍摄入图像序列并被识别为特征),若每次生成的坐标***一,可确定各坐标值范围直接过滤出植株对象点云;若每次生成的坐标系不统一,就难以确定每次的坐标值范围。同时,坐标系不一致包含尺度不一致,若对同一植物在短时间内获取其两个三维模型,而其尺度不一致,会导致两个三维模型中的同一叶片的长度不一致,导致测量结果的较大误差。此外,在一些常用的点云分割算法中,需要预先设置分割阈值参数(如欧式聚类分割),若坐标系不一致导致尺度不一致,这样的分割阈值参数也难以做到标准化。
还需要强调的是,虽然SfM算法对相机运动轨迹没有做严格要求,但是为尽可能保持重复采集的结果稳定,从植物表型参数采集的工程化角度出发,还是应该对相机的运动轨迹进行设定;同时,鉴于环境各种因素会影响SfM算法的特征识别,例如不同光源、光照强度会导致植物表面反射光的颜色质量不同,从而在使用颜色阈值分割植物点云时难以确定颜色阈值参数,因此也应该保证拍摄过程中环境因素的稳定。所以,搭建一个可靠、稳定且适合SfM 算法的采集硬件平台是尤为重要的。
实用新型内容
1、要解决的问题
针对现有SfM算法在在植物三维形态表型测量领域存在坐标系不一致、重复性差、可靠度低的缺陷的问题,本实用新型提供一种面向绿色植物时序模型的点云采集平台;本实用新型能适应植物固定、传感器运动的图像采集方式,且能有效避免由于传感器运动导致的传感器位置参数缺失、精度无法保障、图像噪音太大等缺点。
2、技术方案
为解决上述问题,本实用新型采用如下的技术方案。
一种面向绿色植物时序模型的点云采集平台,包括光源、箱体框架、箱体底板和植物搭载平台,所述箱体框架的内部顶部装有光源,还包括竖直导轨、水平导轨、定向轮、电动旋转台、旋转平台和彩色标板;所述箱体框架内的顶部装有LED光源,所述箱体底板安装电动旋转台,所述电动旋转台旋转中心轴与箱体中心轴重合,所述电动旋转台内部设置蜗轮蜗杆变速器,所述蜗轮蜗杆变速器输入端设置电机、输出端设置旋转平台;
所述水平导轨一端与旋转平台固定、另一端设置定向轮,所述水平导轨上设置有竖直导轨,所述竖直导轨可沿水平导轨的长度方向移动,所述竖直导轨上设置相机安装架,所述相机安装架可沿竖直导轨的长度方向移动;
所述植物搭载平台穿过电动旋转台的中心通孔,固定于箱体底板上,其顶部平面上放置彩色标板,所述彩色标板的中心与顶部平面的中心位置重合,在彩色标板上放置植物对象,所述植株对象的盆底中心位于彩色标板的中心。
更进一步地,所述箱体框架设置黑色植绒布作为框架内背景,以确保图像采集环境光源的稳定性及免受干扰。
更进一步地,所述箱体框架采用铝型材搭建,箱体框架内的顶部装有LED光源,所述相机安装架上设置相机。
更进一步地,所述彩色标板上分布有红色、蓝色两种标板,以黑色为底色,其中红色标板中,红色线段标板一、红色线段标板二成对称分布,红色方块标板一、红色方块标板二也成对称分布,且共用一个对称点,即彩色标板的中心;在彩色标板的一端有一个矩形蓝色标板。
更进一步地,所述彩色标板分布有红色、蓝色两种标板,以黑色为底色,其中红色标板分成红色子标板一、红色子标板二,以彩色标板整体的对称轴呈对称分布;红色子标板一、红色子标板二由若干个红色子方块组成,个数至少为5个,且同时满足中心对称分布;在彩色标板的一端同样有一个矩形的蓝色标板。
3、有益效果
相比于现有技术,本实用新型的有益效果为:
(1)构建面向绿色植物时序模型的点云采集平台,通过人为控制光源、光照强度、背景、拍摄距离、角度,提供稳定的图像采集环境,解决了因采集时外界环境的变化所造成采集的三维点云模型精度低、效果不稳定的问题,能够满足植物时序模型研究的全生长周期连续、多次、重复采集需要,使得每次采集结果不因环境变化而受影响;
(2)设计植物固定、传感器移动的平台结构,解决了传统的传感器固定、植物移动方式里,茎秆细长、叶片细小柔软的植物在拍摄过程中容易发生抖动从而影响三维重建效果的问题,确保获取静态的植株三维模型,准确、可靠、方便地提取植物表型参数;
(3)提出基于彩色标板的面向绿色植物时序模型的坐标系标准化方法,能够对背景、绿色植物对象、彩色标板三者的点云独立进行操作,从硬件的角度出发,满足多次采集三维模型的坐标系始终保持统一的要求,实现用同一套工具和算法且不需要多次更改结构或算法参数的情况下,在每个单位时间都能够对植物对象进行参数提取;
(4)设计一种用于点云坐标系标准化的彩色标板,一方面解决了传统的相机标定等操作的繁琐与不灵活、算法复杂的问题,另一方面解决了现有SfM算法随机生成坐标系造成每次生成的三维模型坐标系不一致问题,能够从硬件结构的角度实现坐标系标准化,一旦彩色标板放置在平台中,就能实现相机运动多次采集,且不再需要人工调整,提高了采集效率,实现了图像采集的高效性;
(5)设计一种一端连接旋转平台,另一端依靠定向轮支撑的相机搭载方式,为相机绕固定植物旋转提供动力,并在不需要设置额外精密轨道的情况下实现运动定位,简化结构,降低成本。
附图说明
图1为同一批图像序列选取四组不同的初始图像对所生成的四组点云在同一个坐标系中的分布情况图;
图2为点云采集平台结构示意简图;
图3为标准化坐标系的定义示意图;
图4(a)为本发明的线段型彩色标板的结构示意图;图4(b)为本发明的方块型彩色标板的结构示意图;图4(c)为本发明的综合型彩色标板的结构示意图;
图5为空间固定点设置示意图;
图6为方案一线段型彩色标板和方案二方块型彩色标板示意图识别的蓝色小型方块重心坐标分布图。
图7为方案三综合型彩色标板识别的蓝色小型方块重心坐标分布;
图8为优化后彩色标板示意图;
图9为面向绿色植物时序模型的点云坐标系生成方法算法流程图。
图中:1、LED光源;101、红色线段标板一;102、红色线段标板二;2、箱体框架;201、红色方块标板一;202、红色方块标板二;3、竖直导轨;4、水平导轨;4101、红色子标板一;4102、红色子标板二;5、定向轮;6、箱体底部;7、植物搭载平台;8、电机;9、电动旋转台;10、旋转平台;11、彩色标板的中心点;12、蓝色小型方块。
具体实施方式
为使本实用新型实施例的目的、技术方案和优点更加清楚,下面将结合本实用新型实施例中的附图,对本实用新型实施例中的技术方案进行清楚、完整地描述。其中,所描述的实施例是本实用新型一部分实施例,而不是全部的实施例。因此,以下对在附图中提供的本实用新型的实施例的详细描述并非旨在限制要求保护的本实用新型的范围,而是仅仅表示本实用新型的选定实施例。
实施例1
参考图2,本实施例提供了一种面向绿色植物时序模型的点云采集平台,包括LED光源 1、箱体框架2、箱体底板6和植物搭载平台7,其中箱体框架2设置黑色植绒布作为框架内背景,且其内部设置黑色植绒布作为框架内背景,以确保图像采集环境光源的稳定性及免受干扰,同时箱体框架2内的顶部装有LED光源1,箱体底板6安装电动旋转台9,电动旋转台9旋转中心轴与箱体中心轴重合,电动旋转台9内部设置蜗轮蜗杆变速器,蜗轮蜗杆变速器输入端设置有电机8、输出端设置有旋转平台10。
其中,旋转平台10与水平导轨4的一端固定,水平导轨4另一端设置有定向轮5,同时水平导轨4上设置有竖直导轨3,竖直导轨3可沿水平导轨4的长度方向移动,竖直导轨3上还设置有相机安装架,相机安装架可沿竖直导轨3的长度方向移动,其中相机安装架上设置有相机。
植物搭载平台7穿过电动旋转台9的中心通孔,固定于箱体底板6上,其顶部平面上放置有彩色标板,彩色标板的中心与顶部平面的中心重合,在彩色标板上放置有植物对象,植株对象的盆底中心位于彩色标板的中心。
植物搭载平台7穿过电动旋转台9的中心通孔,固定于箱体底板6上,其顶部平面上放置有彩色标板,彩色标板的中心与顶部平面的中心重合,在彩色标板上放置有植物对象,植株对象的盆底中心位于彩色标板的中心。
参考图3,彩色标板上分布有红色、蓝色两种标板,以黑色为底色,其中红色标板中,红色线段标板一101、红色线段标板二102成对称分布,红色方块标板一201、红色方块标板二202也成对称分布,且共用一个对称点,亦即彩色标板的中心点11;在彩色标板的一端有一个矩形蓝色标板。
一种面向绿色植物时序模型的点云采集方法,其步骤具体如下:
(1)放置绿色植物对象于植物搭载平台7,打开所有箱体框架2内的顶部光源1、相机及电机8电源,确认绿色植物位于相机拍摄视角中部,并且能够拍摄到植株底部、放置在植物搭载平台7顶部的彩色标板,关闭背景布遮帘。
(2)相机绕电动旋转台9旋转中心轴360°移动,等时间间隔拍摄样本图片序列,使用 SfM算法生成此场景原始点云PInit。
(3)预先设置目标颜色阈值范围:根据RGB颜色模型,需确定R、G、B三个颜色通道的阈值范围;首先保证G、B通道取全范围,使用二分法确定R通道的最佳阈值范围,即分割出的点云质量最佳;其次使用已确定的R通道最佳阈值范围以及全范围的B通道,使用二分法确定G通道的最佳阈值范围;最后使用已确定的R、G通道最佳阈值范围,使用二分法确定B通道的最佳阈值范围。
在实施例的硬件试验环境中,绿色植物对象点云的最佳阈值范围为R(0,150),G(50, 255),B(0,150),红色标板点云的最佳阈值范围为R(60,255),G(0,50),B(0,100),蓝色标板点云的最佳阈值范围为R(0,150),G(0,150),B(100,255)),使用颜色滤波器,从原始点云PInit中分割出绿色植物对象点云PG,彩色标板点云P,并从彩色标板点云中分割出红色标板点云PR、蓝色标板点云PB。
(4)获取彩色标板点云P的标准化坐标系C1,并结合彩色标板点云P的初始坐标系C,计算出将初始坐标系C转化为标准化坐标系C1的旋转矩阵、平移矩阵、缩放矩阵,将绿色植物对象点云PG的所有点坐标依次与上述矩阵点乘,获得标准化坐标系C1下的绿色点云PGnew。其中获取彩色标板点云P的标准化坐标系C1,具体通过面向绿色植物时序模型的点云坐标系生成方法进行获取,参考图9,其步骤具体如下:
(4.1)彩色标板的设计:如图3所示,彩色标板上分布有红色、蓝色两种标板,以黑色为底色,其中红色标板中,红色线段标板一101、红色线段标板二102成对称分布,红色方块标板一201、红色方块标板二202也成对称分布,且共用一个对称点,亦即彩色标板的中心点11,在彩色标板的一端有一个矩形蓝色标板301。
彩色标板的设计直接影响着所生成的标准化坐标系的稳定性,本发明的彩色标板则将红色线段标板与红色方块标板结合在一起,如附图4(c)所示。
(4.2)定义标准化坐标系:使用彩色标板点云P作为坐标系生成的依据;彩色标板点云 P初始坐标系C具有x轴、y轴、z轴,设标准化坐标系C1具有X轴、Y轴、Z轴,各轴相互垂直,交点设为标准化坐标系C1的原点;如附图3所示,将标准化坐标系C1统一定义如下:
(4.2.1)坐标系原点O:标准化坐标系C1的原点定义为红色线段标板的对称点,即彩色标板的中心点11。
(4.2.2)X轴正向单位向量:将标准化坐标系C1的X轴位置定义在红色线段标板一101、红色线段标板二102各自重心的连线上,方向为从远离蓝色标板的重心(红色线段标板二102 的重心)指向靠近蓝色标板的重心(红色线段标板一101的重心)的方向,计算此向量并单位化,作为标准化坐标系C1的X轴正向单位向量。
(4.2.3)Z轴正向单位向量:将标准化坐标系C1的Z轴正向单位向量定义为垂直彩色标板平面,并指向植株的单位法向量;
(4.2.4)Y轴正向单位向量:基于右手法则,取同时垂直于X轴和Z轴的单位向量作为标准化坐标系C1的Y轴单位向量。
(4.3)计算标准化坐标系C1
(4.3.1)确定C1原点:计算红色标板点云PR的重心坐标gC(xC,yC,zC)作为标准化坐标系C1的原点。
(4.3.2)确定X轴正向单位向量:使用欧式聚类法,将红色标板点云PR分割为两部分,分别为PR1、PR2,其中PR1、PR2各包含一个红色线段点云和红色方块点云;进一步地,使用欧式聚类法,将PR1分割成红色线段点云PR1Line和红色方块点云PR1Squ,将PR1分割成红色线段点云PR2Line和红色方块点云PR2Squ。
分别计算PR1Line、PR2Line以及蓝色标板点云PB的重心坐标gR1L(xR1L,yR1L,zR1L)、gR2L(xR2L,yR2L,zR2L)、gB(xB,yB,zB),分别计算gR1L、gR2L相对gB的距离Dis1、Dis2,gR1L、 gR2L的间距Dis。
初步计算X轴的单位向量:
若Dis1<Dis2,则若Dis1>Dis2,则
(4.3.3)确定Z轴正向单位向量:计算红色标板点云PR的单位法向量绿色的植物对象点云PG的重心坐标gG(xG,yG,zG)以及由gC指向gG的向量由于硬件平台中绿色植物摆放于彩色标板上方,因此Z轴正向单位向量与的夹角必然小于90°;设与的夹角为θ,计算若结果大于0,与夹角θ小于90°,符合预设坐标方向,Z轴正向单位向量若结果小于0,与夹角θ大于90°,与预设坐标方向相反, Z轴正向单位向量
(4.3.4)确定Y轴正向单位向量:计算同时垂直于和的单位向量作为Y轴正向单位向量。
在实际的应用测试中,发现SfM算法重建的点云具有如下特征:对于颜色变化较大的边界识别率较高,对连续分布的单一颜色部分内部的重建容易产生不规则空洞。这将对特征的重心计算带来不确定性:若彩色标板点云内部分布不均匀,那么其整体的重心会与彩色标板实际的重心发生偏移,产生一定的误差;又由于这样的分布不均是难以控制的,因此此误差也是随机不可控的。
为解决上述情况对坐标系标准化带来的不利影响,不使用连续分布的单一颜色作为彩色标板的特征,而应该使用线段作为基本特征;但是,在计算标准化坐标系的Z轴时,需要通过计算所有红色标板点云的整体法向量作为Z轴的单位向量的,若仅使用线段作为彩色标板的基本特征,则可能会影响Z轴的选择。
为此,设计一组试验,说明三种彩色标板方案所生成的标准化坐标系的稳定性效果。
如图4所示,图(a)、(b)、(c)分别为线段型、方块型、综合型彩色标板,每一块彩色标板的左端都有相同的蓝色矩形标板,除此之外,(a)彩色标板仅含有两个对称的红色线段标板,(b)彩色标板仅含有两个对称的红色方块标板,而(c)彩色标板则将以上两种红色标板结合在一起。在平台中固定放置一蓝色小型方块12(如图5所示),使用三种彩色标板分别对10盆绿色植株从三个不同角度采集三组点云,并生成标准化坐标系。计算每组点云标准化坐标系中蓝色小型方块12点云的重心坐标,各方案所生成的重心坐标分布如附图6、附图7所示。
计算每种方案中所识别的所有蓝色小型方块12点云的重心坐标整体重心,以及每个重心坐标距离整体重心的欧式距离,通过比较每种方案中欧式距离的方差,方差越小,说明重心坐标分布越集中,生成标准化坐标系的稳定性越好。从表1的结果可知,就方差值而言,方案三小于方案一小于方案二,即使用方案三彩色标板时生成的标准化坐标系最稳定;并且线段特征更优于方块特征。
表1不同彩色标板方案下蓝色小型方块点云重心坐标稳定性
基于此,本发明在原方案基础上还可拓展出新的优化方案,该优化方案在方案二的基础上,将红色方块都变换成若干个有色子方块,具体为:该优化后的彩色标板分布有红色、蓝色两种标板,以黑色为底色,其中红色标板分成红色子标板一4101、红色子标板二4102,以彩色标板整体的对称轴呈对称分布;红色子标板一4101、红色子标板二4102由若干个红色子方块组成(个数至少为5个,且同时满足中心对称分布);在彩色标板的一端同样有一个矩形的蓝色标板,具体分布如图8所示。该优化方案相对方案二而言,减少了单一颜色的连续分布,增加了边界特征,会使生成的红色标板点云特征识别更准确;同时五个小的红色方块相对中心呈中心对称分布,即使各小的红色方块点云内部出现一定的空洞,其对整体的重心位置造成的偏移也会因为此分布而维持在较小的范围内,进而提升标准化坐标系生成的稳定性。
以上示意性的对本实用新型及其实施方式进行了描述,该描述没有限制性,附图中所示的也只是本实用新型的实施方式之一,实际的结构并不局限于此。所以,如果本领域的普通技术人员受其启示,在不脱离本实用新型创造宗旨的情况下,不经创造性的设计出与该技术方案相似的结构方式及实施例,均应属于本实用新型的保护范围。