CN102986372A - 基于全景立体视觉的采摘对象的识别、分类和空间定位装置及方法 - Google Patents

Abstract

一种基于全景立体视觉的采摘对象的识别、分类和空间定位装置，包括双目立体全景视觉传感器，用于对采摘对象的识别、分类和空间定位进行分析处理的微处理器，所述的双目立体全景视觉传感器与所述的微处理器进行连接；所述的双目立体全景视觉传感器，包括两台具有相同参数的固定单视点的全方位视觉装置，全方位视觉装置简称ODVS，两台ODVS按照全方位的极线平面要求以垂直连接固定，并保证两个ODVS的主轴在同一直线上。本发明具有采摘识别率高、边采摘边分级分类、空间定位计算量少、空间定位高等优点。

Description

基于全景立体视觉的采摘对象的识别、分类和空间定位装置及方法

技术领域

本发明属于全景立体视觉技术、采摘机器人技术、数字图像处理技术和模式识别技术在颗粒状农作物自动化采摘方面的应用，尤其适用于采摘机器人的自动采摘作业。

背景技术

农作物采摘作业是农作物生产链中最耗时、最费力的一个环节。同时,采摘作业质量的好坏还直接影响到产品的后续加工和储存。如何以低成本获得高品质的产品是农作物生产环节中必须重视和考虑的问题。由于采摘作业的复杂性,目前我国采摘作业的规模化、自动化和智能化程度仍然很低，基本上农作物采摘作业都是手工进行，就棉花采摘这一项来说每年约需要人工采摘成本8个亿。随着人口的老龄化和农业劳动力的减少,农业生产成本也相应提高,这样会大大降低产品的市场竞争力。因此采摘机器人是未来智能农业机械的发展方向。

采摘机器人工作在高度非结构化的环境下，采摘对象是有生命的生物体，具有以下的特点：1）采摘对象娇嫩、易脆,形状复杂且个体之间的差异性大；2）采摘对象大多数被树叶、树枝等掩盖，增大了机器人视觉定位难度，降低采摘成功率；3）采摘对象分布是随机的，分布在采摘机器人的周围，因此需要全方位的检测方法；4）希望实现智能化自动分级技术边采摘边分级，即在采摘过程中进行分类，以提高采摘物的品质和减少后续的分拣工序。

采摘对象的识别与定位，是实现采摘自动化的第一步。考虑到采摘对象的生长环境、空间位置和分布状态等要素，采用三维视觉进行采摘对象的检测是一种非常有前途的解决方案。所谓三维视觉信息包括从摄像机到物体之间的距离、物体的大小和形状、各物体之间的关系等。对于采摘机器人视觉***而言，在自然光条件下，不仅要探测到目标的存在，还要计算出采摘对象的空间坐标。

目前，在园林生产和田间作业中，对于橙、橘、番茄、土豆、蘑菇、黄瓜、苹果、西瓜、葡萄等果蔬的基于机器视觉的采摘技术，国内外已有一些相关报道，但尚未检索到棉花采摘机器人的相关报道。

颜色、大小和形状是反映采摘对象的重要视觉特征，是基于机器视觉的采摘对象的识别、分类的重要依据。每一种采摘对象都有其特有的颜色、大小和形状特征，这些视觉信息是识别采摘对象的重要属性特征；同时每一种采摘对象在其不同的生长期和不同的品质上，其颜色、大小和形状均有较大的差别，这些差别是基于机器视觉的分类和分级中各种判定指标和阈值取值的根据。

在采摘对象颜色测量中，应选用一定的颜色模型来对采摘对象表面的颜色特征进行研究。通过该研究建立多种各具特色的颜色模型，在机器视觉研究中，常用的RGB和HIS颜色模型，HIS颜色模型的描述更接近人的视觉对颜色的感知方式，它包含色相、饱和度和亮度三要素。根据对颜色的研究结果，结合有关评级标准，就可选定区别不同色度等级的色相阈值，计算出此值下的累计频度值，就可完成颜色分级。

利用被采摘对象的颜色色差信息进行图像识别，对于有些被采摘对象，如果蔬的识别，采用HIS彩色模型用于颜色评价和图像处理是非常有效的。对于棉桃的识别，主要是基于棉桃的R、G、B均值几乎相等，而棉叶、棉枝的R、G、B均值相差较大。棉桃颜色差值绝大多数分布在45°线上，只有少量偏离45°线，且偏离程度较小；而棉叶和棉枝的颜色差值偏离45°线，且偏离程度较大，因此可以利用此特征差异进行图像识别。利用此色差模型可以有效地将棉桃从背景图像中分离出来。

机器视觉的作用是从三维环境图像中获得所需的信息并构造出观察对象的明确而有意义的描述。视觉包括三个过程：图像增强、特征提取和图像理解。由视觉传感器获取数字图像，经图像增强后提取颜色、形状和纹理特征参数对棉花进行分类、识别和描述。

目前获取采摘对象的三维坐标的定位方法主要有下面4种类型：1）多目立体视觉：融合多个摄像机观察到的目标特征，重构这些特征的三维原像，并计算出目标的空间坐标；2）时间差法：利用一台摄像机的多幅连续图像序列实现“从运动得到结构”，由图像匹配估计匹配点的三维坐标；3）结构光法：选择激光、微波或超声波等光源，采用光栅法、移动投光法获取距离图像和反射图像，经联合分析测出物体的形状和空间分布；4）传感器融合：由视觉传感器获取原始平面图像，计算其形心坐标，再利用测距传感器测量目标的深度信息。就上述4种定位方式来说，立体视觉具有投资小、能与采摘机器人的自动导航共用一套立体视觉***、能与前期采摘对象的识别和分类等处理共用一种视频源，因此是一种首选的解决方案。

立体视觉***一般可分为图像采集、摄像***标定、特征选择与提取、立体匹配、深度确定和内插6个步骤。双目立体视觉运用两个相同的摄像机对同一景物从不同位置成像，获得景物的立体图像对，通过各种算法匹配出相应像点，从而计算出视差，然后采用基于三角测量的方法恢复深度信息。

目前的立体视觉***，利用立体摄像机获取不同距离的采摘对象的立体图像对，通过对图像进行灰度图像处理，将彩色图像转换为灰度图像．然后根据灰度图像对中像素点的相关性进行立体匹配，计算像素点的位置信息而获得一幅深度图像。最后对照采摘对象在深度图像中的位置，获取采摘对象的三维位置信息。

但是目前的立体视觉***在农作物采摘的实际应用中还存在着不少问题，其主要问题在于：立体成像范围有限，由于采摘机器人行走在农田采摘作物环境中，采摘对象的生长区域是开放式的、随机的、不规则的和全方位的，因此，需要转动立体视觉***来获取周边的采摘对象视频信息；其次，立体成像摄像机标定、特征提取和立体图像匹配方面在实际应用上仍然存在着一些难以解决的问题。另外由于固定的焦距只能在一定景深范围内清晰拍摄图像，因而，它限制了在某些方面的应用。此外，还存在着以下不足之处：1)由于标定技术不够完善，立体视觉测量***在采摘机器人运动中其摄像机的内外参数变化是不可避免的，因而限制了许多应用；2)在各种shape from X过程中，涉及多次坐标的转换，造成计算量过大，难以进行实时处理，限制了对采摘对象的实时识别等应用；3)双目视觉的对应点匹配歧异性大，造成了匹配的误差，影响了匹配精度。立体匹配属于典型的视觉“病态”计算问题，目前的技术还很难对图像进行无歧义高准确率的立体匹配。

近年发展起来的全方位视觉传感器，以下简称ODVS，为实时获取场景的全景图像提供了一种新的解决方案。ODVS的特点是视野广(360度)，能把一个半球视野中的信息压缩成一幅图像，一幅图像的信息量更大；获取一个场景图像时，ODVS在场景中的安放位置更加自由，为感知采摘机器人自身周围状态提供了一种新的重要手段；ODVS技术是以人为中心观察的图像获取技术，能使人产生身临其境的沉浸感，将ODVS技术应用于采摘机器人的导航、采摘对象的识别、分类和定位，就相当给予了采摘机器人具备了以采摘机器人为中心观察的图像获取技术，特别的是单视点的全景成像镜面的设计为构建采摘机器人的双目立体全景获取技术提供了一个良好的技术基础。

发明内容

为了克服已有的农作物采摘机器人的视觉***难以同时完成自主导航、农作物的识别、分类和空间定位等不足，本发明提供一种既能用于采摘机器人的自主导航，又能用于农作物的识别、分类和空间定位的基于全景立体视觉的采摘对象的识别、分类和空间定位装置。

本发明解决其技术问题所采用的技术方案是：

一种基于全景立体视觉的采摘对象的识别、分类和空间定位装置，包括双目立体全景视觉传感器，用于对采摘对象的识别、分类和空间定位进行分析处理的微处理器，所述的双目立体全景视觉传感器与所述的微处理器进行连接；

所述的双目立体全景视觉传感器，包括两台具有相同参数的固定单视点的全方位视觉装置，全方位视觉装置简称ODVS，两台ODVS按照全方位的极线平面要求以垂直连接固定，并保证两个ODVS的主轴在同一直线上；

所述的微处理器包括：

视频图像读取单元，用于读取两个相同成像参数的ODVS的视频图像，并保存在指定的存储设备中，其输出与视频图像展开单元连接；

视频图像展开单元，用于对ODVS获取的原始视频图像进行图像预处理，图像预处理中首先对全方位图像进行展开，展开全景图保存在指定的存储单元中，其输出与采摘对象识别模块和比较标准特征参数抽取模块相连接；

采摘对象识别模块，用于根据采摘对象的颜色和外形特征对采摘机器人周围的展开全景图中的采摘对象进行识别，其输出与采摘对象分类模块和采摘点匹配单元相连接；

采摘对象分类模块，用于根据各种不同的采摘对象的分类标准指标库中相对应的采摘对象的分类标准对采摘对象进行分类分级，其输出与采摘对象分类控制模块相连接；各种不同的采摘对象的分类标准指标库以及采摘对象的特征库，用于存放各种不同的采摘对象的分类标准指标和颜色与外形特征值；

采摘点匹配单元，用于找出同一时刻两个不同视点的图像中同一采摘对象的中心点对应的两个像点，其输出与空间信息计算单元连接；

空间信息计算单元，用于计算空间上的采摘对象的中心点到立体视觉测量装置中心点的距离、方位角以及入射角，其输出与机械手空间位置计算单元连接；

机械手空间位置计算单元，用于计算机械手的采摘端的空间位置，其输出控制机械手的动作，完成采摘任务；

采摘对象分类控制模块，用于控制将分类分级后的采摘对象收集或分拣到相对应的采摘对象容器中。

进一步，所述的采摘对象识别模块中，通过被采摘对象的颜色特征进行识别，利用被采摘对象的颜色色差信息进行图像识别，针对每种不同的采摘对象通过实验研究，将能对某种采摘对象进行有效识别的特征值写入到各种不同的采摘对象的分类标准指标库以及采摘对象的特征库中，每一种采摘对象在各种不同的采摘对象的分类标准指标库以及采摘对象的特征库中都有其相对应的颜色或者外形特征的描述，所述的采摘对象识别模块根据某个规定的采摘对象的描述从ODVS获取的全景图像中检索出相似的对象，以实现采摘对象识别的目的。

更进一步，所述的采摘对象分类模块，用于对识别出来的采摘对象进行分类分级，对所采收的采摘对象进行不同分级分仓归类，以减少后续的人工分拣分级的劳动；所述的采摘对象分类模块根据采摘对象的分类分级标准进行判断，本发明中主要是根据采摘对象的视觉特征进行分类；因此从某种程度上说所述的采摘对象分类模块是所述的采摘对象识别模块的升级；每种采摘对象的分类分级标准在视觉特征上都存在着相对应的描述表达；

所述的采摘对象分类模块，在采摘对象分类过程中，首先读取所述的各种不同的采摘对象的分类标准指标库以及采摘对象的特征库中相对应的采摘对象特征参数值或者指标值；接着采用数字图像处理方法计算每个被采摘对象的各项指标，分别取各指标的平均值作为参考形状的特征参数；然后对被采摘对象作相应的参数计算，并与所述的各种不同的采摘对象的分类标准指标库以及采摘对象的特征库中相对应的采摘对象特征参数值进行比较，其差值即为被采摘对象的识别特征参数；最后根据识别特征参数对采摘对象进行分类，分类的结果输出给采摘对象分类控制模块，采摘对象分类控制模块控制机械手将采摘对象收集或分拣到相对应的分类分级容器中；关于半径指标、曲率指标、连续性指标、半径指标的对称性、曲率指标的对称性和连续性指标的对称性的判断均采用数字图像处理和模式识别技术进行加工和处理。

所述的各种不同的采摘对象的分类标准指标库以及采摘对象的特征库，用于存放各种不同的采摘对象的分类标准指标和特征参数，分类标准指标和特征参数主要来源是：1）国家、行业的有关采摘对象的相关标准，对于棉花分级标准有《棉花颜色级检验技术规范》；2）按某一种采摘对象的不同等级，对其的颜色和外形进行图像分析，得到该采摘对象的各种不同等级的特征参数；因此，写入所述的各种不同的采摘对象的分类标准指标库以及采摘对象的特征库也有两种对应的方法，一种方法是人工输入，即以采摘对象为主键、以采摘对象的分类分级识别代码为第二关键词，将该采摘对象某等级的标准指标和特征参数写入数据库中；另一种方法是采用图像识别和分析的方式，从给定的采摘对象等级实物图像中抽取出该采摘对象等级的特征参数作为分类标准。

所述的空间信息计算单元，依据所述的采摘对象识别模块所得到的识别结果，通过全景立体ODVS所获得的立体全景视频图像，从上ODVS图像中所识别出的采摘对象通过物点的匹配找到下ODVS图像中的对应点，然后计算空间上的采摘对象的中心点到立体视觉测量装置中心点的距离、方位角以及入射角；

两个ODVS的入射角，即Φ1和Φ2和基线距AB的长度，就能计算出物点离视点中心的距离；基线距AB的长度d在设计双目立体全方位视觉传感器的结构时已经确定，公式（7）为ODVS的入射角的计算方法，公式中的各参数是通过ODVS的标定来确定的；

$\tan \mathrm{\φ}=\frac{\left|\right|u^{\′\′}\left|\right|}{f\left(\right|\left|u^{\′\′}\right|\left|\right)}=---\left(7\right)$

$\frac{\left|\right|u^{\′\′}\left|\right|}{a_0+a_1\left|\right|u^{\′\′}\left|\right|+a_2{\left|\right|u^{\′\′}\left|\right|}^2+...+a_N{\left|\right|u^{\′\′}\left|\right|}^N}$

式中，Φ1和Φ2为空间物点P在上下两个ODVS中的入射角，其值对应着两个ODVS的传感器平面上的一点u″的垂直距离||u″||，因此可以通过公式（7）计算出Φ1和Φ2；接着利用三角关系公式(8)，求O点与P点的距离r；

$r=\stackrel{\‾}{\mathrm{OP}}=\sqrt{{\stackrel{\‾}{\mathrm{AP}}}^2+{(\mathrm{dc}/2)}^2-2\stackrel{\‾}{\mathrm{AP}}(\mathrm{dc}/2)\cos A}$

$=\sqrt{{[\frac{\mathrm{dc}}{\sin (A+B)}\·\sin B]}^2+{(\mathrm{dc}/2)}^2-\frac{{\mathrm{dc}}^2}{\sin (A+B)}\·\sin B\cos A}---\left(8\right)$

$\sqrt{{[\frac{\mathrm{dc}}{\sin (\mathrm{\φ}1+\mathrm{\φ}2)}\·\sin \mathrm{\φ}1]}^2+{(\mathrm{dc}/2)}^2+\frac{{\mathrm{dc}}^2}{\sin (\mathrm{\φ}1+\mathrm{\φ}2)}\·\sin \mathrm{\φ}1\cos \mathrm{\φ}2}$

式中，∠A=180°-Φ2，∠B=180°-Φ1，dc为上下两个ODVS视点之间的距离，即基线距，r为采摘对象中心点P到O点的距离。

所述的空间信息计算单元，得到采摘对象的中心点P在高斯坐标系中的方位角β_p、入射角φ_p和采摘中心点的距离r_p，根据高斯坐标系与笛卡尔坐标系的转换关系，可以将采摘对象的中心点P用笛卡尔坐标系表达，如公式（9）所示，

x_p=r_p×cosφ_p×cosβ_p

y_p=r_p×cosφ_p×sinβ_p                                        （9）

z_p=r_p×sinφ_p

式中，x_p、y_p和z_p分别为采摘对象的中心点P在笛卡尔坐标系中的值，β_p、φ_p和r_p分别为采摘对象的中心点P在高斯坐标系中的值。

所述的机械手空间位置计算单元，用于计算机械手的采摘端的空间位置；这里将所述的双目立体ODVS的中点作为视觉坐标系的原点，并建立X_v、Y_v和Z_v构成的三维全景视觉坐标系；将机械手的固定点作为机械手的坐标原点，并建立X_a、Y_a和Z_a构成的三维机械手运动坐标系；由于双目立体ODVS和机械手均固定在采摘机器人的行走部分的上面，因此，用公式（10）建立三维全景视觉坐标系和三维采摘机械手运动坐标系的几何关系；

$\left\{\begin{array}{c}{X}_a=X_v+x\\ Y_a=Y_v+y\\ Z_a=Z_v+z\end{array}\right.---\left(10\right)$ 式中，X_a、Y_a和Z_a分别表示三维采摘机械手运动坐标系，X_v、Y_v和Z_v分别表示三维全景视觉坐标系，x、y和z分别表示两个坐标系原点之间在三维坐标上的投影距离。

所述的视频图像展开单元，采用柱状展开方式，设展开的图像尺寸为m×l，则展开算法中水平方向的计算步长为，Δβ=2π/l；垂直方向的计算步长为Δm=φ_max-φ_min/m；式中，φ_max为全景原图最大有效半径R_max对应的场景光线入射角，φ_min为全景原图最小有效半径R_min对应的场景光线入射角；

与用极坐标表示的全景原图中的原像点P(φ，β)对应的球面展开方式中的P点坐标分别为：

x=β/Δβ；y=φ-φ_min/Δm        （6）式中：Δβ为水平方向的计算步长，β为方位角，Δm为垂直方向的计算步长，φ全景原图有效半径R对应的场景光线入射角,φ_min为全景原图最小有效半径R_min对应的场景光线入射角。

一种基于全景立体视觉的采摘对象的识别、分类和空间定位方法，在对采摘对象的识别、分类前，首先需要建立一个各种不同的采摘对象的分类标准指标库以及采摘对象的特征库，同时也需要完成全景立体ODVS的柱状展开参数设定、标定和极线校正的预备工作，设定、标定和极线校正的参数均保存在存储单元中，以便下一次使用采摘机器人时调用；接着，进入采摘对象的识别、分类和空间定位处理流程；

步骤1）：通过视频图像读取单元读取两个相同成像参数的ODVS的两幅全景视频图像；

步骤2）：根据保存在存储单元中的设定、标定和极线校正的参数对两幅全景视频图像进行柱状展开处理；

步骤3）：根据保存在各种不同的采摘对象的分类标准指标库以及采摘对象的特征库中的采摘对象的特征参数对上ODVS所获取的全景图像展开图进行检索和识别，得到在上ODVS所获取的全景图像展开图中的采摘对象中心点；

步骤4）：根据保存在各种不同的采摘对象的分类标准指标库以及采摘对象的特征库中的采摘对象的分类标准指标以及在步骤3）中检索和识别的结果进行分类分级处理，得到采摘对象的分级结果；

步骤5）：根据在步骤3）中得到的在上ODVS所获取的全景图像展开图中的采摘对象中心点对下ODVS所获取的全景图像展开图进行匹配计算，得到在下ODVS所获取的全景图像展开图中的相应匹配点；

步骤6）：根据在步骤3）中得到的在上ODVS所获取的全景图像展开图中的采摘对象中心点以及在步骤5）得到的在下ODVS所获取的全景图像展开图中的相应匹配点进行采摘对象空间信息的计算，得到采摘对象的中心点到全景立体ODVS中心点的距离、方位角以及入射角；然后根据高斯坐标系和笛卡尔坐标系之间的转换关系，将采摘对象的中心点用笛卡尔坐标系进行表达；

步骤7）：根据在步骤6）计算得到的采摘对象的中心点到全景立体ODVS中心点的坐标值映射到采摘机器手的坐标系中，然后根据在采摘机器手的坐标系中的坐标值控制采摘机器手的动作；

步骤8）：根据在步骤4）计算得到采摘对象的分级结果，控制采摘机械手将采摘对象收集或分拣到相对应的分类分级容器中；跳转到步骤2）。

本发明的有益效果主要表现在：1）采用一台全景立体ODVS解决了采摘对象的识别、分类和空间定位的图像获取问题，同时还能为采摘机器人导航提供全景立体视觉；2）采用了各种不同的采摘对象的分类标准指标库以及采摘对象的特征库，提高了采摘机器人的通用性；3）同时用采摘对象的颜色特征和形状特征进行识别，提高了采摘对象的识别率；4）在采摘对象识别的基础上进一步进行采摘对象的分级分类，在采摘过程中实现了即按采摘对象的颜色又按采摘对象的形状和大小进行分级，达到了边采摘、边分级分类的效果；5）在采摘对象识别的基础上进一步进行采摘对象的空间定位计算，具有特征点立体匹配计算量少、空间定位高等优点。

附图说明

图1为一种仿生农作物采摘机器人的正视图；

图2为单视点的ODVS成像原理图；

图3为全景立体成像原理以及全景立体视觉范围的说明图；

图4为单视点的ODVS成像模型图；

图5为全景立体ODVS的极线几何关系图；

图6为全景立体ODVS的测距原理图；

图7为单视点的ODVS的光学成像原理及结构图；

图8为基于全景立体视觉的采摘对象的识别、分类和空间定位装置的处理框图；

图9为构成全景立体ODVS的上下两个ODVS所拍摄的全景图和其柱状展开图；

图10为经极线校准后上下两个ODVS的柱状展开图；

图11为全景立体ODVS的坐标系与采摘机械手坐标系的几何关系图；

图12为ODVS所拍摄的全景图和柱状展开方法的说明图；

图13为全景立体ODVS的空间定位精度的实验结果图。

具体实施方式

下面结合附图对本发明作进一步描述。

实施例1

参照图1～图13，一种基于全景立体视觉的采摘对象的识别、分类和空间定位装置，包括双目立体全景视觉传感器，用于对采摘对象的识别、分类和空间定位进行分析处理的微处理器，所述的双目立体全景视觉传感器通过USB接口与所述的微处理器进行连接；

所述的双目立体全景视觉传感器，包括两台具有相同参数的固定单视点的全方位视觉装置，以下简称ODVS，两台ODVS按照全方位的极线平面要求以同向方式结合在一起，如附图3所示；在ODVS的折反射镜面设计上通过增大视觉垂直范围来扩大两个合成的ODVS视觉重叠区域来获得较大的双目立体视觉范围，并使双目立体ODVS具有同时知觉、融合力和立体感；

单视点的双曲面镜面设计是构成双目立体ODVS的关键，双曲面镜面的视觉垂直范围大小涉及到双目立体视觉的范围，ODVS的标定以及极线平面的配准是空间物点深度计算的基础，双目立体ODVS的结构设计关系到采摘机器人实际应用时的便利性、可靠性和鲁棒性等问题；

首先，本发明利用透镜和双曲镜面设计一种视场为240°×360°固定单视点的ODVS，其中240°为垂直视场范围，360°为水平视场范围；这种ODVS将摄像机配置在双曲面镜的后面，摄像机的镜头安置在折反射镜面的虚焦点处，能实时感知半球面以上的所有的物点，其装置结构如附图7所示；图中Om、Oc为双曲面的两个焦点，Om、Oc所在的连线称为ODVS的主轴，在放置透视摄像机时保持其光心的放置与反射镜的焦点Oc严格重合；

ODVS的光学成像过程可以由公式(1)~(5)表示；

$\frac{{(Z-c)}^2}{b^2}-\frac{X^2+Y^2}{a^2}=1$ (1)

a²+b²=c²                                        (2)

$\mathrm{\β}={\tan }^{-1}\left(\frac{Y}{X}\right)={\tan }^{-1}\left(\frac{y}{x}\right)$

(3)

$\mathrm{\γ}={\tan }^{-1}\left(\frac{2c-Z}{\sqrt{X^2+Y^2}}\right)$ (4)

$\mathrm{\α}=\frac{\mathrm{\π}}{2}-{\tan }^{-1}\left(\frac{(b^2+c^2)\sin \mathrm{\γ}-2\mathrm{bc}}{(b^2-c^2)\cos \mathrm{\γ}}\right)---\left(5\right)$

式中，X,Y,Z表示双曲面上点的空间点坐标，x，y表示成像点坐标，c表示双曲面镜的焦点距离原点的距离，2c表示两个焦点之间的距离，a，b表示双曲面镜的实轴和虚轴的长度，β表示入射光线在xy投影平面上的夹角，γ表示入射光线与双曲面焦点的水平面的夹角，α表示空间点的折反射光与双曲面主轴的夹角；

根据双曲面的光学特性，如附图7所示，物点G沿线段GO_m在双曲面镜面上点P成像，P点经过双曲面反射后必将聚焦到另外一个焦点即摄像机光心O_c，并交摄像机成像平面于像点Q；像点Q唯一对应着空间点的反射光线PO_c与全方位视觉传感器主轴的夹角α以及入射光线在xy投影平面上的夹角β，根据双曲面的特性，α和入射光线γ之间是相互对应的，则由β和γ便可确定入射光线PG；

折反射双曲面镜面的设计能满足单视点约束条件，如附图2所示；单视点成像约束，可以保证成像双曲镜面折反射ODVS满足构成符合透视投影模型，场景中任一点在图像中的成像是唯一的，只要知道成像***的相关参数，就可以对原始全景图像进行逆运算得到空间点的相关信息；

本发明将两个具有相同成像参数的ODVS以同向的方式进行垂直连接固定，并保证两个ODVS的主轴在同一直线上；其设计图如图3(a)所示，这样的设计有以下优点：1）上下两个ODVS视场不会相互遮挡，视场范围大；2）在立体视觉区域内具有较大的可测范围，单个ODVS的视场范围是由双曲面的参数以及垂直视角α来决定，双目立体ODVS的立体视觉的视场范围由两个ODVS的实焦点之间的距离（基线距）和ODVS的垂直视角α来决定；如图3(c)所示，图中阴影部分就是立体视觉的可测视场范围，它们是用上ODVS的最小俯角和下ODVS的最大仰角决定的；3）由于上下ODVS的主轴是对齐的，因此根据极线几何相关定义及全方位视觉传感器的成像原理，可以得到双目立体ODVS获取的立体图像对的极线是以全方位图像中心点为原点的放射线，这些极线经过校正后可以相互平行，这对后面的立体匹配和空间定位具有重要的意义；

所述的微处理器包括：视频图像读取单元，用于读取两个相同成像参数的ODVS的视频图像，并保存在指定的存储设备中，其输出与视频图像展开单元连接；视频图像展开单元，用于对ODVS获取的原始视频图像进行图像预处理，图像预处理中首先对全方位图像进行展开，展开全景图保存在指定的存储单元中，其输出与采摘对象识别模块和比较标准特征参数抽取模块相连接；采摘对象识别模块，用于根据采摘对象的颜色和外形特征对采摘机器人周围的展开全景图中的采摘对象进行识别，其输出与采摘对象分类模块和采摘点匹配单元相连接；采摘对象分类模块，用于根据各种不同的采摘对象的分类标准指标库中相对应的采摘对象的分类标准对采摘对象进行分类分级，其输出与采摘对象分类控制模块相连接；各种不同的采摘对象的分类标准指标库以及采摘对象的特征库，用于存放各种不同的采摘对象的分类标准指标和颜色与外形特征值；采摘点匹配单元，用于找出同一时刻两个不同视点的图像中同一采摘对象的中心点对应的两个像点，其输出与空间信息计算单元连接；空间信息计算单元，用于计算空间上的采摘对象的中心点到立体视觉测量装置中心点的距离、方位角以及入射角，其输出与机械手空间位置计算单元连接；机械手空间位置计算单元，用于计算机械手的采摘端的空间位置，其输出控制机械手的动作，完成采摘任务；采摘对象分类控制模块，用于控制将分类分级后的采摘对象收集或分拣到相对应的采摘对象容器中；

所述的视频图像展开单元，这里采用柱状展开方式，设展开的图像尺寸为m×l（长*宽，单位像素），则展开算法中水平方向的计算步长为，Δβ=2π/l；垂直方向的计算步长为Δm=φ_max-φ_min/m；式中，φ_max为全景原图最大有效半径R_max对应的场景光线入射角，φ_min为全景原图最小有效半径R_min对应的场景光线入射角，如附图12所示；

与用极坐标表示的全景原图中的原像点P(φ，β)对应的球面展开方式中的P点坐标分别为：

x=β/Δβ；y=φ-φ_min/Δm    （6）

式中：Δβ为水平方向的计算步长，β为方位角，Δm为垂直方向的计算步长，φ全景原图有效半径R对应的场景光线入射角,φ_min为全景原图最小有效半径R_min对应的场景光线入射角；

对于构成同向式双目立体ODVS的上下两个ODVS，均采用相同的柱状展开方式；由于同向式双目立体ODVS安装时上下两个ODVS难免存在一些安装误差，使得上下两个ODVS的镜面中心Ic与全景图像中心Oc产生一些微小的偏移，如附图4所示；另外，上下ODVS方位角不一致的问题也必定存在；因此，需要进行极线校正；需要指出的是，极线校正是在上下ODVS的成像平面上通过软件的方式实现的；论文Davide Scaramuzza and Roland Siegwart.A PracticalToolbox for Calibrating Omnidirectional Cameras[J].VisionSystems:Applications,2007:297~310给出了极平面校正的具体实现方法。依据的原理是，场景中平行于同向式双目立体ODVS主轴的物体在ODVS中成像指向圆心，当同向式双目立体ODVS水平放置在地面上，如场景中的门框、窗框、墙角线等垂直边缘，然后根据这些边缘信息进行极线校正；

在极线校正的基础上，空间上的某一物点应该在同一极平面上，如附图5所示；本发明利用柱状展开算法对全景图进行投影变换，如附图12所示，附图12(a)为ODVS拍摄的原始全景图，附图12(b)为全景柱状展开图；将上下ODVS拍摄的原始全景图展开成两幅全景柱状展开图，如附图9所示，附图9(a)为下ODVS拍摄的原始全景图，附图9(c)为下ODVS拍摄的原始全景图的全景柱状展开图，附图9(b)为上ODVS拍摄的原始全景图，附图9(d)为上ODVS拍摄的原始全景图的全景柱状展开图；接着利用极线校正算法将两幅柱状图进行极线对齐，如附图10所示；这样空间上的同一物点在两幅极线对齐的柱状展开图中必定在一条垂直线上；如果根据上全景柱状展开图中物点在下全景柱状展开图中搜索其对应的匹配点话，那么其匹配点必定是出现在极平面的附近，如附图10中的垂直虚线所示；根据上述分析，立体视觉的匹配点的面搜索问题就简化成在极平面附近的线搜索问题，这对提高搜索效率和搜索精度都有十分重要的意义；

进一步，参考附图8说明本发明基于全景立体视觉的采摘对象的识别、分类和空间定位装置的工作原理和处理步骤；在对采摘对象的识别、分类前，首先需要建立一个各种不同的采摘对象的分类标准指标库以及采摘对象的特征库，同时也需要完成全景立体ODVS的柱状展开参数设定、标定和极线校正的预备工作，设定、标定和极线校正的参数均保存在存储单元中，以便下一次使用采摘机器人时调用；接着，进入采摘对象的识别、分类和空间定位方法的处理流程；

步骤1）：通过视频图像读取单元读取两个相同成像参数的ODVS的两幅全景视频图像；

步骤2）：根据保存在存储单元中的设定、标定和极线校正的参数对两幅全景视频图像进行柱状展开处理；

步骤3）：根据保存在各种不同的采摘对象的分类标准指标库以及采摘对象的特征库中的采摘对象的特征参数对上ODVS所获取的全景图像展开图进行检索和识别，得到在上ODVS所获取的全景图像展开图中的采摘对象中心点；

步骤4）：根据保存在各种不同的采摘对象的分类标准指标库以及采摘对象的特征库中的采摘对象的分类标准指标以及在步骤3）中检索和识别的结果进行分类分级处理，得到采摘对象的分级结果；

步骤5）：根据在步骤3）中得到的在上ODVS所获取的全景图像展开图中的采摘对象中心点对下ODVS所获取的全景图像展开图进行匹配计算，得到在下ODVS所获取的全景图像展开图中的相应匹配点；

步骤6）：根据在步骤3）中得到的在上ODVS所获取的全景图像展开图中的采摘对象中心点以及在步骤5）得到的在下ODVS所获取的全景图像展开图中的相应匹配点进行采摘对象空间信息的计算，得到采摘对象的中心点到全景立体ODVS中心点的距离、方位角以及入射角；然后根据高斯坐标系和笛卡尔坐标系之间的转换关系，将采摘对象的中心点用笛卡尔坐标系进行表达；

步骤7）：根据在步骤6）计算得到的采摘对象的中心点到全景立体ODVS中心点的坐标值映射到采摘机器手的坐标系中，然后根据在采摘机器手的坐标系中的坐标值控制采摘机器手的动作；

步骤8）：根据在步骤4）计算得到采摘对象的分级结果，控制采摘机械手将采摘对象收集或分拣到相对应的分类分级容器中；跳转到步骤2）；

所述的采摘对象识别模块，首先考虑通过被采摘对象的颜色特征进行识别，利用被采摘对象的颜色色差信息进行图像识别，常用的有RGB和HIS颜色模型，HIS颜色模型的描述更接近人的视觉对颜色的感知方式，它包含色相、饱和度和亮度三要素对于有些被采摘对象，比如果蔬的识别，采用HIS彩色模型用于颜色评价和图像处理是非常有效的；对于棉桃的识别，主要是基于棉桃的R、G、B均值几乎相等，而棉叶、棉枝的R、G、B均值相差较大；棉桃颜色差值绝大多数分布在45°线上，只有少量偏离45°线，且偏离程度较小；而棉叶和棉枝的颜色差值偏离45°线，且偏离程度较大，因此可以利用此特征差异进行图像识别；利用此色差模型可以有效地将棉桃从背景图像中分离出来；总之需要根据被采摘对象的具体情况进行实验研究，找到一种合适的颜色模型；对于仅仅用颜色特征还不能进行有效识别的情况，那么就需要加入形状或者大小特征进行综合判断识别；关于形状特征的识别方式利用被采摘对象的形态学特征，如圆度、弯曲能量、球形度和偏心距进行识别；在本发明中，针对每种不同的采摘对象通过实验研究，将能对某种采摘对象进行有效识别的特征值写入到各种不同的采摘对象的分类标准指标库以及采摘对象的特征库中，每一种采摘对象在各种不同的采摘对象的分类标准指标库以及采摘对象的特征库中都有其相对应的颜色或者外形特征的描述，所述的采摘对象识别模块根据某个规定的采摘对象的描述从ODVS获取的全景图像中检索出相似的对象，以实现采摘对象识别的目的；

所述的采摘对象分类模块，用于对识别出来的采摘对象进行分类分级，对所采收的采摘对象进行不同分级分仓归类，以减少后续的人工分拣分级的劳动；所述的采摘对象分类模块根据采摘对象的分类分级标准进行判断，本发明中主要是根据采摘对象的视觉特征进行分类；因此从某种程度上说所述的采摘对象分类模块是所述的采摘对象识别模块的升级；每种采摘对象的分类分级标准在视觉特征上都存在着相对应的描述表达；

色泽是果蔬内在品质的外在反映，必然地成为计算机视觉测量的重要研究对象和分级依据；在颜色测量中，应选用一定的颜色模型来对果实表面的颜色特征进行研究；根据对颜色的研究结果，结合有关标准，就可选定区别不同色度等级的色相阈值，计算出此值下的累计频度值来完成颜色分级；

对于棉花的分级，所采用模式主要是以美国为代表的棉花颜色分级体系，颜色级的特点就是朔源性强、覆盖面广、仪器可测试性高；而且具有统一性、覆盖的全面性、符合纺织配棉特点；最近国家出台了《棉花颜色级检验技术规范》，该技术规范中描述的棉花颜色分级标准写入各种不同的采摘对象的分类标准指标库以及采摘对象的特征库中，作为在对棉花为采摘对象时的分类指标；

外形尺寸是采摘对象分级的主要依据之一，也是采摘对象重要的表面物理参数；根据不同的采摘对象需要对采摘对象的形状特征进行研究，确定半径指标、曲率指标、连续性指标、半径指标的对称性、曲率指标的对称性和连续性指标的对称性来描述采摘对象；如果有相应的行业或者国家相关标准的，将这些规范标准的描述写入各种不同的采摘对象的分类标准指标库以及采摘对象的特征库中，作为在对某种采摘对象时的分类指标；

对于还没有相应的行业或者国家相关标准的，采用参考形状法，即在一批优级采摘对象中选出最佳采摘对象的外形作为比较标准，通过ODVS获取全景图像，然后通过所述的视频图像展开单元获取最佳采摘对象的图像，接着对最佳采摘对象的颜色和外形进行图像分析，得到最佳采摘对象的各种特征参数；对其他等级的采摘对象也采用上述方法得到不同等级采摘对象的各种特征参数，最后将这些参数值保存到各种不同的采摘对象的分类标准指标库以及采摘对象的特征库中，以便在所述的采摘对象分类模块处理时调用；

所述的采摘对象分类模块，在采摘对象分类过程中，首先读取所述的各种不同的采摘对象的分类标准指标库以及采摘对象的特征库中相对应的采摘对象特征参数值或者指标值；接着采用数字图像处理方法计算每个被采摘对象的各项指标，分别取各指标的平均值作为参考形状的特征参数；然后对被采摘对象作相应的参数计算，并与所述的各种不同的采摘对象的分类标准指标库以及采摘对象的特征库中相对应的采摘对象特征参数值进行比较，其差值即为被采摘对象的识别特征参数；最后根据识别特征参数对采摘对象进行分类，分类的结果输出给采摘对象分类控制模块，采摘对象分类控制模块控制机械手将采摘对象收集或分拣到相对应的分类分级容器中；关于半径指标、曲率指标、连续性指标、半径指标的对称性、曲率指标的对称性和连续性指标的对称性的判断均采用数字图像处理和模式识别技术进行加工和处理；

所述的各种不同的采摘对象的分类标准指标库以及采摘对象的特征库，用于存放各种不同的采摘对象的分类标准指标和特征参数，分类标准指标和特征参数主要来源是：1）国家、行业的有关采摘对象的相关标准，对于棉花分级标准有《棉花颜色级检验技术规范》；2）按某一种采摘对象的不同等级，对其的颜色和外形进行图像分析，得到该采摘对象的各种不同等级的特征参数；因此，写入所述的各种不同的采摘对象的分类标准指标库以及采摘对象的特征库也有两种对应的方法，一种方法是人工输入，即以采摘对象为主键、以采摘对象的分类分级识别代码为第二关键词，将该采摘对象某等级的标准指标和特征参数写入数据库中；另一种方法是采用图像识别和分析的方式，从给定的采摘对象等级实物图像中抽取出该采摘对象等级的特征参数作为分类标准；

所述的空间信息计算单元，依据所述的采摘对象识别模块所得到的识别结果，通过全景立体ODVS所获得的立体全景视频图像，从上ODVS图像中所识别出的采摘对象通过物点的匹配找到下ODVS图像中的对应点，然后计算空间上的采摘对象的中心点到立体视觉测量装置中心点的距离、方位角以及入射角；这里空间物点的匹配是空间物点深度测量的一个重要步骤，匹配的精度和效率都对空间物点深度测量具有举足轻重的作用，高效的匹配算法依托极线平面对准质量的好坏；空间物点P的深度信息是根据双目视觉的原理来进行计算得到的，如附图6所示；

根据双目立体全方位视觉的成像原理，只要获得在双目立体成像范围内，如附图6的斜线部分，在斜线部分中的物点在两个ODVS的入射角，即Φ1和Φ2和基线距AB的长度，就能计算出物点离视点中心的距离；基线距AB的长度d在设计双目立体全方位视觉传感器的结构时已经确定，只要求得上下在两个ODVS的入射角Φ1和Φ2就能估算出空间物点的深度信息，公式（7）为ODVS的入射角的计算方法，公式中的各参数是通过ODVS的标定来确定的；

$\tan \mathrm{\φ}=\frac{\left|\right|u^{\′\′}\left|\right|}{f\left(\right|\left|u^{\′\′}\right|\left|\right)}=---\left(7\right)$

$\frac{\left|\right|u^{\′\′}\left|\right|}{a_0+a_1\left|\right|u^{\′\′}\left|\right|+a_2{\left|\right|u^{\′\′}\left|\right|}^2+...+a_N{\left|\right|u^{\′\′}\left|\right|}^N}$

式中，Φ1和Φ2为空间物点P在上下两个ODVS中的入射角，其值对应着两个ODVS的传感器平面上的一点u″的垂直距离||u″||，因此可以通过公式（7）计算出Φ1和Φ2；接着利用三角关系公式(8)，求O点与P点的距离r；

$r=\stackrel{\‾}{\mathrm{OP}}=\sqrt{{\stackrel{\‾}{\mathrm{AP}}}^2+{(\mathrm{dc}/2)}^2-2\stackrel{\‾}{\mathrm{AP}}(\mathrm{dc}/2)\cos A}$

$=\sqrt{{[\frac{\mathrm{dc}}{\sin (A+B)}\·\sin B]}^2+{(\mathrm{dc}/2)}^2-\frac{{\mathrm{dc}}^2}{\sin (A+B)}\·\sin B\cos A}---\left(8\right)$

$\sqrt{{[\frac{\mathrm{dc}}{\sin (\mathrm{\φ}1+\mathrm{\φ}2)}\·\sin \mathrm{\φ}1]}^2+{(\mathrm{dc}/2)}^2+\frac{{\mathrm{dc}}^2}{\sin (\mathrm{\φ}1+\mathrm{\φ}2)}\·\sin \mathrm{\φ}1\cos \mathrm{\φ}2}$

式中，∠A=180°-Φ2，∠B=180°-Φ1，dc为上下两个ODVS视点之间的距离，即基线距，r为采摘对象中心点P到O点的距离；

具体空间信息定位计算流程如下：所述的微处理器通过两个USB接口分别接收双目立体ODVS所采集的两幅全景视频图像，根据上ODVS所识别的采摘对象中心点搜索下ODVS的特征匹配点，然后通过公式（7）计算匹配物点的入射角Φ1和Φ2，最后通过公式（8）计算物点与双目立体ODVS中心点之间的距离，得到估算距离；为了检验估算精度，本发明对估算距离值和实际距离值进行比较，实际距离值是通过标尺来量测的，物点深度测量实验结果如附图13所示，测距实验结果表明，从整体上看，在60cm~150cm一段区间内具有较高的测量精度，该区段正好是采摘机器人采摘的范围；

根据上述计算结果，可以得到采摘对象的中心点P在高斯坐标系中的方位角β_p、入射角φ_p和采摘中心点的距离r_p，根据高斯坐标系与笛卡尔坐标系的转换关系，可以将采摘对象的中心点P用笛卡尔坐标系表达，如公式（9）所示，

x_p=r_p×cosφ_p×cosβ_p

y_p=r_p×cosφ_p×sinβ_p                                    （9）

z_p=r_p×sinφ_p

式中，x_p、y_p和z_p分别为采摘对象的中心点P在笛卡尔坐标系中的值，β_p、φ_p和r_p分别为采摘对象的中心点P在高斯坐标系中的值；

所述的机械手空间位置计算单元，用于计算机械手的采摘端的空间位置；这里将所述的双目立体ODVS的中点作为视觉坐标系的原点，并建立X_v、Y_v和Z_v构成的三维全景视觉坐标系；将机械手的固定点作为机械手的坐标原点，并建立X_a、Y_a和Z_a构成的三维机械手运动坐标系，如附图11所示；由于双目立体ODVS和机械手均固定在采摘机器人的行走部分的上面，因此，用公式（10）建立三维全景视觉坐标系和三维采摘机械手运动坐标系的几何关系；

$\left\{\begin{array}{c}{X}_a=X_v+x\\ Y_a=Y_v+y\\ Z_a=Z_v+z\end{array}\right.---\left(10\right)$

式中，X_a、Y_a和Z_a分别表示三维采摘机械手运动坐标系，X_v、Y_v和Z_v分别表示三维全景视觉坐标系，x、y和z分别表示两个坐标系原点之间在三维坐标上的投影距离。

Claims (9)

1.一种基于全景立体视觉的采摘对象的识别、分类和空间定位装置，其特征在于：包括双目立体全景视觉传感器，用于对采摘对象的识别、分类和空间定位进行分析处理的微处理器，所述的双目立体全景视觉传感器与所述的微处理器进行连接；

所述的双目立体全景视觉传感器，包括两台具有相同参数的固定单视点的全方位视觉装置，全方位视觉装置简称ODVS，两台ODVS按照全方位的极线平面要求以垂直连接固定，并保证两个ODVS的主轴在同一直线上；

所述的微处理器包括：

视频图像读取单元，用于读取两个相同成像参数的ODVS的视频图像，并保存在指定的存储设备中，其输出与视频图像展开单元连接；

视频图像展开单元，用于对ODVS获取的原始视频图像进行图像预处理，图像预处理中首先对全方位图像进行展开，展开全景图保存在指定的存储单元中，其输出与采摘对象识别模块和比较标准特征参数抽取模块相连接；

采摘对象识别模块，用于根据采摘对象的颜色和外形特征对采摘机器人周围的展开全景图中的采摘对象进行识别，其输出与采摘对象分类模块和采摘点匹配单元相连接；

采摘对象分类模块，用于根据各种不同的采摘对象的分类标准指标库中相对应的采摘对象的分类标准对采摘对象进行分类分级，其输出与采摘对象分类控制模块相连接；各种不同的采摘对象的分类标准指标库以及采摘对象的特征库，用于存放各种不同的采摘对象的分类标准指标和颜色与外形特征值；

采摘点匹配单元，用于找出同一时刻两个不同视点的图像中同一采摘对象的中心点对应的两个像点，其输出与空间信息计算单元连接；

空间信息计算单元，用于计算空间上的采摘对象的中心点到立体视觉测量装置中心点的距离、方位角以及入射角，其输出与机械手空间位置计算单元连接；

机械手空间位置计算单元，用于计算机械手的采摘端的空间位置，其输出控制机械手的动作，完成采摘任务；

采摘对象分类控制模块，用于控制将分类分级后的采摘对象收集或分拣到相对应的采摘对象容器中。

2.如权利要求1所述的基于全景立体视觉的采摘对象的识别、分类和空间定位装置，其特征在于：所述的采摘对象识别模块中，通过被采摘对象的颜色特征进行识别，利用被采摘对象的颜色色差信息进行图像识别，针对每种不同的采摘对象通过实验研究，将能对某种采摘对象进行有效识别的特征值写入到各种不同的采摘对象的分类标准指标库以及采摘对象的特征库中，每一种采摘对象在各种不同的采摘对象的分类标准指标库以及采摘对象的特征库中都有其相对应的颜色或者外形特征的描述，所述的采摘对象识别模块根据某个规定的采摘对象的描述从ODVS获取的全景图像中检索出相似的对象，以实现采摘对象识别的目的。

3.如权利要求1或2所述的基于全景立体视觉的采摘对象的识别、分类和空间定位装置，其特征在于：所述的采摘对象分类模块，用于对识别出来的采摘对象进行分类分级，对所采收的采摘对象进行不同分级分仓归类，以减少后续的人工分拣分级的劳动；所述的采摘对象分类模块根据采摘对象的分类分级标准进行判断，本发明中主要是根据采摘对象的视觉特征进行分类；因此从某种程度上说所述的采摘对象分类模块是所述的采摘对象识别模块的升级；每种采摘对象的分类分级标准在视觉特征上都存在着相对应的描述表达；

所述的采摘对象分类模块，在采摘对象分类过程中，首先读取所述的各种不同的采摘对象的分类标准指标库以及采摘对象的特征库中相对应的采摘对象特征参数值或者指标值；接着采用数字图像处理方法计算每个被采摘对象的各项指标，分别取各指标的平均值作为参考形状的特征参数；然后对被采摘对象作相应的参数计算，并与所述的各种不同的采摘对象的分类标准指标库以及采摘对象的特征库中相对应的采摘对象特征参数值进行比较，其差值即为被采摘对象的识别特征参数；最后根据识别特征参数对采摘对象进行分类，分类的结果输出给采摘对象分类控制模块，采摘对象分类控制模块控制机械手将采摘对象收集或分拣到相对应的分类分级容器中；关于半径指标、曲率指标、连续性指标、半径指标的对称性、曲率指标的对称性和连续性指标的对称性的判断均采用数字图像处理和模式识别技术进行加工和处理。

4.如权利要求3所述的基于全景立体视觉的采摘对象的识别、分类和空间定位装置，其特征在于：所述的各种不同的采摘对象的分类标准指标库以及采摘对象的特征库，用于存放各种不同的采摘对象的分类标准指标和特征参数，分类标准指标和特征参数主要来源是：1）国家、行业的有关采摘对象的相关标准，对于棉花分级标准有《棉花颜色级检验技术规范》；2）按某一种采摘对象的不同等级，对其的颜色和外形进行图像分析，得到该采摘对象的各种不同等级的特征参数；因此，写入所述的各种不同的采摘对象的分类标准指标库以及采摘对象的特征库也有两种对应的方法，一种方法是人工输入，即以采摘对象为主键、以采摘对象的分类分级识别代码为第二关键词，将该采摘对象某等级的标准指标和特征参数写入数据库中；另一种方法是采用图像识别和分析的方式，从给定的采摘对象等级实物图像中抽取出该采摘对象等级的特征参数作为分类标准。

5.如权利要求1或2所述的基于全景立体视觉的采摘对象的识别、分类和空间定位装置，其特征在于：所述的空间信息计算单元，依据所述的采摘对象识别模块所得到的识别结果，通过全景立体ODVS所获得的立体全景视频图像，从上ODVS图像中所识别出的采摘对象通过物点的匹配找到下ODVS图像中的对应点，然后计算空间上的采摘对象的中心点到立体视觉测量装置中心点的距离、方位角以及入射角；

两个ODVS的入射角，即Φ1和Φ2和基线距AB的长度，就能计算出物点离视点中心的距离；基线距AB的长度d在设计双目立体全方位视觉传感器的结构时已经确定，公式（7）为ODVS的入射角的计算方法，公式中的各参数是通过ODVS的标定来确定的；

$\tan \mathrm{\φ}=\frac{\left|\right|u^{\′\′}\left|\right|}{f\left(\right|\left|u^{\′\′}\right|\left|\right)}=---\left(7\right)$

$\frac{\left|\right|u^{\′\′}\left|\right|}{a_0+a_1\left|\right|u^{\′\′}\left|\right|+a_2{\left|\right|u^{\′\′}\left|\right|}^2+...+a_N{\left|\right|u^{\′\′}\left|\right|}^N}$

式中，Φ1和Φ2为空间物点P在上下两个ODVS中的入射角，其值对应着两个ODVS的传感器平面上的一点u″的垂直距离||u″||，因此可以通过公式（7）计算出Φ1和Φ2；接着利用三角关系公式(8)，求O点与P点的距离r；

$r=\stackrel{\‾}{\mathrm{OP}}=\sqrt{{\stackrel{\‾}{\mathrm{AP}}}^2+{(\mathrm{dc}/2)}^2-2\stackrel{\‾}{\mathrm{AP}}(\mathrm{dc}/2)\cos A}$

$=\sqrt{{[\frac{\mathrm{dc}}{\sin (A+B)}\·\sin B]}^2+{(\mathrm{dc}/2)}^2-\frac{{\mathrm{dc}}^2}{\sin (A+B)}\·\sin B\cos A}---\left(8\right)$ $\sqrt{{[\frac{\mathrm{dc}}{\sin (\mathrm{\φ}1+\mathrm{\φ}2)}\·\sin \mathrm{\φ}1]}^2+{(\mathrm{dc}/2)}^2+\frac{{\mathrm{dc}}^2}{\sin (\mathrm{\φ}1+\mathrm{\φ}2)}\·\sin \mathrm{\φ}1\cos \mathrm{\φ}2}$

式中，∠A=180°-Φ2，∠B=180°-Φ1，dc为上下两个ODVS视点之间的距离，即基线距，r为采摘对象中心点P到O点的距离。

6.如权利要求1或2所述的基于全景立体视觉的采摘对象的识别、分类和空间定位装置，其特征在于：所述的空间信息计算单元，得到采摘对象的中心点P在高斯坐标系中的方位角β_p、入射角φ_p和采摘中心点的距离r_p，根据高斯坐标系与笛卡尔坐标系的转换关系，可以将采摘对象的中心点P用笛卡尔坐标系表达，如公式（9）所示，

x_p=r_p×cosφ_p×cosβ_p

y_p=r_p×cosφ_p×sinβ_p                    （9）

z_p=r_p×sinφ_p

式中，x_p、y_p和z_p分别为采摘对象的中心点P在笛卡尔坐标系中的值，β_p、φ_p和r_p分别为采摘对象的中心点P在高斯坐标系中的值。

7.如权利要求1或2所述的基于全景立体视觉的采摘对象的识别、分类和空间定位装置，其特征在于：所述的机械手空间位置计算单元，用于计算机械手的采摘端的空间位置；这里将所述的双目立体ODVS的中点作为视觉坐标系的原点，并建立X_v、Y_v和Z_v构成的三维全景视觉坐标系；将机械手的固定点作为机械手的坐标原点，并建立X_a、Y_a和Z_a构成的三维机械手运动坐标系；由于双目立体ODVS和机械手均固定在采摘机器人的行走部分的上面，因此，用公式（10）建立三维全景视觉坐标系和三维采摘机械手运动坐标系的几何关系；

$\left\{\begin{array}{c}{X}_a=X_v+x\\ Y_a=Y_v+y\\ Z_a=Z_v+z\end{array}\right.---\left(10\right)$

式中，X_a、Y_a和Z_a分别表示三维采摘机械手运动坐标系，X_v、Y_v和Z_v分别表示三维全景视觉坐标系，x、y和z分别表示两个坐标系原点之间在三维坐标上的投影距离。

8.如权利要求1或2所述的基于全景立体视觉的采摘对象的识别、分类和空间定位装置，其特征在于：所述的视频图像展开单元，采用柱状展开方式，设展开的图像尺寸为m×l，则展开算法中水平方向的计算步长为，Δβ=2π/l；垂直方向的计算步长为Δm=φ_max-φ_min/m；式中，φ_max为全景原图最大有效半径R_max对应的场景光线入射角，φ_min为全景原图最小有效半径R_min对应的场景光线入射角；

与用极坐标表示的全景原图中的原像点P(φ，β)对应的球面展开方式中的P点坐标分别为：

x=β/Δβ；y=φ-φ_min/Δm                    （6）

式中：Δβ为水平方向的计算步长，β为方位角，Δm为垂直方向的计算步长，φ全景原图有效半径R对应的场景光线入射角,φ_min为全景原图最小有效半径R_min对应的场景光线入射角。

9.一种基于全景立体视觉的采摘对象的识别、分类和空间定位方法，其特征在于：在对采摘对象的识别、分类前，首先需要建立一个各种不同的采摘对象的分类标准指标库以及采摘对象的特征库，同时也需要完成全景立体ODVS的柱状展开参数设定、标定和极线校正的预备工作，设定、标定和极线校正的参数均保存在存储单元中，以便下一次使用采摘机器人时调用；接着，进入采摘对象的识别、分类和空间定位处理流程；

步骤1）：通过视频图像读取单元读取两个相同成像参数的ODVS的两幅全景视频图像；

步骤2）：根据保存在存储单元中的设定、标定和极线校正的参数对两幅全景视频图像进行柱状展开处理；

步骤3）：根据保存在各种不同的采摘对象的分类标准指标库以及采摘对象的特征库中的采摘对象的特征参数对上ODVS所获取的全景图像展开图进行检索和识别，得到在上ODVS所获取的全景图像展开图中的采摘对象中心点；

步骤4）：根据保存在各种不同的采摘对象的分类标准指标库以及采摘对象的特征库中的采摘对象的分类标准指标以及在步骤3）中检索和识别的结果进行分类分级处理，得到采摘对象的分级结果；

步骤5）：根据在步骤3）中得到的在上ODVS所获取的全景图像展开图中的采摘对象中心点对下ODVS所获取的全景图像展开图进行匹配计算，得到在下ODVS所获取的全景图像展开图中的相应匹配点；

步骤6）：根据在步骤3）中得到的在上ODVS所获取的全景图像展开图中的采摘对象中心点以及在步骤5）得到的在下ODVS所获取的全景图像展开图中的相应匹配点进行采摘对象空间信息的计算，得到采摘对象的中心点到全景立体ODVS中心点的距离、方位角以及入射角；然后根据高斯坐标系和笛卡尔坐标系之间的转换关系，将采摘对象的中心点用笛卡尔坐标系进行表达；

步骤7）：根据在步骤6）计算得到的采摘对象的中心点到全景立体ODVS中心点的坐标值映射到采摘机器手的坐标系中，然后根据在采摘机器手的坐标系中的坐标值控制采摘机器手的动作；

步骤8）：根据在步骤4）计算得到采摘对象的分级结果，控制采摘机械手将采摘对象收集或分拣到相对应的分类分级容器中；跳转到步骤2）。

Images