CN106886754A - 一种基于三角面片的三维场景下的物体识别方法及*** - Google Patents

Abstract

本发明公开了一种基于三角面片的三维场景下的物体识别方法。该方法在传统的二维图像识别方法的基础上，考虑到三维场景重建信息的三角网格存储方式，将三维图像进行三角面片划分，经过颜色邻域直方图特征统计，将空间金字塔多尺度信息和邻域空间信息进行融合，用支撑向量机进行训练，获得分类模型对三维场景中的草地面片进行识别。本发明还提供了一种基于三角面片的三维场景下的物体识别***，本发明技术方案解决了三维重建场景中识别问题中识别区域难确定的问题及图像中局部信息不能完全表达图像特征的问题，对于表面重建和场景理解等意义重大。

Description

一种基于三角面片的三维场景下的物体识别方法及***

技术领域

本发明属于计算机视觉技术领域，更具体地，涉及一种基于三角面片的三维场景下的物体识别方法及***。

背景技术

随着人类社会的发展，图像识别已经迅速发展成为一项极为重要的科技手段，其研究目标是赋予计算机人类的视觉能力，使其通过图像认知周边环境信息，包括识别环境中三维目标的几何形状、位置和姿态等。图像识别需要综合运用计算机科学、模式识别、机器视觉及图像理解等学科，并随着这些学科的发展而前进。

一般来说，图像识别***由以下几个部分组成。第一部分是图像信息的获取，对图像识别来说就是把图片、底片和文字图形等用光电扫描设备转换为电信号以备后续处理。第二部分是图像的预处理，主要目的是消除无关特征并加强感兴趣特征。第三步是特征提取，常用的特征包括颜色，纹理，尺度不变特征变换(Scale-invariant featuretransform，SIFT)，梯度直方图特征(Histogram of Oriented Gradient，HOG)等。第四部分是判决或分类。其中训练方法可以采用支持向量机方法(Support Vector Machine，SVM)、改进的迭代训练方法(Adaptive Boostint，AdaBoost)等。

目前，最主流的三种三维物体识别研究思路是：1)基于模型或几何的方法；2)基于外观和视图的方法；3)基于局部特征匹配的方法。

基于模型或几何的方法的原理就是利用传感器获得真实目标的三维信息并对信息进行分析处理，得到一种表面、边界及连接关系的描述。这种方法优点是比较直观和易于理解，但是一般使用的算法的运算量都较大，并且需要人工借助计算机辅助设计(ComputerAided Design，CAD)等软件产生模型。

基于视图的方法通过视觉相似性来识别物体，识别***设计相对简单，无需显式地计算物体三维模型。该方法一般分为两个步骤：首先，通过不同光照条件和三维物体在二维图像中呈现出的不同姿态，来自动地学习物体的表示或训练***；然后，在一幅未知的二维图像中判断是否存在目标物。该方法的限制条件是感兴趣的对象必须与背景能够较好的区分开来，因此对物体间的重叠较为敏感，且需要较好的图像分割。但当物体的几何建模很困难或根本不可能得到时，则可利用基于视图的方法来识别三维物体。

基于局部特征匹配的方法主要包括点、线和面的局部特征，它的优点是，因为视角改变引起的物体外观的形变，全局看来尽管非常复杂，但在局部的尺度上可通过简单的变化来估计；同时因为无需所有的局部特征得到匹配，这种方法在物体有重叠和复杂背景情况下都有较好的稳健性。因为建立了区域间的相似性，物体识别也做到了局部化；二维图像识别中在图像的预处理阶段往往通过超像素分割成不同的区域，然后对区域进行特征提取并进行分类，而三维场景由于其结构复杂性，不能通过划分超像素区域进行识别。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于三角面片的三维场景下的物体识别方法及***，其目的在于将待识别三维场景划分为不同大小的三角面片，利用三角面片中的目标的特征进行识别，由此将二维图像识别方法进行扩展，提出一种基于三角面片的草地识别方法。

为实现上述目的，按照本发明的一个方面，提供了一种基于三角面片的三维场景下的物体识别方法，该方法包括以下步骤：

(1)将待识别三维场景进行三维重建，按三维场景表面的三角网格划分三角面片；

(2)提取所有三角面片单元的HSI特征；

(3)根据选定三角面片和其共享边的相邻三角面片的H特征值和S特征值进行直方图统计，将统计数据放入特征向量中，将三角面片的特征向量和其相邻三角面片的特征向量进行叠加(说明书中详细说明)，叠加结果作为选定三角面片的特征向量；

(4)将选定三角面片的特征向量输入到SVM识别模型中，获取识别结果。

进一步地，所述步骤(3)中进行直方图具体设置为：

设置H特征值直方图和S特征值直方图的组数为8，组距分别为H特征值取值范围的1/8和S特征值取值范围的1/8。

进一步地，所述步骤(3)中将统计数据放入特征向量中具体为：

将三角面片的H特征值进行直方图统计得到一组8维向量，将三角面片的S特征值进行直方图统计也得到一组8维向量,将H特征值的8维向量和S特征值的8维向量首尾相连组成16维的特征向量。

进一步地，所述步骤(3)中特征向量进行叠加具体为：

其中，{H₁₁,H₁₂,H₁₃,...,H₁₈,S₁₁,S₁₂,...,S₁₈}和{H₂₁,H₂₂,H₂₃,...,H₂₈,S₂₁,S₂₂,...,S₂₈}表示16维的特征向量。

进一步地，所述步骤(4)中SVM识别模型的训练过程具体为：

(41)收集设定张正样本和设定张负样本作为样本集，正样本选取全为待识别物体的二维图片，负样本选取不含待识别物体的二维图片；

(42)将所有样本的尺寸调整为一致，选择多个预设的尺度对样本进行三角面片的划分，提取所有三角面片的HSI特征；

(43)根据选定三角面片和其共享边的相邻三角面片的H特征值和S特征值进行直方图统计，将统计数据放入特征向量中，将三角面片的特征向量和其相邻三角面片的特征向量进行叠加，叠加结果作为选定三角面片的特征向量；

(44)将所有样本的特征向量输入到SVM进行训练；SVM的决策函数为：

其中，L表示分类总数，取值2；c_i表示函数系数，c_i∈R；γ表示交叉校验的参数，γ∈R₊；表示被选用为训练的支撑向量；h⁰表示训练的非支撑向量；采用直方图的卡方距离作为核函数，定义为：

其中，N表示样本集中特征向量总数量；表示第k个特征向量对应的支撑向量；h⁰(k)表示第k个特征向量；

(45)训练后得到SVM识别模型参数，构建SVM识别模型。

按照本发明的另一方面，提供了一种基于三角面片的三维场景下的物体识别***，改***包括以下模块：

三角面片划分模块，用于将待识别三维场景进行三维重建，按三维场景表面的三角网格划分三角面片；

HSI特征提取模块，用于提取所有三角面片单元的HSI特征；

特征向量计算模块，用于根据选定三角面片和其共享边的相邻三角面片的H特征值和S特征值进行直方图统计，将统计数据放入特征向量中，将三角面片的特征向量和其相邻三角面片的特征向量进行叠加，叠加结果作为选定三角面片的特征向量；

识别模块，用于将选定三角面片的特征向量输入到SVM识别模型中，获取识别结果。

进一步地，所述特征向量计算模块中进行直方图具体设置为：

设置H特征值直方图和S特征值直方图的组数为8，组距分别为H特征值取值范围的1/8和S特征值取值范围的1/8。

进一步地，所述特征向量计算模块中将统计数据放入特征向量中具体为：

将三角面片的H特征值进行直方图统计得到一组8维向量，将三角面片的S特征值进行直方图统计也得到一组8维向量,将H特征值的8维向量和S特征值的8维向量首尾相连组成16维的特征向量。

进一步地，所述步骤(3)中特征向量进行叠加具体为：

其中，{H₁₁,H₁₂,H₁₃,...,H₁₈,S₁₁,S₁₂,...,S₁₈}和{H₂₁,H₂₂,H₂₃,...,H₂₈,S₂₁,S₂₂,...,S₂₈}表示16维的特征向量。

进一步地，所述识别模块中SVM识别模型的训练***包括以下单元：

样本采集单元，用于收集多张正样本和多张负样本作为样本集，正样本选取全为待识别物体的二维图片，负样本选取不含待识别物体的二维图片；

三角面片划分单元，用于将所有样本的尺寸调整为一致，选择多个预设的尺度对样本进行三角面片的划分，提取所有三角面片的HSI特征；

特征向量计算单元，用于根据选定三角面片和其共享边的相邻三角面片的H特征值和S特征值进行直方图统计，将统计数据放入特征向量中，将三角面片的特征向量和其相邻三角面片的特征向量进行叠加，叠加结果作为选定三角面片的特征向量；

训练单元，用于将所有样本的特征向量输入到SVM进行训练；SVM的决策函数为：

其中，L表示分类总数，取值2；c_i表示函数系数，c_i∈R；γ表示交叉校验的参数，γ∈R₊；表示被选用为训练的支撑向量；h⁰表示训练的非支撑向量；采用直方图的卡方距离作为核函数，定义为：

其中，N表示样本集中特征向量总数量；表示第k个特征向量对应的支撑向量；h⁰(k)表示第k个特征向量；

模型构建单元，用于训练后得到SVM识别模型参数，构建SVM识别模型。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下技术特征及有益效果：

(1)本发明技术方案利用了重建出的三维场景中的三角网格，将三维场景划分为多个二维三角面片，避免在三维场景中进行超像素提取过于复杂的问题；

(2)本发明技术方案采用多尺度特征信息和邻域信息融合，简单有效，识别率高，还能够进一步用于三维场景表面重建和场景理解分析等问题。

附图说明

图1是本发明实施例草地识别方法流程；

图2是本发明实施例草地识别的SVM训练的流程图；

图3a是本发明实施例草地样本H数据统计直方图；

图3b是本发明实施例天空样本H数据统计直方图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示为采用本发明技术方案的三维场景的草地识别方法流程，包括以下步骤：

(1)将待识别三维场景进行三维重建，按三维场景表面的三角网格划分三角面片。

(2)提取所有三角面片单元的HSI特征。

(3)根据选定三角面片和其共享边的相邻三角面片的H特征值和S特征值进行直方图统计，将统计数据放入特征向量中，将三角面片的特征向量和其相邻三角面片的特征向量进行叠加，叠加结果作为选定三角面片的特征向量。

(4)将选定三角面片的特征向量输入到SVM识别模型中，获取识别结果。

如图2所示为采用本发明技术方案的构建三维场景的草地SVM识别模型的流程：

(1)搜集50张正样本和200张负样本，选择全为草地的图像作为正样本以便于进行训练集采样和特征提取，由于负样本要涵盖的种类复杂，这里选择帕斯卡数据集(PASCALVOC)中的各类非草地目标作为负样本。

(2)将正负训练样本的尺寸调整为162*162，将训练样本作规则直角三角面片划分处理，三角面片的尺寸为3种，分别是直角边长3个像素点、6个像素点和9个像素点；由于样本图像是RGB模式，但由于RGB模式在不同条件下，测得RGB的颜色值分布分散，在RGB空间两点的欧式距离和颜色距离不成线性关系，不利于进行颜色特征的分类。为提高识别效果，将颜色表示从RGB颜色空间转化为更接近人眼观察方式的HSI颜色空间，从而提高不同光照下环境下识别***的鲁棒性。在HSI颜色空间中：H代表色度；S代表饱和度；I代表亮度。3个分量中，受光照影响最大的是I分量，而H和S通常是构成物体的原材料的光线吸收和反射特征决定。为了减少光照对识别精度的影响，在识别目标时，以H和S作为提取的特征。从RGB到HSI的转换公式如下：

I＝(R+G+B)/3

S＝1-3min(R,G,B)/I

若B＞G,H＝360-H

(3)根据选定三角面片和其共享边的相邻三角面片的H特征值和S特征值进行直方图统计，将统计数据放入特征向量中，将三角面片的特征向量和其相邻三角面片的特征向量进行叠加，叠加结果作为选定三角面片的特征向量。设置H特征值直方图和S特征值直方图的组数为8，组距分别为H特征值取值范围的1/8和S特征值取值范围的1/8。将三角面片的H特征值进行直方图统计得到一组8维向量，将三角面片的S特征值进行直方图统计也得到一组8维向量,将H特征值的8维向量和S特征值的8维向量首尾相连组成16维的特征向量。将三角面片的特征向量保存成mat文件供SVM使用。如图3a所示为天空样本中某个三角面片的H直方图统计结果，如图3b所示为草地样本中某个三角面片的H直方图统计结果。

(4)将所有样本的特征向量输入到SVM进行训练；SVM的决策函数为：

其中，L表示分类总数，取值2；c_i表示函数系数，c_i∈R；γ表示交叉校验的参数，γ∈R₊；表示被选用为训练的支撑向量；h⁰表示训练的非支撑向量；采用直方图的卡方距离作为核函数，定义为：

其中，N表示样本集中特征向量总数量；表示第k个特征向量对应的支撑向量；h⁰(k)表示第k个特征向量。

根据直方图的卡方距离计算协方差矩阵空间。对这个协方差矩阵空间进行镜像变换得到对应的超平面矩阵，也就是说将一个向量变换为由一个超平面反射的镜像，是一种线性变换，SVM就是在特征空间中构造最优超平面。得到协方差矩阵以及其对应的超平面矩阵，根据这两个矩阵分别计算每个特征的特征系数，并将特征系数对协方差矩阵进行缩放。对缩放后的协方差矩阵求逆后，计算模型参数。将训练好的SVM模型的参数存入矩阵文件中以供后续三维场景草地识别调用。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于三角面片的三维场景的草地识别方法，其特征在于，该方法包括以下步骤：

(1)将待识别三维场景进行三维重建，按三维场景表面的三角网格划分三角面片；

(2)提取所有三角面片单元的HSI特征；

(3)根据选定三角面片和其共享边的相邻三角面片的H特征值和S特征值进行直方图统计，将统计数据放入特征向量中，将三角面片的特征向量和其相邻三角面片的特征向量进行叠加，叠加结果作为选定三角面片的特征向量；

(4)将选定三角面片的特征向量输入到SVM识别模型中，获取识别结果。

2.根据权利要求1所述的一种基于三角面片的三维场景的草地识别方法，其特征在于，所述步骤(3)中进行直方图具体设置为：

设置H特征值直方图和S特征值直方图的组数为8，组距分别为H特征值取值范围的1/8和S特征值取值范围的1/8。

3.根据权利要求1所述的一种基于三角面片的三维场景的草地识别方法，其特征在于，所述步骤(3)中将统计数据放入特征向量中具体为：

将三角面片的H特征值进行直方图统计得到一组8维向量，将三角面片的S特征值进行直方图统计也得到一组8维向量,将H特征值的8维向量和S特征值的8维向量首尾相连组成16维的特征向量。

4.根据权利要求1、2或3所述的一种基于三角面片的三维场景的草地识别方法，其特征在于，所述步骤(4)中SVM识别模型的训练过程具体为：

(41)收集多张正样本和多张负样本作为样本集，正样本选取全为待识别物体的二维图片，负样本选取不含待识别物体的二维图片；

(42)将所有样本的尺寸调整为一致，选择多个预设的尺度对样本进行三角面片的划分，提取所有三角面片的HSI特征；

(43)根据选定三角面片和其共享边的相邻三角面片的H特征值和S特征值进行直方图统计，将统计数据放入特征向量中，将三角面片的特征向量和其相邻三角面片的特征向量进行叠加，叠加结果作为选定三角面片的特征向量；

(44)将所有样本的特征向量输入到SVM进行训练；SVM的决策函数为：

$C\left(h^0\right)=\stackrel{L}{\Σ}{c}_i\exp (-{\mathrm{\γd}}_{{\mathrm{\χ}}^2}^2(h^0,h_i^0\left)\right),$

其中，L表示分类总数，取值2；c_i表示函数系数，c_i∈R；γ表示交叉校验的参数，γ∈R₊；表示被选用为训练的支撑向量；h⁰表示训练的非支撑向量；采用直方图的卡方距离作为核函数，定义为：

$d_{{\mathrm{\χ}}^2}^2(h^0,h_i^0)=\underset{k=1}{\overset{N}{\Σ}}\frac{{\left(h^0\right(k)-h_i^0(k\left)\right)}^2}{h^0\left(k\right)+h_i^0\left(k\right)}$

其中，N表示样本集中特征向量总数量；表示第k个特征向量对应的支撑向量；h⁰(k)表示第k个特征向量；

(45)训练后得到SVM识别模型参数，构建SVM识别模型。

5.一种基于三角面片的三维场景的草地识别***，其特征在于，该***包括以下模块：

三角面片划分模块，用于将待识别三维场景进行三维重建，按三维场景表面的三角网格划分三角面片；

HSI特征提取模块，用于提取所有三角面片单元的HSI特征；

特征向量计算模块，用于根据选定三角面片和其共享边的相邻三角面片的H特征值和S特征值进行直方图统计，将统计数据放入特征向量中，将三角面片的特征向量和其相邻三角面片的特征向量进行叠加，叠加结果作为选定三角面片的特征向量；

识别模块，用于将选定三角面片的特征向量输入到SVM识别模型中，获取识别结果。

6.根据权利要求5所述的一种基于三角面片的三维场景的草地识别***，其特征在于，所述特征向量计算模块中进行直方图具体设置为：

设置H特征值直方图和S特征值直方图的组数为8，组距分别为H特征值取值范围的1/8和S特征值取值范围的1/8。

7.根据权利要求5所述的一种基于三角面片的三维场景的草地识别方法，其特征在于，所述特征向量计算模块中将统计数据放入特征向量中具体为：

将三角面片的H特征值进行直方图统计得到一组8维向量，将三角面片的S特征值进行直方图统计也得到一组8维向量,将H特征值的8维向量和S特征值的8维向量首尾相连组成16维的特征向量。

8.根据权利要求5、6或7所述的一种基于三角面片的三维场景的草地识别方法，其特征在于，所述识别模块中SVM识别模型的训练***包括以下单元：

样本采集单元，用于收集多张正样本和多张负样本作为样本集，正样本选取全为待识别物体的二维图片，负样本选取不含待识别物体的二维图片；

三角面片划分单元，用于将所有样本的尺寸调整为一致，选择多个预设的尺度对样本进行三角面片的划分，提取所有三角面片的HSI特征；

特征向量计算单元，用于根据选定三角面片和其共享边的相邻三角面片的H特征值和S特征值进行直方图统计，将统计数据放入特征向量中，将三角面片的特征向量和其相邻三角面片的特征向量进行叠加，叠加结果作为选定三角面片的特征向量；

训练单元，用于将所有样本的特征向量输入到SVM进行训练；SVM的决策函数为：

$C\left(h^0\right)=\stackrel{L}{\Σ}{c}_i\exp (-{\mathrm{\γd}}_{{\mathrm{\χ}}^2}^2(h^0,h_i^0\left)\right),$

其中，L表示分类总数，取值2；c_i表示函数系数，c_i∈R；γ表示交叉校验的参数，γ∈R₊；表示被选用为训练的支撑向量；h⁰表示训练的非支撑向量；采用直方图的卡方距离作为核函数，定义为：

$d_{{\mathrm{\χ}}^2}^2(h^0,h_i^0)=\underset{k=1}{\overset{N}{\Σ}}\frac{{\left(h^0\right(k)-h_i^0(k\left)\right)}^2}{h^0\left(k\right)+h_i^0\left(k\right)}$

其中，N表示样本集中特征向量总数量；表示第k个特征向量对应的支撑向量；h⁰(k)表示第k个特征向量；

模型构建单元，用于训练后得到SVM识别模型参数，构建SVM识别模型。