CN106650753A - 一种基于特征选择的视觉映射方法 - Google Patents

Abstract

本发明针对视觉映射问题中输入视觉特征维数过高的问题，公开了一种基于特征选择的视觉映射方法。该方法假设每个子回归器具有相似的特征选择特性，从而选出最有利于目标值估计的特征进行混合回归关系学习。这样避免了以往方法在进行回归拟合前需要先进行与输出值无关的降维，影响估计准确性的问题。该方法直接对输入图像特征进行选择，并且选择的特征是最适合后续目标值估计的，这样有助于提高视觉映射的总体估计性能。

Description

一种基于特征选择的视觉映射方法

技术领域

本发明属于计算机视觉技术领域，涉及视觉映射技术，主要应用于头部姿态估计，视线跟踪和年龄估计等视觉估计问题中。

背景技术

在计算机视觉中，视觉映射是指学习输入图像特征与输出变量之间映射函数的过程，以便在输入新图像时，估计该输入图像对应的目标输出值。具体来讲，视觉映射包括：人体姿态估计、头部姿态估计、视线估计和物体跟踪等。详见参考文献：O.Williams,A.Blake,and R.Cipolla,Sparse and Semi-Supervised Visual Mapping with the S3GP,in IEEEConference Computer on Computer Vision and Pattern Recognition,pp.230-237,2006.

作为计算机视觉的一个重要分支，视觉映射改变了许多场合下由人逐一根据图像内容估计目标输出的情况。取而代之，由计算机根据输入图像内容，通过已有视觉映射函数预测输出，从而实现由摄像机和电脑代替人眼和大脑对图像进行全自动分析和估计。目前，该技术已开始被应用于与人们生活密切相关的多个产业。其中，头部姿态估计被应用于汽车安全驾驶产业，视线估计和人体姿态估计被应用于智能人机接口及游戏产业，物体跟踪被应用于智能交通等产业，人体姿态估计被应用于人机交互领域。相信随着计算机硬件处理能力的不断提高和视觉映射中关键技术问题的逐步解决，其应用前景将更加广阔。

在用于视觉映射问题的模型中，由于输入特征与输出目标值之间存在的关系常常是高度非线性的，因此利用非线性模型进行拟合是一种普遍接受的方法。混合回归模型由于不需要假设具体核函数实现非线性映射，因此被广泛的应用于该问题中。而现有的混合回归方法，通常需要对原始图像特征进行降维，再在此基础上实现混合回归建模，这样导致了提取的特征不是最适合目标值估计的特征。参见文献：A.Agarwal and B.Triggs,Monocular Human Motion Capture with a Mixture of Regressors,in IEEE Workshopon Vision for Human Computer Interaction in Conjunction with IEEE Conferenceon Computer Vision and Pattern Recognition,pp.72-80,2005。

为了方便地描述本发明内容，首先对一些术语进行定义。

定义1：视觉映射。对图像提取视觉特征，并将视觉特征映射到对应的目标值(见图1)。例如：头部姿态估计是一个视觉映射问题，对包含头部的图像提取梯度方向直方图特征，并将该特征映射到姿态角度。

定义2：梯度方向直方图特征。利用像素强度梯度或边缘的方向分布描述一幅图像中的物体的表象和形状的视觉特征提取方法。其实现方法先将图像分成小的叫做方格单元的连通区域；然后采集方格单元中各像素点的梯度方向或边缘方向直方图；最后把这些直方图组合起来就可以构成特征描述子。为了提高精确度，还可以把这些局部直方图在图像的更大的区间(block)中进行对比度归一化(contrast-normalized)，此方法通过先计算各直方图在这个区间(block)中的密度，然后根据这个密度值对区间中的各个方格单元做归一化。通过该归一化能对光照变化和阴影有更强的鲁棒性。

定义3：高斯分布。又名正态分布，是一个在数学、物理及工程等领域都非常重要的概率分布。具体是指：对于任意随机变量x，若其概率密度函数满足其中μ为正态分布的中心，σ为正态分布的方差，则称其满足高斯分布，常用符号表示。若随机变量为向量x，则对应高维高斯分布μ为高维正态分布的中心，∑为高维正态分布的协方差，或记为

定义4：混合高斯分布。是指随机变量服从由多个高斯函数混合组成的分布函数，即：其中K为高斯分布的个数，z为指示变量x属于哪一个高斯分布的隐变量。z为一个K维的状态向量，该向量只有一个元素为1，其余元素为0，当第k个元素z_k为1时，则表示x属于第k个高斯分布。p(z)表示隐变量z的出现概率，该概率通常用符号π_k表示，即：p(z_k＝1)＝π_k。

定义5：隐变量。无法被观测到的变量，例如在混合高斯分布 中，z指示变量x属于哪一个高斯分布，无法被观测即为隐变量。

定义6：混合系数。在混合高斯分布中代表变量x属于某一高斯分布的概率，即π_k为混合系数。

定义7：线性回归。是指输出变量(向量)y和输入变量(向量)x之间存在线性映射关系，即：y＝A^Tx+b，其中A^T代表回归矩阵，b代表偏差向量。

定义8：混合回归关系。是指输出变量(向量)y和输入变量(向量)x之间存在非线性映射关系，即：其中代表第k个回归矩阵，b_k代表第k个偏差向量。π_k(x)表示x属于某一线性回归模型的概率。

定义9：似然函数。似然函数是一种关于统计模型中的参数的函数，表示模型参数的似然性或可能性。

定义10：期望最大值算法。一种求解混合高斯分布参数似然函数最大值的优化方法，它通常包含两个基本的步骤，即：期望步骤(E步)和最大化步骤(M步)。

定义11：Q函数。在求解混合高斯分布似然函数最大值的期望最大值算法中，Q函数为似然函数的下界函数。

定义12：对角矩阵。是一个主对角线之外的元素皆为0的矩阵。对角线上的元素可以为0或其他值。diag{}是对角矩阵的符号，花括号中的元素代表对角矩阵对角线上的元素。

定义13：Nesterov梯度法。是一种加速梯度算法，常被应用于非光滑凸函数求极值问题中。

本发明详细技术方案如下：一种基于特征选择的视觉映射方法，该方法包括：

步骤1：采集针对某视觉映射问题的N幅图像，同时记录目标值下标n表示第n幅图像对应的姿态；以头部姿态估计为例，采集的N幅图像为不同姿态的头部图像，目标值y_n为对应的头部姿态角度，H表示目标值的维数；

步骤2：对采集的图像进行彩色图像转灰度图像的处理，若采集图像已经为灰度图像则无需在进行转化处理；

步骤3：将输入图像的头部区域图像归一化为固定大小的图像，对每一幅输入图像提取梯度方向直方图特征；

步骤4：将所有的N幅图像对应的梯度方向直方图特征向量在列方向上，按顺序排列可以得到输入数据矩阵X，即X＝[x₁，x₂，…，x_N]；

步骤5：将N幅图像对应的目标值向量在列方向上按顺序排列为数据矩阵Y，即Y＝[y₁，y₂，…，y_N]；

步骤6：假设在视觉映射问题中，所有输入特征和输出姿态联合服从混合高斯分布p(x_n，yn|Θ)，各高斯分布中心、协方差和混合系数，分别用符号μ_k，∑_k和π_k表示，其中下角标k表示第k个高斯分布，k＝1，2，...K；

同时，假设在已知{x_n，y_n}属于某一高斯的条件下，它们之间存在线性回归关系，回归关系由回归矩阵A_k，偏差b_k，和噪声方差水平γ决定，

其中为隐变量，决定第n个观测样本{x_n，y_n}属于哪一个高斯；根据上述假设，可以输入数据和输出数据之间存在混合回归关系，I_H表示有H个对角线元素的单位矩阵，该关系的示意图见图2(a)；用符号Θ表示此混合回归模型中的所有参数，即：Θ＝{μ_k，∑_k，π_k，A_kb_k，γ}

由上述假设可以推断输入梯度方向直方图特征也分别服从混合高斯分布，即：

其中表示输入特征的各高斯分布中心和协方差；由输入和输出之间的线性关系，可知：

步骤7：为了在进行高混合回归的同时进行输入图像特征选择，假设第k个回归参数矩阵向量化为可以构成总体回归参数矩阵 表示回归参数矩阵的维数；回归矩阵的每一行用符号表示，其中i＝1，...，HD；假设aⁱ服从均值为0方差水平为τ的先验正态分布，得到：

步骤8：根据步骤6和步骤7对回归参数Θ的先验假设，给定输入数据矩阵X和输出数据矩阵Y时的联合后验概率分布为：

混合特征选择回归模型对应的图模型见图2。将参数步骤7中的先验分布p(Θ)和步骤6中的似然函数lnp(X，Y|Θ)的具体表达式代入到上式中，可以得到参数Θ的后验分布为：

τI_K代表协方差矩阵；

步骤9：为了求解步骤8中的参数Θ，我们采用EM算法进行参数优化；

步骤10：计算步骤9中的EM算法，直到收敛；

步骤11：计算输入图像特征x_t属于某一高斯分布的条件下，对应的目标值并利用步骤8中求得的概率加权平均，得到最后目标估计值，

进一步的，所述步骤3中在梯度方向直方图特征计算的过程中，区域个数的参数设置为2×2，每一区域中图像单元的个数参数设置为8×8，方向柱的个数设置为9，最后得到任意一幅图像对应的梯度方向直方图特征，并记第n幅图像对应的梯度方向直方图特征向量x_n；

进一步的，所述步骤9中EM算法包括E步骤和M步骤；

E步骤：在E步中利用上一步的参数估计结果Θ^old计算任意第n个样本属于第k个聚类的后验概率

上标old表示上一步的参数估计结果；同时建立关于参数Θ的Q函数，

其中为隐含变量矩阵，其第k行n列的元素为z_kn；

M步骤：最大化Q函数Q(Θ，Θ^old)来更新参数Θ，根据上式的第一行得到关于回归参数的优化目标函数

λ为回归噪声方差水平γ和参数τ之间的比值，w_kn＝p(z_kn|x_n，y_n，Θ^old)；令每一个样本的目标值y_n构成矩阵其中其中为上一次迭代时向量b_k的值；根据A＝[vec(A₁)，...，vec(A_K)]，上式可以化简为：

利用Nesterov梯度法进行优化得到回归参数矩阵A的最佳解；偏差项b_k的计算方法如下：

这里

根据Q函数第二行可以得到关于聚类参数{π_k}的目标函数

最后得到解为：

本专利针对此问题提出了一种基于特征选择的混合回归方法，该方法直接对输入图像特征进行选择，并且选择的特征是最适合后续目标值估计的，这样有助于提高视觉映射的总体估计性能。

附图说明

图1是视觉映射示意图：头部姿态估计、身体姿态估计和视线估计。

图2是基于特征选择的混合回归模型示意图。(a)混为合回归的基本原理，(b)为回归系数矩阵的特征选择性

具体实施方式

实现语言：Matlab，C/C++

硬件平台：Intel core2E7400+4G DDR RAM

软件平台：Matlab2012a，VisualStdio2010

根据本发明的方法，首先采集一定数量的图像并记录这些图像对应的目标值，根据本发明专利，利用Matlab或者C语言编写基于特征选择的混合回归模型程序，并在采集数据上训练本发明对应模型的参数；接着在各种应用场景安装摄像头采集原始图像；接着提取采集到的图像的梯度方向直方图特征；根据之前训练的参数可以估计该图像对应的输出目标值。本发明的方法，可以用于各种场景下的视觉映射问题。

一种基于特征选择的视觉映射方法，该方法包括：

步骤1：采集针对某视觉映射问题的N幅图像，同时记录目标值下标n表示第n幅图像对应的姿态；以头部姿态估计为例，采集的N幅图像为不同姿态的头部图像，目标值y_n为对应的头部姿态角度，H表示目标值的维数；

步骤2：对采集的图像进行彩色图像转灰度图像的处理，若采集图像已经为灰度图像则无需在进行转化处理；

步骤3：将输入图像的头部区域图像归一化为固定大小的图像，对每一幅输入图像提取梯度方向直方图特征；

步骤4：将所有的N幅图像对应的梯度方向直方图特征向量在列方向上，按顺序排列可以得到输入数据矩阵X，即X＝[x₁，x₂，...，x_N]；

步骤5：将N幅图像对应的目标值向量在列方向上按顺序排列为数据矩阵Y，即Y＝[y₁，y₂，...，y_N]；

步骤6：假设在视觉映射问题中，所有输入特征和输出姿态联合服从混合高斯分布p(x_n，y_n|Θ)，各高斯分布中心、协方差和混合系数，分别用符号μ_k，∑_k和π_k表示，其中下角标k表示第k个高斯分布，k＝1，2，...K；

同时，假设在已知{x_n，y_n}属于某一高斯的条件下，它们之间存在线性回归关系，回归关系由回归矩阵A_k，偏差b_k，和噪声方差水平γ决定，

其中为隐变量，决定第n个观测样本{x_n，y_n}属于哪一个高斯；根据上述假设，可以输入数据和输出数据之间存在混合回归关系，I_H表示有H个对角线元素的单位矩阵，该关系的示意图见图2(a)；用符号Θ表示此混合回归模型中的所有参数，即：Θ＝{μ_k，∑_k，π_k，A_k，b_k，γ}

由上述假设可以推断输入梯度方向直方图特征也分别服从混合高斯分布，即：

其中表示输入特征的各高斯分布中心和协方差；由输入和输出之间的线性关系，可知：

步骤7：为了在进行高混合回归的同时进行输入图像特征选择，假设第k个回归参数矩阵向量化为可以构成总体回归参数矩阵 D×H表示回归参数矩阵的维数；回归矩阵的每一行用符号表示，其中i＝1，...，HD；假设aⁱ服从均值为0方差水平为τ的先验正态分布，得到：

步骤8：根据步骤6和步骤7对回归参数Θ的先验假设，给定输入数据矩阵X和输出数据矩阵Y时的联合后验概率分布为：

混合特征选择回归模型对应的图模型见图2。将参数步骤7中的先验分布p(Θ)和步骤6中的似然函数lnp(X，Y|Θ)的具体表达式代入到上式中，可以得到参数Θ的后验分布为：

τI_K代表协方差矩阵；

步骤9：为了求解步骤8中的参数Θ，我们采用EM算法进行参数优化；EM算法包括E步骤和M步骤；

E步骤：在E步中利用上一步的参数估计结果Θ^old计算任意第n个样本属于第k个聚类的后验概率

上标old表示上一步的参数估计结果；同时建立关于参数Θ的Q函数，

其中为隐含变量矩阵，其第k行n列的元素为z_kn；

M步骤：最大化Q函数Q(Θ，Θ^old)来更新参数Θ，根据上式的第一行得到关于回归参数的优化目标函数

λ为回归噪声方差水平γ和参数τ之间的比值，W_kn＝p(z_kn|x_n，y_n，Θ^old)；令每一个样本的目标值y_n构成矩阵其中其中为上一次迭代时向量b_k的值；根据A＝[vec(A₁)，...，vec(A_K)]，上式可以化简为：

利用Nesterov梯度法进行优化得到回归参数矩阵A的最佳解；偏差项b_k的计算方法如下：

这里

根据Q函数第二行可以得到关于聚类参数{π_k}的目标函数

最后得到解为：

步骤10：一直重复步骤9中的E步和M步，直到收敛，即：前后两次参数的值不再改变；

步骤11：计算输入图像特征x_t属于某一高斯分布的条件下，对应的目标值并利用步骤8中求得的概率加权平均，得到最后目标估计值，

Claims (3)

1.一种基于特征选择的视觉映射方法，该方法包括：

步骤1：采集针对某视觉映射问题的N幅图像，同时记录目标值下标n表示第n幅图像对应的姿态；以头部姿态估计为例，采集的N幅图像为不同姿态的头部图像，目标值y_n为对应的头部姿态角度，H表示目标值的维数；

步骤2：对采集的图像进行彩色图像转灰度图像的处理，若采集图像已经为灰度图像则无需在进行转化处理；

步骤3：将输入图像的头部区域图像归一化为固定大小的图像，对每一幅输入图像提取梯度方向直方图特征；

步骤4：将所有的N幅图像对应的梯度方向直方图特征向量在列方向上，按顺序排列可以得到输入数据矩阵X，即X＝[x₁，x₂，...，x_N]；

步骤5：将N幅图像对应的目标值向量在列方向上按顺序排列为数据矩阵Y，即Y＝[y₁，y₂，...，y_N]；

步骤6：假设在视觉映射问题中，所有输入特征和输出姿态联合服从混合高斯分布p(x_n，y_n|Θ)，各高斯分布中心、协方差和混合系数，分别用符号μ_k，∑_k和π_k表示，其中下角标k表示第k个高斯分布，k＝1，2，...K；

同时，假设在已知{x_n，y_n}属于某一高斯的条件下，它们之间存在线性回归关系，回归关系由回归矩阵A_k，偏差b_k，和噪声方差水平γ决定，

其中为隐变量，决定第n个观测样本{x_n，y_n}属于哪一个高斯；根据上述假设，可以输入数据和输出数据之间存在混合回归关系，I_H表示有H个对角线元素的单位矩阵；用符号Θ表示此混合回归模型中的所有参数，即：Θ＝{μ_k，Σ_k，π_k，A_k，b_k，γ}

由上述假设可以推断输入梯度方向直方图特征也分别服从混合高斯分布，即：

其中表示输入特征的各高斯分布中心和协方差；由输入和输出之间的线性关系，可知：

${\mathrm{\μ}}_k=\left(\begin{array}{c}{\mathrm{\μ}}_k^x\\ A_k^T{\mathrm{\μ}}_k^x+b_k\end{array}\right),{\mathrm{\Σ}}_k=\left(\begin{array}{cc}{\mathrm{\Σ}}_k^x& {\mathrm{\Σ}}_k^x{A}_k\\ A_k^T{\mathrm{\Σ}}_k^x& A_k^T{\mathrm{\Σ}}_k^x{A}_k+{\mathrm{\γI}}_H\end{array}\right)$

步骤7：为了在进行高混合回归的同时进行输入图像特征选择，假设第k个回归参数矩阵向量化为可以构成总体回归参数矩阵 D×H表示回归参数矩阵的维数；回归矩阵的每一行用符号表示，其中i＝1，...，HD；假设aⁱ服从均值为0方差水平为τ的先验正态分布，得到：

步骤8：根据步骤6和步骤7对回归参数Θ的先验假设，给定输入数据矩阵X和输出数据矩阵Y时的联合后验概率分布为：

ln p(Θ|X，Y)∝ln p(X，Y|Θ)+ln p(Θ)

将参数步骤7中的先验分布p(Θ)和步骤6中的似然函数ln p(X，Y|Θ)的具体表达式代入到上式中，可以得到参数Θ的后验分布为：

τI_K代表协方差矩阵；

步骤9：为了求解步骤8中的参数Θ，我们采用EM算法进行参数优化；

步骤10：计算步骤9中的EM算法，直到收敛；

步骤11：计算输入图像特征x_t属于某一高斯分布的条件下，对应的目标值并利用步骤8中求得的概率加权平均，得到最后目标估计值，

2.如权利要求1所述的一种基于特征选择的视觉映射方法，其特征在于所述步骤3中在梯度方向直方图特征计算的过程中，区域个数的参数设置为2×2，每一区域中图像单元的个数参数设置为8×8，方向柱的个数设置为9，最后得到任意一幅图像对应的梯度方向直方图特征，并记第n幅图像对应的梯度方向直方图特征向量x_n。

3.如权利要求1所述的一种基于特征选择的视觉映射方法，其特征在于所述步骤9中EM算法包括E步骤和M步骤；

E步骤：在E步中利用上一步的参数估计结果Θ^old计算任意第n个样本属于第k个聚类的后验概率

上标old表示上一步的参数估计结果；同时建立关于参数Θ的Q函数，

$\begin{array}{c}Q(\mathrm{\Θ},{\mathrm{\Θ}}^{old})=\underset{Z}{\Σ}p\left(Z\right|X,Y,{\mathrm{\Θ}}^{old})\ln p\left(Y\right|X,Z,\mathrm{\Θ})+\ln p\left(\mathrm{\Θ}\right)\\ +\underset{z}{\Σ}p\left(Z\right|X,Y,{\mathrm{\Θ}}^{old})\ln p(X,Z|\mathrm{\Θ})\end{array}$

其中为隐含变量矩阵，其第k行n列的元素为z_kn；

M步骤：最大化Q函数Q(Θ，Θ^old)来更新参数Θ，根据上式的第一行得到关于回归参数的优化目标函数

$\underset{\left\{A_k\right\},\left\{b_k\right\}}{min}\underset{n=1}{\overset{N}{\Σ}}\underset{k=1}{\overset{K}{\Σ}}{w}_{kn}\left|\right|y_n-A_k^T{x}_n-b_k|{|}_2^2+\mathrm{\λ}\underset{l=1}{\overset{DH}{\Σ}}|\left|a^i\right|{|}_2^2$

λ为回归噪声方差水平γ和参数τ之间的比值，w_kn＝p(z_kn|x_n，y_n，Θ^old)；令每一个样本的目标值y_n构成矩阵其中其中为上一次迭代时向量b_k的值；根据A＝[vec(A₁)，...，vec(A_K)]，上式可以化简为：

$\underset{A}{min}\underset{n=1}{\overset{N}{\Σ}}\underset{k=1}{\overset{K}{\Σ}}{w}_{kn}\left|\right|{\hat{y}}_n-(I_H\⊗x_n^T)A|{|}_2^2+\mathrm{\λ}|\left|A\right|{|}_{2,1}$

利用Nesterov梯度法进行优化得到回归参数矩阵A的最佳解；偏差项b_k的计算方法如下：

$b_k=\frac{1}{N_k}\underset{n=1}{\overset{N}{\Σ}}{w}_{kn}(y_n-A_k^T{x}_n)$

这里

根据Q函数第二行可以得到关于聚类参数{π_k}的目标函数

最后得到解为：

${\mathrm{\μ}}_k^x=\frac{1}{N_k}\underset{n=1}{\overset{N}{\Σ}}{w}_{kn}{x}_n$

${\mathrm{\Σ}}_k^x=\frac{1}{N_k}\underset{n=1}{\overset{N}{\Σ}}{w}_{kn}(x_n-{\mathrm{\μ}}_k^x){(x_n-{\mathrm{\μ}}_k^x)}^T$

${\mathrm{\π}}_k=\frac{N_k}{N}.$