CN103778407A - 一种迁移学习框架下基于条件随机场的手势识别算法 - Google Patents

Abstract

本发明公开了一种迁移学习框架下基于条件随机场的手势识别算法，涉及机器学习领域，序列数据的标注任务，手势识别问题。通过本发明，手势识别问题不但被更准确的识别，而且相对神经网络与条件随机场相结合的方法，具有更容易优化的特点，而且由于迁移学习框架的采用，通过无监督学习方法引入辅助任务与手势识别的主任务共享隐藏层特征的方式，解决了手势识别问题中有标注数据不足情况下的识别问题。

Description

一种迁移学习框架下基于条件随机场的手势识别算法

技术领域

本发明涉及机器学习领域，尤其是一种迁移学习框架下基于条件随机场的模式识别算法。

背景技术

目前，人工交互应用中基于手势识别的交互应用已经成为人工智能领域的一个重要问题。由于手势的各帧之间存在时间上的依赖关系可以自然地形成一个序列标注问题。通过对手势序列的识别问题，识别不同手势代表的含义，可以进行基于视觉的交流。因为，在实际应用中具有标记信息的手势视频的获取代价大，而标注数据多少是识别算法性能的保证，所以，现有手势识别算法在具有充分标注数据的情况下效果良好。

发明人在实现本发明的过程中，发现现有技术中至少存在以下缺点和不足：

现有技术引入了大量的参数来避免过拟合现象的发生，大量的参数为了避免过拟合必须有标注数据进行训练，而在实际的任务中获取大量有标注的数据的困难的、代价高昂的，阻碍了手势识别算法在实际应用的性能。

发明内容

本发明提供了一种迁移学习框架下基于条件随机场的手势识别算法，本发明根据序列相关性构建了无监督的序列模型，并将其作为辅助任务，又使用一种深度条件随机场作为手势识别的主任务，最后形成半监督迁移学习框架下的基于条件随机场的手势识别算法，达到了很好的手势识别效果，并降低了标注数据的代价，详见下文描述：

一种迁移学习框架下基于条件随机场的手势识别算法，包括：视频序列上的手势识别算法，以及在具有部分标注数据下采用无标注数据辅助训练的半监督手势识别算法。所述手势识别算法包括深度条件随机场手势识别算法，以及相应的特征函数构建方法。所述半监督手势识别算法，包括深度条件随机场的手势识别算法以及无监督的马尔科夫随机场方法，以及两种方法的联合训练方法。

所述方法包括以下步骤：

(1)所述深度条件随机场的手势识别方法框架、特征函数构建。

所述深度条件随机场框架具体为：采用层次前馈网络作为特征抽取器与条件随机场构成的

无向图模型联合训练，深度条件随机场模型定义如下：

$P\left(h\right|x;\mathrm{\θ},\mathrm{\α})=\frac{1}{Z(x;\mathrm{\θ},\mathrm{\α})}\exp \left(\underset{t}{\mathrm{\Σ}}{\mathrm{\θ}}^{T}f(h_t,h_{t-1},\mathrm{\φ},t)\right)$

其中φ＝{φ₁，φ₂，...，φ_t}是从原始输入序列中学习得到的特征序列，每个φ_t均是一个非线性函数，参数为α。

所述深度条件随机场模型具体包括：

1)使用深度神经网络作为特征学习器自动从原始数据中学习非线性特征：

所述方法采用一层卷积层与若干全连接层构成多层的深度神经网络完成特征学习过程。

其中，第一层的卷积层主要的作用是捕获上下文信息，使得获得的特征具有时间序列上的不敏感性。具体计算方法如下：

$c_j\left(x_t\right)=l(\underset{n=1}{\overset{D}{\mathrm{\Σ}}}\underset{s=1}{\overset{S}{\mathrm{\Σ}}}{\mathrm{\ω}}_{j,n,s}^c{x}_{n,t+s}+b_j^c)$

所述若干全连接层即传统的全连接结构，以卷积层的输出作为输入，最终得到一个结构化的结果并传递给条件随机场模型，进而构建一个结构化模型解决手势识别问题。所述全连接层的变换如下：

${\mathrm{\φ}}_t(x_t;\mathrm{\α})=l(\underset{k=1}{\overset{H}{\mathrm{\Σ}}}{\mathrm{\ω}}_{t,k}^{\mathrm{\φ}}{o}_k\left(x_t\right)+b_t^{\mathrm{\φ}})$

$o_k\left(x_t\right)=l(\underset{j=1}{\overset{c}{\mathrm{\Σ}}}{\mathrm{\ω}}_{k,j}^o{c}_j\left(x_t\right)+b_k^o)$

2)将特征获得过程与条件随机场的序列模型进行结合：

所述步骤1)中的多层非线性变换层与一层的结构化输出层，共同构成深度条件随机场的结构。整体结构中卷积层提供时间变换上的变换不变性，保持相关的局部信息，更高层的全连接层逐层学习更抽象的特征，将抽象特征作为条件随机场模型的输入，深度条件随机场模型与传统条件随机场的学习过程不同，因其要学习的参数不仅包括线性参数θ，还需要哟花特征抽取阶段的参数α。

3)所设计的条件随机场需要的特征函数具体为：

所述深度条件随机场模型中包含两类特征函数，即状态函数与转移函数。状态函数构建点与标签之间的关系，而转移函数的定义如下：

$e_k(h_{t-1},h_t,\mathrm{\φ},t)=\left\{\begin{array}{c}1\mathrm{if}{h}_{j-1}=\mathrm{hand}{h}_j=h^{\′}\\ 0\mathrm{otherwise}\end{array}\right.$

(2)所述无监督马尔科夫随机场的序列模型。

所述无监督马尔科夫随机场具体为：利用观测节点之间的关系性构建无监督的序列模型并作为辅助任务。这里将概率近似为由其邻居节点之间的依赖关系的连乘，并采用第一邻居节点那么分解结果如下：

$P\left(x\right)\∝\underset{t}{\mathrm{\Π}}\mathrm{\Ψ}(x_t,x_{t-1})$

在此基础上引入特征变换，定义条件概率如下：

$P(x;\mathrm{\α},A)=\frac{1}{Z(x;\mathrm{\α},A)}\exp \{\underset{t}{\mathrm{\Σ}}-\mathrm{\Ψ}({\mathrm{\φ}}_t,{\mathrm{\φ}}_{t-1};A)\}$

其中A为参数矩阵，Z为划分函数，上式为一个基本吉布斯分布，定义的马尔科夫随机场模型。所述方法中的Z与传统的马尔科夫随机场不同，全局概率被替换为一组局部伪似然概率的求和

代替全局似然概率P(x)。那么对于局部似然的归一化因子定义如下：

$Z(x_{t-1};\mathrm{\α},A)=\underset{{\mathrm{\φ}}_t}{\∫}\exp \{-\mathrm{\Ψ}({\mathrm{\φ}}_t,{\mathrm{\φ}}_{t-1};A)\}d{\mathrm{\φ}}_t$

其中势函数的定义如下所述：

ψ(φ_t，φ_t-1；A)＝‖A·φ_t-1-φ_t‖²

(3)所述深度条件随机场与无监督马尔科夫随机场联合训练方法。

所述半监督联合训练方法具体为：由于方法2与方法1所述，两种方法可以共享变换φ(x_t；α)，同时将方法中所述的无监督马尔科夫随机场作为迁移学习中的辅助任务，而深度条件随机场进行手势识别作为主任务。在不共享参数的情况下，给定标注序列{x⁽ⁿ⁾，y⁽ⁿ⁾}，n＝1，...，N，两个任务的损失函数分别表示如下：

$l_1(\mathrm{\θ},\mathrm{\α})=\underset{n=1}{\overset{N}{\mathrm{\Σ}}}-1\mathrm{ogP}\left(y^{\left(n\right)}\right|x^{\left(n\right)};\mathrm{\θ},\mathrm{\α})$

$l_2(A,\mathrm{\α})=\underset{n=1}{\overset{N}{\mathrm{\Σ}}}\underset{t}{\overset{T}{\mathrm{\Σ}}}-\log P(x_t^{\left(n\right)}{|x}_{t-1}^{\left(n\right)};\mathrm{\α},A)$

让两个模型共享非线性特征变换φ(x；α)，即构建一个序列模型的迁移学习框架，联合模型的优化目标如下：

$l\left(\mathrm{\Λ}\right)=l_1(\mathrm{\θ},\mathrm{\α})+\mathrm{\η}{l}_2(\mathrm{\α},A)+\frac{1}{2{\mathrm{\σ}}^2}{\left|\right|\mathrm{\Λ}\left|\right|}^2$

使用梯度下降搜索优化参数，使用BFGS来优化目标参数。

本发明提供的技术方案的有益效果是：

本发明提供了一种迁移学习框架下的基于条件随机场的手势识别算法，采用半监督的迁移学习框架，降低标注数据的代价。同时采用深度条件随机场识别模型，可以获得具有时间不敏感性的特征，使得识别算法具有时间不敏感的特点。另外本发明所使用的方法具有易于优化的特点。

附图说明

图1一种迁移学习框架下基于条件随机场的手势识别算法流程示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

为了能够避免训练过程中过拟合现象的发生，以降低标注代价，最终完成较快叫准确的进行手势识别的任务，本发明设计了一种迁移学习框架下基于条件随机场的手势识别算法，详见下文描述：

一种迁移学习框架下基于条件随机场的手势识别算法，包括：本发明中，迁移学习的主任务一一基于深度条件随机场的手势识别方法1，以及其辅助任务无监督马尔科夫随机场2，两个共享特征变换方法3，以及最后的联合训练构成序列模型4.

参照图1，一种迁移学习框架下基于条件随机场的手势识别算法包括以下步骤：

101：通过一个卷积层以及若干全连接层得到输入序列的一个映射变换。

102：通过输入序列通过无监督马尔科夫过程得到一个考虑前后邻居关系的变换。

103：将步骤1与步骤2中的变换进行特征共享，形成新一层特征，作为步骤4的输入。

104：将步骤3所形成特征作为条件随机场的输入，计算最终的损失函数并优化，得到识别算法的模型。

综上所述，本发明实施例提供了迁移学习框架下基于条件随机场的手势识别算法，利用有监督的深度条件随机场与无监督的马尔科夫随机场共享变换的方式形成半监督迁移学习框架，从而避免了标注数据较少的情况下，过拟合的问题，在新的框架下，优化方式相对简单，同时达到了较好的手势识别的目的。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种迁移学习框架下基于条件随机场的手势识别算法，其包括：视频序列上的手势识别算法，以及在具有部分标注数据下采用无标注数据辅助训练的半监督手势识别算法，所述手势识别算法包括深度条件随机场手势识别算法，以及相应的特征函数构建方法，所述半监督手势识别算法，包括深度条件随机场的手势识别算法以及无监督的马尔科夫随机场方法，以及两种方法的联合训练方法。

2.根据权利要求1所述的一种迁移学习框架下基于条件随机场的手势识别算法，其特征在于，所述方法包括：有监督的深度条件随机场模型；

所述深度条件随机场模型包括：采用层次前馈网络作为特征抽取器与条件随机场构成的无向图模型联合训练；使用深度神经网络作为特征学习器自动从原始数据中学习非线性特征：所述方法采用一层卷积层与若干全连接层构成多层的深度神经网络完成特征学习过程；其中，第一层的卷积层主要的作用是捕获上下文信息，使得获得的特征具有时间序列上的不敏感性；所述若干全连接层即传统的全连接结构，以卷积层的输出作为输入，最终得到一个结构化的结果并传递给条件随机场模型，进而构建一个结构化模型解决手势识别问题。

3.根据权利要求1所述的一种迁移学习框架下基于条件随机场的手势识别方法，其特征在于，所述方法包括：一种基于无监督马尔科夫随机场的序列模型；

所述马尔科夫随机场序列模型，利用观测节点之间的关系性构建无监督的序列模型并作为辅助任务。这里将概率近似为由其邻居节点之间的依赖关系的连乘，并采用第一邻居节点构建序列的生成概率；并在基本的生成概率基础上引入特征变换过程φ(x_t；α)；全局概率被替换为一组局部伪似然概率的求和

代替全局似然概率P(x)。

4.根据权利要求1所述的一种迁移学习框架下基于条件随机场的手势识别方法，其特征在于，所述方法包括：一种基于权利要求2与权利要求3的联合训练方法；

所述半监督联合训练方法具体为：根据权利要求1与权利要求2所述，两种方法可以共享变换φ(x_t；α)，同时将方法中所述的无监督马尔科夫随机场作为迁移学习中的辅助任务，而深度条件随机场进行手势识别作为主任务。让两个模型共享非线性特征变换φ(x；α)，即构建一个序列模型的迁移学习框架，联合模型的优化目标如下：

最后使用梯度下降搜索优化参数，使用BFGS来优化目标参数。

Images