CN110163131A - 混合卷积神经网络与小生境灰狼优化的人体动作分类方法 - Google Patents

Abstract

本发明公开一种混合卷积神经网络与小生境灰狼优化的人体动作分类方法，该方法首先对输入的视频帧生成动作库和局部时空特征，再借助时空特征从视频运动中检测兴趣点并对其提取深度卷积特征，然后用GWO算法获得CNN分类器最优的权重并利用反向传播算法训练多个CNN分类器，最后融合多个分类器的输出以纠正结果。本发明将卷积神经网络与灰狼优化算法相结合，通过训练具有梯度下降和全局搜索能力的CNN分类器来减少分类错误。本发明能够解决无约束视频中人体动作分类准确度不够高的问题，并提高分类性能，具有高度的鲁棒性与实效性。

Description

混合卷积神经网络与小生境灰狼优化的人体动作分类方法

技术领域

本发明涉及一种混合卷积神经网络与小生境灰狼优化的人体动作分类方法，属于深度学习，动作分类，机器学习等交叉技术领域。

背景技术

视频中的动作分类与行为识别是识别计算机视觉领域中的一个重要研究课题，从无约束视频中识别人物行为成为了计算机可视化方法中的一项重大挑战性任务，具有重要的理论意义与实际应用价值。

近年来，人类行为研究的认识在计算机可视化方法上得到了广泛的讨论。动作分类或识别应用程序在大多数的领域中实现了其利用价值。例如视频检索、视觉观察、体育动作分析以及人机交互。此外，由于动作在其类别之间(如慢跑与跑步)或类内(特殊演员的类似动作)广泛相似性引起的复杂性，对动作的分类识别成为了一种具有挑战性的任务。

动作分类或识别问题可以被认为是一种分类问题，很多在分类上的方法被设计利用，具体有使用Logistic回归分析、决策树模型、朴素贝叶斯分类器与支持向量机等等。这些方法在实际应用中均有利弊。

而对于人体动作***的研究，国内外所采用的技术也并不成熟。大部分人体动作分类***依赖于人工对数据进行标记加工，再将数据放入模型中进行识别。对数据有较强的依赖性，其***分类性能较低，分类错误较多，不适合工业化与商品化的需求。

发明内容

技术问题：本发明所要解决的技术问题是通过很混合经典与优化算法以及训练深度卷积神经网络分类器，将多个分类器产生的结果融合，进一步提高无约束视频中人物动作分类***的性能与分类的准确度。

技术方案：本发明的一种混合卷积神经网络与小生境灰狼优化的人体动作分类方法包括以下步骤：

步骤1)输入一定视频帧，通过考虑动作库的视频音量相关性，使用音量最大池化层将相关性转化为73维响应矢量。使用尺寸为p的动作库为其生成p*73的动作库特征，其中动作库被定义为p个动作检测器；

步骤2)对于每个活动，通过p个特征检测相似性，初始化局部时空特征并检测视频中的兴趣点。

步骤3)输入动作库和局部时空特征，提取深度卷积特征，通过1个CNN分类器对特征分类；初始化完全连接的网络并训练CNN。

步骤4)利用梯度下降算法减少GWO算法需要搜索的候选者数量加速搜索过程，GWO算法通过搜索不同的权重初始化集合确定更接近全局的局部最优，为多个CNN分类器分配最佳权重。

步骤5)CNN分类器的输出以二进制方式解码为(w₁,w₂,…w_c)，接着CNN分类器的初步训练通过输出w_r＝1和w_s＝0完成，s为正整数然后通过输出w_r＝1和w_s＝1执行分类器的训练。其中，r表示受观察的类，c表示类的数量。多个分类器的分类结果利用最大规则的融合函数进行融合。即若融合模型共中第i^th个分类器包含输出w_1i,w_2i,…,w_ci(i＝1,2,...m)，m是分类器总数，则第j^th融合模型的输出即为M_j＝max{w_j1,w_j2,…,w_jn}(j＝1,2,…n)，n是融合模型总数。

其中，所述步骤3)具体如下：

步骤31)输入动作库初始R个元素和视频帧中移动动作的兴趣点，初始的卷积层使用水平线性，尺寸为m0*n0的卷积掩模进行特征提取。使用k0个实数参与对GWO框架适应度评估。对GWO群体初始化，利用初始的k0-1个实数编码卷积掩模，最后1个实数作为随机数生成器的种子值。通过解码搜索确定候选者(α₀，β₀，δ₀)的适应度得分。R是输入元素总数，m0，n0分别是卷积掩模这一二维矩阵的行数、列数，k0是参与评估GWO框架适应程度的实数总数。

步骤32)使用尺寸为1*2的子样本掩模最小化采样过程中数据丢失。

步骤33)重复步骤31)和32)，使用相同的卷积掩模提取特征，同时计算GWO框架适应度，子样本掩模压缩数据并提取主要特征，最终提取深度卷积特征。

步骤34)利用卷积层掩模相关的权重作为特征标识符，随机数发生器生成种子，两者结合初始化完全连接的神经网络，将提取的深度卷积特征作为完全连接网络的输入训练CNN确定初步动作标签。

所述步骤4)具体如下：

步骤41)CNN分类器通过反向传播算法训练，忽略有限数量的过度拟合数据。再通过梯度下降算法，检测陷入局部最小值的解。

步骤42)初始化灰狼种群搜索空间，初始化N，D，t,pently等参数以及灰狼群体X＝(X₁,X₂,…,X_N)，每个灰狼的位置X_i＝(x_i1,x_i2,…,x_iD)^T,(i＝1,2,…,N)在分散的狼群中不断转移注意直至检测到猎物后狼群合并。N是灰狼总数，D是灰狼与猎物之间的距离，t是迭代次数，pently是罚函数。

步骤43)计算每个灰狼群体的适应度值f_k，将适应度值排列前三的灰狼个体的位置分别记为X_α，X_β，X_δ，并将适应度最好的X_α记为最优解；对确定位置的猎物进行包围，包围特征用数学方式描述。在此过程中猎物与灰狼的距离为D＝|C·Xp(t)-X(t)|，X(t+1)＝Xp(t)-A·D，其中D为灰狼与猎物之间的距离，t为迭代次数，Xp(t)为第t次迭代后猎物的位置，即最优解的位置。X(t)为第t次迭代后灰狼的位置，即潜在解的位置。A和C为系数因子，其计算公式为A＝2a·r₁-a，C＝2·r₂。其中a随着迭代次数的增加从2到0呈线性递减，r₁,r₂为[0，1]之间的随机数。

步骤44)β、δ狼在α狼带领下对猎物进行追捕，在追捕过程中狼群个体的位置会随猎物的逃跑而改变，根据α,β,δ更新后的位置重新确定猎物，即最优解的位置，更新方程为其中D_α，D_β，D_δ分别表示α，β，δ狼与其他个体之间的距离。

步骤45)对于D维空间灰狼u的位置为X_u＝(x_u1,x_u2,…,x_uD)^T，灰狼v的位置为X_v＝(x_v1,x_v2,…x_vD)^T，则灰狼u与灰狼v之间的欧式距离为d_uv＝||X_u-X_v||(u,v＝1,2,…,N)，给出指定参数σ_share为小生境半径，如果d_uv＜σ_share，比较灰狼u与灰狼v之间的适应度值f_u,f_v的大小，并对其中适应度值较小的灰狼施以罚函数，即min(f_u,f_v)＝penalty。其中penalty函数的处罚力度由所求函数解值的大小决定。

步骤46)狼群对猎物进行攻击并捕获猎物，即得到最优解。通过式A＝2a·r₁-a中a值从2到0的线性递减使狼群更加接近猎物，按照式A＝2a·r₁-a，C＝2·r₂更新参数a,A,C的值。

步骤47)若算法达到最大迭代次数t，那么算法结束并输出最优解X_α作为CNN分类器的初始权重；否则，返回步骤42)。

优选的，所述步骤1)，步骤2)中，p按照经验取10。

优选的，所述步骤31)中，R按照经验取72，m0按照经验取1,n0按照经验取21，k0按照经验取64。

优选的，所述步骤42)中，N按照经验取12，t按照经验取1，penalty按照经验选择外罚函数法。

有益效果：本发明采用以上技术方案与现有技术相比，具有以下技术效果：

本发明对输入的视频帧生成动作库和局部时空特征，再借助时空特征从视频运动中检测兴趣点并对其提取深度卷积特征，然后用改进的GWO算法获得CNN分类器最优的权重并利用反向传播算法训练多个CNN分类器，最后融合多个分类器的输出以纠正结果。通过这些方法的应用对无约束视频中人体动作完成分类并在传统方法上提高分类性能，具有高度的鲁棒性与实效性。具体来说：

(1)本发明为视频生成动作库与局部时空特征，并将其馈送至CNN分类器，能够确定视频运动中的兴趣点，一定程度上减少了噪声影响。

(2)本发明使用改进的小生境灰狼优化算法，相较传统优化算法在收敛速度及求解精度上有明显改善。

(3)本发明使用混合CNN与改进的GWO方法，通过训练具有梯度下降和GWO全局搜索能力的CNN分类器从而减少分类错误，极大程度上提高了分类性能。

附图说明

图1是基于混合卷积神经网络与小生境灰狼优化的视频中人体动作分类方法流程。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

本发明的一种混合卷积神经网络与小生境灰狼优化的视频中人体动作分类方法包括以下步骤：

在具体实施中，图1是混合卷积神经网络与小生境灰狼优化的视频中人体动作分类方法流程。首先输入视频帧序列，输入视频帧序列，使用动作库中的动作检测器通过体积最大池化将相关视频体积转化为73维响应向量。检测相似动作之间的特征，检测视频中的兴趣点并提取局部时空特征。输入动作库和局部时空特征，提取深度卷积特征，通过1个CNN分类器对该深度卷积特征分类；初始化完全连接的网络并训练CNN。

接着利用梯度下降算法减少GWO算法需要搜索的候选者数量加速搜索过程，GWO算法通过搜索不同的权重初始化集合确定更接近全局的局部最优，为多个CNN分类器分配最佳权重。

最后CNN分类器的输出以二进制方式解码为(w₁,w₂,…w_c)，接着CNN分类器的初步训练通过输出w_r＝1和w_s＝0完成，s为正整数。然后通过输出w_r＝1和w_s＝1执行分类器的训练。其中，r表示受观察的类，c表示类的数量。多个分类器的分类结果利用最大规则的融合函数进行融合。即若融合模型共中第i^th个分类器包含输出w_1i,w_2i,…,w_ci(i＝1,2,...m)，m是分类器总数，则第j^th融合模型的输出即为M_j＝max{w_j1,w_j2,...,w_jn}(j＝1,2,…n)，n是融合模型总数。将所有模型产生的分类证据融合，最终识别出相应的动作标签。

Claims (6)

1.一种混合卷积神经网络与小生境灰狼优化的人体动作分类方法，其特征在于，包括以下步骤：

步骤1)输入视频帧序列，动作库中的每个单独的动作检测器通过体积最大池化将相关视频体积转化为73维响应向量；使用尺寸为p的动作库为其生成p*73的动作库特征，所述动作库是一种新的视频动作的高级表示，它将视频嵌入到由各种动作检测器组成的动作空间，尺寸为p指包含p个动作检测器；

步骤2)通过p个动作检测器检测相似动作之间的特征，检测视频中的时空兴趣点并提取局部时空特征，所述时空兴趣点是像素值在时空邻域变化较大的点，且其局部邻域包含丰富图像信息，所述局部时空特征不易受衣着、光照、运动特性等影响；

步骤3)输入动作库特征和局部时空特征，提取深度卷积特征，通过1个CNN分类器对特征分类；初始化完全连接的网络并训练CNN；

步骤4)利用梯度下降算法减少GWO算法需要搜索的候选者数量加速搜索过程，GWO算法通过搜索不同的权重初始化集合确定更接近全局的局部最优，为多个CNN分类器分配最佳权重；

步骤5)将生成的动作库特征和局部时空特征馈送到CNN分类器，CNN分类器的输出以二进制方式解码为(w₁,w₂,…w_c)，接着CNN分类器的初步训练通过输出w_r＝1和w_s＝0完成，为正整数；然后通过输出w_r＝1和w_s＝1执行分类器的训练；其中，r表示受观察的类，c表示类的数量；多个分类器的分类结果利用最大规则的融合函数进行融合；即若融合模型共中第i^th个分类器包含输出w_1i,w_2i,...,w_ci(i＝1,2,...m)，m是分类器总数，则第j^th融合模型的输出即为M_j＝max{w_j1,w_j2,...,w_jn}(j＝1,2,…n)，n是融合模型总数。

2.根据权利要求1所述的一种混合卷积神经网络与小生境灰狼优化的人体动作分类方法，其特征在于，所述步骤3)具体如下：

步骤31)输入动作库初始R个元素和视频帧中移动动作的兴趣点，初始的卷积层使用水平线性，尺寸为m0*n0的卷积掩模进行特征提取；使用k0个实数参与对GWO框架适应度评估；对GWO群体初始化，利用初始的k0-1个实数编码卷积掩模，最后1个实数作为随机数生成器的种子值；通过解码搜索确定候选者(α₀，β₀，δ₀)的适应度得分；R是输入元素总数，m0，n0分别是卷积掩模这一二维矩阵的行数、列数，k0是参与评估GWO框架适应程度的实数总数；

步骤32)使用尺寸为1*2的子样本掩模最小化采样过程中数据丢失；

步骤33)重复步骤31)和32)，使用相同的卷积掩模提取特征，同时计算GWO框架适应度，子样本掩模压缩数据并提取主要特征，最终提取深度卷积特征；

步骤34)利用卷积层掩模相关的权重作为特征标识符，随机数发生器生成种子，两者结合初始化完全连接的神经网络，将提取的深度卷积特征作为完全连接网络的输入训练CNN确定初步动作标签。

3.根据权利要求1所述的一种混合卷积神经网络与小生境灰狼优化的人体动作分类方法，其特征在于，所述步骤4)具体如下：

步骤41)CNN分类器通过反向传播算法训练，忽略有限数量的过度拟合数据；再通过梯度下降算法，检测陷入局部最小值的解；

步骤42)初始化灰狼种群搜索空间，初始化N，D，t,pently等参数以及灰狼群体X＝(X₁,X₂,…,X_N)，每个灰狼的位置X_i＝(x_i1,x_i2,…,x_iD)^T,(i＝1,2,…,N)在分散的狼群中不断转移注意直至检测到猎物后狼群合并；N是灰狼总数，D是灰狼与猎物之间的距离，t是迭代次数，pently是罚函数；

步骤43)计算每个灰狼群体的适应度值f_k，将适应度值排列前三的灰狼个体的位置分别记为X_α，X_β，X_δ，并将适应度最好的X_α记为最优解；对确定位置的猎物进行包围，包围特征用数学方式描述；在此过程中猎物与灰狼的距离为D＝|C·Xp(t)-X(t)|，X(t+1)＝Xp(t)-A·D，其中D为灰狼与猎物之间的距离，t为迭代次数，Xp(t)为第t次迭代后猎物的位置，即最优解的位置；X(t)为第t次迭代后灰狼的位置，即潜在解的位置；A和C为系数因子，其计算公式为A＝2a·r₁-a，C＝2·r₂；其中a随着迭代次数的增加从2到0呈线性递减，r₁,r₂为[0，1]之间的随机数；

步骤44)β、δ狼在α狼带领下对猎物进行追捕，在追捕过程中狼群个体的位置会随猎物的逃跑而改变，根据α,β,δ更新后的位置重新确定猎物，即最优解的位置，更新方程为其中D_α，D_β，D_δ分别表示α，β，δ狼与其他个体之间的距离；

步骤45)对于D维空间灰狼u的位置为X_u＝(x_u1,x_u2,…,x_uD)^T，灰狼v的位置为X_v＝(x_v1,x_v2,…x_vD)^T，则灰狼u与灰狼v之间的欧式距离为d_uv＝||X_u-X_v||(u,v＝1,2,…,N)，给出指定参数σ_share为小生境半径，如果d_uv＜σ_share，比较灰狼u与灰狼v之间的适应度值f_u,f_v的大小，并对其中适应度值较小的灰狼施以罚函数，即min(f_u,f_v)＝penalty；其中penalty函数的处罚力度由所求函数解值的大小决定；

步骤46)狼群对猎物进行攻击并捕获猎物，即得到最优解；通过式A＝2a·r₁-a中a值从2到0的线性递减使狼群更加接近猎物，按照式A＝2a·r₁-a，C＝2·r₂更新参数a,A,C的值；

步骤47)若算法达到最大迭代次数t，那么算法结束并输出最优解X_α作为CNN分类器的初始权重；否则，返回步骤42)。

4.根据权利要求1所述的一种混合卷积神经网络与小生境灰狼优化的人体动作分类方法，其特征在于，所述步骤1)，步骤2)中，p按照经验取10。

5.根据权利要求1所述的一种混合卷积神经网络与小生境灰狼优化的人体动作分类方法，其特征在于，所述步骤31)中，R按照经验取72，m0按照经验取1，n0按照经验取21，k0按照经验取64。

6.根据权利要求1所述的一种混合卷积神经网络与小生境灰狼优化的人体动作分类方法，其特征在于，所述步骤42)中，N按照经验取12，t按照经验取1，penalty按照经验选择外罚函数法。