CN112633209B - 一种基于图卷积神经网络的人类动作识别方法 - Google Patents

Abstract

本发明公开了一种基于图卷积神经网络的人类动作识别方法，准备人类动作视频数据，并进行标注，并根据不同种类的动作对视频标签进行标注；使用openpose姿态估计算法对人类动作视频数据进行骨骼关键点特征的提取，然后通过骨骼点主流网络计算相邻帧骨骼关键点变化速度并进行特征拼接；对骨骼关键点进行筛选并通过角度分支网络计算筛选的骨骼关键点的夹角并进行特征拼接；将拼接好的数据传入图神经网络；将图卷积从空间域扩展到时间域；使用一个交叉注意力模型来增强网络的性能；人类动作识别。本发明能够将输入的视频中的人类所表现的动作识别出来并输出，并具有良好的易用性和鲁棒性，为人工智能技术在动作识别领域实际落地奠定一定的基础。

Description

一种基于图卷积神经网络的人类动作识别方法

技术领域

本发明涉及计算机视觉技术领域，特别是一种基于图卷积神经网络的人类动作识别方法。

背景技术

人工智能技术已经辐射到各行各业，动作识别技术更是诸多热门应用和需求的关键技术，已经成了当下计算机视觉领域最受关注的方向之一。例如在智能监控摄像头中对人类异常行为的检测和报警，在视频中对人类行为的分类和检索，包括采用在高画质游戏中的动作采集技术，可以将职业演员的动作放入游戏之中，给玩家带来沉浸感。相信在未来动作识别技术将会有越来越多的应用。

目前计算机视觉领域常常将类似技术应用在人类动作识别方向，其中主要分为两种方法，一种是基于视频的RGB和光流的方法，另一种是基于人类骨骼关键点的方法。其中基于视频的RGB和光流的方法可以对任务进行端到端的学习，但是对视频提取光流是一项非常繁重的任务，虽然目前已有各种方法来减小提取光流带来的损耗，但是光流对动作识别始任务始终是一种强有力的特征。而基于人类骨骼关键点的方法是在姿态估计技术发展成熟后新兴起的一种动作识别方法，与传统基于视频的RGB和光流的方法相比较，它可以对人类行为进行更有效的建模，因为传统方法无法避免背景和光线变换带来的影响。另一方面它需要使用姿态估计算法对视频进行特征提取，在这方面要比传统方法多一个步骤。另外，现有的针对动作识别方法只是简单的利用了骨骼关键点数据，而描述动作的信息不只是坐标，角度和其变化的速度也是动作识别特征描述的一个重要元素。

因此，针对目前该领域的现状，与动作本身的复杂性，需要一种针对该任务的具有深度学习理论基础和描述元素更多的人类动作识别方法。

发明内容

本发明的目的是针对目前该领域的现状，与动作本身的复杂性，提供一种基于图卷积神经网络的人类动作识别方法。

为达到上述目的，本发明是按照以下技术方案实施的：

一种基于图卷积神经网络的人类动作识别方法，包括如下步骤：

步骤1：准备人类动作视频数据，并进行标注，并根据不同种类的动作对视频标签进行标注；

步骤2：使用openpose姿态估计算法对人类动作视频数据进行骨骼关键点特征的提取，然后通过骨骼点主流网络计算相邻帧骨骼关键点变化速度并进行特征拼接；对骨骼关键点进行筛选并通过角度分支网络计算筛选的骨骼关键点的夹角并进行特征拼接；

步骤3：将拼接好的数据传入图神经网络；

步骤4：将图卷积从空间域扩展到时间域；

步骤5：使用一个交叉注意力模型来增强网络的性能；

步骤6：构建由九个时空卷积模块加全局池化层，和Softmax层组成的图卷积神经网络，全局池化层作用为对图结构中的节点特征进行汇总，以将节点级的特征升级为图级别的特征，再通过Softmax层输出人类动作视频中人的动作编号。

进一步地，所述步骤2具体包括：

步骤2.1：首先对视频进行裁剪，保证每个视频中人类位于视频中央；

步骤2.2：使用openpose姿态估计算法进行人体骨骼关键点提取，对视频S取15个等分点S＝(T1,...,T2,...,T3,...,T4,...,T5,...,T6,....,T15)，将每个点的骨骼关键点数据保存下来，每次提取出18个骨骼关键点，分别代表人体的18个部位，将单帧视频的长度设置为L，视频宽度设为W，对提取的骨骼关键点坐标进行归一化处理，用Tn表示第n帧的骨骼关键点数据，那么归一化后的Tn：

其中x_n为第n个骨骼关键点的横坐标，y_n为第n个骨骼关键点的纵坐标，Tn即为归一化后的第n帧的骨骼关键点坐标；

步骤2.3：计算相邻帧关键点变化速度，速度Vn：

V_n＝((x_1n-x_1n-1,y_1n-y_1n-1),(x_2n-x_2n-1,y_2n-y_2n-1),...,(x_18n-x_18n-1,y_18n-y_18n-1))

；其中x和y的具体意义与步骤2.2中相同；获得速度V之后进行特征拼接，拼接后的总特征Dn：

D_n＝Cancate(T_n,T_n′,V_n)；

其中T_n和T_n'分别表示在n时刻侧面和前面获得的归一化骨骼关键点坐标，Cancate函数表示对括号内变量进行拼接；

步骤2.4：对openpose提取的的骨骼关键点进行筛选，保存左膝盖、右膝盖、左腰、右腰、左肩膀、右肩膀、左手肘、右手肘；

步骤2.5：计算夹角：

(5)膝盖：

(6)腰：

(7)肩膀：

(8)手肘：

进一步地，所述步骤3具体包括：

步骤3.1：采用openpose姿态估计算法识别出的默认人体骨骼结构作为图神经网络的基础连接，将图神经网络结构的邻接矩阵设为A_k，表示第k层网络的邻接矩阵，是一个N×N的二维矩阵，其中N等于18，表示18个骨骼关键点；A(n1，n2)位置表示n1和n2位置的连接状态，值为1表示相连，值为0表示不相连；

步骤3.2：将图神经网络结构的邻接矩阵设为B_k，它表示第k层的动作结构邻接矩阵；该矩阵也是一个N×N的二维矩阵，含义与A的含义相同，不同的是该矩阵没有固定的值，它的每一个元素都是一个可训练的参数；

步骤3.3：将图神经网络结构的邻接矩阵设置为C_k，格式与A和B一致，C_k(n1,n2):

该过程是一个归一化的高斯嵌入法，来计算任意两个骨骼关键点之间的相似性，θ与分别为两个嵌入方法，T表示矩阵转置，让最后输出维度不变；Softmax方法使最后的值变为0和1，表示相连与否；最后图神经网络的输出公式为：

其中f_in和f_out分别表示该层网络的输入和输出，K表示图神经网络的总层数，W表示卷积参数。

进一步地，所述步骤4具体包括：

对于点n_ij，定义i表示第i帧，j表示第j个骨骼关键点，每次时间域卷积仅涉及相同的骨骼关键点，则有公式：

W是卷积参数，第n层的输出。

进一步地，所述步骤5具体包括：

步骤5.1：交叉注意力通过骨骼关节角度网络分支的特征图来增强主网络流的表达能力，其公式为：

f_attention＝(1+Attention)*f_out；

步骤5.2：Attention的计算方法为：

Attention＝g(f_self,f_cross)*f_out

其中f_self是主网络输出特征图的自注意力权重，f_cross为关节角度和主网络数据的交叉注意力权重，二者相加为主网络特征图增加权重，其中g表示将二者维度变换到f_out的维度并相加，其中f_cross为：

其中v(T,N,d)为主网络特征图，其中N为主网络数据骨骼关节点的数量，d表示每个关节点的特征维度；a(T,k,m)为关节角度网络特征图，k表示骨骼关节角度数据的关节数量，m为其维度。

进一步地，所述步骤6具体包括：

步骤6.1：输入先进行保留一个残差连接到该模块最后，第一个操作是进行空间域图卷积，然后是批量归一化操作BatchNormalization，ReLU激活层，系数为0.5的dropout层，然后进行空间图卷积，再接一个批量归一化操作BatchNormalization和ReLU激活层，网络总结构是由九个时空卷积模块加全局池化层，和Softmax层组成。

步骤6.2：网络中的全局池化层作用为对图结构中的节点特征进行汇总，以将节点级的特征升级为图级别的特征，再通过Softmax层输出本次视频中人的动作编号。

与现有技术相比，本发明的一种基于图卷积神经网络的人类动作识别方法，能够将输入的视频中的人类所表现的动作识别出来并输出，并具有良好的易用性和鲁棒性，为人工智能技术在动作识别领域实际落地奠定一定的基础。

附图说明

图1为本发明的基于图卷积神经网络的人类动作识别方法的流程图。

图2为交叉注意力网络结构。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步的详细说明。此处所描述的具体实施例仅用于解释本发明，并不用于限定发明。

如图1、图2所示，本实施例提供了一种基于图卷积神经网络的人类动作识别方法，包括以下几个步骤：

步骤1：准备人类动作视频数据，并进行标注，并根据不同种类的动作对视频标签进行标注，从0开始；

步骤2.1：对基础数据进行特征提取和特征设计作为运动信息特征；

步骤2.1.1：首先对视频进行裁剪，保证每个视频中人类位于视频中央；

步骤2.1.2：使用openpose姿态估计算法进行人体骨骼关键点提取，我们对视频S取15个等分点S＝(T1,...,T2,...,T3,...,T4,...,T5,...,T6,....,T15)，将每个点的骨骼关键点数据保存下来。每次提取出18个骨骼关键点，分别代表人体的18个部位。将单帧视频的长度设置为L，视频宽度设为W，对提取的骨骼关键点坐标进行归一化处理，用Tn表示第n帧的骨骼关键点数据，那么归一化后的Tn：

其中x_n为第n个骨骼关键点的横坐标，y_n为第n个骨骼关键点的纵坐标，Tn即为归一化后的第n帧的骨骼关键点坐标。

步骤2.1.3：计算相邻帧关键点变化速度，速度Vn：

V_n＝((x_1n-x_1n-1,y_1n-y_1n-1),(x_2n-x_2n-1,y_2n-y_2n-1),...,(x_18n-x_18n-1,y_18n-y_18n-1))

其中x和y的具体意义与步骤2.2中相同。获得速度V之后我们进行特征拼接，拼接后的总特征Dn：

D_n＝Cancate(T_n,T_n′,V_n)

其中T_n和T′_n分别表示在n时刻侧面和前面获得的归一化骨骼关键点坐标，Cancate函数表示对括号内变量进行拼接。

步骤2.2：对骨骼点数据进一步提炼作为高阶信息，并以此类数据与步骤2.1中数据组成双流网络相互补充；

步骤2.2.1：因为关节角度对动作类别影响至关重要，所以对openpose提取的的人体骨骼关键点进行筛选，我们保存左膝盖、右膝盖、左腰、右腰、左肩膀、右肩膀、左手肘、右手肘；

步骤2.2.2：计算夹角：

(1)膝盖：

(2)腰：

(3)肩膀：

(4)手肘：

步骤3：将拼接好的数据传入图神经网络，其中图神经网络结构主要包括三个部分；

步骤3.1：第一个部分采用openpose姿态估计算法识别出的默认人体骨骼结构作为图神经网络的基础连接，这一部分基础结构的作用是适应人类的基础运动形式，对任何形式的动作都具有一定的建模能力，我们将该图结构的邻接矩阵设为A_k，表示第k层网络，他是一个N×N的二维矩阵，其中N等于18，表示18个骨骼关键点。A(n1，n2)位置表示n1和n2位置的连接状态，值为1表示相连，值为0表示不相连；

步骤3.2：第二个部分为了弥补基础结构对动作多样性的拟合能力，我们将该结构的邻接矩阵设为B_k，它表示第k层的结构邻接矩阵。该矩阵也是一个N×N的二维矩阵，含义与A的含义相同，不同的是该矩阵没有固定的值，它的每一个元素都是一个可训练的参数，由训练阶段自动学习哪些连接方式对动作有更好的弥补作用；

步骤3.3：第三部分是一个数据驱动的图结构，对于每一个不同的动作他都有不同的值，我们将该矩阵设置为C_k，格式与A和B一致，C_k(n1,n2):

该过程是一个归一化的高斯嵌入法，来计算任意两个骨骼关键点之间的相似性，θ与分别为两个嵌入方法，T表示矩阵转置，让最后输出维度不变。Softmax方法使最后的值变为0和1，表示相连与否。最后图神经网络的输出公示为：

其中f_in和f_out分别表示该层网络的输入和输出，K表示图神经网络的总层数，A矩阵B矩阵C矩阵在定义在上面步骤中介绍过了，W表示卷积参数；

步骤4：将图卷积从空间域扩展到时间域，对于点n_ij，此时我们定义i表示第i帧，j表示第j个骨骼关键点，我们每次时间域卷积仅涉及相同的谷歌关键点，则有公式：

W是卷积参数，第n层的输出，其它变量定义与其相同。

步骤5：使用一个交叉注意力模型来增强网络的性能，具体步骤如下，其结构如图2所示：

步骤5.1：交叉注意力通过骨骼关节角度网络分支的特征图来增强主网络流的表达能力，其公式为：

f_attention＝(1+Attention)*f_out

该自注意力模型是一个残差注意力模型，因为当网络层数加深时，简单的注意力堆叠会导致一些特征消失。

步骤5.2：Attention的计算方法为：

Attention＝g(f_self,f_cross)*f_out

其中f_self是主网络输出特征图的自注意力权重，f_cross为关节角度和主网络数据的交叉注意力权重，二者相加为主网络特征图增加权重。其中g表示将二者维度变换到f_out的维度并相加。其中f_cross为：

其中v(T,N,d)为主网络特征图，其中N为主网络数据骨骼关节点的数量，d表示每个关节点的特征维度；a(T,k,m)为关节角度网络特征图，k表示骨骼关节角度数据的关节数量，m为其维度。该公式分别计算了两个网络不同关节点之间的关联，并作为交叉注意力使用。

步骤6：空间域和时间域的卷积细节由步骤3和步骤4详细介绍，一个时空图卷积模块是一个完整的***。输入先进行保留一个残差连接到该模块最后，第一个操作是进行空间域图卷积，然后是批量归一化操作BatchNormalization，ReLU激活层，系数为0.5的dropout层，然后进行空间图卷积，再接一个批量归一化操作BatchNormalization和ReLU激活层。而网络的两个分支分别是由九个时空卷积模块加全局池化层，和Softmax层组成。最终通过Softmax分类器得到动作类别。

当然，在使用本实施例的图卷积神经网络来识别人类动作之前，要先进行模型的训练，训练部分使用Pytorch框架，使用CrossEntropy交叉熵损失函数，其公式为：

Loss＝-[ylogy`+(1-y)log(1-y`)]

其中y为样本的label，y`为我们模型预测的结果。在训练时我们将batch size设置为64.使用动量为0.9的SGD随机梯度下降法进行优化，并将权重衰减设置为0.0001，共计30个epoch。

本发明的技术方案不限于上述具体实施例的限制，凡是根据本发明的技术方案做出的技术变形，均落入本发明的保护范围之内。

Claims (4)

1.一种基于图卷积神经网络的人类动作识别方法，其特征在于，包括如下步骤：

步骤1：准备人类动作视频数据，并进行标注，并根据不同种类的动作对视频标签进行标注；

步骤2：使用openpose姿态估计算法对人类动作视频数据进行骨骼关键点特征的提取，然后通过骨骼点主流网络计算相邻帧骨骼关键点变化速度并进行特征拼接；对骨骼关键点进行筛选并通过角度分支网络计算筛选的骨骼关键点的夹角并进行特征拼接；

步骤2.1：首先对视频进行裁剪，保证每个视频中人类位于视频中央；

步骤2.2：使用openpose姿态估计算法进行人体骨骼关键点提取，对视频S取15个等分点S＝(T1,...,T2,...,T3,...,T4,...,T5,...,T6,....,T15)，将每个点的骨骼关键点数据保存下来，每次提取出18个骨骼关键点，分别代表人体的18个部位，将单帧视频的长度设置为L，视频宽度设为W，对提取的骨骼关键点坐标进行归一化处理，用Tn表示第n帧的骨骼关键点数据，那么归一化后的Tn：

其中x_n为第n个骨骼关键点的横坐标，y_n为第n个骨骼关键点的纵坐标，Tn即为归一化后的第n帧的骨骼关键点坐标；

步骤2.3：计算相邻帧关键点变化速度，速度Vn：

V_n＝((x_1n-x_1n-1,y_1n-y_1n-1),(x_2n-x_2n-1,y_2n-y_2n-1),...,(x_18n-x_18n-1,y_18n-y_18n-1))；

其中x和y的具体意义与步骤2.2中相同；获得速度V之后进行特征拼接，拼接后的总特征Dn：

D_n＝Cancate(T_n,T′_n,V_n)；

其中T_n和T′_n分别表示在n时刻侧面和前面获得的归一化骨骼关键点坐标，Cancate函数表示对括号内变量进行拼接；

步骤2.4：对openpose提取的的骨骼关键点进行筛选，保存左膝盖、右膝盖、左腰、右腰、左肩膀、右肩膀、左手肘、右手肘；

步骤2.5：计算夹角：

(1)膝盖：

(2)腰：

(3)肩膀：

(4)手肘：

步骤3：将拼接好的数据传入图神经网络；

步骤4：将图卷积从空间域扩展到时间域；

步骤5：使用一个交叉注意力模型来增强网络的性能；

步骤5.1：交叉注意力通过骨骼关节角度网络分支的特征图来增强主网络流的表达能力，其公式为：

f_attention＝(1+Attention)*f_out；

步骤5.2：Attention的计算方法为：

Attention＝g(f_self,f_cross)*f_out

其中f_self是主网络输出特征图的自注意力权重，f_cross为关节角度和主网络数据的交叉注意力权重，二者相加为主网络特征图增加权重，其中g表示将二者维度变换到f_out的维度并相加，其中f_cross为：

其中v(T,N,d)为主网络特征图，其中N为主网络数据骨骼关节点的数量，d表示每个关节点的特征维度；a(T,k,m)为关节角度网络特征图，k表示骨骼关节角度数据的关节数量，m为其维度；

步骤6：构建由九个时空卷积模块加全局池化层，和Softmax层组成的图卷积神经网络，全局池化层作用为对图结构中的节点特征进行汇总，以将节点级的特征升级为图级别的特征，再通过Softmax层输出人类动作视频中人的动作编号。

2.根据权利要求1所述的基于图卷积神经网络的人类动作识别方法，其特征在于，所述步骤3具体包括：

步骤3.1：采用openpose姿态估计算法识别出的默认人体骨骼结构作为图神经网络的基础连接，将图神经网络结构的邻接矩阵设为A_k，表示第k层网络的邻接矩阵，是一个N×N的二维矩阵，其中N等于18，表示18个骨骼关键点；A(n1，n2)位置表示n1和n2位置的连接状态，值为1表示相连，值为0表示不相连；

步骤3.2：将图神经网络结构的邻接矩阵设为B_k，它表示第k层的动作结构邻接矩阵；该矩阵也是一个N×N的二维矩阵，含义与A的含义相同，不同的是该矩阵没有固定的值，它的每一个元素都是一个可训练的参数；

步骤3.3：将图神经网络结构的邻接矩阵设置为C_k，格式与A和B一致，C_k(n1,n2):

该过程是一个归一化的高斯嵌入法，来计算任意两个骨骼关键点之间的相似性，θ与分别为两个嵌入方法，T表示矩阵转置，让最后输出维度不变；Softmax方法使最后的值变为0和1，表示相连与否；最后图神经网络的输出公式为：

其中f_in和f_out分别表示该层网络的输入和输出，K表示图神经网络的总层数，W表示卷积参数。

3.根据权利要求2所述的基于图卷积神经网络的人类动作识别方法，其特征在于，所述步骤4具体包括：

对于点n_ij，定义i表示第i帧，j表示第j个骨骼关键点，每次时间域卷积仅涉及相同的骨骼关键点，则有公式：

W是卷积参数，第n层的输出。

4.根据权利要求3所述的基于图卷积神经网络的人类动作识别方法，其特征在于，所述步骤6具体包括：

步骤6.1：输入先进行保留一个残差连接到该模块最后，第一个操作是进行空间域图卷积，然后是批量归一化操作BatchNormalization，ReLU激活层，系数为0.5的dropout层，然后进行空间图卷积，再接一个批量归一化操作BatchNormalization和ReLU激活层，网络总结构是由九个时空卷积模块加全局池化层，和Softmax层组成；

步骤6.2：网络中的全局池化层作用为对图结构中的节点特征进行汇总，以将节点级的特征升级为图级别的特征，再通过Softmax层输出本次视频中人的动作编号。