CN108549841A - 一种基于深度学习的老人跌倒行为的识别方法 - Google Patents

Abstract

本发明涉及一种基于深度学习的老人跌倒行为的识别方法，基于卷积神经网络与长短时记忆网络构建深度神经网络，使用长短时记忆网络对视频进行建模，通过卷积神经网络提取图像特征，LSTM将底层CNN的输出连接起来作为下一时刻的输入,并最终使用softmax分类器对图像进行识别判断。本发明够针对人体行为通过自适应地选择区域或位置的序列并且仅以图像或视频中高分辨率处理所选择的区域提取信息，将其运用于老人跌倒行为的识别工作中，能够有效识别出老人的跌倒行为，提高行为识别的准确性。

Description

一种基于深度学习的老人跌倒行为的识别方法

技术领域

本发明涉及一种人体行为的识别方法，尤其是一种基于深度学习的老人跌 倒行为的识别方法，属于视频图像处理技术领域。

背景技术

随着我国老龄化问题越来越严重，养老问题日益成为社会关注的焦点问题。 由于子女不可能一直陪在父母身边，当老人跌倒时，如果不能及时发现，将会 导致很严重的后果。因此，对老人的跌倒行为及时检测并呼叫救援成为了迫切 需要解决的问题。目前，老人跌倒行为检测方法主要采用可穿戴式传感设备， 基于用户的行为数据和行为规律模型构建方法，基于多特征融合的视频监控技 术等方法。这些检测方法对于老人来说，容易忘记佩戴设备，操作繁琐，实时 性不高，且检测方法单一，容易出现误判。

近年来，递归神经网络因其有效的序列建模能力而被广泛应用于视频中的 行为识别。如何将深度学习理论拓展应用至动态视频中对老人的行为进行识别， 是一个至关重要的问题。

发明内容

本发明的目的在于：针对现有技术存在的缺陷，提出一种基于深度学习的 老人跌倒行为的识别方法，基于卷积神经网络与长短时记忆网络(LSTM)构建 深度神经网络，能够针对人体行为通过自适应地选择区域或位置的序列并且仅 以图像或视频中高分辨率处理所选择的区域提取信息，提高视频中的行为识别 的准确率，以达到优秀的识别精度。

为了达到以上目的，本发明提供了一种基于深度学习的老人跌倒行为的识 别方法，其特征在于：包括如下步骤，

步骤1、对视频图像进行预处理，例如去噪、灰度变换等，剔除无关的干 扰信息，便于选取人体特征明显的图像视频样本，即能清晰识别人体动作的视 频样本；

步骤2、将步骤1中的视频样本进行采样，并将得到的采样序列输入卷积 神经网络，通过Softmax分类器完成动作的分类；

步骤3、如果不是跌倒行为，则以原采样率继续进行检测，反之，则逐帧 采样，获取帧序列，将经过特征提取之后的帧序列输入循环神经网络；

步骤4、将步骤3中的输出信息输入Softmax分类器，通过Softmax分类 器识别判断出视频窗口的老人行为是否出现跌倒行为。如果不是，则重复步骤1、 2、3和4，反之，检测到跌倒行为，发出预警信息。

本发明的进一步限定技术方案为：3D卷积神经网络采用的是经典模型 AlexNet。在AlexNet输出结果后需要对结果进行平滑处理，计算公式如下：

其中代表在feature map中第i个卷积核(x,y)坐标处经过了ReLU激活函 数的输出，这个式子的含义就是一个值和它前后的n个值做标准化。k，n，α和 β都是超参数，本文由验证集确定为k＝2,n＝5,α＝10-4,β＝0.75k＝2,n＝5,α＝10- 4,β＝0.75。求和发生在feature map中，相同位置(x,y)的n个相邻kernel map 上。其中N是卷积核的总数，符号max和min是为了表示边缘几层的标准化方式。

输入的图像规模为224*224*3，在经过图像预处理之后，图像规模为 227*227*3。最后经过高斯过滤器得到1000个float型预测值。本文采用最大 值池化法，在卷积层之后仅包含一个单独的最大值池化阶段，接下来是两个共 享权值的全连接层，最后都与softmax层连接。该池化结构具有避免时间信息 的潜在损失的功能。

进一步的，长短时记忆神经网络(LSTM)用来处理卷积神经网络输出的激 活序列，由于视频是动态内容，与产生表现不变的最大汇集相反，我们建议使 用递归神经网络来明确考虑CNN激活序列。由于视频包含动态内容，因此帧之间 的差异可能会编码其他信息，这些信息可用于进行更准确的预测。

假设输入序列x＝(x₁,…，x_T)，标准循环神经网络隐层向量序列 h＝(h₁,K,h_T)和输出序列y＝(y₁,K,y_T)，则有下列关系：

h_t＝H(W_ihx_t+W_hhh_t-1+b_h)

y_t＝W_hoh_t+b_o

其中，W表示连接权重，如W_ih表示第i个输入单元到第h个隐藏单元 的连接权重，b_h表示第h个隐藏单元的偏置向量，H是激活函数，典型的有sigmoid 函数。

与传统的循环神经网络不同，LSTM使用记忆单元来存储和输出信息，其H函 数可以如下表示：

i_t＝σ(W_xix_t+W_hih_t-1+W_cic_t-1+b_i)

f_t＝σ(W_xfx_t+W_hfh_t-1+W_cfc_t-1+b_f)

c_t＝f_tc_t-1+i_ttanh(W_xcx_t+W_hch_t-1+b_c)

o_t＝σ(W_xox_t+W_hoh_t-1+W_coc_t+b_o)

h_t＝o_ttanh(c_t)

其中，σ是回归sigmoid函数，i，f，o和c分别代表输入门，遗忘门，输出 门和单元激活向量。

本发明使用的LSTM结构，共有5个LSTM层，每层有512个记忆单元组成， 在每帧最后由Softmax分类器进行行为预测。输入层是卷积神经网络的输出层。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：本发明提 出的一种基于深度学习的老人跌倒行为的识别方法，通过引入基于卷积神经网 络及长短时记忆网络的深度学习方法，将其运用于老人跌倒行为的识别工作中， 能够有效识别出老人的跌倒行为，提高行为识别的准确性。

附图说明

下面结合附图对本发明作进一步的说明。

图1是本发明中卷积神经网络的模型框图。

图2是本发明中LSTM的模型框图。

图3是本发明的流程示意图。

具体实施方式

下面对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范 围并不受具体实施方式的限制。

除非另有其它明确表示，否则在整个说明书和权利要求书中，术语“包括” 或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或组成部 分，而并未排除其它元件或其它组成部分。

本实施例提供了一种基于深度学习的老人跌倒行为的识别方法，使用LSTM 对视频进行建模，LSTM将底层CNN的输出连接起来作为下一时刻的输入，并最 终使用softmax进行判断。

该方法的具体步骤如下：

步骤1、对视频图像进行预处理，例如去噪、灰度变换等，剔除无关的干 扰信息，便于选取人体特征明显的图像视频样本，即能清晰识别人体动作的视 频样本；

步骤2、将步骤1中的视频样本进行采样，并将得到的采样序列输入卷积 神经网络，通过Softmax分类器完成动作的分类；

步骤3、如果不是跌倒行为，则以原采样率继续进行检测，反之，则逐帧 采样，获取帧序列，将经过特征提取之后的帧序列输入循环神经网络；

步骤4、将步骤3中的输出信息输入Softmax分类器，通过Softmax分类 器识别判断出视频窗口的老人行为是否出现跌倒行为。如果不是，则重复步骤1、 2、3和4，反之，检测到异常行为，发出预警信息。

1.基于3D卷积神经网络的行为特征提取

卷积神经网络(Convolution neural network,CNN)是基于深度学习理论的 一种人工神经网络，其优势在于利用权值共享来减小传统神经网络中的参数膨 胀问题。卷积神经网络使用了经典框架AlexNet，并将其扩展到3D-CNN。3D卷积 通过利用一个3D卷积核对一个堆叠的连续帧形成的视频小片段进行卷积来实现。 通过这个方法，各个卷积层的特征图与上一层中的多个连续帧相连接，并捕获 时域信息。通常，第i层的第j个特征图中位置(x,y,z)的值可以表示为：

其中，p，q和r分别是3D卷积核的高、宽以及时间域上的长度，是3D卷积 核与上一层第m个特征图相连的权值。

如图1所示，输入的图像规模为224*224*3，在经过图像预处理之后，图像 规模为227*227*3。最后经过高斯过滤器得到1000个float型预测值。本文采用 最大值池化法，在卷积层之后仅包含一个单独的最大值池化阶段，接下来是两 个共享权值的全连接层，最后都与softmax层连接。该池化结构具有避免时间信 息的潜在损失的功能。

2.LSTM网络构架

本发明使用循环神经网络来处理卷积神经网络输出的激活序列，由于视频 是动态内容，与产生表现不变的最大汇集相反，我们建议使用递归神经网络来 明确考虑CNN激活序列。由于视频包含动态内容，因此帧之间的差异可能会编码 其他信息，这些信息可用于进行更准确的预测。

假设输入序列x＝(x₁,…，x_T)，标准循环神经网络隐层向量序列 h＝(h₁,K,h_T)和输出序列y＝(y₁,K,y_T)，则有下列关系：

h_t＝H(W_ihx_t+W_hhh_t-1+b_h) (2)

y_t＝W_hoh_t+b_o (3)

其中，W表示连接权重，如W_ih表示第i个输入单元到第h个隐藏单元 的连接权重，b_h表示第h个隐藏单元的偏置向量，H是激活函数，典型的有sigmoid 函数。

与传统的循环神经网络不同，LSTM使用记忆单元来存储和输出信息，其H函 数可以如下表示：

i_t＝σ(W_xix_t+W_hih_t-1+W_cic_t-1+b_i) (4)

f_t＝σ(W_xfx_t+W_hfh_t-1+W_cfc_t-1+b_f) (5)

c_t＝f_tc_t-1+i_ttanh(W_xcx_t+W_hch_t-1+b_c) (6)

o_t＝σ(W_xox_t+W_hoh_t-1+W_coc_t+b_o) (7)

h_t＝o_ttanh(c_t) (8)

其中，σ是回归sigmoid函数，i，f，o和c分别代表输入门，遗忘门，输出 门和单元激活向量。

本发明使用的LSTM结构如图3所示，共有5个LSTM层，每层有512个记忆单 元组成，在每帧最后由Softmax分类器进行行为预测。输入层是卷积神经网络 的输出层。

前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这 些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导， 可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本 发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本 发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围 意在由权利要求书及其等同形式所限定。

Claims (7)

1.一种基于深度学习的老人跌倒行为的识别方法，其特征在于：包括如下步骤，

步骤1、对视频图像进行预处理，例如去噪、灰度变换等，剔除无关的干扰信息，便于选取人体特征明显的图像视频样本，即能清晰识别人体动作的视频样本；

步骤2、将步骤1中的视频样本进行采样，并将得到的采样序列输入卷积神经网络，通过Softmax分类器完成动作的分类；

步骤3、如果不是跌倒行为，则以原采样率继续进行检测，反之，则逐帧采样，获取帧序列，将经过特征提取之后的帧序列输入循环神经网络；

步骤4、将步骤3中的输出信息输入Softmax分类器，通过Softmax分类器识别判断出视频窗口的老人行为是否出现跌倒行为。如果不是，则重复步骤1、2、3和4，反之，检测到跌倒行为，发出预警信息。

2.根据权利要求1所述的基于深度学习的老人跌倒行为的识别方法，其特征在于：所述深度神经网络依次包括输入层、卷积层、长短时记忆网络层及Softmax分类层；

信号传输过程为：将提取出的图像特征作为训练样本输入卷积层，由卷积层将训练样本转化成对应的激活序列，将各激活序列依时序输入长短时记忆网络层，由长短时记忆网络层输出子序列，并通过Softmax分类层识别行为动作。

3.根据权利要求1所述的基于深度学习的老人跌倒行为的识别方法，其特征在于：所述步骤2中的3D卷积神经网络采用的是经典模型AlexNet，并将其扩展到3D-CNN；通过利用一个3D卷积核对一个堆叠的连续帧形成的视频小片段进行卷积，各个卷积层的特征图与上一层中的多个连续帧相连接，并捕获时域信息；

第i层的第j个特征图中位置(x,y,z)的值可以表示为：

其中，p，q和r分别是3D卷积核的高、宽以及时间域上的长度，是3D卷积核与上一层第m个特征图相连的权值。

4.根据权利要求3所述的基于深度学习的老人跌倒行为的识别方法，其特征在于：所述3D卷积神经网络采用最大值池化法，在每一个卷积层之后仅包含一个单独的最大值池化层，由卷积层输出的特征图作为输入特征图被传送至池化层，由池化层对输入特征图进行压缩，提取主要特征。

5.根据权利要求3所述的基于深度学***滑处理，计算公式如下：

其中代表在feature map中第i个卷积核(x,y)坐标处经过了ReLU激活函数的输出，本式的含义为一个值和它前后的n个值做标准化；k，n，α和β均为超参数；求和发生在feature map中，相同位置(x,y)的n个相邻kernel map上，其中N是卷积核的总数，符号max和min是为了表示边缘几层的标准化方式。

6.根据权利要求1所述的基于深度学习的老人跌倒行为的识别方法，其特征在于：所述长短时记忆网络包括5个LSTM层，每层由512个记忆单元组成，各个记忆单元分别包括依次相连的输入门、遗忘门、cell及输出门；每帧依次经过长短时记忆网络层处理后所得图像特征由Softmax分类器进行分类，对行为作出识别并预测。

7.根据权利要求6所述的基于深度学习的老人跌倒行为的识别方法，其特征在于：所述长短时记忆网络使用记忆单元来存储和输出信息，其H函数可以如下表示：

i_t＝σ(W_xix_t+W_hih_t-1+W_cic_t-1+b_i) (4)

f_t＝σ(W_xfx_t+W_hfh_t-1+W_cfc_t-1+b_f) (5)

c_t＝f_tc_t-1+i_ttanh(W_xcx_t+W_hch_t-1+b_c) (6)

o_t＝σ(W_xox_t+W_hoh_t-1+W_coc_t+b_o) (7)

h_t＝o_ttanh(c_t) (8)

其中，σ是回归sigmoid函数，i，f，o和c分别代表输入门，遗忘门，输出门和记忆单元激活向量。