CN105160285A - 基于立体视觉的自动人体跌倒识别方法及*** - Google Patents

Abstract

本发明公开了一种基于立体视觉的自动人体跌倒识别方法，所述方法包括如下步骤：步骤一，通过立体视觉摄像头，采集识别对象动作的深度图像和3D空间图像；步骤二，从所述深度图像和3D空间图像中提取人体轮廓的曲率空间特征；步骤三，从所述人体轮廓的曲率空间特征中分析并构建CSS特征图；步骤四，使用词包CSS模型(BoWCSS)来创建了一种一致性的动作表示方法；步骤五，使用极限学习机(ELM)来对所有的词包CSS模型进行分类，用以区分跌倒动作和其它动作。相应地，本发明还提供了一种基于立体视觉的自动人体跌倒识别***。本发明可以在降低摄像头安装成本和复杂性的条件下，提高人体跌倒识别的准确率。

Description

基于立体视觉的自动人体跌倒识别方法及***

技术领域

本发明涉及计算机视觉处理技术领域，特别是涉及一种基于立体视觉的自动人体跌倒识别方法及***。

背景技术

已有的基于视觉传感器的人体跌倒***是通过一个或多个视频摄像头捕捉人体运动的画面，经过各自的图像处理算法，验证是否存在跌倒特征的图像，从而识别出人体跌倒的发生。已有的人体跌倒识别技术通常基于以下几种方案：单摄像头***和多摄像头***。单摄像头***通常依赖于从轮廓中提取出来的图像空间特征，比如边界盒子纵横比。多摄像头***并不单单依靠这些抽象特征，比如这种***可以判定从多重投影中构造出的三维物体的速率。

但是，上述两种传统的技术有很多的限制。例如，上述识别方法都是要先获取人体轮廓，然后提取出轮廓特征，用该特征对分类器进行训练。但是，提取人体轮廓特征时，由于需要用混合高斯模型对环境背景建模，然后用背景加法获取人体前景图像，这种方法由于光照和场景的变化通常得不到理想的效果。另外人体跌倒识别的关键点是特征的选择，由于人体姿态的多样性，这些方法用到的边界盒子纵横比等特征受到了严重的现在，因此寻找适合人体动作的特征也极其重要。最后，在多个摄像头***中，最复杂的任务往往变成了安装和校准摄像头，保证他们在相同的参考系中，这种任务开销随着***的复杂性而大大增加。

基于以上这些缺陷和限制，本发明提出了一种基于立体视觉摄像头的人体跌倒识别技术。

发明内容

本发明的目的是针对现有技术中存在的由于实现技术受限于摄像头缺陷影响、单摄像头***提取准确的图像特征十分困难、多摄像头***安装和配置起来十分的复杂，而且随着外界环境的变化，比如光线的强弱变化，对这些***的影响很大等，导致这些已有的***在现实中很难被应用的问题，而提供一种基于立体视觉的自动人体跌倒识别方法及***

为实现本发明的目的，本发明提供了一种基于立体视觉的自动人体跌倒识别方法，所述方法包括如下步骤：

步骤一，通过立体视觉摄像头，采集识别对象动作的深度图像和3D空间图像；

步骤二，从所述深度图像和3D空间图像中提取人体轮廓的曲率空间特征；

步骤三，从所述人体轮廓的曲率空间特征中分析并构建CSS特征图；

步骤四，使用词包CSS模型(BoWCSS)来创建了一种一致性的动作表示方法；

步骤五，使用极限学习机(ELM)来对所有的词包CSS模型进行分类，用以区分跌倒动作和其它动作。

相应地，本发明还提供了一种基于立体视觉的自动人体跌倒识别***，包括图像采集装置和数据处理装置，

所述图像采集装置为立体视觉景深摄像头，其用于采集识别对象动作的深度图像和3D空间图像；

所述数据处理装置包括人体轮廓的曲率空间特征提取模块、构建CSS特征图模块、动作表示方法创建模块、ELM分类模块，

所述人体轮廓的曲率空间特征提取模块用于从所述深度图像和3D空间图像中提取人体轮廓的曲率空间特征；

所述构建CSS特征图模块用于从所述人体轮廓的曲率空间特征中分析并构建CSS特征图；

所述动作表示方法创建模块用于使用词包CSS模型(BoWCSS)来创建了一种一致性的动作表示方法；

所述ELM分类模块用于使用极限学习机(ELM)来对所有的词包CSS模型进行分类，用以区分跌倒动作和其它动作。

与现有技术相比，本发明可以在降低摄像头安装成本和复杂性的条件下，提高人体跌倒识别的准确率。

附图说明

图1为本发明方法第一流程图；

图2为本发明***模块图；

图3为本发明方法第二流程图；

具体实施方式

以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提出了一种新的基于立体视觉(比如应用MicrosoftKinect景深摄像头)的人体跌倒识别***。本技术可以在降低摄像头安装成本和复杂性的条件下，提高人体跌倒识别的准确率。基于本技术的人体跌倒识别***，让人体跌倒识别可以广泛应用到家庭扶助或护理***中。本发明基于立体视觉景深摄像头，这种摄像头有两个深度传感器，一个红外线发射器，一个红外线接收器，可以用来识别目标的相对位置。利用这种摄像头可以得到深度图像和3D空间图像。这种深度数据可以简单地理解为一个特殊的图像，但是其每个像素的数据不是普通的图片的像素值，而是这个像素的位置距离摄像头的距离。因此，无论环境光线如何变化，测量结果都不会受到干扰。另外，我们还融合了2种计算机视觉的技术：跌倒的形态特征提取和区分日常活动与跌倒的学习分类器。采用这种技术，我们不需要设置多个摄像头来识别三维物体的速率，从而还降低了安装和配置的复杂度。

使用本发明时，将立体视觉摄像头安装在墙壁之上，让整个房间处于摄像头的监视范围之内。房间内人物的动作视频自动的被摔倒识别***分析。当房内人物摔倒在地时，识别***可根据上述描述的技术自动识别出人员是否摔倒。如果判断为真(摔倒)，本摔倒识别***检测人员的摔倒时间，若超出阈值，给出语音提示，若该人员仍无反应，立即发送警报给用户登陆的mobile，并通知急救中心。

如图1、图3所示，为本发明的方法流程图：

包括如下步骤：

步骤一，通过立体视觉摄像头，采集识别对象动作的深度图像和3D空间图像；

步骤二，从所述深度图像和3D空间图像中提取人体轮廓的曲率空间特征；

步骤三，从所述人体轮廓的曲率空间特征中分析并构建CSS特征图；

步骤四，使用词包CSS模型(BoWCSS)来创建了一种一致性的动作表示方法；

步骤五，使用极限学习机(ELM)来对所有的词包CSS模型进行分类，用以区分跌倒动作和其它动作。

步骤六，使用多长度极小群适应算法优化隐藏神经元的数量。

需要说明的是，本发明方法优选以下方式实施：

从所述深度图像和3D空间图像中提取人体轮廓的曲率空间特征，具体包括：

人体轮廓是封闭的平面曲线。曲率尺度空间表示描述了不同尺度水平下的平面曲线的不变特征。尺度C表示为：

C(u)＝(x(u)，y(u))

其中参数u表示弧长。u处的曲率定义为：

$k\left(u\right)=\frac{x^{\′}\left(u\right)y^{\′\′}\left(u\right)-x^{\′\′}\left(u\right)y^{\′}\left(u\right)}{{(x^{\′}{\left(u\right)}^2+y^{\′}{\left(u\right)}^2)}^{1.5}}$

考虑在尺度σ下对曲线的卷积，我们将曲率定义为：

$k(u,\mathrm{\σ})=\frac{X^{\′}(u,\mathrm{\σ})Y^{\′\′}(u,\mathrm{\σ})-X^{\′\′}(u,\mathrm{\σ})Y^{\′}(u,\mathrm{\σ})}{(X^{\′{(u,\mathrm{\σ})}^2}+Y^{\′{(u,\mathrm{\σ})}^2}){)}^{1.5}}$

C_σ当k(u，σ)＝0的点，为曲线的兴趣点。这些点称为零交叉点ZP。符号又负变为正的ZP点表示为ZP+，它表示了凹陷的开始点。相反地，曲率符号有正变为负的ZP点表示为ZP-，它表示凸起的开始点或凹陷的结束点。对于闭合的曲线，ZP+和ZP-总是成对出现。两个点之前的曲线部分时凹陷(ZP+，ZP-)或凸起(ZP-，ZP+)；利用由宽度为σ的高斯核函数对所述人体轮廓的平面曲线进行卷积计算，得到尺度σ下的平滑曲线，获取所述平滑曲线的CSS图，采用如下方法进行：C_σ的ZPs位置是由不同的尺度确定。本过程从σ＝1开始，尺度每次增加Δσ，计算每个尺度σ下的ZPs。随着σ的增大，收缩并变得更加平滑，而且轮廓上的ZPs变少。最终当σ足够大时，将变为一个没有ZPs的凸曲线。如果把所有的ZPs放到(u，σ)平面上，就形成了一个二值图，该二值图称为曲线的CSS图，水平轴为u，垂直轴为σ。在CSS图中，每个水平线与轮廓的交点表示相应卷积曲线上的ZPs的位置。随着曲线变得更为平滑，曲线上的凸起部分或凹陷部分的成对ZPs相互靠近，从而构成了该CSS图，所述CSS图轮廓顶点坐标表示了人体轮廓相应的凹陷部分或凸起部分的位置和深度，这些点是表示轮廓的稳定点，当两个点重合后，重合点表示了相关联的轮廓的最大值位置。CSS图中轮廓的高度反映了轮廓凹陷或凸起的深度和尺度。因此CSS图轮廓顶点坐标(u，σ)表示了人体轮廓相应的凹陷或凸起的位置和深度，这些点是表示轮廓的稳定点。

步骤四使用词包CSS模型(BoWCSS)来创建了一种一致性的动作表示方法，包括：根据权利要求3所述的基于立体视觉的自动人体跌倒识别方法，其特征在于，所述词包CSS模型建立的步骤，具体包括：将每个CSS顶点作为一个单词，而已用其归一化的弧长ω和尺度σ作为特征，因此每个视频序列是这些单词的总和；通过集合所有训练视频序列的顶点，采用k-means聚类方法对所有的特征向量(ω，σ)进行聚类并创建密码本，每个类别的聚类中心就是一个单词，用该单词来代表相似的特征向量；然后，通过聚类过程，将收集的视频片段映射到一个密码本，根据单词出现的频率构建单词直方图，该单词直方图用来表示视频动作特征，而这个单词直方图就是所构建的词包，根据单词直方图的匹配就可以进行特定动作的检测。

步骤五使用极限学习机(ELM)来对所有词包CSS模型进行分类，用以区分跌倒动作和其它动作，具体包括：ELM是前向反馈式神经网络，它有两个特点。首先，由于其单隐层结构，所以可以对ELM进行快速训练。其次，因为只有隐层节点权重需要调整，所以导致ELM的通用性非常好。人体跌倒识别需要对各种跌倒动作进行分类，而且需要将跌倒动作和其他动作进行区分。为了用较小的数据集进行快速的训练，我们选择应用极限学习机。给定N个不同标号的样本，给定一组样本x_j和它们的标签t_j，含有L个隐节点的ELM被建模为：

$\underset{i=1}{\overset{L}{\Σ}}{\mathrm{\β}}_{i}g({\mathrm{\ω}}_i\·x_j+b_i)=t_j,j=1,...N$

其中g(x)是ELM的激活函数。ω_i表示输入节点和第i个隐节点之间的连接权重向量，β_i表示第i个隐节点和输出节点之间的连接权重向量。b_i是作用于第i个隐节点的阈值。以矩阵方式重新上述方程，我们得到ELM的隐层输出矩阵H：

矩阵H的第i列是第i个隐节点相对于输入X_i，…，X_N的输出。方程的最小二乘解为其中为HMoore-Penrose逆矩阵。权重ω_i，…，ω_L和阈值b₁，…，b_L是由ELM随机分配的。为了使得有意义，我们设定L≤N。

步骤六为了顾及这个学习机对于参数的敏感性，我们使用一种多长度极小群适应算法去优化隐藏神经元的数量；

(1)建立一个初始化的带有粒子的群体为ELM，每个粒子的隐层神经元数量随机地从20到100中选取；

(2)为每个粒子计算适应函数；

(3)使用以下更新策略建立一个新的群体；

a.如果第i个粒子p_i(t)的行数nr_i比最优粒子的行数nr_g大，随机地分别从p_i(t)，v_i(t)和的行数nr_i中选取nr_g，并且设定

${p^{\′}}_i\left(t\right)=p_i\left(t\right)\left(\frac{{\mathrm{nr}}_g}{{\mathrm{nr}}_i}\right),{v^{\′}}_i\left(t\right)=v_i\left(t\right)\left(\frac{{\mathrm{nr}}_g}{{\mathrm{nr}}_i}\right),{p^{\′}}_i^{*}\left(t\right)=p_i^{*}\left(t\right)\left(\frac{{\mathrm{nr}}_g}{{\mathrm{nr}}_i}\right)$

之后，p′_i(t)，v′_i(t)和根据以下方程来更新：

$v_i(t+1)={\mathrm{\ωv}}_i\left(t\right)+c_1{r}_1\left(p_i^{*}\right(t)-p_i(t\left)\right)+c_2{r}_2\left(p_g^{*}\right(t)-p_i(t\left)\right)$

p_i(t+1)＝p_i(t)+v_i(t+1)

对于没有被选取的元素，p′_i(t)，v′_i(t)和根据以下方程来更新：

$\stackrel{\‾}{{v^{\′}}_i(t+1)}=\mathrm{\ω}\stackrel{\‾}{{v^{\′}}_i\left(t\right)}+c_1{r}_1\stackrel{\‾}{({p^{\′}}_i^{*}\left(t\right)}-\stackrel{\‾}{{p^{\′}}_i\left(t\right)})$

$\stackrel{\‾}{{p^{\′}}_i(t+1)}=\stackrel{\‾}{{p^{\′}}_i\left(t\right)}+\stackrel{\‾}{{v^{\′}}_i(t+1)}$

最后，重新堆栈p′_i(t+1)， 以及比如一个更新方案让其保证在蚁群进化算法中保证粒子的大小保持不变。

b.如果nr_i比最优粒子的行数nr_g小，随机地从的行数nr_i中选取nr_g，并且设定，

$p_{gi}^{\′}\left(t\right)=p_g^{*}\left(t\right)\left(\frac{{\mathrm{nr}}_i}{{\mathrm{nr}}_g}\right)$

之后，根据情况a中描述的方程来更新p_i(t)，v_i(t)；

(4)如果满足终止的条件，停止该过程并且输出最优权值，偏差和隐藏神经元的数量；否则回到步骤(2)。

如图2所示，与本发明中方法相对应地，我们也提供了一种使用该方法的***，

一种基于立体视觉的自动人体跌倒识别***，包括图像采集装置和数据处理装置，所述图像采集装置为立体视觉景深摄像头，其用于采集识别对象动作的深度图像和3D空间图像；所述数据处理装置包括人体轮廓的曲率空间特征提取模块、构建CSS特征图模块、动作表示方法创建模块、ELM分类模块，所述人体轮廓的曲率空间特征提取模块用于从所述深度图像和3D空间图像中提取人体轮廓的曲率空间特征；所述构建CSS特征图模块用于从所述人体轮廓的曲率空间特征中分析并构建CSS特征图；所述动作表示方法创建模块用于使用词包CSS模型(BoWCSS)来创建了一种一致性的动作表示方法；所述ELM分类模块用于使用极限学习机(ELM)来对所有的词包CSS模型进行分类，用以区分跌倒动作和其它动作。

在优选实施例中，所述数据处理装置还包括多长度极小群适应算法模块，所述多长度极小群适应算法模块用于优化隐藏神经元的数量。

在优选实施例中，所述词包CSS模型建立的步骤包括：CSS特征图特征提取，构建词包和用词包中的单词表示被识别图像。

利用本发明提供的方法进行试验，在本次实验中，我们使用低成本的Kinect景深摄像机制作了一个行为数据库。这个数据库中包含有六种行为(跌倒，弯腰，坐，蹲，行走，卧)和10个测试人员。实验结果显示我们的算法达到了91.15％的敏感率，77.14％的特异性以及86.83％的准确率。在公共数据库上，我们的算法和其它需要多台摄像机的跌倒识别算法相比，也表现出优秀的结果。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于立体视觉的自动人体跌倒识别方法，其特征在于，所述方法包括如下步骤：

步骤一，通过立体视觉摄像头，采集识别对象动作的深度图像和3D空间图像；

步骤二，从所述深度图像和3D空间图像中提取人体轮廓的曲率空间特征；

步骤三，从所述人体轮廓的曲率空间特征中分析并构建CSS特征图；

步骤四，使用词包CSS模型(BoWCSS)来创建了一种一致性的动作表示方法；

步骤五，使用极限学习机(ELM)来对所有的词包CSS模型进行分类，用以区分跌倒动作和其它动作。

2.根据权利要求1所述的基于立体视觉的自动人体跌倒识别方法，其特征在于，在步骤五之后所述方法还包括步骤六，使用多长度极小群适应算法优化隐藏神经元的数量。

3.根据权利要求1或2所述的基于立体视觉的自动人体跌倒识别方法，其特征在于，在步骤三之后，步骤四之前，所述方法还包括词包CSS模型建立的步骤包括：CSS特征图特征提取，构建词包和用词包中的单词表示被识别图像。

4.根据权利要求3所述的基于立体视觉的自动人体跌倒识别方法，其特征在于，所述词包CSS模型建立的步骤，具体包括：将每个CSS顶点作为一个单词，而已用其归一化的弧长ω和尺度σ作为特征，因此每个视频序列是这些单词的总和；通过集合所有训练视频序列的顶点，采用k-means聚类方法对所有的特征向量(ω，σ)进行聚类并创建密码本，每个类别的聚类中心就是一个单词，用该单词来代表相似的特征向量；然后，通过聚类过程，将收集的视频片段映射到一个密码本，根据单词出现的频率构建单词直方图，该单词直方图用来表示视频动作特征，而这个单词直方图就是所构建的词包，根据单词直方图的匹配就可以进行特定动作的检测。

5.根据权利要求1或2所述的基于立体视觉的自动人体跌倒识别方法，其特征在于，所述步骤二具体包括：

人体轮廓为封闭的平面曲线，通过计算人体轮廓上的凸起部分或凹陷部分，将人体轮廓表示为二维坐标***；

利用由宽度为σ的高斯核函数对所述人体轮廓的平面曲线进行卷积计算，得到尺度σ下的平滑曲线，获取所述平滑曲线的CSS图；

所述CSS图轮廓顶点坐标表示了人体轮廓相应的凹陷部分或凸起部分的位置和深度，这些点是表示轮廓的稳定点；

所述轮廓的稳定点为所述跌倒的形态特征。

6.根据权利要求1所述的基于立体视觉的自动人体跌倒识别方法，其特征在于，所述步骤三具体包括：

曲率尺度空间表示描述了不同尺度水平下的平面曲线的不变特征。尺度C表示为：

C(u)＝(x(u)，y(u))

其中参数u表示弧长。u处的曲率定义为：

考虑在尺度σ下对曲线的卷积，我们将曲率定义为：

当k(u，σ)＝0的点，为曲线的兴趣点，这些点称为零交叉点ZP，符号又负变为正的ZP点表示为ZP+，它表示了凹陷的开始点，相反地，曲率符号有正变为负的ZP点表示为ZP-，它表示凸起的开始点或凹陷的结束点，对于闭合的曲线，ZP+和ZP-总是成对出现，两个点之前的曲线部分时凹陷(ZP+，ZP-)或凸起(ZP-，ZP+)；利用由宽度为σ的高斯核函数对所述人体轮廓的平面曲线进行卷积计算，得到尺度σ下的平滑曲线，获取所述平滑曲线的CSS图，采用如下方法进行：

C_σ的ZPs位置是由不同的尺度确定，本过程从σ＝1开始，尺度每次增加Δσ，计算每个尺度σ下的ZPs，随着σ的增大，C_σ收缩并变得更加平滑，而且轮廓上的ZPs变少，最终当σ足够大时C_σ，将变为一个没有ZPs的凸曲线，如果把所有的ZPs放到(u，σ)平面上，就形成了一个二值图，该二值图称为曲线的CSS图，水平轴为u，垂直轴为σ，在CSS图中，每个水平线与轮廓的交点表示相应卷积曲线上的ZPs的位置，随着曲线变得更为平滑，曲线上的凸起部分或凹陷部分的成对ZPs相互靠近，从而构成了该CSS图，所述CSS图轮廓顶点坐标表示了人体轮廓相应的凹陷部分或凸起部分的位置和深度，这些点是表示轮廓的稳定点，当两个点重合后，重合点表示了相关联的轮廓的最大值位置，CSS图中轮廓的高度反映了轮廓凹陷或凸起的深度和尺度，因此CSS图轮廓顶点坐标(u，σ)表示了人体轮廓相应的凹陷或凸起的位置和深度，这些点是表示轮廓的稳定点。

7.根据权利要求2所述的基于立体视觉的自动人体跌倒识别方法，其特征在于，所述步骤六具体包括：

(1)建立一个初始化的带有粒子的群体为ELM，每个粒子的隐层神经元数量随机地从20到100中选取；

(2)为每个粒子计算适应函数；

(3)使用以下更新策略建立一个新的群体；

a.如果第i个粒子p_i(t)的行数nr_i比最优粒子的行数nr_g大，随机地分别从p_i(t)，v_i(t)和的行数nr_i中选取nr_g，并且设定

之后，p′_i(t)，v′_i(t)和根据以下方程来更新：

p_i(t+1)＝p_i(t)+v_i(t+1)

对于没有被选取的元素，p′_i(t)，v′_i(t)和根据以下方程来更新：

最后，重新堆栈p′_i(t+1)，v′_i(t+1)以及

b.如果nr_i比最优粒子的行数nr_g小，随机地从的行数nr_i中选取nr_g，并且设定，

之后，根据情况a中描述的方程来更新p_i(t)，v_i(t)；

(4)如果满足终止的条件，停止该过程并且输出最优权值，偏差和隐藏神经元的数量；否则回到步骤(2)。

8.一种基于立体视觉的自动人体跌倒识别***，其特征在于，包括图像采集装置和数据处理装置，

所述图像采集装置为立体视觉景深摄像头，其用于采集识别对象动作的深度图像和3D空间图像；

所述数据处理装置包括人体轮廓的曲率空间特征提取模块、构建CSS特征图模块、动作表示方法创建模块、ELM分类模块，

所述人体轮廓的曲率空间特征提取模块用于从所述深度图像和3D空间图像中提取人体轮廓的曲率空间特征；

所述构建CSS特征图模块用于从所述人体轮廓的曲率空间特征中分析并构建CSS特征图；

所述动作表示方法创建模块用于使用词包CSS模型(BoWCSS)来创建了一种一致性的动作表示方法；

所述ELM分类模块用于使用极限学习机(ELM)来对所有的词包CSS模型进行分类，用以区分跌倒动作和其它动作。

9.根据权利要求8所述的基于立体视觉的自动人体跌倒识别***，其特征在于，所述数据处理装置还包括多长度极小群适应算法模块，所述多长度极小群适应算法模块用于优化隐藏神经元的数量。

10.根据权利要求8或9所述的基于立体视觉的自动人体跌倒识别***，其特征在于，所述词包CSS模型建立的步骤包括：CSS特征图特征提取，构建词包和用词包中的单词表示被识别图像。