CN106611157A - 一种基于光流定位和滑动窗口检测的多人姿态识别方法 - Google Patents

Abstract

本发明公开了一种基于光流定位和滑动窗口检测的多人姿态识别方法，获取视频中图像光流向量，得到图像中运动物体的区域，利用基于身体部分的方法对运动物体区域进行人体姿态识别；对提取的运动区域进行滑动窗口检测，比对图像与身体部分外形模板的相似度；利用树形结构对人体建模；使用直方图相交操作来完成特征匹配识别工作；计算运动区域的对应关系，进行多人姿态识别、人数统计和人员跟踪。本发明利用大数据的治理体系，利用视频数据在问题发现、预测预警、监控度量等方面做出了贡献。本发明通过摄像头获取视频信息，自动识别视频中的人体目标，获得人员流量统计，人员追踪、人员区域分布等信息；在监控***智能化管理中具有十分重要的意义。

Description

一种基于光流定位和滑动窗口检测的多人姿态识别方法

技术领域

本发明属于动作识别技术领域，尤其涉及一种基于光流定位和滑动窗口检测的多人姿态识别方法。

背景技术

近年来，人体动作识别已经成为计算机视觉领域的研究热点，引起了众多学者的关注。随着大数据的兴趣，引用大数据的治理体系包括对大数据的采集、存储、管理、应用的全生命周期的管理，人们希望计算机能够自主的识别并且理解人类的日常动作，使计算机能够和人们更加自然的交流。目前动作识别主要应用于人机交互、医疗保健、智能安防、家居智能等领域。基于视频图像的运动人体目标识别与跟踪的重大意义不仅体现在科学研究中，同样在生活、工业和国防方面也有所体现，实用的产品也已由军用延伸到了民用行业，如超市、商场、车站、银行、道路交通、长途客车、市内公交车等安装的有监控***的场所。在人体行为识别研究方面，按照视频描述方式的不同，现有的识别方法可以分为两类：基于整体视频描述符法和基于局部视频描述符法。在基于特征或区域的非模型跟踪算法研究方面，提出了基于统计混合颜色和模型的方法、综合利用多帧图像结构信息的过渡稳定丢失跟踪框架算法、基于图像信息的视觉特征和跟踪目标的形状 轮廓等方法，该类方法，有效降低了算法的计算复杂度的同时，多目标跟踪效果良好。但是，此类方法主要的缺点是前期需要大量的预处理，例如标定身上的跟踪点、建立模型等，以及较高的设备要求、大量的时间和人力，不利于实时人体运动姿态的跟踪。在基于模型跟踪算法研究方面，提出了隐形马尔科夫模型、穿戴式传感器特征提取、时空特征提取等技术。该类算法其算法准确率较高和计算复杂度较低，但其有两个主要的缺点：(1)实时监控视频的准确性较低；(2)只利用了骨骼点信息，忽略了深度图和目标外观特征在某些条件下对提高识别准确性的影响。人体目标的识别与跟踪技术可以有效的对需要进行安全监控的特殊区域中的异常事件进行自动报警，例如海上作业平台远离陆地、作业环境复杂，人体目标和跟踪技术的应用可以有效地保障作业人员的安全和平台的安全作业。

综上所述，现有的人体行为识别方法存在前期需要大量的预处理，需要大量的时间和人力，不利于实时人体运动姿态的跟踪；实时监控视频的准确性较低；忽略了深度图和目标外观特征在某些条件下对提高识别准确性的影响。

发明内容

本发明的目的在于提供一种基于光流定位和滑动窗口检测的多人姿态识别方法，旨在解决现有的人体行为识别方法存在前期需要大量的预处理，需要大量的时间和人力，不利于实时人体运动姿态的跟踪；实时监控视频的准确性较低；忽略了深度图和目标外观特征在某 些条件下对提高识别准确性的影响的问题。

本发明是这样实现的，一种基于光流定位和滑动窗口检测的多人姿态识别方法，所述基于光流定位和滑动窗口检测的多人姿态识别方法获取视频中图像光流向量，得到图像中运动物体的区域，利用基于身体部分的方法对运动物体区域进行人体姿态识别；以获取图像序列中光流向量为基础，利用数据和空间约束检测出图像序列之间的光流向量变化，利用鲁棒性对参数进行优化，进行迭代和矫正获得光流信息，对提取的运动区域进行滑动窗口检测，比对图像与身体部分外形模板的相似度；

利用树形结构对人体建模，将图像对人体各个部分的响应以信息传递的方式综合计算，实现人体在图像中的定位；通过回传进行人体部分的定位，使用滑动窗口的方法获取运动目标的动作时序，通过连接各个局部动作片段的特征老描述整个动作序列；使用直方图相交操作来完成特征匹配识别工作；计算运动区域的对应关系，进行多人姿态识别、人数统计和人员跟踪。

进一步，鲁棒性的光流算法流程包括：

首先对算法所需参数赋初值进行初始化；然后根据数据约束和空间一致性约束列出目标函数，判断目标函数是否连续，若连续则直接进行鲁棒性估计，若不连续则先添加线程使之变为连续再进行鲁棒性估计，根据鲁棒性估计对参数进行优化；

最后根据超松弛参数对求得的流场进行迭代和矫正得到最终的光流估计。

进一步，局部窗口匹配的动作识别通过对视频流中的运动目标进行光流检测定位以及局部模型匹配等过程，对运动目标进行3D骨架提取，通过特征重构编码，使用特征直方图的方式对特征进行表示，通过对直方图的识别链接，进行对人体姿态的识别。

进一步，获取数据约束的子函数，I(x,y,t)＝I(x+uδt,y+vδt,t+δt)，(u,v)表示点(x,y)在时间t时的状态，(u,v)是一个点的水平和竖直方向的速度，δt很小；数据约束的目标函数为：I_x表示I对x求偏导，为目标区域；

当目标区域很小时，u＝(u,v)的解通过增加空间相干性，空间相干性的目标函数为：u_x表示u对x求偏导；结合数据约束和空间一致性约束，总目标函数为：E(u)＝E_D(u)+λE_s(u)。

进一步，判断目标函数是否连续，若连续，则直接进行鲁棒性估计，否则，对目标函数加入线程使之变为连续函数之后再进行鲁棒性估计；鲁棒性统计量的作用是查找参数和优化拟合模型；对于一幅m×m的图像，定义一个网格：

(i(s)，j(s))代表点s的像素坐标；在一个拟合模型中，对于一个测试集d＝{d₀,d₁,…,d_s}s∈S，目标是找到一个参数值使得残差最小：

σ_s是尺度参数，ρ是鲁棒性估计量；正则化后的目标函数E(u)： 代表s在 网格上的东南西北的点，σ₁和σ₂是尺度参数，ρ₁和ρ₂可能是不同的值；ρ₁是鲁棒性估计；

在空间约束函数中加入线程，使目标函数变为连续函数；添加一个二元线性进程l_s,n之后，新的目标函数E(u,l)： α_s和β_s分别是控制平滑项和惩罚项的常量；继续添加新的进程d_s得到新的目标函数E(u,l,d)：

从进程到鲁棒性的转换就是将函数ρ添加到目标函数中；新的目标函数变为：

从鲁棒性到进程的转换加入一个异常进程函数z(x)；目标函数E(u,d,l)：

P(x)是惩罚项，d,l≥0；异常进程z(x)为：

进一步，对目标函数进行迭代优化；利用超松弛参数来对结果进行矫正；迭代公式为：其中

T(u_s)是E的二阶偏导数的上界：

利用训练好的人体身体部分外形和身体部分间相对位置关系模 型，对图像进行卷积操作，计算图像中每个滑动窗口位置对身体部分外形的响应S(p_i)：

利用身体部分混合模型，将每个身体部分的响应通过消息传递的方式传递到人体树形模型的根节点，得到图像各个位置对整个人体模型的响应值S(t)：

将利用滑动窗口得到的每个动作片段用特征直方图表达；使用一个长向量把所有片段的特征直方图表达串联起来，使用局部训练法，通过单独对每个动作样本集训练特征词汇从而得到覆盖整个动作训练集的特征词汇表；特征码本得到后，对每一个姿态描述子进行量化编码；令P为从动作序列中获得的姿态特征描述子，每个特征描述

子的维度为D，总共有N个特征，p＝[p₁,p₂,…,p_N]∈R^D×N；

令训练得到的码本有M个码字，即F＝[f₁,f₂,…,f_M]∈R^D×M；通过改进局部坐标编码方式进行编码：

其中Δ表示元素间相乘，d_i是局部适配因子，它是根据输入姿态p_i与码本中各码字间的相似性来赋值，看作特征基的权值；d_i的选取首先要满足相似距离越近权值越大；选取d_i为非线性的表达式，同时引入了最近相似距离D_M作为比较对象：

其中D(p_i,F)＝[D(p_i,f₁),D(p_i,f₂),…,D(p_i,f_M)]，D(p_i,f_j)表示p_i和f_j的欧氏距离；D_m＝min{D(p_i,f_j),D(p_i,f₂),…,D(p_i,f_M)}。

本发明的另一目的在于提供一种应用所述基于光流定位和滑动窗口检测的多人姿态识别方法的人机交互***。

本发明的另一目的在于提供一种应用所述基于光流定位和滑动窗口检测的多人姿态识别方法的医疗保健***。

本发明的另一目的在于提供一种应用所述基于光流定位和滑动窗口检测的多人姿态识别方法的智能安防***。

本发明的另一目的在于提供一种应用所述基于光流定位和滑动窗口检测的多人姿态识别方法的家居智能控制***。

本发明提供的基于光流定位和滑动窗口检测的多人姿态识别方法，多人体姿态识别和跟踪***是在获取待检测视频每一张帧图像信息的基础上，通过对比连续图像帧中光流向量的变化，根据数据约束和空间一致性约束列出目标函数，然后进行鲁棒性估计优化参数，再利用迭代公式进行迭代和超松弛参数进行矫正，最后利用迭代获得的光流信息提取运动区域，对提取的运动区域进行滑动窗口检测，比对图像与身体部分外形模板的相似度，利用树形结构对人体建模，将图像对人体各个部分的响应通过信息传递的方式综合计算，实现人体在图像中的定位；通过回传进行人体部分的定位，使用滑动窗口的方法获取运动目标的动作时序，通过连接各个局部动作片段的特征老描述整个动作序列。使用直方图相交操作来完成特征匹配识别工作；计算运动区域的对应关系，进行多人姿态识别、人员数量统计和人员跟踪。 利用大数据的治理体系，利用视频数据在问题发现、预测预警、监控度量等方面做出了贡献。本发明的目的是通过摄像头获取视频信息，自动识别视频中的人体目标，从而获得人员流量统计，人员追踪、人员区域分布等信息。在监控***智能化管理中具有十分重要的意义。现有的大多数视频监控***仅能满足人们“眼见为实”，但是针对各种交通环境的视频监控，如在高速公路、车站、地铁、事故多发地段等，需要人工不停的监视屏幕，进行人为分析和判断才能得到结果。而且由于人工也难免会有疏漏，不能对异常情况做及时的处理。因此，对交通视频监控***的智能化需求更加迫切。智能化视频监控是采用摄像机作为眼睛，计算机强大的数据***作为大脑，来对视频序列中的海量数据进行高速分析，对监控场景中的运动目标的自动检测、识别和跟踪，并对其行为进行分析和理解，同时更新和维护信息数据库，当出现异常情况时，发出警告，并将存储在数据库的异常信息包括图像序列反馈给监控中心。利用智能化监控***能识别不同的目标，过滤掉监控者不关心的信息，并对关键信息以最快的速度让监控人员获悉并处理。这种方式既节省人力物力，又能最大限度的降低误报、漏报，为交通管理提供了一种更加先进、可行的监控方案。

附图说明

图1是本发明实施例提供的基于光流定位和滑动窗口检测的多人姿态识别方法流程图。

图2是本发明实施例提供的人体姿态识别方法总体流程图。

图3是本发明实施例提供的多人姿态识别方法原理图。

图4是本发明实施例提供的基于鲁棒性的光流算法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明以监控视频为数据源，借助鲁棒性梯度算法，通过计算光流场，获得图像光流信息，对运动目标进行定位，对提取的各个运动区域进行模板响应的计算，分别将人体局部模型进行匹配，通过滑动窗口的方法将整个动作序列划分成多个局部动作片段，进而通过连接各个局部动作片段的特征来描述整个动作序列。最后使用直方图相交操作来完成特征匹配工作。

下面结合附图对本发明的应用原理作详细的描述。

如图1所示，本发明实施例提供的基于光流定位和滑动窗口检测的多人姿态识别方法包括以下步骤：

S101：获取视频中图像光流向量，得到图像中运动物体的区域，利用基于身体部分的方法对运动物体区域进行人体姿态识别；

S102：以获取图像序列中光流向量为基础，利用数据和空间约束 检测出图像序列之间的光流向量变化，利用鲁棒性对参数进行优化，进行迭代和矫正获得光流信息，对提取的运动区域进行滑动窗口检测，比对图像与身体部分外形模板的相似度；

S103：利用树形结构对人体建模，将图像对人体各个部分的响应以信息传递的方式综合计算，实现人体在图像中的定位；通过回传进行人体部分的定位，使用滑动窗口的方法获取运动目标的动作时序，通过连接各个局部动作片段的特征老描述整个动作序列；

S104：使用直方图相交操作来完成特征匹配识别工作；计算运动区域的对应关系，进行多人姿态识别、人数统计和人员跟踪。

下面结合附图对本发明的应用原理作进一步的描述。

如图4所示，本发明中基于鲁棒性的光流算法流程主要包含以下步骤：首先对算法所需参数赋初值进行初始化，然后根据数据约束和空间一致性约束列出目标函数，然后判断目标函数是否连续，若连续则直接进行鲁棒性估计，若不连续则先添加线程使之变为连续再进行鲁棒性估计，然后根据鲁棒性估计对参数进行优化，最后根据超松弛参数对求得的流场进行迭代和矫正得到最终的光流估计。

本发明中基于局部窗口匹配的动作识别流程图，通过对视频流中的运动目标进行光流检测定位以及局部模型匹配等过程，对运动目标进行3D骨架提取，通过特征重构编码，使用特征直方图的方式对特征进行表示，通过对直方图的识别链接，进行对人体姿态的识别。

本发明中滑动窗口的动作识别方法，假设学习得到的特征码本个 数为M，每个动作序列经处理后包含n帧深度图像。同时假定滑动窗口的尺寸为w，每次移动步长为l，则表示整个动作的特征向量的维度为

本发明中石油勘探海上平台人体姿态识别效果图主要包括原图、光流向量图、彩色光流图、光流图、人体包围盒、矫正前人体识别标示图、矫正处理后的人体识别标示图、人体识别区域放大图、人体各部分检测标示图。

本发明中石油勘探海上平台多人人体识别效果图主要包括原图、光流向量图、彩色光流图、光流图、多人体识别标示图。

下面结合具体实施例对本发明的应用原理作进一步的描述。

本发明实施例提供的基于光流定位和滑动窗口检测的多人姿态识别方法包括以下步骤：步骤1，获取待检测视频信息；步骤2，对所需参数进行初始化并赋给相应的值；步骤3，获取数据约束和空间一致性约束的子函数，得到总目标函数；步骤4，判断目标函数是否连续，若连续，则直接进行鲁棒性估计，否则，对目标函数加入线程使之变为连续函数之后再进行鲁棒性估计；步骤5，对目标函数进行迭代优化；步骤6，设定光流阈值，截取有效的运动区域；步骤7，对每个运动区域进行滑动窗口检测，计算人体部分模型的响应；步骤8，通过消息传递计算图像中各个位置对人体模型的响应值；步骤9，通过回传对检测到的人体进行身体部分定位；步骤10，使用滑动窗口的方法获取运动目标的动作时序，通过连接各个局部动作片段的特 征老描述整个动作序列。步骤11，使用直方图相交操作来完成特征匹配识别工作。步骤12，计算各个运动区域之间的对应关系，实现多人姿态识别、人员数量统计和人员跟踪。

本发明的具体技术方案实现如下：

在步骤1中，通过监控设备获取待检测的视频信息，视频信息包括视频的时间长度、拍摄时间以及当前图像帧的色彩类型、图片大小等一系列基本信息，然后将该视频信息通过人机交互界面或者自动化输入到本发明中进行下一步的处理。

在步骤2中，根据输入的视频信息获取算法中所需求的相应参数，如模型选择、误差大小、滤波算子、金字塔水平的确定等。

在步骤3中，获取数据约束的子函数。I(x,y,t)＝I(x+uδt,y+vδt,t+δt)，(u,v)表示点(x,y)在时间t时的状态，(u,v)是一个点的水平和竖直方向的速度，δt很小。数据约束的目标函数为： I_x表示I对x求偏导，为目标区域。

获取空间一致性约束的子函数。当目标区域很小时，u＝(u,v)的解需要通过增加空间相干性来进一步限制，空间相干性的目标函数为：u_x表示u对x求偏导。结合数据约束和空间一致性约束，总目标函数为：E(u)＝E_D(u)+λE_r(u)。

在步骤4中，判断目标函数是否连续，若连续，则直接进行鲁棒性估计，否则，对目标函数加入线程使之变为连续函数之后再进行鲁棒性估计。其中鲁棒性统计量的作用是查找参数和优化拟合模型。对于一幅m×m的图像，定义一个网格：

(i(s)，j(s))代表点s的像素坐标。在一个拟合模型中，对于一个测试集d＝{d₀,d₁,…,d_s}s∈S，目标是找到一个参数值使得残差最小：

σ_s是尺度参数，ρ是鲁棒性估计量。当这个测量误差是正态分布的，寻找最优估计量就变为二次方程 的最小二乘估计问题。

求出鲁棒性估计ρ之后，就可以进行再次完善光流的目标函数。正则化后的目标函数E(u)： 代表s在网格上的东南西北的点，σ₁和σ₂是尺度参数，ρ₁和ρ₂可能是不同的值。ρ₁是鲁棒性估计。

在空间约束函数中加入线程，线性进程可以应用到数据项和空间项来剔除异常值，使目标函数变为连续函数。添加一个二元线性进程l_s,n之后，新的目标函数E(u,l)：α_s和β_s分别是控制平滑项和惩罚项的常量。继续添加新的进程d_s得到新的目标函数E(u,l,d)：

从进程到鲁棒性的转换就是将函数ρ添加到目标函数中。新的目标函数变为：

从鲁棒性到进程的转换就是加入一个异常进程函数z(x)。目标函数E(u,d,l)：

P(x)是惩罚项，d,l≥0。异常进程z(x)为：

在步骤5中，对目标函数进行迭代优化。步骤4中的目标函数E(u,v)也许是非凸的。利用SOR(Simultaneous Over-Relaxation)算法可以求得局部最小值，然后通过迭代求得最终值，在迭代过程中，需要利用超松弛参数来对结果进行矫正。迭代公式为：其中

T(u_s)是E的二阶偏导数的上界：

在步骤6中，通过上述步骤计算得到的光流场描述的是图像帧中的运动属性。根据具体的运动场景特点，设定光流阈值，将各个有效的运动区域进行提取，提取各个区域的像素列表、包围盒等特征。

在步骤7中，利用训练好的人体身体部分外形和身体部分间相对位置关系模型，对图像进行卷积操作，计算图像中每个滑动窗口位置对身体部分外形的响应S(p_i)：

在步骤8中，将人体的主要关节，例如头部、颈部、肩部、胳膊肘、手、躯干、胯部、膝盖、脚作为树形结构的节点，人体的肢体 作为树形结构中节点间的连接，其中头部作为树形结构的根节点，手和脚作为树形结构的叶节点，这样建立的树形结构可以表示人体的铰链模型。

身体部分混合模型利用5到6个模板学习各个身体部分外形和相对位置信息。每个模板学习身体部分外形的形状特征和身体部分相对位置特征。利用身体部分混合模型，将每个身体部分的响应通过消息传递的方式传递到人体树形模型的根节点(即头部对应的节点)，得到图像各个位置对整个人体模型的响应值S(t)：

在步骤9中，基于人体定位的结果，在人体模型的树形结构中，从根节点到叶节点进行回传，依次确定每个身体部分采用的混合模型中的具体模板编号，对每个身体部分进行定位。

在步骤10中，运动目标基于局部匹配模型后，提取出人体姿态骨架，并按照时序进行排列，把整幅图像作为一个单元，在时间维度上运用滑动窗口技术。这样既避免增加大量的计算量，又增加了时间上的约束。

在步骤11中，将利用滑动窗口技术得到的每个动作片段用特征直方图表达。使用一个长向量把所有片段的特征直方图表达串联起来，这就是整个动作的特征表达。本发明使用局部训练法，通过单独对每个动作样本集训练特征词汇从而得到覆盖整个动作训练集的特征词汇表。

特征码本得到后，本发明将对每一个姿态描述子进行量化编码。令P为从动作序列中获得的姿态特征描述子，每个特征描述子的维度为D，总共有N个特征，则p＝[p₁,p₂,…,p_N]∈R^D×N。

令训练得到的码本有M个码字，即F＝[f₁,f₂,…,f_M]∈R^D×M。通过改进局部坐标编码方式进行编码：

其中Δ表示元素间相乘，d_i是局部适配因子，它是根据输入姿态p_i与码本中各码字间的相似性来赋值，可以看作特征基的权值。d_i的选取首先要满足相似距离越近权值越大。本发明选取d_i为非线性的表达式，同时引入了最近相似距离D_M作为比较对象。

其中D(p_i,F)＝[D(p_i,f₁),D(p_i,f₂),…,D(p_i,f_M)]，D(p_i,f_j)表示p_i和f_j的欧氏距离。D_m＝min{D(p_i,f_j),D(p_i,f₂),…,D(p_i,f_M)}。

在步骤12中，根据相邻两帧图像中同一运动物体的运动连续性原则，计算运动物体的对应关系：首先计算连续图像帧中运动区域的重叠区域大小ratio及其距离D，综合考虑这两个因素，计算相邻两帧图像中运动物体的关联D^1-ratio，其中D表示的是运动物体的移动特征，ratio表示的是运动物体的连续性特征。当相邻图像帧的某一物体运动比较快，没有重叠区域时，即ratio为0，Corr依然有效，其值为D。

计算相邻两幅图像中，所有运动区域对之间的关联值并进行排序， 依次得到有效的对应关系，实现多人姿态识别和人员跟踪。

本发明多人体姿态识别和跟踪***是在获取待检测视频每一张帧图像信息的基础上，通过对比连续图像帧中光流向量的变化，根据数据约束和空间一致性约束列出目标函数，然后进行鲁棒性估计优化参数，再利用迭代公式进行迭代和超松弛参数进行矫正，最后利用迭代获得的光流信息提取运动区域，对提取的运动区域进行滑动窗口检测，比对图像与身体部分外形模板的相似度，利用树形结构对人体建模，将图像对人体各个部分的响应通过信息传递的方式综合计算，实现人体在图像中的定位；通过回传进行人体部分的定位，使用滑动窗口的方法获取运动目标的动作时序，通过连接各个局部动作片段的特征老描述整个动作序列。

使用直方图相交操作来完成特征匹配识别工作；计算运动区域的对应关系，进行多人姿态识别、人员数量统计和人员跟踪。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于光流定位和滑动窗口检测的多人姿态识别方法，其特征在于，所述基于光流定位和滑动窗口检测的多人姿态识别方法获取视频中图像光流向量，得到图像中运动物体的区域，利用基于身体部分的方法对运动物体区域进行人体姿态识别；以获取图像序列中光流向量为基础，利用数据和空间约束检测出图像序列之间的光流向量变化，利用鲁棒性对参数进行优化，进行迭代和矫正获得光流信息，对提取的运动区域进行滑动窗口检测，比对图像与身体部分外形模板的相似度；

利用树形结构对人体建模，将图像对人体各个部分的响应以信息传递的方式综合计算，实现人体在图像中的定位；通过回传进行人体部分的定位，使用滑动窗口的方法获取运动目标的动作时序，通过连接各个局部动作片段的特征老描述整个动作序列；使用直方图相交操作来完成特征匹配识别工作；计算运动区域的对应关系，进行多人姿态识别、人数统计和人员跟踪。

2.如权利要求1所述的基于光流定位和滑动窗口检测的多人姿态识别方法，其特征在于，鲁棒性的光流算法流程包括：

首先对算法所需参数赋初值进行初始化；然后根据数据约束和空间一致性约束列出目标函数，判断目标函数是否连续，若连续则直接进行鲁棒性估计，若不连续则先添加线程使之变为连续再进行鲁棒性估计，根据鲁棒性估计对参数进行优化；

最后根据超松弛参数对求得的流场进行迭代和矫正得到最终的光流估计。

3.如权利要求1所述的基于光流定位和滑动窗口检测的多人姿态识别方法，其特征在于，局部窗口匹配的动作识别通过对视频流中的运动目标进行光流检测定位以及局部模型匹配过程，对运动目标进行3D骨架提取，通过特征重构编码，使用特征直方图的方式对特征进行表示，通过对直方图的识别链接，进行对人体姿态的识别。

4.如权利要求1所述的基于光流定位和滑动窗口检测的多人姿态识别方法，其特征在于，获取数据约束的子函数，I(x,y,t)＝I(s+uδt,y+vδt,t+δt)，(u,v)表示点(x,y)在时间t时的状态，(u,v)是一个点的水平和竖直方向的速度，δt很小；数据约束的目标函数为：I_x表示I对x求偏导，为目标区域；

当目标区域很小时，u＝(u,v)的解通过增加空间相干性，空间相干性的目标函数为：u_x表示u对x求偏导；结合数据约束和空间一致性约束，总目标函数为：E(u)＝E_D(u)+λE_s(u)。

5.如权利要求4所述的基于光流定位和滑动窗口检测的多人姿态识别方法，其特征在于，判断目标函数是否连续，若连续，则直接进行鲁棒性估计，否则，对目标函数加入线程使之变为连续函数之后再进行鲁棒性估计；鲁棒性统计量的作用是查找参数和优化拟合模型；对于一幅m×m的图像，定义一个网格：

(i(s),j(s))代表点s的像素坐标；在一个拟合模型中，对于一个测试集d＝{d₀,d₁,…,d_s},s∈S，目标是找到一个参数值使得残差最小：

σ_s是尺度参数，ρ是鲁棒性估计量；正则化后的目标函数E(u)： 代表s在网格上的东南西北的点，σ₁和σ₂是尺度参数，ρ₁和ρ₂可能是不同的值；ρ₁是鲁棒性估计；

在空间约束函数中加入线程，使目标函数变为连续函数；添加一个二元线性进程l_x,n之后，新的目标函数E(u,l)：α_x和β_x分别是控制平滑项和惩罚项的常量；继续添加新的进程d_x得到新的目标函数E(u,l,d)：

从进程到鲁棒性的转换就是将函数ρ添加到目标函数中；新的目标函数变为：

从鲁棒性到进程的转换加入一个异常进程函数z(x)；目标函数E(u,d,l)：

P(x)是惩罚项，d,l≥0；异常进程z(x)为：

6.如权利要求5所述的基于光流定位和滑动窗口检测的多人姿态识别方法，其特征在于，对目标函数进行迭代优化；利用超松弛参数来对结果进行矫正；迭代公式为：其中

T(u_s)是E的二阶偏导数的上界：

利用训练好的人体身体部分外形和身体部分间相对位置关系模型，对图像进行卷积操作，计算图像中每个滑动窗口位置对身体部分外形的响应S(p_i)：

利用身体部分混合模型，将每个身体部分的响应通过消息传递的方式传递到人体树形模型的根节点，得到图像各个位置对整个人体模型的响应值S(t)：

将利用滑动窗口得到的每个动作片段用特征直方图表达；使用一个长向量把所有片段的特征直方图表达串联起来，使用局部训练法，通过单独对每个动作样本集训练特征词汇从而得到覆盖整个动作训练集的特征词汇表；特征码本得到后，对每一个姿态描述子进行量化编码；令P为从动作序列中获得的姿态特征描述子，每个特征描述

子的维度为D，总共有N个特征，p＝[p₁,p₂,…,p_N]∈R^D×N；

令训练得到的码本有M个码字，即F＝[f₁,f₂,…,f_M]∈R^D×M；通过改进局部坐标编码方式进行编码：

其中Δ表示元素间相乘，d_i是局部适配因子，它是根据输入姿态p_i与码本中各码字间的相似性来赋值，看作特征基的权值；d_i的选取首先要满足相似距离越近权值越大；选取d_i为非线性的表达式，同时引入了最近相似距离D_M作为比较对象：

$d_i=\exp (-\frac{{\left(\right(D\left(p_i,F\right)-D_M)/D_M)}^2}{2{\mathrm{\σ}}^2});$

其中D(p_i,F)＝[D(p_i,f₁),D(p_i,f₂),…,D(p_i,f_M)]，D(p_i,f_j)表示p_i和f_j的欧氏距离；D_m＝min{D(p_i,f_j),D(p_i,f₂),…,D(p_i,f_M)}。

7.一种应用权利要求1～6任意一项所述基于光流定位和滑动窗口检测的多人姿态识别方法的人机交互***。

8.一种应用权利要求1～6任意一项所述基于光流定位和滑动窗口检测的多人姿态识别方法的医疗保健***。

9.一种应用权利要求1～6任意一项所述基于光流定位和滑动窗口检测的多人姿态识别方法的智能安防***。

10.一种应用权利要求1～6任意一项所述基于光流定位和滑动窗口检测的多人姿态识别方法的家居智能控制***。