CN106127125B - 基于人体行为特征的分布式dtw人体行为识别方法 - Google Patents
基于人体行为特征的分布式dtw人体行为识别方法 Download PDFInfo
- Publication number
- CN106127125B CN106127125B CN201610436818.7A CN201610436818A CN106127125B CN 106127125 B CN106127125 B CN 106127125B CN 201610436818 A CN201610436818 A CN 201610436818A CN 106127125 B CN106127125 B CN 106127125B
- Authority
- CN
- China
- Prior art keywords
- information
- joint
- human
- distributed
- human behavior
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000003542 behavioural effect Effects 0.000 title abstract 6
- 230000009471 action Effects 0.000 claims abstract description 17
- 239000013598 vector Substances 0.000 claims description 48
- 230000033001 locomotion Effects 0.000 claims description 27
- 238000013519 translation Methods 0.000 claims description 12
- 210000001364 upper extremity Anatomy 0.000 claims description 10
- 230000000875 corresponding effect Effects 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 5
- 230000007704 transition Effects 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 3
- 210000003141 lower extremity Anatomy 0.000 claims description 3
- 230000002596 correlated effect Effects 0.000 claims description 2
- 230000007246 mechanism Effects 0.000 claims description 2
- 230000006399 behavior Effects 0.000 description 48
- 230000004927 fusion Effects 0.000 description 15
- 238000001514 detection method Methods 0.000 description 6
- 230000010365 information processing Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 210000002310 elbow joint Anatomy 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 210000001503 joint Anatomy 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 210000000323 shoulder joint Anatomy 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 208000009115 Anorectal Malformations Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于人体行为特征的分布式DTW人体行为识别方法,基于人体行为特征的分布式DTW人体行为识别方法,包括以下步骤:获取当前帧人体行为特征并将其添加到人体行为特征时间序列中;利用动态时间规整算法DTW对当前观测人体行为特征序列与数据库模板中已学习的特定行为序列进行匹配,计算两者之间基于卡方距离的最佳匹配相似度;对该相似度取逆,经归一化后得到匹配概率;将每个传感器的动作模式匹配概率信息作为一致性信息量与相邻传感器数据交换,经过一致性迭代运算,最终相邻传感器节点的识别结果达成一致。本发明以实现精确的人体特定行为识别。
Description
技术领域
本发明涉及信息技术领域,具体涉及基于人体行为特征的分布式DTW人体行为识别方法。
背景技术
基于多个RGBD相机的人体行为识别受到研究者的广泛关注,被应用于手术室、工厂车间、汽车组装、室内监控等环境下的人体行为检测,有效解决了人体遮挡问题和可能发生的人- 机器人碰撞问题,具有重要的应用价值。
目前基于多个RGBD传感器的人体行为感知还处于集中式阶段,需要一个或多个数据融合中心进行三维数据、人体骨架关节点数据的融合,对数据融合中心的计算能力和鲁棒性要求较高,对网络的不稳定性抵抗力较弱,可扩展程度低。
随着RGBD传感器技术的发展,其使用数量和覆盖范围会随之增大,集中式的RGBD传感器网络所需要处理和传输的信息流会爆发式增长,其在现实应用中的瓶颈会越发明显。
当场景中存在多个人体目标时,需要解决关于人体行为的识别问题。目前,关于人体行为的识别技术存在着识别精度不够,无法满足现有的需求。
发明内容
为解决现有技术存在的不足,本发明公开了基于人体行为特征的分布式DTW人体行为识别方法,以实现精确的人体特定行为识别。DTW中文名称是动态时间规整算法。
为实现上述目的,本发明的具体方案如下:
基于人体行为特征的分布式DTW人体行为识别方法,包括以下步骤:
获取当前帧人体行为特征并将其添加到人体行为特征时间序列中;
利用动态时间规整算法DTW对当前观测人体行为特征序列与数据库模板中已学习的特定行为序列进行匹配,计算两者之间基于卡方距离的最佳匹配相似度;
对该相似度取逆,经归一化后得到匹配概率;
将每个传感器的动作模式匹配概率信息作为一致性信息量与相邻传感器数据交换,经过一致性迭代运算,最终相邻传感器节点的识别结果达成一致。
进一步的,在计算匹配概率时,为融合周围传感器识别结果,相邻传感器之间互换匹配概率信息。
进一步的,相邻传感器之间互换匹配概率信息的方式具体为:
第i个传感器将k时刻动作模式α对应的匹配概率与相邻传感器节点j计算的匹配概率进行数据交换,并依据动作模式之间的转移概率矩阵M,确定动作模式α的概率值
其中η(k)是归一化因子,M(β,α)是动作模式β和动作模式α之间的转移概率值。
进一步的,相邻传感器之间互换匹配概率信息后,若最终的大于一定阈值,则认定当前观测目标行为序列与动作模式α匹配成功。
进一步的,基于人体行为特征的分布式DTW人体行为识别方法在获取当前帧人体行为特征的步骤之前还包括构建具有平移不变和缩放不变的人体结构特征的步骤。
进一步的,在构建具有平移不变和缩放不变的人体结构特征时,考虑到体型的个体差异,定义满足平移不变和缩放不变的条件的关节向量夹角和上肢部分关节向量模比值作为人体行为特征,关节向量夹角和向量模比值共同组成24维人体行为特征。
进一步的,上肢部分关节向量模比值:
其中是躯干中心到头部的向量模,和分别是头部指向左右手的向量模、和分别是躯干中心到左右手的向量模。
进一步的,平移不变和缩放不变的关节向量夹角信息的获取:通过OPENNI检测人体的15 个关节点分布式信息,经过计算,可获取关节向量夹角信息,具体包括上肢部分10组,下肢部分4组,中间连接部分6组。
本申请中对获取的人体的关节点分布式信息进行一致性的估计,具体包括:
骨架关节点位置初始化;
本地传感器对关节点运动估计:构建人体关节点的运动模型和观测模型,实现对关节点状态的有效估计;
传感器之间对目标关节点的信息一致性估计:定义人体关节点状态对应的信息向量、信息矩阵及其信息贡献和模型概率作为信息一致性算法的交换量;
每个传感器将自身估计的关节点信息向量、信息矩阵及其对应的信息贡献、模型概率发送给相邻的通讯传感器节点,并接受周围传感器的信息,利用信息一致性算法,融合周围传感器的估计结果,连续迭代数次,实现算法和估计结果的收敛。
在骨架关节点位置初始化之前还需要构建动态分布式传感器网络。
基于构建的动态分布式传感器网络,传感器将采集的人体骨架关节点信息传输至信息处理中心。
骨架关节点位置初始化时,通过对关节点深度信息预先学习训练,实现对每帧人体关节点的检测,或利用现有工具OPENNI NITE或微软SDK直接提取关节点。
在骨架关节点位置初始化时,为去除无效关节点,建立人体关节点运动模型物理约束,剔除不满足人体关节点旋转角度和长度约束的人体关节点。
人体关节点运动模型物理约束的相关参数,包括人体肘关节和肩关节之间长度,可依据检测数据自适应升级。
在实现对关节点状态的有效估计时是基于贝叶斯滤波器实现的。
构建人体关节点的运动模型和观测模型,其中,对线性模型,利用线性信息滤波器估计,而对于非线性模型,利用非线性滤波器进行估计,非线性滤波器包括扩展信息滤波器和基于中心差分信息滤波器。
信息一致性估计时,具体包括的步骤为:
(1)参数初始化,检测得出人体关节点的初始位置,位置的方差依据关节点识别的置信水平确定,并依据关节运动特点设定关节的运动模型转换概率;
(2)多模型交互,即根据模型概率和模型转换概率计算模型之间的混合概率,再依据混合概率计算得出每个模型的混合均值和混合方差;
(3)信息滤波,以混合均值和混合方差为输入,计算其信息向量和信息矩阵,对线性和非线性运动模型分别采用线性信息滤波器和中心差分信息滤波器估计,根据当前深度图像检测的关节点位置升级滤波器关节点状态和模型概率;
(4)基于分布式信息一致性算法的信息融合,即各传感器之间交换关节点估计信息,包括关节点状态信息向量、信息矩阵和模型概率,通过一致性算法加权迭代实现各传感器估计状态的一致性。
另外,各传感器节点基于模型概率加权和的混合输出,即利用模型概率对各个模型的估计结果进行加权求和,作为各传感器信息处理***当前时刻的估计结果。
本申请中对人体关节点分布式信息进行一致性的估计后进行基于彩色图像和深度图像多特征的联合数据关联,包括以下步骤:
采用联合数据概率关联算法实现本地传感器节点对跟踪目标和目标观测之间进行数据关联;
基于马氏距离的匈牙利算法实现传感器节点之间对跟踪目标的第二次数据关联;
各传感器之间交换关节点估计信息,通过一致性算法加权迭代实现各传感器估计状态的一致性;
其中,在第一次数据关联时,基于多特征的目标观测候选集调整机制,利用关节点位置观测信息z、彩色图像梯度方向直方图特征hc和深度图像梯度方向直方图特征hd构建三个阈值门限(γz,γc,γd)以限定观测集大小。
基于分布式信息一致性算法的信息融合之后还包括利用模型概率对各个模型的估计结果进行加权求和,作为各传感器信息处理***当前时刻的估计结果的步骤。
分布式信息一致性算法使得本地传感器在获取本地数据关联估计结果后,可与邻近节点交换数据关联结果,以实现各传感器数据关联结果的融合。
利用关节点位置观测信息z、彩色图像梯度方向直方图特征hc和深度图像梯度方向直方图特征hd构建三个阈值门限(γz,γc,γd)以限定观测集大小:
其中,是根据上一帧关节点估计值预测的当前关节点位置,S是z的方差,和分别是从最近的历史关键帧中学习的以关节点位置为中心的HOG特征和HOD特征,d是直方图 Chi-square卡方距离测度。
关节点的马氏距离定义如下:
(xi-xj)T(Pi+Pj)-1(xi-xj),
(xi,xj)和(Pi,Pj)是人体关节点分别在传感器i和传感器j上的估计状态和方差。
本发明的有益效果:
通过构建分布式RGBD传感器网络,利用信息一致性算法,实现了对人体关节点的分布式估计,网络中无数据融合中心,提高了***对节点信息错误和无效的鲁棒性,较容易实现对传感器网络的扩展。
传感器节点只与周围邻近连接节点通讯,交换信息向量、信息矩阵和信息贡献,相较于传输原始的RGBD数据,极大的减少了数据量。
一致性算法实现了与网络中传感器节点的有效融合,间接实现了对目标的多角度观测,减少了遮挡或角度对人体关节点估计的影响,扩大了感知范围。
提出了基于交互多模型的人体关节点分布式信息一致性估计方法,以应对人体不同关节点时变的运动模式。
提出了基于彩色图像和深度图像多特征的联合数据关联方法,以提高JPDA算法估计精度和执行效率。
提出了基于平移不变和缩放不变人体行为特征的分布式DTW人体行为识别方法,以实现精确的人体特定行为识别。
附图说明
图1本发明的基于动态三维RGBD传感器网络的分布式示意图;
图2本发明的分布式三维传感器网络对人体关节点的多模型估计流程图;
图3本发明的分布式多人体目标关节点跟踪算法流程;
图4人体关节点示意图(15个关节点)。
具体实施方式:
下面结合附图对本发明进行详细说明:
如图1所示,基于交互多模型的人体关节点分布式信息一致性估计方法,通过构建动态分布式RGBD传感器网络,实现对数据的分布式处理和对信息的分布式融合,网络中无集中式信息处理和融合中心,传感器节点只与邻近节点信息交换,通过有限次一致性迭代,实现网络内对感知目标状态的估计一致。
传感器网络通过无线通信实现信息的传输。每个传感器连接到本地处理器,可以是微型电脑或ARM开发板。本地处理器对信息处理后,通过无线与邻近节点进行网络数据交换。动态是指网络由位置静态的传感器和位置可移动的传感器组成。其中,位置移动通过将传感器放置在移动机器人上实现。分布式通过信息的分布式计算和融合来实现。
如图2所示,骨架关节点位置初始化:通过对关节点深度信息预先学习训练,实现对每帧人体关节点的检测,也可利用现有工具OPENNI NITE或微软SDK直接提取关节点。为去除无效关节点,建立人体关节点运动模型物理约束,剔除不满足人体关节点旋转角度和长度约束的人体关节点。物理约束模型的相关参数,如人体肘关节和肩关节之间长度,可依据检测数据自适应升级。
其中,关节点深度信息是通过微软Kinect开发包或开源OpenNI驱动软件获取场景的RGB 图像和深度图像。
预先学习训练的目的是为了构建关节点特征库,从而实现对待检测图像中的关节点的分类和识别。
RGBD传感器提供场景颜色和深度图像。关节点检测模块从图像中提取人体关节点。
人体关节点运动模型物理约束相关技术内容可参考论文Model-BasedReinforcement of Kinect Depth Data for Human Motion Capture Applications。
本地RGBD传感器对关节点运动估计:构建人体关节点的运动模型和观测模型,基于贝叶斯滤波器,实现对关节点状态(位置、速度和加速度)的有效估计。人体关节点的运动存在静止、匀速、加速交替进行的多模型属性,单一运动模型不足以描述关节点动态特征,因此设计基于交互多模型的贝叶斯估计方法,对人体关节点的时变状态进行有效跟踪估计。对线性模型,可利用线性信息滤波器估计,而对于非线性模型,可利用扩展信息滤波器和基于中心差分信息滤波器等非线性滤波器进行估计。
观测模型是指滤波器***状态与传感器观测之间的模型关系。在这里,***状态是指关节点三维位置、速度和加速度,而传感器观测是关节点三维位置。
有效估计的具体算法可参考论文Central Difference Information Filterwith Interacting Multiple Model for Robust Maneuvering Object Tracking。
RGBD传感器之间对目标关节点的信息一致性估计:定义人体关节点状态对应的信息向量、信息矩阵及其信息贡献和模型概率作为信息一致性算法的交换量,每个传感器将自身估计的关节点信息向量、信息矩阵及其对应的信息贡献、模型概率发送给相邻的通讯传感器节点,并接受周围传感器的信息,利用信息一致性算法,融合周围传感器的估计结果,连续迭代数次,实现算法和估计结果的收敛。具体步骤如下:
第一步是***参数初始化,其中人体关节点的初始位置可通过OPENNI直接从RGBD相机的深度图像检测得出,位置的方差可依据OPENNI返回的关节点识别的置信水平确定,并依据关节运动特点设定关节的运动模型转换概率。
第二步是多模型交互,即根据模型概率和模型转换概率计算模型之间的混合概率,再依据混合概率计算得出每个模型的混合均值和混合方差。
第三步是信息滤波,以混合均值和混合方差为输入,计算其信息向量和信息矩阵,对线性和非线性运动模型分别采用线性信息滤波器和中心差分信息滤波器估计,根据当前深度图像检测的关节点位置升级滤波器关节点状态(信息向量和信息矩阵)和模型概率。
第四步是基于分布式信息一致性算法的信息融合,即各传感器之间交换关节点估计信息,包括关节点状态信息向量、信息矩阵和模型概率,通过一致性算法加权迭代实现各传感器估计状态的一致性,如传感器节点i和传感器节点j是相邻通讯节点,两者之间的Metroplis权重为εi,j,则在第r次迭代其信息向量信息矩阵和模型概率可由其所有相邻节点j 的相应信息加权和计算得出:
第五步是各传感器节点基于模型概率加权和的混合输出,即利用模型概率对各个模型的估计结果进行加权求和,作为各传感器信息处理***当前时刻的估计结果。
如图3所示,基于彩色图像和深度图像多特征的联合数据关联方法,该方法针对多目标跟踪,包括:
***参数初始化;
多模型交互;
基于线性信息滤波器的JPDA及基于中心差分信息滤波器的JPDA;
发送本地信息给临近传感器节点;
接收临近传感器节点信息;
基于马氏距离的数据关联;
分布式信息一致性算法实现多模型结果融合。
分布式人体行为识别包括:构建具有平移不变和缩放不变的人体结构特征,建立人体行为数据库模板,结合动态时间规整算法,实现对特定行为匹配概率的计算。
可见,分布式人体行为识别,包含两部分:首先是匹配概率的融合,即融合网络内其他传感器对该行为的匹配概率,改善本地识别准确率;其次是识别结果的一致性估计,保证识别结果的全局一致。
具体过程如下:考虑到体型的个体差异,可定义平移不变和缩放不变的关节向量夹角和上肢部分关节向量模比值作为人体行为特征。OPENNI可检测人体的15个关节点,如图4所示,经过计算,可获取关节向量夹角信息,具体包括上肢部分10组,下肢部分4组,中间连接部分 6组。其中,关节向量及其夹角的计算可参考论文:应用Kinect的人体行为识别方法研究与***设计。
另外,为进一步描述上肢行为的细节部分信息,定义上肢部分关节向量之间的模比值作为特征:
其中是躯干中心到头部的向量模,和分别是头部指向左右手的向量模、和分别是躯干中心到左右手的向量模。关节向量夹角和向量模比值共同组成24维人体行为特征,满足平移不变和缩放不变的条件。
在获取当前帧人体行为特征后,将其添加到人体行为特征时间序列中,利用动态时间规整算法(Dynamic Time Warping,DTW)对当前观测行为特征序列与数据库中已学习的特定行为序列模板进行匹配,计算两者之间基于卡方距离的最佳匹配相似度。对该相似度取逆,经归一化后得到匹配概率。为融合周围传感器识别结果,相邻连接传感器之间互换匹配概率信息,如第i个传感器将k时刻动作模式α对应的匹配概率与相邻传感器节点j计算的匹配概率进行数据交换,并依据动作模式之间的转移概率矩阵M,确定动作模式α的概率值
其中η(k)是归一化因子,M(β,α)是动作模式β和动作模式α之间的转移概率值。
最后,将每个传感器的动作模式概率值作为一致性信息量与相邻传感器再一次数据交换,经过一致性迭代运算,最终相邻传感器节点的识别结果达成一致,这就构建了基于DTW的分布式行为识别算法。
若最终的大于一定阈值,则可认定当前观测目标行为序列与动作模式α匹配成功。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (7)
1.基于人体行为特征的分布式DTW人体行为识别方法,其特征是,包括以下步骤:
获取当前帧人体行为特征并将其添加到人体行为特征时间序列中;
利用动态时间规整算法DTW对当前观测人体行为特征序列与数据库模板中已学习的特定行为序列进行匹配,计算两者之间基于卡方距离的最佳匹配相似度;
对该相似度取逆,经归一化后得到匹配概率;
在计算匹配概率时,为融合周围传感器识别结果,相邻传感器之间互换匹配概率信息;
相邻传感器之间互换匹配概率信息的方式具体为:
第i个传感器将k时刻动作模式α对应的匹配概率与相邻传感器节点j计算的匹配概率进行数据交换,并依据动作模式之间的转移概率矩阵M,确定动作模式α的概率值
将每个传感器的动作模式匹配概率信息作为一致性信息量与相邻传感器数据交换,经过一致性迭代运算,最终相邻传感器节点的识别结果达成一致;
若最终的大于一定阈值,则认定当前观测目标行为序列与动作模式α匹配成功。
2.如权利要求1所述的基于人体行为特征的分布式DTW人体行为识别方法,其特征是,基于人体行为特征的分布式DTW人体行为识别方法在获取当前帧人体行为特征的步骤之前还包括构建具有平移不变和缩放不变的人体结构特征的步骤。
3.如权利要求2所述的基于人体行为特征的分布式DTW人体行为识别方法,其特征是,在构建具有平移不变和缩放不变的人体结构特征时,考虑到体型的个体差异,定义满足平移不变和缩放不变的条件的关节向量夹角和上肢部分关节向量模比值作为人体行为特征,关节向量夹角和向量模比值共同组成24维人体行为特征。
4.如权利要求3所述的基于人体行为特征的分布式DTW人体行为识别方法,其特征是,上肢部分关节向量模比值:
其中是躯干中心到头部的向量模,和分别是头部指向左右手的向量模、和分别是躯干中心到左右手的向量模。
5.如权利要求3所述的基于人体行为特征的分布式DTW人体行为识别方法,其特征是,平移不变和缩放不变的关节向量夹角信息的获取:通过OPENNI检测人体的15个关节点分布式信息,经过计算,可获取关节向量夹角信息,具体包括上肢部分10组,下肢部分4组,中间连接部分6组。
6.如权利要求5所述的基于人体行为特征的分布式DTW人体行为识别方法,其特征是,对获取的人体的关节点分布式信息进行一致性的估计,具体包括:
骨架关节点位置初始化;
本地传感器对关节点运动估计:构建人体关节点的运动模型和观测模型,实现对关节点状态的有效估计;
传感器之间对目标关节点的信息一致性估计:定义人体关节点状态对应的信息向量、信息矩阵及其信息贡献和模型概率作为信息一致性算法的交换量;
每个传感器将自身估计的关节点信息向量、信息矩阵及其对应的信息贡献、模型概率发送给相邻的通讯传感器节点,并接受周围传感器的信息,利用信息一致性算法,融合周围传感器的估计结果,连续迭代数次,实现算法和估计结果的收敛。
7.如权利要求6所述的基于人体行为特征的分布式DTW人体行为识别方法,其特征是,对人体关节点分布式信息进行一致性的估计后进行基于彩色图像和深度图像多特征的联合数据关联,包括以下步骤:
采用联合数据概率关联算法实现本地传感器节点对跟踪目标和目标观测之间进行数据关联;
基于马氏距离的匈牙利算法实现传感器节点之间对跟踪目标的第二次数据关联;
各传感器之间交换关节点估计信息,通过一致性算法加权迭代实现各传感器估计状态的一致性;
其中,在第一次数据关联时,基于多特征的目标观测候选集调整机制,利用关节点位置观测信息z、彩色图像梯度方向直方图特征hc和深度图像梯度方向直方图特征hd构建三个阈值门限(γz,γc,γd)以限定观测集大小。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610436818.7A CN106127125B (zh) | 2016-06-16 | 2016-06-16 | 基于人体行为特征的分布式dtw人体行为识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610436818.7A CN106127125B (zh) | 2016-06-16 | 2016-06-16 | 基于人体行为特征的分布式dtw人体行为识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106127125A CN106127125A (zh) | 2016-11-16 |
CN106127125B true CN106127125B (zh) | 2019-04-02 |
Family
ID=57470799
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610436818.7A Active CN106127125B (zh) | 2016-06-16 | 2016-06-16 | 基于人体行为特征的分布式dtw人体行为识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106127125B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107590476B (zh) * | 2017-09-22 | 2020-10-23 | 苏州浪潮智能科技有限公司 | 一种动作的比对方法、装置及计算机存储介质 |
CN109460702B (zh) * | 2018-09-14 | 2022-02-15 | 华南理工大学 | 基于人体骨架序列的乘客异常行为识别方法 |
CN109362066B (zh) * | 2018-11-01 | 2021-06-25 | 山东大学 | 一种基于低功耗广域物联网和胶囊网络的实时行为识别***及其工作方法 |
CN110060182A (zh) * | 2019-03-16 | 2019-07-26 | 深圳壹账通智能科技有限公司 | 旅游行为追踪方法、装置、计算机设备和存储介质 |
CN110163113B (zh) * | 2019-04-25 | 2023-04-07 | 上海师范大学 | 一种人体行为相似度计算方法及装置 |
CN110210454B (zh) * | 2019-06-17 | 2020-12-29 | 合肥工业大学 | 一种基于数据融合的人体动作预判方法 |
CN112001335A (zh) * | 2020-08-27 | 2020-11-27 | 武汉科技大学 | 一种地铁乘客不安全行为风险评估界面*** |
CN113591712A (zh) * | 2021-07-30 | 2021-11-02 | 天津市府易科技股份有限公司 | 一种基于ai识别的用户异常行为识别方法及装置 |
CN113353083B (zh) * | 2021-08-10 | 2021-10-29 | 所托(杭州)汽车智能设备有限公司 | 车辆行为识别方法 |
CN115019395B (zh) * | 2022-06-10 | 2022-12-06 | 杭州电子科技大学 | 基于堆叠沙漏网络的团体动作一致性的检测方法及*** |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0686931A2 (en) * | 1994-06-06 | 1995-12-13 | Xerox Corporation | Searching and matching unrecognized handwriting |
CN101477619A (zh) * | 2008-12-26 | 2009-07-08 | 北京航空航天大学 | 基于dtw曲线的运动数据动作分类方法 |
CN104504731A (zh) * | 2014-12-19 | 2015-04-08 | 西安理工大学 | 基于运动图的人体运动合成方法 |
CN104598889A (zh) * | 2015-01-30 | 2015-05-06 | 北京信息科技大学 | 人体行为识别的方法和装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4481663B2 (ja) * | 2004-01-15 | 2010-06-16 | キヤノン株式会社 | 動作認識装置、動作認識方法、機器制御装置及びコンピュータプログラム |
-
2016
- 2016-06-16 CN CN201610436818.7A patent/CN106127125B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0686931A2 (en) * | 1994-06-06 | 1995-12-13 | Xerox Corporation | Searching and matching unrecognized handwriting |
CN101477619A (zh) * | 2008-12-26 | 2009-07-08 | 北京航空航天大学 | 基于dtw曲线的运动数据动作分类方法 |
CN104504731A (zh) * | 2014-12-19 | 2015-04-08 | 西安理工大学 | 基于运动图的人体运动合成方法 |
CN104598889A (zh) * | 2015-01-30 | 2015-05-06 | 北京信息科技大学 | 人体行为识别的方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN106127125A (zh) | 2016-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106127125B (zh) | 基于人体行为特征的分布式dtw人体行为识别方法 | |
Wan et al. | Teaching robots to do object assembly using multi-modal 3d vision | |
CN110782483B (zh) | 基于分布式相机网络的多视图多目标跟踪方法及*** | |
CN112101176A (zh) | 一种结合用户步态信息的用户身份识别方法及*** | |
CN107016342A (zh) | 一种动作识别方法及*** | |
CN106127119B (zh) | 基于彩色图像和深度图像多特征的联合数据关联方法 | |
CN105869181A (zh) | 基于交互多模型的人体关节点分布式信息一致性估计方法 | |
CN106096565B (zh) | 基于传感网络的移动机器人与静态传感器的任务协作方法 | |
Yu et al. | A deep-learning-based strategy for kidnapped robot problem in similar indoor environment | |
CN104182747A (zh) | 基于多个立体相机的对象检测跟踪方法及装置 | |
CN106127806B (zh) | 基于深度玻尔兹曼机跨模式特征学习的rgb-d视频目标跟踪方法 | |
Yang et al. | Particle filters in latent space for robust deformable linear object tracking | |
Pajares et al. | Local stereovision matching through the ADALINE neural network | |
CN111539364B (zh) | 基于特征融合和多分类器投票的多体感人体行为识别算法 | |
Lin et al. | A novel robust algorithm for position and orientation detection based on cascaded deep neural network | |
CN113156473A (zh) | 信息融合定位***卫星信号环境的自适应判别方法 | |
Ilg et al. | Estimation of skill levels in sports based on hierarchical spatio-temporal correspondences | |
CN103681429A (zh) | 一种芯片固晶机的控制方法及控制*** | |
Endres et al. | Graph-based action models for human motion classification | |
CN113847907A (zh) | 定位方法及装置、设备、存储介质 | |
Chan et al. | A fuzzy qualitative approach to human motion recognition | |
Izo et al. | Simultaneous pose estimation and camera calibration from multiple views | |
Naghdy | Fuzzy clustering of human motor motion | |
Quan et al. | Multi-view 3d human pose tracking based on evolutionary robot vision | |
Kadim et al. | Training configuration analysis of a convolutional neural network object tracker for night surveillance application |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |