CN111216126B - 基于多模态感知的足式机器人运动行为识别方法及*** - Google Patents
基于多模态感知的足式机器人运动行为识别方法及*** Download PDFInfo
- Publication number
- CN111216126B CN111216126B CN201911382275.5A CN201911382275A CN111216126B CN 111216126 B CN111216126 B CN 111216126B CN 201911382275 A CN201911382275 A CN 201911382275A CN 111216126 B CN111216126 B CN 111216126B
- Authority
- CN
- China
- Prior art keywords
- markov model
- hidden markov
- dirichlet process
- viscous
- sensing data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种基于多模态感知的足式机器人运动行为识别方法及***,其中,所述方法包括:基于多种类型的传感器采集足式机器人在不同类型地面上重复行走预设距离所产生的多模态传感数据信息;对多模态传感数据信息按照不同类型地面来进行数据集划分,得到不同地面类型的多模态传感数据集;基于不同地面类型的多模态传感数据集对粘性层次狄利克雷过程隐马尔科夫模型进行训练,获得最优粘性层次狄利克雷过程隐马尔科夫模型;将待识别样本信息输入最优粘性层次狄利克雷过程隐马尔科夫模型,并计算对数似然函数值之和;基于计算结果后进行足式机器人运动行为识别。在本发明实施中,提高了运动行为识别的可靠性和准确率。
Description
技术领域
本发明涉及机器人运动行为识别技术领域,尤其涉及一种基于多模态感知的足式机器人运动行为识别方法及***。
背景技术
足式机器人具备环境适应性好、运动范围广、负载能力强,能够实现崎岖山地运输、危险灾难救援、军事侦察等任务。从而,能够实时识别到足式机器人在不同类型地面(如泥沙、水泥、草地、木质、瓷砖等)行走的运动行为及运动特征将能直接对机器人的控制和步态进行调整,提高环境的适应性和***的鲁棒性。因此,开展基于关节编码器、IMU、关节力矩等多模态感知的足式机器人运动行为识别是目前足式机器人前沿研究的关键技术。
传统足式机器人的运动行为识别技术通常采用参数化隐性马尔科夫模型(HiddenMarkov Model,HMM)对关节编码器的关节角度信息进行建模,具有训练样本数量少和计算复杂度低等优点,初步实现了运动行为识别,具有一定的可行性。但是随着环境的复杂性和任务的多样性增加,主要存在两方面的问题:(1)仅考虑单模态的传感信息,无法准确地实现对环境的感知及机器人***的状态估计,降低了运动行为识别的容错性;同时,(2)采用参数化HMM的建模方法将存在模型的隐性状态数量不确定和隐性状态快速转换的问题,无法从复杂的传感数据中学习到实际的潜在模式,降低了运动行为识别的准确率。
发明内容
本发明的目的在于克服现有技术的不足,本发明提供了一种基于多模态感知的足式机器人运动行为识别方法及***,提高运动行为识别的可靠性和提高运动行为识别的准确率。
为了解决上述技术问题,本发明实施例中提供了一种基于多模态感知的足式机器人运动行为识别方法,所述方法包括:
基于多种类型的传感器采集足式机器人在不同类型地面上重复行走预设距离所产生的多模态传感数据信息;
对所述多模态传感数据信息按照不同类型地面进行数据集划分,得到不同地面类型的多模态传感数据集,所述不同地面类型的多模态传感数据集包括训练集和测试集;
基于所述不同地面类型的多模态传感数据集对粘性层次狄利克雷过程隐马尔科夫模型进行学习训练,获得最优粘性层次狄利克雷过程隐马尔科夫模型;
将所述待识别样本信息输入所述最优粘性层次狄利克雷过程隐马尔科夫模型进行对数似然函数值之和的计算;
基于对数似然函数值之和的计算结果进行足式机器人运动行为识别。
可选的,所述基于多种类型的传感器采集足式机器人在不同类型地面上重复行走预设距离所产生的多模态传感数据信息,包括:
基于多种类型的传感器采集足式机器人在不同类型地面上重复行走预设距离所产生的数据信息;
基于人为方式对所述数据信息进行标注,获得标注数据信息;
基于非线性的卡尔曼滤波法对所述标注数据信息进行降噪处理,并对降噪后的数据信息利用数值插补法进行频率对齐,获得多模态传感数据信息。
可选的,所述多模态传感数据信息包括关节编码器的关节角度和速度信息、IMU的姿态和加速度信息、关节电流信息及其相关的统计学信息。
可选的,所述粘性层次狄利克雷过程隐马尔科夫模型的构建过程,包括:
获得层次狄利克雷过程,并定义所述层次狄利克雷过程如下:
则,利用层次狄利克雷过程对隐马尔科夫模型的隐形状态转换概率πj进行一般性描述如下:
即可获得层次狄利克雷过程隐马尔科夫模型如公式(2)所示;
对所述层次狄利克雷过程隐马尔科夫模型增加隐性状态转换概率的先验超参数κ,获得粘性层次狄利克雷过程隐马尔科夫模型;
其中,H表示任意的基分布;γ表示集中系数;集中系数γ决定了β的相对离散比例,当γ越大表示数据越离散,反之,越集中;DP表示为狄利克雷过程;G表示一个对数据聚类的过程,在狄利克雷过程中,G~DP(γ,H),G0,Gj∈G;GEM表示折棍子的生成过程;α表示DP过程的集中系数;vk表示第k个隐性状态的中间变量,有γ决定;βk表示第k个隐性状态的转移概率;l=1,2,3,…,k-1;k=1,2,3,4,…;θk表示第k个隐性状态的未知参数;表示取值只为0或1的逻辑函数;γ~Beta(1,γ)表示γ服从贝塔分布。
可选的,所述对所述层次狄利克雷过程隐马尔科夫模型增加隐性状态转换概率的先验超参数κ,获得粘性层次狄利克雷过程隐马尔科夫模型,包括:
所述层次狄利克雷过程隐马尔科夫模型中公式(2)中给定β的情况下转换概率的期望值转换概率值本身,并没有考虑到隐性状态间的自转换,即:
E[πjk|β]=βk; (3)
参照公式(2)的描述,以增加自转换概率的方式来对隐性状态转换的概率分布作出以下的调整:
在公式(4)中,(αβ+κδj)项表示在αβ和第j个元素中增加一个常量值κ>0,使得转换概率πjk的期望自转换概率与常量值κ成正比,κ越大,表示模型对观察值的“粘性”越高;从而增加“粘性”后转换概率的期望值为:
其中,定义为模型的自转换的比例系数;GEM表示折棍子的生成过程;γ表示集中系数;α表示DP过程的集中系数;βk表示第k个隐性状态的转移概率;δj表示第j个隐性状态的逻辑函数;β表示转移概率先验分布的参数;δ(j,k)表示隐性状态j和隐性状态k之间转移的逻辑函数。
可选的,所述基于所述不同地面类型的多模态传感数据集对粘性层次狄利克雷过程隐马尔科夫模型进行训练,获得最优粘性层次狄利克雷过程隐马尔科夫模型,包括:
对所述粘性层次狄利克雷过程隐马尔科夫模型设置需要学习的均值和协方差两个参数;
设置均值服从高斯分布,协方差服从逆威沙特分布;
假设所述同地面类型的多模态传感数据集中包含有N个维度D的样本,每个样本的数据长度为Tn,逆威沙特分布中协方差的对称正定比例矩阵Δ和自由度参数v设置如下:
其中,yt表示各时刻的观察值;SF表示均值矩阵的比例系数,其中,SF=1;
由公式(7)完成参数学习;
层次狄利克雷过程的集中系数γ和α+κ的先验模型均为Gamma(a,b)分布,自转换系数ρ的先验模型为Beta(c,d)分布,其中设置两个先验模型的超参数为a=0.5,b=5,c=10,d=1,对粘性层次狄利克雷过程设置截断隐性状态数量为K=5,定义粘性参数κ=50;
利用所述同地面类型的多模态传感数据集基于优化的变分推断法对后验分布进行学习,获得学习后的粘性层次狄利克雷过程隐马尔科夫模型;
基于学习后的粘性层次狄利克雷过程隐马尔科夫模型获得最优粘性层次狄利克雷过程隐马尔科夫模型。
可选的,所述基于学习后的粘性层次狄利克雷过程隐马尔科夫模型获得最优粘性层次狄利克雷过程隐马尔科夫模型,包括:
基于所述学习后的粘性层次狄利克雷过程隐马尔科夫模型利用留一交叉验证法进行选择处理,获得最优粘性层次狄利克雷过程隐马尔科夫模型。
可选的,所述将所述待识别样本信息输入所述最优粘性层次狄利克雷过程隐马尔科夫模型进行对数似然函数值之和的计算,包括:
通过对数似然函数计算所述待识别样本信息输入所述最优粘性层次狄利克雷过程隐马尔科夫模型中的对数似然函数值之和。
可选的,所述对数似然函数值之和的计算公式如下:
其中,T为运动行为的长度;Lc表示对比各个运动行为;Θ表示特定地面下所训练模型的参数空间;C表示地面的类型。
另外,本发明实施例还提供了一种基于多模态感知的足式机器人运动行为识别***,所述***包括:
数据产生模块:用于基于多种类型的传感器采集足式机器人在不同类型地面上重复行走预设距离所产生的多模态传感数据信息;
数据划分模块:用于对所述多模态传感数据信息按照不同类型地面进行数据集划分,得到不同地面类型的多模态传感数据集,所述不同地面类型的多模态传感数据集包括训练集和测试集;
学习训练模块:用于基于所述不同地面类型的多模态传感数据集对粘性层次狄利克雷过程隐马尔科夫模型进行学习训练,获得最优粘性层次狄利克雷过程隐马尔科夫模型;
计算模块:用于将所述待识别样本信息输入所述最优粘性层次狄利克雷过程隐马尔科夫模型进行对数似然函数值之和计算;
运动行为识别模块:用于基于对数似然函数值之和的计算结果进行足式机器人运动行为识别。
在本发实施例中,通过足式机器人的多模态传感数据信息和提出了非参数化粘性层次狄利克雷过程隐马尔科夫模型,增强了对多模态数据建模的时间一致性,提高运动行为识别的可靠性;同时能够避免对数据的过拟合,降低了建模的复杂性,提高运动行为识别的准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见的,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1是本发明实施例中的基于多模态感知的足式机器人运动行为识别方法的流程示意图;
图2是本发明实施例中的粘性层次狄利克雷过程隐马尔科夫模型的概率图模型结构示意图。
图3是本发明实施例中的基于多模态感知的足式机器人运动行为识别***的结构组成示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
实施例
请参阅图1,图1是本发明实施例中的基于多模态感知的足式机器人运动行为识别方法的流程示意图。
如图1所示,一种基于多模态感知的足式机器人运动行为识别方法,所述方法包括:
S11:基于多种类型的传感器采集足式机器人在不同类型地面上重复行走预设距离所产生的多模态传感数据信息;
在本发明具体实施过程中,所述基于多种类型的传感器采集足式机器人在不同类型地面上重复行走预设距离所产生的多模态传感数据信息,包括:基于多种类型的传感器采集足式机器人在不同类型地面上重复行走预设距离所产生的数据信息;基于人为方式对所述数据信息进行标注,获得标注数据信息;基于非线性的卡尔曼滤波法对所述标注数据信息进行降噪处理,并对降噪后的数据信息利用数值插补法进行频率对齐,获得多模态传感数据信息。
进一步的,所述多模态传感数据信息包括关节编码器的关节角度和速度信息、IMU的姿态和加速度信息、关节电流信息及其相关的统计学信息。
具体的,分别通过不同的传感器来采集多模态传感数据信息,足式机器人在不同类型的地面上行走预设距离,然后进行数据采集,该预设距离可以为2米,不同类型的地面包括泥沙、水泥、草地、木质、瓷砖等;每种类型的地面所采集的数据数量可以为30组;多模态传感数据信息包括关节编码器的关节角度和速度信息、IMU的姿态和加速度信息、关节电流信息及其相关的统计学信息;对于采集到的数据信息首先进行人为方式的标注,在标注之后,利用非线性的卡尔曼滤波方法对数据进行去噪处理,然后采用数值插补的方法对不同传感器的数据进行频率对齐,最终获得多模态传感数据信息;这样可以实现把运动行为识别的问题转换成监督学习的分类问题。
S12:对所述多模态传感数据信息按照不同类型地面进行数据集划分,得到不同地面类型的多模态传感数据集,所述不同地面类型的多模态传感数据集包括训练集和测试集;
在本发明具体实施过程中,对于得到的多模态传感数据信息,因为不同的地面类型中重复采集数据量为30组,在具体实施例中,需要对数据集进行划分,主要是划分为训练集和测试集;因为数据集较少,因此划分29组为训练集,1组为测试集。
S13:基于所述不同地面类型的多模态传感数据集对粘性层次狄利克雷过程隐马尔科夫模型进行学习训练,获得最优粘性层次狄利克雷过程隐马尔科夫模型;
在本发明具体实施过程中,所述粘性层次狄利克雷过程隐马尔科夫模型的构建过程,包括:
获得层次狄利克雷过程,并定义所述层次狄利克雷过程如下:
则,利用层次狄利克雷过程对隐马尔科夫模型的隐形状态转换概率πj进行一般性描述如下:
即可获得层次狄利克雷过程隐马尔科夫模型如公式(2)所示;
对所述层次狄利克雷过程隐马尔科夫模型增加隐性状态转换概率的先验超参数κ,获得粘性层次狄利克雷过程隐马尔科夫模型;
其中,H表示任意的基分布;γ表示集中系数;集中系数γ决定了β的相对离散比例,当γ越大表示数据越离散,反之,越集中;DP表示为狄利克雷过程;G表示一个对数据聚类的过程,在狄利克雷过程中,G~DP(γ,H),G0,Gj∈G;GEM表示折棍子的生成过程;α表示DP过程的集中系数;vk表示第k个隐性状态的中间变量,有γ决定;βk表示第k个隐性状态的转移概率;l=1,2,3,…,k-1;k=1,2,3,4,…;θk表示第k个隐性状态的未知参数;表示取值只为0或1的逻辑函数;γ~Beta(1,γ)表示γ服从贝塔分布。
进一步的,所述对所述层次狄利克雷过程隐马尔科夫模型增加隐性状态转换概率的先验超参数κ,获得粘性层次狄利克雷过程隐马尔科夫模型,包括:
所述层次狄利克雷过程隐马尔科夫模型中公式(2)中给定β的情况下转换概率的期望值转换概率值本身,并没有考虑到隐性状态间的自转换,即:
E[πjk|β]=βk; (3)
参照公式(2)的描述,以增加自转换概率的方式来对隐性状态转换的概率分布作出以下的调整:
在公式(4)中,(αβ+κδj)项表示在αβ和第j个元素中增加一个常量值κ>0,使得转换概率πjk的期望自转换概率与常量值κ成正比,κ越大,表示模型对观察值的“粘性”越高;从而增加“粘性”后转换概率的期望值为:
其中,定义为模型的自转换的比例系数;GEM表示折棍子的生成过程;γ表示集中系数;α表示DP过程的集中系数;βk表示第k个隐性状态的转移概率;δj表示第j个隐性状态的逻辑函数;β表示转移概率先验分布的参数;δ(j,k)表示隐性状态j和隐性状态k之间转移的逻辑函数。
进一步的,所述基于所述不同地面类型的多模态传感数据集对粘性层次狄利克雷过程隐马尔科夫模型进行训练,获得最优粘性层次狄利克雷过程隐马尔科夫模型,包括:
对所述粘性层次狄利克雷过程隐马尔科夫模型设置需要学习的均值和协方差两个参数;
设置均值服从高斯分布,协方差服从逆威沙特分布;
假设所述同地面类型的多模态传感数据集中包含有N个维度D的样本,每个样本的数据长度为Tn,逆威沙特分布中协方差的对称正定比例矩阵Δ和自由度参数v设置如下:
其中,yt表示各时刻的观察值;SF表示均值矩阵的比例系数,其中,SF=1;
由公式(7)完成参数学习;
层次狄利克雷过程的集中系数γ和α+κ的先验模型均为Gamma(a,b)分布,自转换系数ρ的先验模型为Beta(c,d)分布,其中设置两个先验模型的超参数为a=0.5,b=5,c=10,d=1,对粘性层次狄利克雷过程设置截断隐性状态数量为K=5,定义粘性参数κ=50;
利用所述同地面类型的多模态传感数据集基于优化的变分推断法对后验分布进行学习,获得学习后的粘性层次狄利克雷过程隐马尔科夫模型;
基于学习后的粘性层次狄利克雷过程隐马尔科夫模型获得最优粘性层次狄利克雷过程隐马尔科夫模型。
进一步的,所述基于学习后的粘性层次狄利克雷过程隐马尔科夫模型获得最优粘性层次狄利克雷过程隐马尔科夫模型,包括:
基于所述学习后的粘性层次狄利克雷过程隐马尔科夫模型利用留一交叉验证法进行选择处理,获得最优粘性层次狄利克雷过程隐马尔科夫模型。
具体的,在本发明构建的非参数化粘性层次狄利克雷过程隐马尔科夫模型,其概率图模型如图2所示,通过对隐性状态zt分别πj增加了参数β和超参数γ和κ,有利于对动态复杂的多模态传感信息yt进行自动参数调整的建模,提高建模的简易性和计算效率,并且利用贝叶斯法则,计算新观测数据的对数似然函数值的方式实现对不同运动地面下的运动行为识别。
假设离散的分布G是一个对数据聚类的过程,它来自于狄利克雷过程DP(Dirichlet Process)那么G~DP(γ,H),其中,H可以是任意的基分布,γ为集中系数;虽然基分布是连续分布,但是从DP采样却是离散的,γ直接影响到DP的离散程度;层级狄利克雷过程HDP是狄利克雷过程DP的一种扩展形式,它主要用于解决在DP中,当基分布是连续时所得到的采样参数与概率1不等的情况HDP通过在基分布上又定义一个先验分布,由每个DP获得基分布的采样,这样就保证了基分布的离散性,从而可知HDP的定义如下:
那么,利用HDP对HMM模型(隐马尔可夫模型)的隐性状态转换概率πj的进行一般性描述如下:
即可获得层次狄利克雷过程隐马尔科夫模型如公式(2)所示;
对所述层次狄利克雷过程隐马尔科夫模型增加隐性状态转换概率的先验超参数κ,获得粘性层次狄利克雷过程隐马尔科夫模型;
其中,H表示任意的基分布;γ表示集中系数;集中系数γ决定了β的相对离散比例,当γ越大表示数据越离散,反之,越集中;DP表示为狄利克雷过程;G表示一个对数据聚类的过程,在狄利克雷过程中,G~DP(γ,H),G0,Gj∈G;GEM表示折棍子的生成过程;α表示DP过程的集中系数;vk表示第k个隐性状态的中间变量,有γ决定;βk表示第k个隐性状态的转移概率;l=1,2,3,…,k-1;k=1,2,3,4,…;θk表示第k个隐性状态的未知参数;表示取值只为0或1的逻辑函数;γ~Beta(1,γ)表示γ服从贝塔分布。
在层次狄利克雷过程隐马尔科夫模型中公式(2)中给定β的情况下转换概率的期望值转换概率值本身,并没有考虑到隐性状态间的自转换(Self-transition),即:
E[πjk|β]=βk; (3)
此时,会造成隐性状态间的快速转换,不利于捕捉现实世界中时间序列的持续性或一致性,即表示在有限的时间间隔内的观察数值由相同的隐性状态描述;另外,缺乏自转换概率将会产生大量冗余的隐性状态,削弱了模型的预测功能。
参照公式(2)的描述,以增加自转换概率的方式来对隐性状态转换的概率分布作出以下的调整:
在公式(4)中,(αβ+κδj)项表示在αβ和第j个元素中增加一个常量值κ>0,使得转换概率πjk的期望自转换概率与常量值κ成正比,κ越大,表示模型对观察值的“粘性”越高;从而增加“粘性”后转换概率的期望值为:
其中,定义为模型的自转换的比例系数;GEM表示折棍子的生成过程;γ表示集中系数;α表示DP过程的集中系数;βk表示第k个隐性状态的转移概率;δj表示第j个隐性状态的逻辑函数;β表示转移概率先验分布的参数;δ(j,k)表示隐性状态j和隐性状态k之间转移的逻辑函数。
粘性层次狄利克雷过程隐马尔科夫模型中的参数包括观察模型的参数和先验模型的参数,其中,设定其观察模型为多维高斯模型时有两个需要学习的参数:均值μ和协方差Σ两个参数,当该两个参数都未知的情况,将采用正态逆逆威沙特分布(NIW)作为观察模型的先验分布,由该分布生成未知参数的样本;通过设置均值μ服从高斯分别μ~N(μμ,Σμ),协方差则服从逆威沙特分布Σ~IW(v,Δ);那么,针对观察模型的参数,假定运动行为的训练数据集中含有N个维度D的样本,每个样本的数据长度为Tn,逆威沙特分布Σ~IW(v,Δ)中协方差的对称正定比例矩阵Δ和自由度参数v设置如下:
其中,yt表示各时刻的观察值;SF表示均值矩阵的比例系数,其中,SF=1;
因此,可以完成对观察模型的参数进行学习。
层次狄利克雷过程的集中系数γ和α+κ的先验模型均为Gamma(a,b)分布,自转换系数ρ的先验模型为Beta(c,d)分布,其中设置两个先验模型的超参数为a=0.5,b=5,c=10,d=1,对粘性层次狄利克雷过程设置截断隐性状态数量为K=5,定义粘性参数κ=50;利用所述同地面类型的多模态传感数据集基于优化的变分推断法对后验分布进行学习,获得学习后的粘性层次狄利克雷过程隐马尔科夫模型;基于学习后的粘性层次狄利克雷过程隐马尔科夫模型获得最优粘性层次狄利克雷过程隐马尔科夫模型。
基于所述学习后的粘性层次狄利克雷过程隐马尔科夫模型利用留一交叉验证法进行选择处理,获得最优粘性层次狄利克雷过程隐马尔科夫模型。
S14:将所述待识别样本信息输入所述最优粘性层次狄利克雷过程隐马尔科夫模型进行对数似然函数值之和的计算;
在本发明具体实施过程中,所述将所述待识别样本信息输入所述最优粘性层次狄利克雷过程隐马尔科夫模型进行对数似然函数值之和的计算,包括:在给定的所述待识别样本信息其中D为多模态传感数据信息的维度,T为运动行为的长度;通过对数似然函数计算所述待识别样本信息输入所述最优粘性层次狄利克雷过程隐马尔科夫模型中的对数似然函数值之和。
进一步的,所述对数似然函数值之和的计算公式如下:
其中,T为运动行为的长度;Lc表示对比各个运动行为;Θ表示特定地面下所训练模型的参数空间;C表示地面的类型。
具体的,在得到最优粘性层次狄利克雷过程隐马尔科夫模型之后,在给定的新的待识别样本信息其中D为多模态传感数据信息的维度,T为运动行为的长度;通过对数似然函数计算所述待识别样本信息输入所述最优粘性层次狄利克雷过程隐马尔科夫模型中的对数似然函数值之和。
对数似然函数值之和的计算公式如下:
其中,T为运动行为的长度;Lc表示对比各个运动行为;Θ表示特定地面下所训练模型的参数空间;C表示地面的类型。
S15:基于对数似然函数值之和的计算结果进行足式机器人运动行为识别。
在本发明具体实施过程中,通过对数似然函数值之和的计算结果来识别当前足式机器人的运动行为。
在本发实施例中,通过足式机器人的多模态传感数据信息和提出了非参数化粘性层次狄利克雷过程隐马尔科夫模型,增强了对多模态数据建模的时间一致性,提高运动行为识别的可靠性;同时能够避免对数据的过拟合,降低了建模的复杂性,提高运动行为识别的准确率。
实施例
请参阅图3,图3是本发明实施例中的基于多模态感知的足式机器人运动行为识别***的结构组成示意图。
如图3所示,一种基于多模态感知的足式机器人运动行为识别***,所述***包括:
数据产生模块21:用于基于多种类型的传感器采集足式机器人在不同类型地面上重复行走预设距离所产生的多模态传感数据信息;
在本发明具体实施过程中,所述基于多种类型的传感器采集足式机器人在不同类型地面上重复行走预设距离所产生的多模态传感数据信息,包括:基于多种类型的传感器采集足式机器人在不同类型地面上重复行走预设距离所产生的数据信息;基于人为方式对所述数据信息进行标注,获得标注数据信息;基于非线性的卡尔曼滤波法对所述标注数据信息进行降噪处理,并对降噪后的数据信息利用数值插补法进行频率对齐,获得多模态传感数据信息。
进一步的,所述多模态传感数据信息包括关节编码器的关节角度和速度信息、IMU的姿态和加速度信息、关节电流信息及其相关的统计学信息。
具体的,分别通过不同的传感器来采集多模态传感数据信息,足式机器人在不同类型的地面上行走预设距离,然后进行数据采集,该预设距离可以为2米,不同类型的地面包括泥沙、水泥、草地、木质、瓷砖等;每种类型的地面所采集的数据数量可以为30组;多模态传感数据信息包括关节编码器的关节角度和速度信息、IMU的姿态和加速度信息、关节电流信息及其相关的统计学信息;对于采集到的数据信息首先进行人为方式的标注,在标注之后,利用非线性的卡尔曼滤波方法对数据进行去噪处理,然后采用数值插补的方法对不同传感器的数据进行频率对齐,最终获得多模态传感数据信息;这样可以实现把运动行为识别的问题转换成监督学习的分类问题。
数据划分模块22:用于对所述多模态传感数据信息按照不同类型地面进行数据集划分,得到不同地面类型的多模态传感数据集,所述不同地面类型的多模态传感数据集包括训练集和测试集;
在本发明具体实施过程中,对于得到的多模态传感数据信息,因为不同的地面类型中重复采集数据量为30组,在具体实施例中,需要对数据集进行划分,主要是划分为训练集和测试集;因为数据集较少,因此划分29组为训练集,1组为测试集。
学习训练模块23:用于基于所述不同地面类型的多模态传感数据集对粘性层次狄利克雷过程隐马尔科夫模型进行学习训练,获得最优粘性层次狄利克雷过程隐马尔科夫模型;
在本发明具体实施过程中,所述粘性层次狄利克雷过程隐马尔科夫模型的构建过程,包括:
获得层次狄利克雷过程,并定义所述层次狄利克雷过程如下:
则,利用层次狄利克雷过程对隐马尔科夫模型的隐形状态转换概率πj进行一般性描述如下:
即可获得层次狄利克雷过程隐马尔科夫模型如公式(2)所示;
对所述层次狄利克雷过程隐马尔科夫模型增加隐性状态转换概率的先验超参数κ,获得粘性层次狄利克雷过程隐马尔科夫模型;
其中,H表示任意的基分布;γ表示集中系数;集中系数γ决定了β的相对离散比例,当γ越大表示数据越离散,反之,越集中;DP表示为狄利克雷过程;G表示一个对数据聚类的过程,在狄利克雷过程中,G~DP(γ,H),G0,Gj∈G;GEM表示折棍子的生成过程;α表示DP过程的集中系数;vk表示第k个隐性状态的中间变量,有γ决定;βk表示第k个隐性状态的转移概率;l=1,2,3,…,k-1;k=1,2,3,4,…;θk表示第k个隐性状态的未知参数;表示取值只为0或1的逻辑函数;γ~Beta(1,γ)表示γ服从贝塔分布。
进一步的,所述对所述层次狄利克雷过程隐马尔科夫模型增加隐性状态转换概率的先验超参数κ,获得粘性层次狄利克雷过程隐马尔科夫模型,包括:
所述层次狄利克雷过程隐马尔科夫模型中公式(2)中给定β的情况下转换概率的期望值转换概率值本身,并没有考虑到隐性状态间的自转换,即:
E[πjk|β]=βk; (3)
参照公式(2)的描述,以增加自转换概率的方式来对隐性状态转换的概率分布作出以下的调整:
在公式(4)中,(αβ+κδj)项表示在αβ和第j个元素中增加一个常量值κ>0,使得转换概率πjk的期望自转换概率与常量值κ成正比,κ越大,表示模型对观察值的“粘性”越高;从而增加“粘性”后转换概率的期望值为:
其中,定义为模型的自转换的比例系数;GEM表示折棍子的生成过程;γ表示集中系数;α表示DP过程的集中系数;βk表示第k个隐性状态的转移概率;δj表示第j个隐性状态的逻辑函数;β表示转移概率先验分布的参数;δ(j,k)表示隐性状态j和隐性状态k之间转移的逻辑函数。
进一步的,所述基于所述不同地面类型的多模态传感数据集对粘性层次狄利克雷过程隐马尔科夫模型进行训练,获得最优粘性层次狄利克雷过程隐马尔科夫模型,包括:
对所述粘性层次狄利克雷过程隐马尔科夫模型设置需要学习的均值和协方差两个参数;
设置均值服从高斯分布,协方差服从逆威沙特分布;
假设所述同地面类型的多模态传感数据集中包含有N个维度D的样本,每个样本的数据长度为Tn,逆威沙特分布中协方差的对称正定比例矩阵Δ和自由度参数v设置如下:
其中,yt表示各时刻的观察值;SF表示均值矩阵的比例系数,其中,SF=1;
由公式(7)完成参数学习;
层次狄利克雷过程的集中系数γ和α+κ的先验模型均为Gamma(a,b)分布,自转换系数ρ的先验模型为Beta(c,d)分布,其中设置两个先验模型的超参数为a=0.5,b=5,c=10,d=1,对粘性层次狄利克雷过程设置截断隐性状态数量为K=5,定义粘性参数κ=50;
利用所述同地面类型的多模态传感数据集基于优化的变分推断法对后验分布进行学习,获得学习后的粘性层次狄利克雷过程隐马尔科夫模型;
基于学习后的粘性层次狄利克雷过程隐马尔科夫模型获得最优粘性层次狄利克雷过程隐马尔科夫模型。
进一步的,所述基于学习后的粘性层次狄利克雷过程隐马尔科夫模型获得最优粘性层次狄利克雷过程隐马尔科夫模型,包括:
基于所述学习后的粘性层次狄利克雷过程隐马尔科夫模型利用留一交叉验证法进行选择处理,获得最优粘性层次狄利克雷过程隐马尔科夫模型。
具体的,在本发明构建的非参数化粘性层次狄利克雷过程隐马尔科夫模型,其概率图模型如图2所示,通过对隐性状态zt分别πj增加了参数β和超参数γ和κ,有利于对动态复杂的多模态传感信息yt进行自动参数调整的建模,提高建模的简易性和计算效率,并且利用贝叶斯法则,计算新观测数据的对数似然函数值的方式实现对不同运动地面下的运动行为识别。
假设离散的分布G是一个对数据聚类的过程,它来自于狄利克雷过程DP(Dirichlet Process)那么G~DP(γ,H),其中,H可以是任意的基分布,γ为集中系数;虽然基分布是连续分布,但是从DP采样却是离散的,γ直接影响到DP的离散程度;层级狄利克雷过程HDP是狄利克雷过程DP的一种扩展形式,它主要用于解决在DP中,当基分布是连续时所得到的采样参数与概率1不等的情况HDP通过在基分布上又定义一个先验分布,由每个DP获得基分布的采样,这样就保证了基分布的离散性,从而可知HDP的定义如下:
那么,利用HDP对HMM模型(隐马尔可夫模型)的隐性状态转换概率πj的进行一般性描述如下:
即可获得层次狄利克雷过程隐马尔科夫模型如公式(2)所示;
对所述层次狄利克雷过程隐马尔科夫模型增加隐性状态转换概率的先验超参数κ,获得粘性层次狄利克雷过程隐马尔科夫模型;
其中,H表示任意的基分布;γ表示集中系数;集中系数γ决定了β的相对离散比例,当γ越大表示数据越离散,反之,越集中;DP表示为狄利克雷过程;G表示一个对数据聚类的过程,在狄利克雷过程中,G~DP(γ,H),G0,Gj∈G;GEM表示折棍子的生成过程;α表示DP过程的集中系数;vk表示第k个隐性状态的中间变量,有γ决定;βk表示第k个隐性状态的转移概率;l=1,2,3,…,k-1;k=1,2,3,4,…;θk表示第k个隐性状态的未知参数;表示取值只为0或1的逻辑函数;γ~Beta(1,γ)表示γ服从贝塔分布。
在层次狄利克雷过程隐马尔科夫模型中公式(2)中给定β的情况下转换概率的期望值转换概率值本身,并没有考虑到隐性状态间的自转换(Self-transition),即:
E[πjk|β]=βk; (3)
此时,会造成隐性状态间的快速转换,不利于捕捉现实世界中时间序列的持续性或一致性,即表示在有限的时间间隔内的观察数值由相同的隐性状态描述;另外,缺乏自转换概率将会产生大量冗余的隐性状态,削弱了模型的预测功能。
参照公式(2)的描述,以增加自转换概率的方式来对隐性状态转换的概率分布作出以下的调整:
在公式(4)中,(αβ+κδj)项表示在αβ和第j个元素中增加一个常量值κ>0,使得转换概率πjk的期望自转换概率与常量值κ成正比,κ越大,表示模型对观察值的“粘性”越高;从而增加“粘性”后转换概率的期望值为:
其中,定义为模型的自转换的比例系数;GEM表示折棍子的生成过程;γ表示集中系数;α表示DP过程的集中系数;βk表示第k个隐性状态的转移概率;δj表示第j个隐性状态的逻辑函数;β表示转移概率先验分布的参数;δ(j,k)表示隐性状态j和隐性状态k之间转移的逻辑函数。
粘性层次狄利克雷过程隐马尔科夫模型中的参数包括观察模型的参数和先验模型的参数,其中,设定其观察模型为多维高斯模型时有两个需要学习的参数:均值μ和协方差Σ两个参数,当该两个参数都未知的情况,将采用正态逆逆威沙特分布(NIW)作为观察模型的先验分布,由该分布生成未知参数的样本;通过设置均值μ服从高斯分别μ~N(μμ,Σμ),协方差则服从逆威沙特分布Σ~IW(v,Δ);那么,针对观察模型的参数,假定运动行为的训练数据集中含有N个维度D的样本,每个样本的数据长度为Tn,逆威沙特分布Σ~IW(v,Δ)中协方差的对称正定比例矩阵Δ和自由度参数v设置如下:
其中,yt表示各时刻的观察值;SF表示均值矩阵的比例系数,其中,SF=1;
因此,可以完成对观察模型的参数进行学习。
层次狄利克雷过程的集中系数γ和α+κ的先验模型均为Gamma(a,b)分布,自转换系数ρ的先验模型为Beta(c,d)分布,其中设置两个先验模型的超参数为a=0.5,b=5,c=10,d=1,对粘性层次狄利克雷过程设置截断隐性状态数量为K=5,定义粘性参数κ=50;利用所述同地面类型的多模态传感数据集基于优化的变分推断法对后验分布进行学习,获得学习后的粘性层次狄利克雷过程隐马尔科夫模型;基于学习后的粘性层次狄利克雷过程隐马尔科夫模型获得最优粘性层次狄利克雷过程隐马尔科夫模型。
基于所述学习后的粘性层次狄利克雷过程隐马尔科夫模型利用留一交叉验证法进行选择处理,获得最优粘性层次狄利克雷过程隐马尔科夫模型。
计算模块24:用于将所述待识别样本信息输入所述最优粘性层次狄利克雷过程隐马尔科夫模型进行对数似然函数值之和的计算;
在本发明具体实施过程中,所述将所述待识别样本信息输入所述最优粘性层次狄利克雷过程隐马尔科夫模型进行对数似然函数值之和的计算,包括:在给定的所述待识别样本信息其中D为多模态传感数据信息的维度,T为运动行为的长度;通过对数似然函数计算所述待识别样本信息输入所述最优粘性层次狄利克雷过程隐马尔科夫模型中的对数似然函数值之和。
进一步的,所述对数似然函数值之和的计算公式如下:
其中,T为运动行为的长度;Lc表示对比各个运动行为;Θ表示特定地面下所训练模型的参数空间;C表示地面的类型。
具体的,在得到最优粘性层次狄利克雷过程隐马尔科夫模型之后,在给定的新的待识别样本信息其中D为多模态传感数据信息的维度,T为运动行为的长度;通过对数似然函数计算所述待识别样本信息输入所述最优粘性层次狄利克雷过程隐马尔科夫模型中的对数似然函数值之和。
对数似然函数值之和的计算公式如下:
其中,T为运动行为的长度;Lc表示对比各个运动行为;Θ表示特定地面下所训练模型的参数空间;C表示地面的类型。
运动行为识别模块25:用于基于对数似然函数值之和的计算结果进行足式机器人运动行为识别。
在本发明具体实施过程中,通过对数似然函数值之和的计算结果来识别当前足式机器人的运动行为。
在本发实施例中,通过足式机器人的多模态传感数据信息和提出了非参数化粘性层次狄利克雷过程隐马尔科夫模型,增强了对多模态数据建模的时间一致性,提高运动行为识别的可靠性;同时能够避免对数据的过拟合,降低了建模的复杂性,提高运动行为识别的准确率。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、磁盘或光盘等。
另外,以上对本发明实施例所提供的一种基于多模态感知的足式机器人运动行为识别方法及***进行了详细介绍,本文中应采用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (7)
1.一种基于多模态感知的足式机器人运动行为识别方法,其特征在于,所述方法包括:
基于多种类型的传感器采集足式机器人在不同类型地面上重复行走预设距离所产生的多模态传感数据信息;
对所述多模态传感数据信息按照不同类型地面进行数据集划分,得到不同地面类型的多模态传感数据集,所述不同地面类型的多模态传感数据集包括训练集和测试集;
基于所述不同地面类型的多模态传感数据集对粘性层次狄利克雷过程隐马尔科夫模型进行学习训练,获得最优粘性层次狄利克雷过程隐马尔科夫模型;
将待识别样本信息输入所述最优粘性层次狄利克雷过程隐马尔科夫模型进行对数似然函数值之和的计算;
基于对数似然函数值之和的计算结果进行足式机器人运动行为识别;
所述粘性层次狄利克雷过程隐马尔科夫模型的构建过程,包括:
获得层次狄利克雷过程,并定义所述层次狄利克雷过程如下:
则,利用层次狄利克雷过程对隐马尔科夫模型的隐形状态转换概率πj进行一般性描述如下:
即可获得层次狄利克雷过程隐马尔科夫模型如公式(2)所示;
对所述层次狄利克雷过程隐马尔科夫模型增加隐性状态转换概率的先验超参数κ,获得粘性层次狄利克雷过程隐马尔科夫模型;
其中,H表示任意的基分布;γ表示集中系数;集中系数γ决定了β的相对离散比例,当γ越大表示数据越离散,反之,越集中;DP表示为狄利克雷过程;G表示一个对数据聚类的过程,在狄利克雷过程中,G~DP(γ,H),G0,Gj∈G;GEM表示折棍子的生成过程;α表示DP过程的集中系数;vk表示第k个隐性状态的中间变量,有γ决定;βk表示第k个隐性状态的转移概率;l=1,2,3,…,k-1;k=1,2,3,4,…;θk表示第k个隐性状态的未知参数;表示取值只为0或1的逻辑函数;γ~Beta(1,γ)表示γ服从贝塔分布;
所述对所述层次狄利克雷过程隐马尔科夫模型增加隐性状态转换概率的先验超参数κ,获得粘性层次狄利克雷过程隐马尔科夫模型,包括:
所述层次狄利克雷过程隐马尔科夫模型中公式(2)中给定β的情况下转换概率的期望值转换概率值本身,并没有考虑到隐性状态间的自转换,即:
E[πjk|β]=βk; (3)
参照公式(2)的描述,以增加自转换概率的方式来对隐性状态转换的概率分布作出以下的调整:
在公式(4)中,(αβ+κδj)项表示在αβ和第j个元素中增加一个常量值κ>0,使得转换概率πjk的期望自转换概率与常量值κ成正比,κ越大,表示模型对观察值的“粘性”越高;从而增加“粘性”后转换概率的期望值为:
其中,定义为模型的自转换的比例系数;GEM表示折棍子的生成过程;γ表示集中系数;α表示DP过程的集中系数;βk表示第k个隐性状态的转移概率;δj表示第j个隐性状态的逻辑函数;β表示转移概率先验分布的参数;δ(j,k)表示隐性状态j和隐性状态k之间转移的逻辑函数;
所述基于所述不同地面类型的多模态传感数据集对粘性层次狄利克雷过程隐马尔科夫模型进行训练,获得最优粘性层次狄利克雷过程隐马尔科夫模型,包括:
对所述粘性层次狄利克雷过程隐马尔科夫模型设置需要学习的均值和协方差两个参数;
设置均值服从高斯分布,协方差服从逆威沙特分布;
假设所述同地面类型的多模态传感数据集中包含有N个维度D的样本,每个样本的数据长度为Tn,逆威沙特分布中协方差的对称正定比例矩阵Δ和自由度参数v设置如下:
其中,yt表示各时刻的观察值;SF表示均值矩阵的比例系数,其中,SF=1;
由公式(7)完成参数学习;
层次狄利克雷过程的集中系数γ和α+κ的先验模型均为Gamma(a,b)分布,自转换系数ρ的先验模型为Beta(c,d)分布,其中设置两个先验模型的超参数为a=0.5,b=5,c=10,d=1,对粘性层次狄利克雷过程设置截断隐性状态数量为K=5,定义粘性参数κ=50;
利用所述同地面类型的多模态传感数据集基于优化的变分推断法对后验分布进行学习,获得学习后的粘性层次狄利克雷过程隐马尔科夫模型;
基于学习后的粘性层次狄利克雷过程隐马尔科夫模型获得最优粘性层次狄利克雷过程隐马尔科夫模型。
2.根据权利要求1所述的足式机器人运动行为识别方法,其特征在于,所述基于多种类型的传感器采集足式机器人在不同类型地面上重复行走预设距离所产生的多模态传感数据信息,包括:
基于多种类型的传感器采集足式机器人在不同类型地面上重复行走预设距离所产生的数据信息;
基于人为方式对所述数据信息进行标注,获得标注数据信息;
基于非线性的卡尔曼滤波法对所述标注数据信息进行降噪处理,并对降噪后的数据信息利用数值插补法进行频率对齐,获得多模态传感数据信息。
3.根据权利要求1或2所述的足式机器人运动行为识别方法,其特征在于,所述多模态传感数据信息包括关节编码器的关节角度和速度信息、IMU的姿态和加速度信息、关节电流信息及其相关的统计学信息。
4.根据权利要求1所述的足式机器人运动行为识别方法,其特征在于,所述基于学习后的粘性层次狄利克雷过程隐马尔科夫模型获得最优粘性层次狄利克雷过程隐马尔科夫模型,包括:
基于所述学习后的粘性层次狄利克雷过程隐马尔科夫模型利用留一交叉验证法进行选择处理,获得最优粘性层次狄利克雷过程隐马尔科夫模型。
7.一种基于多模态感知的足式机器人运动行为识别***,其特征在于,所述***包括:
数据产生模块:用于基于多种类型的传感器采集足式机器人在不同类型地面上重复行走预设距离所产生的多模态传感数据信息;
数据划分模块:用于对所述多模态传感数据信息按照不同类型地面进行数据集划分,得到不同地面类型的多模态传感数据集,所述不同地面类型的多模态传感数据集包括训练集和测试集;
学习训练模块:用于基于所述不同地面类型的多模态传感数据集对粘性层次狄利克雷过程隐马尔科夫模型进行学习训练,获得最优粘性层次狄利克雷过程隐马尔科夫模型;
计算模块:用于将待识别样本信息输入所述最优粘性层次狄利克雷过程隐马尔科夫模型进行对数似然函数值之和的计算;
运动行为识别模块:用于基于对数似然函数值之和的计算结果进行足式机器人运动行为识别;
所述粘性层次狄利克雷过程隐马尔科夫模型的构建过程,包括:
获得层次狄利克雷过程,并定义所述层次狄利克雷过程如下:
则,利用层次狄利克雷过程对隐马尔科夫模型的隐形状态转换概率πj进行一般性描述如下:
即可获得层次狄利克雷过程隐马尔科夫模型如公式(2)所示;
对所述层次狄利克雷过程隐马尔科夫模型增加隐性状态转换概率的先验超参数k,获得粘性层次狄利克雷过程隐马尔科夫模型;
其中,H表示任意的基分布;γ表示集中系数;集中系数γ决定了β的相对离散比例,当γ越大表示数据越离散,反之,越集中;DP表示为狄利克雷过程;G表示一个对数据聚类的过程,在狄利克雷过程中,G~DP(γ,H),G0,Gj∈G;GEM表示折棍子的生成过程;α表示DP过程的集中系数;vk表示第k个隐性状态的中间变量,有γ决定;βk表示第k个隐性状态的转移概率;l=1,2,3,…,k-1;k=1,2,3,4,…;θk表示第k个隐性状态的未知参数;表示取值只为0或1的逻辑函数;γ~Beta(1,γ)表示γ服从贝塔分布;
所述对所述层次狄利克雷过程隐马尔科夫模型增加隐性状态转换概率的先验超参数κ,获得粘性层次狄利克雷过程隐马尔科夫模型,包括:
所述层次狄利克雷过程隐马尔科夫模型中公式(2)中给定β的情况下转换概率的期望值转换概率值本身,并没有考虑到隐性状态间的自转换,即:
E[πjk|β]=βk; (3)
参照公式(2)的描述,以增加自转换概率的方式来对隐性状态转换的概率分布作出以下的调整:
在公式(4)中,(αβ+κδj)项表示在αβ和第j个元素中增加一个常量值κ>0,使得转换概率πjk的期望自转换概率与常量值κ成正比,κ越大,表示模型对观察值的“粘性”越高;从而增加“粘性”后转换概率的期望值为:
其中,定义为模型的自转换的比例系数;GEM表示折棍子的生成过程;γ表示集中系数;α表示DP过程的集中系数;βk表示第k个隐性状态的转移概率;δj表示第j个隐性状态的逻辑函数;β表示转移概率先验分布的参数;δ(j,k)表示隐性状态j和隐性状态k之间转移的逻辑函数;
所述基于所述不同地面类型的多模态传感数据集对粘性层次狄利克雷过程隐马尔科夫模型进行训练,获得最优粘性层次狄利克雷过程隐马尔科夫模型,包括:
对所述粘性层次狄利克雷过程隐马尔科夫模型设置需要学习的均值和协方差两个参数;
设置均值服从高斯分布,协方差服从逆威沙特分布;
假设所述同地面类型的多模态传感数据集中包含有N个维度D的样本,每个样本的数据长度为Tn,逆威沙特分布中协方差的对称正定比例矩阵Δ和自由度参数v设置如下:
其中,yt表示各时刻的观察值;SF表示均值矩阵的比例系数,其中,SF=1;
由公式(7)完成参数学习;
层次狄利克雷过程的集中系数γ和α+κ的先验模型均为Gamma(a,b)分布,自转换系数ρ的先验模型为Beta(c,d)分布,其中设置两个先验模型的超参数为a=0.5,b=5,c=10,d=1,对粘性层次狄利克雷过程设置截断隐性状态数量为K=5,定义粘性参数κ=50;
利用所述同地面类型的多模态传感数据集基于优化的变分推断法对后验分布进行学习,获得学习后的粘性层次狄利克雷过程隐马尔科夫模型;
基于学习后的粘性层次狄利克雷过程隐马尔科夫模型获得最优粘性层次狄利克雷过程隐马尔科夫模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911382275.5A CN111216126B (zh) | 2019-12-27 | 2019-12-27 | 基于多模态感知的足式机器人运动行为识别方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911382275.5A CN111216126B (zh) | 2019-12-27 | 2019-12-27 | 基于多模态感知的足式机器人运动行为识别方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111216126A CN111216126A (zh) | 2020-06-02 |
CN111216126B true CN111216126B (zh) | 2021-08-31 |
Family
ID=70806241
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911382275.5A Active CN111216126B (zh) | 2019-12-27 | 2019-12-27 | 基于多模态感知的足式机器人运动行为识别方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111216126B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111605642B (zh) * | 2020-06-11 | 2021-05-04 | 哈尔滨工业大学 | 六足机器人的自由容错步态规划方法、装置及存储介质 |
JP2022041294A (ja) * | 2020-08-31 | 2022-03-11 | オムロン株式会社 | 学習装置、学習方法、学習プログラム、制御装置、制御方法、及び制御プログラム |
CN114925452B (zh) * | 2022-05-23 | 2023-08-01 | 南京航空航天大学 | 基于动态状态的导波-隐马尔可夫模型裂纹在线评估方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101030370A (zh) * | 2003-07-03 | 2007-09-05 | 索尼株式会社 | 信息处理***和方法、及机器人装置 |
JP2010112927A (ja) * | 2008-11-10 | 2010-05-20 | Sony Corp | 触行動認識装置及び触行動認識方法、情報処理装置、並びにコンピューター・プログラム |
EP2590042A1 (en) * | 2011-11-04 | 2013-05-08 | Samsung Electronics Co., Ltd | Mobile apparatus performing position recognition using several local filters and a fusion filter |
CN105205145A (zh) * | 2015-09-18 | 2015-12-30 | 中国科学院自动化研究所 | 一种轨迹建模与检索方法 |
CN105446484A (zh) * | 2015-11-19 | 2016-03-30 | 浙江大学 | 一种基于隐马尔科夫模型的肌电信号手势识别方法 |
CN110780325A (zh) * | 2019-08-23 | 2020-02-11 | 腾讯科技(深圳)有限公司 | 运动对象的定位方法及装置、电子设备 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9517561B2 (en) * | 2014-08-25 | 2016-12-13 | Google Inc. | Natural pitch and roll |
CN107886061B (zh) * | 2017-11-02 | 2021-08-06 | 华南理工大学 | 基于多模态深度玻尔兹曼机的人体行为识别方法及*** |
-
2019
- 2019-12-27 CN CN201911382275.5A patent/CN111216126B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101030370A (zh) * | 2003-07-03 | 2007-09-05 | 索尼株式会社 | 信息处理***和方法、及机器人装置 |
JP2010112927A (ja) * | 2008-11-10 | 2010-05-20 | Sony Corp | 触行動認識装置及び触行動認識方法、情報処理装置、並びにコンピューター・プログラム |
EP2590042A1 (en) * | 2011-11-04 | 2013-05-08 | Samsung Electronics Co., Ltd | Mobile apparatus performing position recognition using several local filters and a fusion filter |
CN105205145A (zh) * | 2015-09-18 | 2015-12-30 | 中国科学院自动化研究所 | 一种轨迹建模与检索方法 |
CN105446484A (zh) * | 2015-11-19 | 2016-03-30 | 浙江大学 | 一种基于隐马尔科夫模型的肌电信号手势识别方法 |
CN110780325A (zh) * | 2019-08-23 | 2020-02-11 | 腾讯科技(深圳)有限公司 | 运动对象的定位方法及装置、电子设备 |
Non-Patent Citations (1)
Title |
---|
Sensor Data Fusion for Body State Estimation in a Hexapod Robot with Dynamical Gaits;Pei-Chun Lin,et al.;《IEEE TRANSACTIONS ON ROBOTICS》;20061031;第932-943页 * |
Also Published As
Publication number | Publication date |
---|---|
CN111216126A (zh) | 2020-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111216126B (zh) | 基于多模态感知的足式机器人运动行为识别方法及*** | |
US11620487B2 (en) | Neural architecture search based on synaptic connectivity graphs | |
Movaghati et al. | Road extraction from satellite images using particle filtering and extended Kalman filtering | |
JP4970408B2 (ja) | 物体特性のロバストな推定を用いる適応型運転者支援システム | |
CN112083498B (zh) | 一种基于深度神经网络的多波地震油气储层预测方法 | |
US11593617B2 (en) | Reservoir computing neural networks based on synaptic connectivity graphs | |
CN105046717B (zh) | 一种鲁棒性的视频目标对象跟踪方法 | |
US11593627B2 (en) | Artificial neural network architectures based on synaptic connectivity graphs | |
US11625611B2 (en) | Training artificial neural networks based on synaptic connectivity graphs | |
US11568201B2 (en) | Predicting neuron types based on synaptic connectivity graphs | |
CN111376273B (zh) | 一种类脑启发的机器人认知地图构建方法 | |
KR20180051335A (ko) | 신경망 학습에 기반한 입력 처리 방법 및 이를 위한 장치 | |
CN111027627A (zh) | 一种基于多层感知机的振动信息地形分类识别方法 | |
CN109325128B (zh) | 一种机动目标的跟踪方法及*** | |
US11631000B2 (en) | Training artificial neural networks based on synaptic connectivity graphs | |
CN110852158A (zh) | 一种基于模型融合的雷达人体运动状态分类算法及*** | |
CN111209942B (zh) | 一种足式机器人多模态感知的异常监测方法 | |
CN116842827A (zh) | 一种无人机飞控***电磁性能边界模型构建方法 | |
Pereira et al. | Detecting docking-based structures for persistent ASVs using a volumetric neural network | |
Poddar et al. | Tuning of GPS aided attitude estimation using evolutionary algorithms | |
CN112861679B (zh) | 面向行为识别的迁移学习方法及*** | |
Fayyad | Out-of-distribution detection using inter-level features of deep neural networks | |
Lee et al. | Terrain contour matching with recurrent neural networks | |
CN113361476B (zh) | 一种基于人工智能技术的张衡一号震前异常信号识别方法 | |
Yoshimura et al. | Particle Filter Design Based on Reinforcement Learning and Its Application to Mobile Robot Localization |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP01 | Change in the name or title of a patent holder | ||
CP01 | Change in the name or title of a patent holder |
Address after: 510070 Building No. 15, compound 100, martyrs Road, Guangzhou, Guangdong Patentee after: Institute of intelligent manufacturing, Guangdong Academy of Sciences Address before: 510070 Building No. 15, compound 100, martyrs Road, Guangzhou, Guangdong Patentee before: GUANGDONG INSTITUTE OF INTELLIGENT MANUFACTURING |