CN108875836A - 一种基于深度多任务学习的简单-复杂活动协同识别方法 - Google Patents

一种基于深度多任务学习的简单-复杂活动协同识别方法 Download PDF

Info

Publication number
CN108875836A
CN108875836A CN201810678316.4A CN201810678316A CN108875836A CN 108875836 A CN108875836 A CN 108875836A CN 201810678316 A CN201810678316 A CN 201810678316A CN 108875836 A CN108875836 A CN 108875836A
Authority
CN
China
Prior art keywords
activity
complicated
classifier
network
activities
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810678316.4A
Other languages
English (en)
Other versions
CN108875836B (zh
Inventor
陈岭
彭梁英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201810678316.4A priority Critical patent/CN108875836B/zh
Publication of CN108875836A publication Critical patent/CN108875836A/zh
Application granted granted Critical
Publication of CN108875836B publication Critical patent/CN108875836B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度多任务学习的简单‑复杂活动协同识别方法，包括：1)对原始活动数据进行时间窗口划分，获得简单和复杂活动样本，其中一个复杂活动样本由多个简单活动样本组成；2)利用CNN网络提取简单活动特征，并建立简单活动分类器；3)利用LSTM网络提取复杂活动时序特征，并建立复杂活动分类器；4)两个分类任务共享CNN层和简单活动特征层，利用共享结构协同训练简单和复杂活动分类器。5)利用训练好的简单和复杂活动分类器识别待测活动数据的简单活动和复杂活动的概率。本发明利用深度学习和多任务学习进行简单‑复杂活动协同识别，在医疗保健、工业辅助、技能评估等领域具有广阔的应用前景。

Description

一种基于深度多任务学习的简单-复杂活动协同识别方法
技术领域
本发明涉及活动识别领域，具体涉及一种基于深度多任务学习的简单-复杂活动协同识别方法。
背景技术
随着智能设备(如智能手机、智能手表等)和穿戴式设备(如胸带、手环等)的快速更新，普适计算不断发展，涌现出越来越多的智能应用，极大的方便了人们的日常生活。人类活动识别是普适计算领域极具影响和价值的方向，能实现对用户活动的感知，在医疗保健、工业辅助、技能评估等领域具有广阔的应用前景。
人类活动可分为简单和复杂活动。简单活动通常由周期性的动作或者人体单一姿势组成，如站立、坐、走路、跑步等。复杂活动通常由简单活动组成，持续时间更长，且具有高级语义，如吃饭、工作、购物等。传统基于智能设备和穿戴式设备的活动识别方法通常首先对原始活动数据进行预处理和分割，接着进行特征提取，最后利用特征数据训练一个分类模型。常用的特征可分为两类：一类为统计特征，包括平均值、方差等时域特征以及不同频率的系数等频域特征；另一类为结构特征，包括用于描述时序数据变化趋势的多项式特征等。然而这些特征是人工定义的，广泛应用于时序数据，并不依赖于活动识别任务，且人工定义特征会造成信息丢失。
深度学习是一种学习数据表示的机器学习方法，成功应用于计算机视觉、自然语言处理等领域。随着深度学习的发展，出现了一些基于深度学习的活动识别研究。利用深度学习网络(如卷积神经网络(CNN)、循环神经网络(RNN)、长短时记忆网络(LSTM)等)从活动数据中提取深度特征并训练分类模型，研究表明提取深度特征可比传统特征在活动识别上取得更好的效果。
然而上述方法将活动识别视作单个分类任务，对相关任务间的信息未加以利用。简单活动是复杂活动的组成部分，简单和复杂活动识别是一对紧密相连的任务，可通过多任务学习发现两个任务间的共性和差异，同时提高简单和复杂活动识别的准确率。
发明内容
本发明的目的是通过有效地利用简单和复杂活动识别之间的相关性，提出一种基于深度多任务学习的简单-复杂活动协同识别方法。
为实现上述发明目的，本发明提供以下技术方案：
一种基于深度多任务学习的简单-复杂活动协同识别方法，包括以下步骤：
(1)获取包含有简单活动和复杂活动两层标签的活动数据，并对活动数据进行异常值去除、活动划分以及归一化处理后，构建训练集；
(2)构建活动识别网络，该活动识别网络包括改进的CNN网络和简单活动分类器，其中，改进的CNN网络用于提取输入的简单活动样本的深度特征，简单活动分类器用于根据CNN输出的深度特征预测输出简单活动的概率；还包括多层LSTM网络和复杂活动分类器，其中，LSTM网络用于对CNN输出的深度特征进行特征提取，获得复杂活动的时序特征，复杂活动分类器用于根据LSTM网络输出的时序特征预测输出复杂活动的概率；
(3)利用训练集对构建的活动识别网络进行训练，直至训练结束，确定活动识别网络参数，即获得活动识别模型；
(4)利用步骤(1)中的方法对待测活动数据进行异常值去除、活动划分以及归一化处理后，获得简单活动数据；
(5)将简单活动数据输入至活动识别模型中，经计算获得简单活动的概率和复杂活动的概率，即识别得到简单活动和复杂活动。
其中，步骤(1)包括：
(1-1)获取同时含有简单活动和复杂活动两层标签的活动数据；
(1-2)对活动数据进行异常值消除处理，并将处理后的活动数据划分为时间窗口长度为lc的复杂活动样本；
(1-3)将每个复杂活动样本划分为长度为ls的简单活动样本，其中ls＜lc；
(1-4)对每个简单活动样本进行归一化处理后，每个简单活动样本及对应的活动标签作为一个训练样本，构建训练集。
其中，所述改进的CNN网络包括：
卷积层，用于提取输入数据的特征映射；
池化层，用于最大池化操作对特征映射进行下采样；
全连接层，用于通过卷积和池化后得到的特征进行加权；
残差单元，将来自于卷积层的输入数据和卷积层的输出数据进行累加，并利用ReLU函数激活；
其中，改进的CNN网络以卷积层作为第一层，且包含多个卷积层，每两个连续的卷积层作为一次残差处理，池化层介于卷积层之间，全连接层为CNN网络的最后一层。
具体地，所述简单活动分类器为Softmax分类器或SVM分类器。所述复杂活动分类器为Softmax分类器或SVM分类器。
在训练活动识别网络时，采用负对数似然算法计算简单活动分类器和复杂活动分类器的分类损失，将简单活动分类器和复杂活动分类器的分类损失之和作为活动识别网络的总损失。
在训练活动识别网络时，以减小活动识别网络的总损失为采用梯度下降与反向传播算法更新活动识别网络中改进的CNN网络的参数，直到训练结束，获得活动识别模型。训练结束条件为：活动识别网络收敛或达到预设迭代次数。
与现有技术相比，本发明具有以下有益效果：
通过简单活动和复杂活动多任务学习，发现简单和复杂活动识别任务间的共性，利用共享结构(改进的CNN)，同时提高简单和复杂活动识别的准确率。
利用深度学习方法(CNN和LSTM)提取简单和复杂活动深度特征，深度特征由数据驱动的方式自动获得，能对活动进行准确表示，避免了人工定义特征造成的信息丢失。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
图1是本发明提供的基于深度多任务学习的简单-复杂活动协同识别方法的整体框架图；
图2是本发明提供的简单活动识别流程图；
图3是本发明提供的复杂活动识别流程图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
如图1所示，本实施例提供的基于深度多任务学习的简单-复杂活动协同识别方法包括三个阶段，分别为数据处理阶段、活动识别模型构建与训练阶段以及简单-复杂活动识别阶段。
数据处理阶段：
数据处理阶段主要对活动数据进行异常值去除、活动划分等处理，以满足活动识别模型输入数据的尺寸要求，且提高活动识别模型识别活动的速度和精度。
具体地，数据处理的具体步骤如下：
S101，获取同时带有简单和复杂活动两层标签的数据集。
由于本方法协同识别简单和复杂活动，因此同时需要简单和复杂活动两层标签的数据训练活动识别模型，以指导两个识别任务。在现有公开数据集中，Opportunity和Ubicomp 08数据集均满足要求。
S102，对活动数据进行异常值消除处理，并将处理后的活动数据划分为时间窗口长度为lc的复杂活动样本。
本步骤中，首先，对活动数据进行异常值检测，并将活动数据中的无效值(如超出正常值范围的值和零值)消除或进行均值填充；然后，将处理后的活动数据进行时间窗口划分，得到长度为lc的复杂活动样本。
S103，将每个复杂活动样本划分为长度为ls的简单活动样本，其中ls＜lc。
由于复杂活动持续时间比简单活动长，且简单活动是复杂活动的组成部分，因此将复杂活动样本划分为长度为ls的简单活动样本(ls＜lc)，这样一个复杂活动样本包含lc/ls个简单活动样本。
S104，对每个简单活动样本进行归一化处理。
具体地，将每个简单活动样本的数据按列进行Z-score归一化处理，使处理后的每一列数据都归一到一定范围内，并符合标准正态分布，公式如下：
其中，x为原始数值，μ为该数值所在列的均值，σ为该数值所在列的标准差，x′为归一化后的数值。
经归一化处理后的每个简单活动样本及对应的活动标签作为一个训练样本，构建训练集。
活动识别模型构建与训练阶段：
活动识别模型构建与训练阶段主要是构建合适的活动识别网络，利用训练样本对该活动识别网络进行训练，直至训练结束后，保存网络参数以获得活动识别模型。
构建的活动识别网络包括两部分，一部分是改进的卷积神经网络(CNN)和简单活动分类器，其中，改进的CNN网络用于提取输入的简单活动样本的深度特征，简单活动分类器用于根据CNN输出的深度特征预测输出简单活动的概率；另一部分是多层长短期记忆(LSTM)网络和复杂活动分类器，其中，LSTM网络用于对CNN输出的深度特征进行特征提取，获得复杂活动的时序特征，复杂活动分类器用于根据LSTM网络输出的时序特征预测输出复杂活动的概率。
具体地，如图2所示，改进的CNN网络包括卷积层、池化层、全连接层以及残差单元，每层包含多个神经单元。
对于卷积层：以简单活动样本a为输入数据，对简单活动样本a进行核卷积，输出提取的特征映射：
其中，l表示层数，表示在l+1层的第j个特征映射，表示从l层第f个特征映射生成l+1层第j个特征映射的卷积核，表示在l层的第f个特征映射，表示偏置项，ReLU(·)为激活函数。
对于池化层：用最大池化操作对特征映射进行下采样：
其中，为在l+1层第i个神经单元的数值，r表示池化区域大小。
对于全连接层：将通过卷积和池化后得到的特征进行加权：
其中，w为权重，ts为经过全连接后得到的加权特征，为在l层第i个神经单元的数值。
对于残差单元：每个残差单元的输入由两部分组成：经过卷积层之后的输出数据和未经过卷积层的输入数据，将两部分数据累加，并利用ReLU函数激活，以减少卷积过程中造成的压缩损失。
数据传播过程如图2所示，图2中，卷积层对应的形式为a×b@c表示卷积核为a×b，卷积核数目为c。池化层对应的形式为a×b@c表示池化窗口为a×b，池化后特征映射数目为c。输入数据经过一系列卷积层、池化层、全连接层以及残差单元，得到简单活动深度特征ts。
简单活动分类器采用Softmax分类器，对输入的简单活动深度特征ts进行预测计算，输出简单活动的预测概率。
LSTM网络的每层包含lc/ls个LSTM单元，每个LSTM单元包含一个记忆单元ct和三个门：输入门it、输出门ot和遗忘门ft，分别控制数据的输入、输出和更新。以xt为t时刻的输入，ht-1和ct-1为前一时刻的隐状态和记忆单元状态，计算公式如下：
it＝sigm(Wxixt+Whiht-1+bi) (5)
ft＝sigm(Wxfxt+Whfht-1+bf) (6)
ot＝sigm(Wxoxt+Whoht-1+Wcoct-1+bo) (8)
其中，操作符表示点乘运算，W和b分别表示权重矩阵和偏置向量，sigm和tanh分别表示sigmoid函数和双曲正切函数。
应用时，复杂活动样本中的简单活动深度特征ts分别输入对应LSTM单元，通过LSTM网络得到复杂活动的时序特征tc。
如图3所示，每个复杂活动样本包含lc/ls个简单活动样本，将通过CNN得到的lc/ls个简单活动深度特征ts输入对应LSTM单元。在LSTM网络中，上一时刻的状态输入到下一LSTM单元中，保留了数据的时序信息。
复杂活动分类器采用Softmax分类器，对输入的复杂活动时序特征tc进行预测计算，输出复杂活动的预测概率。
在活动识别网络构建好以后，利用训练样本对活动识别网络进行训练，以获得活动识别模型。
采用负对数似然算法计算简单活动分类器和复杂活动分类器的分类损失，损失计算如下：
L(fs)＝-logfs(sa) (10)
L(fc)＝-logfc(ca) (11)
其中，fs为简单活动分类器，fc表示复杂活动分类器，sa和ca分别表示简单活动样本和复杂活动样本。
将简单活动分类器和复杂活动分类器的损失相加，得到两个任务的整体损失，即活动识别网络的总损失，公式为：
Ltotal＝L(fs)+L(fc) (12)
将训练样本输入至活动识别网络中，以减小总损失Ltotal为训练目标，采用梯度下降与反向传播算法更新活动识别网络中改进的CNN网络的参数，直到训练结束，获得活动识别模型。
简单-复杂活动识别阶段：
首先，按照数据处理阶段的过程对待测活动数据进行异常值去除、活动划分以及归一化处理，获得简单活动数据；
然后，将简单活动数据输入至活动识别模型中，经计算获得简单活动的概率和复杂活动的概率，即识别得到简单活动和复杂活动。
本实施例提供的基于深度多任务学习的简单-复杂活动协同识别方法，通过多任务学习，发现简单和复杂活动识别任务间的共性，利用共享结构(即改进的CNN网络)同时提高简单和复杂活动识别的准确率。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于深度多任务学习的简单-复杂活动协同识别方法，包括以下步骤：
(1)获取包含有简单活动和复杂活动两层标签的活动数据，并对活动数据进行异常值去除、活动划分以及归一化处理后，构建训练集；
(2)构建活动识别网络，该活动识别网络包括改进的CNN网络和简单活动分类器，其中，改进的CNN网络用于提取输入的简单活动样本的深度特征，简单活动分类器用于根据CNN输出的深度特征预测输出简单活动的概率；还包括多层LSTM网络和复杂活动分类器，其中，LSTM网络用于对CNN输出的深度特征进行特征提取，获得复杂活动的时序特征，复杂活动分类器用于根据LSTM网络输出的时序特征预测输出复杂活动的概率；
(3)利用训练集对构建的活动识别网络进行训练，直至训练结束，确定活动识别网络参数，即获得活动识别模型；
(4)利用步骤(1)中的方法对待测活动数据进行异常值去除、活动划分以及归一化处理后，获得简单活动数据；
(5)将简单活动数据输入至活动识别模型中，经计算获得简单活动的概率和复杂活动的概率，即识别得到简单活动和复杂活动。
2.如权利要求1所述的基于深度多任务学习的简单-复杂活动协同识别方法，其特征在于，步骤(1)包括：
(1-1)获取同时含有简单活动和复杂活动两层标签的活动数据；
(1-2)对活动数据进行异常值消除处理，并将处理后的活动数据划分为时间窗口长度为lc的复杂活动样本；
(1-3)将每个复杂活动样本划分为长度为ls的简单活动样本，其中ls＜lc；
(1-4)对每个简单活动样本进行归一化处理后，每个简单活动样本及对应的活动标签作为一个训练样本，构建训练集。
3.如权利要求1所述的基于深度多任务学习的简单-复杂活动协同识别方法，其特征在于，所述改进的CNN网络包括：
卷积层，用于提取输入数据的特征映射；
池化层，用于最大池化操作对特征映射进行下采样；
全连接层，用于通过卷积和池化后得到的特征进行加权；
残差单元，将来自于卷积层的输入数据和卷积层的输出数据进行累加，并利用ReLU函数激活；
其中，改进的CNN网络以卷积层作为第一层，且包含多个卷积层，每两个连续的卷积层作为一次残差处理，池化层介于卷积层之间，全连接层为CNN网络的最后一层。
4.如权利要求1所述的基于深度多任务学习的简单-复杂活动协同识别方法，其特征在于，所述简单活动分类器为Softmax分类器或SVM分类器。
5.如权利要求1所述的基于深度多任务学习的简单-复杂活动协同识别方法，其特征在于，所述复杂活动分类器为Softmax分类器或SVM分类器。
6.如权利要求1所述的基于深度多任务学习的简单-复杂活动协同识别方法，其特征在于，在训练活动识别网络时，采用负对数似然算法计算简单活动分类器和复杂活动分类器的分类损失，将简单活动分类器和复杂活动分类器的分类损失之和作为活动识别网络的总损失。
7.如权利要求6所述的基于深度多任务学习的简单-复杂活动协同识别方法，其特征在于，在训练活动识别网络时，以减小活动识别网络的总损失为采用梯度下降与反向传播算法更新活动识别网络中改进的CNN网络的参数，直到训练结束，获得活动识别模型。
8.如权利要求7所述的基于深度多任务学习的简单-复杂活动协同识别方法，其特征在于，训练结束条件为：活动识别网络收敛或达到预设迭代次数。
CN201810678316.4A 2018-06-27 2018-06-27 一种基于深度多任务学习的简单-复杂活动协同识别方法 Active CN108875836B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810678316.4A CN108875836B (zh) 2018-06-27 2018-06-27 一种基于深度多任务学习的简单-复杂活动协同识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810678316.4A CN108875836B (zh) 2018-06-27 2018-06-27 一种基于深度多任务学习的简单-复杂活动协同识别方法

Publications (2)

Publication Number Publication Date
CN108875836A true CN108875836A (zh) 2018-11-23
CN108875836B CN108875836B (zh) 2020-08-11

Family

ID=64295940

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810678316.4A Active CN108875836B (zh) 2018-06-27 2018-06-27 一种基于深度多任务学习的简单-复杂活动协同识别方法

Country Status (1)

Country Link
CN (1) CN108875836B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109670172A (zh) * 2018-12-06 2019-04-23 桂林电子科技大学 一种基于复合神经网络的景区异常事件抽取方法
CN109886105A (zh) * 2019-01-15 2019-06-14 广州图匠数据科技有限公司 基于多任务学习的价格牌识别方法、***及存储介质
CN110046409A (zh) * 2019-03-29 2019-07-23 西安交通大学 一种基于ResNet的汽轮机部件健康状态评估方法
CN110276380A (zh) * 2019-05-22 2019-09-24 杭州电子科技大学 一种基于深度模型框架的实时运动在线指导***
CN111160443A (zh) * 2019-12-25 2020-05-15 浙江大学 一种基于深度多任务学习的活动和用户识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2464991A1 (en) * 2009-08-10 2012-06-20 Robert Bosch GmbH A method for human only activity detection based on radar signals
CN103970271A (zh) * 2014-04-04 2014-08-06 浙江大学 融合运动和生理传感数据的日常活动识别方法
CN106599869A (zh) * 2016-12-22 2017-04-26 安徽大学 一种基于多任务卷积神经网络的车辆属性识别方法
CN107609460A (zh) * 2017-05-24 2018-01-19 南京邮电大学 一种融合时空双重网络流和attention机制的人体行为识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2464991A1 (en) * 2009-08-10 2012-06-20 Robert Bosch GmbH A method for human only activity detection based on radar signals
CN103970271A (zh) * 2014-04-04 2014-08-06 浙江大学 融合运动和生理传感数据的日常活动识别方法
CN106599869A (zh) * 2016-12-22 2017-04-26 安徽大学 一种基于多任务卷积神经网络的车辆属性识别方法
CN107609460A (zh) * 2017-05-24 2018-01-19 南京邮电大学 一种融合时空双重网络流和attention机制的人体行为识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JUAN C. NÚÑEZ ETAL.: "Convolutional Neural Networks and Long Short-Term Memory for skeleton-based human activity and hand gesture recognition", 《PATTERN RECOGNITION》 *
刘嘉莹等: "融合视频时空域运动信息的3DCNN人体行为识别", 《电子测量技术》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109670172A (zh) * 2018-12-06 2019-04-23 桂林电子科技大学 一种基于复合神经网络的景区异常事件抽取方法
CN109886105A (zh) * 2019-01-15 2019-06-14 广州图匠数据科技有限公司 基于多任务学习的价格牌识别方法、***及存储介质
CN109886105B (zh) * 2019-01-15 2021-12-14 广州图匠数据科技有限公司 基于多任务学习的价格牌识别方法、***及存储介质
CN110046409A (zh) * 2019-03-29 2019-07-23 西安交通大学 一种基于ResNet的汽轮机部件健康状态评估方法
CN110276380A (zh) * 2019-05-22 2019-09-24 杭州电子科技大学 一种基于深度模型框架的实时运动在线指导***
CN111160443A (zh) * 2019-12-25 2020-05-15 浙江大学 一种基于深度多任务学习的活动和用户识别方法
CN111160443B (zh) * 2019-12-25 2023-05-23 浙江大学 一种基于深度多任务学习的活动和用户识别方法

Also Published As

Publication number Publication date
CN108875836B (zh) 2020-08-11

Similar Documents

Publication Publication Date Title
CN108875836A (zh) 一种基于深度多任务学习的简单-复杂活动协同识别方法
CN108960337A (zh) 一种基于深度学习模型的多模态复杂活动识别方法
Ge et al. Facial expression recognition based on deep learning
CN103824054B (zh) 一种基于级联深度神经网络的人脸属性识别方法
CN105469065B (zh) 一种基于递归神经网络的离散情感识别方法
CN107679491A (zh) 一种融合多模态数据的3d卷积神经网络手语识别方法
CN109919031A (zh) 一种基于深度神经网络的人体行为识别方法
CN108764207A (zh) 一种基于多任务卷积神经网络的人脸表情识别方法
CN109146066A (zh) 一种基于语音情感识别的虚拟学习环境自然交互方法
CN106919951A (zh) 一种基于点击与视觉融合的弱监督双线性深度学习方法
CN110309503A (zh) 一种基于深度学习bert--cnn的主观题评分模型及评分方法
CN108304826A (zh) 基于卷积神经网络的人脸表情识别方法
CN104217226B (zh) 基于深度神经网络与条件随机场的对话行为识别方法
CN109460737A (zh) 一种基于增强式残差神经网络的多模态语音情感识别方法
CN102254180B (zh) 一种基于几何特征的人脸美感分析方法
CN106845499A (zh) 一种基于自然语言语义的图像目标检测方法
CN104361316B (zh) 一种基于多尺度时序建模的维度情感识别方法
CN110046656A (zh) 基于深度学习的多模态场景识别方法
CN108520213B (zh) 一种基于多尺度深度的人脸美丽预测方法
Ruiz-Garcia et al. Deep learning for emotion recognition in faces
CN110399821A (zh) 基于人脸表情识别的顾客满意度获取方法
CN110367967A (zh) 一种基于数据融合的便携型轻量化人脑状态检测方法
CN107145893A (zh) 一种基于卷积深度网络的图像识别算法及***
CN108596069A (zh) 基于深度3d残差网络的新生儿疼痛表情识别方法及***
CN110534133A (zh) 一种语音情感识别***及语音情感识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant