CN105160310A - 基于3d卷积神经网络的人体行为识别方法 - Google Patents
基于3d卷积神经网络的人体行为识别方法 Download PDFInfo
- Publication number
- CN105160310A CN105160310A CN201510527937.9A CN201510527937A CN105160310A CN 105160310 A CN105160310 A CN 105160310A CN 201510527937 A CN201510527937 A CN 201510527937A CN 105160310 A CN105160310 A CN 105160310A
- Authority
- CN
- China
- Prior art keywords
- image
- human body
- mark
- gray
- characteristic pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于3D卷积神经网络的人体行为识别方法,主要用于解决计算机视觉和模式识别领域具体的人体行为的识别问题。其实现步骤为:(1)视频输入;(2)预处理,得到训练样本集和测试样本集;(3)构造3D卷积神经网络;(4)提取特征向量;(5)进行分类训练;(6)输出测试结果。本发明利用光流法实现对人体检测和运动估计,能够在不知道场景的任何信息的情况下,检测出运动对象。本发明在网络的输入为多维图像时表现的更为明显,使图像可以直接作为网络的输入,避免了传统识别算法中复杂的特征提取和数据重建过程,使得对人体行为的识别更加准确。
Description
技术领域
本发明属于图像处理技术领域,更进一步涉及计算机视觉技术领域中的一种基于3D卷积神经网络的人类行为识别方法。本发明可用于智能监控***识别环境中人体的异常行为,本发明还可以用于体育训练中规范运动员动作。
背景技术
以前的人体行为识别方法都是基于一些对应用场景苛刻的假设上的,例如目标小的尺度变化和小的视觉改变等。但这在现实世界中是很难满足的。
目前,在这方面,大部分当前的方法都是遵循两个步骤:(1)在原始的输入中提取复杂的人工特征;(2)在获取的特征上学习分类器。
现实世界的场景中,几乎很难知道对于一个具体的任务什么样的特征才是重要的,因为特征的选择与具体的问题高度依赖。特别是行为识别上,不同的运动类型在外观和运动模型上都呈现出非常大的不同。
而卷积神经网络是人工神经网络的一种已成为当前语音分析和图像识别领域的研究热点,它的权值共享网络结构使之更类似于生物神经网络,降低了网络模型的复杂度,减少了权值的数量。该优点在网络的输入是多维图像时表现的更为明显,使图像可以直接作为网络的输入,避免了传统识别算法中复杂的特征提取和数据重建过程。
传统的卷积神经网络是为了识别二维形状而设计的多层感知器,无法对三维的运动图像进行多层感知,无法满足现在的要求。
青岛科技大学申请的专利“一种人体异常行为识别方法”(专利申请号201210254343,公开号CN102799873A)中公开了一种人体异常行为识别方法。该方法包括利用训练样本集获得分类器和分类模板的训练过程及利用分类器和分类模板识别测试样本的识别过程。首先对训练视频流逐帧计算每帧灰度图像中每个像素点的Hessian矩阵响应,然后根据矩阵响应确定特征点,用多维向量对特征点进行描述、获得描述符,并且对描述符进行聚类获得分类器,最后利用概率值向量获得异常行为模板。该专利申请公开的方法存在的不足是:当灰度图像序列对比度较低时,阈值难以选取,影响前景目标的分割结果;区域灰度值变化较为平坦时,容易在人体二值图像内产生空洞现象,给后续的目标分类、跟踪和识别造成不便;对于图像模糊、噪声等比较敏感,对环境要求高。
江南大学申请的专利“基于图像深度信息的3D高斯空间人体行为识别方法”(专利申请号201410009445,公开号CN103810496A)中公开了一种基于图像深度信息的3D高斯空间人体行为识别方法。该专利首先提取深度信息中的人体骨骼3D坐标并对其进行归一化操作,过滤对人体行为识别率低的关节及冗余关节,并针对各个行为构建兴趣关节群,基于高斯距离核对人体动作空间特征进行AP聚类,获得行为特征单词表并对其进行数据清理,从而构建人体行为条件随机场识别模型,据此实现对人体行为的分类。该专利申请公开的方法存在的不足是:在原始输入中提取的人工特征过于复杂,计算分析数据慢;模型的更新较为复杂,实时性较差。
Davis在其发表的论文“Therecognitionofhumanmovementusingtemporaltemplates.”(PatternAnalysisandMachineIntelligence,IEEETransactionson23(3):257-267)中提出了采用轮廓来描述人体的运动信息的方法。该方法用MEI和MHI两个模板来保存对应的一个动作信息,然后用马氏距离分类器来进行识别。MEI为运动能量图,用来指示运动在哪些部位发生过,MHI为运动历史图,除了体现运动发生的空间位置外还体现了运动的时间先后顺序。这两种特征都是从背景减图中获取的。该方法存在的不足之处是:数据比较大,计算量大;对于快速运动的物体或者形变较大的情况,跟踪效果不够理想。
发明内容
本发明的目的是克服上述现有技术中存在的不足,提出一种基于3D卷积神经网络的人体行为识别方法。本发明通过采用3D卷积神经网络技术解决人体行为的识别问题。将3D卷积神经网络模型用于运动识别。该模型可以从空间和时间的维度提取特征,进行3D卷积,以捕捉从多个连续帧得到的运动信息。
为实现上述目的,本发明具体实现步骤包括如下:
(1)视频输入:
将数据集的视频图像输入计算机,逐帧读取视频图像,得到图像信息;
(2)预处理:
(2a)从图像信息中筛选人体行为特征明显的图像,保存筛选后的图像;
(2b)将筛选后的图像大小统一到120×160像素中,得到统一大小后的图像;
(2c)分类标记图像信息,将统一大小后的图像均分为5份,1-4份作为训练样本集,第5份作为测试样本集,得到标记后的图像;
(3)构造3D卷积神经网络:
(3a)对标记后的图像,分别提取灰度、x和y方向的梯度、x和y方向的光流共计五个通道信息,得到图像提取后的灰度值;
(3b)按照下式,计算标记后的图像在x和y方向的梯度:
G=dx(x,y)+dy(x,y)
其中,G表示标记后的图像在x和y方向上的梯度,dx表示在x方向上导数操作,dy表示在y方向上导数操作,(x,y)表示标记后的图像中像素点的坐标;
(3c)按照下式,计算图像提取后的灰度值的变化率:
其中,Ix表示图像提取后的灰度值沿x方向的变化率,Iy表示图像提取后的灰度值沿y方向的变化率,It表示图像提取后的灰度值沿时间t方向的变化率,表示偏导数操作;
(3d)按照下式,计算标记后的图像在x和y方向的光流:
其中,U表示标记后的图像在x和y方向的光流,It表示图像提取后的灰度值沿时间t方向的变化率,Ix表示图像提取后的灰度值沿x方向的变化率,Iy表示图像提取后的灰度值沿y方向的变化率,T表示转置操作;
(3e)赋予标记后图像中的每一个像素点一个速度矢量,形成一个标记后图像运动场,在人体运动的时刻,标记后图像上的各个像素点与三维物体上的点一一对应;根据标记后图像上的各个像素点的速度矢量特征,对标记后图像进行动态分析,如果标记后图像中没有人体运动,则光流矢量在整个图像区域是连续变化的,当标记后图像中有人体运动时,目标和图像背景存在相对运动,从人体运动所形成不同的速度矢量和邻域背景速度矢量,检测出人体运动的位置;
(3f)对五个通道信息中的每个通道分离进行卷积和下采样操作,得到每一层卷积层和下采样层的特征图maps的大小;
(4)提取特征向量:
(4a)在第二层采样层中得到的64张大小为12×17像素的特征图maps,将每一张特征图map拉伸成一个向量,得到向量的维数为13056维的神经元;
(4b)通过普通神经网络进行降维,设定第一层全连接层的神经元个数为6528,则第二层全连接层的神经元个数为1000,得到的第二层神经元为图像的特征值;
(5)连接分类器,对特征向量进行分类训练:
(5a)采用线性分类器,对特征向量进行分类;
(5b)采用反向传播BP算法,对训练样本集进行在线训练,得到训练文件;
(6)输出测试结果:
将测试样本集在训练文件中进行测试,输出测试结果。
本发明与现有技术相比,具有以下优点:
第一,本发明通过3D卷积操作核去提取视频数据的时间和空间特征。这些3D特征提取器在空间和时间维度上操作,克服了现有技术中在原始输入中提取的人工特征过于复杂,计算分析数据慢的不足,使得本发明具有提取特征代表性性高和提取速度快的优点。
第二,本发明利用3D卷积特征提取器构造3D卷积神经网络。这个架构可以从连续视频帧中产生多通道的信息,克服了现有技术中区域灰度值变化较为平坦时,容易在人体二值图像内产生空洞现象的不足,使得本发明具有对环境的抗干扰性强的优点。
附图说明
图1是本发明的流程图;
图2是本发明3D卷积神经网络的架构图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步详细的描述。
结合附图1对本发明的具体步骤描述如下:
步骤1,视频输入。
将KTH数据集中walking,jogging,running,boxing,handwaving,handclapping六个视频文件中的视频图像输入计算机,逐帧读取视频图像,得到图像信息。
步骤2,预处理。
第1步,从图像信息中筛选人体行为特征明显的图像,保存筛选后的图像。观察每一种人体行为图像信息,手动删除没有人体出现的空白图像和出现人体的肢体少于人体整体三分之二的图像。
第2步,将筛选后的图像大小统一到120×160像素中,得到统一大小后的图像。
第3步,分类标记图像信息,将不同行为的图像所在文件夹分别用数字按顺序表示,将每个文件夹中的图片每连续10张图片作为一个动作的样本,将所有样本随机均分成5份,1-4份作为训练样本集,第5份作为测试样本集,得到标记后的图像。
步骤3,构造3D卷积神经网络。
第1步,对标记后的图像,分别提取灰度、x和y方向的梯度、x和y方向的光流共计五个通道信息,得到图像提取后的灰度值。
第2步,按照下式,计算标记后的图像在x和y方向的梯度:
G=dx(x,y)+dy(x,y)
其中,G表示标记后的图像在x和y方向上的梯度,dx表示在x方向上导数操作,dy表示在y方向上导数操作,(x,y)表示标记后的图像中像素点的坐标。
第3步,按照下式,计算图像提取后的灰度值的变化率:
其中,Ix表示图像提取后的灰度值沿x方向的变化率,Iy表示图像提取后的灰度值沿y方向的变化率,It表示图像提取后的灰度值沿时间t方向的变化率,表示偏导数操作。
第4步,按照下式,计算标记后的图像在x和y方向的光流:
其中,U表示标记后的图像在x和y方向的光流,It表示图像提取后的灰度值沿时间t方向的变化率,Ix表示图像提取后的灰度值沿x方向的变化率,Iy表示图像提取后的灰度值沿y方向的变化率,T表示转置操作。
第5步,通过计算得到的光流来检测人体的运动情况,具体操作步骤如下:
赋予标记后图像中的每一个像素点一个速度矢量,形成一个标记后图像运动场,在人体运动的时刻,标记后图像上的各个像素点与三维物体上的点一一对应;
根据标记后图像上的各个像素点的速度矢量特征,对标记后图像进行动态分析,如果标记后图像中没有人体运动,则光流矢量在整个图像区域是连续变化的,当标记后图像中有人体运动时,目标和图像背景存在相对运动,从人体运动所形成不同的速度矢量和邻域背景速度矢量,检测出人体运动的位置。
第6步,对五个通道信息中的每个通道分离进行卷积和下采样操作。
参照附图2,本发明对五个通道信息中的每个通道分离进行卷积和下采样具体步骤描述如下:
在图2中所标示第一层卷积层中,标记后的图像输入到一个大小为9×9×10像素的滤波器得到了一个特征图map,一个滤波器产生一张112×152像素的特征图map,用64个滤波器进行卷积,产生64张特征图maps。
在图2中所标示第一层采样层中,将上一层卷积层的特征图maps用2×2像素窗口进行采样操作,得到的特征图maps大小变为56×76×64像素;
在图2中所标示第二层卷积层中,将第一层采样层得到的特征经过64个大小为9×9×64像素的滤波器滤波得到64张大小为48×68×64像素的特征图maps;
在图2中所标示第二层采样层中,将第二层卷积层的特征图maps用4×4像素窗口进行采样操作,得到64张大小为12×17像素的特征图maps。
步骤4,提取特征向量。
第1步,在第二层采样层中得到的64张大小为12×17像素的特征图maps,将每一张特征图map拉伸成一个向量,得到向量的维数为13056维的神经元。
第2步,通过普通神经网络进行降维,设定第一层全连接层的神经元个数为6528,则第二层全连接层的神经元个数为1000,得到的第二层神经元为图像的特征值。
步骤5,对特征向量进行分类训练。
在步骤四得到图片的特征值后,需要连接一个分类器,此处的分类器为softmax分类器,可以实现多分类,一共含有6种运动图像,最终的输出神经元为6。采用反向传播BP算法,对训练样本集进行在线训练,得到训练文件。
BP算法的基本流程如下:随机初始化初始化网络权值和神经元的阈值;前向传播:按照公式一层一层的计算隐层神经元和输出层神经元的输入和输出;后向传播:根据公式修正权值和阈值;直到满足终止条件。
步骤6,输出测试结果。
将测试样本集在训练文件中进行测试,输出测试结果。将输出的测试结果与一些基准方法得到的测试结果进行比较,验证本方法的有效性。
Claims (4)
1.一种基于3D卷积神经网络的人体行为识别方法,包括如下步骤:
(1)视频输入:
将数据集的视频图像输入计算机,逐帧读取视频图像,得到图像信息;
(2)预处理:
(2a)从图像信息中筛选人体行为特征明显的图像,保存筛选后的图像;
(2b)将筛选后的图像大小统一到120×160像素中,得到统一大小后的图像;
(2c)分类标记图像信息,将统一大小后的图像均分为5份,1-4份作为训练样本集,第5份作为测试样本集,得到标记后的图像;
(3)构造3D卷积神经网络:
(3a)对标记后的图像,分别提取灰度、x和y方向的梯度、x和y方向的光流共计五个通道信息,得到图像提取后的灰度值;
(3b)按照下式,计算标记后的图像在x和y方向的梯度:
G=dx(x,y)+dy(x,y)
其中,G表示标记后的图像在x和y方向上的梯度,dx表示在x方向上导数操作,dy表示在y方向上导数操作,(x,y)表示标记后的图像中像素点的坐标;
(3c)按照下式,计算图像提取后的灰度值的变化率:
其中,Ix表示图像提取后的灰度值沿x方向的变化率,Iy表示图像提取后的灰度值沿y方向的变化率,It表示图像提取后的灰度值沿时间t方向的变化率,表示偏导数操作;
(3d)按照下式,计算标记后的图像在x和y方向的光流矢量:
其中,U表示标记后的图像在x和y方向的光流矢量,It表示图像提取后的灰度值沿时间t方向的变化率,Ix表示图像提取后的灰度值沿x方向的变化率,Iy表示图像提取后的灰度值沿y方向的变化率,T表示转置操作;
(3e)赋予标记后图像中的每一个像素点一个速度矢量,形成一个标记后图像运动场,在人体运动的时刻,标记后图像上的各个像素点与三维物体上的点一一对应;根据标记后图像上的各个像素点的速度矢量特征,对标记后图像进行动态分析,如果标记后图像中没有人体运动,则光流矢量在整个图像区域是连续变化的,当标记后图像中有人体运动时,目标和图像背景存在相对运动,从人体运动所形成不同的速度矢量和邻域背景速度矢量,检测出人体运动的位置;
(3f)对五个通道信息中的每个通道分离进行卷积和下采样操作,得到每一层卷积层和采样层的特征图maps的大小;
(4)提取特征向量:
(4a)在第二层采样层中得到的64张大小为12×17像素的特征图maps,将每一张特征图map拉伸成一个向量,得到向量的维数为13056维的神经元;
(4b)通过普通神经网络进行降维,设定第一层全连接层的神经元个数为6528,则第二层全连接层的神经元个数为1000,得到的第二层神经元为图像的特征值;
(5)进行分类训练:
(5a)采用线性分类器,对特征向量进行分类;
(5b)采用反向传播BP算法,对训练样本集进行在线训练,得到训练文件;
(6)输出测试结果:
将测试样本集在训练文件中进行测试,输出测试结果。
2.根据权利要求1所述的基于3D卷积神经网络的人体行为识别方法,其特征在于:步骤(2a)中所述的从图像信息中筛选人体行为特征明显的图像是指,观察每一种人体行为图像信息,手动删除没有人体出现的空白图像和出现人体的肢体少于人体整体三分之二的图像。
3.根据权利要求1所述的基于3D卷积神经网络的人体行为识别方法,其特征在于:步骤(2c)中所述的分类标记图像信息是指,将不同行为的图像所在文件夹分别用数字按顺序表示,每个文件夹中的图片每连续10张图片作为一个动作的样本。
4.根据权利要求1所述的基于3D卷积神经网络的人体行为识别方法,其特征在于:步骤(3f)中所述对五个通道信息中的每个通道分离进行卷积和下采样操作的具体步骤如下:
第1步,在第一层卷积层中,标记后的图像经过一个大小为9×9×10像素的滤波器得到了一个特征图map,一个滤波器产生一张112×152像素的特征图map,用64个滤波器进行卷积,产生64张特征图maps;
第2步,在第一层采样层中,将上一层卷积层的特征图maps用2×2像素窗口进行采样操作,得到的特征图maps大小变为56×76×64像素;
第3步,在第二层卷积层中,将第一层采样层得到的特征经过64个大小为9×9×64像素的滤波器滤波得到64张大小为48×68×64像素的特征图maps;
第4步,在第二层采样层中,将第二层卷积层的特征图maps用4×4像素窗口进行采样操作,得到64张大小为12×17像素的特征图maps。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510527937.9A CN105160310A (zh) | 2015-08-25 | 2015-08-25 | 基于3d卷积神经网络的人体行为识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510527937.9A CN105160310A (zh) | 2015-08-25 | 2015-08-25 | 基于3d卷积神经网络的人体行为识别方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105160310A true CN105160310A (zh) | 2015-12-16 |
Family
ID=54801162
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510527937.9A Pending CN105160310A (zh) | 2015-08-25 | 2015-08-25 | 基于3d卷积神经网络的人体行为识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105160310A (zh) |
Cited By (60)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105894043A (zh) * | 2016-04-27 | 2016-08-24 | 上海高智科技发展有限公司 | 一种视频描述语句生成方法及*** |
CN106203283A (zh) * | 2016-06-30 | 2016-12-07 | 重庆理工大学 | 基于三维卷积深度神经网络和深度视频的动作识别方法 |
CN106228109A (zh) * | 2016-07-08 | 2016-12-14 | 天津大学 | 一种基于骨骼运动轨迹的动作识别方法 |
CN106339666A (zh) * | 2016-08-11 | 2017-01-18 | 中科爱芯智能科技(深圳)有限公司 | 一种人体目标的夜间监控方法 |
CN106371599A (zh) * | 2016-09-08 | 2017-02-01 | 清华大学 | 深度图像中的高精度指尖定位方法及装置 |
CN106407889A (zh) * | 2016-08-26 | 2017-02-15 | 上海交通大学 | 基于光流图深度学习模型在视频中人体交互动作识别方法 |
CN106504190A (zh) * | 2016-12-29 | 2017-03-15 | 浙江工商大学 | 一种基于3d卷积神经网络的立体视频生成方法 |
CN106507291A (zh) * | 2016-12-16 | 2017-03-15 | 上海斐讯数据通信技术有限公司 | 一种wifi认证方法及其***、一种移动终端 |
CN106507356A (zh) * | 2016-12-16 | 2017-03-15 | 上海斐讯数据通信技术有限公司 | 一种无线认证方法及其*** |
CN106709933A (zh) * | 2016-11-17 | 2017-05-24 | 南京邮电大学 | 一种基于非监督学习的运动估计方法 |
CN106778854A (zh) * | 2016-12-07 | 2017-05-31 | 西安电子科技大学 | 基于轨迹和卷积神经网络特征提取的行为识别方法 |
CN106780569A (zh) * | 2016-11-18 | 2017-05-31 | 深圳市唯特视科技有限公司 | 一种人体姿态估计行为分析方法 |
CN106941602A (zh) * | 2017-03-07 | 2017-07-11 | 中国铁道科学研究院 | 机车司机行为识别方法、装置及*** |
CN107016521A (zh) * | 2017-04-26 | 2017-08-04 | 国家电网公司 | 一种基于图像卷积神经网络技术的仓库标示牌识别方法 |
WO2017133009A1 (zh) * | 2016-02-04 | 2017-08-10 | 广州新节奏智能科技有限公司 | 一种基于卷积神经网络的深度图像人体关节定位方法 |
CN107103277A (zh) * | 2017-02-28 | 2017-08-29 | 中科唯实科技(北京)有限公司 | 一种基于深度相机和3d卷积神经网络的步态识别方法 |
CN107145878A (zh) * | 2017-06-01 | 2017-09-08 | 重庆邮电大学 | 基于深度学习的老人异常行为检测方法 |
CN107153812A (zh) * | 2017-03-31 | 2017-09-12 | 深圳先进技术研究院 | 一种基于机器视觉的运动辅助方法及*** |
CN107169435A (zh) * | 2017-05-10 | 2017-09-15 | 天津大学 | 一种基于雷达仿真图像的卷积神经网络人体动作分类方法 |
CN107305635A (zh) * | 2016-04-15 | 2017-10-31 | 株式会社理光 | 对象识别方法、对象识别装置和分类器训练方法 |
CN107506740A (zh) * | 2017-09-04 | 2017-12-22 | 北京航空航天大学 | 一种基于三维卷积神经网络和迁移学习模型的人体行为识别方法 |
CN107506781A (zh) * | 2017-07-06 | 2017-12-22 | 浙江工业大学 | 一种基于bp神经网络的人体行为识别方法 |
CN107748898A (zh) * | 2017-11-03 | 2018-03-02 | 北京奇虎科技有限公司 | 文件分类方法、装置、计算设备及计算机存储介质 |
CN107945204A (zh) * | 2017-10-27 | 2018-04-20 | 西安电子科技大学 | 一种基于生成对抗网络的像素级人像抠图方法 |
CN107944754A (zh) * | 2017-12-13 | 2018-04-20 | 泰康保险集团股份有限公司 | 康复治疗质量评定的方法、装置、存储介质及电子设备 |
CN108009486A (zh) * | 2017-11-28 | 2018-05-08 | 中科亿海微电子科技(苏州)有限公司 | 基于深度学习训练重构图的视频识别方法及*** |
CN108154194A (zh) * | 2018-01-18 | 2018-06-12 | 北京工业大学 | 一种用基于张量的卷积网络提取高维特征的方法 |
CN108346257A (zh) * | 2018-02-09 | 2018-07-31 | 哈尔滨工业大学 | 一种基于视频分析的街道犯罪行为预警***及方法 |
CN108416266A (zh) * | 2018-01-30 | 2018-08-17 | 同济大学 | 一种利用光流提取运动目标的视频行为快速识别方法 |
CN108446585A (zh) * | 2018-01-31 | 2018-08-24 | 深圳市阿西莫夫科技有限公司 | 目标跟踪方法、装置、计算机设备和存储介质 |
WO2018161775A1 (zh) * | 2017-03-08 | 2018-09-13 | 腾讯科技(深圳)有限公司 | 一种用于图像处理的神经网络模型的训练方法、装置和存储介质 |
CN108701210A (zh) * | 2016-02-02 | 2018-10-23 | 北京市商汤科技开发有限公司 | 用于cnn网络适配和对象在线追踪的方法和*** |
CN108846365A (zh) * | 2018-06-24 | 2018-11-20 | 深圳市中悦科技有限公司 | 视频中打架行为的检测方法、装置、存储介质及处理器 |
US10152627B2 (en) | 2017-03-20 | 2018-12-11 | Microsoft Technology Licensing, Llc | Feature flow for video recognition |
CN109215665A (zh) * | 2018-07-20 | 2019-01-15 | 广东工业大学 | 一种基于3d卷积神经网络的声纹识别方法 |
CN109242863A (zh) * | 2018-09-14 | 2019-01-18 | 北京市商汤科技开发有限公司 | 一种缺血性脑卒中图像区域分割方法及装置 |
CN109255284A (zh) * | 2018-07-10 | 2019-01-22 | 西安理工大学 | 一种基于运动轨迹的3d卷积神经网络的行为识别方法 |
CN109409209A (zh) * | 2018-09-11 | 2019-03-01 | 广州杰赛科技股份有限公司 | 一种人体行为识别方法与装置 |
CN109460713A (zh) * | 2018-10-16 | 2019-03-12 | 北京京东金融科技控股有限公司 | 动物分娩的识别方法、装置和设备 |
CN109543556A (zh) * | 2018-10-23 | 2019-03-29 | 北京市商汤科技开发有限公司 | 动作识别方法、装置、介质及设备 |
CN109558785A (zh) * | 2017-09-25 | 2019-04-02 | 北京缤歌网络科技有限公司 | 安防监控***及应用其的无人便利店 |
CN109635790A (zh) * | 2019-01-28 | 2019-04-16 | 杭州电子科技大学 | 一种基于3d卷积的行人异常行为识别方法 |
CN109697434A (zh) * | 2019-01-07 | 2019-04-30 | 腾讯科技(深圳)有限公司 | 一种行为识别方法、装置和存储介质 |
CN109829443A (zh) * | 2019-02-23 | 2019-05-31 | 重庆邮电大学 | 基于图像增强与3d卷积神经网络的视频行为识别方法 |
CN109902547A (zh) * | 2018-05-29 | 2019-06-18 | 华为技术有限公司 | 动作识别方法和装置 |
CN110222551A (zh) * | 2018-03-02 | 2019-09-10 | 杭州海康威视数字技术股份有限公司 | 识别动作类别的方法、装置、电子设备及存储介质 |
CN110299203A (zh) * | 2019-08-12 | 2019-10-01 | 电子科技大学 | 一种基于智能手机的人体异常步态识别方法 |
CN110581834A (zh) * | 2018-06-11 | 2019-12-17 | ***通信集团浙江有限公司 | 一种通信能力开放异常检测方法和装置 |
CN110782436A (zh) * | 2019-10-18 | 2020-02-11 | 宁波大学 | 一种基于计算机视觉的传送带物料状态检测方法 |
CN110909191A (zh) * | 2018-09-18 | 2020-03-24 | 北京京东金融科技控股有限公司 | 图数据处理方法及装置、存储介质、电子设备 |
CN111062355A (zh) * | 2019-12-25 | 2020-04-24 | 神思电子技术股份有限公司 | 一种人体动作识别方法 |
WO2020093996A1 (zh) * | 2018-11-05 | 2020-05-14 | 杭州海康威视数字技术股份有限公司 | 一种深度神经网络运算方法及装置 |
CN111204346A (zh) * | 2018-11-05 | 2020-05-29 | 通用汽车环球科技运作有限责任公司 | 用于自动车辆的控制命令的端对端学习的方法及*** |
CN111209774A (zh) * | 2018-11-21 | 2020-05-29 | 杭州海康威视数字技术股份有限公司 | 目标行为识别及显示方法、装置、设备、可读介质 |
CN111310605A (zh) * | 2020-01-21 | 2020-06-19 | 北京迈格威科技有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
CN112084889A (zh) * | 2020-08-19 | 2020-12-15 | 北京影谱科技股份有限公司 | 一种图像行为识别方法、装置、计算设备及存储介质 |
CN112749671A (zh) * | 2021-01-19 | 2021-05-04 | 澜途集思生态科技集团有限公司 | 一种基于视频的人体行为识别方法 |
CN114708662A (zh) * | 2022-04-13 | 2022-07-05 | 祁玉玲 | 一种基于大数据的行为特征检测*** |
CN116645917A (zh) * | 2023-06-09 | 2023-08-25 | 浙江技加智能科技有限公司 | Led显示屏亮度调节***及其方法 |
US11967092B2 (en) | 2018-11-28 | 2024-04-23 | Sony Group Corporation | Detection-guided tracking of human dynamics |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104217214A (zh) * | 2014-08-21 | 2014-12-17 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 基于可配置卷积神经网络的rgb-d人物行为识别方法 |
CN104281853A (zh) * | 2014-09-02 | 2015-01-14 | 电子科技大学 | 一种基于3d卷积神经网络的行为识别方法 |
CN104573731A (zh) * | 2015-02-06 | 2015-04-29 | 厦门大学 | 基于卷积神经网络的快速目标检测方法 |
-
2015
- 2015-08-25 CN CN201510527937.9A patent/CN105160310A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104217214A (zh) * | 2014-08-21 | 2014-12-17 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 基于可配置卷积神经网络的rgb-d人物行为识别方法 |
CN104281853A (zh) * | 2014-09-02 | 2015-01-14 | 电子科技大学 | 一种基于3d卷积神经网络的行为识别方法 |
CN104573731A (zh) * | 2015-02-06 | 2015-04-29 | 厦门大学 | 基于卷积神经网络的快速目标检测方法 |
Non-Patent Citations (2)
Title |
---|
SHUIWANG JI ET AL.: "3D Convolutional Neural Networks for Human Action Recognition", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 * |
李葆青: "基于卷积神经网络的模式分类器", 《大连大学学报》 * |
Cited By (83)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108701210B (zh) * | 2016-02-02 | 2021-08-17 | 北京市商汤科技开发有限公司 | 用于cnn网络适配和对象在线追踪的方法和*** |
CN108701210A (zh) * | 2016-02-02 | 2018-10-23 | 北京市商汤科技开发有限公司 | 用于cnn网络适配和对象在线追踪的方法和*** |
WO2017133009A1 (zh) * | 2016-02-04 | 2017-08-10 | 广州新节奏智能科技有限公司 | 一种基于卷积神经网络的深度图像人体关节定位方法 |
CN107305635A (zh) * | 2016-04-15 | 2017-10-31 | 株式会社理光 | 对象识别方法、对象识别装置和分类器训练方法 |
CN105894043A (zh) * | 2016-04-27 | 2016-08-24 | 上海高智科技发展有限公司 | 一种视频描述语句生成方法及*** |
CN106203283A (zh) * | 2016-06-30 | 2016-12-07 | 重庆理工大学 | 基于三维卷积深度神经网络和深度视频的动作识别方法 |
CN106228109A (zh) * | 2016-07-08 | 2016-12-14 | 天津大学 | 一种基于骨骼运动轨迹的动作识别方法 |
CN106339666A (zh) * | 2016-08-11 | 2017-01-18 | 中科爱芯智能科技(深圳)有限公司 | 一种人体目标的夜间监控方法 |
CN106339666B (zh) * | 2016-08-11 | 2019-08-20 | 中科亿和智慧物联(深圳)有限公司 | 一种人体目标的夜间监控方法 |
CN106407889A (zh) * | 2016-08-26 | 2017-02-15 | 上海交通大学 | 基于光流图深度学习模型在视频中人体交互动作识别方法 |
CN106371599A (zh) * | 2016-09-08 | 2017-02-01 | 清华大学 | 深度图像中的高精度指尖定位方法及装置 |
CN106709933A (zh) * | 2016-11-17 | 2017-05-24 | 南京邮电大学 | 一种基于非监督学习的运动估计方法 |
CN106709933B (zh) * | 2016-11-17 | 2020-04-07 | 南京邮电大学 | 一种基于非监督学习的运动估计方法 |
CN106780569A (zh) * | 2016-11-18 | 2017-05-31 | 深圳市唯特视科技有限公司 | 一种人体姿态估计行为分析方法 |
CN106778854A (zh) * | 2016-12-07 | 2017-05-31 | 西安电子科技大学 | 基于轨迹和卷积神经网络特征提取的行为识别方法 |
CN106778854B (zh) * | 2016-12-07 | 2019-12-24 | 西安电子科技大学 | 基于轨迹和卷积神经网络特征提取的行为识别方法 |
CN106507356A (zh) * | 2016-12-16 | 2017-03-15 | 上海斐讯数据通信技术有限公司 | 一种无线认证方法及其*** |
CN106507291A (zh) * | 2016-12-16 | 2017-03-15 | 上海斐讯数据通信技术有限公司 | 一种wifi认证方法及其***、一种移动终端 |
CN106504190B (zh) * | 2016-12-29 | 2019-09-13 | 浙江工商大学 | 一种基于3d卷积神经网络的立体视频生成方法 |
CN106504190A (zh) * | 2016-12-29 | 2017-03-15 | 浙江工商大学 | 一种基于3d卷积神经网络的立体视频生成方法 |
CN107103277A (zh) * | 2017-02-28 | 2017-08-29 | 中科唯实科技(北京)有限公司 | 一种基于深度相机和3d卷积神经网络的步态识别方法 |
CN107103277B (zh) * | 2017-02-28 | 2020-11-06 | 中科唯实科技(北京)有限公司 | 一种基于深度相机和3d卷积神经网络的步态识别方法 |
CN106941602A (zh) * | 2017-03-07 | 2017-07-11 | 中国铁道科学研究院 | 机车司机行为识别方法、装置及*** |
WO2018161775A1 (zh) * | 2017-03-08 | 2018-09-13 | 腾讯科技(深圳)有限公司 | 一种用于图像处理的神经网络模型的训练方法、装置和存储介质 |
US11610082B2 (en) | 2017-03-08 | 2023-03-21 | Tencent Technology (Shenzhen) Company Limited | Method and apparatus for training neural network model used for image processing, and storage medium |
US10970600B2 (en) | 2017-03-08 | 2021-04-06 | Tencent Technology (Shenzhen) Company Limited | Method and apparatus for training neural network model used for image processing, and storage medium |
TWI672667B (zh) * | 2017-03-08 | 2019-09-21 | 大陸商騰訊科技(深圳)有限公司 | 訓練用於影像處理神經網路模型的方法及裝置和電腦可讀儲存媒體 |
US10152627B2 (en) | 2017-03-20 | 2018-12-11 | Microsoft Technology Licensing, Llc | Feature flow for video recognition |
CN107153812A (zh) * | 2017-03-31 | 2017-09-12 | 深圳先进技术研究院 | 一种基于机器视觉的运动辅助方法及*** |
CN107016521A (zh) * | 2017-04-26 | 2017-08-04 | 国家电网公司 | 一种基于图像卷积神经网络技术的仓库标示牌识别方法 |
CN107169435B (zh) * | 2017-05-10 | 2021-07-20 | 天津大学 | 一种基于雷达仿真图像的卷积神经网络人体动作分类方法 |
CN107169435A (zh) * | 2017-05-10 | 2017-09-15 | 天津大学 | 一种基于雷达仿真图像的卷积神经网络人体动作分类方法 |
CN107145878A (zh) * | 2017-06-01 | 2017-09-08 | 重庆邮电大学 | 基于深度学习的老人异常行为检测方法 |
CN107506781A (zh) * | 2017-07-06 | 2017-12-22 | 浙江工业大学 | 一种基于bp神经网络的人体行为识别方法 |
CN107506740B (zh) * | 2017-09-04 | 2020-03-17 | 北京航空航天大学 | 一种基于三维卷积神经网络和迁移学习模型的人体行为识别方法 |
CN107506740A (zh) * | 2017-09-04 | 2017-12-22 | 北京航空航天大学 | 一种基于三维卷积神经网络和迁移学习模型的人体行为识别方法 |
CN109558785A (zh) * | 2017-09-25 | 2019-04-02 | 北京缤歌网络科技有限公司 | 安防监控***及应用其的无人便利店 |
CN107945204A (zh) * | 2017-10-27 | 2018-04-20 | 西安电子科技大学 | 一种基于生成对抗网络的像素级人像抠图方法 |
CN107945204B (zh) * | 2017-10-27 | 2021-06-25 | 西安电子科技大学 | 一种基于生成对抗网络的像素级人像抠图方法 |
CN107748898A (zh) * | 2017-11-03 | 2018-03-02 | 北京奇虎科技有限公司 | 文件分类方法、装置、计算设备及计算机存储介质 |
CN108009486A (zh) * | 2017-11-28 | 2018-05-08 | 中科亿海微电子科技(苏州)有限公司 | 基于深度学习训练重构图的视频识别方法及*** |
CN108009486B (zh) * | 2017-11-28 | 2021-06-08 | 中科亿海微电子科技(苏州)有限公司 | 基于深度学习训练重构图的视频识别方法及*** |
CN107944754A (zh) * | 2017-12-13 | 2018-04-20 | 泰康保险集团股份有限公司 | 康复治疗质量评定的方法、装置、存储介质及电子设备 |
CN108154194A (zh) * | 2018-01-18 | 2018-06-12 | 北京工业大学 | 一种用基于张量的卷积网络提取高维特征的方法 |
CN108416266A (zh) * | 2018-01-30 | 2018-08-17 | 同济大学 | 一种利用光流提取运动目标的视频行为快速识别方法 |
CN108446585B (zh) * | 2018-01-31 | 2020-10-30 | 深圳市阿西莫夫科技有限公司 | 目标跟踪方法、装置、计算机设备和存储介质 |
CN108446585A (zh) * | 2018-01-31 | 2018-08-24 | 深圳市阿西莫夫科技有限公司 | 目标跟踪方法、装置、计算机设备和存储介质 |
CN108346257B (zh) * | 2018-02-09 | 2020-09-25 | 哈尔滨工业大学 | 一种基于视频分析的街道犯罪行为预警***及方法 |
CN108346257A (zh) * | 2018-02-09 | 2018-07-31 | 哈尔滨工业大学 | 一种基于视频分析的街道犯罪行为预警***及方法 |
CN110222551A (zh) * | 2018-03-02 | 2019-09-10 | 杭州海康威视数字技术股份有限公司 | 识别动作类别的方法、装置、电子设备及存储介质 |
CN110222551B (zh) * | 2018-03-02 | 2021-07-09 | 杭州海康威视数字技术股份有限公司 | 识别动作类别的方法、装置、电子设备及存储介质 |
CN109902547A (zh) * | 2018-05-29 | 2019-06-18 | 华为技术有限公司 | 动作识别方法和装置 |
US11392801B2 (en) | 2018-05-29 | 2022-07-19 | Huawei Technologies Co., Ltd. | Action recognition method and apparatus |
US11704938B2 (en) | 2018-05-29 | 2023-07-18 | Huawei Technologies Co., Ltd. | Action recognition method and apparatus |
CN110581834A (zh) * | 2018-06-11 | 2019-12-17 | ***通信集团浙江有限公司 | 一种通信能力开放异常检测方法和装置 |
CN108846365A (zh) * | 2018-06-24 | 2018-11-20 | 深圳市中悦科技有限公司 | 视频中打架行为的检测方法、装置、存储介质及处理器 |
CN108846365B (zh) * | 2018-06-24 | 2022-04-22 | 深圳市中悦科技有限公司 | 视频中打架行为的检测方法、装置、存储介质及处理器 |
CN109255284A (zh) * | 2018-07-10 | 2019-01-22 | 西安理工大学 | 一种基于运动轨迹的3d卷积神经网络的行为识别方法 |
CN109215665A (zh) * | 2018-07-20 | 2019-01-15 | 广东工业大学 | 一种基于3d卷积神经网络的声纹识别方法 |
CN109409209A (zh) * | 2018-09-11 | 2019-03-01 | 广州杰赛科技股份有限公司 | 一种人体行为识别方法与装置 |
CN109242863A (zh) * | 2018-09-14 | 2019-01-18 | 北京市商汤科技开发有限公司 | 一种缺血性脑卒中图像区域分割方法及装置 |
CN110909191A (zh) * | 2018-09-18 | 2020-03-24 | 北京京东金融科技控股有限公司 | 图数据处理方法及装置、存储介质、电子设备 |
CN109460713A (zh) * | 2018-10-16 | 2019-03-12 | 北京京东金融科技控股有限公司 | 动物分娩的识别方法、装置和设备 |
CN109543556A (zh) * | 2018-10-23 | 2019-03-29 | 北京市商汤科技开发有限公司 | 动作识别方法、装置、介质及设备 |
CN111204346A (zh) * | 2018-11-05 | 2020-05-29 | 通用汽车环球科技运作有限责任公司 | 用于自动车辆的控制命令的端对端学习的方法及*** |
WO2020093996A1 (zh) * | 2018-11-05 | 2020-05-14 | 杭州海康威视数字技术股份有限公司 | 一种深度神经网络运算方法及装置 |
CN111209774B (zh) * | 2018-11-21 | 2024-03-26 | 杭州海康威视数字技术股份有限公司 | 目标行为识别及显示方法、装置、设备、可读介质 |
CN111209774A (zh) * | 2018-11-21 | 2020-05-29 | 杭州海康威视数字技术股份有限公司 | 目标行为识别及显示方法、装置、设备、可读介质 |
US11967092B2 (en) | 2018-11-28 | 2024-04-23 | Sony Group Corporation | Detection-guided tracking of human dynamics |
CN109697434A (zh) * | 2019-01-07 | 2019-04-30 | 腾讯科技(深圳)有限公司 | 一种行为识别方法、装置和存储介质 |
CN109697434B (zh) * | 2019-01-07 | 2021-01-08 | 腾讯科技(深圳)有限公司 | 一种行为识别方法、装置和存储介质 |
CN109635790A (zh) * | 2019-01-28 | 2019-04-16 | 杭州电子科技大学 | 一种基于3d卷积的行人异常行为识别方法 |
CN109829443A (zh) * | 2019-02-23 | 2019-05-31 | 重庆邮电大学 | 基于图像增强与3d卷积神经网络的视频行为识别方法 |
CN110299203A (zh) * | 2019-08-12 | 2019-10-01 | 电子科技大学 | 一种基于智能手机的人体异常步态识别方法 |
CN110782436A (zh) * | 2019-10-18 | 2020-02-11 | 宁波大学 | 一种基于计算机视觉的传送带物料状态检测方法 |
CN110782436B (zh) * | 2019-10-18 | 2023-11-17 | 宁波大学 | 一种基于计算机视觉的传送带物料状态检测方法 |
CN111062355A (zh) * | 2019-12-25 | 2020-04-24 | 神思电子技术股份有限公司 | 一种人体动作识别方法 |
CN111310605B (zh) * | 2020-01-21 | 2023-09-01 | 北京迈格威科技有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
CN111310605A (zh) * | 2020-01-21 | 2020-06-19 | 北京迈格威科技有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
CN112084889A (zh) * | 2020-08-19 | 2020-12-15 | 北京影谱科技股份有限公司 | 一种图像行为识别方法、装置、计算设备及存储介质 |
CN112749671A (zh) * | 2021-01-19 | 2021-05-04 | 澜途集思生态科技集团有限公司 | 一种基于视频的人体行为识别方法 |
CN114708662A (zh) * | 2022-04-13 | 2022-07-05 | 祁玉玲 | 一种基于大数据的行为特征检测*** |
CN116645917A (zh) * | 2023-06-09 | 2023-08-25 | 浙江技加智能科技有限公司 | Led显示屏亮度调节***及其方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105160310A (zh) | 基于3d卷积神经网络的人体行为识别方法 | |
CN110363140B (zh) | 一种基于红外图像的人体动作实时识别方法 | |
CN111259930B (zh) | 自适应注意力指导机制的一般性目标检测方法 | |
CN106845374B (zh) | 基于深度学习的行人检测方法及检测装置 | |
CN108416266B (zh) | 一种利用光流提取运动目标的视频行为快速识别方法 | |
CN105550678B (zh) | 基于全局显著边缘区域的人体动作特征提取方法 | |
CN110929593B (zh) | 一种基于细节辨别区别的实时显著性行人检测方法 | |
CN109919122A (zh) | 一种基于3d人体关键点的时序行为检测方法 | |
CN113963445B (zh) | 一种基于姿态估计的行人摔倒动作识别方法及设备 | |
CN106529499A (zh) | 基于傅里叶描述子和步态能量图融合特征的步态识别方法 | |
CN109934224B (zh) | 基于马尔科夫随机场和视觉对比机制的小目标检测方法 | |
CN107945153A (zh) | 一种基于深度学习的路面裂缝检测方法 | |
CN112686928B (zh) | 一种基于多源信息融合的运动目标视觉跟踪方法 | |
CN107424161B (zh) | 一种由粗至精的室内场景图像布局估计方法 | |
CN104794737B (zh) | 一种深度信息辅助粒子滤波跟踪方法 | |
CN106408030A (zh) | 基于中层语义属性和卷积神经网络的sar图像分类方法 | |
CN106951870A (zh) | 主动视觉注意的监控视频显著事件智能检测预警方法 | |
CN107767416B (zh) | 一种低分辨率图像中行人朝向的识别方法 | |
CN110827312B (zh) | 一种基于协同视觉注意力神经网络的学习方法 | |
CN103902989B (zh) | 基于非负矩阵分解的人体动作视频识别方法 | |
CN104298974A (zh) | 一种基于深度视频序列的人体行为识别方法 | |
CN110032932B (zh) | 一种基于视频处理和决策树设定阈值的人体姿态识别方法 | |
CN114241422A (zh) | 一种基于ESRGAN和改进YOLOv5s的学生课堂行为检测方法 | |
CN105469050B (zh) | 基于局部时空特征描述与金字塔词汇树的视频行为识别方法 | |
CN107230219A (zh) | 一种单目机器人上的目标人发现与跟随方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20151216 |
|
WD01 | Invention patent application deemed withdrawn after publication |