CN108108699A - 融合深度神经网络模型和二进制哈希的人体动作识别方法 - Google Patents

融合深度神经网络模型和二进制哈希的人体动作识别方法 Download PDF

Info

Publication number
CN108108699A
CN108108699A CN201711422702.9A CN201711422702A CN108108699A CN 108108699 A CN108108699 A CN 108108699A CN 201711422702 A CN201711422702 A CN 201711422702A CN 108108699 A CN108108699 A CN 108108699A
Authority
CN
China
Prior art keywords
video
frame
msub
mrow
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711422702.9A
Other languages
English (en)
Inventor
李伟生
冯晨
肖斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN201711422702.9A priority Critical patent/CN108108699A/zh
Publication of CN108108699A publication Critical patent/CN108108699A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明为一种深度神经网络模型和二进制哈希相结合的人体动作识别方法，属于模式识别技术领域。该方法包括:首先对动作识别数据库进行预处理切分成帧序列，计算光流图，并使用姿态估计算法计算人体关节点的坐标，使用结果坐标提取视频区域帧；其次利用预训练的VGG‑16网络模型对视频的RGB流与光流分别提取FC(Full‑Convolutional)特征,在视频帧序列中选取关键帧，对这些关键帧对应的FC特征取差值；对差值做二值化处理；再用binary‑hashing方法得到每个视频的统一特征表示；与PCNN特征融合后使用L1,L2等多种归一化方法得到视频的特征表示；最后使用支持向量机算法训练分类器人体动作视频进行识别。本发明具有较高的动作识别正确率。

Description

融合深度神经网络模型和二进制哈希的人体动作识别方法
技术领域
本发明属于图像视频处理技术领域，特别涉及一种基于深度神经网络模型结合二进制哈希的人体动作识别方法。
背景技术
近年来，人体动作识别在模式识别，图像处理与分析等领域的研究取得了很大的进步，目前已有部分人体动作识别***投入实际使用。人体动作识别算法主要包括动作表示和动作分类两个步骤，如何编码人体动作信息对后续的动作分类是十分关键的一步。理想情况下的动作表示算法不仅要对人体外观、尺度、复杂背景及动作速度的变化，而且包含足够的信息提供给分类器用于动作类型划分。但复杂背景和人体本身的多变性问题给人体动作识别带来极大的挑战。
深度学习方法将短视频看做一系列输入的帧进行处理。很明显，使用单独的帧不足以有效的捕捉动作的动态，而大量帧又需要大量的参数，从而导致模型过拟合，需要更大的训练集，计算复杂度也更高。这个问题也存在于其他流行的CNN架构中，比如Tran.D等人提出的3D卷积网络。因此，最先进的深度动作识别模型通常被训练成从短的视频剪辑生成有用的特征，然后汇集产生整体的序列级别描述符，然后用来训练带有特定动作标签的线性分类器。在Cheron等人提出的PCNN模型中，通过提取视频RGB流的FC层的输出特性并结合使用min或max池化方法来获得视频的特征表示。但是min或max池化方法只捕获了特征之间的一级关联,聚集操作可以更恰当地捕捉到CNN功能之间的高阶关联。
虽然CNN在框架级的功能上可能非常复杂，但我们考虑利用视频帧变化之间的关联性可以捕捉视频的独特性特征这可能有助于提高视频的识别的性能。
发明内容
本发明旨在解决以上现有技术的问题。提出了一种具有更好的识别效果的融合深度神经网络模型和二进制哈希的人体动作识别方法。本发明的技术方案如下：
一种融合深度神经网络模型和二进制哈希的人体动作识别方法，其包括以下步骤：
101、获取包含有人体动作的短视频，并将该短视频切分成视频帧序列；
102、使用光流算法计算步骤101视频帧序列中相邻视频帧的光流图；
103、对101视频帧序列使用姿态估计算法得到人体关节点的坐标；
104、使用步骤103得到的关节点坐标截取不同人体部位的RGB与光流区域图，得到视频的RGB帧序列与光流帧序列；
105、使用牛津大学视觉几何组(Visual Geometry Group)的VGG-16模型与光流网络(FlowNet)模型对步骤104得到的RGB帧序列与光流帧序列中的每一帧提取的全连接(Full Connected)层特征，本层特征维度为4096维；
106、使用步骤105得到的FC特征进行池化操作进行聚集，得到n×4096维的视频特征表示；
107、将步骤106得到的视频特征进行l2归一化后送入线性SVM分类器进行分类。
进一步的，所述步骤102使用光流算法计算步骤101相邻视频帧序列的光流图，具体包括步骤：
201.提取两个相邻视频帧之间的光流矢量；
202.对生成的光流矢量的所有像素点处水平方向和垂直方向的绝对值分别求和，得到帧的水平方向和垂直方向的两个光流绝对值的和；
203.将所有帧的光流绝对值和按时间排序生成整个视频水平方向和垂直方向的光流序列。
进一步的，所述步骤104选取视频的RGB帧序列与光流帧序列关的步骤包括：
选取不同的尺寸的滑动窗口尺寸h，并动态的根据视频帧数|F|采集S数目的样本帧并提取特征。fT表示原始视频帧序列中的一帧，其中原始视频共有T帧；表示所选关键帧序列中的一帧，关键帧选取使用公式(2)所示方法，每间隔S帧选取一帧，共选取h帧。
进一步的，所述步骤105为了区分RGB序列与光流序列，使用两种不同架构的卷积网络模型，每个网络均包含了五层的卷积层和三层的全连接层，使用第二个全连接层的输出作为FC特征即视频帧特征，将输入图像统一调整为224×224的大小，这样可以得到一致的FC层特征，我们使用min和max池化操作对一个视频的所有帧特征进行聚合后就得到了视频的特征表示。
进一步的，对选取的关键帧以及对应的4096维的FC特征进行相邻差值计算，使用0，1表示特征的变化趋势，这样就得到一个4096×h大小的矩阵，矩阵中每个元素为0或为1，提取每一行的二进制序列作为输入，使用公式(3)计算输出，这样就得到了视频对应的4096维的二进制哈希特征。
进一步的，所述步骤106计算视频特征值具体包括：比较两个相邻关键帧和特征值变化，对应于视频帧对应的特征向量ft p，比较相邻两帧同一维度上特征值的变化，增加用1表示，减小用0表示，这样可以得到一个4096*h的特征值矩阵M，矩阵元素仅包含0或1，对于矩阵的每一行特征向量[xh-1,xh-2,...,x0]使用以下公式(3)计算其二进制哈希映射，公式(3)将由0和1组成的数字串转化为一个无符号的整数；
最终得到了人体不同部位的RGB流与光流帧特征变化的二进制哈希特征。
进一步的，步骤107除了使用l2归一化以外，还使用了融合l1+β·l2的特征归一化方式，l2表示对特征的二阶归一化，l1表示对特征的一阶归一化，β表示融合归一化系数。当最终把通过深度神经网络提取的特征与二进制哈希得到的特征融合后得到视频的特征表示p，由于不同来源的特征值尺度存在差异，归一化所有特征值到一个尺度再使用分类器分类。
进一步的，所述使用了l1+β·l2融合的归一化方式，即
p＝p/(||p||1+β·||p||2) (4)
本发明的优点及有益效果如下：
本发明的创新之处在于：将深度网络模型与二进制哈希方法相融合。考虑到近年来深度卷积神经网络对图像中物体表征问题上的有效性与准确性，所以选择使用涵盖了2万多种物体的Imagenet数据集上预训练的VGG-16网络模型对RGB帧序列提取特征，使用包含了101种动作的UCF101数据集上预训练的深度模型对光流帧序列提取特征。使用二进制哈希方法的简单操作性以及高效性对提取的静态视频帧以及光流帧特征作进一步高阶处理。结合多种特征后使用不同的归一化方法进行训练识别。因而相对于传统的人体动作识别方法，具有更好的识别效果。
附图说明
图1是本发明提供优选实施例姿态估计方法的输出结果图；
图2是本发明提供优选实施例方法的流程图；
图3是二进制哈希算法流程；
图4是:不同归一化方法的比较图。
图5是不同大小的哈希窗口比较图；
图6是不同大小的融合系数比较图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
本发明解决上述技术问题的技术方案是：
下面结合附图1-2所示，一种基于深度网络模型和二进制哈希方法的人体动作识别方法包括以下步骤：
1.提取视频的深度特征
将实验的视频库中的样本分为训练集和测试集，并对所有样本提取FC层特征，该提取方法详细步骤如下：
1)对输入视频切分成帧
为了提取视频的局部特征信息，将输入的包含有人体动作的视频切分成帧序列。
2)使用光流算法对RGB帧序列计算光流帧。
3)使用姿态估计算法定位人体的关节点的坐标。
4)根据以上关节点坐标提取RGB帧序列与光流帧序列中人体关节点所在的区域。包括头部、肩部、腰部、肘部。
5)为了区分RGB序列与光流序列，我们使用两种不同架构的卷积网络模型，每个网络均包含了五层的卷积层和三层的全连接层。我们使用第二个全连接层的输出作为FC特征即视频帧特征。我们将输入图像统一调整为224×224的大小，这样我们可以得到一致的FC层特征。我们使用min和max池化操作对一个视频的所有帧特征进行聚合后就得到了视频的特征表示。
2.计算视频的二进制哈希特征
观察可以发现视频的运动特性有时是由部分关键的短时动作区别的。为了进一步捕捉视频的运动特性，我们使用以下步骤计算视频的二进制哈希特征：
1)与提取视频深度特征类似。首先对视频切分成帧，计算光流帧，提取人体关节点坐标，计算不同节点部位的帧序列对应的FC特征。
2)不同的视频有不同的帧数|F|，我们定义滑动窗口大小为h，步长S为|F|/h。每隔相应步长选取关键帧。如图3所示。
3)对选取的关键帧以及对应的4096维的FC特征。我们进行相邻差值计算，使用0，1表示特征的变化趋势。这样我们就得到一个4096×h大小的矩阵，矩阵中每个元素为0或为1.我们提取每一行的二进制序列作为输入，使用公式(3)计算输出。这样我们就得到了视频对应的4096维的二进制哈希特征。
3.融合深度特征与哈希特征
对于以上步骤1，2得到的深度特征与二进制哈希特征我们首先要进行特征融合，再使用SVM分类器进行分类。主要包含以下详细步骤：
1)保存深度特征与哈希特征拼接后的融合特征。
2)使用所有动作视频的融合特征计算特征矩阵的范式与L2范式。
3)对特征矩阵中的所有元素除以l1范式、l2范式进行归一化后得到两种不同的归一化特征。
4)定义融合因子β、l1+β·l2作为融合后的归一化范式得到另一种归一化特征。
5)将以上归一化特征，以及对应动作类别标签送入SVM分类器，选择线性核进行训练。
6)对每一种视频训练一个分类器。标记当前类别为正样本，其他所有类别为负样本。训练多个分类器。
7)对于测试集的视频，使用每一个分类器计算得分，选择得分最高的作为相应动作类别。
本发明的一个实施例如下：
采用JHMDB及MPII-Cooking人体动作库作为实验数据库。
JHMDB动作数据集包含21类人体动作，包括梳头、坐、站、跑步、挥手等。每个视频仅包含了很短的一段视频，包含15-40帧。共有928个视频以及标注好的31838帧。
MPII-Cooking动作数据集包含一系列高分辨率人在厨房中烹饪的动作视频。包含洗盘子、切水果、洗手等动作。每个视频包含一种烹饪活动。共包含了64种类别的烹饪动作，涉及3748个视频片段以及同一个背景。
(1)JHDMB数据集有三种不同的训练集/测试集划分，比例为80/20分。保证可以覆盖到所有动作种类。每个测试划分上计算分类的准确率，使用三种划分的平均成绩作为评价标准。具体测试结果如附图4、附图5所示。使用归一化方法的效果要明显好于使用原始特征进行分类的结果。选取不同大小的哈希窗口，大多数情况下l1归一化优于l2归一化。
我们同样比较了在不同哈希窗口下不同融合系数β对l1+β·l2归一化的影响。实验结果如附图6所示。
(2)我们使用相同的方法在JHMDB数据集与MPII-Cooking数据集上测试了分类效果。如表1所示，分类效果表明融合了深度网络特征与二进制哈希特征的方法要优于之前基于PCNN模型的方法。
表1:在JHDMB数据集与MPII-Cooking数据集上不同归一化方法结合哈希特征对分类结果的影响
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (8)

1.一种融合深度神经网络模型和二进制哈希的人体动作识别方法，其特征在于，包括以下步骤：
101、获取包含有人体动作的短视频，并将该短视频切分成视频帧序列；
102、使用光流算法计算步骤101视频帧序列中相邻帧的光流图；
103、对101视频帧序列使用姿态估计算法得到人体关节点的坐标；
104、使用步骤103得到的关节点坐标截取不同人体部位的RGB与光流区域图，得到视频的RGB帧序列与光流帧序列；
105、使用牛津大学视觉几何组的VGG-16模型与光流网络模型对步骤104得到的RGB帧序列与光流帧序列中的每一帧提取的全连接层特征，本层特征维度为4096维；
106、使用步骤105得到的FC特征进行池化操作进行聚集，得到n×4096维的视频特征表示；
107、将步骤106得到的视频特征进行l2归一化后送入线性SVM分类器进行分类。
2.根据权利要求1所述的融合深度神经网络模型和二进制哈希的人体动作识别方法，其特征在于，所述步骤102使用光流算法计算步骤101相邻视频帧序列的光流图，具体包括步骤：
201.提取两个相邻视频帧之间的光流矢量；
202.对生成的光流矢量的所有像素点处水平方向和垂直方向的绝对值分别求和，得到帧的水平方向和垂直方向的两个光流绝对值的和；
203.将所有帧的光流绝对值和按时间排序生成整个视频水平方向和垂直方向的光流序列。
3.根据权利要求1所述的融合深度神经网络模型和二进制哈希的人体动作识别方法，其特征在于，所述步骤104选取视频的RGB帧序列与光流帧序列关的步骤包括：
选取不同的尺寸的滑动窗口尺寸h，并动态的根据视频帧数|F|采集S数目的样本帧并提取特征，fT表示原始视频帧序列中的一帧，其中原始视频共有T帧；表示所选关键帧序列中的一帧，关键帧选取使用公式(2)所示方法，每间隔S帧选取一帧，共选取h帧；
<mrow> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mo>&amp;lsqb;</mo> <msub> <mi>f</mi> <msub> <mi>t</mi> <mn>1</mn> </msub> </msub> <mo>,</mo> <msub> <mi>f</mi> <msub> <mi>t</mi> <mn>2</mn> </msub> </msub> <mo>,</mo> <mo>...</mo> <mo>,</mo> <msub> <mi>f</mi> <msub> <mi>t</mi> <mi>h</mi> </msub> </msub> <mo>&amp;rsqb;</mo> <mo>&amp;SubsetEqual;</mo> <mi>F</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>F</mi> <mo>=</mo> <mo>&amp;lsqb;</mo> <msub> <mi>f</mi> <mn>1</mn> </msub> <mo>,</mo> <msub> <mi>f</mi> <mn>2</mn> </msub> <mo>,</mo> <mo>...</mo> <mo>,</mo> <msub> <mi>f</mi> <mi>T</mi> </msub> <mo>&amp;rsqb;</mo> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>
4.根据权利要求3所述的融合深度神经网络模型和二进制哈希的人体动作识别方法，其特征在于，所述步骤105为了区分RGB序列与光流序列，使用两种不同架构的卷积网络模型，每个网络均包含了五层的卷积层和三层的全连接层，使用第二个全连接层的输出作为FC特征即视频帧特征，将输入图像统一调整为224×224的大小，这样可以得到一致的FC层特征，使用min和max池化操作对一个视频的所有帧特征进行聚合后就得到了视频的特征表示。
5.根据权利要求4所述的融合深度神经网络模型和二进制哈希的人体动作识别方法，其特征在于，对选取的关键帧以及对应的4096维的FC特征进行相邻差值计算，使用0，1表示特征的变化趋势，这样就得到一个4096×h大小的矩阵，矩阵中每个元素为0或为1，提取每一行的二进制序列作为输入，使用公式(3)计算输出，这样就得到了视频对应的4096维的二进制哈希特征。
6.根据权利要求4所述的融合深度神经网络模型和二进制哈希的人体动作识别方法，其特征在于，所述步骤106计算视频特征值具体包括：比较两个相邻关键帧和特征值变化，对应于视频帧对应的特征向量ft p，比较相邻两帧同一维度上特征值的变化，增加用1表示，减小用0表示，这样可以得到一个4096*h的特征值矩阵M，矩阵元素仅包含0或1，对于矩阵的每一行特征向量[xh-1,xh-2,...,x0]使用以下公式(3)计算其二进制哈希映射，公式(3)将由0和1组成的数字串转化为一个无符号的整数；
<mrow> <mi>B</mi> <mn>2</mn> <msub> <mi>U</mi> <mi>w</mi> </msub> <mrow> <mo>(</mo> <mover> <mi>x</mi> <mo>&amp;RightArrow;</mo> </mover> <mo>)</mo> </mrow> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>0</mn> </mrow> <mrow> <mi>w</mi> <mo>-</mo> <mn>1</mn> </mrow> </munderover> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>&amp;times;</mo> <msup> <mn>2</mn> <mi>i</mi> </msup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> </mrow>
最终得到了人体不同部位的RGB流与光流帧特征变化的二进制哈希特征。
7.根据权利要求6所述的融合深度神经网络模型和二进制哈希的人体动作识别方法，其特征在于，步骤107除了使用l2归一化以外，还使用了融合l1+β·l2的特征归一化方式，l2表示对特征的二阶归一化，l1表示对特征的一阶归一化，β表示融合归一化系数。当最终把通过深度神经网络提取的特征与二进制哈希得到的特征融合后得到视频的特征表示p，由于不同来源的特征值尺度存在差异，归一化所有特征值到一个尺度再使用分类器分类。
8.根据权利要求7所述的融合深度神经网络模型和二进制哈希的人体动作识别方法，其特征在于，所述使用了l1+β·l2融合的归一化方式，即
p＝p/(||p||1+β·||p||2) (4)。
CN201711422702.9A 2017-12-25 2017-12-25 融合深度神经网络模型和二进制哈希的人体动作识别方法 Pending CN108108699A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711422702.9A CN108108699A (zh) 2017-12-25 2017-12-25 融合深度神经网络模型和二进制哈希的人体动作识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711422702.9A CN108108699A (zh) 2017-12-25 2017-12-25 融合深度神经网络模型和二进制哈希的人体动作识别方法

Publications (1)

Publication Number Publication Date
CN108108699A true CN108108699A (zh) 2018-06-01

Family

ID=62212862

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711422702.9A Pending CN108108699A (zh) 2017-12-25 2017-12-25 融合深度神经网络模型和二进制哈希的人体动作识别方法

Country Status (1)

Country Link
CN (1) CN108108699A (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108960207A (zh) * 2018-08-08 2018-12-07 广东工业大学 一种图像识别的方法、***及相关组件
CN108985223A (zh) * 2018-07-12 2018-12-11 天津艾思科尔科技有限公司 一种人体动作识别方法
CN109086659A (zh) * 2018-06-13 2018-12-25 深圳市感动智能科技有限公司 一种基于多模道特征融合的人体行为识别方法和装置
CN109255284A (zh) * 2018-07-10 2019-01-22 西安理工大学 一种基于运动轨迹的3d卷积神经网络的行为识别方法
CN109815921A (zh) * 2019-01-29 2019-05-28 北京融链科技有限公司 加氢站中活动类别的预测方法及装置
CN109858406A (zh) * 2019-01-17 2019-06-07 西北大学 一种基于关节点信息的关键帧提取方法
CN109918537A (zh) * 2019-01-18 2019-06-21 杭州电子科技大学 一种基于HBase的船舶监控视频内容的快速检索方法
CN110096950A (zh) * 2019-03-20 2019-08-06 西北大学 一种基于关键帧的多特征融合行为识别方法
CN110135386A (zh) * 2019-05-24 2019-08-16 长沙学院 一种基于深度学习的人体动作识别方法和***
CN110163127A (zh) * 2019-05-07 2019-08-23 国网江西省电力有限公司检修分公司 一种由粗到细的视频目标行为识别方法
CN111104837A (zh) * 2018-10-29 2020-05-05 联发科技股份有限公司 移动设备和相关视频编辑方法
CN111324744A (zh) * 2020-02-17 2020-06-23 中山大学 一种基于目标情感分析数据集的数据增强方法
CN111666845A (zh) * 2020-05-26 2020-09-15 南京邮电大学 基于关键帧采样的小样本深度学习多模态手语识别方法
CN111695507A (zh) * 2020-06-12 2020-09-22 桂林电子科技大学 一种基于改进VGGNet网络和PCA的静态手势识别方法
CN112560817A (zh) * 2021-02-22 2021-03-26 西南交通大学 人体动作识别方法、装置、电子设备及存储介质
CN112784658A (zh) * 2019-11-01 2021-05-11 纬创资通股份有限公司 基于原子姿势的动作识别方法及其***与电脑可读取记录媒体
CN112818859A (zh) * 2021-02-02 2021-05-18 电子科技大学 一种基于深度哈希的多级检索行人重识别方法
CN113313030A (zh) * 2021-05-31 2021-08-27 华南理工大学 基于运动趋势特征的人体行为识别方法
CN113326724A (zh) * 2021-02-07 2021-08-31 海南长光卫星信息技术有限公司 一种遥感影像变化检测方法、装置、设备及可读存储介质
CN113326835A (zh) * 2021-08-04 2021-08-31 中国科学院深圳先进技术研究院 一种动作检测方法、装置、终端设备和存储介质
CN113420719A (zh) * 2021-07-20 2021-09-21 北京百度网讯科技有限公司 生成动作捕捉数据的方法、装置、电子设备以及存储介质
CN113420612A (zh) * 2021-06-02 2021-09-21 深圳中集智能科技有限公司 基于机器视觉的生产节拍计算方法
WO2022012239A1 (en) * 2020-07-16 2022-01-20 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Action recognition method and related device, storage medium

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103384331A (zh) * 2013-07-19 2013-11-06 上海交通大学 基于光流一致性的视频帧间篡改检测方法
CN104469229A (zh) * 2014-11-18 2015-03-25 北京恒华伟业科技股份有限公司 视频数据存储方法和装置
CN105468755A (zh) * 2015-11-27 2016-04-06 东方网力科技股份有限公司 一种视频筛选存储方法和装置
US20160148391A1 (en) * 2013-06-12 2016-05-26 Agency For Science, Technology And Research Method and system for human motion recognition
CN105741853A (zh) * 2016-01-25 2016-07-06 西南交通大学 一种基于共振峰频率的数字语音感知哈希方法
CN105989611A (zh) * 2015-02-05 2016-10-05 南京理工大学 带有阴影去除的分块感知哈希跟踪方法
CN106203283A (zh) * 2016-06-30 2016-12-07 重庆理工大学 基于三维卷积深度神经网络和深度视频的动作识别方法
CN106331524A (zh) * 2016-08-18 2017-01-11 无锡天脉聚源传媒科技有限公司 一种识别镜头切换的方法及装置
CN106845351A (zh) * 2016-05-13 2017-06-13 苏州大学 一种用于视频的基于双向长短时记忆单元的行为识别方法
CN106937114A (zh) * 2015-12-30 2017-07-07 株式会社日立制作所 用于对视频场景切换进行检测的方法和装置
CN107169415A (zh) * 2017-04-13 2017-09-15 西安电子科技大学 基于卷积神经网络特征编码的人体动作识别方法
CN107403153A (zh) * 2017-07-20 2017-11-28 大连大学 一种基于卷积神经网络和哈希编码的掌纹图像识别方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160148391A1 (en) * 2013-06-12 2016-05-26 Agency For Science, Technology And Research Method and system for human motion recognition
CN103384331A (zh) * 2013-07-19 2013-11-06 上海交通大学 基于光流一致性的视频帧间篡改检测方法
CN104469229A (zh) * 2014-11-18 2015-03-25 北京恒华伟业科技股份有限公司 视频数据存储方法和装置
CN105989611A (zh) * 2015-02-05 2016-10-05 南京理工大学 带有阴影去除的分块感知哈希跟踪方法
CN105468755A (zh) * 2015-11-27 2016-04-06 东方网力科技股份有限公司 一种视频筛选存储方法和装置
CN106937114A (zh) * 2015-12-30 2017-07-07 株式会社日立制作所 用于对视频场景切换进行检测的方法和装置
CN105741853A (zh) * 2016-01-25 2016-07-06 西南交通大学 一种基于共振峰频率的数字语音感知哈希方法
CN106845351A (zh) * 2016-05-13 2017-06-13 苏州大学 一种用于视频的基于双向长短时记忆单元的行为识别方法
CN106203283A (zh) * 2016-06-30 2016-12-07 重庆理工大学 基于三维卷积深度神经网络和深度视频的动作识别方法
CN106331524A (zh) * 2016-08-18 2017-01-11 无锡天脉聚源传媒科技有限公司 一种识别镜头切换的方法及装置
CN107169415A (zh) * 2017-04-13 2017-09-15 西安电子科技大学 基于卷积神经网络特征编码的人体动作识别方法
CN107403153A (zh) * 2017-07-20 2017-11-28 大连大学 一种基于卷积神经网络和哈希编码的掌纹图像识别方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
GUIHEM CHERON 等: "P-CNN: Pose-based CNN Features for Action Recognition", 《2015 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 *
RANDAL E.BRYANT 等: "Computer Systems A Programmer’s Perspective", 《COMPUTER SYSTEMS A PROGRAMMER’S PERSPECTIVE》 *
XIUSHAN NIE 等: "Key-Frame Based Robust Video Hashing Using Isometric Feature Mapping", 《JOURNAL OF COMPUTATIONAL INFORMATION SYSTEMS》 *
彭天强 等: "基于深度卷积神经网络和二进制哈希学习的图像检索方法", 《电子与信息学报》 *
王欢: "基于哈希学习的动作捕捉数据的编码与检索", 《万方数据库》 *

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109086659A (zh) * 2018-06-13 2018-12-25 深圳市感动智能科技有限公司 一种基于多模道特征融合的人体行为识别方法和装置
CN109086659B (zh) * 2018-06-13 2023-01-31 深圳市感动智能科技有限公司 一种基于多模道特征融合的人体行为识别方法和装置
CN109255284A (zh) * 2018-07-10 2019-01-22 西安理工大学 一种基于运动轨迹的3d卷积神经网络的行为识别方法
CN108985223A (zh) * 2018-07-12 2018-12-11 天津艾思科尔科技有限公司 一种人体动作识别方法
CN108985223B (zh) * 2018-07-12 2024-05-07 天津艾思科尔科技有限公司 一种人体动作识别方法
CN108960207A (zh) * 2018-08-08 2018-12-07 广东工业大学 一种图像识别的方法、***及相关组件
CN108960207B (zh) * 2018-08-08 2021-05-11 广东工业大学 一种图像识别的方法、***及相关组件
CN111104837A (zh) * 2018-10-29 2020-05-05 联发科技股份有限公司 移动设备和相关视频编辑方法
CN109858406A (zh) * 2019-01-17 2019-06-07 西北大学 一种基于关节点信息的关键帧提取方法
CN109858406B (zh) * 2019-01-17 2023-04-07 西北大学 一种基于关节点信息的关键帧提取方法
CN109918537A (zh) * 2019-01-18 2019-06-21 杭州电子科技大学 一种基于HBase的船舶监控视频内容的快速检索方法
CN109918537B (zh) * 2019-01-18 2021-05-11 杭州电子科技大学 一种基于HBase的船舶监控视频内容的快速检索方法
CN109815921A (zh) * 2019-01-29 2019-05-28 北京融链科技有限公司 加氢站中活动类别的预测方法及装置
CN110096950B (zh) * 2019-03-20 2023-04-07 西北大学 一种基于关键帧的多特征融合行为识别方法
CN110096950A (zh) * 2019-03-20 2019-08-06 西北大学 一种基于关键帧的多特征融合行为识别方法
CN110163127A (zh) * 2019-05-07 2019-08-23 国网江西省电力有限公司检修分公司 一种由粗到细的视频目标行为识别方法
CN110135386A (zh) * 2019-05-24 2019-08-16 长沙学院 一种基于深度学习的人体动作识别方法和***
CN112784658A (zh) * 2019-11-01 2021-05-11 纬创资通股份有限公司 基于原子姿势的动作识别方法及其***与电脑可读取记录媒体
CN111324744A (zh) * 2020-02-17 2020-06-23 中山大学 一种基于目标情感分析数据集的数据增强方法
CN111324744B (zh) * 2020-02-17 2023-04-07 中山大学 一种基于目标情感分析数据集的数据增强方法
CN111666845A (zh) * 2020-05-26 2020-09-15 南京邮电大学 基于关键帧采样的小样本深度学习多模态手语识别方法
CN111695507A (zh) * 2020-06-12 2020-09-22 桂林电子科技大学 一种基于改进VGGNet网络和PCA的静态手势识别方法
CN111695507B (zh) * 2020-06-12 2022-08-16 桂林电子科技大学 一种基于改进VGGNet网络和PCA的静态手势识别方法
WO2022012239A1 (en) * 2020-07-16 2022-01-20 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Action recognition method and related device, storage medium
CN112818859A (zh) * 2021-02-02 2021-05-18 电子科技大学 一种基于深度哈希的多级检索行人重识别方法
CN113326724A (zh) * 2021-02-07 2021-08-31 海南长光卫星信息技术有限公司 一种遥感影像变化检测方法、装置、设备及可读存储介质
CN113326724B (zh) * 2021-02-07 2024-02-02 海南长光卫星信息技术有限公司 一种遥感影像变化检测方法、装置、设备及可读存储介质
CN112560817B (zh) * 2021-02-22 2021-07-06 西南交通大学 人体动作识别方法、装置、电子设备及存储介质
CN112560817A (zh) * 2021-02-22 2021-03-26 西南交通大学 人体动作识别方法、装置、电子设备及存储介质
CN113313030B (zh) * 2021-05-31 2023-02-14 华南理工大学 基于运动趋势特征的人体行为识别方法
CN113313030A (zh) * 2021-05-31 2021-08-27 华南理工大学 基于运动趋势特征的人体行为识别方法
CN113420612A (zh) * 2021-06-02 2021-09-21 深圳中集智能科技有限公司 基于机器视觉的生产节拍计算方法
CN113420612B (zh) * 2021-06-02 2022-03-18 深圳中集智能科技有限公司 基于机器视觉的生产节拍计算方法
CN113420719A (zh) * 2021-07-20 2021-09-21 北京百度网讯科技有限公司 生成动作捕捉数据的方法、装置、电子设备以及存储介质
CN113326835B (zh) * 2021-08-04 2021-10-29 中国科学院深圳先进技术研究院 一种动作检测方法、装置、终端设备和存储介质
CN113326835A (zh) * 2021-08-04 2021-08-31 中国科学院深圳先进技术研究院 一种动作检测方法、装置、终端设备和存储介质
WO2023010758A1 (zh) * 2021-08-04 2023-02-09 中国科学院深圳先进技术研究院 一种动作检测方法、装置、终端设备和存储介质

Similar Documents

Publication Publication Date Title
CN108108699A (zh) 融合深度神经网络模型和二进制哈希的人体动作识别方法
Tu et al. Edge-guided non-local fully convolutional network for salient object detection
CN110956185B (zh) 一种图像显著目标的检测方法
CN104143079B (zh) 人脸属性识别的方法和***
CN108648191B (zh) 基于贝叶斯宽度残差神经网络的害虫图像识别方法
CN109523463A (zh) 一种基于条件生成对抗网络的人脸老化方法
CN109615582A (zh) 一种基于属性描述生成对抗网络的人脸图像超分辨率重建方法
CN106919951A (zh) 一种基于点击与视觉融合的弱监督双线性深度学习方法
CN107066973A (zh) 一种利用时空注意力模型的视频内容描述方法
CN109325443A (zh) 一种基于多实例多标签深度迁移学习的人脸属性识别方法
CN105160310A (zh) 基于3d卷积神经网络的人体行为识别方法
CN108108674A (zh) 一种基于关节点分析的行人再识别方法
CN108520213B (zh) 一种基于多尺度深度的人脸美丽预测方法
Rao et al. Sign Language Recognition System Simulated for Video Captured with Smart Phone Front Camera.
CN104077742B (zh) 基于Gabor特征的人脸素描合成方法及***
CN109635812B (zh) 图像的实例分割方法及装置
CN104298974A (zh) 一种基于深度视频序列的人体行为识别方法
CN107527054B (zh) 基于多视角融合的前景自动提取方法
CN103336835B (zh) 基于权值color‑sift特征字典的图像检索方法
CN111062329B (zh) 基于增广网络的无监督行人重识别方法
CN110378208A (zh) 一种基于深度残差网络的行为识别方法
CN110490109A (zh) 一种基于单目视觉的在线人体康复动作识别方法
Gan et al. Facial beauty prediction based on lighted deep convolution neural network with feature extraction strengthened
CN107463954A (zh) 一种模糊异谱图像的模板匹配识别方法
CN106529586A (zh) 基于补充文本特征的图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180601

WD01 Invention patent application deemed withdrawn after publication