CN107688391A - 一种基于单目视觉的手势识别方法和装置 - Google Patents

一种基于单目视觉的手势识别方法和装置 Download PDF

Info

Publication number
CN107688391A
CN107688391A CN201710780344.2A CN201710780344A CN107688391A CN 107688391 A CN107688391 A CN 107688391A CN 201710780344 A CN201710780344 A CN 201710780344A CN 107688391 A CN107688391 A CN 107688391A
Authority
CN
China
Prior art keywords
gesture
depth image
vector
hand
monocular
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710780344.2A
Other languages
English (en)
Other versions
CN107688391B (zh
Inventor
綦科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou University
Original Assignee
Guangzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou University filed Critical Guangzhou University
Priority to CN201710780344.2A priority Critical patent/CN107688391B/zh
Publication of CN107688391A publication Critical patent/CN107688391A/zh
Application granted granted Critical
Publication of CN107688391B publication Critical patent/CN107688391B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供了一种基于单目视觉的手势识别方法及装置，方法包括：通过沿导轨做往复运动的单目摄像装置采集不同位置的图像序列；将单目摄像装置移动时采集的不同位置的图像序列，应用运动三角测量原理，求解单目摄像装置的运动，计算像素的空间位置，生成深度图像视频序列；对深度图像视频序列中的每一帧深度图像进行手部分割处理，获得手部深度图像视频序列；根据预先建立的手势识别深度学习模型，对手部深度图像视频序列进行处理，获得每一帧的手势特征向量；根据每一帧的手势特征向量，进行静态手势识别和动态手势识别；通过单目摄像头移动方式生成的手部深度图像视频序列，应用手势识别深度学习模型提取手势特征，有效提高手势识别的准确率。

Description

一种基于单目视觉的手势识别方法和装置
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种基于单目视觉的手势识别方法和装置。
背景技术
手势识别在人机交互、游戏娱乐、车载应用等方面有着广泛的应用。手势识别装置以视觉、红外、雷达等方式感知手势环境，其中视觉感知方式的应用最为普遍。传统的视觉手势识别以单目或双目摄像头采集图像，然后进行手势特征提取和手势分类识别。
但是，由于手势本身具有的复杂多变性、手的高纬度和多自由度等特性，单目摄像头采集的手势图像不具备深度信息，后续的手势特征提取一般通过肤色进行手势分割，易受个体差异、光照、背景等影响，因此单目视觉手势识别准确率较低和普适性较差；而双目摄像头设备，例如微软公司的3D体感设备ki nect，虽然可以获取图像的深度信息用于手势识别，但不足在于需要特殊的视频采集设备来获取手势图像和深度信息，且设备成本较高。
在视觉手势特征提取方面，传统的视觉特征提取手势的几何特征，包括手型、手部质心位置、矩特征、尺度不变特征等，用于满足旋转、平移和尺度不变性的需求，因此这类人工构造的特征需要大量的先验知识，且可构造的特征非常有限，从而限制了手势识别准确率。
发明内容
本发明的目的在于针对上述现有技术中的单目视觉手势识别准确率较低和普适性较差的问题，提出一种基于单目视觉的手势识别方法和装置，能够有效提高手势识别的准确率和普适性。
一种基于单目视觉的手势识别方法，包括：
通过沿导轨做往复运动的单目摄像装置采集不同位置的图像序列；
将单目摄像装置移动时采集的不同位置的图像序列，应用运动三角测量原理，求解单目摄像装置的运动，计算像素的空间位置，生成深度图像视频序列；
对所述深度图像视频序列中的每一帧深度图像进行手部分割处理，获得手部深度图像视频序列；
根据预先建立的手势识别深度学习模型，对所述手部深度图像视频序列进行处理，获得每一帧的手势特征向量；
根据所述每一帧的手势特征向量，进行静态手势识别和动态手势识别。
进一步地，所述单目摄像装置沿导轨做往复运动时，按照预设时间间隔或者预设距离间隔采集图像序列。
进一步地，所述手势识别深度学习模型为21关节点手部模型，或者多层卷积神经网络模型、或者深度残差网络模型、或者对抗神经网络模型、或者混合神经网络模型，或者26自由度手部模型。
进一步地，根据所述每一帧的手势特征向量，进行静态手势识别，包括：
对所述手势特征向量进行量化，获得单帧离散特征向量；
根据所述单帧离散特征向量对静态手势分类器进行训练，获得静态手势分类器参数；
采用经训练后的静态手势分类器，对所述单帧离散特征向量进行分类判别，输出手势识别结果。
进一步地，根据所述每一帧的手势特征向量，进行动态手势识别，包括：
将每个动态手势动作用T帧表示；
对T帧手势特征向量进行量化，获得T帧离散特征向量；
根据所述T帧离散特征向量对动态手势分类器进行训练，获得动态手势分类器参数；
采用经训练后的动态手势分类器，对所述T帧离散特征向量进行分类判别，输出手势识别结果。
一种基于单目视觉的手势识别装置，包括单目摄像装置、导轨以及控制装置；
所述单目摄像装置沿导轨做往复运动；
所述单目摄像装置用于采集不同位置的图像序列；
所述控制装置用于将单目摄像装置移动时采集的不同位置的图像序列，应用运动三角测量原理，求解单目摄像装置的运动，计算像素的空间位置，生成深度图像视频序列，对所述深度图像视频序列中的每一帧深度图像进行手部分割处理，获得手部深度图像视频序列，根据预先建立的手势识别深度学习模型，对所述手部深度图像视频序列进行处理，获得每一帧的手势特征向量，根据所述每一帧的手势特征向量，进行静态手势识别和动态手势识别。
进一步地，所述控制装置包括静态手势分类器，用于对所述手势特征向量进行量化，获得单帧离散特征向量，根据所述单帧离散特征向量进行训练，获得静态手势分类器参数；
训练后的静态手势分类器用于对所述单帧离散特征向量进行分类判别，输出手势识别结果。
进一步地，所述控制装置还包括动态手势分类器，用于将每个动态手势动作用T帧表示，对T帧手势特征向量进行量化，获得T帧离散特征向量，根据所述T帧离散特征向量进行训练，获得动态手势分类器参数；
训练后的动态手势分类器用于对所述T帧离散特征向量进行分类判别，输出手势识别结果。
进一步地，所述静态手势分类器为支持向量机分类器，或者神经网络分类器，或者集成分类器。
进一步地，所述动态手势分类器为隐马尔科夫分类器，或者神经网络分类器。
本发明提供的基于单目视觉的手势识别方法和装置，至少包括如下有益效果：
(1)通过单目摄像头移动方式生成的手部深度图像视频序列，应用手势识别深度学习模型提取手势特征，有效提高手势识别的准确率；
(2)采用运动三角原理生成深度图像视频序列，准确度高，可靠性强；
(3)装置结构简单，成本低。
附图说明
图1为本发明提供的基于单目视觉的手势识别方法一种实施例的流程图。
图2为本发明提供的基于单目视觉的手势识别方法中单目摄像装置按照预设时间间隔采集图像序列一种实施例的示意图。
图3为本发明提供的基于单目视觉的手势识别方法中单目摄像装置按照预设距离间隔采集图像序列一种实施例的示意图。
图4为本发明提供的基于单目视觉的手势识别方法中应用运动三角测量原理生成深度图像视频序列一种实施例的示意图。
图5为本发明提供的基于单目视觉的手势识别方法中21关节点手部模型一种实施例的示意图。
图6为本发明提供的基于单目视觉的手势识别方法中多层卷积神经网络模型一种实施例的示意图。
图7为本发明提供的基于单目视觉的手势识别方法中26自由度手部模型一种实施例的示意图。
图8为本发明提供的基于单目视觉的手势识别方法另一种实施例的流程图。
图9为本发明提供的基于单目视觉的手势识别装置一种实施例的结构示意图。
具体实施方式
为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
实施例一
参考图1，本实施例提供一种基于单目视觉的手势识别方法，包括：
步骤S101，通过沿导轨做往复运动的单目摄像装置采集不同位置的图像序列；
步骤S102，将单目摄像装置移动时采集的不同位置的图像序列，应用运动三角测量原理，求解单目摄像装置的运动，计算像素的空间位置，生成深度图像视频序列；
步骤S103，对所述深度图像视频序列中的每一帧深度图像进行手部分割处理，获得手部深度图像视频序列；
步骤S104，根据预先建立的手势识别深度学习模型，对所述手部深度图像视频序列进行处理，获得每一帧的手势特征向量；
步骤S105，根据所述每一帧的手势特征向量，进行静态手势识别和动态手势识别。
本实施例提供的基于单目视觉的手势识别方法，通过单目摄像头移动方式生成的手部深度图像视频序列，应用手势识别深度学习模型提取手势特征，有效提高手势识别的准确率。
进一步地，所述单目摄像装置沿导轨做往复运动时，按照预设时间间隔或者预设距离间隔采集图像序列。
参考图2，单目摄像装置101沿导轨102运动，按照预设时间间隔T0、T1、T2、T3、T4的先后顺序拍摄，获得图像序列。
此外，参考图3，还可以按照预设距离间隔采集图像序列，单目摄像装置101沿导轨102运动，按照A->B->C->B->A的位置进行拍摄。
进一步地，将不同位置的图像序列应用运动三角测量原理，求解单目摄像装置的运动，计算像素的空间位置，生成深度图像视频序列。
具体地，参考图4，以三维空间中一点P为例，C0、C1是不同位置的摄像机的光心，点P在不同位置拍摄的两幅图像中的位置分别为P0、P1，由于C0、C1、P三点共面，可根据向量方程求解P点空间坐标，从而得到P点的深度信息。
采用运动三角原理生成深度图像视频序列，准确度高，可靠性强。
进一步地，对每一帧深度图像进行手部分割，获得手部深度图像视频序列。
进一步地，以手部深度图像视频序列为输入，应用预先建立的手势识别深度学习模型，可以获得每一帧的手势特征向量。
所述手势识别深度学习模型为21关节点手部模型，或者多层卷积神经网络模型、或者深度残差网络模型、或者对抗神经网络模型、或者混合神经网络模型，或者26自由度手部模型。
21关节点手部模型(J＝21)的模型示意图如图5所示；参考图6，使用多层卷积神经网络模型，输出3*J维手势特征向量，其中，每个关节点特征向量为3维空间坐标(x,y,z)；26自由度手部模型示意图如图7所示。
进一步地，参考图8，如果进行静态手势识别，则对所述手势特征向量进行量化，获得单帧离散特征向量；根据所述单帧离散特征向量对静态手势分类器进行训练，获得静态手势分类器参数；采用经训练后的静态手势分类器，对所述单帧离散特征向量进行分类判别，输出手势识别结果。
进一步地，如果进行动态手势识别，则将每个动态手势动作用T帧表示；对T帧手势特征向量进行量化，获得T帧离散特征向量；根据所述T帧离散特征向量对动态手势分类器进行训练，获得动态手势分类器参数；采用经训练后的动态手势分类器，对所述T帧离散特征向量进行分类判别，输出手势识别结果。
本实施例提供的基于单目视觉的手势识别方法，通过单目摄像头移动方式生成的手部深度图像视频序列，应用手势识别深度学习模型提取手势特征，有效提高手势识别的准确率，采用运动三角原理生成深度图像视频序列，准确度高，可靠性强。
实施例二
参考图9，本实施例提供一种基于单目视觉的手势识别装置，包括单目摄像装置201、导轨202以及控制装置203；
单目摄像装置201沿导轨202做往复运动；
单目摄像装置201用于采集不同位置的图像序列；
控制装置203用于将单目摄像装置移动时采集的不同位置的图像序列，应用运动三角测量原理，求解单目摄像装置的运动，计算像素的空间位置，生成深度图像视频序列，对所述深度图像视频序列中的每一帧深度图像进行手部分割处理，获得手部深度图像视频序列，根据预先建立的手势识别深度学习模型，对所述手部深度图像视频序列进行处理，获得每一帧的手势特征向量，根据所述每一帧的手势特征向量，进行静态手势识别和动态手势识别。
单目摄像装置201优选为单目摄像头，单目摄像装置201将采集的图像序列发送至控制装置203。
单目摄像装置沿导轨做往复运动时，按照预设时间间隔或者预设距离间隔采集图像序列。
控制装置203用于将不同位置的图像序列应用运动三角测量原理，求解单目摄像装置的运动，计算像素的空间位置，生成深度图像视频序列。
进一步地，控制装置203还用于对所述深度图像视频序列中的每一帧深度图像进行手部分割处理，获得手部深度图像视频序列。
进一步地，控制装置203还用于根据预先建立的手势识别深度学习模型，对所述手部深度图像视频序列进行处理，获得每一帧的手势特征向量。
进一步地，控制装置203包括静态手势分类器2031，用于对所述手势特征向量进行量化，获得单帧离散特征向量，根据所述单帧离散特征向量进行训练，获得静态手势分类器参数；训练后的静态手势分类器用于对所述单帧离散特征向量进行分类判别，输出手势识别结果。
进一步地，控制装置203还包括动态手势分类器2032，用于将每个动态手势动作用T帧表示，对T帧手势特征向量进行量化，获得T帧离散特征向量，根据所述T帧离散特征向量进行训练，获得动态手势分类器参数；训练后的动态手势分类器用于对所述T帧离散特征向量进行分类判别，输出手势识别结果。
进一步地，静态手势分类器2031为支持向量机分类器，或者神经网络分类器，或者集成分类器；
动态手势分类器2032为隐马尔科夫分类器，或者神经网络分类器。
本实施例提供的基于单目视觉的手势识别装置，通过单目摄像头移动方式生成的手部深度图像视频序列，应用手势识别深度学习模型提取手势特征，有效提高手势识别的准确率，采用运动三角原理生成深度图像视频序列，准确度高，可靠性强，装置结构简单，成本低。
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种基于单目视觉的手势识别方法，其特征在于，包括：
通过沿导轨做往复运动的单目摄像装置采集不同位置的图像序列；
将单目摄像装置移动时采集的不同位置的图像序列，应用运动三角测量原理，求解单目摄像装置的运动，计算像素的空间位置，生成深度图像视频序列；
对所述深度图像视频序列中的每一帧深度图像进行手部分割处理，获得手部深度图像视频序列；
根据预先建立的手势识别深度学习模型，对所述手部深度图像视频序列进行处理，获得每一帧的手势特征向量；
根据所述每一帧的手势特征向量，进行静态手势识别和动态手势识别。
2.根据权利要求1所述的基于单目视觉的手势识别方法，其特征在于，所述单目摄像装置沿导轨做往复运动时，按照预设时间间隔或者预设距离间隔采集图像序列。
3.根据权利要求1所述的基于单目视觉的手势识别方法，其特征在于，所述手势识别深度学习模型为21关节点手部模型，或者多层卷积神经网络模型、或者深度残差网络模型、或者对抗神经网络模型、或者混合神经网络模型，或者26自由度手部模型。
4.根据权利要求1所述的基于单目视觉的手势识别方法，其特征在于，根据所述每一帧的手势特征向量，进行静态手势识别，包括：
对所述手势特征向量进行量化，获得单帧离散特征向量；
根据所述单帧离散特征向量对静态手势分类器进行训练，获得静态手势分类器参数；
采用经训练后的静态手势分类器，对所述单帧离散特征向量进行分类判别，输出手势识别结果。
5.根据权利要求1所述的基于单目视觉的手势识别方法，其特征在于，根据所述每一帧的手势特征向量，进行动态手势识别，包括：
将每个动态手势动作用T帧表示；
对T帧手势特征向量进行量化，获得T帧离散特征向量；
根据所述T帧离散特征向量对动态手势分类器进行训练，获得动态手势分类器参数；
采用经训练后的动态手势分类器，对所述T帧离散特征向量进行分类判别，输出手势识别结果。
6.一种基于单目视觉的手势识别装置，其特征在于，包括单目摄像装置、导轨以及控制装置；
所述单目摄像装置沿导轨做往复运动；
所述单目摄像装置用于采集不同位置的图像序列；
所述控制装置用于将单目摄像装置移动时采集的不同位置的图像序列，应用运动三角测量原理，求解单目摄像装置的运动，计算像素的空间位置，生成深度图像视频序列，对所述深度图像视频序列中的每一帧深度图像进行手部分割处理，获得手部深度图像视频序列，根据预先建立的手势识别深度学习模型，对所述手部深度图像视频序列进行处理，获得每一帧的手势特征向量，根据所述每一帧的手势特征向量，进行静态手势识别和动态手势识别。
7.根据权利要求6所述的基于单目视觉的手势识别装置，其特征在于，所述控制装置包括静态手势分类器，用于对所述手势特征向量进行量化，获得单帧离散特征向量，根据所述单帧离散特征向量进行训练，获得静态手势分类器参数；
训练后的静态手势分类器用于对所述单帧离散特征向量进行分类判别，输出手势识别结果。
8.根据权利要求6所述的基于单目视觉的手势识别装置，其特征在于，所述控制装置还包括动态手势分类器，用于将每个动态手势动作用T帧表示，对T帧手势特征向量进行量化，获得T帧离散特征向量，根据所述T帧离散特征向量进行训练，获得动态手势分类器参数；
训练后的动态手势分类器用于对所述T帧离散特征向量进行分类判别，输出手势识别结果。
9.根据权利要求7所述的基于单目视觉的手势识别装置，其特征在于，所述静态手势分类器为支持向量机分类器，或者神经网络分类器，或者集成分类器。
10.根据权利要求8所述的基于单目视觉的手势识别装置，其特征在于，所述动态手势分类器为隐马尔科夫分类器，或者神经网络分类器。
CN201710780344.2A 2017-09-01 2017-09-01 一种基于单目视觉的手势识别方法和装置 Active CN107688391B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710780344.2A CN107688391B (zh) 2017-09-01 2017-09-01 一种基于单目视觉的手势识别方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710780344.2A CN107688391B (zh) 2017-09-01 2017-09-01 一种基于单目视觉的手势识别方法和装置

Publications (2)

Publication Number Publication Date
CN107688391A true CN107688391A (zh) 2018-02-13
CN107688391B CN107688391B (zh) 2020-09-04

Family

ID=61155920

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710780344.2A Active CN107688391B (zh) 2017-09-01 2017-09-01 一种基于单目视觉的手势识别方法和装置

Country Status (1)

Country Link
CN (1) CN107688391B (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108491767A (zh) * 2018-03-06 2018-09-04 北京因时机器人科技有限公司 基于在线视频感知的自主滚动响应方法、***和机械手
CN108629272A (zh) * 2018-03-16 2018-10-09 上海灵至科技有限公司 一种基于单目摄像头的嵌入式手势控制方法及***
CN108664877A (zh) * 2018-03-09 2018-10-16 北京理工大学 一种基于三维深度数据的动态手势识别方法
CN108734194A (zh) * 2018-04-09 2018-11-02 浙江工业大学 一种面向虚拟现实的基于单深度图的人体关节点识别方法
CN108803874A (zh) * 2018-05-30 2018-11-13 广东省智能制造研究所 一种基于机器视觉的人机行为交互方法
CN108960163A (zh) * 2018-07-10 2018-12-07 亮风台（上海）信息科技有限公司 手势识别方法、装置、设备和存储介质
CN109034012A (zh) * 2018-07-09 2018-12-18 四川大学 基于动态图像和视频子序列的第一人称视角手势识别方法
CN109086737A (zh) * 2018-08-21 2018-12-25 武汉恒视途安科技有限公司 基于卷积神经网络的航运货物监控视频识别方法及***
CN109117786A (zh) * 2018-08-09 2019-01-01 百度在线网络技术（北京）有限公司 基于神经网络模型的数据处理方法、装置及可读存储介质
CN109117766A (zh) * 2018-07-30 2019-01-01 上海斐讯数据通信技术有限公司 一种动态手势识别方法及***
CN109409236A (zh) * 2018-09-28 2019-03-01 江苏理工学院 三维静态手势识别方法和装置
CN109446952A (zh) * 2018-10-16 2019-03-08 赵笑婷 一种钢琴监督方法、装置、计算机设备及存储介质
CN109753150A (zh) * 2018-12-11 2019-05-14 北京字节跳动网络技术有限公司 人物动作控制方法、装置、存储介质和电子设备
CN109961005A (zh) * 2019-01-28 2019-07-02 山东大学 一种基于二维卷积网络的动态手势识别方法及***
CN110134241A (zh) * 2019-05-16 2019-08-16 珠海华园信息技术有限公司 基于单目摄像头的动态手势交互方法
CN111124107A (zh) * 2019-11-14 2020-05-08 清华大学 手与物体复杂交互场景重建方法及装置
CN111222486A (zh) * 2020-01-15 2020-06-02 腾讯科技（深圳）有限公司 手部姿态识别模型的训练方法、装置、设备及存储介质
CN111258430A (zh) * 2020-01-21 2020-06-09 哈尔滨拓博科技有限公司 一种基于单目手势控制的桌面交互***
CN111341013A (zh) * 2020-02-10 2020-06-26 北京每日优鲜电子商务有限公司 智能售货机的移动方法、装置、设备及存储介质
CN111381676A (zh) * 2020-03-17 2020-07-07 哈尔滨拓博科技有限公司 一种tof传感器及单目摄像头融合手势识别装置及手势识别方法
CN113269089A (zh) * 2021-05-25 2021-08-17 上海人工智能研究院有限公司 基于深度学习的实时手势识别方法及***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102168954A (zh) * 2011-01-14 2011-08-31 浙江大学 基于单目摄像机的深度、深度场及物体大小的测量方法
CN103530613A (zh) * 2013-10-15 2014-01-22 无锡易视腾科技有限公司 一种基于单目视频序列的目标人手势交互方法
CN103593680A (zh) * 2013-11-19 2014-02-19 南京大学 一种基于隐马尔科夫模型自增量学习的动态手势识别方法
CN104700088A (zh) * 2015-03-23 2015-06-10 南京航空航天大学 一种基于单目视觉移动拍摄下的手势轨迹识别方法
US20170161607A1 (en) * 2015-12-04 2017-06-08 Pilot Ai Labs, Inc. System and method for improved gesture recognition using neural networks
CN106934333A (zh) * 2015-12-31 2017-07-07 芋头科技（杭州）有限公司 一种手势识别方法及***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102168954A (zh) * 2011-01-14 2011-08-31 浙江大学 基于单目摄像机的深度、深度场及物体大小的测量方法
CN103530613A (zh) * 2013-10-15 2014-01-22 无锡易视腾科技有限公司 一种基于单目视频序列的目标人手势交互方法
CN103593680A (zh) * 2013-11-19 2014-02-19 南京大学 一种基于隐马尔科夫模型自增量学习的动态手势识别方法
CN104700088A (zh) * 2015-03-23 2015-06-10 南京航空航天大学 一种基于单目视觉移动拍摄下的手势轨迹识别方法
US20170161607A1 (en) * 2015-12-04 2017-06-08 Pilot Ai Labs, Inc. System and method for improved gesture recognition using neural networks
CN106934333A (zh) * 2015-12-31 2017-07-07 芋头科技（杭州）有限公司 一种手势识别方法及***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
何立新等: "单目图像内静态物体深度的自动测量方法", 《武汉大学学报 信息科学版》 *
陈祖雪: "基于深度卷积神经网络的手势识别研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108491767A (zh) * 2018-03-06 2018-09-04 北京因时机器人科技有限公司 基于在线视频感知的自主滚动响应方法、***和机械手
CN108491767B (zh) * 2018-03-06 2022-08-09 北京因时机器人科技有限公司 基于在线视频感知的自主滚动响应方法、***和机械手
CN108664877A (zh) * 2018-03-09 2018-10-16 北京理工大学 一种基于三维深度数据的动态手势识别方法
CN108629272A (zh) * 2018-03-16 2018-10-09 上海灵至科技有限公司 一种基于单目摄像头的嵌入式手势控制方法及***
CN108734194B (zh) * 2018-04-09 2021-08-03 浙江工业大学 一种面向虚拟现实的基于单深度图的人体关节点识别方法
CN108734194A (zh) * 2018-04-09 2018-11-02 浙江工业大学 一种面向虚拟现实的基于单深度图的人体关节点识别方法
CN108803874A (zh) * 2018-05-30 2018-11-13 广东省智能制造研究所 一种基于机器视觉的人机行为交互方法
CN109034012A (zh) * 2018-07-09 2018-12-18 四川大学 基于动态图像和视频子序列的第一人称视角手势识别方法
CN108960163A (zh) * 2018-07-10 2018-12-07 亮风台（上海）信息科技有限公司 手势识别方法、装置、设备和存储介质
CN109117766A (zh) * 2018-07-30 2019-01-01 上海斐讯数据通信技术有限公司 一种动态手势识别方法及***
CN109117786A (zh) * 2018-08-09 2019-01-01 百度在线网络技术（北京）有限公司 基于神经网络模型的数据处理方法、装置及可读存储介质
CN109117786B (zh) * 2018-08-09 2021-11-30 百度在线网络技术（北京）有限公司 基于神经网络模型的数据处理方法、装置及可读存储介质
CN109086737A (zh) * 2018-08-21 2018-12-25 武汉恒视途安科技有限公司 基于卷积神经网络的航运货物监控视频识别方法及***
CN109086737B (zh) * 2018-08-21 2021-11-02 武汉恒视途安科技有限公司 基于卷积神经网络的航运货物监控视频识别方法及***
CN109409236B (zh) * 2018-09-28 2020-12-08 江苏理工学院 三维静态手势识别方法和装置
CN109409236A (zh) * 2018-09-28 2019-03-01 江苏理工学院 三维静态手势识别方法和装置
CN109446952A (zh) * 2018-10-16 2019-03-08 赵笑婷 一种钢琴监督方法、装置、计算机设备及存储介质
CN109753150A (zh) * 2018-12-11 2019-05-14 北京字节跳动网络技术有限公司 人物动作控制方法、装置、存储介质和电子设备
CN109961005A (zh) * 2019-01-28 2019-07-02 山东大学 一种基于二维卷积网络的动态手势识别方法及***
CN109961005B (zh) * 2019-01-28 2021-08-31 山东大学 一种基于二维卷积网络的动态手势识别方法及***
CN110134241A (zh) * 2019-05-16 2019-08-16 珠海华园信息技术有限公司 基于单目摄像头的动态手势交互方法
CN111124107A (zh) * 2019-11-14 2020-05-08 清华大学 手与物体复杂交互场景重建方法及装置
CN111222486A (zh) * 2020-01-15 2020-06-02 腾讯科技（深圳）有限公司 手部姿态识别模型的训练方法、装置、设备及存储介质
CN111222486B (zh) * 2020-01-15 2022-11-04 腾讯科技（深圳）有限公司 手部姿态识别模型的训练方法、装置、设备及存储介质
CN111258430A (zh) * 2020-01-21 2020-06-09 哈尔滨拓博科技有限公司 一种基于单目手势控制的桌面交互***
CN111341013A (zh) * 2020-02-10 2020-06-26 北京每日优鲜电子商务有限公司 智能售货机的移动方法、装置、设备及存储介质
CN111381676A (zh) * 2020-03-17 2020-07-07 哈尔滨拓博科技有限公司 一种tof传感器及单目摄像头融合手势识别装置及手势识别方法
CN113269089A (zh) * 2021-05-25 2021-08-17 上海人工智能研究院有限公司 基于深度学习的实时手势识别方法及***
CN113269089B (zh) * 2021-05-25 2023-07-18 上海人工智能研究院有限公司 基于深度学习的实时手势识别方法及***

Also Published As

Publication number Publication date
CN107688391B (zh) 2020-09-04

Similar Documents

Publication Publication Date Title
CN107688391A (zh) 一种基于单目视觉的手势识别方法和装置
CN104317391B (zh) 一种基于立体视觉的三维手掌姿态识别交互方法和***
CN109255813B (zh) 一种面向人机协作的手持物***姿实时检测方法
KR102437456B1 (ko) 이벤트 카메라-기반 변형가능 물체 추적
Li et al. Joint distance maps based action recognition with convolutional neural networks
CN105389539B (zh) 一种基于深度数据的三维手势姿态估计方法及***
Suarez et al. Hand gesture recognition with depth images: A review
Hasan et al. RETRACTED ARTICLE: Static hand gesture recognition using neural networks
CN100407798C (zh) 三维几何建模***和方法
Ren et al. Depth camera based hand gesture recognition and its applications in human-computer-interaction
CN107357427A (zh) 一种用于虚拟现实设备的手势识别控制方法
Yang et al. Hand gesture recognition: An overview
Kulshreshth et al. Poster: Real-time markerless kinect based finger tracking and hand gesture recognition for HCI
dos Santos Anjo et al. A real-time system to recognize static gestures of Brazilian sign language (libras) alphabet using Kinect.
JP2019096113A (ja) キーポイントデータに関する加工装置、方法及びプログラム
CN110751097B (zh) 一种半监督的三维点云手势关键点检测方法
JP2018119833A (ja) 情報処理装置、システム、推定方法、コンピュータプログラム、及び記憶媒体
CN110135277B (zh) 一种基于卷积神经网络的人体行为识别方法
US10803604B1 (en) Layered motion representation and extraction in monocular still camera videos
Amrutha et al. Human Body Pose Estimation and Applications
Jiang et al. independent hand gesture recognition with Kinect
WO2016070800A1 (zh) 移动设备的虚拟球模拟及控制的方法
Amaliya et al. Study on hand keypoint framework for sign language recognition
Cao et al. Human posture recognition using skeleton and depth information
CN113807287B (zh) 一种3d结构光人脸识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant