CN110858277A - 一种获得姿态分类模型的方法以及装置 - Google Patents

一种获得姿态分类模型的方法以及装置 Download PDF

Info

Publication number
CN110858277A
CN110858277A CN201810958437.4A CN201810958437A CN110858277A CN 110858277 A CN110858277 A CN 110858277A CN 201810958437 A CN201810958437 A CN 201810958437A CN 110858277 A CN110858277 A CN 110858277A
Authority
CN
China
Prior art keywords
image
posture
gesture
preset
classification model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810958437.4A
Other languages
English (en)
Inventor
邵长东
姚迪狄
吴志华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201810958437.4A priority Critical patent/CN110858277A/zh
Publication of CN110858277A publication Critical patent/CN110858277A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种获得姿态分类模型的方法以及装置，该方法包括如下步骤：通过关键点检测模型对包含预定姿态的图像进行姿态识别，获得所述包含预定姿态的图像的姿态标签；根据所述包含预定姿态的图像和所述姿态标签进行模型训练，获得姿态分类模型。使用本方法所获得的姿态分类模型，其网络结构更为简单，对计算资源的要求较低，可实时运行于移动设备上；该姿态分类模型对人体姿态的识别过程仅为姿态识别匹配的过程，无需进行人体骨骼关键点检测，识别过程简单，识别效率高，减少了对单帧图像的处理时间。

Description

一种获得姿态分类模型的方法以及装置
技术领域
本申请涉及计算机视觉领域，具体涉及一种获得姿态分类模型的方法。本申请同时涉及一种获得姿态分类模型的装置以及一种电子设备。本申请还涉及一种姿态识别方法、一种姿态识别装置以及一种电子设备。本申请另外涉及一种姿态识别方法、一种姿态识别装置以及一种电子设备。
背景技术
随着技术的进步和市场的发展，基于计算机视觉的智能设备得到广泛应用，例如，各种监控设备和智能游戏设备等，该类设备需对目标对象的姿态信息进行准确分析和识别，以此达到监控目标对象、或者与目标对象进行交互的目的。
现阶段，人体姿态识别是计算机视觉领域的重要研究方向，广泛应用于体感游戏的输入、跌倒检测、身份识别、智能设备的控制等场景，其实质为人体关键点的定位。
目前，主流的姿态识别模型为基于骨骼关键点的姿态识别模型，如AlphaPose、OpenPose等，其模型复杂、计算资源要求高，在移动设备上很难以较高的帧率(如24FPS以上帧率)实时运行，以OpenPose为例，算法模型大小200M以上，在移动设备上运行时，即使在功能强大的图形处理器的支持下也仅能以较低帧率运行，无法保证姿态识别的实时性；并且，上述基于骨骼关键点的姿态识别模型对人体姿态的识别过程需经历骨骼关键点检测和姿态识别匹配两个过程，识别过程复杂、识别效率较低。
发明内容
本申请提供一种获得姿态分类模型的方法，以解决现有的在移动设备上无法保证姿态识别的实时性、以及基于骨骼关键点的姿态识别模型识别过程复杂、识别效率较低的问题。本申请另外提供一种获得姿态分类模型的装置以及一种电子设备。本申请还提供一种姿态识别方法、一种姿态识别装置以及一种电子设备。本申请另外提供一种姿态识别方法、一种姿态识别装置以及一种电子设备。
本申请提供一种获得姿态分类模型的方法，包括：
通过关键点检测模型对包含预定姿态的图像进行姿态识别，获得所述包含预定姿态的图像的姿态标签；
根据所述包含预定姿态的图像和所述姿态标签进行模型训练，获得姿态分类模型。
可选的，所述根据所述包含预定姿态的图像和所述姿态标签进行模型训练，包括：
对所述包含预定姿态的图像进行特征化处理，获得所述包含预定姿态的图像的姿态特征；
将所述姿态特征和所述姿态标签作为训练样本，对预定分类模型进行模型训练。
可选的，所述预定分类模型为训练完成的图像分类模型，所述将所述姿态特征和所述姿态标签作为训练样本，对预定分类模型进行模型训练，包括：
根据所述训练样本对所述训练完成的图像分类模型进行迁移学习，获得姿态分类模型。
可选的，所述对所述包含预定姿态的图像进行特征化处理，包括：
将所述包含预定姿态的图像转换为YUV图像；
基于所述YUV图像的Y分量数据提取运动目标，获得所述YUV图像包含的轮廓数据；
对所述YUV图像包含的轮廓数据进行归一化处理，获得姿态特征。
可选的，所述基于所述YUV图像的Y分量数据提取运动目标，包括：
基于所述YUV图像的Y分量数据，通过帧间差分算法提取运动目标；或者，
基于所述YUV图像的Y分量数据，通过背景差分算法提取运动目标；或者，
基于所述YUV图像的Y分量数据，通过光流法提取运动目标。
可选的，所述通过关键点检测模型对包含预定姿态的图像进行姿态识别，包括：
通过关键点检测模型对所述包含预定姿态的图像进行关键点检测，获得所述包含预定姿态的图像中的关键点；
通过动作匹配算法对所述关键点进行姿态识别，获得所述包含预定姿态的图像的姿态标签。
本申请还提供一种姿态识别方法，包括：
获取需进行姿态识别的待识别图像；
通过姿态分类模型对所述待识别图像进行姿态分类，获得所述待识别图像的姿态分类结果；
其中，所述姿态分类模型通过如下方式获得：
通过关键点检测模型对包含预定姿态的图像进行姿态识别，获得所述包含预定姿态的图像的姿态标签；
根据所述包含预定姿态的图像和所述姿态标签进行模型训练，获得姿态分类模型。
可选的，所述通过姿态分类模型对所述待识别图像进行姿态分类，包括：
对所述待识别图像进行特征化处理，获得所述待识别图像包含的姿态特征；
将所述待识别图像包含的姿态特征输入所述姿态分类模型进行姿态分类。
可选的，所述对所述待识别图像进行特征化处理，包括：
将所述待识别图像转换为YUV图像；
基于所述YUV图像的Y分量数据提取运动目标，获得所述YUV图像包含的轮廓数据；
对所述YUV图像包含的轮廓数据进行归一化处理，获得姿态特征。
可选的，所述基于所述YUV图像的Y分量数据提取运动目标，包括：
基于所述YUV图像的Y分量数据，通过帧间差分算法提取运动目标；或者，
基于所述YUV图像的Y分量数据，通过背景差分算法提取运动目标；或者，
基于所述YUV图像的Y分量数据，通过光流法提取运动目标。
本申请还提供一种姿态识别方法，包括：
通过关键点检测模型对包含预定姿态的图像进行姿态识别，获得所述包含预定姿态的图像的姿态标签；
根据所述包含预定姿态的图像和所述姿态标签进行模型训练，获得姿态分类模型；
通过所述姿态分类模型对待识别图像进行姿态分类，获得所述待识别图像的姿态分类结果。
可选的，所述根据所述包含预定姿态的图像和所述姿态标签进行模型训练，包括：
对所述包含预定姿态的图像进行特征化处理，获得所述包含预定姿态的图像的姿态特征；
将所述姿态特征和所述姿态标签作为训练样本，对预定分类模型进行模型训练。
可选的，所述预定分类模型为训练完成的图像分类模型，所述将所述姿态特征和所述姿态标签作为训练样本，对预定分类模型进行模型训练，包括：
根据所述训练样本对所述训练完成的图像分类模型进行迁移学习，获得姿态分类模型。
可选的，所述对所述包含预定姿态的图像进行特征化处理，包括：
将所述包含预定姿态的图像转换为YUV图像；
基于所述YUV图像的Y分量数据提取运动目标，获得所述YUV图像包含的轮廓数据；
对所述YUV图像包含的轮廓数据进行归一化处理，获得姿态特征。
可选的，所述基于所述YUV图像的Y分量数据提取运动目标，包括：
基于所述YUV图像的Y分量数据，通过帧间差分算法提取运动目标；或者，
基于所述YUV图像的Y分量数据，通过背景差分算法提取运动目标；或者，
基于所述YUV图像的Y分量数据，通过光流法提取运动目标。
可选的，所述通过所述姿态分类模型对待识别图像进行姿态分类，包括：
对所述待识别图像进行特征化处理，获得所述待识别图像包含的姿态特征；
将所述待识别图像包含的姿态特征输入所述姿态分类模型进行姿态分类；
其中，所述待识别图像包含的姿态特征与所述包含预定姿态的图像的姿态特征为相同类型的特征集合。
可选的，所述对所述待识别图像进行特征化处理，包括：
将所述待识别图像转换为YUV图像；
基于所述YUV图像的Y分量数据提取运动目标，获得所述YUV图像包含的轮廓数据；
对所述YUV图像包含的轮廓数据进行归一化处理，获得姿态特征。
可选的，所述基于所述YUV图像的Y分量数据提取运动目标，包括：
基于所述YUV图像的Y分量数据，通过帧间差分算法提取运动目标；或者，
基于所述YUV图像的Y分量数据，通过背景差分算法提取运动目标；或者，
基于所述YUV图像的Y分量数据，通过光流法提取运动目标。
可选的，所述通过关键点检测模型对包含预定姿态的图像进行姿态识别，包括：
通过关键点检测模型对所述包含预定姿态的图像进行关键点检测，获得所述包含预定姿态的图像中的关键点；
通过动作匹配算法对所述关键点进行姿态识别，获得所述包含预定姿态的图像的姿态标签。
本申请还提供一种获得姿态分类模型的装置，包括：
姿态标签获得单元，用于通过关键点检测模型对包含预定姿态的图像进行姿态识别，获得所述包含预定姿态的图像的姿态标签；
姿态分类模型获得单元，用于根据所述包含预定姿态的图像和所述姿态标签进行模型训练，获得姿态分类模型。
本申请还提供一种电子设备，包括：
处理器；
存储器，用于存储获得姿态分类模型的程序，所述程序在被所述处理器读取执行时，执行如下操作：
通过关键点检测模型对包含预定姿态的图像进行姿态识别，获得所述包含预定姿态的图像的姿态标签；
根据所述包含预定姿态的图像和所述姿态标签进行模型训练，获得姿态分类模型。
本申请还提供一种姿态识别装置，包括：
待识别图像获得单元，用于获取需进行姿态识别的待识别图像；
姿态分类结果获得单元，用于通过姿态分类模型对所述待识别图像进行姿态分类，获得所述待识别图像的姿态分类结果。
本申请还提供一种电子设备，包括：
处理器；
存储器，用于存储姿态识别程序，所述程序在被所述处理器读取执行时，执行如下操作：
获取需进行姿态识别的待识别图像；
通过姿态分类模型对所述待识别图像进行姿态分类，获得所述待识别图像的姿态分类结果。
本申请还提供一种姿态识别装置，包括：
姿态标签获得单元，用于通过关键点检测模型对包含预定姿态的图像进行姿态识别，获得所述包含预定姿态的图像的姿态标签；
姿态分类模型获得单元，用于根据所述包含预定姿态的图像和所述姿态标签进行模型训练，获得姿态分类模型；
姿态分类结果获得单元，用于通过所述姿态分类模型对待识别图像进行姿态分类，获得所述待识别图像的姿态分类结果。
本申请还提供一种电子设备，包括：
处理器；
存储器，用于存储姿态识别程序，所述程序在被所述处理器读取执行时，执行如下操作：
通过关键点检测模型对包含预定姿态的图像进行姿态识别，获得所述包含预定姿态的图像的姿态标签；
根据所述包含预定姿态的图像和所述姿态标签进行模型训练，获得姿态分类模型；
通过所述姿态分类模型对待识别图像进行姿态分类，获得所述待识别图像的姿态分类结果。
与现有技术相比，本申请具有以下优点：
本申请提供的获取姿态分类模型的方法，通过关键点检测模型对包含预定姿态的图像进行姿态识别，获得所述包含预定姿态的图像的姿态标签；根据所述包含预定姿态的图像和所述姿态标签进行模型训练，获得姿态分类模型。使用本方法所获得的姿态分类模型，其网络结构更为简单，对计算资源的要求较低，可实时运行于移动设备上；并且，该姿态分类模型对人体姿态的识别过程仅为姿态识别匹配的过程，无需进行人体骨骼关键点检测，识别过程简单，识别效率高，减少了对单帧图像的处理时间。
附图说明
图1是本申请第一实施例提供的方法流程图；
图2是本申请第一实施例提供的模型训练方法流程图；
图3是本申请第二实施例提供的方法流程图；
图4是本申请第二实施例提供的姿态分类流程图；
图5是本申请第三实施例提供的方法流程图；
图6是本申请第三实施例提供的模型训练方法流程图；
图7是本申请第四实施例提供的装置单元框图；
图8是本申请第五实施例提供的电子设备示意图；
图9是本申请第六实施例提供的装置单元框图；
图10是本申请第七实施例提供的电子设备示意图；
图11是本申请第八实施例提供的装置单元框图；
图12是本申请第九实施例提供的电子设备示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。
针对现有的体感游戏输入、肢体动作检测等姿态识别场景，为了提高姿态识别模型对目标姿态的识别效率、增加姿态识别模型的应用范围，本申请提供一种获得姿态分类模型的方法、与该方法相对应的姿态识别装置以及电子设备。本申请还提供一种姿态识别方法、与该方法相对应的姿态识别装置以及电子设备。本申请还提供一种姿态识别方法、与该方法相对应的装置以及电子设备。以下提供实施例对所述方法、装置以及电子设备进行详细说明。
本申请第一实施例提供一种获得姿态分类模型的方法，该姿态分类模型可应用于移动设备端，用于对人体姿态进行识别。图1为本申请第一实施例提供的获得姿态分类模型方法流程图，以下结合图1对本实施例提供的方法进行详细描述。以下描述所涉及的实施例是用来解释说明方法原理，不是实际使用的限定。
如图1所示，本实施例提供的获得姿态分类模型方法包括如下步骤：
S101，通过关键点检测模型对包含预定姿态的图像进行姿态识别，获得所述包含预定姿态的图像的姿态标签。
作为计算机视觉领域的基础性算法之一，关键点检测指的是通过预定检测算法检测获得被识别对象的预设关键点，通过对检测获得的关键点进行姿态识别，可获得上述被识别对象的姿态信息。例如应用广泛的人体骨骼关键点检测(Pose Estimation)，包括多人人体骨骼关键点检测和单人人体骨骼关键点检测，其预先将人体的“手腕”、“手肘”、“肩膀”和“头”等重点部位设定为关键点，在应用中，可通过检测获得的关键点描述人体的骨骼信息，可应用于智能视频监控、病人监护***、人机交互、虚拟现实、人体动画、智能家居、智能安防、运动员辅助训练等多个场景中。
本实施例中，上述关键点检测模型可以为骨骼关键点检测模型OpenPose，OpenPose为实时多人关键点检测模型。
预定姿态指的是特定应用场景中所预设的姿态种类，例如对于体感游戏中的跳舞类应用，常见情形为：指示用户站在预定位置处进行人体骨骼关键点检测和匹配，之后利用检测出的人体骨骼关键点对用户的舞蹈动作进行跟踪识别，将识别出的舞蹈动作与机器预设的舞蹈动作进行比对评分，在该过程中，预设的舞蹈动作即为预定姿态。
上述包含预定姿态的图像的来源可以是公开数据集或私有数据集，例如可以为通过摄像头预先录制的舞蹈动作图像，也可以为公开数据集中的图像。该包含预定姿态的图像类型可以为RGB图像或YUV图像。在本实施例中，上述包含预定姿态的图像为包含预定舞蹈动作的RGB图像。
本实施例中，上述通过关键点检测模型对包含预定姿态的图像进行姿态识别，可以为如下过程：
通过骨骼关键点检测模型OpenPose对包含预定的人体姿态的图像进行关键点检测，获得包含人体预定姿态的图像中的关键点，该过程实质为确定人体各个骨骼关键点的位置，为后续进一步的动作识别、动作异常检测、智能监控、自动驾驶等实用场景提供基础，具体可以为：将上述包含预定的人体姿态的图像作为骨骼关键点检测模型OpenPose的输入，输出图像中人体的各个骨骼关键点在图像中的横纵坐标；通过动作匹配算法对上述获得的关键点进行姿态识别，获得识别结果，该识别结果即为上述包含预定姿态的图像的姿态标签。
S102，根据所述包含预定姿态的图像和所述姿态标签进行模型训练，获得姿态分类模型。
在通过上述步骤获得包含预定姿态的图像的姿态标签后，本步骤用于针对上述包含预定姿态的图像和该图像的姿态标签进行模型训练，获得可对上述包含预定姿态的图像的同类别图像进行分类的姿态分类模型。
包含预定姿态的图像的同类别图像指的是该图像包含的姿态与上述预定姿态具有相同类别，例如，上述预定姿态为体感游戏中预设的舞蹈动作，则其同类别图像则可以为采集到的用户的舞蹈动作。
在本实施例中，上述根据包含预定姿态的图像和姿态标签进行模型训练的过程如图2所示，包括如下步骤：
S1021，对包含预定姿态的图像进行特征化处理，获得包含预定姿态的图像的姿态特征。
本实施例中，对包含预定姿态的图像进行特征化处理，包括如下过程：
首先，将包含预定姿态的图像转换为YUV图像。YUV图像分为三个分量，“Y”分量表示明亮度，即灰度值，“U”分量和“V”分量表示色彩及饱和度，用于指定像素的颜色。本实施例中上述包含预定姿态的图像为RGB图像，与RGB图像相比，YUV图像所占用的数据存储空间和数据传输带宽均小很多，并且，本实施例中，在对图像的后续处理过程中，发挥主要作用的是图像的纹理，而非图像的颜色，因此需将包含预定姿态的RGB图像转换为YUV图像，具体可通过如下公式进行转换：
Y＝0.299R+0.587G+0.114B；
U＝-0.147R-0.289G+0.436B；
V＝0.615R-0.515G-0.100B。
其次，基于YUV图像的Y分量数据提取运动目标，获得YUV图像包含的轮廓数据。基于YUV图像的Y分量数据提取运动目标的方法较多，例如，通过背景差分算法提取运动目标，具体为：选择合适的背景图像，将当前帧与背景图像进行差分运算，获得差分图像，选择一个合适的阈值，对差分图像进行二值化；也可通过光流法提取运动目标，该方法主要任务为计算光流场，即在适当的平滑性约束条件下，根据图像序列的时空梯度估算运动场，通过分析运动场的变化对运动目标和场景进行检测与分割。
本实施例中，通过帧间差分算法提取运动目标，其基本原理为：在图像序列相邻的两帧图像或三帧图像之间采用基于像素的时间差分，通过闭值化来提取图像中的运动区域。具体方法为：将相邻帧对应的像素值相减，得到差分图像，对该差分图像进行二值化处理，在环境亮度变化不大的情况下，如果对应像素值变化小于预定阈值，则认为此处像素为背景像素；如果图像区域的像素值变化较大，则认为该变化是由于图像中的运动物体引起的，将该图像区域标记为前景像素，利用标记的像素区域可以确定运动目标在图像中的位置。
最后，对所述YUV图像包含的轮廓数据进行归一化处理，获得姿态特征。归一化处理的目的在于将上述YUV图像转换成相应的唯一标准形式，该唯一标准形式的图像对平移、旋转、缩放等仿射变换具有不变特性。
S1022，将上述姿态特征和姿态标签作为训练样本，对预定分类模型进行模型训练。
在经上述步骤获得包含预定姿态的图像的姿态特征和姿态标签后，本步骤用于将上述步骤获得的姿态特征和姿态标签作为训练样本进行模型训练。
预定分类模型指的是预先选定的已训练完成、且具有完善的图像分类功能的图像分类模型，例如利用imagenet图片和caffenet模型训练好的图像分类模型。在本实施例中，将姿态特征和姿态标签作为训练样本，对预定分类模型进行模型训练的方法为：根据上述包含预定姿态的图像的姿态特征和姿态标签对预先选定的已训练完成、且具有完善的图像分类功能的图像分类模型进行迁移学习，获得本实施例所需的可对上述包含预定姿态的图像的同类别图像进行分类的新姿态分类模型。
上述迁移学习的过程为：基于上述预先选定的已训练完成、且具有完善的图像分类功能的图像分类模型在上述包含预定姿态的图像的姿态特征和姿态标签所形成的数据集上进行训练，按照输出要求对上述图像分类模型的网络构架等方面做相应调整，获得可对上述包含预定姿态的图像的同类别图像进行分类的姿态分类模型。
本实施例提供的获得姿态分类模型的方法，通过关键点检测模型(如骨骼关键点检测模型OpenPose)对包含预定姿态的图像进行姿态识别，获得包含预定姿态的图像的姿态标签；对包含预定姿态的图像进行特征化处理，获得包含预定姿态的图像的姿态特征；将上述姿态特征和姿态标签作为训练样本，对预先选定的已训练完成、且具有完善的图像分类功能的图像分类模型进行迁移学习，获得本实施例所需的可对上述包含预定姿态的图像的同类别图像进行分类的姿态分类模型。该姿态分类模型相较于现有的基于骨骼关键点的姿态识别模型，其网络结构更为简单，其对计算资源的要求较低，因此可实时运行于移动设备上；并且，该姿态分类模型对人体姿态的识别过程仅为姿态识别匹配的过程，无需进行人体骨骼关键点检测，识别过程简单，识别效率高，减少了对单帧图像的处理时间。
本申请第二实施例提供一种姿态识别方法，该姿态识别方法可应用于移动设备端的姿态识别场景。图3是本申请第二实施例提供的方法流程图，以下结合图3对本实施例提供的方法进行详细描述。
如图3所示，本实施例提供的姿态识别方法包括如下步骤：
S201，获取需进行姿态识别的待识别图像。
本步骤用于获取需进行姿态识别的待识别图像。该待识别图像可以为包含姿态信息的任意格式的图像，例如在体感游戏中所摄取的用户肢体动作影像。
S202，通过姿态分类模型对所述待识别图像进行姿态分类，获得所述待识别图像的姿态分类结果。
本步骤用于通过预先训练好的姿态分类模型对上述步骤获得的待识别图像进行姿态分类，获得上述待识别图像的识别结果。
上述姿态分类模型通过如下方式获得：通过关键点检测模型对包含预定姿态的图像进行姿态识别，获得包含预定姿态的图像的姿态标签；根据上述包含预定姿态的图像和该图像的姿态标签进行模型训练，获得姿态分类模型，该姿态分类模型为第一实施例中所获得的姿态分类模型，该部分的详细内容请参考第一实施例提供的相关说明，在此不再赘述。
本实施例中，上述通过姿态分类模型对待识别图像进行姿态分类的过程如图4所示，包括如下过程：
S2021，对待识别图像进行特征化处理，获得该待识别图像包含的姿态特征。
本实施例中，对待识别图像进行特征化处理，包括如下过程：
首先，将待识别图像转换为YUV图像。YUV图像分为三个分量，“Y”分量表示明亮度，即灰度值，“U”分量和“V”分量表示色彩及饱和度，用于指定像素的颜色。待识别图像为可转化成YUV图像的任意格式的图像，在本实施例中，待识别图像为RGB图像，与RGB图像相比，YUV图像所占用的数据存储空间和数据传输带宽均小很多，并且，在本实施例中，在对图像的后续处理过程中，发挥主要作用的是图像的纹理，而非图像的颜色，因此需将包含预定姿态的RGB图像转换为YUV图像，具体可通过如下公式进行转换：
Y＝0.299R+0.587G+0.114B；
U＝-0.147R-0.289G+0.436B；
V＝0.615R-0.515G-0.100B。
其次，基于YUV图像的Y分量数据提取运动目标，获得YUV图像包含的轮廓数据。例如，可通过背景差分算法提取运动目标，具体为：选择合适的背景图像，将当前帧与背景图像进行差分运算，获得差分图像，选择一个合适的阈值，对差分图像进行二值化；也可通过光流法提取运动目标，该方法主要任务为计算光流场，即在适当的平滑性约束条件下，根据图像序列的时空梯度估算运动场，通过分析运动场的变化对运动目标和场景进行检测与分割。
本实施例中，通过帧间差分算法提取运动目标，其基本原理为：在图像序列相邻的两帧图像或三帧图像之间采用基于像素的时间差分，通过闭值化来提取图像中的运动区域。具体方法为：将相邻帧对应的像素值相减，得到差分图像，对该差分图像进行二值化处理，在环境亮度变化不大的情况下，如果对应像素值变化小于预定阈值，则认为此处像素为背景像素；如果图像区域的像素值变化较大，则认为该变化是由于图像中的运动物体引起的，将该图像区域标记为前景像素，利用标记的像素区域可以确定运动目标在图像中的位置。
最后，对所述YUV图像包含的轮廓数据进行归一化处理，获得姿态特征。归一化处理的目的在于将上述YUV图像转换成相应的唯一标准形式，该标准形式图像对平移、旋转、缩放等仿射变换具有不变特性。
S2022，将所述待识别图像包含的姿态特征输入上述姿态分类模型进行姿态分类，获得上述待识别图像的分类结果。
本申请第三实施例提供一种姿态识别方法。图5是本申请第三实施例提供的方法流程图，以下结合图5对本实施例提供的方法进行详细描述。
如图5所示，本实施例提供的姿态识别方法包括如下步骤：
S301，通过关键点检测模型对包含预定姿态的图像进行姿态识别，获得所述包含预定姿态的图像的姿态标签。
关键点检测指的是通过预定检测算法检测获得被识别对象的预设关键点，通过对检测获得的关键点进行姿态识别，可获得被识别对象的姿态信息。
预定姿态指的是特定应用场景中所预设的姿态种类，例如对于体感游戏中的跳舞类应用，常见情形为：指示用户站在预定位置处进行人体骨骼关键点检测和匹配，之后利用检测出的人体骨骼关键点对用户的舞蹈动作进行跟踪识别，将识别出的舞蹈动作与机器预设的舞蹈动作进行比对评分，在该过程中，预设的舞蹈动作即为预定姿态。
包含预定姿态的图像的来源可以是公开数据集或私有数据集，例如可以为通过摄像头预先录制的舞蹈动作图像，也可以为公开数据集中的舞蹈动作图像。该包含预定姿态的图像类型可以为RGB图像或YUV图像。在本实施例中，上述包含预定姿态的图像为包含预定舞蹈动作的RGB图像。
上述通过关键点检测模型对包含预定姿态的图像进行姿态识别，可以为如下过程：通过骨骼关键点检测模型OpenPose对包含预定的人体姿态的图像进行关键点检测，获得包含人体预定姿态的图像中的关键点，该过程实质为确定人体各个骨骼关键点的位置，为后续进一步的动作识别、动作异常检测、智能监控、自动驾驶等实用场景提供基础，其具体实现方式可以为：将上述包含预定的人体姿态的图像作为骨骼关键点检测模型OpenPose的输入，输出图像中人体的各个骨骼关键点在图像中的横纵坐标；通过动作匹配算法对上述获得的关键点进行姿态识别，获得识别结果，该识别结果即为上述包含预定姿态的图像的姿态标签。
S302，根据所述包含预定姿态的图像和所述姿态标签进行模型训练，获得姿态分类模型。
在通过上述步骤获得包含预定姿态的图像的姿态标签后，本步骤用于针对上述包含预定姿态的图像和该图像的姿态标签进行模型训练，获得可对上述包含预定姿态的图像的同类别图像进行分类的姿态分类模型。
在本实施例中，上述根据包含预定姿态的图像和姿态标签进行模型训练的过程如图6所示，包括如下步骤：
S3021，对包含预定姿态的图像进行特征化处理，获得包含预定姿态的图像的姿态特征。
对包含预定姿态的图像进行特征化处理，包括如下过程：
首先，将包含预定姿态的图像转换为YUV图像。YUV图像分为三个分量，“Y”分量表示明亮度、即灰度值，“U”分量和“V”分量表示色彩及饱和度，用于指定像素的颜色。本实施例中上述包含预定姿态的图像为RGB图像，与RGB图像相比，YUV图像所占用的数据存储空间和数据传输带宽均小很多，并且，在本实施例中的图像的后续处理过程中，发挥主要作用的是图像的纹理，而非图像的颜色，因此需将包含预定姿态的RGB图像转换为YUV图像，具体可通过如下公式进行转换：
Y＝0.299R+0.587G+0.114B；
U＝-0.147R-0.289G+0.436B；
V＝0.615R-0.515G-0.100B。
其次，基于YUV图像的Y分量数据提取运动目标，获得YUV图像包含的轮廓数据。基于YUV图像的Y分量数据提取运动目标的方法较多，例如，通过背景差分算法提取运动目标，具体为：选择合适的背景图像，将当前帧与背景图像进行差分运算，获得差分图像，选择一个合适的阈值，对差分图像进行二值化；也可通过光流法提取运动目标，该方法主要任务为计算光流场，即在适当的平滑性约束条件下，根据图像序列的时空梯度估算运动场，通过分析运动场的变化对运动目标和场景进行检测与分割。
本实施例中，通过帧间差分算法提取运动目标，其基本原理为：在图像序列相邻的两帧图像或三帧图像之间采用基于像素的时间差分，通过闭值化来提取图像中的运动区域。具体方法为：将相邻帧图像对应的像素值相减，得到差分图像，对该差分图像进行二值化处理，在环境亮度变化不大的情况下，如果对应像素值变化小于预定阈值，则认为此处像素为背景像素；如果图像区域的像素值变化较大，则认为该变化是由于图像中的运动物体引起的，将该图像区域标记为前景像素，利用标记的像素区域可以确定运动目标在图像中的位置。
最后，对上述YUV图像包含的轮廓数据进行归一化处理，获得姿态特征。归一化处理的目的在于将上述YUV图像转换成相应的唯一标准形式，该标准形式图像对平移、旋转、缩放等仿射变换具有不变特性。
S3022，将姿态特征和姿态标签作为训练样本，对预定分类模型进行模型训练。
在经上述步骤获得包含预定姿态的图像的姿态特征和姿态标签后，本步骤用于将上述步骤获得的姿态特征和姿态标签作为训练样本进行模型训练。
预定分类模型指的是预先选定的已训练完成、且具有完善的图像分类功能的图像分类模型，例如利用imagenet图片和caffenet模型训练好的图像分类模型。在本实施例中，将姿态特征和姿态标签作为训练样本，对预定分类模型进行模型训练的方法为：根据上述包含预定姿态的图像的姿态特征和姿态标签对预先选定的已训练完成、且具有完善的图像分类功能的图像分类模型进行迁移学习，获得本实施例所需的可对上述包含预定姿态的图像的同类别图像进行分类的姿态分类模型。
上述迁移学习的过程为：基于上述预先选定的已训练完成、且具有完善的图像分类功能的图像分类模型在上述包含预定姿态的图像的姿态特征和姿态标签所形成额新的数据集上进行训练，按照输出要求对上述图像分类模型的网络构架等方面做相应调整，获得可对上述包含预定姿态的图像的同类别图像进行分类的新姿态分类模型。
S303，通过所述姿态分类模型对待识别图像进行姿态分类，获得所述待识别图像的姿态分类结果。
待识别图像可以为包含姿态信息的图像，例如体感游戏中的摄像头所摄取的用户肢体动作影像。
本实施例中，通过姿态分类模型对待识别图像进行姿态分类的过程可以为如下过程：
以与上述步骤S3021中的对包含预定姿态的图像进行特征化处理的方法相同的方法对待识别图像进行特征化处理，获得该待识别图像包含的姿态特征，待识别图像包含的姿态特征与上述包含预定姿态的图像的姿态特征为相同类型的特征集合。获得该待识别图像包含的姿态特征的过程如下：将待识别图像转换为YUV图像；基于YUV图像的Y分量数据提取运动目标，获得YUV图像包含的轮廓数据，例如，可通过背景差分算法提取运动目标或通过光流法提取运动目标，本实施例中，通过帧间差分算法提取运动目标；对YUV图像包含的轮廓数据进行归一化处理，获得待识别图像包含的姿态特征。
将上述待识别图像包含的姿态特征输入上述姿态分类模型进行姿态分类，获得上述待识别图像的分类结果。
上述第一实施例提供了一种获得姿态分类模型方法，与之相对应的，本申请第四实施例还提供了一种获得姿态分类模型装置，由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关的技术特征的细节部分请参见上述提供的方法实施例的对应说明即可，下述对装置实施例的描述仅仅是示意性的。
请参考图7理解该实施例，图7为本实施例提供的装置的单元框图，如图7所示，本实施例提供的装置包括：
姿态标签获得单元401，用于通过关键点检测模型对包含预定姿态的图像进行姿态识别，获得包含预定姿态的图像的姿态标签；
姿态分类模型获得单元402，用于根据包含预定姿态的图像和姿态标签进行模型训练，获得姿态分类模型。
上述姿态分类模型获得单元402，包括：
图像的姿态特征获得子单元，用于对包含预定姿态的图像进行特征化处理，获得包含预定姿态的图像的姿态特征；
模型训练子单元，用于将姿态特征和姿态标签作为训练样本，对预定分类模型进行模型训练。
上述预定分类模型为训练完成的图像分类模型，上述模型训练子单元具体用于：根据训练样本对训练完成的图像分类模型进行迁移学习，获得姿态分类模型。
上述图像的姿态特征获得子单元包括：
将包含预定姿态的图像转换为YUV图像；
基于YUV图像的Y分量数据提取运动目标，获得YUV图像包含的轮廓数据；
对YUV图像包含的轮廓数据进行归一化处理，获得姿态特征。
上述基于YUV图像的Y分量数据提取运动目标，包括：
基于YUV图像的Y分量数据，通过帧间差分算法提取运动目标；或者，
基于YUV图像的Y分量数据，通过背景差分算法提取运动目标；或者，
基于YUV图像的Y分量数据，通过光流法提取运动目标。
姿态标签获得单元401包括：
关键点获得子单元，用于通过关键点检测模型对包含预定姿态的图像进行关键点检测，获得包含预定姿态的图像中的关键点；
标签获得子单元，用于通过动作匹配算法对关键点进行姿态识别，获得包含预定姿态的图像的姿态标签。
在上述的实施例中，提供了一种获得姿态分类模型方法以及一种获得姿态分类模型装置，此外，本申请第五实施例还提供一种电子设备，该电子设备实施例如下：
请参考图8理解本实施例，图8为本实施例提供的电子设备的示意图。
如图8所示，电子设备包括：处理器501；存储器502；
存储器502，用于存储获得姿态分类模型的程序，该程序在被处理器501读取执行时，执行如下操作：
通过关键点检测模型对包含预定姿态的图像进行姿态识别，获得包含预定姿态的图像的姿态标签；
根据包含预定姿态的图像和姿态标签进行模型训练，获得姿态分类模型。
例如，电子设备为一台计算机，该计算机可通过关键点检测模型对包含预定姿态的图像进行姿态识别，获得包含预定姿态的图像的姿态标签；根据包含预定姿态的图像和姿态标签进行模型训练，获得姿态分类模型。
可选的，根据包含预定姿态的图像和姿态标签进行模型训练，包括：
对包含预定姿态的图像进行特征化处理，获得包含预定姿态的图像的姿态特征；
将姿态特征和姿态标签作为训练样本，对预定分类模型进行模型训练。
可选的，预定分类模型为训练完成的图像分类模型，将姿态特征和姿态标签作为训练样本，对预定分类模型进行模型训练，包括：
根据训练样本对训练完成的图像分类模型进行迁移学习，获得姿态分类模型。
可选的，对包含预定姿态的图像进行特征化处理，包括：
将包含预定姿态的图像转换为YUV图像；
基于YUV图像的Y分量数据提取运动目标，获得YUV图像包含的轮廓数据；
对YUV图像包含的轮廓数据进行归一化处理，获得姿态特征。
可选的，基于YUV图像的Y分量数据提取运动目标，包括：
基于YUV图像的Y分量数据，通过帧间差分算法提取运动目标；或者，
基于YUV图像的Y分量数据，通过背景差分算法提取运动目标；或者，
基于YUV图像的Y分量数据，通过光流法提取运动目标。
可选的，通过关键点检测模型对包含预定姿态的图像进行姿态识别，包括：
通过关键点检测模型对包含预定姿态的图像进行关键点检测，获得包含预定姿态的图像中的关键点；
通过动作匹配算法对关键点进行姿态识别，获得包含预定姿态的图像的姿态标签。
上述第二实施例提供了一种姿态识别方法，与之相对应的，本申请第六实施例还提供了一种姿态识别装置，由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关的技术特征的细节部分请参见上述提供的方法实施例的对应说明即可，下述对装置实施例的描述仅仅是示意性的。
请参考图9理解该实施例，图9为本实施例提供的装置的单元框图，如图9所示，本实施例提供的装置包括：
待识别图像获得单元601，用于获取需进行姿态识别的待识别图像；
姿态分类结果获得单元602，用于通过姿态分类模型对待识别图像进行姿态分类，获得待识别图像的姿态分类结果。
上述姿态分类模型通过如下方式获得：
通过关键点检测模型对包含预定姿态的图像进行姿态识别，获得包含预定姿态的图像的姿态标签；
根据包含预定姿态的图像和姿态标签进行模型训练，获得姿态分类模型。
姿态分类结果获得单元602包括：
待识别图像包含的姿态特征获得子单元，用于对待识别图像进行特征化处理，获得待识别图像包含的姿态特征；
姿态分类子单元，用于将待识别图像包含的姿态特征输入姿态分类模型进行姿态分类。
待识别图像包含的姿态特征获得子单元具体用于：
将待识别图像转换为YUV图像；
基于YUV图像的Y分量数据提取运动目标，获得YUV图像包含的轮廓数据；
对YUV图像包含的轮廓数据进行归一化处理，获得姿态特征。
上述基于YUV图像的Y分量数据提取运动目标，包括：
基于YUV图像的Y分量数据，通过帧间差分算法提取运动目标；或者，
基于YUV图像的Y分量数据，通过背景差分算法提取运动目标；或者，
基于YUV图像的Y分量数据，通过光流法提取运动目标。
在上述的实施例中，提供了一种姿态识别方法以及一种姿态识别装置，此外，本申请第七实施例还提供一种电子设备，该电子设备实施例如下：
请参考图10理解本实施例，图10为本实施例提供的电子设备的示意图。
如图10所示，电子设备包括：处理器701；存储器702；
存储器702用于存储获得姿态分类模型的程序，该程序在被处理器701读取执行时，执行如下操作：
获取需进行姿态识别的待识别图像；
通过姿态分类模型对待识别图像进行姿态分类，获得待识别图像的姿态分类结果；
其中，姿态分类模型通过如下方式获得：
通过关键点检测模型对包含预定姿态的图像进行姿态识别，获得包含预定姿态的图像的姿态标签；
根据包含预定姿态的图像和姿态标签进行模型训练，获得姿态分类模型。
可选的，通过姿态分类模型对待识别图像进行姿态分类，包括：
对待识别图像进行特征化处理，获得待识别图像包含的姿态特征；
将待识别图像包含的姿态特征输入姿态分类模型进行姿态分类。
可选的，对待识别图像进行特征化处理，包括：
将待识别图像转换为YUV图像；
基于YUV图像的Y分量数据提取运动目标，获得YUV图像包含的轮廓数据；
对YUV图像包含的轮廓数据进行归一化处理，获得姿态特征。
可选的，基于YUV图像的Y分量数据提取运动目标，包括：
基于YUV图像的Y分量数据，通过帧间差分算法提取运动目标；或者，
基于YUV图像的Y分量数据，通过背景差分算法提取运动目标；或者，
基于YUV图像的Y分量数据，通过光流法提取运动目标。
上述第三实施例提供了一种姿态识别方法，与之相对应的，本申请第八实施例还提供了一种姿态识别装置，由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关的技术特征的细节部分请参见上述提供的方法实施例的对应说明即可，下述对装置实施例的描述仅仅是示意性的。
请参考图11理解该实施例，图11为本实施例提供的装置的单元框图，如图11所示，本实施例提供的装置包括：
姿态标签获得单元801，用于通过关键点检测模型对包含预定姿态的图像进行姿态识别，获得包含预定姿态的图像的姿态标签；
姿态分类模型获得单元802，用于根据包含预定姿态的图像和姿态标签进行模型训练，获得姿态分类模型；
姿态分类结果获得单元803，用于通过姿态分类模型对待识别图像进行姿态分类，获得待识别图像的姿态分类结果。
姿态分类模型获得单元802，包括：
姿态特征获得子单元，用于对包含预定姿态的图像进行特征化处理，获得包含预定姿态的图像的姿态特征；
模型训练子单元，用于将姿态特征和姿态标签作为训练样本，对预定分类模型进行模型训练。
上述预定分类模型为训练完成的图像分类模型，模型训练子单元具体用于：
根据训练样本对训练完成的图像分类模型进行迁移学习，获得姿态分类模型。
模型训练子单元，包括：
将包含预定姿态的图像转换为YUV图像；
基于YUV图像的Y分量数据提取运动目标，获得YUV图像包含的轮廓数据；
对YUV图像包含的轮廓数据进行归一化处理，获得姿态特征。
上述基于YUV图像的Y分量数据提取运动目标，包括：
基于YUV图像的Y分量数据，通过帧间差分算法提取运动目标；或者，
基于YUV图像的Y分量数据，通过背景差分算法提取运动目标；或者，
基于YUV图像的Y分量数据，通过光流法提取运动目标。
姿态分类结果获得单元803包括：
待识别图像包含的姿态特征获得子单元，用于对待识别图像进行特征化处理，获得待识别图像包含的姿态特征；
姿态分类子单元，用于将待识别图像包含的姿态特征输入姿态分类模型进行姿态分类；
其中，待识别图像包含的姿态特征与包含预定姿态的图像的姿态特征为相同类型的特征集合。
待识别图像包含的姿态特征获得子单元包括：
将待识别图像转换为YUV图像；
基于YUV图像的Y分量数据提取运动目标，获得YUV图像包含的轮廓数据；
对YUV图像包含的轮廓数据进行归一化处理，获得姿态特征。
上述基于YUV图像的Y分量数据提取运动目标，包括：
基于YUV图像的Y分量数据，通过帧间差分算法提取运动目标；或者，
基于YUV图像的Y分量数据，通过背景差分算法提取运动目标；或者，
基于YUV图像的Y分量数据，通过光流法提取运动目标。
姿态标签获得单元801包括：
关键点获得子单元，用于通过关键点检测模型对包含预定姿态的图像进行关键点检测，获得包含预定姿态的图像中的关键点；
姿态标签获得子单元，用于通过动作匹配算法对关键点进行姿态识别，获得包含预定姿态的图像的姿态标签。
在上述的实施例中，提供了一种姿态识别方法以及一种姿态识别装置，此外，本申请第九实施例还提供一种电子设备，该电子设备实施例如下：
请参考图12理解本实施例，图12为本实施例提供的电子设备的示意图。
如图12所示，电子设备包括：处理器901；存储器902；
存储器902用于存储获得姿态分类模型的程序，该程序在被处理器901读取执行时，执行如下操作：
通过关键点检测模型对包含预定姿态的图像进行姿态识别，获得包含预定姿态的图像的姿态标签；根据包含预定姿态的图像和姿态标签进行模型训练，获得姿态分类模型；通过姿态分类模型对待识别图像进行姿态分类，获得待识别图像的姿态分类结果。
可选的，根据包含预定姿态的图像和姿态标签进行模型训练，包括：
对包含预定姿态的图像进行特征化处理，获得包含预定姿态的图像的姿态特征；
将姿态特征和姿态标签作为训练样本，对预定分类模型进行模型训练。
可选的，预定分类模型为训练完成的图像分类模型，将姿态特征和姿态标签作为训练样本，对预定分类模型进行模型训练，包括：
根据训练样本对训练完成的图像分类模型进行迁移学习，获得姿态分类模型。
可选的，对包含预定姿态的图像进行特征化处理，包括：
将包含预定姿态的图像转换为YUV图像；
基于YUV图像的Y分量数据提取运动目标，获得YUV图像包含的轮廓数据；
对YUV图像包含的轮廓数据进行归一化处理，获得姿态特征。
可选的，基于YUV图像的Y分量数据提取运动目标，包括：
基于YUV图像的Y分量数据，通过帧间差分算法提取运动目标；或者，
基于YUV图像的Y分量数据，通过背景差分算法提取运动目标；或者，
基于YUV图像的Y分量数据，通过光流法提取运动目标。
可选的，通过姿态分类模型对待识别图像进行姿态分类，包括：
对待识别图像进行特征化处理，获得待识别图像包含的姿态特征；
将待识别图像包含的姿态特征输入姿态分类模型进行姿态分类；
其中，待识别图像包含的姿态特征与包含预定姿态的图像的姿态特征为相同类型的特征集合。
可选的，对待识别图像进行特征化处理，包括：
将待识别图像转换为YUV图像；
基于YUV图像的Y分量数据提取运动目标，获得YUV图像包含的轮廓数据；
对YUV图像包含的轮廓数据进行归一化处理，获得姿态特征。
可选的，基于YUV图像的Y分量数据提取运动目标，包括：
基于YUV图像的Y分量数据，通过帧间差分算法提取运动目标；或者，
基于YUV图像的Y分量数据，通过背景差分算法提取运动目标；或者，
基于YUV图像的Y分量数据，通过光流法提取运动目标。
可选的，通过关键点检测模型对包含预定姿态的图像进行姿态识别，包括：
通过关键点检测模型对包含预定姿态的图像进行关键点检测，获得包含预定姿态的图像中的关键点；
通过动作匹配算法对关键点进行姿态识别，获得包含预定姿态的图像的姿态标签。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
2、本领域技术人员应明白，本申请的实施例可提供为方法、***或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请虽然以较佳实施例公开如上，但其并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本申请权利要求所界定的范围为准。

Claims (22)

1.一种获得姿态分类模型的方法，其特征在于，包括：
通过关键点检测模型对包含预定姿态的图像进行姿态识别，获得所述包含预定姿态的图像的姿态标签；
根据所述包含预定姿态的图像和所述姿态标签进行模型训练，获得姿态分类模型。
2.根据权利要求1所述的方法，其特征在于，所述根据所述包含预定姿态的图像和所述姿态标签进行模型训练，包括：
对所述包含预定姿态的图像进行特征化处理，获得所述包含预定姿态的图像的姿态特征；
将所述姿态特征和所述姿态标签作为训练样本，对预定分类模型进行模型训练。
3.根据权利要求2所述的方法，其特征在于，所述预定分类模型为训练完成的图像分类模型，所述将所述姿态特征和所述姿态标签作为训练样本，对预定分类模型进行模型训练，包括：
根据所述训练样本对所述训练完成的图像分类模型进行迁移学习，获得姿态分类模型。
4.根据权利要求2所述的方法，其特征在于，所述对所述包含预定姿态的图像进行特征化处理，包括：
将所述包含预定姿态的图像转换为YUV图像；
基于所述YUV图像的Y分量数据提取运动目标，获得所述YUV图像包含的轮廓数据；
对所述YUV图像包含的轮廓数据进行归一化处理，获得姿态特征。
5.根据权利要求4所述的方法，其特征在于，所述基于所述YUV图像的Y分量数据提取运动目标，包括：
基于所述YUV图像的Y分量数据，通过帧间差分算法提取运动目标；或者，
基于所述YUV图像的Y分量数据，通过背景差分算法提取运动目标；或者，
基于所述YUV图像的Y分量数据，通过光流法提取运动目标。
6.根据权利要求1所述的方法，其特征在于，所述通过关键点检测模型对包含预定姿态的图像进行姿态识别，包括：
通过关键点检测模型对所述包含预定姿态的图像进行关键点检测，获得所述包含预定姿态的图像中的关键点；
通过动作匹配算法对所述关键点进行姿态识别，获得所述包含预定姿态的图像的姿态标签。
7.一种姿态识别方法，其特征在于，包括：
获取需进行姿态识别的待识别图像；
通过姿态分类模型对所述待识别图像进行姿态分类，获得所述待识别图像的姿态分类结果；
其中，所述姿态分类模型通过如下方式获得：
通过关键点检测模型对包含预定姿态的图像进行姿态识别，获得所述包含预定姿态的图像的姿态标签；
根据所述包含预定姿态的图像和所述姿态标签进行模型训练，获得姿态分类模型。
8.根据权利要求7所述的方法，其特征在于，所述通过姿态分类模型对所述待识别图像进行姿态分类，包括：
对所述待识别图像进行特征化处理，获得所述待识别图像包含的姿态特征；
将所述待识别图像包含的姿态特征输入所述姿态分类模型进行姿态分类。
9.根据权利要求8所述的方法，其特征在于，所述对所述待识别图像进行特征化处理，包括：
将所述待识别图像转换为YUV图像；
基于所述YUV图像的Y分量数据提取运动目标，获得所述YUV图像包含的轮廓数据；
对所述YUV图像包含的轮廓数据进行归一化处理，获得姿态特征。
10.根据权利要求9所述的方法，其特征在于，所述基于所述YUV图像的Y分量数据提取运动目标，包括：
基于所述YUV图像的Y分量数据，通过帧间差分算法提取运动目标；或者，
基于所述YUV图像的Y分量数据，通过背景差分算法提取运动目标；或者，
基于所述YUV图像的Y分量数据，通过光流法提取运动目标。
11.一种姿态识别方法，其特征在于，包括：
通过关键点检测模型对包含预定姿态的图像进行姿态识别，获得所述包含预定姿态的图像的姿态标签；
根据所述包含预定姿态的图像和所述姿态标签进行模型训练，获得姿态分类模型；
通过所述姿态分类模型对待识别图像进行姿态分类，获得所述待识别图像的姿态分类结果。
12.根据权利要求11所述的方法，其特征在于，所述根据所述包含预定姿态的图像和所述姿态标签进行模型训练，包括：
对所述包含预定姿态的图像进行特征化处理，获得所述包含预定姿态的图像的姿态特征；
将所述姿态特征和所述姿态标签作为训练样本，对预定分类模型进行模型训练。
13.根据权利要求12所述的方法，其特征在于，所述预定分类模型为训练完成的图像分类模型，所述将所述姿态特征和所述姿态标签作为训练样本，对预定分类模型进行模型训练，包括：
根据所述训练样本对所述训练完成的图像分类模型进行迁移学习，获得姿态分类模型。
14.根据权利要求12所述的方法，其特征在于，所述对所述包含预定姿态的图像进行特征化处理，包括：
将所述包含预定姿态的图像转换为YUV图像；
基于所述YUV图像的Y分量数据提取运动目标，获得所述YUV图像包含的轮廓数据；
对所述YUV图像包含的轮廓数据进行归一化处理，获得姿态特征。
15.根据权利要求14所述的方法，其特征在于，所述基于所述YUV图像的Y分量数据提取运动目标，包括：
基于所述YUV图像的Y分量数据，通过帧间差分算法提取运动目标；或者，
基于所述YUV图像的Y分量数据，通过背景差分算法提取运动目标；或者，
基于所述YUV图像的Y分量数据，通过光流法提取运动目标。
16.根据权利要求12-15中任一项所述的方法，其特征在于，所述通过所述姿态分类模型对待识别图像进行姿态分类，包括：
对所述待识别图像进行特征化处理，获得所述待识别图像包含的姿态特征；
将所述待识别图像包含的姿态特征输入所述姿态分类模型进行姿态分类；
其中，所述待识别图像包含的姿态特征与所述包含预定姿态的图像的姿态特征为相同类型的特征集合。
17.根据权利要求16所述的方法，其特征在于，所述对所述待识别图像进行特征化处理，包括：
将所述待识别图像转换为YUV图像；
基于所述YUV图像的Y分量数据提取运动目标，获得所述YUV图像包含的轮廓数据；
对所述YUV图像包含的轮廓数据进行归一化处理，获得姿态特征。
18.根据权利要求17所述的方法，其特征在于，所述基于所述YUV图像的Y分量数据提取运动目标，包括：
基于所述YUV图像的Y分量数据，通过帧间差分算法提取运动目标；或者，
基于所述YUV图像的Y分量数据，通过背景差分算法提取运动目标；或者，
基于所述YUV图像的Y分量数据，通过光流法提取运动目标。
19.根据权利要求11所述的方法，其特征在于，所述通过关键点检测模型对包含预定姿态的图像进行姿态识别，包括：
通过关键点检测模型对所述包含预定姿态的图像进行关键点检测，获得所述包含预定姿态的图像中的关键点；
通过动作匹配算法对所述关键点进行姿态识别，获得所述包含预定姿态的图像的姿态标签。
20.一种获得姿态分类模型的装置，其特征在于，包括：
姿态标签获得单元，用于通过关键点检测模型对包含预定姿态的图像进行姿态识别，获得所述包含预定姿态的图像的姿态标签；
姿态分类模型获得单元，用于根据所述包含预定姿态的图像和所述姿态标签进行模型训练，获得姿态分类模型。
21.一种姿态识别装置，其特征在于，包括：
待识别图像获得单元，用于获取需进行姿态识别的待识别图像；
姿态分类结果获得单元，用于通过姿态分类模型对所述待识别图像进行姿态分类，获得所述待识别图像的姿态分类结果。
22.一种姿态识别装置，其特征在于，包括：
姿态标签获得单元，用于通过关键点检测模型对包含预定姿态的图像进行姿态识别，获得所述包含预定姿态的图像的姿态标签；
姿态分类模型获得单元，用于根据所述包含预定姿态的图像和所述姿态标签进行模型训练，获得姿态分类模型；
姿态分类结果获得单元，用于通过所述姿态分类模型对待识别图像进行姿态分类，获得所述待识别图像的姿态分类结果。
CN201810958437.4A 2018-08-22 2018-08-22 一种获得姿态分类模型的方法以及装置 Pending CN110858277A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810958437.4A CN110858277A (zh) 2018-08-22 2018-08-22 一种获得姿态分类模型的方法以及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810958437.4A CN110858277A (zh) 2018-08-22 2018-08-22 一种获得姿态分类模型的方法以及装置

Publications (1)

Publication Number Publication Date
CN110858277A true CN110858277A (zh) 2020-03-03

Family

ID=69635782

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810958437.4A Pending CN110858277A (zh) 2018-08-22 2018-08-22 一种获得姿态分类模型的方法以及装置

Country Status (1)

Country Link
CN (1) CN110858277A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111899192A (zh) * 2020-07-23 2020-11-06 北京字节跳动网络技术有限公司 交互方法、装置、电子设备及计算机可读存储介质
CN111931725A (zh) * 2020-09-23 2020-11-13 北京无垠创新科技有限责任公司 人体动作识别方法、设备及存储介质
CN112102947A (zh) * 2020-04-13 2020-12-18 国家体育总局体育科学研究所 用于身体姿态评估的装置和方法
CN113190104A (zh) * 2021-01-18 2021-07-30 郭奕忠 智能设备利用视觉分析识别人物动作实现人机交互的方法
CN114393575A (zh) * 2021-12-17 2022-04-26 重庆特斯联智慧科技股份有限公司 基于用户姿势高效能识别的机器人控制方法和***
CN115270997A (zh) * 2022-09-20 2022-11-01 中国人民解放军32035部队 基于迁移学习的火箭目标姿态稳定判别方法及相关装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103646425A (zh) * 2013-11-20 2014-03-19 深圳先进技术研究院 一种体感交互的方法及***
CN104616028A (zh) * 2014-10-14 2015-05-13 北京中科盘古科技发展有限公司 基于空间分割学习的人体肢体姿势动作识别方法
CN107609479A (zh) * 2017-08-09 2018-01-19 上海交通大学 基于带有噪声输入的稀疏高斯过程的姿态估计方法及***
CN108062526A (zh) * 2017-12-15 2018-05-22 厦门美图之家科技有限公司 一种人体姿态估计方法及移动终端
CN108304819A (zh) * 2018-02-12 2018-07-20 北京易真学思教育科技有限公司 姿态识别***及方法、存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103646425A (zh) * 2013-11-20 2014-03-19 深圳先进技术研究院 一种体感交互的方法及***
CN104616028A (zh) * 2014-10-14 2015-05-13 北京中科盘古科技发展有限公司 基于空间分割学习的人体肢体姿势动作识别方法
CN107609479A (zh) * 2017-08-09 2018-01-19 上海交通大学 基于带有噪声输入的稀疏高斯过程的姿态估计方法及***
CN108062526A (zh) * 2017-12-15 2018-05-22 厦门美图之家科技有限公司 一种人体姿态估计方法及移动终端
CN108304819A (zh) * 2018-02-12 2018-07-20 北京易真学思教育科技有限公司 姿态识别***及方法、存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郭钧 等: "基于多神经网络融合的运动人体姿态识别" *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112102947A (zh) * 2020-04-13 2020-12-18 国家体育总局体育科学研究所 用于身体姿态评估的装置和方法
CN112102947B (zh) * 2020-04-13 2024-02-13 国家体育总局体育科学研究所 用于身体姿态评估的装置和方法
CN111899192A (zh) * 2020-07-23 2020-11-06 北京字节跳动网络技术有限公司 交互方法、装置、电子设备及计算机可读存储介质
CN111899192B (zh) * 2020-07-23 2022-02-01 北京字节跳动网络技术有限公司 交互方法、装置、电子设备及计算机可读存储介质
US11842425B2 (en) 2020-07-23 2023-12-12 Beijing Bytedance Network Technology Co., Ltd. Interaction method and apparatus, and electronic device and computer-readable storage medium
CN111931725A (zh) * 2020-09-23 2020-11-13 北京无垠创新科技有限责任公司 人体动作识别方法、设备及存储介质
CN111931725B (zh) * 2020-09-23 2023-10-13 北京无垠创新科技有限责任公司 人体动作识别方法、设备及存储介质
CN113190104A (zh) * 2021-01-18 2021-07-30 郭奕忠 智能设备利用视觉分析识别人物动作实现人机交互的方法
CN114393575A (zh) * 2021-12-17 2022-04-26 重庆特斯联智慧科技股份有限公司 基于用户姿势高效能识别的机器人控制方法和***
CN114393575B (zh) * 2021-12-17 2024-04-02 重庆特斯联智慧科技股份有限公司 基于用户姿势高效能识别的机器人控制方法和***
CN115270997A (zh) * 2022-09-20 2022-11-01 中国人民解放军32035部队 基于迁移学习的火箭目标姿态稳定判别方法及相关装置
CN115270997B (zh) * 2022-09-20 2022-12-27 中国人民解放军32035部队 基于迁移学习的火箭目标姿态稳定判别方法及相关装置

Similar Documents

Publication Publication Date Title
CN109359538B (zh) 卷积神经网络的训练方法、手势识别方法、装置及设备
CN110858277A (zh) 一种获得姿态分类模型的方法以及装置
JP6636154B2 (ja) 顔画像処理方法および装置、ならびに記憶媒体
CN108701376B (zh) 三维图像的基于识别的对象分割
Oreifej et al. Hon4d: Histogram of oriented 4d normals for activity recognition from depth sequences
WO2018177379A1 (zh) 手势识别、控制及神经网络训练方法、装置及电子设备
Singh et al. Muhavi: A multicamera human action video dataset for the evaluation of action recognition methods
US9710698B2 (en) Method, apparatus and computer program product for human-face features extraction
Li et al. Finding the secret of image saliency in the frequency domain
CN109684925B (zh) 一种基于深度图像的人脸活体检测方法及设备
CN108229324B (zh) 手势追踪方法和装置、电子设备、计算机存储介质
WO2019133403A1 (en) Multi-resolution feature description for object recognition
US9639943B1 (en) Scanning of a handheld object for 3-dimensional reconstruction
GB2555136A (en) A method for analysing media content
CN107358189B (zh) 一种基于多视目标提取的室内环境下物体检测方法
JP2007148663A (ja) オブジェクト追跡装置及びオブジェクト追跡方法、並びにプログラム
Li et al. Treat samples differently: Object tracking with semi-supervised online covboost
US11157765B2 (en) Method and system for determining physical characteristics of objects
CN108229281B (zh) 神经网络的生成方法和人脸检测方法、装置及电子设备
JP2013037539A (ja) 画像特徴量抽出装置およびそのプログラム
US20220207917A1 (en) Facial expression image processing method and apparatus, and electronic device
Jetley et al. 3D activity recognition using motion history and binary shape templates
CN112965602A (zh) 一种基于手势的人机交互方法及设备
Fan et al. A feature-based object tracking approach for realtime image processing on mobile devices
CN112580395A (zh) 基于深度信息的3d人脸活体识别方法、***、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination