WO2020252918A1 - 基于人体的姿态识别方法、装置、设备及存储介质 - Google Patents

基于人体的姿态识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
WO2020252918A1
WO2020252918A1 PCT/CN2019/103266 CN2019103266W WO2020252918A1 WO 2020252918 A1 WO2020252918 A1 WO 2020252918A1 CN 2019103266 W CN2019103266 W CN 2019103266W WO 2020252918 A1 WO2020252918 A1 WO 2020252918A1
Authority
WO
WIPO (PCT)
Prior art keywords
action
sample
recognized
human body
actions
Prior art date
Application number
PCT/CN2019/103266
Other languages
English (en)
French (fr)
Inventor
郭玲玲
Original Assignee
平安科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN201910534824.XA external-priority patent/CN110399794B/zh
Application filed by 平安科技（深圳）有限公司 filed Critical 平安科技（深圳）有限公司
Publication of WO2020252918A1 publication Critical patent/WO2020252918A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Definitions

  • This application relates to the field of Internet technology, and in particular to a method, device, equipment and storage medium for posture recognition based on the human body.
  • FIG. 3B shows a schematic structural diagram of a human body-based gesture recognition device provided by an embodiment of the present application
  • FIG. 3F shows a schematic structural diagram of a human body-based gesture recognition device provided by an embodiment of the present application.
  • FIG. 3G shows a schematic structural diagram of a human body-based gesture recognition device provided by an embodiment of the present application.
  • each action needs to set the reaction time, therefore, set a timer, start the timer when the game starts, and the subsequent timer duration reaches the duration
  • the threshold is set, image acquisition of the area to be recognized is started.
  • the timing duration of the timer reaches the duration threshold, image acquisition is performed on the area to be identified, and the target in the area to be identified is used as the pattern to be identified, so that the pattern to be identified can be identified later.
  • Step 1 Determine the preset ratio, and adjust the sample action and the action to be recognized to the size indicated by the preset ratio.
  • the method provided by the embodiment of the application generates the behavior to be recognized by recognizing the pattern to be recognized, and determines the target sample action that is most similar to the behavior to be recognized among a plurality of sample actions.
  • the target sample action is in the game interface
  • the pattern in the game interface can be eliminated, and the pattern can be eliminated without equipping the designated hardware device, which reduces the limitations of the game and improves user viscosity.
  • the acquiring unit 3011 is configured to acquire a plurality of preset joints, and map the plurality of preset joints to the pattern to be recognized;
  • the extracting unit 3012 is configured to extract the plurality of preset joints in the to-be-recognized pattern; Identify multiple mapping points in the pattern, and use the multiple mapping points as the multiple key points of the human body.
  • the first calculation module 303 includes: an adjustment unit 3031, a selection unit 3032, a statistics unit 3033, and a calculation unit 3034.
  • the acquiring module 307 is configured to acquire a standard gradient, which indicates the corresponding relationship between the action similarity interval and the standard level; the second determining module 308, is configured to determine the target sample according to the standard gradient
  • the target action similarity interval corresponding to the action, the range indicated by the target action similarity interval includes the action similarity of the target sample action;
  • the display module 309 is used to obtain the target standard level corresponding to the target action similarity interval , To show the target standard level to the user.
  • the elimination module 310 is configured to add the target sample action and the adjacent sample action in the game interface if the adjacent sample action of the target sample action in the game interface is the same as the target sample action The corresponding pattern is eliminated; the second generating module 311 is configured to generate and display a failure response if the adjacent sample action of the target sample action in the game interface is different from the target sample action.
  • the device further includes: an extraction module 312, a second calculation module 313, a third generation module 314, and an operation module 315.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种基于人体的姿态识别方法、装置、设备及非易失性可读存储介质，涉及互联网技术领域，在多个样本动作中确定与待识别行为动作最为相近的目标样本动作，从而实现图案的消除，无需装备指定的硬件设备，降低游戏的局限性，提高用户粘度。所述方法包括：获取待识别图案，进行识别，得到多个人体关键点（101）；对多个人体关键点进行连线，生成待识别行为动作（102）；计算待识别动作与多个样本动作的多个动作相似度（103）；根据多个动作相似度，在多个样本动作中确定目标样本动作（104）。

Description

基于人体的姿态识别方法、装置、设备及存储介质
本申请要求与2019年6月20日提交中国专利局、申请号为201910534824.X、申请名称为“基于人体的姿态识别方法、装置、设备及存储介质”的中国专利申请的优先权，其全部内容通过引用结合在申请中。
技术领域
本申请涉及互联网技术领域，特别是涉及一种基于人体的姿态识别方法、装置、设备及存储介质。
背景技术
随着互联网技术的不断发展，智能终端日益普及，成为人们生活和工作中必不可少的一部分。为了提升用户在生活中的乐趣，将智能终端的趣味性也作为智能终端的一种特性，从而吸引用户，智能终端通常可提供一些休闲游戏。其中，以图案消除为基本玩法的消消乐游戏即为智能终端提供的一种网络休闲游戏。
相关技术中，消消乐游戏画面精美、上手简单，包括平面类和体感类的消消乐。在平面类消消乐中，玩家通过智能终端滑动手指或者鼠标点击或者将两个或多个相同的图案横竖相连即可消除；在体感类消消乐中，玩家手持指定的硬件设备做出存在两个或多个相同的图案所示的姿势即可消除该图案，并完成每关的指定消除目标便可以通过并进入下一关。
在实现本申请的过程中，申请人发现相关技术至少存在以下问题：
在体感消消乐中，需要装备指定的硬件设备才可以实现图案的消除，否则无法进行正常的游戏，导致游戏的局限性较高，用户粘度较低。
发明内容
有鉴于此，本申请提供了一种基于人体的姿态识别方法、装置、设备及存储介质，主要目的在于解决目前需要装备指定的硬件设备才可以实现图案的消除，否则无法进行正常的游 戏的问题。
依据本申请第一方面，提供了一种基于人体的姿态识别方法，该方法包括：
获取待识别区域中的待识别图案，对所述待识别图案进行识别，得到多个人体关键点；按照人体构造对所述多个人体关键点进行连线，生成待识别行为动作，所述待识别行为动作由所述多个人体关键点以及所述多个人体关键点之间的连线构成；确定多个样本动作，计算所述待识别动作与所述多个样本动作的多个动作相似度，所述多个样本动作中的每个样本动作由所述样本动作的多个样本关键点和所述多个样本关键点之间的连线构成；根据所述多个动作相似度，在所述多个样本动作中确定目标样本动作，所述目标样本动作的动作相似度符合识别标准。
依据本申请第二方面，提供了一种基于人体的姿态识别装置，该装置包括：
识别模块，用于获取待识别区域中的待识别图案，对所述待识别图案进行识别，得到多个人体关键点；第一生成模块，用于按照人体构造对所述多个人体关键点进行连线，生成待识别行为动作，所述待识别行为动作由所述多个人体关键点以及所述多个人体关键点之间的连线构成；第一计算模块，用于确定多个样本动作，计算所述待识别动作与所述多个样本动作的多个动作相似度，所述多个样本动作中的每个样本动作由所述样本动作的多个样本关键点和所述多个样本关键点之间的连线构成；第一确定模块，用于根据所述多个动作相似度，在所述多个样本动作中确定目标样本动作，所述目标样本动作的动作相似度符合识别标准。
依据本申请第三方面，提供了一种设备，包括存储器和处理器，所述存储器存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现上述第一方面所述方法的步骤。
依据本申请第四方面，提供了一种非易失性可读存储介质，其上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现上述第一方面所述的方法的步骤。
借由上述技术方案，本申请提供的一种基于人体的姿态识别方法、装置、设备及存储介质，与目前需要装备指定的硬件设备才可以实现图案的消除的方式相比，本申请通过对待识 别图案的识别，生成待识别行为动作，并在多个样本动作中确定与待识别行为动作最为相近的目标样本动作，从而实现游戏界面中图案的消除，无需装备指定的硬件设备即可实现图案消除，降低游戏的局限性，提高用户粘度。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本申请实施例提供的一种基于人体的姿态识别方法流程示意图；
图2示出了本申请实施例提供的一种基于人体的姿态识别方法流程示意图；
图3A示出了本申请实施例提供的一种基于人体的姿态识别装置的结构示意图；
图3B示出了本申请实施例提供的一种基于人体的姿态识别装置的结构示意图；
图3C示出了本申请实施例提供的一种基于人体的姿态识别装置的结构示意图；
图3D示出了本申请实施例提供的一种基于人体的姿态识别装置的结构示意图；
图3E示出了本申请实施例提供的一种基于人体的姿态识别装置的结构示意图；
图3F示出了本申请实施例提供的一种基于人体的姿态识别装置的结构示意图；
图3G示出了本申请实施例提供的一种基于人体的姿态识别装置的结构示意图；
图3H示出了本申请实施例提供的一种基于人体的姿态识别装置的结构示意图；
图4示出了本申请实施例提供的一种设备的装置结构示意图。
具体实施方式
下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。
本申请实施例提供了一种基于人体的姿态识别方法，可以通过对待识别图案的识别，生成待识别行为动作，并在多个样本动作中确定与待识别行为动作最为相近的目标样本动作，从而实现游戏界面中图案的消除，达到了无需装备指定的硬件设备即可实现图案消除，降低游戏的局限性，提高用户粘度的目的，如图1所示，该方法包括：
101、获取待识别区域中的待识别图案，对待识别图案进行识别，得到多个人体关键点。
102、按照人体构造对多个人体关键点进行连线，生成待识别行为动作，待识别行为动作由多个人体关键点以及多个人体关键点之间的连线构成。
103、确定多个样本动作，计算待识别动作与多个样本动作的多个动作相似度，多个样本动作中的每个样本动作由样本动作的多个样本关键点和多个样本关键点之间的连线构成。
104、根据多个动作相似度，在多个样本动作中确定目标样本动作，目标样本动作的动作相似度符合识别标准。
本申请实施例提供的方法，可以通过对待识别图案的识别，生成待识别行为动作，并在多个样本动作中确定与待识别行为动作最为相近的目标样本动作，从而实现游戏界面中图案的消除，无需装备指定的硬件设备即可实现图案消除，降低游戏的局限性，提高用户粘度。
本申请实施例提供了一种基于人体的姿态识别方法，可以通过对待识别图案的识别，生成待识别行为动作，并在多个样本动作中确定与待识别行为动作最为相近的目标样本动作，从而实现游戏界面中图案的消除，达到了无需装备指定的硬件设备即可实现图案消除，降低游戏的局限性，提高用户粘度的目的，如图2所示，该方法包括：
201、接收游戏开始指令，确定待识别区域，并启动计时器，当计时器的计时时长达到时长阈值时，对待识别区域进行图像采集，得到待识别图案。
在本申请实施例中，目标市面上的游戏都是由用户控制游戏的开始与结束的，用户通过向游戏下发指令来控制游戏。由于本方案提供了一款体感的游戏模式，因此，在本申请中用户可以使用人体动作对游戏的开始与结束进行控制，这样，便需要在游戏中设置开始动作和结束动作。当用户启动游戏时，游戏所在的设备启动摄像头，基于摄像头采集用户做出的动作，并在采集到用户做出开始动作时，确定接收到游戏开始指令。其中，判断采集到的行为动作与开始动作是否一致的过程与下述步骤202至步骤205中所示的识别待识别图案中动作的过程一致，此处不再进行赘述。当确定接收到游戏开始指令时，便可以开始当前的游戏，由于摄像头可以拍摄的位置是固定的，考虑到用户所处的位置与摄像头之间的距离是会影响摄像头拍摄的画面中用户的大小的，因此，为了避免对摄像头拍摄的整个图像进行识别，无形中增加识别负担，在接收到游戏开始指令时，确定用户所在的区域作为待识别区域，并在后续仅对待识别区域中的动作进行识别。其中，在确定待识别区域时，可以通过目标检测算法来确定。具体过程为：对采集到的图像数据中的目标物进行识别，从而提取到至少一个目标物；随后，基于目标检测算法，对提取到的至少一个目标物进行识别，将识别得到的具有人体特征的目标物所在的区域作为待识别区域。其中，可以根据识别得到的具有人体特征的目标物的边缘进行划分，从而得到待识别区域。例如，选取具有人体特征的目标物在上下左右四个方向最边缘的点，分别沿着左右两侧的点作垂直的直线，沿着上下两侧的点作平行的直线，基于四条直线组成待识别区域。考虑到用户可能不会在第一时间做出相应的动作，每一个动作都需要设定反应时间，因此，设置计时器，当游戏开始时启动计时器，并在后续计时器的计时时长达到时长阈值时，开始对待识别区域进行图像采集。当计时器的计时时长达到时长阈值时，对待识别区域进行图像采集，将待识别区域中的目标物作为待识别图案，以便在后续对待识别图案进行识别。
202、对待识别图案进行识别，得到多个人体关键点。
在本申请实施例中，由于待识别图案是用户按照游戏的指示做出的动作，而实际上人体的构造是一成不变的，只是用户通过人体关节改变身体的姿势实现动作的呈现的，因此，不同的动作是存在不同的关键点的，通过提取待识别图案中的人体关键点，实现对待识别图案的识别。其中，在提取人体关键点时，可以采用下述两种方法：
第一种方法，将待识别图案输入至STN(Spatial Transform Networks，空间变换网络)+SPPE(Single Person Pose Estimation，单人姿态估计)模块中，由该模块自动检测该待识别图案中的人体姿态；随后，通过PP-NMS(Parametric Pose-Non Maximum Suppression，参数化姿态非最大抑制)模块对人体姿态进行训练，从而得到该人体姿态中的至少一个人体关键点。需要说明的是，在训练的过程中，可以使用Parallel(平行)SPPE来避免局部最优并进一步提升STN的效果。第二种方法，设置多个预设关节。在对待识别图案进行识别时，获取多个预设关节，将多个预设关节映射至待识别图案中，并提取多个预设关节在待识别图案中的多个映射点，将多个映射点作为多个人体关键点。例如，预设关节可为头、左肩关节、右肩关节、颈关节、腰关节、膝关节、左手腕关节、右手腕关键、左手肘关节、右手肘关节、左脚腕关节、右脚腕关节，并依次在待识别图片的动作中提取上述关节映射的点作为人体关键点。通过上述两种方法中的任一种方法，便可以提取到多个人体关键点。随后，便可以按照人体构造对多个人体关键点进行连线，从而得到待识别行为动作。
203、按照人体构造对多个人体关键点进行连线，生成待识别行为动作。
在本申请实施例中，当提取到待识别图案中的多个人体关键点后，便可以通过对人体关键点的连线来还原出用户所做的动作，也即待识别行为动作由多个人体关键点以及多个人体关键点之间的连线构成。其中，在对多个人体关键点进行连线时，由于多个点之间是可以建立多种连线方式的，但是符合人体的构造，保证连线是可以表示人体的某个结构的连线方式只有一种，例如，只有将腕关节的人体关键点和肘关节的人体关键点连线才可以表示人体的 胳膊，因此，按照人体构造对多个人体关键点进行连线只会有一种方式，这样，在连线后，便可以基于人体关键点和连线表现出待识别行为动作。
204、确定多个样本动作，计算待识别动作与多个样本动作的多个动作相似度。
在本申请实施例中，由于用户所做的动作都是按照游戏界面中提供的样本动作做出来的，因此，在提取到待识别行为动作后，便可以将待识别行为动作与多个样本动作进行比对，从而实现对待识别动作的识别。在实际应用的过程中，样本动作可为瑜伽动作、健美操动作、缓解肩部颈椎腰椎等动作，达到在游戏中锻炼身体的目的。其中，由于待识别动作是基于至少一个人体关键点表现出来的，因此，可以基于至少一个人体关键点来计算待识别动作与多个样本动作之间的动作相似度，以便后续基于动作相似度来确定用户做的是哪一个动作。需要说明的是，多个样本动作中的每个样本动作由样本动作的多个样本关键点和多个样本关键点之间的连线构成，这样，便可通过人体关键点和样本关键点来计算动作相似度。具体地，在计算动作相似度时，对于多个样本动作中的每个样本动作，都可以采用下述步骤一至步骤三中的过程来计算样本动作与待识别动作之间的动作相似度。
步骤一、确定预设比例，将样本动作和待识别动作调整至预设比例指示的大小。
考虑到用户与摄像头之间的距离不是固定的，用户是不断移动的，因此，在将识别到的用户的待识别动作与样本动作进行比对时，需要对待识别动作的大小进行调整，保证待识别动作与样本动作是一样大的，从而保证对待识别动作进行识别的准确性。其中，可以设置预设比例，将样本动作和待识别动作都调整至预设比例指示的大小。
步骤二、分别为样本动作和待识别动作选取中心点，采用中心点重合的方式将样本动作和待识别动作叠加，统计样本动作的多个样本关键点与待识别动作的人体关键点重合的点的第一个数，并统计多个人体关键点的第二个数。
由于确定样本动作与待识别动作的相似程度最直观的方法是将样本动作与待识别动作叠加，根据叠加的具体情况来判断，因此，为了保证叠加时的准确定，可以分别为样本动作 和待识别动作选取中心点，采用中心点重合的方式将样本动作和待识别动作叠加。其中，还可以设置一个平面直角坐标系，将待识别动作的中心点和样本动作的中心点置于该平面直角坐标系中的相同坐标点，使得待识别动作与样本动作叠加起来。在选取中心点时，可以按照动作的边缘将动作置于四边形中，并将四边形的中心点作为该动作的中心点。随后，为了计算样本动作与待识别动作之间的动作相似度，可以统计样本动作的多个样本关键点与待识别动作的人体关键点重合的点的第一个数，并统计多个人体关键点的第二个数，并在后续基于代表重合情况的第一个数，来计算待识别动作与样本动作的动作相似度。
步骤三、计算第一个数与第二个数的个数比值，将个数比值作为样本动作与待识别动作的动作相似度。
当统计得到第一个数和第二个数后，便可以计算第一个数与第二个数的个数比值，将个数比值作为样本动作与待识别动作的动作相似度。例如，设第一个数为6，第二个数为10，则计算得到的动作相似度便可为6/10＝0.6。重复执行上述计算动作相似度的过程，得到待识别动作与多个样本动作的多个动作相似度，这样，后续便可以根据待识别动作与每个样本动作之间的动作相似度确定用户当前正在做的动作是哪一个样本动作，保证游戏的正常运行。
205、按照多个动作相似度从大到小的顺序，对多个样本动作进行排序，得到排序结果，将排序结果中排在首位的样本动作作为目标样本动作。
在本申请实施例中，当计算得到待识别动作与多个样本动作的多个动作相似度后，便可以基于动作相似度对待识别动作进行识别。由于动作相似度越高的样本动作也即用户正在做的动作，因此，可以按照多个动作相似度从大到小的顺序，对多个样本动作进行排序，得到排序结果，将排序结果中排在首位的样本动作作为目标样本动作，从而在后续基于该目标样本动作判断是否可以执行图案的消除操作。
206、获取标准梯度，按照标准梯度，确定目标样本动作对应的目标动作相似度区间，获取目标动作相似度区间对应的目标标准等级，将目标标准等级展示给用户。
在本申请实施例中，考虑到用户做出的动作可能并不是很标准的，需要对用户及时进行纠正，而将相似度展示给用户可能导致用户无法明确自己所做的动作的标准程度，可以设置一个标准梯度，用标准梯度规定动作相似度区间与标准等级之间的对应关系，并根据工作相似度确定该待识别行为动作所属的目标标准等级，将该目标标准等级展示给用户，从而使用户知晓动作的标准性，使得用户可以基于该目标标准梯度知晓动作哪里不标准，实现对动作的纠正。具体地，标准梯度可以包括精准、中级、及格以及不及格；其中，动作相似度在【100％-90％】之间可为精准；动作相似度在【90％至70％】可为中级；动作相似度在【70％至60％】可为及格；动作相似度在【60％至0】可为不及格。需要说明的是，该标准梯度可由游戏默认设置，也可由用户自行设置。这样，便可以按照标准梯度，确定目标样本动作对应的目标动作相似度区间，获取目标动作相似度区间对应的目标标准等级，将目标标准等级展示给用户。其中，目标动作相似度区间指示的范围也即包括目标样本动作的动作相似度。根据标准梯度可以确定用户所做的待识别动作的标准程度。需要说明的是，游戏中还可以设置标准度较低时需要用户重新做动作的机制，以便将对用户的动作进行纠正的操作落实，提高执行力。例如，可以设置如果根据动作相似度确定待识别动作所在梯度为精准或中级，则显示精准提醒或中级提醒，用户可以继续游戏的操作；如果根据动作相似度确定待识别动作所在梯度为及格或不及格，则显示及格提醒或者不及格提醒，提示用户不能消除，需要重新做出相应的动作。
207、确定目标样本动作在游戏界面中的相邻样本动作与目标样本动作是否相同，如果目标样本动作在游戏界面中的相邻样本动作与目标样本动作相同，则执行下述步骤208；如果目标样本动作在游戏界面中的相邻样本动作与目标样本动作不相同，则执行下述步骤209。
在本申请实施例中，由于图案消除所遵循的规则是诸如消消乐游戏的消除规则，也即需要图案相邻才可以消除，因此，在确定了目标样本动作后，需要确定目标样本动作在游戏界面中的相邻样本动作与目标样本动作是否相同，进而判断是否可以将目标样本动作和与其相 邻的样本动作一起消除。需要说明的是，与目标样本动作相邻表示可以在目标样本动作的右侧相邻、左侧相邻、上面相邻以及下面相邻，本申请对此不进行具体限定。如果目标样本动作在游戏界面中的相邻样本动作与目标样本动作相同，则表示该目标样本动作在游戏界面中是满足被消除的条件的，因此，可以执行该目标样本动作的消除，也即执行下述步骤208。如果目标样本动作在游戏界面中的相邻样本动作与目标样本动作不相同，则表示该目标样本动作在游戏界面中是不满足被消除的条件的，不能进行目标样本动作的消除，需要用户再做其他的动作，也即执行下述步骤209。
208、如果目标样本动作在游戏界面中的相邻样本动作与目标样本动作相同，则将目标样本动作和相邻样本动作在游戏界面中对应的图案消除。
在本申请实施例中，如果目标样本动作在游戏界面中的相邻样本动作与目标样本动作相同，则表示该目标样本动作在游戏界面中是满足被消除的条件的，因此，可以执行该目标样本动作的消除，这样，将目标样本动作和相邻样本动作在游戏界面中对应的图案消除即可。
209、如果目标样本动作在游戏界面中的相邻样本动作与目标样本动作不相同，则生成并展示失败响应。
在本申请实施例中，如果目标样本动作在游戏界面中的相邻样本动作与目标样本动作不相同，则表示该目标样本动作在游戏界面中是不满足被消除的条件的，不能进行目标样本动作的消除，需要用户再做其他的动作，因此，生成并展示失败响应，以便提醒用户做其他的动作，并继续执行上述过程，对用户的动作进行识别。在实际应用的过程中，为了提醒用户进行休息，避免用户的运动过量，可设置多个样本特征，通过将用户当前的表情与样本特征进行比对，来确定用户是否疲惫，是否需要休息。其中，在对用户的表情进行识别时，首先，在待识别图案中确定表情区域，提取表情区域的表情特征，表情特征至少包括眉头特征、鼻子特征和嘴唇特征；随后，确定多个样本特征，计算多个样本特征与表情特征的表情相似度。如果表情相似度大于相似度阈值，则表示用户当前已经疲惫，需要休息，生成休息提醒，将 休息提醒展示给用户；如果表情相似度小于相似度阈值，则表示用户当前状态良好，可以继续进行游戏，因此，保持当前的游戏进程。在进行比对并计算相似度时，可以采用上述步骤204中所示方式进行比对和计算，此处不再进行赘述。需要说明的是，游戏中还可以设置结束动作，这样，当识别到用户做出的待识别动作为结束动作时，即可结束游戏。
本申请实施例提供的方法，通过对待识别图案的识别，生成待识别行为动作，并在多个样本动作中确定与待识别行为动作最为相近的目标样本动作，当目标样本动作在游戏界面中的相邻样本动作与目标样本动作相同时，实现游戏界面中图案的消除，无需装备指定的硬件设备即可实现图案消除，降低游戏的局限性，提高用户粘度。
进一步地，作为图1所述方法的具体实现，本申请实施例提供了一种基于人体的姿态识别装置，如图3A所示，所述装置包括：识别模块301，第一生成模块302，第一计算模块303和第一确定模块304。
该识别模块301，用于获取待识别区域中的待识别图案，对所述待识别图案进行识别，得到多个人体关键点；该第一生成模块302，用于按照人体构造对所述多个人体关键点进行连线，生成待识别行为动作，所述待识别行为动作由所述多个人体关键点以及所述多个人体关键点之间的连线构成；该第一计算模块303，用于确定多个样本动作，计算所述待识别动作与所述多个样本动作的多个动作相似度，所述多个样本动作中的每个样本动作由所述样本动作的多个样本关键点和所述多个样本关键点之间的连线构成；该第一确定模块304，用于根据所述多个动作相似度，在所述多个样本动作中确定目标样本动作，所述目标样本动作的动作相似度符合识别标准。
在具体的应用场景中，如图3B所示，该装置还包括：接收模块305和采集模块306。
该接收模块305，用于接收游戏开始指令，确定所述待识别区域，并启动计时器；该采集模块306，用于当所述计时器的计时时长达到时长阈值时，对所述待识别区域进行图像采集，得到所述待识别图案。
在具体的应用场景中，如图3C所示，该识别模块301，包括：获取单元3011和提取单元3012。
该获取单元3011，用于获取多个预设关节，将所述多个预设关节映射至所述待识别图案中；该提取单元3012，用于提取所述多个预设关节在所述待识别图案中的多个映射点，将所述多个映射点作为所述多个人体关键点。
在具体的应用场景中，如图3D所示，该第一计算模块303，包括：调整单元3031，选取单元3032，统计单元3033，计算单元3034。
该调整单元3031，用于对于所述多个样本动作中的每个样本动作，确定预设比例，将所述样本动作和所述待识别动作调整至所述预设比例指示的大小；该选取单元3032，用于分别为所述样本动作和所述待识别动作选取中心点，采用中心点重合的方式将所述样本动作和所述待识别动作叠加；该统计单元3033，用于统计所述样本动作的多个样本关键点与所述待识别动作的人体关键点重合的点的第一个数，并统计所述多个人体关键点的第二个数；该计算单元3034，用于计算所述第一个数与所述第二个数的个数比值，将所述个数比值作为所述样本动作与所述待识别动作的动作相似度；该调整单元3031，还用于重复执行上述计算动作相似度的过程，得到所述待识别动作与所述多个样本动作的多个动作相似度。
在具体的应用场景中，如图3E所示，该第一确定模块304，包括：排序单元3041和确定单元3042。
该排序单元3041，用于按照所述多个动作相似度从大到小的顺序，对所述多个样本动作进行排序，得到排序结果；该确定单元3042，用于将所述排序结果中排在首位的样本动作作为所述目标样本动作。
在具体的应用场景中，如图3F所示，该装置还包括：获取模块307，第二确定模块308和展示模块309。
该获取模块307，用于获取标准梯度，所述标准梯度指示了动作相似度区间与标准等级 之间的对应关系；该第二确定模块308，用于按照所述标准梯度，确定所述目标样本动作对应的目标动作相似度区间，所述目标动作相似度区间指示的范围包括所述目标样本动作的动作相似度；该展示模块309，用于获取所述目标动作相似度区间对应的目标标准等级，将所述目标标准等级展示给用户。
在具体的应用场景中，如图3G所示，该装置还包括：消除模块310和第二生成模块311。
该消除模块310，用于如果所述目标样本动作在游戏界面中的相邻样本动作与所述目标样本动作相同，则将所述目标样本动作和所述相邻样本动作在所述游戏界面中对应的图案消除；该第二生成模块311，用于如果所述目标样本动作在所述游戏界面中的相邻样本动作与所述目标样本动作不相同，则生成并展示失败响应。
在具体的应用场景中，如图3H所示，该装置还包括：提取模块312，第二计算模块313，第三生成模块314和运行模块315。
该提取模块312，用于在所述待识别图案中确定表情区域，提取所述表情区域的表情特征，所述表情特征至少包括眉头特征、鼻子特征和嘴唇特征；该第二计算模块313，用于确定多个样本特征，计算所述多个样本特征与所述表情特征的表情相似度；该第三生成模块314，用于如果所述表情相似度大于相似度阈值，则生成休息提醒，将所述休息提醒展示给用户；该运行模块315，用于如果所述表情相似度小于所述相似度阈值，则保持当前的游戏进程。
本申请实施例提供的装置，通过对待识别图案的识别，生成待识别行为动作，并在多个样本动作中确定与待识别行为动作最为相近的目标样本动作，当目标样本动作在游戏界面中的相邻样本动作与目标样本动作相同时，实现游戏界面中图案的消除，无需装备指定的硬件设备即可实现图案消除，降低游戏的局限性，提高用户粘度。
需要说明的是，本申请实施例提供的一种基于人体的姿态识别装置所涉及各功能单元的其他相应描述，可以参考图1和图2中的对应描述，在此不再赘述。
在示例性实施例中，参见图4，还提供了一种设备，该设备400包括通信总线、处理器、 存储器和通信接口，还可以包括、输入输出接口和显示设备，其中，各个功能单元之间可以通过总线完成相互间的通信。该存储器存储有计算机可读指令，处理器，用于执行存储器上所存放的计算机可读指令，执行上述实施例中的基于人体的姿态识别方法。一种非易失性可读存储介质，其上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现所述的基于人体的姿态识别方法的步骤。通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施场景所述的方法。本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本申请所必须的。本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。上述本申请序号仅仅为了描述，不代表实施场景的优劣。以上公开的仅为本申请的几个具体实施场景，但是，本申请并非局限于此，任何本领域的技术人员能思之的变化都应落入本申请的保护范围。

Claims (20)

  1. 一种基于人体的姿态识别方法，其特征在于，包括：
    获取待识别区域中的待识别图案，对所述待识别图案进行识别，得到多个人体关键点；
    按照人体构造对所述多个人体关键点进行连线，生成待识别行为动作，所述待识别行为动作由所述多个人体关键点以及所述多个人体关键点之间的连线构成；
    确定多个样本动作，计算所述待识别动作与所述多个样本动作的多个动作相似度，所述多个样本动作中的每个样本动作由所述样本动作的多个样本关键点和所述多个样本关键点之间的连线构成；
    根据所述多个动作相似度，在所述多个样本动作中确定目标样本动作，所述目标样本动作的动作相似度符合识别标准。
  2. 根据权利要求1所述的方法，其特征在于，所述获取待识别区域中的待识别图案，对所述待识别图案进行识别，得到多个人体关键点之前，包括：
    接收游戏开始指令，确定所述待识别区域，并启动计时器；
    当所述计时器的计时时长达到时长阈值时，对所述待识别区域进行图像采集，得到所述待识别图案。
  3. 根据权利要求1所述的方法，其特征在于，所述获取待识别区域中的待识别图案，对所述待识别图案进行识别，得到多个人体关键点，包括：
    获取多个预设关节，将所述多个预设关节映射至所述待识别图案中；
    提取所述多个预设关节在所述待识别图案中的多个映射点，将所述多个映射点作为所述多个人体关键点。
  4. 根据权利要求1所述的方法，其特征在于，所述确定多个样本动作，计算所述待识别动作与所述多个样本动作的多个动作相似度，包括：
    对于所述多个样本动作中的每个样本动作，确定预设比例，将所述样本动作和所述待识 别动作调整至所述预设比例指示的大小；
    分别为所述样本动作和所述待识别动作选取中心点，采用中心点重合的方式将所述样本动作和所述待识别动作叠加；
    统计所述样本动作的多个样本关键点与所述待识别动作的人体关键点重合的点的第一个数，并统计所述多个人体关键点的第二个数；
    计算所述第一个数与所述第二个数的个数比值，将所述个数比值作为所述样本动作与所述待识别动作的动作相似度；
    重复执行上述计算动作相似度的过程，得到所述待识别动作与所述多个样本动作的多个动作相似度。
  5. 根据权利要求1所述的方法，其特征在于，所述根据所述多个动作相似度，在所述多个样本动作中确定目标样本动作，包括：
    按照所述多个动作相似度从大到小的顺序，对所述多个样本动作进行排序，得到排序结果；
    将所述排序结果中排在首位的样本动作作为所述目标样本动作。
  6. 根据权利要求1所述的方法，其特征在于，所述根据所述多个动作相似度，在所述多个样本动作中确定目标样本动作之后，所述方法还包括：
    获取标准梯度，所述标准梯度指示了动作相似度区间与标准等级之间的对应关系；
    按照所述标准梯度，确定所述目标样本动作对应的目标动作相似度区间，所述目标动作相似度区间指示的范围包括所述目标样本动作的动作相似度；
    获取所述目标动作相似度区间对应的目标标准等级，将所述目标标准等级展示给用户。
  7. 根据权利要求1所述的方法，其特征在于，所述方法还包括：
    如果所述目标样本动作在游戏界面中的相邻样本动作与所述目标样本动作相同，则将所述目标样本动作和所述相邻样本动作在所述游戏界面中对应的图案消除；
    如果所述目标样本动作在所述游戏界面中的相邻样本动作与所述目标样本动作不相同，则生成并展示失败响应。
  8. 根据权利要求1所述的方法，其特征在于，所述方法还包括：
    在所述待识别图案中确定表情区域，提取所述表情区域的表情特征，所述表情特征至少包括眉头特征、鼻子特征和嘴唇特征；
    确定多个样本特征，计算所述多个样本特征与所述表情特征的表情相似度；
    如果所述表情相似度大于相似度阈值，则生成休息提醒，将所述休息提醒展示给用户；
    如果所述表情相似度小于所述相似度阈值，则保持当前的游戏进程。
  9. 一种基于人体的姿态识别装置，其特征在于，包括：
    识别模块，用于获取待识别区域中的待识别图案，对所述待识别图案进行识别，得到多个人体关键点；
    第一生成模块，用于按照人体构造对所述多个人体关键点进行连线，生成待识别行为动作，所述待识别行为动作由所述多个人体关键点以及所述多个人体关键点之间的连线构成；
    第一计算模块，用于确定多个样本动作，计算所述待识别动作与所述多个样本动作的多个动作相似度，所述多个样本动作中的每个样本动作由所述样本动作的多个样本关键点和所述多个样本关键点之间的连线构成；
    第一确定模块，用于根据所述多个动作相似度，在所述多个样本动作中确定目标样本动作，所述目标样本动作的动作相似度符合识别标准。
  10. 根据权利要求9所述的装置，其特征在于，所述装置还包括：
    接收模块，用于接收游戏开始指令，确定所述待识别区域，并启动计时器；
    采集模块，用于当所述计时器的计时时长达到时长阈值时，对所述待识别区域进行图像采集，得到所述待识别图案。
  11. 根据权利要求9所述的装置，其特征在于，所述识别模块，包括：
    获取单元，用于获取多个预设关节，将所述多个预设关节映射至所述待识别图案中；
    提取单元，用于提取所述多个预设关节在所述待识别图案中的多个映射点，将所述多个映射点作为所述多个人体关键点。
  12. 根据权利要求9所述的装置，其特征在于，所述第一计算模块，包括：
    调整单元，用于对于所述多个样本动作中的每个样本动作，确定预设比例，将所述样本动作和所述待识别动作调整至所述预设比例指示的大小；
    选取单元，用于分别为所述样本动作和所述待识别动作选取中心点，采用中心点重合的方式将所述样本动作和所述待识别动作叠加；
    统计单元，用于统计所述样本动作的多个样本关键点与所述待识别动作的人体关键点重合的点的第一个数，并统计所述多个人体关键点的第二个数；
    计算单元，用于计算所述第一个数与所述第二个数的个数比值，将所述个数比值作为所述样本动作与所述待识别动作的动作相似度；
    所述调整单元，还用于重复执行上述计算动作相似度的过程，得到所述待识别动作与所述多个样本动作的多个动作相似度。
  13. 根据权利要求9所述的装置，其特征在于，所述第一确定模块，包括：
    排序单元，用于按照所述多个动作相似度从大到小的顺序，对所述多个样本动作进行排序，得到排序结果；
    确定单元，用于将所述排序结果中排在首位的样本动作作为所述目标样本动作。
  14. 根据权利要求9所述的装置，其特征在于，所述装置还包括：
    获取模块，用于获取标准梯度，所述标准梯度指示了动作相似度区间与标准等级之间的对应关系；
    第二确定模块，用于按照所述标准梯度，确定所述目标样本动作对应的目标动作相似度区间，所述目标动作相似度区间指示的范围包括所述目标样本动作的动作相似度；
    展示模块，用于获取所述目标动作相似度区间对应的目标标准等级，将所述目标标准等级展示给用户。
  15. 一种设备，包括存储器和处理器，所述存储器存储有计算机可读指令，其特征在于，所述处理器执行所述计算机可读指令时实现基于人体的姿态识别方法，包括：
    获取待识别区域中的待识别图案，对所述待识别图案进行识别，得到多个人体关键点；按照人体构造对所述多个人体关键点进行连线，生成待识别行为动作，所述待识别行为动作由所述多个人体关键点以及所述多个人体关键点之间的连线构成；确定多个样本动作，计算所述待识别动作与所述多个样本动作的多个动作相似度，所述多个样本动作中的每个样本动作由所述样本动作的多个样本关键点和所述多个样本关键点之间的连线构成；根据所述多个动作相似度，在所述多个样本动作中确定目标样本动作，所述目标样本动作的动作相似度符合识别标准。
  16. 根据权利要求15所述的设备，其特征在于，所述获取待识别区域中的待识别图案，对所述待识别图案进行识别，得到多个人体关键点之前，包括：
    接收游戏开始指令，确定所述待识别区域，并启动计时器；当所述计时器的计时时长达到时长阈值时，对所述待识别区域进行图像采集，得到所述待识别图案。
  17. 根据权利要求15所述的设备，其特征在于，所述获取待识别区域中的待识别图案，对所述待识别图案进行识别，得到多个人体关键点，包括：
    获取多个预设关节，将所述多个预设关节映射至所述待识别图案中；
    提取所述多个预设关节在所述待识别图案中的多个映射点，将所述多个映射点作为所述多个人体关键点。
  18. 一种非易失性可读存储介质，其上存储有计算机可读指令，其特征在于，所述计算机可读指令被处理器执行时实现基于人体的姿态识别方法，包括：
    获取待识别区域中的待识别图案，对所述待识别图案进行识别，得到多个人体关键点； 按照人体构造对所述多个人体关键点进行连线，生成待识别行为动作，所述待识别行为动作由所述多个人体关键点以及所述多个人体关键点之间的连线构成；确定多个样本动作，计算所述待识别动作与所述多个样本动作的多个动作相似度，所述多个样本动作中的每个样本动作由所述样本动作的多个样本关键点和所述多个样本关键点之间的连线构成；根据所述多个动作相似度，在所述多个样本动作中确定目标样本动作，所述目标样本动作的动作相似度符合识别标准。
  19. 根据权利要求18所述的非易失性可读存储介质，其特征在于，所述获取待识别区域中的待识别图案，对所述待识别图案进行识别，得到多个人体关键点之前，包括：
    接收游戏开始指令，确定所述待识别区域，并启动计时器；
    当所述计时器的计时时长达到时长阈值时，对所述待识别区域进行图像采集，得到所述待识别图案。
  20. 根据权利要求18所述的非易失性可读存储介质，其特征在于，所述获取待识别区域中的待识别图案，对所述待识别图案进行识别，得到多个人体关键点，包括：
    获取多个预设关节，将所述多个预设关节映射至所述待识别图案中；
    提取所述多个预设关节在所述待识别图案中的多个映射点，将所述多个映射点作为所述多个人体关键点。
PCT/CN2019/103266 2019-06-20 2019-08-29 基于人体的姿态识别方法、装置、设备及存储介质 WO2020252918A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910534824.XA CN110399794B (zh) 2019-06-20 基于人体的姿态识别方法、装置、设备及存储介质
CN201910534824.X 2019-06-20

Publications (1)

Publication Number Publication Date
WO2020252918A1 true WO2020252918A1 (zh) 2020-12-24

Family

ID=68324167

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/103266 WO2020252918A1 (zh) 2019-06-20 2019-08-29 基于人体的姿态识别方法、装置、设备及存储介质

Country Status (1)

Country Link
WO (1) WO2020252918A1 (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105068662A (zh) * 2015-09-07 2015-11-18 哈尔滨市一舍科技有限公司 一种用于人机交互的电子设备
US20160147307A1 (en) * 2012-10-03 2016-05-26 Rakuten, Inc. User interface device, user interface method, program, and computer-readable information storage medium
CN106200873A (zh) * 2016-07-08 2016-12-07 上海卓易科技股份有限公司 一种移动终端的自动休眠方法及移动终端
CN106547356A (zh) * 2016-11-17 2017-03-29 科大讯飞股份有限公司 智能交互方法和装置
CN108615055A (zh) * 2018-04-19 2018-10-02 咪咕动漫有限公司 一种相似度计算方法、装置及计算机可读存储介质
CN109711271A (zh) * 2018-12-04 2019-05-03 广东智媒云图科技股份有限公司 一种基于关节连接线的动作判断方法及***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160147307A1 (en) * 2012-10-03 2016-05-26 Rakuten, Inc. User interface device, user interface method, program, and computer-readable information storage medium
CN105068662A (zh) * 2015-09-07 2015-11-18 哈尔滨市一舍科技有限公司 一种用于人机交互的电子设备
CN106200873A (zh) * 2016-07-08 2016-12-07 上海卓易科技股份有限公司 一种移动终端的自动休眠方法及移动终端
CN106547356A (zh) * 2016-11-17 2017-03-29 科大讯飞股份有限公司 智能交互方法和装置
CN108615055A (zh) * 2018-04-19 2018-10-02 咪咕动漫有限公司 一种相似度计算方法、装置及计算机可读存储介质
CN109711271A (zh) * 2018-12-04 2019-05-03 广东智媒云图科技股份有限公司 一种基于关节连接线的动作判断方法及***

Also Published As

Publication number Publication date
CN110399794A (zh) 2019-11-01

Similar Documents

Publication Publication Date Title
US20230338778A1 (en) Method and system for monitoring and feed-backing on execution of physical exercise routines
US9195304B2 (en) Image processing device, image processing method, and program
CN112464918B (zh) 健身动作纠正方法、装置、计算机设备和存储介质
WO2020042542A1 (zh) 眼动控制校准数据获取方法和装置
CN110838353B (zh) 动作匹配方法及相关产品
CN110428486B (zh) 虚拟互动的健身方法、电子设备及存储介质
CN109274883B (zh) 姿态矫正方法、装置、终端及存储介质
WO2020042541A1 (zh) 眼球追踪交互方法和装置
KR102356685B1 (ko) 온라인 그룹을 기반으로 하는 홈 트레이닝 제공 시스템 및 그 방법
CN115131879B (zh) 一种动作评价方法及装置
CN112749684A (zh) 心肺复苏术训练和评估的方法及装置、设备、存储介质
CN111223549A (zh) 一种基于姿态矫正的疾病预防的移动端***及方法
CN110314344B (zh) 运动提醒方法、装置及***
CN110007765A (zh) 一种人机交互方法、装置及设备
CN113191200A (zh) 一种俯卧撑测试计数方法、装置、设备和介质
WO2020252918A1 (zh) 基于人体的姿态识别方法、装置、设备及存储介质
CN113842622B (zh) 一种运动教学方法、装置、***、电子设备及存储介质
JP7169718B1 (ja) 情報処理方法、装置及びプログラム
CN110399794B (zh) 基于人体的姿态识别方法、装置、设备及存储介质
CN114241595A (zh) 数据处理方法、装置、电子设备及计算机存储介质
CN113641856A (zh) 用于输出信息的方法和装置
CN112684890A (zh) 一种体检引导的方法、装置、存储介质及电子设备
CN115810099B (zh) 一种用于虚拟沉浸式抑郁症治疗***的图像融合设备
CN112541382B (zh) 一种辅助运动的方法、***以及识别终端设备
CN118039064A (zh) 家用型脊柱康复训练评测管理方法及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19933354

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 01.06.2022)

122 Ep: pct application non-entry in european phase

Ref document number: 19933354

Country of ref document: EP

Kind code of ref document: A1