CN113537128A - 一种基于深度学习姿态评估对连续动作的比对和分析方法、***以及设备 - Google Patents

一种基于深度学习姿态评估对连续动作的比对和分析方法、***以及设备 Download PDF

Info

Publication number
CN113537128A
CN113537128A CN202110862230.9A CN202110862230A CN113537128A CN 113537128 A CN113537128 A CN 113537128A CN 202110862230 A CN202110862230 A CN 202110862230A CN 113537128 A CN113537128 A CN 113537128A
Authority
CN
China
Prior art keywords
video
area
comparing
key points
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110862230.9A
Other languages
English (en)
Inventor
刘师岐
马佳鑫
郭涛涛
戴旭强
赵懿博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Zhongjin Yuneng Education Technology Co ltd
Original Assignee
Guangzhou Zhongjin Yuneng Education Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Zhongjin Yuneng Education Technology Co ltd filed Critical Guangzhou Zhongjin Yuneng Education Technology Co ltd
Priority to CN202110862230.9A priority Critical patent/CN113537128A/zh
Publication of CN113537128A publication Critical patent/CN113537128A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习姿态评估对连续动作的比对和分析方法、***和设备，旨在保障对比分析的准确性；所述方法包括以下步骤：一种基于深度学习姿态评估对连续动作的比对和分析方法，包括以下步骤：步骤1：获取作为评估标准的视频A、待评估的视频B；步骤2：获取视频A、视频B中的每一帧中的关键点，并规划出含该关键点的预设图形；步骤3：获取视频A、视频B中从起始帧到结束帧的过程中，预设图形的移动轨迹形成第一区域、第二区域；步骤4：将第一区域和第二区域进行比对，得到匹配度；属于运动姿态评估技术领域。

Description

一种基于深度学习姿态评估对连续动作的比对和分析方法、 ***以及设备
技术领域
本发明属于运动姿态评估技术领域，更具体而言，涉及一种基于深度学习姿态评估对连续动作的比对和分析方法、***以及设备。
背景技术
目前，人体姿态识别的应用范围十分广泛，可用于人机交互、影视制作、运动分析、游戏娱乐、智能监控等各种领域；目前人体姿态识别主要分为基于计算机视角的识别和基于运动捕获技术的识别。
基于计算机视觉的人体姿态识别，可以比较容易获取人体运动的轨迹、轮廓等信息，但没有办法具体实现表达人体的运动细节，以及容易存在因遮挡而识别错误等问题；基于运动捕获技术的人体姿态识别，则是通过定位人体的关节点、储存关节点运动数据信息来识别人体运动轨迹。
相较于计算机视角的人体姿态识别，基于运动捕获技术的人体姿态识别可以更好地反应人体姿态信息，也可以更好地处理和记录运动细节，不会因为物体颜色而影响运动轨迹的识别。
如发明专利公告号CN108256433B，其公开了一种运动姿态评估方法及***，其是通过将运动姿态信息和姿态特征库进行对比获得第一对比结果、基于第一对比结果将关键点信息与关键点特征库进行对比获得第二对比结果，再通过第二对比结果输出针对所述关键点信息的反馈信息，从而实现运动姿态的评估。
通过上述方案进行运动姿态的评估，其无法对抽取后的帧再进行精细化测算，故而无法保障对比分析的准确性。
发明内容
本发明的主要目的在于提供一种基于深度学习姿态评估对连续动作的比对和分析方法，旨在保障对比分析的准确性；本发明还提供基于该方法的***、设备。
根据本发明的第一方面，提供了一种基于深度学习姿态评估对连续动作的比对和分析方法，包括以下步骤：
步骤1：获取作为评估标准的视频A、待评估的视频B；
步骤2：获取视频A、视频B中的每一帧中的关键点，并规划出含该关键点的预设图形；
步骤3：获取视频A、视频B中从起始帧到结束帧的过程中，预设图形的移动轨迹形成第一区域、第二区域；
步骤4：将第一区域和第二区域进行比对，得到匹配度。
本发明一个特定的实施例中，所述关键点为一个或多个，所述第一区域、第二区域为一个或多个；
判断所述匹配度是否在预设阈值范围内，若是，则视频A、视频B中的该关键点匹配上，若否，则视频A、视频B中的该关键点没有匹配上。
本发明一个特定的实施例中，根据所需评估的动作选择与该动作关联的关键点作为步骤2中的选中的关键点。
本发明一个特定的实施例中，所述步骤4具体为：将第一区域和第二区域进行比对，根据第一区域和第二区域的重合的面积的比例，得到匹配度。
本发明一个特定的实施例中，用户从原始视频中选择一段视频作为视频B；
所述视频B的帧数为n帧，n≥1。
本发明一个特定的实施例中，所述关键点为人体关节点，所述预设图形为方形、扇形、圆形之一。
本发明还提供一种基于深度学习姿态评估对连续动作的比对和分析***，包括如下模块：
视频采集模块：用于采集作为评估标准的视频A、待评估的视频B；
姿态评估模块：用于获取视频A、视频B中的每一帧中的关键点；
第一处理模块：用于规划出的预设图形，一个预设图形含盖一个关键点；
第二处理模块：用于获取视频A、视频B中从起始帧到结束帧的过程中，预设图形的移动轨迹形成第一区域、第二区域；
分析模块：用于对第一区域和第二区域进行比对，得到匹配度。
本发明一个特定的实施例中，还包括人机交互模块：用于显示匹配度、阈值；所述阈值可通过人机交互模块进行修改；所述人机交互模块还可以与视频采集模块进行交互，通过人机交互模块对视频采集模块采集的视频进行处理和匹配。
本发明还提供一种基于深度学习姿态评估对连续动作的比对和分析设备，包括存储器和处理器，所述存储器和所述处理器通信连接；所述存储器存储有可被所述处理器执行的程序指令，所述处理器包括如上所述的比对和分析***，可调用所述程序指令能够执行如上所述的比对和分析方法。
本发明上述技术方案中的一个技术方案至少具有如下优点或有益效果之一：
在本发明中，每一帧的关键点处设置有预设图形，预设图形从起始帧到结束帧的过程中，其移动轨迹会形成区域；视频A中关键点的预设图形的移动轨迹形成第一区域，视频B中的关键点的预设图形的移动轨迹形成第二区域，通过将对应的关键点的第一区域、第二区域进行对比，可得到视频B中该关键点的轨迹与视频A中对应的关键点的轨迹的匹配度，通过对第一区域、第二区域进行对比的方式计算关键点的匹配度，可保障对比分析的准确性。
附图说明
下面结合附图和实施例对本发明进一步地说明；
图1是本发明的实施例1的流程图；
图2是本发明的实施例2的结构图；
图3是本发明的实施例3的结构图。
具体实施方式
下面详细描述本发明的实施方式，实施方式的示例在附图中示出，其中相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”以及“第二”的特征可以明示或者隐含地包括一个或者更多个特征。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“连接”应做广义理解，例如，可以是固定连接或活动连接，也可以是可拆卸连接或不可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接或可以相互通信；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通、间接连通或两个元件的相互作用关系。
下文的公开提供了许多不同的实施方式或例子用来实现本发明的不同方案。
实施例1
参照图1所示，一种基于深度学习姿态评估对连续动作的比对和分析方法，包括以下步骤：
步骤1：获取作为评估标准的视频A、待评估的视频B；
在实际应用中，所述视频A为标准动作的视频，以视频A为标准对视频B的动作进行评估；视频A可以以预存的状态存在，也可以与视频B一起被采集。
步骤2：获取视频A、视频B中的每一帧中的关键点，并规划出含该关键点的预设图形；
关键点，人体姿态的一个俗称，通常对应人体上有一定自由度的关节，比如颈、肩、肘、腕、腰、膝、踝等，单帧的所有关键点组成骨骼模型；
在本实施例中，通过人体姿态评估器获取所述关键点，人体姿态评估器可以将图像中所有人，全部的关键点都获取到，再根据所需评估的动作选择视频A、视频B中与该动作关联的关键点作为被获取的关键点，并对被获取的所有关键点都规划上预设图形；
动作分为全身活动的动作或身体的一部分活动的动作；当所需要评估的动作为全身活动的动作，则该动作关联的关键点为全身的所有关键点；当所需要评估的动作为身体的一部分活动的动作，则该动作关联的关键点为身体活动部分的关键点。
优选地，预设图形以关键点为中心，方便算法设计；所述预设图形为方形、扇形、圆形之一，本实施例对此不作限制。
步骤3：获取视频A、视频B中从起始帧到结束帧的过程中，预设图形的移动轨迹形成第一区域、第二区域；
视频A、视频B展示的是动作，在起始帧到结束帧的过程中，其中的关键点的位置会发生变化，预设图形会随着关键点的位置变化而移动，其移动轨迹形成第一区域、第二区域。
在本实施例中，视频A、视频B的起始帧和结束帧是通过自动识别的方式获取的，例如取视频的节拍点、关键点的位置等作为识别点去识别视频的起始帧或结束帧；当然，本实施例也不排除视频A、视频B的的起始帧和结束帧可以通过人工操作进行设置。
步骤4：将第一区域和第二区域进行比对，得到匹配度；
具体来说，根据第一区域和第二区域的重合的面积的比例，得到匹配度，该比例为第一区域和第二区域的面积的重合度；
若视频A、视频B的起始帧和结束帧之间的帧数不同，则以帧数少的视频的帧数为标准，另一视频提取与帧数少的视频的相同的帧数，通过对比在该帧数下形成的区域的面积得到匹配度；
通过对匹配度进行分析来判断视频A、视频B中的对应的关键点有无匹配上，从而实现对视频A、视频B的动作对比；
判断所述匹配度是否在预设阈值范围内，若是，则视频A、视频B中的该关键点匹配上，若否，则视频A、视频B中的该关键点没有匹配上。
预设阈值为经验值，本实施例对此不作具体的限制。
在本实施例中，所述关键点为一个或多个，所述第一区域、第二区域为一个或多个；
当关键点为一个时，则视频A、视频B内均有一个关键点，且该关键点相互对应，所述的第一区域、第二区域为对应的一个；此时，判断该关键点是否匹配上，是对单个关键点的动作进行对比和评估；
当关键点为多个时，则视频A、视频B内均有多个关键点，多个关键点一一对应，所述的第一区域、第二区域为对应的多个；此时，判断多个关键点是否匹配上，是对一个或多个动作进行对比和评估。
在本实施例中，用户从原始视频中选择一段视频作为视频B，视频B可以涵盖全部动作，也可以涵盖部分动作，用户根据所需要评估的动作进行选择；视频A根据视频B的选择进行配置，使得作为评估标准的视频A与待评估的视频B适配；
当待评估的动作为连续的多个动作且被一个待评估视频记录时，可以将该待评估视频分解成多个涵盖部分动作的视频B，多个视频B的动作共同组成该待评估视频内的所有动作，通过对多个视频B的动作进行评估，得出每个视频B的每个关键点对应视频A的匹配度，再将所有的匹配度进行统计和分析，再得出整个视频的评估结果，通过该方式对连续的多个动作进行评估，可实现多个动作的精细化测算，保证对比分析的准确性。
在本实施例中，所述视频B的帧数为n帧，n≥1；
具体来说，n的值根据实际应用而定，若待评估的动作为连续的多个动作且被一个待评估视频记录时，该待评估视频的总帧数未必能整除n，若总帧数除n后，余下x帧，则根据实际选择是否对余下的x帧进行处理，若不处理，则多个视频B的帧数均为n帧；若对余下的x帧进行处理，则最后的一个视频B的帧数为x帧，1≤x≤n。
实施例2
参照图2所示，一种基于深度学习姿态评估对连续动作的比对和分析***，包括如下模块：
视频采集模块1：用于采集作为评估标准的视频A、待评估的视频B；
姿态评估模块2：用于获取视频A、视频B中的每一帧中的关键点；
第一处理模块3：用于规划出的预设图形，一个预设图形含盖一个关键点；
第二处理模块4：用于获取视频A、视频B中从起始帧到结束帧的过程中，预设图形的移动轨迹形成第一区域、第二区域；
分析模块5：用于对第一区域和第二区域进行比对，得到匹配度。
该对比和分析***的工作过程为：通过视频采集模块1采集作为评估标准的视频A、待评估的视频B，采集完成后，由姿态评估模块2对视频A、视频B的每一帧进行姿态评估，以获得每一帧的关键点；获取关键点后，由第一处理模块3、第二处理模块4对视频A、视频B进行处理，在关键点上规划预设图形，再得出预设图形的移动轨迹形成的第一区域、第二区域；再由分析模块5对对应的第一区域和第二区域进行比对，得出该关键点的匹配度。
匹配度与预设阈值进行对比，可以得出视频A、视频B中该关键点是否匹配上，通过一个关键点或多个关键点的匹配度来判断视频A、视频B的动作是否匹配上。
还包括人机交互模块6：用于显示匹配度、阈值；所述阈值可通过人机交互模块6进行修改；所述人机交互模块6还可以与视频采集模块1进行交互，通过人机交互模块6对视频采集模块1采集的视频进行处理和匹配。
实施例3
参照图3所示，一种基于深度学习姿态评估对连续动作的比对和分析设备，包括存储器7和处理器8，所述存储器7和所述处理器8通信连接；所述存储器7存储有可被所述处理器8执行的程序指令，所述处理器8包括如实施例2所述的比对和分析***，可调用所述程序指令能够执行如实施例1所述的比对和分析方法，例如包括获取作为评估标准的视频A、待评估的视频B；获取视频A、视频B中的每一帧中的关键点，并规划出含该关键点的预设图形；获取视频A、视频B中从起始帧到结束帧的过程中，预设图形的移动轨迹形成第一区域、第二区域；将第一区域和第二区域进行比对，得到匹配度。
尽管已经示出和描述了本发明的实施方式，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (9)

1.一种基于深度学习姿态评估对连续动作的比对和分析方法，其特征在于，包括以下步骤：
步骤1：获取作为评估标准的视频A、待评估的视频B；
步骤2：获取视频A、视频B中的每一帧中的关键点，并规划出含该关键点的预设图形；
步骤3：获取视频A、视频B中从起始帧到结束帧的过程中，预设图形的移动轨迹形成第一区域、第二区域；
步骤4：将第一区域和第二区域进行比对，得到匹配度。
2.根据权利要求1所述的基于深度学习姿态评估对连续动作的比对和分析方法，其特征在于，所述关键点为一个或多个，所述第一区域、第二区域为一个或多个；
判断所述匹配度是否在预设阈值范围内，若是，则视频A、视频B中的该关键点匹配上，若否，则视频A、视频B中的该关键点没有匹配上。
3.根据权利要求1所述的基于深度学习姿态评估对连续动作的比对和分析方法，其特征在于，根据所需评估的动作选择与该动作关联的关键点作为步骤2中的选中的关键点。
4.根据权利要求1所述的基于深度学习姿态评估对连续动作的比对和分析方法，其特征在于，所述步骤4具体为：将第一区域和第二区域进行比对，根据第一区域和第二区域的重合的面积的比例，得到匹配度。
5.根据权利要求1所述的基于深度学习姿态评估对连续动作的比对和分析方法，其特征在于，用户从原始视频中选择一段视频作为视频B；
所述视频B的帧数为n帧，n≥1。
6.根据权利要求1所述的基于深度学习姿态评估对连续动作的比对和分析方法，其特征在于，所述关键点为人体关节点，所述预设图形为方形、扇形、圆形之一。
7.一种基于深度学习姿态评估对连续动作的比对和分析***，其特征在于，包括如下模块：
视频采集模块：用于采集作为评估标准的视频A、待评估的视频B；
姿态评估模块：用于获取视频A、视频B中的每一帧中的关键点；
第一处理模块：用于在关键点处规划出的预设图形；
第二处理模块：用于获取视频A、视频B中从起始帧到结束帧的过程中，预设图形的移动轨迹形成第一区域、第二区域；
分析模块：用于对第一区域和第二区域进行比对，得到匹配度。
8.根据权利要求7所述的基于深度学习姿态评估对连续动作的比对和分析方法，其特征在于，还包括人机交互模块：用于显示匹配度、阈值；所述阈值可通过人机交互模块进行修改；所述人机交互模块还可以与视频采集模块进行交互，通过人机交互模块对视频采集模块采集的视频进行处理和匹配。
9.一种基于深度学习姿态评估对连续动作的比对和分析设备，其特征在于，包括存储器和处理器，所述存储器和所述处理器通信连接；所述存储器存储有可被所述处理器执行的程序指令，所述处理器包括如权利要求7-8任一所述的比对和分析***，可调用所述程序指令能够执行如权利要求1-6任一所述的比对和分析方法。
CN202110862230.9A 2021-07-29 2021-07-29 一种基于深度学习姿态评估对连续动作的比对和分析方法、***以及设备 Pending CN113537128A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110862230.9A CN113537128A (zh) 2021-07-29 2021-07-29 一种基于深度学习姿态评估对连续动作的比对和分析方法、***以及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110862230.9A CN113537128A (zh) 2021-07-29 2021-07-29 一种基于深度学习姿态评估对连续动作的比对和分析方法、***以及设备

Publications (1)

Publication Number Publication Date
CN113537128A true CN113537128A (zh) 2021-10-22

Family

ID=78121357

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110862230.9A Pending CN113537128A (zh) 2021-07-29 2021-07-29 一种基于深度学习姿态评估对连续动作的比对和分析方法、***以及设备

Country Status (1)

Country Link
CN (1) CN113537128A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116091963A (zh) * 2022-12-22 2023-05-09 广州奥咨达医疗器械技术股份有限公司 临床试验机构质量评估方法、装置、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116091963A (zh) * 2022-12-22 2023-05-09 广州奥咨达医疗器械技术股份有限公司 临床试验机构质量评估方法、装置、电子设备及存储介质
CN116091963B (zh) * 2022-12-22 2024-05-17 广州奥咨达医疗器械技术股份有限公司 临床试验机构质量评估方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN108846365B (zh) 视频中打架行为的检测方法、装置、存储介质及处理器
US20180211104A1 (en) Method and device for target tracking
US8509484B2 (en) Information processing device and information processing method
US8824802B2 (en) Method and system for gesture recognition
US8879787B2 (en) Information processing device and information processing method
US9183431B2 (en) Apparatus and method for providing activity recognition based application service
CN102831439B (zh) 手势跟踪方法及***
US20170086712A1 (en) System and Method for Motion Capture
CN111401330A (zh) 教学***及采用该教学***的智能镜
JP5598751B2 (ja) 動作認識装置
CN101131609A (zh) 接口装置和接口方法
CN104914989B (zh) 姿势辨识装置以及姿势辨识装置的控制方法
WO2012117392A1 (en) Device, system and method for determining compliance with an instruction by a figure in an image
KR20190099537A (ko) 동작 학습 장치, 기능 판별 장치 및 기능 판별 시스템
CN113537128A (zh) 一种基于深度学习姿态评估对连续动作的比对和分析方法、***以及设备
CN116311497A (zh) 一种基于机器视觉的隧道工人异常行为检测方法及***
CN111223549A (zh) 一种基于姿态矫正的疾病预防的移动端***及方法
CN112785564B (zh) 一种基于机械臂的行人检测跟踪***与方法
CN112907635A (zh) 基于几何分析提取眼部异常运动特征的方法
CN112200126A (zh) 一种基于人工智能跑步肢体遮挡姿态识别方法
CN110458076A (zh) 一种基于计算机视觉的教学方法及***
CN115118536B (zh) 分享方法、控制设备及计算机可读存储介质
CN114742090A (zh) 一种基于精神疲劳监测的驾驶舱人机交互***
CN114495272A (zh) 动作识别方法、装置、存储介质以及计算机设备
CN114639168A (zh) 一种用于跑步姿态识别的方法和***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination