CN116309699B - 目标对象的连带反应程度的确定方法、装置及设备 - Google Patents

目标对象的连带反应程度的确定方法、装置及设备 Download PDF

Info

Publication number
CN116309699B
CN116309699B CN202310050631.3A CN202310050631A CN116309699B CN 116309699 B CN116309699 B CN 116309699B CN 202310050631 A CN202310050631 A CN 202310050631A CN 116309699 B CN116309699 B CN 116309699B
Authority
CN
China
Prior art keywords
joint
detected
target
determining
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310050631.3A
Other languages
English (en)
Other versions
CN116309699A (zh
Inventor
王晨
彭亮
陈婧瑶
侯增广
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202310050631.3A priority Critical patent/CN116309699B/zh
Publication of CN116309699A publication Critical patent/CN116309699A/zh
Application granted granted Critical
Publication of CN116309699B publication Critical patent/CN116309699B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/162Testing reaction times
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种目标对象的连带反应程度的确定方法、装置及设备,涉及图像处理技术领域,应用于终端设备,该方法包括:接收客户端发送的目标视频,所述目标视频为所述客户端对目标对象执行目标动作的过程进行拍摄得到的;根据所述目标视频获取对应的多张目标图像,所述多张目标图像按照在所述目标视频中的时间先后顺序排列;对所述多张目标图像进行特征分析处理,得到所述目标对象的运动特征;根据所述运动特征,确定所述目标对象的连带反应程度。无需人工观察目标对象的运动过程,而是通过客户端拍摄目标视频,然后由终端设备对目标视频进行一系列处理,最终确定目标对象的连带反应程度,其效率较高,对观察者的依赖性大大降低。

Description

目标对象的连带反应程度的确定方法、装置及设备
技术领域
本申请涉及图像处理技术领域,尤其涉及一种目标对象的连带反应程度的确定方法、装置及设备。
背景技术
用户的连带反应程度,指的是用户的运动能力的体现。通过确定用户的连带反应程度,对于确定用户当前的状态、为用户的后续行为提供参考等等,均具有重要的意义。
目前,确定用户的连带反应程度的方法,主要是通过用户执行一系列预设的动作,然后由观察者对该用户执行预设的动作的运动过程进行观察来实现的。这种方式,过于依赖观察者的经验,对于用户的连带反应程度的确定并不准确。
发明内容
本申请提供一种目标对象的连带反应程度的确定方法、装置及设备,以解决现有技术通过人工观察目标对象执行预设的动作来确定目标对象的连带反应程度不准确的问题。
第一方面,本申请提供一种目标对象的连带反应程度的确定方法,应用于终端设备,所述方法包括:
接收客户端发送的目标视频,所述目标视频为所述客户端对目标对象执行目标动作的过程进行拍摄得到的;
根据所述目标视频获取对应的多张目标图像,所述多张目标图像按照在所述目标视频中的时间先后顺序排列;
对所述多张目标图像进行特征分析处理,得到所述目标对象的运动特征;
根据所述运动特征,确定所述目标对象的连带反应程度。
在一种可能的实施方式中,所述对所述多张目标图像进行特征分析处理,得到所述目标对象的运动特征,包括:
确定所述目标对象的多个待检测关节点和多个待检测区域;
对所述多张目标图像进行关节点识别处理,获取所述目标对象的关节位置特征,其中,所述关节位置特征包括所述多个待检测关节点在所述多张目标图像上的位置;
根据所述关节位置特征和所述待检测区域,获取所述目标对象的关节角度特征,其中,所述运动特征包括所述关节位置特征和所述关节角度特征。
在一种可能的实施方式中,所述根据所述关节位置特征和所述待检测区域,获取所述目标对象的关节角度特征,包括:
确定各所述待检测区域中包括的待检测关节点;
根据各所述待检测区域中包括的待检测关节点,确定各所述待检测区域对应的关节夹角;
根据所述多个待检测关节点在所述多张目标图像上的位置,以及各所述待检测区域对应的关节夹角,确定所述关节角度特征。
在一种可能的实施方式中,所述根据所述运动特征,确定所述目标对象的连带反应程度,包括:
根据所述关节位置特征和所述关节角度特征,获取所述目标对象对应的第一特征矩阵;
根据所述第一特征矩阵,获取所述目标对象的运动平滑度、连带反应分数和耦合连带信息;
根据所述运动平滑度、所述连带反应分数和所述耦合连带信息,确定所述连带反应程度。
在一种可能的实施方式中,所述根据所述第一特征矩阵,获取所述目标对象的运动平滑度、连带反应分数和耦合连带信息,包括:
根据所述第一特征矩阵,获取各所述待检测关节点的平滑度、各所述待检测区域的平滑度、各所述待检测关节点的特征距离、各所述待检测区域的特征距离;
根据各所述待检测关节点的平滑度和各所述待检测区域的平滑度,确定所述运动平滑度;
根据各所述待检测关节点的特征距离和各所述待检测区域的特征距离,确定所述连带反应分数;
对所述第一特征矩阵进行耦合处理,得到耦合后的第二特征矩阵;
根据所述第二特征矩阵,确定所述耦合连带信息。
在一种可能的实施方式中,所述根据各所述待检测关节点的特征距离和各所述待检测区域的特征距离,确定所述连带反应分数,包括:
根据各所述待检测关节点的特征距离和各所述待检测区域的特征距离,确定各所述待检测关节点的运动能量值;
根据所述运动能量值,确定所述目标对象执行所述目标动作时的期望运动关节的能量值,以及连带运动关节的能量值;
根据所述期望运动关节的能量值和所述连带运动关节的能量值,确定所述连带反应分数。
在一种可能的实施方式中,所述根据所述第二特征矩阵,确定所述耦合连带信息,包括:
根据所述第二特征矩阵,获取各所述待检测关节点的时序特征向量;
根据多个样本视频,获取各所述待检测关节点的权重矩阵;
根据各所述待检测关节点的时序特征向量和所述权重矩阵,确定所述耦合连带信息。
第二方面,本申请提供一种目标对象的连带反应程度的确定装置,应用于终端设备,所述装置包括:
接收模块,用于接收客户端发送的目标视频,所述目标视频为所述客户端对目标对象执行目标动作的过程进行拍摄得到的;
获取模块,用于根据所述目标视频获取对应的多张目标图像,所述多张目标图像按照在所述目标视频中的时间先后顺序排列;
处理模块,用于对所述多张目标图像进行特征分析处理,得到所述目标对象的运动特征;
确定模块,用于根据所述运动特征,确定所述目标对象的连带反应程度。
在一种可能的实施方式中,所述处理模块具体用于:
确定所述目标对象的多个待检测关节点和多个待检测区域;
对所述多张目标图像进行关节点识别处理,获取所述目标对象的关节位置特征,其中,所述关节位置特征包括所述多个待检测关节点在所述多张目标图像上的位置;
根据所述关节位置特征和所述待检测区域,获取所述目标对象的关节角度特征,其中,所述运动特征包括所述关节位置特征和所述关节角度特征。
在一种可能的实施方式中,所述处理模块具体用于:
确定各所述待检测区域中包括的待检测关节点;
根据各所述待检测区域中包括的待检测关节点,确定各所述待检测区域对应的关节夹角;
根据所述多个待检测关节点在所述多张目标图像上的位置,以及各所述待检测区域对应的关节夹角,确定所述关节角度特征。
在一种可能的实施方式中,所述确定模块具体用于:
根据所述关节位置特征和所述关节角度特征,获取所述目标对象对应的第一特征矩阵;
根据所述第一特征矩阵,获取所述目标对象的运动平滑度、连带反应分数和耦合连带信息;
根据所述运动平滑度、所述连带反应分数和所述耦合连带信息,确定所述连带反应程度。
在一种可能的实施方式中,所述确定模块具体用于:
根据所述第一特征矩阵,获取各所述待检测关节点的平滑度、各所述待检测区域的平滑度、各所述待检测关节点的特征距离、各所述待检测区域的特征距离;
根据各所述待检测关节点的平滑度和各所述待检测区域的平滑度,确定所述运动平滑度;
根据各所述待检测关节点的特征距离和各所述待检测区域的特征距离,确定所述连带反应分数;
对所述第一特征矩阵进行耦合处理,得到耦合后的第二特征矩阵;
根据所述第二特征矩阵,确定所述耦合连带信息。
在一种可能的实施方式中,所述确定模块具体用于:
根据各所述待检测关节点的特征距离和各所述待检测区域的特征距离,确定各所述待检测关节点的运动能量值;
根据所述运动能量值,确定所述目标对象执行所述目标动作时的期望运动关节的能量值,以及连带运动关节的能量值;
根据所述期望运动关节的能量值和所述连带运动关节的能量值,确定所述连带反应分数。
在一种可能的实施方式中,所述确定模块具体用于:
根据所述第二特征矩阵,获取各所述待检测关节点的时序特征向量;
根据多个样本视频,获取各所述待检测关节点的权重矩阵;
根据各所述待检测关节点的时序特征向量和所述权重矩阵,确定所述耦合连带信息。
第三方面,本申请提供一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序时实现如第一方面任一项所述的目标对象的连带反应程度的确定方法。
第四方面,本申请提供一种非暂态计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面任一项所述的目标对象的连带反应程度的确定方法。
本申请实施例提供的目标对象的连带反应程度的确定方法、装置及设备,应用于终端设备,终端设备首先接收客户端发送的目标视频,该目标视频为客户端对目标对象执行目标动作的过程进行拍摄得到的;然后,终端设备根据目标视频获取对应的多张目标图像,多张目标图像按照在目标视频中的时间先后顺序排列;终端设备在获取多张目标图像后,对多张目标图像进行特征分析处理,得到目标对象的运动特征,最后根据该运动特征,确定目标对象的连带反应程度。本申请实施例的方案,无需人工观察目标对象的运动过程来确定目标对象的连带反应程度,而是通过客户端拍摄目标视频,然后由终端设备对目标视频进行一系列处理,最终确定目标对象的连带反应程度,其效率较高,对观察者的依赖性大大降低。
附图说明
为了更清楚地说明本申请或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种应用场景示意图;
图2为本申请实施例提供的目标对象的连带反应程度的确定方法的流程示意图;
图3为本申请实施例提供的得到目标对象的运动特征的流程示意图;
图4为本申请实施例提供的待检测关节点和待检测区域的示意图;
图5为本申请实施例提供的确定目标对象的连带反应程度的流程示意图;
图6为本申请实施例提供的确定连带反应程度指标的流程示意图;
图7为本申请实施例提供的期望运动关节和连带运动关节的示意图;
图8为本申请实施例提供的自注意力耦合度算法的示意图;
图9为本申请实施例提供的待检测关节点之间的连带关系权重图;
图10为本申请实施例提供的目标对象的连带反应程度的确定装置的结构示意图;
图11为本申请实施例提供的一种电子设备的实体结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请中的附图,对本申请中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
用户的连带反应程度,指的是用户的运动能力的体现。通过确定用户的连带反应程度,对于确定用户当前的状态、为用户的后续行为提供参考等等,均具有重要的意义。
目前,确定用户的连带反应程度的方法,主要是通过用户执行一系列预设的动作,然后由观察者对该用户执行预设的动作的运动过程进行观察来实现的。这种方式,过于依赖观察者的经验,对于用户的连带反应程度的判定并不准确。
基于此,本申请提供一种目标对象的连带反应程度的确定方法,无需人工观察即可实现对目标对象的连带反应程度的确定。
首先结合图1对本申请的应用场景进行介绍。
图1为本申请实施例提供的一种应用场景示意图,如图1所示,包括客户端11和终端设备12,客户端11和终端设备12之间通过有线或无线连接。
客户端11可以用于对用户的运动过程进行拍摄,得到相应的视频,然后将拍摄得到的视频发送给终端设备12。终端设备12在获取到视频后,基于视频进行分析,从而确定目标对象的连带反应程度。
通过客户端11采集视频数据,并通过云端连接终端设备12。本申请实施例可以使用web开发者工具包,通过wxml和wxss文件实现评估程序界面和框架搭建。并通过视频和语音引导目标对象通过客户端11完成个人信息初始化和关节点配准。
下面结合图1的应用场景,参考图2来描述根据本申请示例性实施方式的方法。需要注意的是,上述应用场景仅是为了便于理解本申请的精神和原理而示出,本申请的实施方式在此方面不受任何限制。相反,本申请的实施方式可以应用于适用的任何场景。
图2为本申请实施例提供的目标对象的连带反应程度的确定方法的流程示意图,该方法应用于终端设备,如图2所示,该方法可以包括:
S21,接收客户端发送的目标视频,目标视频为客户端对目标对象执行目标动作的过程进行拍摄得到的。
本申请实施例中的客户端和终端设备之间通过有线或无线连接,客户端为目标对象对应的客户端。目标对象在执行目标动作的过程中,客户端可对目标对象进行拍摄,得到目标视频,然后将目标视频发送给终端设备。
该目标视频用于后续确定目标对象的连带反应程度,从而可以为目标对象后续的状态进行评估,也为目标对象后续的行为提供参考。目标对象有多种可能性。例如,目标对象可以是患相关疾病后康复的患者,通过确定目标对象的连带反应程度判断目标对象的康复情况是否较好,从而能够为目标对象后续进行锻炼、练习等行为提供一定的参考价值。以目标对象为脑卒中患者为例,脑卒中患者在康复之后,可能会存在运动模式的改变,如严重的肢体关节连带反应。在康复初级阶段,肢体关节的连带反应是一种正向康复标志,而随着康复程度的提升,肢体关节连带反应则成为一种运动障碍的表现。因此怼连带反应的及时、争取评估,能够为患者提供进一步的进准康复指导意见,在康复训练方案制定中具有重要意义。
例如,目标对象可以是运动员,通过确定目标对象的连带反应程度判断目标对象当前是否处于一个巅峰的运动状态,从而能够为目标对象后续参加比赛的时间和频次提供一定的参考价值。例如,目标对象也可以是普通用户,通过确定自身的连带反应程度,能够确定自身的当前状态,为普通用户提供是否需要加强锻炼的参考价值。
目标动作与要确定的目标对象的连带反应程度相关。例如,若想要确定目标对象的上肢的连带反应程度,则目标动作通常为上肢相关的动作;若想要确定目标对象的下肢的连带反应程度,则目标动作通常为下肢相关的动作,等等。
下表1示例了常见的目标动作:
表1
如表1所示,目标动作可以包括上肢动作和/或下肢动作,上肢动作可以包括表1中示例的动作1至动作5,下肢动作可以包括表1中示例的动作6和动作7。
需要说明的是,表1中示例的动作仅仅为目标动作的一种示例,并不构成对目标动作的限定。根据目标对象的不同以及要确定的连带反应程度的不同,可以设置相应的目标动作。
S22,根据目标视频获取对应的多张目标图像,多张目标图像按照在目标视频中的时间先后顺序排列。
在接收到客户端发送的目标视频后,终端设备可以对该目标视频进行分解,得到多张目标图像。可以理解的是,视频是由多张图像组成的,因此针对目标视频,可以得到该目标视频对应的多张目标图像,这多张目标图像组成目标视频。
多张目标图像均有各自对应的时间信息,目标图像的时间信息由目标图像在目标视频中的位置确定,多张目标图像按照在目标视频中的时间先后顺序排列。
S23,对多张目标图像进行特征分析处理,得到目标对象的运动特征。
针对任意一张目标图像而言,可以对该目标图像进行关节点识别处理,识别出目标图像中该目标对象的关节点。针对多张目标图像而言,可以根据上述处理方式,得到各目标图像中该目标对象的关节点的位置。
由于多张目标图像是组成目标视频的多张图像,每张目标图像均有各自对应的时间先后顺序,因此结合各目标图像的时间信息,以及识别出的目标图像中目标对象的关节点的位置,可以得到各个关节点的运动轨迹,所有关节点的运动轨迹共同可以构成目标对象的运动特征。
S24,根据运动特征,确定目标对象的连带反应程度。
在得到目标对象的运动特征后,即可根据目标对象的运动特征,确定目标对象的连带反应程度。例如,针对目标动作,可以设置理想情况下各关节点运动的方向范围和幅度范围等等,然后根据目标对象的运动特征确定目标对象在执行目标动作的时候各关节点运动的方向范围和幅度范围,从而确定目标对象的连带反应程度。
本申请实施例提供的目标对象的连带反应程度的确定方法,应用于终端设备,终端设备首先接收客户端发送的目标视频,该目标视频为客户端对目标对象执行目标动作的过程进行拍摄得到的;然后,终端设备根据目标视频获取对应的多张目标图像,多张目标图像按照在目标视频中的时间先后顺序排列;终端设备在获取多张目标图像后,对多张目标图像进行特征分析处理,得到目标对象的运动特征,最后根据该运动特征,确定目标对象的连带反应程度。本申请实施例的方案,无需人工观察目标对象的运动过程来确定目标对象的连带反应程度,而是通过客户端拍摄目标视频,然后由终端设备对目标视频进行一系列处理,最终确定目标对象的连带反应程度,其效率较高,对观察者的依赖性大大降低。
在上述任一实施例的基础上,下面结合附图对本申请的方案进行详细介绍。
图3为本申请实施例提供的得到目标对象的运动特征的流程示意图,如图3所示,包括:
S31,确定目标对象的多个待检测关节点和多个待检测区域。
目标对象包多个关节点,多个待检测关节点为目标对象包括的多个关节点的子集。针对不同的目标动作,对应的多个待检测关节点也相应的不同。
待检测区域为目标对象上的区域,待检测区域中包括一个或多个待检测关节点。针对不同的目标动作,待检测区域也相应的不同。
图4为本申请实施例提供的待检测关节点和待检测区域的示意图,如图4所示,示例了目标对象40上包括的待检测关节点和待检测区域。其中,待检测关节点如图4左边示例,待检测区域如图4右边示例,分别包括左肩、右肩、左肘、右肘、左手、右手、左髋膝、右髋膝、左足、右足十个待检测区域,每个待检测区域中包括数量不等的待检测关节点。
S32,对多张目标图像进行关节点识别处理,获取目标对象的关节位置特征,其中,关节位置特征包括多个待检测关节点在多张目标图像上的位置。
具体的,针对任意一张目标图像,可以对该目标图像进行关节点识别处理,得到目标对象的多个待检测关节点在该目标图像上的位置。
针对所有的目标图像,均执行上述关节点识别处理的操作,即可得到目标对象的多个待检测关节点在各个目标图像上的位置,从而得到目标对象的关节位置特征。其中,关节点识别处理的操作,例如可以通过骨骼识别、模型训练等方式实现,任意可识别出对象的关节点的识别方法均可以用于进行关节点识别处理,此处不再赘述。
S33,根据关节位置特征和待检测区域,获取目标对象的关节角度特征,其中,运动特征包括关节位置特征和关节角度特征。
在确定了关节位置特征后,可以基于关节位置特征和待检测区域来获取目标对象的关节角度特征,其中,关节角度特征主要用于体现待检测区域内的关节角度。
由于待检测区域内包括一个或多个待检测关节点,而关节角度又是由待检测关节点构成的,因此,终端设备首先确定各待检测区域中包括的待检测关节点。
在确定各待检测区域中包括的待检测关节点后,基于关节位置特征,可以获取各待检测区域中包括的待检测关节点在每个目标图像上的位置。因此,终端设备可以根据各待检测区域中包括的待检测关节点,确定各待检测区域对应的关节夹角,并根据多个待检测关节点在多张目标图像上的位置,以及各待检测区域对应的关节夹角,确定关节角度特征。
具体的,终端设备在确定各待检测区域中包括的待检测关节点后,针对任意一个待检测区域,可以确定该待检测区域中包括的待检测关节点构成的关节夹角。以图4为例,针对左肩这个待检测区域而言,其包括的待检测关节点为图4中的关节点A,而关节点A分别与关节点B以及关节点C连接,角BAC即为左肩这个待检测区域中包括的待检测关节点构成的关节夹角。
在确定了待检测区域对应的关节夹角后,根据待检测区域中包括的待检测关节点的位置,即可确定待检测区域对应的关节夹角在每个目标图像上的大小。针对任意一个待检测区域而言,均采用上述方式处理,得到每个待检测区域对应的关节夹角在每个目标图像上的大小,所有待检测区域对应的关节夹角在每个目标图像上的大小,即构成关节角度特征。
在得到了关节位置特征和关节角度特征后,即可基于关节位置特征和关节角度特征,确定目标对象的连带反应程度,下面结合图5对该过程进行介绍。
图5为本申请实施例提供的确定目标对象的连带反应程度的流程示意图,如图5所示,包括:
S51,根据关节位置特征和关节角度特征,获取目标对象对应的第一特征矩阵。
针对任意一个目标图像而言,该目标图像对应的关节位置特征包括各待检测关节点在该目标图像上的位置,该目标图像对应的关节角度特征包括该目标图像上待检测区域内的关节角度的大小。由于目标图像有多帧,将这多帧目标图像上的待检测关节点的位置以及待检测区域内的关节角度的大小放到一个矩阵里面,即可得到目标对象对应的第一特征矩阵。第一特征矩阵A0可表示为如下的形式:
其中,m为帧数,即多张目标图像的数量,n为特征数,即关节位置特征的数量与关节角度特征的数量之和。aij表示的是第i个目标图像上的第j个特征,i,j∈m,n。
S52,根据第一特征矩阵,获取目标对象的运动平滑度、连带反应分数和耦合连带信息。
运动平滑度、连带反应分数以及耦合连带信息,为3个不同维度下反应目标对象的连带反应程度的指标,下面结合图6介绍具体确定这3个指标的方式。
图6为本申请实施例提供的确定连带反应程度指标的流程示意图,如图6所示,包括:
S61,根据第一特征矩阵,获取各待检测关节点的平滑度、各待检测区域的平滑度、各待检测关节点的特征距离、各待检测区域的特征距离。
在上述实施例中介绍了第一特征矩阵A0的求取方式,定义Diff(A0)=(bij)(m-1)×n,其中bij=a(i+1)j-aij
令A1=Diff(A0),A2=Diff(A1)=(mij)(m-2)×n,其中:
mij=(a(i+2)j-a(i+1)j)-(a(i+1)j-aij) (2)
基于上式(2),可得各待检测关节点的平滑度以及各待检测区域的平滑度:
其中,设待检测关节点的数量为n1,待检测区域的数量为n2,满足n1+n2=n。当j∈[1,n1]时,Sj为第j个待检测关节点的平滑度,当j∈[n1+1,n]时,Sj为第(j-n1)个待检测区域的平滑度。
各待检测关节点的特征距离,指的是各待检测关节点在不同帧目标图像中的距离,各待检测区域的特征距离,指的是各待检测区域在不同帧目标图像中的距离。各待检测关节点的特征距离以及各待检测区域的特征距离,可以通过特征距离函数来表征,参见下式(4):
其中,(m_xp,j,m_yp,j,m_zp,j)为第j个特征值在第p帧目标图像中的坐标,(m_xq,j,m_yq,j,m_zq,j)为第j个特征值在第q帧目标图像中的坐标,D(p,q,j)为第j个特征值的特征距离。设待检测关节点的数量为n1,待检测区域的数量为n2,满足n1+n2=n。当j∈[1,n1]时,D(p,q,j)为第j个待检测关节点的特征距离,当j∈[n1+1,n]时,D(p,q,j)为第(j-n1)个待检测区域的特征距离。
S62,根据各待检测关节点的平滑度和各待检测区域的平滑度,确定运动平滑度。
运动平滑度的计算方式如下式(5)示意:
其中,Sj可由上式(3)求得,基于上式(3)和上式(5)即可得到目标对象的运动平滑度。通过对比了解目标对象的运动平滑度与正常值之间的差距,可以进一步评估目标对象的运动模式阶段。
S63,根据各待检测关节点的特征距离和各待检测区域的特征距离,确定连带反应分数。
具体的,首先根据各待检测关节点的特征距离和各待检测区域的特征距离,确定各待检测关节点的运动能量值。各待检测关节点的运动能量值的求取公式如下式(6)所示:
其中,Energy(j)为第j个待检测关节点的运动能量值,Distance(p,0,j)的求取方式可参见上式(4)。
然后,根据运动能量值,确定目标对象执行目标动作时的期望运动关节的能量值,以及连带运动关节的能量值。
期望运动关节的能量值的求取公式如下式(7)所示:
其中,Motion_energy为期望运动关节的能量值,u为期望运动的关节特征索引,u的取值随着不同的目标动作也相应的不同,N_motion表示目标动作所需期望关节点的数量。
连带运动关节的能量值的求取公式如下式(8)所示:
其中,Cojoint_energy为连带运动关节的能量值,v的值随着目标动作也相应的不同,代表连带运动的关节特征索引,N_Cojoint代表目标动作的连带关节点的数量。图7为本申请实施例提供的期望运动关节和连带运动关节的示意图,如图7所示,针对某个目标动作,在图7中分别示例了期望运动关节(包括图7中的关节点A、关节点B、关节点E、关节点F、关节点G和关节点H),以及连带关节点(包括图7中的关节点C和关节点D)。
最后,根据期望运动关节的能量值和连带运动关节的能量值,确定连带反应分数。连带反应分数的求取公式如下:
其中,Cojoint_score为连带反应分数,Motion_energy为期望运动关节的能量值,Cojoint_energy为连带运动关节的能量值。
S64,对第一特征矩阵进行耦合处理,得到耦合后的第二特征矩阵。
基于对目标对象的运动区域的划分,相应的对第一特征矩阵进行耦合处理,得到第二特征矩阵。以图4为例,可以将目标对象的运动功能区域划分为左肩、右肩、左肘、右肘、左手、右手、左髋膝、右髋膝、左足、右足十个协同作用区域,每个区域即为一个待检测区域。然后,根据每个待检测区域包括的待检测关节点的关节位置特征和关节角度特征,对第一特征矩阵进行耦合处理,即可得到第二特征矩阵Xk×k,其中k为待检测区域的数量,以待检测区域包括左肩、右肩、左肘、右肘、左手、右手、左髋膝、右髋膝、左足、右足十个区域为例,则k=10。
S65,根据第二特征矩阵,确定耦合连带信息。
首先,根据第二特征矩阵,获取各待检测关节点的时序特征向量。设第二特征矩阵为Xk×k,则针对第二特征矩阵Xk×k中的任意第p列,即为第p个待检测关节点的时序特征向量。
其次,根据多个样本视频,获取各待检测关节点的权重矩阵。
本申请实施例提出一种自注意力耦合度算法,使用自注意力深度学习算法,提取特征权重,分析各影响因素对关节末端控制能力的影响,更好地了解目标对象的运动模式的改变。
图8为本申请实施例提供的自注意力耦合度算法的示意图,如图8所示,首先输入样本数据,样本数据为正常连带反应程度下的对象的第二特征矩阵。将样本数据输入至自注意力耦合模型后,经过自注意力处理、softmax函数处理以及特征提取等等,最终输出结果。将输出结果与样本数据的标注结果进行对比,根据输出结果与标注结果之间的差值对自注意力耦合模型进行调参,最终得到训练好的自注意力耦合模型,基于训练好的自注意力耦合模型,得到各待检测关节点的权重矩阵。
最后,根据各待检测关节点的时序特征向量和权重矩阵,确定耦合连带信息。耦合连带信息的计算公式如下式所示(10):
Ck×k=(cpq)k×k (10)
其中,Ck×k为耦合连带信息,也称为耦合特征矩阵。
cpq=tanh(XpWp+XqWq)·Wc (11)
其中,Xp为第p个待检测关节点的时序特征向量,Xq为第q个待检测关节点的时序特征向量,Wp、Wq、Wc为基于图8实施例示例的方法计算所得的权重矩阵,即训练好的自注意力耦合模型的参数。
在得到耦合连带信息后,也可以基于耦合连带信息绘制第p个待检测关节点和第q个待检测关节点之间的连带关系权重图。其中,任意第p个待检测关节点和第q个待检测关节点之间的连带关系可以基于下式(12)表征:
c` pq=softmax(cpq) (12)
其中,cpq可参见上式(11)求取,softmax表示softmax函数,c` pq表示第p个待检测关节点和第q个待检测关节点之间的连带关系。
图9为本申请实施例提供的待检测关节点之间的连带关系权重图,如图9所示,基于上式(12)求得c` pq后,基于求得的c` pq可以绘制各待检测关节点之间的连带关系。其中,c` pq的值越大,则第p个待检测关节点和第q个待检测关节点之间的连线越粗,表示第p个待检测关节点和第q个待检测关节点之间的连带性越强。针对具体的目标动作,如果该目标动作下第p个待检测关节点和第q个待检测关节点之间的连带性在正常情况下应该比较强,则目标对象的连带反应程度较好,如果该目标动作下第p个待检测关节点和第q个待检测关节点之间的连带性在正常情况下应该比较弱,则目标对象的连带反应程度较差。通过绘制连带关系权重图,能够更加直观的看到目标对象的连带反应程度,便于对目标对象的连带反应程度有更加形象直观的理解。
S53,根据运动平滑度、连带反应分数和耦合连带信息,确定连带反应程度。
运动平滑度、连带反应分数和耦合连带信息为用于反应目标对象的连带反应程度的3个不同维度的指标,在得到目标对象的运动平滑度、连带反应分数和耦合连带信息后,即可根据运动平滑度、连带反应分数和耦合连带信息,确定目标对象的连带反应程度。
例如,可以为运动平滑度、连带反应分数和耦合连带信息各种设置一定的权重值,根据该权重值,以及目标对象的运动平滑度、连带反应分数和耦合连带信息,综合确定目标对象的连带反应程度。
综上所述,本申请实施例的方案,无需人工观察目标对象的运动过程来确定目标对象的连带反应程度,而是通过客户端拍摄目标视频,然后由终端设备对目标视频进行一系列处理,最终确定目标对象的连带反应程度,其效率较高,对观察者的依赖性大大降低。
下面对本申请提供的目标对象的连带反应程度的确定装置进行描述,下文描述的目标对象的连带反应程度的确定装置与上文描述的目标对象的连带反应程度的确定方法可相互对应参照。
图10为本申请实施例提供的目标对象的连带反应程度的确定装置的结构示意图,应用于终端设备,如图10所示,该装置包括:
接收模块101,用于接收客户端发送的目标视频,所述目标视频为所述客户端对目标对象执行目标动作的过程进行拍摄得到的;
获取模块102,用于根据所述目标视频获取对应的多张目标图像,所述多张目标图像按照在所述目标视频中的时间先后顺序排列;
处理模块103,用于对所述多张目标图像进行特征分析处理,得到所述目标对象的运动特征;
确定模块104,用于根据所述运动特征,确定所述目标对象的连带反应程度。
在一种可能的实施方式中,所述处理模块103具体用于:
确定所述目标对象的多个待检测关节点和多个待检测区域;
对所述多张目标图像进行关节点识别处理,获取所述目标对象的关节位置特征,其中,所述关节位置特征包括所述多个待检测关节点在所述多张目标图像上的位置;
根据所述关节位置特征和所述待检测区域,获取所述目标对象的关节角度特征,其中,所述运动特征包括所述关节位置特征和所述关节角度特征。
在一种可能的实施方式中,所述处理模块103具体用于:
确定各所述待检测区域中包括的待检测关节点;
根据各所述待检测区域中包括的待检测关节点,确定各所述待检测区域对应的关节夹角;
根据所述多个待检测关节点在所述多张目标图像上的位置,以及各所述待检测区域对应的关节夹角,确定所述关节角度特征。
在一种可能的实施方式中,所述确定模块104具体用于:
根据所述关节位置特征和所述关节角度特征,获取所述目标对象对应的第一特征矩阵;
根据所述第一特征矩阵,获取所述目标对象的运动平滑度、连带反应分数和耦合连带信息;
根据所述运动平滑度、所述连带反应分数和所述耦合连带信息,确定所述连带反应程度。
在一种可能的实施方式中,所述确定模块104具体用于:
根据所述第一特征矩阵,获取各所述待检测关节点的平滑度、各所述待检测区域的平滑度、各所述待检测关节点的特征距离、各所述待检测区域的特征距离;
根据各所述待检测关节点的平滑度和各所述待检测区域的平滑度,确定所述运动平滑度;
根据各所述待检测关节点的特征距离和各所述待检测区域的特征距离,确定所述连带反应分数;
对所述第一特征矩阵进行耦合处理,得到耦合后的第二特征矩阵;
根据所述第二特征矩阵,确定所述耦合连带信息。
在一种可能的实施方式中,所述确定模块104具体用于:
根据各所述待检测关节点的特征距离和各所述待检测区域的特征距离,确定各所述待检测关节点的运动能量值;
根据所述运动能量值,确定所述目标对象执行所述目标动作时的期望运动关节的能量值,以及连带运动关节的能量值;
根据所述期望运动关节的能量值和所述连带运动关节的能量值,确定所述连带反应分数。
在一种可能的实施方式中,所述确定模块104具体用于:
根据所述第二特征矩阵,获取各所述待检测关节点的时序特征向量;
根据多个样本视频,获取各所述待检测关节点的权重矩阵;
根据各所述待检测关节点的时序特征向量和所述权重矩阵,确定所述耦合连带信息。
图11示例了一种电子设备的实体结构示意图,如图11所示,该电子设备可以包括:处理器(processor)1110、通信接口(Communications Interface)1120、存储器(memory)1130和通信总线1140,其中,处理器1110,通信接口1120,存储器1130通过通信总线1140完成相互间的通信。处理器1110可以调用存储器1130中的逻辑指令,以执行目标对象的连带反应程度的确定方法,应用于终端设备,该方法包括:接收客户端发送的目标视频,所述目标视频为所述客户端对目标对象执行目标动作的过程进行拍摄得到的;根据所述目标视频获取对应的多张目标图像,所述多张目标图像按照在所述目标视频中的时间先后顺序排列;对所述多张目标图像进行特征分析处理,得到所述目标对象的运动特征;根据所述运动特征,确定所述目标对象的连带反应程度。
此外,上述的存储器1130中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。本申请实施例中的电子设备,可以为终端设备、客户端、手机、便携式手机等等设备。
另一方面,本申请还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,计算机程序可存储在非暂态计算机可读存储介质上,所述计算机程序被处理器执行时,计算机能够执行上述各实施例所提供的目标对象的连带反应程度的确定方法,应用于终端设备,该方法包括:接收客户端发送的目标视频,所述目标视频为所述客户端对目标对象执行目标动作的过程进行拍摄得到的;根据所述目标视频获取对应的多张目标图像,所述多张目标图像按照在所述目标视频中的时间先后顺序排列;对所述多张目标图像进行特征分析处理,得到所述目标对象的运动特征;根据所述运动特征,确定所述目标对象的连带反应程度。
又一方面,本申请还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各实施例提供的目标对象的连带反应程度的确定方法,应用于终端设备,该方法包括:接收客户端发送的目标视频,所述目标视频为所述客户端对目标对象执行目标动作的过程进行拍摄得到的;根据所述目标视频获取对应的多张目标图像,所述多张目标图像按照在所述目标视频中的时间先后顺序排列;对所述多张目标图像进行特征分析处理,得到所述目标对象的运动特征;根据所述运动特征,确定所述目标对象的连带反应程度。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (7)

1.一种目标对象的连带反应程度的确定方法,其特征在于,应用于终端设备,所述方法包括:
接收客户端发送的目标视频,所述目标视频为所述客户端对目标对象执行目标动作的过程进行拍摄得到的;
根据所述目标视频获取对应的多张目标图像,所述多张目标图像按照在所述目标视频中的时间先后顺序排列;
对所述多张目标图像进行特征分析处理,得到所述目标对象的运动特征;
根据所述运动特征,确定所述目标对象的连带反应程度;
所述对所述多张目标图像进行特征分析处理,得到所述目标对象的运动特征,包括:
确定所述目标对象的多个待检测关节点和多个待检测区域;
对所述多张目标图像进行关节点识别处理,获取所述目标对象的关节位置特征,其中,所述关节位置特征包括所述多个待检测关节点在所述多张目标图像上的位置;
根据所述关节位置特征和所述待检测区域,获取所述目标对象的关节角度特征,其中,所述运动特征包括所述关节位置特征和所述关节角度特征;
所述根据所述运动特征,确定所述目标对象的连带反应程度,包括:
根据所述关节位置特征和所述关节角度特征,获取所述目标对象对应的第一特征矩阵;
根据所述第一特征矩阵,获取所述目标对象的运动平滑度、连带反应分数和耦合连带信息;
根据所述运动平滑度、所述连带反应分数和所述耦合连带信息,确定所述连带反应程度;
所述根据所述第一特征矩阵,获取所述目标对象的运动平滑度、连带反应分数和耦合连带信息,包括:
根据所述第一特征矩阵,获取各所述待检测关节点的平滑度、各所述待检测区域的平滑度、各所述待检测关节点的特征距离、各所述待检测区域的特征距离;
根据各所述待检测关节点的平滑度和各所述待检测区域的平滑度,确定所述运动平滑度;
根据各所述待检测关节点的特征距离和各所述待检测区域的特征距离,确定所述连带反应分数;
对所述第一特征矩阵进行耦合处理,得到耦合后的第二特征矩阵;
根据所述第二特征矩阵,确定所述耦合连带信息。
2.根据权利要求1所述的方法,其特征在于,所述根据所述关节位置特征和所述待检测区域,获取所述目标对象的关节角度特征,包括:
确定各所述待检测区域中包括的待检测关节点;
根据各所述待检测区域中包括的待检测关节点,确定各所述待检测区域对应的关节夹角;
根据所述多个待检测关节点在所述多张目标图像上的位置,以及各所述待检测区域对应的关节夹角,确定所述关节角度特征。
3.根据权利要求1所述的方法,其特征在于,所述根据各所述待检测关节点的特征距离和各所述待检测区域的特征距离,确定所述连带反应分数,包括:
根据各所述待检测关节点的特征距离和各所述待检测区域的特征距离,确定各所述待检测关节点的运动能量值;
根据所述运动能量值,确定所述目标对象执行所述目标动作时的期望运动关节的能量值,以及连带运动关节的能量值;
根据所述期望运动关节的能量值和所述连带运动关节的能量值,确定所述连带反应分数。
4.根据权利要求1所述的方法,其特征在于,所述根据所述第二特征矩阵,确定所述耦合连带信息,包括:
根据所述第二特征矩阵,获取各所述待检测关节点的时序特征向量;
根据多个样本视频,获取各所述待检测关节点的权重矩阵;
根据各所述待检测关节点的时序特征向量和所述权重矩阵,确定所述耦合连带信息。
5.一种目标对象的连带反应程度的确定装置,其特征在于,应用于终端设备,所述装置包括:
接收模块,用于接收客户端发送的目标视频,所述目标视频为所述客户端对目标对象执行目标动作的过程进行拍摄得到的;
获取模块,用于根据所述目标视频获取对应的多张目标图像,所述多张目标图像按照在所述目标视频中的时间先后顺序排列;
处理模块,用于对所述多张目标图像进行特征分析处理,得到所述目标对象的运动特征;
确定模块,用于根据所述运动特征,确定所述目标对象的连带反应程度;
所述处理模块具体用于:
确定所述目标对象的多个待检测关节点和多个待检测区域;
对所述多张目标图像进行关节点识别处理,获取所述目标对象的关节位置特征,其中,所述关节位置特征包括所述多个待检测关节点在所述多张目标图像上的位置;
根据所述关节位置特征和所述待检测区域,获取所述目标对象的关节角度特征,其中,所述运动特征包括所述关节位置特征和所述关节角度特征;
所述确定模块具体用于:
根据所述关节位置特征和所述关节角度特征,获取所述目标对象对应的第一特征矩阵;
根据所述第一特征矩阵,获取所述目标对象的运动平滑度、连带反应分数和耦合连带信息;
根据所述运动平滑度、所述连带反应分数和所述耦合连带信息,确定所述连带反应程度;
所述确定模块具体用于:
根据所述第一特征矩阵,获取各所述待检测关节点的平滑度、各所述待检测区域的平滑度、各所述待检测关节点的特征距离、各所述待检测区域的特征距离;
根据各所述待检测关节点的平滑度和各所述待检测区域的平滑度,确定所述运动平滑度;
根据各所述待检测关节点的特征距离和各所述待检测区域的特征距离,确定所述连带反应分数;
对所述第一特征矩阵进行耦合处理,得到耦合后的第二特征矩阵;
根据所述第二特征矩阵,确定所述耦合连带信息。
6.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至4任一项所述的目标对象的连带反应程度的确定方法。
7.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的目标对象的连带反应程度的确定方法。
CN202310050631.3A 2023-02-01 2023-02-01 目标对象的连带反应程度的确定方法、装置及设备 Active CN116309699B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310050631.3A CN116309699B (zh) 2023-02-01 2023-02-01 目标对象的连带反应程度的确定方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310050631.3A CN116309699B (zh) 2023-02-01 2023-02-01 目标对象的连带反应程度的确定方法、装置及设备

Publications (2)

Publication Number Publication Date
CN116309699A CN116309699A (zh) 2023-06-23
CN116309699B true CN116309699B (zh) 2023-11-17

Family

ID=86836796

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310050631.3A Active CN116309699B (zh) 2023-02-01 2023-02-01 目标对象的连带反应程度的确定方法、装置及设备

Country Status (1)

Country Link
CN (1) CN116309699B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109657581A (zh) * 2018-12-07 2019-04-19 南京高美吉交通科技有限公司 基于双目相机行为检测的城市轨道交通闸机通行控制方法
CN110738192A (zh) * 2019-10-29 2020-01-31 腾讯科技(深圳)有限公司 人体运动功能辅助评估方法、装置、设备、***及介质
CN114782497A (zh) * 2022-06-20 2022-07-22 中国科学院自动化研究所 运动功能分析方法和电子设备
CN115331776A (zh) * 2022-08-09 2022-11-11 康键信息技术(深圳)有限公司 静态运动的数据统计方法、装置、设备及介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013192308A1 (en) * 2012-06-22 2013-12-27 Brookhaven Science Associates, Llc Atmospheric radar

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109657581A (zh) * 2018-12-07 2019-04-19 南京高美吉交通科技有限公司 基于双目相机行为检测的城市轨道交通闸机通行控制方法
CN110738192A (zh) * 2019-10-29 2020-01-31 腾讯科技(深圳)有限公司 人体运动功能辅助评估方法、装置、设备、***及介质
CN114782497A (zh) * 2022-06-20 2022-07-22 中国科学院自动化研究所 运动功能分析方法和电子设备
CN115331776A (zh) * 2022-08-09 2022-11-11 康键信息技术(深圳)有限公司 静态运动的数据统计方法、装置、设备及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
康复机器人的同步主动交互控制与实现;彭亮 等;《自动化学报》;第41卷(第11期);第1837-1846页 *

Also Published As

Publication number Publication date
CN116309699A (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
CN111144217B (zh) 一种基于人体三维关节点检测的动作评价方法
CN106127120B (zh) 姿势估计方法和装置、计算机***
US11417095B2 (en) Image recognition method and apparatus, electronic device, and readable storage medium using an update on body extraction parameter and alignment parameter
CN110458829B (zh) 基于人工智能的图像质控方法、装置、设备及存储介质
CN110232706B (zh) 多人跟拍方法、装置、设备及存储介质
Nagarkoti et al. Realtime indoor workout analysis using machine learning & computer vision
CN111191599A (zh) 姿态识别方法、装置、设备及存储介质
CN110956139B (zh) 一种基于时间序列回归预测的人体运动动作分析方法
CN112884868B (zh) 三维网格顶点特征确定方法、骨骼蒙皮方法及相关装置
CN115227234B (zh) 一种基于摄像头的心肺复苏按压动作评估方法与***
CN111860157A (zh) 一种运动分析方法、装置、设备和存储介质
CN115131879B (zh) 一种动作评价方法及装置
CN113255479A (zh) 轻量化人体姿态识别模型训练方法、动作切分方法及装置
CN105096304B (zh) 一种图像特征的估计方法和设备
CN115035037A (zh) 一种基于图像处理和多特征融合的肢体康复训练方法及***
CN116309699B (zh) 目标对象的连带反应程度的确定方法、装置及设备
KR20210054349A (ko) 환자의 상지 동작에 의해 도출되는 특징값을 이용한 임상평가척도 예측 방법
CN112149613B (zh) 一种基于改进lstm模型的动作预估评定方法
CN117137435B (zh) 一种基于多模态信息融合的康复动作识别方法和***
CN113763420A (zh) 一种目标跟踪方法、***及存储介质和终端设备
Ata et al. A robust optimized convolutional neural network model for human activity recognition using sensing devices
JPWO2016021152A1 (ja) 姿勢推定方法および姿勢推定装置
CN107967455A (zh) 一种智能人体多维自然特征大数据透明学习方法与***
CN112257642B (zh) 人体连续动作相似性评价方法及评价装置
JP2021191356A (ja) 矯正内容学習装置、動作矯正装置およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant