CN113643788B - 基于多个图像获取设备确定特征点的方法及*** - Google Patents

基于多个图像获取设备确定特征点的方法及*** Download PDF

Info

Publication number
CN113643788B
CN113643788B CN202110798485.3A CN202110798485A CN113643788B CN 113643788 B CN113643788 B CN 113643788B CN 202110798485 A CN202110798485 A CN 202110798485A CN 113643788 B CN113643788 B CN 113643788B
Authority
CN
China
Prior art keywords
subject
image acquisition
information
feature
feature points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110798485.3A
Other languages
English (en)
Other versions
CN113643788A (zh
Inventor
张硕
张惠斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Plural Health Technology Co ltd
Original Assignee
Beijing Plural Health Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Plural Health Technology Co ltd filed Critical Beijing Plural Health Technology Co ltd
Priority to CN202110798485.3A priority Critical patent/CN113643788B/zh
Publication of CN113643788A publication Critical patent/CN113643788A/zh
Application granted granted Critical
Publication of CN113643788B publication Critical patent/CN113643788B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于多个图像获取设备确定特征点的方法及***，其中方法包括：根据所获取的动态图像生成每个图像获取设备各自的动态图像文件；根据预先设置的配置文件为每个动态图像文件确定各自的神经网络，利用每个动态图像文件各自的神经网络进行数据处理，以获取与每个图像获取设备相关联的热图集；对多个热图集进行数据融合以获得每个图像获取设备的经过数据融合的热图集，进而获得包括主体对象的三维信息；以及对每个动态图像文件进行图像识别以确定三维信息所涉及的客体对象的对象信息，基于客体对象的对象信息确定特征点修复类型，根据特征点修复类型对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点。

Description

基于多个图像获取设备确定特征点的方法及***
技术领域
本发明涉及图像识别技术领域，并且更具体地涉及一种基于多个图像获取设备确定特征点的方法及***、计算机可读存储介质以及电子设备。
背景技术
目前，计算机视觉领域中的姿态评估技术已经在，诸如在体育运动赛事、临床外科模拟教学、脑功能开发以及康复训练等领域，取得了广泛的应用。然而，由于人体自身结构的对称性，以及开放场景的复杂性，导致现有的姿态评估方法在局部视野、人体特殊***、人与人交互以及人与物交互等情况下会产生关键点或特征点识别失败的问题。
以康复训练为例，康复训练会进行局部关节的主动或被动锻炼，诸如肘关节屈伸、前臂旋前旋后等。视频采集往往采用近景局部视角。此时由于视野中采集的人体信息不完整而无法识别关键点或特征点。康复训练会进行不同***的锻炼，诸如仰卧位、侧位站或坐等。比如在侧位站或坐时，由于人体自身的对称性结构，会产生自遮挡问题，使得靠近镜头的一侧会对远离侧产生遮挡，导致远离侧关键点或特征点识别失败。
此外，康复训练往往需要治疗师配合进行被动训练，此时因治疗师与患者紧密接触会产生互遮挡，从而导致关键点或特征点识别失败问题。比如治疗师协助康复患者进行前臂旋前旋后被动训练时，患者采取仰面平躺位，治疗师采用患者盘坐位。此时由于两者身体紧密接触，会导致上臂腕部关键点或特征点，以及部分下肢关键点或特征点识别失败。
康复训练往往会需要配合相关辅助器具来完成，诸如拉力绳、弹力球等。在使用过程中由于辅助器具对身体某些部位的遮挡也会导致关键点或特征点识别失败。
目前，现有技术中缺少对关键点或特征点识别失败问题的有效解决方案。本发明通过设计一种精准的分类框架，将康复医学、运动控制理论与计算机视觉、人工智能融合，解决姿态估计中人体自遮挡以及人与人、人与物互遮挡而导致的关键点估计失败的问题。
发明内容
为了解决现有技术中的问题，本发明提供了一种基于多个图像获取设备确定特征点的方法，所述方法包括：
每个图像获取设备基于各自的基准位置分别获取主体对象的动态图像，并根据所获取的动态图像生成每个图像获取设备各自的动态图像文件；
根据预先设置的配置文件为每个动态图像文件确定各自的神经网络，利用每个动态图像文件各自的神经网络进行数据处理，以获取与每个图像获取设备相关联的热图集；
对多个热图集进行数据融合以获得每个图像获取设备的经过数据融合的热图集，基于每个图像获取设备的经过数据融合的热图集获得包括主体对象的三维信息；以及
对每个动态图像文件进行图像识别以确定三维信息所涉及的客体对象的对象信息，基于客体对象的对象信息确定特征点修复类型，根据特征点修复类型对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点。
在每个图像获取设备基于各自的基准位置分别获取主体对象的动态图像之前还包括：
获取主体对象的位置属性和方向属性，基于位置属性和方向属性为多个图像获取设备中每个图像获取设备确定基准位置。
所述位置属性包括：主体对象的位置坐标和/或主题对象的位置区域。
所述方向属性包括：主体对象的单个朝向信息或主题对象的多个朝向信息。
所述获取主体对象的位置属性和方向属性包括：
接收输入数据并对输入数据进行解析以确定主体对象的位置属性和方向属性；或者
利用定位设备获取主体对象的定位信息，根据定位信息确定主体对象的位置属性和方向属性。
所述基于位置属性和方向属性为多个图像获取设备中每个图像获取设备确定基准位置包括：
基于位置属性和方向属性确定获取目标对象的动态图像的多个候选位置；
从多个候选位置中为每个图像获取设备确定基准位置；
其中每个图像获取设备的基准位置均不相同。
每个图像获取设备基于各自的基准位置分别获取主体对象的动态图像包括：
每个图像获取设备在各自的基准位置处，以各自的预定拍摄角度分别获取主体对象的动态图像；或者
每个图像获取设备基于各自的基准位置形成移动路径，通过在各自的移动路径选择拍摄位置，并在拍摄位置处以所选择的拍摄角度分别获取主体对象的动态图像。
根据所获取的动态图像生成每个图像获取设备各自的动态图像文件包括：
根据每个图像获取设备各自所获取的动态图像，得到动态图像数据流；
利用动态图像数据流生成每个图像获取设备各自的动态图像文件。
所述预先设置的配置文件中包括神经网络的名称和神经网络的参数信息。
所述根据预先设置的配置文件为每个动态图像文件确定各自的神经网络包括：
根据预先设置的配置文件中的神经网络的名称确定所要使用的神经网络；
根据神经网络的参数信息对所要使用的神经网络进行参数配置；
将经过参数配置的神经网络确定为每个动态图像文件各自的神经网络；
其中每个动态图像文件的神经网络是相同的神经网络。
利用每个动态图像文件各自的神经网络进行数据处理，以获取与每个图像获取设备相关联的热图集包括：
利用每个动态图像文件各自的神经网络对每个图像获取设备所获取的动态图像文件进行数据处理，以获取与每个图像获取设备相关联的热图集。
所述对多个热图集进行数据融合以获得每个图像获取设备的经过数据融合的热图集包括：
将多个热图集中的每个热图集依次选择作为当前热图集以进行：
将多个热图集中除了当前热图集之外的每个热图集确定为融合热图集；
基于多个融合热图集对当前热图集进行数据融合，以获得每个图像获取设备的经过数据融合的当前热图集。
所述基于每个图像获取设备的经过数据融合的热图集获得包括主体对象的三维信息包括：
基于每个图像获取设备的经过数据融合的热图集进行主体对象的特征点的识别，得到多幅同一时刻的二维特征点；
根据每个图像获取设备的世界坐标系的坐标和图像坐标对二维特征点标定内外参数，基于内外参数获取包括主体对象的三维信息。
所述对每个动态图像文件进行图像识别以确定三维信息所涉及的客体对象的对象信息包括：
利用图像识别设备对对每个动态图像文件进行图像识别以确定三维信息所涉及的客体对象的对象信息。
所述对象信息包括：客体对象的数量和客体对象的类型。
基于客体对象的对象信息确定特征点修复类型，根据特征点修复类型对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点包括：
对客体对象的对象信息进行解析以确定客体对象的数量为零时，确定特征点修复类型为不进行修复；
当特征点修复类型为不进行修复时，不根据特征点修复类型对所述三维信息进行特征点的修复，直接根据主题对象的三维信息确定与主体对象相关联的多个特征点。
基于客体对象的对象信息确定特征点修复类型，根据特征点修复类型对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点包括：
对客体对象的对象信息进行解析以确定客体对象的数量不为零并且客体对象的类型为辅助物体时，确定特征点修复类型为辅助物体修复；
利用主客体识别网络在三维信息中对主体对象进行整体标记，基于整体标记提取特征点，以及主体对象的空间特征和时间特征；
对客体对象进行特征点识别并进行特征点跟踪，所述特征点追踪包括对每一帧标记物理形状和位置信息，提取客体对象的空间特征和时间特征；
根据辅助物体修复对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点。
当辅助物体为跟随型辅助物体时，主体对象和客体对象在每一帧图像中的空间特征以及连续帧中的时间特征都进行变化；
当辅助物体为固定型辅助物体时，主体对象在每一帧图像中的空间特征以及连续帧的时间特征进行变化，而客体对象在每一帧图像中具有稳定的空间特征，且连续帧中的时间特征保持一致；
主题对象和客体对象的交互部分的空间特征存在波动。
根据辅助物体修复对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点包括：
利用主客体识别网络对经过数据融合的三维信息进行处理，其中主客体识别网络为融合自上而下的姿态识别网路与基于深度卷积的物体识别网络的识别网络；
对主体对象和客体对象进行标记，获得主体对象范围Bs和客体对象范围Bo；
在主体对象范围Bs内，通过自下而上的姿态识别网络对主体对象的多个部分进行初始识别，以获得多个初始特征点Sparts；
在客体对象范围Bo内，将客体对象标记为O；
提取每一帧的空间特征Fspace，以及连续帧的时间特征Ftime；
对空间特征Fspace与时间特征Ftime进行融合以确定客体对象的对象类别，分别进行跟随型辅助物体和固定型辅助物体的子场景标记si，其中i＝1，2；其中s1为跟随型辅助物体并且s2为固定型辅助物体；其中空间特征Fspace包括：形状、体积、角度、纹理、颜色、梯度和位置；时间特征Ftime包括位移、速度、上下文信息和旋转；
对于s1子场景，随着时间推移，在主体对象范围的s1子场景和客体对象范围的s1子场景/>间存在动态交集/>其中T1为第一时间并且T2为第二时间；
提取主体对象和客体对象两者的时间特征与空间特征，分别记为主体对象空间特征主体对象时间特征/>客体对象空间特征/>和客体对象时间特征/>
在辅助物体的对象类别为跟随型辅助物体情况下，构建局部交互特征提取算子Aswitho，针对交集时间段[T1，T2]，对多个遮挡部位的初始特征点进行重新识别，从而确定与主体对象相关联的多个特征点s′parts；
对于s2子场景，随着时间推移，在主体对象范围的s2子场景和客体对象范围的s2子场景/>间存在动态交集/>
提取主体对象和客体对象两者的时间特征与空间特征，分别记为主体对象空间特征主体对象时间特征/>和客体对象空间特征/>其中在辅助物体的对象类别为固定型辅助物体的s2场景下，客体对象静止不动，因此不存在客体对象时间特征/>特征；
在动态交集的时间段[T1，T2]内，由/>进入/>的范围而发生遮挡，对于每一个遮挡时刻tj，利用主体对象和客体对象的局部交互特征提取算子Asbyo，结合运动学先验知识Kprior，，对遮挡下的每一帧f(t＝tj)进行修补，从而确定与主体对象相关联的多个特征点S″parts。
基于客体对象的对象信息确定特征点修复类型，根据特征点修复类型对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点包括：
对客体对象的对象信息进行解析以确定客体对象的数量不为零并且客体对象的类型为辅助对象时，确定特征点修复类型为辅助对象修复；
利用主客体识别网络在三维信息中对主体对象进行整体标记，基于整体标记提取特征点，以及主体对象的空间特征和时间特征；
对客体对象进行特征点识别并进行特征点跟踪，所述特征点追踪包括对每一帧标记物理形状和位置信息，提取客体对象的空间特征和时间特征；
根据辅助对象修复对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点。
主体对象和客体对象在每一帧图像中的空间特征以及连续帧中的时间特征都进行变化。
根据辅助对象修复对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点包括：
利用主客体识别网络对经过数据融合的三维信息进行处理，其中主客体识别网络为融合自上而下的姿态识别网路与基于深度卷积的物体识别网络的识别网络；
获取主体对象和客体对象中每个的对象范围Bi，其jN≥i≥1，N为主体对象和客体对象的总数量，i为自然数；
针对每个Bi，通过自下而上的姿态识别网络对主体对象和客体对象各自的多个部分进行识别，以获得多个初始的特征点其中N为主体对象和客体对象的总数量，M为主体对象或客体对象的所有初始特征点的总数量，其中/>包括主体对象的多个初始的特征点和客体对象的多个初始的特征点；
通过Bi和构造交互识别算子Ainteractive，基于交互识别算子Ainteractive对主体对象和客体对象的位于交互区域的部分中的特征点进行识别和修复；
构造主客体识别算子Asando，(其中sando表示主体和物体)基于主客体识别算子Asando分别计算的时空特征/>时空特征/>对应于主体对象和客体对象中每个的对象范围Bi；
通过计算主体对象和客体对象中每个的支撑点随时间的轨迹/>其中T为时间范围上限，S为空间，下标s-t是时空特征，s-spatia为空间，t-temporal为时间以及主体对象和客体对象中全部支撑点随时间的轨迹/>通过对比/>与Cot确定客体对象/>以及主体对象S；
按照主体对象和客体对象重新对Bi进行初步分类，以获得主体对象范围Bs和客体对象范围Bo；对于时间维度，主体对象范围Bs和客体对象范围Bo存在动态交集其中T1为第一时间并且T2为第二时间
提取主体对象和客体对象两者的时间特征与空间特征，在[T1，T2]的交互时间段内，分别记为主体对象空间特征主体对象时间特征/>客体对象空间特征/>和客体对象时间特征/>
主客体识别算子Asando在利用了特征点位置信息和点对方向信息的基础上，进一步添加力学信息M≥j≥1；利用杠杆原理，分别计算动态交集/>内/>与/>的力矩与力臂；结合运动学先验知识Rprior，对主体对象和客体对象的初始特征点进行重新标定以获得与主体对象相关联的多个特征点B′s和与客体对象相关联的多个特征点B′o。
当客体对象的数量为1时，基于交互识别算子Ainteractive对主体对象和客体对象的位于交互区域的部分中的特征点进行识别和修复包括：
利用自上而下的姿态识别网路与自下而上的姿态识别网路结合后对对主体对象和客体对象的位于交互区域的部分中的特征点进行识别以获得数据主体对象范围B1和客体对象范围B2，以及主体对象的多个初始的特征点和客体对象的多个初始的特征点/>
通过交互识别算子Ainteractive，对B1和B2中淘汰的特征点进行互补范围的二次匹配；
更新以获取最新的特征点分别得到/>以及
根据本发明的另一方面，提供一种基于多个图像获取设备确定特征点的***，所述***包括：
多个图像获取设备，其中每个图像获取设备基于各自的基准位置分别获取主体对象的动态图像，并根据所获取的动态图像生成每个图像获取设备各自的动态图像文件；
数据处理设备，用于根据预先设置的配置文件为每个动态图像文件确定各自的神经网络，利用每个动态图像文件各自的神经网络进行数据处理，以获取与每个图像获取设备相关联的热图集；
数据融合设备，用于对多个热图集进行数据融合以获得每个图像获取设备的经过数据融合的热图集，基于每个图像获取设备的经过数据融合的热图集获得包括主体对象的三维信息；以及
图像识别设备，用于对每个动态图像文件进行图像识别以确定三维信息所涉及的客体对象的对象信息，基于客体对象的对象信息确定特征点修复类型，根据特征点修复类型对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点。
根据本发明的另一方面，一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述任一所述的方法。
根据本发明的另一方面，一种电子设备，其特征在于，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述任一所述的方法。
本发明通过将康复医学、运动控制等理论知识融入到计算机视觉的姿态估计中，很好的解决了康复训练过程中各种关键点估计失败的问题。通过融合康复方案先验知识，将动作局部特征增强于传统部位识别网络之上，实现非完整人体动作识别，从而解决因局部视野而导致的关键点估计失败问题。通过多机位数据采集，融合相交视野数据，实现物理空间数据增强，提高网络对因人体对称性而导致自遮挡的识别精度。通过主动标记主客体(即主体为康复患者，客体为辅助物、康复医生或康复治疗师)，融合康复医学与运动控制理论知识，提取多维特征构建交互识别算子，对关键点识别网络结果进行再加工，对人与人交互过程中关联错误的部位进行重新匹配，以及对人与物交互过程中丢失的部位进行补全，从而解决人与人、人与物互遮挡的问题。
附图说明
通过参考下面的附图，可以更为完整地理解本发明的示例性实施方式：
图1为根据本发明实施方式的基于多个图像获取设备确定特征点的方法的流程图；
图2为根据本发明实施方式的功能模块的结构示意图；
图3为根据本发明实施方式的确定空间物体点的精确位置的示意图；
图4为根据本发明实施方式的生成三维信息的示意图；
图5为根据本发明实施方式的提取特征点的示意图；
图6为根据本发明另一实施方式的提取特征点的示意图；
图7为根据本发明又一实施方式的提取特征点的示意图；
图8为根据本发明再一实施方式的提取特征点的示意图；
图9为根据本发明实施方式的基于多个图像获取设备确定特征点的***的结构示意图。
具体实施方式
图1为根据本发明实施方式的基于多个图像获取设备确定特征点的方法100的流程图。方法100从步骤101处开始。
在步骤101，每个图像获取设备基于各自的基准位置分别获取主体对象的动态图像，并根据所获取的动态图像生成每个图像获取设备各自的动态图像文件。在每个图像获取设备基于各自的基准位置分别获取主体对象的动态图像之前还包括：获取主体对象的位置属性和方向属性，基于位置属性和方向属性为多个图像获取设备中每个图像获取设备确定基准位置。
所述位置属性包括：主体对象的位置坐标和/或主题对象的位置区域。方向属性包括：主体对象的单个朝向信息或主题对象的多个朝向信息。
所述获取主体对象的位置属性和方向属性包括：接收输入数据并对输入数据进行解析以确定主体对象的位置属性和方向属性；或者利用定位设备获取主体对象的定位信息，根据定位信息确定主体对象的位置属性和方向属性。
所述基于位置属性和方向属性为多个图像获取设备中每个图像获取设备确定基准位置包括：基于位置属性和方向属性确定获取目标对象的动态图像的多个候选位置；从多个候选位置中为每个图像获取设备确定基准位置；其中每个图像获取设备的基准位置均不相同。
每个图像获取设备基于各自的基准位置分别获取主体对象的动态图像包括：每个图像获取设备在各自的基准位置处，以各自的预定拍摄角度分别获取主体对象的动态图像；或者每个图像获取设备基于各自的基准位置形成移动路径，通过在各自的移动路径选择拍摄位置，并在拍摄位置处以所选择的拍摄角度分别获取主体对象的动态图像。
根据所获取的动态图像生成每个图像获取设备各自的动态图像文件包括：根据每个图像获取设备各自所获取的动态图像，得到动态图像数据流；利用动态图像数据流生成每个图像获取设备各自的动态图像文件。
在步骤102，根据预先设置的配置文件为每个动态图像文件确定各自的神经网络，利用每个动态图像文件各自的神经网络进行数据处理，以获取与每个图像获取设备相关联的热图集。
所述预先设置的配置文件中包括神经网络的名称和神经网络的参数信息。所述根据预先设置的配置文件为每个动态图像文件确定各自的神经网络包括：根据预先设置的配置文件中的神经网络的名称确定所要使用的神经网络；根据神经网络的参数信息对所要使用的神经网络进行参数配置；将经过参数配置的神经网络确定为每个动态图像文件各自的神经网络；其中每个动态图像文件的神经网络是相同的神经网络。
利用每个动态图像文件各自的神经网络进行数据处理，以获取与每个图像获取设备相关联的热图集包括：利用每个动态图像文件各自的神经网络对每个图像获取设备所获取的动态图像文件进行数据处理，以获取与每个图像获取设备相关联的热图集。
在步骤103，对多个热图集进行数据融合以获得每个图像获取设备的经过数据融合的热图集，基于每个图像获取设备的经过数据融合的热图集获得包括主体对象的三维信息。
所述对多个热图集进行数据融合以获得每个图像获取设备的经过数据融合的热图集包括：将多个热图集中的每个热图集依次选择作为当前热图集以进行：将多个热图集中除了当前热图集之外的每个热图集确定为融合热图集；基于多个融合热图集对当前热图集进行数据融合，以获得每个图像获取设备的经过数据融合的当前热图集。
所述基于每个图像获取设备的经过数据融合的热图集获得包括主体对象的三维信息包括：基于每个图像获取设备的经过数据融合的热图集进行主体对象的特征点的识别，得到多幅同一时刻的二维特征点；根据每个图像获取设备的世界坐标系的坐标和图像坐标对二维特征点标定内外参数，基于内外参数获取包括主体对象的三维信息。
在步骤104，对每个动态图像文件进行图像识别以确定三维信息所涉及的客体对象的对象信息，基于客体对象的对象信息确定特征点修复类型，根据特征点修复类型对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点。
所述对每个动态图像文件进行图像识别以确定三维信息所涉及的客体对象的对象信息包括：利用图像识别设备对对每个动态图像文件进行图像识别以确定三维信息所涉及的客体对象的对象信息。所述对象信息包括：客体对象的数量和客体对象的类型。
基于客体对象的对象信息确定特征点修复类型，根据特征点修复类型对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点包括：对客体对象的对象信息进行解析以确定客体对象的数量为零时，确定特征点修复类型为不进行修复；当特征点修复类型为不进行修复时，不根据特征点修复类型对所述三维信息进行特征点的修复，直接根据主题对象的三维信息确定与主体对象相关联的多个特征点。
基于客体对象的对象信息确定特征点修复类型，根据特征点修复类型对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点包括：对客体对象的对象信息进行解析以确定客体对象的数量不为零并且客体对象的类型为辅助物体(辅助物体例如是手持设备等，或者是固定设备，例如大型器械)时，确定特征点修复类型为辅助物体修复；利用主客体识别网络在三维信息中对主体对象进行整体标记，基于整体标记提取特征点，以及主体对象的空间特征和时间特征；对客体对象进行特征点识别并进行特征点跟踪，所述特征点追踪包括对每一帧标记物理形状和位置信息，提取客体对象的空间特征和时间特征；根据辅助物体修复对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点。
当辅助物体为跟随型辅助物体时，主体对象和客体对象在每一帧图像中的空间特征以及连续帧中的时间特征都进行变化；当辅助物体为固定型辅助物体时，主体对象在每一帧图像中的空间特征以及连续帧的时间特征进行变化，而客体对象在每一帧图像中具有稳定的空间特征，且连续帧中的时间特征保持一致；主题对象和客体对象的交互部分的空间特征存在波动。
根据辅助物体修复对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点包括：利用主客体识别网络对经过数据融合的三维信息进行处理，其中主客体识别网络为融合自上而下的姿态识别网路与基于深度卷积的物体识别网络的识别网络；
对主体对象(主体对象例如是要识别的目标对象或人)和客体对象进行标记，获得主体对象范围Bs和客体对象范围Bo；
在主体对象范围Bs内，通过自下而上的姿态识别网络对主体对象的多个部分进行初始识别，以获得多个初始特征点Sparts；
在客体对象范围Bo内，将客体对象标记为O；
提取每一帧的空间特征Fspace，以及连续帧的时间特征Ftime；
对空间特征Fspace与时间特征Ftime进行融合以确定客体对象的对象类别，分别进行跟随型辅助物体(例如是，手持设备或移动设备)和固定型辅助物体(例如，固定设备或墙体)的子场景标记si，其中i＝1，2；其中s1为跟随型辅助物体并且s2为固定型辅助物体；其中空间特征Fspace包括：形状、体积、角度、纹理、颜色、梯度和位置；时间特征Ftime包括位移、速度、上下文信息和旋转；
对于s1子场景，随着时间推移，在主体对象范围的s1子场景和客体对象范围的s1子场景/>间存在动态交集/>其中T1为第一时间并且T2为第二时间；
提取主体对象和客体对象两者的时间特征与空间特征，分别记为主体对象空间特征主体对象时间特征/>客体对象空间特征/>和客体对象时间特征/>
在辅助物体的对象类别为跟随型辅助物体情况下，构建局部交互特征提取算子Aswitho，针对交集时间段[T1，T2]，对多个遮挡部位的初始特征点进行重新识别，从而确定与主体对象相关联的多个特征点S′parts；
对于s2子场景，随着时间推移，在主体对象范围的s2子场景和客体对象范围的s2子场景/>间存在动态交集/>
提取主体对象和客体对象两者的时间特征与空间特征，分别记为主体对象空间特征主体对象时间特征/>和客体对象空间特征/>其中在辅助物体的对象类别为固定型辅助物体的s2场景下，客体对象静止不动，因此不存在客体对象时间特征/>特征；
在动态交集的时间段[T1，T2]内，由/>进入/>的范围而发生遮挡，对于每一个遮挡时刻tj，利用主体对象和客体对象的局部交互特征提取算子Asbyo，结合运动学先验知识Kprior，，对遮挡下的每一帧f(t＝tj)进行修补，从而确定与主体对象相关联的多个特征点s″parts。
基于客体对象的对象信息确定特征点修复类型，根据特征点修复类型对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点包括：
对客体对象的对象信息进行解析以确定客体对象的数量不为零并且客体对象的类型为辅助对象(例如，进行康复时的辅助人员等)时，确定特征点修复类型为辅助对象修复；
利用主客体识别网络在三维信息中对主体对象进行整体标记，基于整体标记提取特征点，以及主体对象的空间特征和时间特征；
对客体对象进行特征点识别并进行特征点跟踪，所述特征点追踪包括对每一帧标记物理形状和位置信息，提取客体对象的空间特征和时间特征；
根据辅助对象修复对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点。
主体对象和客体对象在每一帧图像中的空间特征以及连续帧中的时间特征都进行变化。根据辅助对象修复对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点包括：
利用主客体识别网络对经过数据融合的三维信息进行处理，其中主客体识别网络为融合自上而下的姿态识别网路与基于深度卷积的物体识别网络的识别网络；
获取主体对象和客体对象中每个的对象范围Bi，其中N≥i≥1，N为主体对象和客体对象的总数量，i为自然数；
针对每个Bi，通过自下而上的姿态识别网络对主体对象和客体对象各自的多个部分进行识别，以获得多个初始的特征点其中N为主体对象和客体对象的总数量，M为主体对象或客体对象的所有初始特征点的总数量，其中/>包括主体对象的多个初始的特征点和客体对象的多个初始的特征点；
通过Bi和构造交互识别算子Ainteractive，基于交互识别算子Ainteractive对主体对象和客体对象的位于交互区域的部分中的特征点进行识别和修复；
构造主客体识别算子Asando，基于主客体识别算子Asando分别计算的时空特征时空特征/>对应于主体对象和客体对象中每个的对象范围Bi；
通过计算主体对象和客体对象中每个的支撑点随时间的轨迹/>其中T为时间范围上限，S为空间，下标s-t是时空特征，s-spatial为空间，t-temporal为时间；以及主体对象和客体对象中全部支撑点随时间的轨迹/>通过对比与Cot确定客体对象/>以及主体对象S；
按照主体对象和客体对象重新对Bi进行初步分类，以获得主体对象范围Bs和客体对象范围Bo；对于时间维度，主体对象范围Bs和客体对象范围Bo存在动态交集T2≥t≥T1；其中T1为第一时间并且T2为第二时间
提取主体对象和客体对象两者的时间特征与空间特征，在[T1，T2]的交互时间段内，分别记为主体对象空间特征主体对象时间特征/>客体对象空间特征/>和客体对象时间特征/>
主客体识别算子Asando在利用了特征点位置信息和点对方向信息的基础上，进一步添加力学信息利用杠杆原理，分别计算动态交集/>内/>与/>的力矩与力臂；结合运动学先验知识Rprior，对主体对象和客体对象的初始特征点进行重新标定以获得与主体对象相关联的多个特征点B′s和与客体对象相关联的多个特征点B′o。
当客体对象的数量为1时，基于交互识别算子Ainteractive对主体对象和客体对象的位于交互区域的部分中的特征点进行识别和修复包括：
利用自上而下的姿态识别网路与自下而上的姿态识别网路结合后对对主体对象和客体对象的位于交互区域的部分中的特征点进行识别以获得数据主体对象范围B1和客体对象范围B2，以及主体对象的多个初始的特征点和客体对象的多个初始的特征点/>
通过交互识别算子Ainteractive，对B1和B2中淘汰的特征点进行互补范围的二次匹配；
更新以获取最新的特征点分别得到/>以及
图2为根据本发明实施方式的功能模块的结构示意图。从功能结构上来说，本发明涉及数据融合模块、场景分类模块、遮挡修复模块、量化分析模块和量表映射模块。如其中数据融合模块用于：
姿态估计过程中，单机位模式对于遮挡等情况识别效果差，无法精确定位人体空间姿态位置信息。而多机位信息是解决该问题的一种可行且高效的方案，如图3所示，不同机位Cu和cv同时拍摄空间物体任一点，分别得到平面像和/>从投影几何学计算可反推出空间物体点P的精确位置。
主流二维姿态识别利用heatmap来用于回归姿态各个关键点，本发明利用两路神经网络，分别获得不同机位的heatmap，然后通过融合两路heatmap图像，重新获取新的两路heatmap，从而获取空间三维姿态信息，具体流程图如图4所示。
场景分类模块与遮挡修复模块用于：在体育运动赛事、临床外科模拟教学、脑功能开发以及康复训练等领域，都属于遵循行业相关标准规范、且有特定约束条件下的半开放场景，即对人体的位置、人与物的交互、人与人的交互都有一定的规则要求。
所以本发明整体处理流程的首个环节是场景分类，通过人与物自动识别的分类网络等方式将场景分为单人、人与物、人与人三种场景。
1)单人：单人场景指的是识别区域内只有一个主体作为跟踪目标，其余都作为干扰因素进行排除。
2)人与物：通过场景分类自动识别出场景中的主体与客体，以康复训练为例，主体是康复患者，客体是康复辅具。通过识别网络对主体进行整体标记，然后提取关键点信息。对客体进行识别并进行跟踪，即每一帧标记物理的形状、位置信息等。通过提取客体的空间特征、时间特征再次将“人与物”交互场景分为“人用物”与“人靠物”两种子场景。
2.1人用物
该场景下，主体的人与客体的物，在每一帧图像中的空间特征以及连续帧中的时间特征都在变化。即主体的人与客体的物都是移动的。
2.2人靠物
该场景下，只有主体的人在每一帧图像中的空间特征以及连续帧的时间特征在变化，客体的物在每一帧图像中具有稳定的空间特征，且连续帧中的时间特征保持一致，仅在主客体交互部分的空间特征会有波动。即客体的物是不动的或者相对稳定的，主体的人是移动的。
具体的识别方案包括：融合数据结果直接进入主客体识别网络(即融合了自上而下的人体姿态识别网路与基于深度卷积的物体识别网络)，首先从整体上对主体的人与客体的物进行标记，获得主客体的范围边框回归Boundingbox，分别为Bs，Bo。在Bs范围内，通过自下而上网络对人体各部分进行初始的精准识别，标记Sparts。在Bo范围内，对客体的物标记为O。与此同时提取每一帧的空间特征Fspace(比如形状、体积、角度、位置、纹理、颜色、梯度和位置)以及连续帧的时间特征Ftime(位移、速度、上下文信息、旋转等)。融合空间特征Fspace与时间特征Ftime确定客体物的状态，分别进行“人用物”与“人靠物”两类子场景标记si，i＝1，2。
对于s1场景下，随着时间推进，在与/>范围间存在着动态交集/>此时同时提取主客体两者的时间与空间特征，分别记为/>构建人用物局部交互特征提取算子Aswitho，即subjectwithobject对/>交集时间段[T1，T2]，重新精准识别各遮挡部位，获得完整关键点信息，标记为S′parts。
对于s2场景下，随着时间推进，在与/>范围间存在着动态交集/>此时同时提取主客体两者的时间与空间特征，分别记为/>(s2场景下客体的物不动，因此不存在/>特征，或者说/>)。在/>交集时间段[T1，T2]，/>因为进入范围，而发生遮挡，对于每一个遮挡时刻ti，利用人靠物局部交互特征提取算子Asbyo，即subjectbyobject，结合康复训练的运动学先验知识Kprior，，对遮挡下的每一帧f(t＝ti)进行修补，从而得到新的关键部位识别结果S′parts。
3)人与人：
融合数据结果直接进入自上而下的人体姿态识别网路，获取数据中每个人的Boundingbox范围，标记为Bi，N≥i≥1，N为总人数。针对每个Bi，进入自下而上姿态识别网络，识别对应的人体各部分，分别标记为其中N同样为总人数，M为人体所有关键点总数(根据姿态模型不同，关键点个数略有不同，例如BODY_25、BODY_19、BODY_23、BODY_25B、BODY_135、COCO_BODY、MPI_BODY等等)。
3.1)通过Bi和构造交互识别算子Ainteractive，对交互区域的人体各部分进行识别修补，具体流程如下，
①初始自上而下与自下而上网络结合后生成的数据B1和B2，以及和/>如图5所示。
②通过PAF算子，对两个Boundingbox中淘汰关键点进行互补Boundingbox的二次匹配，如图6所示：
③重新更新最新的关节点分别得到/>以及 修复效果如图7所示。
3.2)通过构造主客体识别算子Asando，分别计算每个的时空特征/>对应每个人体区域Bi。通过/>计算每个人体的支撑点随时间的轨迹/>以及整体全局支撑点随时间的轨迹/> 通过对比/>与Cot确定客体以及主体S。
①按照主客体重新对Bi进行初步分类，分别标记为Bs和Bo，对于时间维度，主客体的Boundingbox会发生动态交集此时同时提取主客体两者的时间与空间特征，分别记为/> 在[T1，T2]交互时间段内，如图8所示。
②算子Asando在利用了关键点位置信息、点对方向信息基础上，进一步添加力学信息 M≥j≥1。因为人体骨骼属于刚性不变结构，利用杠杆原理，分别计算接触区域内/>与/>的力矩与力臂。并融合康复训练方案先验知识Rprior，对主客体重新标定B′s和B′o。
至此完成单人、人与物、人与人各个场景下的遮挡补全工作以及主客体识别工作。
量化分析模块用于基于述场景分类与遮挡修复模块结果，能够获得主客体(单人情况下只有主体)精准的Boundingbox数据Bi，N≥i≥1，以及对应的完整的各个关键点数据S′parts与在此基础上统计并计算各类定量特征，主要有静态特征、动态特征、统计特征，以及运动学特征等。
量表映射模块用于对目标对象的多个特征点进行归一化处理，以获取多个通用特征点，并基于至少一个通用特征点的变化角度和/或移动数据确定目标对象的运动属性。根据预先定义的数据映射规则将目标对象的运行属性映射为预定格式的数据文件。
图9为根据本发明实施方式的基于多个图像获取设备确定特征点的***900的结构示意图。***900包括：图像获取设备901、数据处理设备902、数据融合设备903以及图像识别设备904。
多个图像获取设备901，其中每个图像获取设备基于各自的基准位置分别获取主体对象的动态图像，并根据所获取的动态图像生成每个图像获取设备各自的动态图像文件。在每个图像获取设备基于各自的基准位置分别获取主体对象的动态图像之前还包括：获取主体对象的位置属性和方向属性，基于位置属性和方向属性为多个图像获取设备中每个图像获取设备确定基准位置。
所述位置属性包括：主体对象的位置坐标和/或主题对象的位置区域。方向属性包括：主体对象的单个朝向信息或主题对象的多个朝向信息。
所述获取主体对象的位置属性和方向属性包括：接收输入数据并对输入数据进行解析以确定主体对象的位置属性和方向属性；或者利用定位设备获取主体对象的定位信息，根据定位信息确定主体对象的位置属性和方向属性。
所述基于位置属性和方向属性为多个图像获取设备中每个图像获取设备确定基准位置包括：基于位置属性和方向属性确定获取目标对象的动态图像的多个候选位置；从多个候选位置中为每个图像获取设备确定基准位置；其中每个图像获取设备的基准位置均不相同。
每个图像获取设备基于各自的基准位置分别获取主体对象的动态图像包括：每个图像获取设备在各自的基准位置处，以各自的预定拍摄角度分别获取主体对象的动态图像；或者每个图像获取设备基于各自的基准位置形成移动路径，通过在各自的移动路径选择拍摄位置，并在拍摄位置处以所选择的拍摄角度分别获取主体对象的动态图像。
根据所获取的动态图像生成每个图像获取设备各自的动态图像文件包括：根据每个图像获取设备各自所获取的动态图像，得到动态图像数据流；利用动态图像数据流生成每个图像获取设备各自的动态图像文件。
数据处理设备902，用于根据预先设置的配置文件为每个动态图像文件确定各自的神经网络，利用每个动态图像文件各自的神经网络进行数据处理，以获取与每个图像获取设备相关联的热图集。
所述预先设置的配置文件中包括神经网络的名称和神经网络的参数信息。所述根据预先设置的配置文件为每个动态图像文件确定各自的神经网络包括：根据预先设置的配置文件中的神经网络的名称确定所要使用的神经网络；根据神经网络的参数信息对所要使用的神经网络进行参数配置；将经过参数配置的神经网络确定为每个动态图像文件各自的神经网络；其中每个动态图像文件的神经网络是相同的神经网络。
利用每个动态图像文件各自的神经网络进行数据处理，以获取与每个图像获取设备相关联的热图集包括：利用每个动态图像文件各自的神经网络对每个图像获取设备所获取的动态图像文件进行数据处理，以获取与每个图像获取设备相关联的热图集。
数据融合设备903，用于对多个热图集进行数据融合以获得每个图像获取设备的经过数据融合的热图集，基于每个图像获取设备的经过数据融合的热图集获得包括主体对象的三维信息。
所述对多个热图集进行数据融合以获得每个图像获取设备的经过数据融合的热图集包括：将多个热图集中的每个热图集依次选择作为当前热图集以进行：将多个热图集中除了当前热图集之外的每个热图集确定为融合热图集；基于多个融合热图集对当前热图集进行数据融合，以获得每个图像获取设备的经过数据融合的当前热图集。
所述基于每个图像获取设备的经过数据融合的热图集获得包括主体对象的三维信息包括：基于每个图像获取设备的经过数据融合的热图集进行主体对象的特征点的识别，得到多幅同一时刻的二维特征点；根据每个图像获取设备的世界坐标系的坐标和图像坐标对二维特征点标定内外参数，基于内外参数获取包括主体对象的三维信息。
图像识别设备904，用于对每个动态图像文件进行图像识别以确定三维信息所涉及的客体对象的对象信息，基于客体对象的对象信息确定特征点修复类型，根据特征点修复类型对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点。
所述对每个动态图像文件进行图像识别以确定三维信息所涉及的客体对象的对象信息包括：利用图像识别设备对对每个动态图像文件进行图像识别以确定三维信息所涉及的客体对象的对象信息。所述对象信息包括：客体对象的数量和客体对象的类型。
基于客体对象的对象信息确定特征点修复类型，根据特征点修复类型对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点包括：对客体对象的对象信息进行解析以确定客体对象的数量为零时，确定特征点修复类型为不进行修复；当特征点修复类型为不进行修复时，不根据特征点修复类型对所述三维信息进行特征点的修复，直接根据主题对象的三维信息确定与主体对象相关联的多个特征点。
基于客体对象的对象信息确定特征点修复类型，根据特征点修复类型对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点包括：对客体对象的对象信息进行解析以确定客体对象的数量不为零并且客体对象的类型为辅助物体(辅助物体例如是手持设备等，或者是固定设备，例如大型器械)时，确定特征点修复类型为辅助物体修复；利用主客体识别网络在三维信息中对主体对象进行整体标记，基于整体标记提取特征点，以及主体对象的空间特征和时间特征；对客体对象进行特征点识别并进行特征点跟踪，所述特征点追踪包括对每一帧标记物理形状和位置信息，提取客体对象的空间特征和时间特征；根据辅助物体修复对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点。
当辅助物体为跟随型辅助物体时，主体对象和客体对象在每一帧图像中的空间特征以及连续帧中的时间特征都进行变化；当辅助物体为固定型辅助物体时，主体对象在每一帧图像中的空间特征以及连续帧的时间特征进行变化，而客体对象在每一帧图像中具有稳定的空间特征，且连续帧中的时间特征保持一致；主题对象和客体对象的交互部分的空间特征存在波动。
根据辅助物体修复对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点包括：利用主客体识别网络对经过数据融合的三维信息进行处理，其中主客体识别网络为融合自上而下的姿态识别网路与基于深度卷积的物体识别网络的识别网络；
对主体对象(主体对象例如是要识别的目标对象或人)和客体对象进行标记，获得主体对象范围Bs和客体对象范围Bo；
在主体对象范围Bs内，通过自下而上的姿态识别网络对主体对象的多个部分进行初始识别，以获得多个初始特征点Sparts；
在客体对象范围Bo内，将客体对象标记为O；
提取每一帧的空间特征Fspace，以及连续帧的时间特征Ftime；
对空间特征Fspace与时间特征Ftime进行融合以确定客体对象的对象类别，分别进行跟随型辅助物体(例如是，手持设备或移动设备)和固定型辅助物体(例如，固定设备或墙体)的子场景标记si，其中i＝1，2；其中s1为跟随型辅助物体并且s2为固定型辅助物体；其中空间特征Fspace包括：形状、体积、角度、纹理、颜色、梯度和位置；时间特征Ftime包括位移、速度、上下文信息和旋转；
对于s1子场景，随着时间推移，在主体对象范围的s1子场景和客体对象范围的s；子场景/>间存在动态交集/>其中T1为第一时间并且T2为第二时间；
提取主体对象和客体对象两者的时间特征与空间特征，分别记为主体对象空间特征主体对象时间特征/>客体对象空间特征/>和客体对象时间特征/>
在辅助物体的对象类别为跟随型辅助物体情况下，构建局部交互特征提取算子Aswitho，针对交集时间段[T1，T2]，对多个遮挡部位的初始特征点进行重新识别，从而确定与主体对象相关联的多个特征点s′parts；
对于s2子场景，随着时间推移，在主体对象范围的s2子场景和客体对象范围的s2子场景/>间存在动态交集/>
提取主体对象和客体对象两者的时间特征与空间特征，分别记为主体对象空间特征主体对象时间特征/>和客体对象空间特征/>其中在辅助物体的对象类别为固定型辅助物体的s2场景下，客体对象静止不动，因此不存在客体对象时间特征/>特征；
在动态交集的时间段[T1，T2]内，由/>进入/>的范围而发生遮挡，对于每一个遮挡时刻tj，利用主体对象和客体对象的局部交互特征提取算子Asbyo，结合运动学先验知识Kprior，，对遮挡下的每一帧f(t＝tj)进行修补，从而确定与主体对象相关联的多个特征点S″parts。
基于客体对象的对象信息确定特征点修复类型，根据特征点修复类型对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点包括：
对客体对象的对象信息进行解析以确定客体对象的数量不为零并且客体对象的类型为辅助对象(例如，进行康复时的辅助人员等)时，确定特征点修复类型为辅助对象修复；
利用主客体识别网络在三维信息中对主体对象进行整体标记，基于整体标记提取特征点，以及主体对象的空间特征和时间特征；
对客体对象进行特征点识别并进行特征点跟踪，所述特征点追踪包括对每一帧标记物理形状和位置信息，提取客体对象的空间特征和时间特征；
根据辅助对象修复对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点。
主体对象和客体对象在每一帧图像中的空间特征以及连续帧中的时间特征都进行变化。根据辅助对象修复对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点包括：
利用主客体识别网络对经过数据融合的三维信息进行处理，其中主客体识别网络为融合自上而下的姿态识别网路与基于深度卷积的物体识别网络的识别网络；
获取主体对象和客体对象中每个的对象范围Bi，其中N≥i≥1，N为主体对象和客体对象的总数量，i为自然数；
针对每个Bi，通过自下而上的姿态识别网络对主体对象和客体对象各自的多个部分进行识别，以获得多个初始的特征点其中N为主体对象和客体对象的总数量，M为主体对象或客体对象的所有初始特征点的总数量，其中/>包括主体对象的多个初始的特征点和客体对象的多个初始的特征点；
通过Bi和构造交互识别算子Ainteractive，基于交互识别算子Ainteractive对主体对象和客体对象的位于交互区域的部分中的特征点进行识别和修复；
构造主客体识别算子Asando，基于主客体识别算子Asando分别计算的时空特征时空特征/>对应于主体对象和客体对象中每个的对象范围Bi；
通过计算主体对象和客体对象中每个的支撑点随时间的轨迹/>其中T为时间范围上限，S为空间，下标s-t是时空特征，s-spatial为空间，t-temporal为时间；以及主体对象和客体对象中全部支撑点随时间的轨迹/>通过对比/>与Cot确定客体对象/>以及主体对象S；
按照主体对象和客体对象重新对Bi进行初步分类，以获得主体对象范围Bs和客体对象范围Bo；对于时间维度，主体对象范围Bs和客体对象范围Bo存在动态交集其中T1为第一时间并且T2为第二时间
提取主体对象和客体对象两者的时间特征与空间特征，在[T1，T2]的交互时间段内，分别记为主体对象空间特征主体对象时间特征/>客体对象空间特征/>和客体对象时间特征/>
主客体识别算子Asando在利用了特征点位置信息和点对方向信息的基础上，进一步添加力学信息利用杠杆原理，分别计算动态交集/>内/>与/>的力矩与力臂；结合运动学先验知识Rprior，对主体对象和客体对象的初始特征点进行重新标定以获得与主体对象相关联的多个特征点B′s和与客体对象相关联的多个特征点B′o。
当客体对象的数量为1时，基于交互识别算子Ainteractive对主体对象和客体对象的位于交互区域的部分中的特征点进行识别和修复包括：
利用自上而下的姿态识别网路与自下而上的姿态识别网路结合后对对主体对象和客体对象的位于交互区域的部分中的特征点进行识别以获得数据主体对象范围B1和客体对象范围B2，以及主体对象的多个初始的特征点和客体对象的多个初始的特征点/>
通过交互识别算子Ainteractive，对B1和B2中淘汰的特征点进行互补范围的二次匹配；
更新以获取最新的特征点分别得到/>以及 />

Claims (25)

1.一种基于多个图像获取设备确定特征点的方法，所述方法包括：
每个图像获取设备基于各自的基准位置分别获取主体对象的动态图像，并根据所获取的动态图像生成每个图像获取设备各自的动态图像文件；
根据预先设置的配置文件为每个动态图像文件确定各自的神经网络，利用每个动态图像文件各自的神经网络进行数据处理，以获取与每个图像获取设备相关联的热图集；
对多个热图集进行数据融合以获得每个图像获取设备的经过数据融合的热图集，基于每个图像获取设备的经过数据融合的热图集获得包括主体对象的三维信息；以及
对每个动态图像文件进行图像识别以确定三维信息所涉及的客体对象的对象信息，基于客体对象的对象信息确定特征点修复类型，根据特征点修复类型对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点，
其中，所述对多个热图集进行数据融合以获得每个图像获取设备的经过数据融合的热图集包括：
将多个热图集中的每个热图集依次选择作为当前热图集以进行：
将多个热图集中除了当前热图集之外的每个热图集确定为融合热图集；
基于多个融合热图集对当前热图集进行数据融合，以获得每个图像获取设备的经过数据融合的当前热图集。
2.根据权利要求1所述的方法，在每个图像获取设备基于各自的基准位置分别获取主体对象的动态图像之前还包括：
获取主体对象的位置属性和方向属性，基于位置属性和方向属性为多个图像获取设备中每个图像获取设备确定基准位置。
3.根据权利要求2所述的方法，所述位置属性包括：主体对象的位置坐标和/或主体对象的位置区域。
4.根据权利要求2所述的方法，所述方向属性包括：主体对象的单个朝向信息或主体对象的多个朝向信息。
5.根据权利要求2所述的方法，所述获取主体对象的位置属性和方向属性包括：
接收输入数据并对输入数据进行解析以确定主体对象的位置属性和方向属性；或者
利用定位设备获取主体对象的定位信息，根据定位信息确定主体对象的位置属性和方向属性。
6.根据权利要求2所述的方法，所述基于位置属性和方向属性为多个图像获取设备中每个图像获取设备确定基准位置包括：
基于位置属性和方向属性确定获取目标对象的动态图像的多个候选位置；
从多个候选位置中为每个图像获取设备确定基准位置；
其中每个图像获取设备的基准位置均不相同。
7.根据权利要求1所述的方法，每个图像获取设备基于各自的基准位置分别获取主体对象的动态图像包括：
每个图像获取设备在各自的基准位置处，以各自的预定拍摄角度分别获取主体对象的动态图像；或者
每个图像获取设备基于各自的基准位置形成移动路径，通过在各自的移动路径选择拍摄位置，并在拍摄位置处以所选择的拍摄角度分别获取主体对象的动态图像。
8.根据权利要求1所述的方法，根据所获取的动态图像生成每个图像获取设备各自的动态图像文件包括：
根据每个图像获取设备各自所获取的动态图像，得到动态图像数据流；
利用动态图像数据流生成每个图像获取设备各自的动态图像文件。
9.根据权利要求1所述的方法，所述预先设置的配置文件中包括神经网络的名称和神经网络的参数信息。
10.根据权利要求9所述的方法，所述根据预先设置的配置文件为每个动态图像文件确定各自的神经网络包括：
根据预先设置的配置文件中的神经网络的名称确定所要使用的神经网络；
根据神经网络的参数信息对所要使用的神经网络进行参数配置；
将经过参数配置的神经网络确定为每个动态图像文件各自的神经网络；
其中每个动态图像文件的神经网络是相同的神经网络。
11.根据权利要求1所述的方法，利用每个动态图像文件各自的神经网络进行数据处理，以获取与每个图像获取设备相关联的热图集包括：
利用每个动态图像文件各自的神经网络对每个图像获取设备所获取的动态图像文件进行数据处理，以获取与每个图像获取设备相关联的热图集。
12.根据权利要求1所述的方法，所述基于每个图像获取设备的经过数据融合的热图集获得包括主体对象的三维信息包括：
基于每个图像获取设备的经过数据融合的热图集进行主体对象的特征点的识别，得到多幅同一时刻的二维特征点；
根据每个图像获取设备的世界坐标系的坐标和图像坐标对二维特征点标定内外参数，基于内外参数获取包括主体对象的三维信息。
13.根据权利要求1所述的方法，所述对每个动态图像文件进行图像识别以确定三维信息所涉及的客体对象的对象信息包括：
利用图像识别设备对每个动态图像文件进行图像识别以确定三维信息所涉及的客体对象的对象信息。
14.根据权利要求1或13所述的方法，所述对象信息包括：客体对象的数量和客体对象的类型。
15.根据权利要求1所述的方法，基于客体对象的对象信息确定特征点修复类型，根据特征点修复类型对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点包括：
对客体对象的对象信息进行解析以确定客体对象的数量为零时，确定特征点修复类型为不进行修复；
当特征点修复类型为不进行修复时，不根据特征点修复类型对所述三维信息进行特征点的修复，直接根据主体对象的三维信息确定与主体对象相关联的多个特征点。
16.根据权利要求1所述的方法，基于客体对象的对象信息确定特征点修复类型，根据特征点修复类型对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点包括：
对客体对象的对象信息进行解析以确定客体对象的数量不为零并且客体对象的类型为辅助物体时，确定特征点修复类型为辅助物体修复；
利用主客体识别网络在三维信息中对主体对象进行整体标记，基于整体标记提取特征点，以及主体对象的空间特征和时间特征；
对客体对象进行特征点识别并进行特征点跟踪，所述特征点追踪包括对每一帧标记物理形状和位置信息，提取客体对象的空间特征和时间特征；
根据辅助物体修复对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点。
17.根据权利要求16所述的方法，当辅助物体为跟随型辅助物体时，主体对象和客体对象在每一帧图像中的空间特征以及连续帧中的时间特征都进行变化；
当辅助物体为固定型辅助物体时，主体对象在每一帧图像中的空间特征以及连续帧的时间特征进行变化，而客体对象在每一帧图像中具有稳定的空间特征，且连续帧中的时间特征保持一致；
主体对象和客体对象的交互部分的空间特征存在波动。
18.根据权利要求17所述的方法，根据辅助物体修复对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点包括：
利用主客体识别网络对经过数据融合的三维信息进行处理，其中主客体识别网络为融合自上而下的姿态识别网路与基于深度卷积的物体识别网络的识别网络；
对主体对象和客体对象进行标记，获得主体对象范围Bs和客体对象范围Bo；
在主体对象范围Bs内，通过自下而上的姿态识别网络对主体对象的多个部分进行初始识别,以获得多个初始特征点Sparts；
在客体对象范围Bo内，将客体对象标记为O；
提取每一帧的空间特征Fspace，以及连续帧的时间特征Ftime；
对空间特征Fspace与时间特征Ftime进行融合以确定客体对象的对象类别，分别进行跟随型辅助物体和固定型辅助物体的子场景标记si，其中i＝1,2；其中s1为跟随型辅助物体并且s2为固定型辅助物体；其中空间特征Fspace包括：形状、体积、角度、纹理、颜色、梯度和位置；时间特征Ftime包括位移、速度、上下文信息和旋转；
对于s1子场景，随着时间推移，在主体对象范围的s1子场景和客体对象范围的s1子场景/>间存在动态交集/>其中T1为第一时间并且T2为第二时间；
提取主体对象和客体对象两者的时间特征与空间特征，分别记为主体对象空间特征主体对象时间特征/>客体对象空间特征/>和客体对象时间特征/>
在辅助物体的对象类别为跟随型辅助物体情况下，构建局部交互特征提取算子Aswitho,针对交集时间段[T1,T2]，对多个遮挡部位的初始特征点进行重新识别，从而确定与主体对象相关联的多个特征点S′parts；
对于s2子场景，随着时间推移，在主体对象范围的s2子场景和客体对象范围的s2子场景/>间存在动态交集/>
提取主体对象和客体对象两者的时间特征与空间特征，分别记为主体对象空间特征主体对象时间特征/>和客体对象空间特征/>其中在辅助物体的对象类别为固定型辅助物体的s2场景下，客体对象静止不动，因此不存在客体对象时间特征/>
在动态交集的时间段[T1,T2]内，由/>进入/>的范围而发生遮挡,对于每一个遮挡时刻tj，利用主体对象和客体对象的局部交互特征提取算子Asbyo，结合运动学先验知识Kprior,对遮挡下的每一帧f(t＝tj)进行修补，从而确定与主体对象相关联的多个特征点S″parts。
19.根据权利要求1所述的方法，基于客体对象的对象信息确定特征点修复类型，根据特征点修复类型对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点包括：
对客体对象的对象信息进行解析以确定客体对象的数量不为零并且客体对象的类型为辅助对象时，确定特征点修复类型为辅助对象修复；
利用主客体识别网络在三维信息中对主体对象进行整体标记，基于整体标记提取特征点，以及主体对象的空间特征和时间特征；
对客体对象进行特征点识别并进行特征点跟踪，所述特征点追踪包括对每一帧标记物理形状和位置信息，提取客体对象的空间特征和时间特征；
根据辅助对象修复对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点。
20.根据权利要求19所述的方法，主体对象和客体对象在每一帧图像中的空间特征以及连续帧中的时间特征都进行变化。
21.根据权利要求1所述的方法，根据辅助对象修复对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点包括：
利用主客体识别网络对经过数据融合的三维信息进行处理，其中主客体识别网络为融合自上而下的姿态识别网路与基于深度卷积的物体识别网络的识别网络；
获取主体对象和客体对象中每个的对象范围Bi,其中N≥i≥1,N为主体对象和客体对象的总数量，i为自然数；
针对每个Bi，通过自下而上的姿态识别网络对主体对象和客体对象各自的多个部分进行识别，以获得多个初始的特征点其中N为主体对象和客体对象的总数量，M为主体对象或客体对象的所有初始特征点的总数量，其中/>包括主体对象的多个初始的特征点和客体对象的多个初始的特征点；
通过Bi和构造交互识别算子Ainteractive，基于交互识别算子Ainteractive对主体对象和客体对象的位于交互区域的部分中的特征点进行识别和修复；
构造主客体识别算子As and o，基于主客体识别算子As and o分别计算的时空特征时空特征/>对应于主体对象和客体对象中每个的对象范围Bi；
通过计算主体对象和客体对象中每个的支撑点随时间的轨迹/> 其中T为时间范围上限，S为空间，下标s-t是时空特征，s-spatial为空间，t-temporal为时间以及主体对象和客体对象中全部支撑点随时间的轨迹/>通过对比/>与Cot确定客体对象/> 以及主体对象S；
按照主体对象和客体对象重新对Bi进行初步分类，以获得主体对象范围Bs和客体对象范围Bo；对于时间维度，主体对象范围Bs和客体对象范围Bo存在动态交集其中T1为第一时间并且T2为第二时间
提取主体对象和客体对象两者的时间特征与空间特征，在[T1,T2]的交互时间段内，分别记为主体对象空间特征主体对象时间特征/>客体对象空间特征/>和客体对象时间特征/>
主客体识别算子As and o在利用了特征点位置信息和点对方向信息的基础上，进一步添加力学信息利用杠杆原理，分别计算动态交集/>内/>与/>的力矩与力臂；结合运动学先验知识Rprior，对主体对象和客体对象的初始特征点进行重新标定以获得与主体对象相关联的多个特征点Bs′和与客体对象相关联的多个特征点Bo′。
22.根据权利要求21所述的方法，当客体对象的数量为1时，基于交互识别算子Ainteractive对主体对象和客体对象的位于交互区域的部分中的特征点进行识别和修复包括：
利用自上而下的姿态识别网路与自下而上的姿态识别网路结合后对主体对象和客体对象的位于交互区域的部分中的特征点进行识别以获得数据主体对象范围B1和客体对象范围B2，以及主体对象的多个初始的特征点和客体对象的多个初始的特征点/>
通过交互识别算子Ainteractive，对B1和B2中淘汰的特征点进行互补范围的二次匹配；
更新以获取最新的特征点分别得到/> 以及/>
23.一种基于多个图像获取设备确定特征点的***，所述***包括：
多个图像获取设备，其中每个图像获取设备基于各自的基准位置分别获取主体对象的动态图像，并根据所获取的动态图像生成每个图像获取设备各自的动态图像文件；
数据处理设备，用于根据预先设置的配置文件为每个动态图像文件确定各自的神经网络，利用每个动态图像文件各自的神经网络进行数据处理，以获取与每个图像获取设备相关联的热图集；
数据融合设备，用于对多个热图集进行数据融合以获得每个图像获取设备的经过数据融合的热图集，基于每个图像获取设备的经过数据融合的热图集获得包括主体对象的三维信息；以及
图像识别设备，用于对每个动态图像文件进行图像识别以确定三维信息所涉及的客体对象的对象信息，基于客体对象的对象信息确定特征点修复类型，根据特征点修复类型对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点；
其中，所述对多个热图集进行数据融合以获得每个图像获取设备的经过数据融合的热图集包括：
将多个热图集中的每个热图集依次选择作为当前热图集以进行：
将多个热图集中除了当前热图集之外的每个热图集确定为融合热图集；
基于多个融合热图集对当前热图集进行数据融合，以获得每个图像获取设备的经过数据融合的当前热图集。
24.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-22任一所述的方法。
25.一种电子设备，其特征在于，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-22任一所述的方法。
CN202110798485.3A 2021-07-15 2021-07-15 基于多个图像获取设备确定特征点的方法及*** Active CN113643788B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110798485.3A CN113643788B (zh) 2021-07-15 2021-07-15 基于多个图像获取设备确定特征点的方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110798485.3A CN113643788B (zh) 2021-07-15 2021-07-15 基于多个图像获取设备确定特征点的方法及***

Publications (2)

Publication Number Publication Date
CN113643788A CN113643788A (zh) 2021-11-12
CN113643788B true CN113643788B (zh) 2024-04-05

Family

ID=78417417

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110798485.3A Active CN113643788B (zh) 2021-07-15 2021-07-15 基于多个图像获取设备确定特征点的方法及***

Country Status (1)

Country Link
CN (1) CN113643788B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107464286A (zh) * 2017-06-30 2017-12-12 百度在线网络技术（北京）有限公司 三维城市模型中的孔洞修复方法及装置、设备及可读介质
CN108320330A (zh) * 2018-01-23 2018-07-24 河北中科恒运软件科技股份有限公司 基于深度视频流的实时三维模型重建方法及***
CN108376421A (zh) * 2018-02-28 2018-08-07 浙江神造科技有限公司 一种基于阴影恢复形状法生成人脸三维模型的方法
CN108735279A (zh) * 2018-06-21 2018-11-02 广西虚拟现实科技有限公司 一种虚拟现实脑中风上肢康复训练***及控制方法
CN110942520A (zh) * 2019-11-27 2020-03-31 中南大学 作业设备辅助定位方法、装置、***及存储介质
CN111199579A (zh) * 2020-01-02 2020-05-26 腾讯科技（深圳）有限公司 一种目标物的三维模型构建方法、装置、设备及介质
CN111836012A (zh) * 2020-06-28 2020-10-27 航天图景（北京）科技有限公司 基于三维场景的视频融合与视频联动方法及电子设备
PH12019050076A1 (en) * 2019-05-06 2020-12-02 Samsung Electronics Co Ltd Enhancing device geolocation using 3d map data
CN112185508A (zh) * 2020-09-30 2021-01-05 张延雄 一种基于人工智能的眼保健操质量评估***
CN112434679A (zh) * 2021-01-27 2021-03-02 萱闱(北京)生物科技有限公司 康复运动的评估方法及装置、设备、存储介质
CN112464918A (zh) * 2021-01-27 2021-03-09 昆山恒巨电子有限公司 健身动作纠正方法、装置、计算机设备和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11004230B2 (en) * 2019-03-22 2021-05-11 Microsoft Technology Licensing, Llc Predicting three-dimensional articulated and target object pose

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107464286A (zh) * 2017-06-30 2017-12-12 百度在线网络技术（北京）有限公司 三维城市模型中的孔洞修复方法及装置、设备及可读介质
CN108320330A (zh) * 2018-01-23 2018-07-24 河北中科恒运软件科技股份有限公司 基于深度视频流的实时三维模型重建方法及***
CN108376421A (zh) * 2018-02-28 2018-08-07 浙江神造科技有限公司 一种基于阴影恢复形状法生成人脸三维模型的方法
CN108735279A (zh) * 2018-06-21 2018-11-02 广西虚拟现实科技有限公司 一种虚拟现实脑中风上肢康复训练***及控制方法
PH12019050076A1 (en) * 2019-05-06 2020-12-02 Samsung Electronics Co Ltd Enhancing device geolocation using 3d map data
CN110942520A (zh) * 2019-11-27 2020-03-31 中南大学 作业设备辅助定位方法、装置、***及存储介质
CN111199579A (zh) * 2020-01-02 2020-05-26 腾讯科技（深圳）有限公司 一种目标物的三维模型构建方法、装置、设备及介质
CN111836012A (zh) * 2020-06-28 2020-10-27 航天图景（北京）科技有限公司 基于三维场景的视频融合与视频联动方法及电子设备
CN112185508A (zh) * 2020-09-30 2021-01-05 张延雄 一种基于人工智能的眼保健操质量评估***
CN112434679A (zh) * 2021-01-27 2021-03-02 萱闱(北京)生物科技有限公司 康复运动的评估方法及装置、设备、存储介质
CN112464918A (zh) * 2021-01-27 2021-03-09 昆山恒巨电子有限公司 健身动作纠正方法、装置、计算机设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
三维数字化扫描及测量技术在下颌前突畸形诊治中的应用;丁榆德;杨斌;;中国组织工程研究(第20期);全文 *
多源异构感知数据融合方法及其在目标定位跟踪中的应用;胡永利;朴星霖;孙艳丰;尹宝才;;中国科学:信息科学(第10期);全文 *

Also Published As

Publication number Publication date
CN113643788A (zh) 2021-11-12

Similar Documents

Publication Publication Date Title
US10507002B2 (en) X-ray system and method for standing subject
US11763603B2 (en) Physical activity quantification and monitoring
Dikovski et al. Evaluation of different feature sets for gait recognition using skeletal data from Kinect
CN111881887A (zh) 基于多摄像头的运动姿态监测和指导方法及装置
CN103099623B (zh) 一种人体运动学参数的提取方法
US11403882B2 (en) Scoring metric for physical activity performance and tracking
US11945125B2 (en) Auxiliary photographing device for dyskinesia analysis, and control method and apparatus for auxiliary photographing device for dyskinesia analysis
Anilkumar et al. Pose estimated yoga monitoring system
Thang et al. Estimation of 3-D human body posture via co-registration of 3-D human model and sequential stereo information
Fieraru et al. Learning complex 3D human self-contact
CN106846372B (zh) 人体运动质量视觉分析与评价***及其方法
Kuryło et al. Machine vision system measuring the trajectory of upper limb motion applying the matlab software
CN113643788B (zh) 基于多个图像获取设备确定特征点的方法及***
CN203630717U (zh) 基于轻型惯导传感输入设备的交互***
Abd Shattar et al. Experimental setup for markerless motion capture and landmarks detection using OpenPose during dynamic gait index measurement
Calvache et al. Automatic estimation of pose and falls in videos using computer vision model
Hachaj et al. Heuristic Method for Calculating the Translation of Human Body Recordings Using Data from an Inertial Motion Capture Costume
Hu et al. Effective evaluation of HGcnMLP method for markerless 3D pose estimation of musculoskeletal diseases patients based on smartphone monocular video
Omidokun et al. Leveraging Digital Perceptual Technologies for Remote Perception and Analysis of Human Biomechanical Processes: A Contactless Approach for Workload and Joint Force Assessment
Ooke et al. Transfer Learning of Deep Neural Network Human Pose Estimator by Domain-Specific Data for Video Motion Capturing
Mastrogeorgiou et al. Application of OpenPose deep learning algorithm for gait parameter identification
Wasalthilaka et al. Automated Physical Fitness Recommendation System for Driving License
Kaichi Human Motion Capture Based on Geometric Consistency Using Visual and Inertial Sensors
Basiratzadeh Augmented Reality Approach for Marker-based Human Posture Measurement on Smartphones
Young Novel Approach for Non-Invasive Prediction of Body Shape and Habitus

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant