CN111435535B - 一种关节点信息的获取方法及装置 - Google Patents
一种关节点信息的获取方法及装置 Download PDFInfo
- Publication number
- CN111435535B CN111435535B CN201910031696.7A CN201910031696A CN111435535B CN 111435535 B CN111435535 B CN 111435535B CN 201910031696 A CN201910031696 A CN 201910031696A CN 111435535 B CN111435535 B CN 111435535B
- Authority
- CN
- China
- Prior art keywords
- joint point
- coordinate information
- information
- image
- joint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000012545 processing Methods 0.000 claims abstract description 63
- 238000012937 correction Methods 0.000 claims abstract description 31
- 230000002596 correlated effect Effects 0.000 claims abstract description 22
- 230000000875 corresponding effect Effects 0.000 claims description 35
- 238000013459 approach Methods 0.000 claims description 32
- 230000000295 complement effect Effects 0.000 claims description 26
- 238000001514 detection method Methods 0.000 claims description 19
- 230000015572 biosynthetic process Effects 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 17
- 238000003786 synthesis reaction Methods 0.000 claims description 17
- 230000003287 optical effect Effects 0.000 claims description 14
- 230000001502 supplementing effect Effects 0.000 claims description 9
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 230000005021 gait Effects 0.000 abstract description 16
- 238000004458 analytical method Methods 0.000 abstract description 12
- 230000006870 function Effects 0.000 description 13
- 238000004590 computer program Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 210000003423 ankle Anatomy 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 210000002832 shoulder Anatomy 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提供了一种关节点信息的获取方法及装置。本发明实施例提供的关节点信息的获取方法及装置，综合利用多个深度摄像头的关节点坐标信息，从而可以避免部分摄像头的图像中丢失某个(些)关节点的情况，提高了关节点信息的完整性和准确性，进而可以为后续基于关节点信息进行步态分析提供更好的数据支持。另外，本发明实施例还通过关节点的补全和/或修正处理，提高了关节点信息的正确性和完整性。另外，本发明实施例还基于各帧图像中目标对象的深度信息的精度的高低情况，为关节点位置坐标设置与精度正相关的权值，基于该权值进行关节点坐标的综合处理，可以进一步提高关节点位置坐标的准确性。
Description
技术领域
本发明涉及视频图像处理技术领域，具体涉及一种关节点信息的获取方法及装置。
背景技术
在视频图像处理领域中，一种应用场景是通过视频图像采集目标对象(如行人、动物)的步态，进而通过对步态进行分析，获取目标对象的健康信息。步态通常是指对象行走的方式和风格。以行人为例，一个人的步态是自身结构与功能、运动调节***、个人行为及心理活动在行走时的外在表现。因此在康复、医疗和养老等领域，步态分析可为诊断疾病、确定康复和治疗方案提供重要的依据。
步态特征包括运动学(如关节点的空间位置坐标、角度、速度、角速度、加速度等)、动力学(地面反力、关节点受力、力矩等)、肌电、能量消耗等多方面参数。空间位置坐标是运动学分析的基础数据。本文中主要涉及关节点的空间位置坐标。
现有技术的一种基于数字视频和数字图像处理的步态分析方法，在人身上粘贴标志点，并通过单个摄像机拍摄行人走路的视频信息，在硬盘上形成数字视频文件，然后把数字视频文件切分成图像序列，以便后面的图像处理。通过图像处理，识别出每一幅图像中标志点的坐标，有了标志点的坐标，就可以计算出步态中的运动学参数。
上述方法通过在行人身上手动贴上标志点，基于图像分析跟踪不同行人(模板匹配技术)，并计算运动信息(运动估计技术)。上述方法在实际应用中通常存在以下问题：
单个摄像机在拍摄行走的人员时，由于人员行走导致行人相对于摄像头的角度发生变化，容易会出现部分关节点缺失，造成步态信息不完整而无法进行有效分析。另外，当现场人员有多人，当多个人员位置相对较近时，关节点检测技术精度降低，容易出现关节点检测错位的情况，造成步态信息错误而无法进行有效分析。
发明内容
本发明实施例要解决的技术问题是提供一种关节点信息的获取方法及装置，提高关节点信息的准确性和完整性。
为解决上述技术问题，本发明实施例提供关节点信息的获取方法，包括：
获取至少2个摄像头拍摄的观测区域内目标对象的视频，所述至少2个摄像头位于所述观测区域的不同位置，通过不同拍摄角度拍摄所述观测区域；
根据每个摄像头所拍摄的视频及对应深度信息，分别获取每帧图像中所述目标对象的关节点，得到该图像中的关节点坐标信息；
对不同摄像头同一时刻拍摄的图像中的关节点坐标信息进行综合，得到综合后的关节点坐标信息。
优选的，所述根据每个摄像头所拍摄的视频及对应深度信息，分别获取每帧图像中所述目标对象的关节点，得到该图像中的关节点坐标信息的步骤，包括：
针对每个摄像头所拍摄的视频的每帧图像，分别执行以下处理：
基于目标对象关节点检测算法，检测该图像中所述目标对象的关节点，结合深度摄像头的深度信息，得到该图像中的关节点坐标信息，所述关节点坐标信息包括检测到的关节点的空间位置；
基于该图像之前的历史图像中检测到的各个关节点的运动信息，预测在该图像拍摄时刻各个关节点的预测空间位置；
根据所述预测空间位置，对该图像中的关节点坐标信息进行补全处理和/或修正处理；
其中，所述补全处理为：在该图像中的关节点坐标信息未包含有所述目标对象的完整关节点时，确定该图像中的缺失关节点，并将该缺失关节点的预测空间位置，补充到该图像中的关节点坐标信息中；
所述修正处理为：根据每个关节点的预测空间位置与当前帧图像中检测到的对应关节点的空间位置的差异，修正该图像中的关节点坐标信息，其中，在所述差异超过预设门限时，使用关节点的预测空间位置替换检测到的关节点的空间位置。
优选的，所述对不同摄像头同一时刻拍摄的图像中的关节点坐标信息进行综合的步骤，包括：
对不同摄像头同一时刻拍摄的图像中的同一关节点的关节点坐标信息进行累加并计算平均值，得到综合后的关节点坐标信息。
优选的，在获取每帧图像中所述目标对象的关节点时，进一步获取该图像中目标对象的深度值精度信息，所述深度值精度信息用于表示所述摄像头在拍摄该图像时获取的所述目标对象的深度信息的精度；
所述对不同摄像头同一时刻拍摄的图像中的关节点坐标信息进行综合的步骤，包括：
根据每个关节点坐标信息的权值，对不同摄像头同一时刻拍摄的图像中的关节点坐标信息进行加权求和，得到综合后的关节点坐标信息，其中，所述图像中的关节点坐标信息的权值，与所述图像中目标对象的深度值精度信息所表示的精度正相关。
优选的，所述深度值精度信息包括以下信息中的至少一种：所述目标对象与摄像头间的空间距离；所述目标对象的运动方向与所述摄像头光轴之间的运动夹角；
在对不同摄像头同一时刻拍摄的图像中的关节点坐标信息进行加权求和之前，所述方法还包括：
根据图像中目标对象的深度值精度信息，确定该图像中的关节点坐标信息的权值，其中，所述关节点坐标信息的权值，与第一接近程度和/或第二接近程度均为正相关关系，所述第一接近程度为所述空间距离和所述摄像头的最佳精度距离的接近程度，所述第二接近程度为所述运动夹角和90度的接近程度。
优选的，所述深度值精度信息包括以下信息中的至少一种：所述目标对象与摄像头间的空间距离；所述目标对象的运动方向与所述摄像头光轴之间的运动夹角；
在对不同摄像头同一时刻拍摄的图像中的关节点坐标信息进行加权求和之前，所述方法还包括：
根据图像中目标对象的深度值精度信息和关节点坐标信息属性，确定该图像中的关节点坐标信息的权值，所述关节点坐标信息属性包括：从图像中检测得到的原始关节点坐标信息；通过补全处理或修正处理得到的非原始关节点坐标信息；其中，所述关节点坐标信息的权值，与第一接近程度和/或第二接近程度均为正相关关系；所述关节点坐标信息的权值，还与和关节点坐标信息属性的取值为正相关关系；所述第一接近程度为所述空间距离和所述摄像头的最佳精度距离的接近程度，所述第二接近程度为所述运动夹角和90度的接近程度；所述关节点坐标信息属性在原始关节点坐标信息下的取值，高于非原始关节点坐标信息下的取值。
优选的，所述根据每个关节点坐标信息的权值，对不同摄像头同一时刻拍摄的图像中的关节点坐标信息进行综合的步骤，包括：
针对不同摄像头同一时刻拍摄的图像中的同一关节点：
根据关节点坐标信息的权值，对不同摄像头拍摄的该关节点的关节点坐标信息进行加权求和，得到该关节点综合后的关节点坐标信息；或者，
从不同摄像头拍摄的该关节点的关节点坐标信息中，选择出权值最高的关节点坐标信息，作为综合后的关节点坐标信息。
本发明实施例还提供了一种关节点信息的获取装置，包括：
视频获取单元，用于获取至少2个摄像头拍摄的观测区域内目标对象的视频，所述至少2个摄像头位于所述观测区域的不同位置，通过不同拍摄角度拍摄所述观测区域；
关节点检测单元，用于根据每个摄像头所拍摄的视频及对应深度信息，分别获取每帧图像中所述目标对象的关节点，得到该图像中的关节点坐标信息；
信息综合单元，用于对不同摄像头同一时刻拍摄的图像中的关节点坐标信息进行综合，得到综合后的关节点坐标信息。
优选的，所述关节点检测单元，还用于针对每个摄像头所拍摄的视频的每帧图像，分别执行以下处理：
检测该图像中所述目标对象的关节点，结合对应深度信息，得到该图像中的关节点坐标信息，所述关节点坐标信息包括检测到的关节点的空间位置；
基于该图像之前的历史图像中检测到的各个关节点的运动信息，预测在该图像拍摄时刻各个关节点的预测空间位置；
根据所述预测空间位置，对该图像中的关节点坐标信息进行补全处理和/或修正处理；
其中，所述补全处理为：在该图像中的关节点坐标信息未包含有所述目标对象的完整关节点时，确定该图像中的缺失关节点，并将该缺失关节点的预测空间位置，补充到该图像中的关节点坐标信息中；
所述修正处理为：根据每个关节点的预测空间位置与当前帧图像中检测到的对应关节点的空间位置的差异，修正该图像中的关节点坐标信息，其中，在所述差异超过预设门限时，使用关节点的预测空间位置替换检测到的关节点的空间位置。
优选的，所述信息综合单元，还用于对不同摄像头同一时刻拍摄的图像中的同一关节点的关节点坐标信息进行累加并计算平均值，得到综合后的关节点坐标信息。
优选的，所述关节点检测单元，还用于在获取每帧图像中所述目标对象的关节点时，进一步获取该图像中目标对象的深度值精度信息，所述深度值精度信息用于表示所述摄像头在拍摄该图像时获取的所述目标对象的深度信息的精度；
所述信息综合单元，还用于根据每个关节点坐标信息的权值，对不同摄像头同一时刻拍摄的图像中的关节点坐标信息进行加权求和，得到综合后的关节点坐标信息，其中，所述图像中的关节点坐标信息的权值，与所述图像中目标对象的深度值精度信息所表示的精度正相关。
优选的，所述深度值精度信息包括以下信息中的至少一种：所述目标对象与摄像头间的空间距离；所述目标对象的运动方向与所述摄像头光轴之间的运动夹角；
所述获取装置还包括：
第一权值确定单元，用于根据图像中目标对象的深度值精度信息，确定该图像中的关节点坐标信息的权值，其中，所述关节点坐标信息的权值，与第一接近程度和/或第二接近程度均为正相关关系，所述第一接近程度为所述空间距离和所述摄像头的最佳精度距离的接近程度，所述第二接近程度为所述运动夹角和90度的接近程度。
优选的，所述深度值精度信息包括以下信息中的至少一种：所述目标对象与摄像头间的空间距离；所述目标对象的运动方向与所述摄像头光轴之间的运动夹角；
所述获取装置还包括：
第二权值确定单元，用于根据图像中目标对象的深度值精度信息和关节点坐标信息属性，确定该图像中的关节点坐标信息的权值，所述关节点坐标信息属性包括：从图像中检测得到的原始关节点坐标信息；通过补全处理或修正处理得到的非原始关节点坐标信息；其中，所述关节点坐标信息的权值，与第一接近程度和/或第二接近程度均为正相关关系；所述关节点坐标信息的权值，还与和关节点坐标信息属性的取值为正相关关系；所述第一接近程度为所述空间距离和所述摄像头的最佳精度距离的接近程度，所述第二接近程度为所述运动夹角和90度的接近程；所述关节点坐标信息属性在原始关节点坐标信息下的取值，高于非原始关节点坐标信息下的取值。
优选的，所述信息综合单元，还用于针对不同摄像头同一时刻拍摄的图像中的同一关节点：
根据关节点坐标信息的权值，对不同摄像头拍摄的该关节点的关节点坐标信息进行加权求和，得到该关节点综合后的关节点坐标信息；或者，
从不同摄像头拍摄的该关节点的关节点坐标信息中，选择出权值最高的关节点坐标信息，作为综合后的关节点坐标信息。
本发明实施例还提供了另一种关节点信息的获取装置，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的关节点信息的获取方法的步骤。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的关节点信息的获取方法的步骤。
与现有技术相比，本发明实施例提供的关节点信息的获取方法及装置，综合利用多个摄像头的关节点坐标信息，从而可以避免部分摄像头的图像中丢失某个(些)关节点的情况，提高了关节点信息的完整性和准确性，进而可以为后续基于关节点信息进行步态分析提供更好的数据支持。另外，本发明实施例还通过关节点的补全和/或修正处理，提高了关节点信息的正确性和完整性。另外，本发明实施例还基于各帧图像中目标对象的深度信息的精度的高低情况，为关节点位置坐标设置与精度正相关的权值，基于该权值进行关节点坐标的综合处理，可以进一步提高关节点位置坐标的准确性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的关节点信息的获取方法的流程示意图；
图2为本发明实施例的关节点信息的获取方法的一种应用场景示意图；
图3为本发明实施例提供的关节点信息的获取方法的另一流程示意图；
图4为本发明实施例中提供的摄像头获取的深度信息精度与距离的一种对应关系的示例图；
图5为本发明实施例提供的关节点信息的获取装置的一种结构示意图；
图6为本发明实施例提供的关节点信息的获取装置的另一种结构示意图；
图7为本发明实施例提供的关节点信息的获取装置的又一种结构示意图；
图8为本发明实施例提供的关节点信息的获取装置的再一种结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。在下面的描述中，提供诸如具体的配置和组件的特定细节仅仅是为了帮助全面理解本发明的实施例。因此，本领域技术人员应该清楚，可以对这里描述的实施例进行各种改变和修改而不脱离本发明的范围和精神。另外，为了清楚和简洁，省略了对已知功能和构造的描述。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。
在本发明的各种实施例中，应理解，下述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
如背景技术所述的，在获取目标对象的关节点信息时，现有技术通常存在准确性和完整性不高的问题，为解决以上问题，本发明实施例提供了一种关节点信息的获取方法，请参照图1，该方法包括：
步骤11，获取至少2个摄像头拍摄的观测区域内目标对象的视频。
为了提高关节点信息的准确性和完整性，本发明实施例采用两个以上的摄像头拍摄观测区域内，每个摄像头可以固定于观测区域内的不同位置，并且通过不同拍摄角度对观测区域进行监测，从而分别获得多个摄像头所拍摄的目标对象的视频。图2给出了本发明实施例的一种应用场景，其中，在观测区域20内布设了四个摄像头23～26，这四个摄像头分别位于观测区域的不同位置处，且通过不同拍摄角度进行拍摄观测区域20中的目标对象，如行人21～22。
本发明实施例中，每个摄像头都可以是深度摄像头，可以获取彩色现场图像和对应的深度信息。在彩色现场图像上利用关节点检测算法，获取目标对象的关节点，结合深度信息，可以获得关节点的空间坐标信息。这里，所述摄像头具体可以是双目摄像头。
步骤12，根据每个摄像头所拍摄的视频及对应深度信息，分别获取每帧图像中所述目标对象的关节点，得到该图像中的关节点坐标信息。
这里，本发明实施例分别基于各个摄像头拍摄的视频，利用关节点检测算法，获取各个摄像头下的目标对象的关节点的坐标信息。例如，通过双目摄像头获取的彩色图像及深度信息，基于二维彩色图像，利用关节点检测算法，可以获取图像中人员的关节点(如骨骼关节点)；基于三维深度信息，可以获取各关节点的关节点坐标信息(空间位置的坐标)。具体的关节点的选择，可以根据后续应用的需求预先设定，例如，步态分析通常需要提取人员身上的多个关节点(一种应用需求是17个关节点，包括手腕、脚踝、膝盖、肩膀等处的关节点)。
步骤13，对不同摄像头同一时刻拍摄的图像中的关节点坐标信息进行综合，得到综合后的关节点坐标信息。
这里，本发明实施例基于多个摄像头的视频，分别获取了目标对象的关节点坐标信息，进而进行综合。所述综合处理具体可以是，对不同摄像头同一时刻拍摄的图像中的同一关节点的关节点坐标信息进行累加并计算平均值，得到综合后的关节点坐标信息。
例如，假设存在3个摄像头，需要关注的目标对象的关节点有8个，分别为关节点1～8。其中，从摄像头1在时刻tn拍摄的图像中获取了关节点1～关节点8的坐标；从摄像头2在时刻tn拍摄的图像中获取了关节点1～关节点7的坐标，缺失了关节点8的坐标；从摄像头3在时刻tn拍摄的图像中获取了关节点1～关节点8的坐标，一种可能的综合处理的方式为：对于关节点1～7，将3个摄像头中的对应坐标分别进行累加，然后再除以3，即可得到综合后的坐标；对于关节点8，可以将摄像头1和摄像头3中的对应坐标进行累加，然后再除以2，即可得到综合后的坐标。
另外，需要说明的是，本发明实施例中，各个摄像头的安装位置和拍摄角度是预先设定的，因此，在对各个摄像头下的关节点坐标信息进行综合前，需要将这些关节点坐标信息均转换到同一坐标系下，再进行上述综合处理，具体的坐标系的转换方法可以参考现有技术的相关实现，本发明实施例对此不做具体限定。
可以看出，在实际应用中，由于拍摄角度或遮挡等因素，某个摄像头的某些图像中可能存在部分关节点信息无法获取的问题。本发明实施例在上述步骤13中，综合利用多个摄像头的关节点坐标信息，从而可以避免部分摄像头的图像中丢失某个(些)关节点的情况，提高了关节点信息的完整性和准确性，进而可以为后续基于关节点信息进行步态分析(如获取健康状态等)提供更好的数据支持。
在本发明提供的另外一种实施例中，在上述步骤12中可以利用关节点的运动信息对缺失关节点进行补全处理，和/或，对错误关节点进行修正处理，从而可以为后续步骤13中综合处理提供更好的支持，获得更优的综合结果。这里，缺失关节点是指图像中未检出的关节点，通常由于遮挡等因素导致某些关节点不可见；错误关节点是指检出的关节点的坐标与真实的关节点的坐标之间偏差过大的关节点，通常是由于关节点检测算法的不稳定性导致。
具体的，在上述步骤12中，本发明实施例可以针对每个摄像头所拍摄的视频的每帧图像，分别执行以下处理：
A)检测该图像中所述目标对象的关节点，结合对应深度信息，得到该图像中的关节点坐标信息，所述关节点坐标信息包括检测到的关节点的空间位置。
B)基于该图像之前的历史图像中检测到的各个关节点的运动信息，预测在该图像拍摄时刻各个关节点的预测空间位置。
这里，可以利用现有技术的运动估计算法，基于关节点的历史坐标信息，预测该关节点在当前图像中的位置坐标，具体算法可以参考现有技术的相关实现，本发明实施例对此不做具体限定。
C)根据所述预测空间位置，对该图像中的关节点坐标信息进行补全处理和/或修正处理；
其中，所述补全处理为：在该图像中的关节点坐标信息未包含有所述目标对象的完整关节点时，确定该图像中的缺失关节点，并将该缺失关节点的预测空间位置，补充到该图像中的关节点坐标信息中；所述修正处理为：根据每个关节点的预测空间位置与检测到的空间位置的差异，修正该图像中的关节点坐标信息，其中，在所述差异超过预设门限时，此时很可能发生了关节点的误检测，因此可以使用关节点的预测空间位置替换检测到的空间位置，以提高关节点信息的准确性。这里，完整关节点是预先根据应用场景需求选择的需要关注的所有关节点。
通过以上处理，可以保证每个摄像头所获取的关节点都是完整的，并通过运动信息对可能检测错误的关节点进行了修正，从而可以进一步提高后续步骤13中所获得的关节点信息的正确性和完整性。
考虑到摄像头的某帧图像中获取的关节点位置坐标的准确程度，与该图像拍摄时摄像头能够获取的目标对象的深度信息的精度密切相关，为此，本发明实施例还提供了另一种关节点信息的获取方法，该方法进一步结合摄像头在获取目标对象的深度信息时的精度，设置各个摄像头获取的关节点位置坐标的权值，进而基于该权值对多个摄像头获取的关节点位置坐标进行综合，可以更好的提供关节点信息的准确性。如图3所示，该关节点信息的获取方法，包括：
步骤31，获取至少2个摄像头拍摄的观测区域内目标对象的视频，所述至少2个摄像头位于所述观测区域的不同位置，通过不同拍摄角度拍摄所述观测区域。
这里，为了提高关节点信息的准确性和完整性，本发明实施例采用两个以上的摄像头拍摄观测区域内，每个摄像头可以固定于观测区域内的不同位置，并且通过不同拍摄角度对观测区域进行监测，从而分别获得多个摄像头所拍摄的目标对象的视频。
本发明实施例中，每个摄像头可以获取目标对象的深度图像，基于每个摄像头的图像可以分别获取目标对象的关节点信息。这里，所述摄像头具体可以是双目摄像头。
步骤32，根据每个摄像头所拍摄的视频及对应深度信息，分别获取每帧图像中所述目标对象的关节点，得到该图像中的关节点坐标信息，以及，获取该图像中目标对象的深度值精度信息，所述深度值精度信息用于表示所述摄像头在拍摄该图像时获取的所述目标对象的深度信息的精度。
这里，本发明实施例分别基于各个摄像头拍摄的视频，获取各个摄像头下的目标对象的关节点的信息。例如，通过双目摄像头获取的彩色图像及深度图像，基于二维彩色图像，利用关节点检测算法，可以获取图像中人员的关节点(如骨骼关节点)；基于三维深度图像，可以获取各关节点的关节点坐标信息(空间位置的坐标)。具体的关节点的选择，可以根据后续应用的需求预先设定，例如，步态分析通常需要提取人员身上的多个关节点(一种应用需求是17个关节点，包括手腕、脚踝、膝盖、肩膀等处的关节点)。
本发明实施例中在获取图像中的关节点坐标信息的同时，还获取了该图像中目标对象的深度值精度信息。这里，所述深度值精度信息用于表示所述摄像头在拍摄该图像时获取的所述目标对象的深度信息的精度。具体的，所述深度值精度信息可以包括以下信息中的至少一种：所述目标对象与摄像头间的空间距离；所述目标对象的运动方向与所述摄像头光轴之间的运动夹角。
通常，每个摄像头都有相对固定的性能指标，可以通过查阅该摄像头的标定参数获取。例如，一种常见的双目摄像头，其所获取的目标对象的深度信息的精度，与该目标对象与摄像头的距离之间存在如图4所示的对应关系，该双目摄像头在目标对象与其距离为L0时，所获取的深度信息的精度最高。本文中也将这种摄像头获取的深度信息精度最高时摄像头与目标对象之间的距离称作最佳精度距离。可以看出，所述空间距离(即摄像头与目标对象间的距离)和所述摄像头的最佳精度距离的接近程度(为便于描述，本文称之为第一接近程度)，与所述深度值精度信息正相关，也就是说，在所述空间距离越接近于所述最佳精度距离时，所述图像中目标对象的深度值精度信息的精度也就越高，因此所述深度值精度信息可以通过所述空间距离来进行表征。例如，本发明实施例可以预先建立深度值精度信息与所述空间距离的一种对应关系(具体可以通过函数或表格来对应)。
另外，目标对象的运动方向相对于摄像头光轴方向的角度(即本文所述的运动夹角)，也影响到深度信息获取的精度。通常，运动方向垂直于光轴方向时所获取的深度信息具有较高的精度，即，所述运动夹角和90度的接近程度(为便于描述，本文称之为第二接近程度)，与所述深度值精度信息正相关，越接近，则具有越高的精度，因此，所述深度值精度信息也可以通过所述运动夹角来进行表征。例如，本发明实施例可以预先建立深度值精度信息与所述运动夹角的一种对应关系(具体可以通过函数或表格来对应)。
当然，本发明实施例也可以同时采用所述空间距离和运动夹角，来表征所述深度值精度信息，此时，所述深度值精度信息与所述第一接近程度和第二接近程度均为正相关关系，即所述深度值精度信息与所述第一接近程度为正相关关系，并且，所述深度值精度信息与所述第二接近程度为正相关关系。具体的，在同时采用所述空间距离和运动夹角表征深度值精度信息的情况下，在所述运动夹角相同时，所述深度值精度信息与所述第一接近程度正相关；在所述空间距离相同时，所述深度值精度信息与所述第二接近程度正相关。类似的，本发明实施例也可以按照上述原则，预先建立深度值精度信息与所述运动夹角及空间距离的一种对应关系(具体可以通过函数或表格来对应)。
步骤33，根据图像中目标对象的深度值精度信息，确定该图像中的关节点坐标信息的权值，其中，所述关节点坐标信息的权值，与第一接近程度和/或第二接近程度均为正相关关系，所述第一接近程度为所述空间距离和所述摄像头的最佳精度距离的接近程度，所述第二接近程度为所述运动夹角和90度的接近程度。
这里，在步骤33中，可以根据图像中目标对象的深度值精度信息，设置各帧图像中获取的关节点坐标信息的权值。其中，所述关节点坐标信息的权值，与第一接近程度和/或第二接近程度均为正相关关系，具体的：
1)在仅采用所述空间距离来表征深度值精度信息时，所述关节点坐标信息的权值，与所述空间距离和所述摄像头的最佳精度距离的第一接近程度正相关，即越接近，权值越大。
2)在仅采用所述运动夹角来表征深度值精度信息时，所述关节点坐标信息的权值，与所述运动夹角和90度的第二近程度正相关，即越接近，权值越大。
3)在采用所述空间距离和所述运动夹角这两个参数来表征深度值精度信息时，所述关节点坐标信息的权值，与所述第一、第二近程度均为正相关关系，即，在所述运动夹角相同时，所述权值与所述第一接近程度正相关；在所述空间距离相同时，所述权值与所述第二接近程度正相关。
本发明实施例也可以按照上述原则，建立所述权值与所述运动夹角及空间距离的对应关系(具体可以通过函数或表格来对应)，从而可以通过函数或表格确定各帧图像中的关节点坐标信息的权值。
步骤34，根据每个关节点坐标信息的权值，对不同摄像头同一时刻拍摄的图像中的关节点坐标信息进行综合，得到综合后的关节点坐标信息，其中，所述图像中的关节点坐标信息的权值，与所述图像中目标对象的深度值精度信息所表示的精度正相关。
这里，本发明实施例在综合处理时，针对不同摄像头同一时刻拍摄的图像中的同一关节点，可以按照以下任一方式进行处理：
1)根据关节点坐标信息的权值，对不同摄像头拍摄的该关节点的关节点坐标信息进行加权求和，得到该关节点综合后的关节点坐标信息。
该方式综合考虑了各帧图像中的关节点位置，使得关节点位置信息的准确性具有较高的保证。
2)从不同摄像头拍摄的该关节点的关节点坐标信息中，选择出权值最高的关节点坐标信息，作为综合后的关节点坐标信息。
该方式以权值最高的关节点坐标，作为该关节点的最终坐标，由于权值较高的关节点坐标具有较高的可信度，因此该方式也可以提高关节点位置信息的准确性。
另外，需要说明的是，本发明实施例中，各个摄像头的安装位置和拍摄角度是预先设定的，因此，在对各个摄像头下的关节点坐标信息进行综合前，需要将这些关节点坐标信息均转换到同一坐标系下，再进行上述综合处理，具体的坐标系的转换方法可以参考现有技术的相关实现，本发明实施例对此不做具体限定。
通过以上步骤，本发明实施例在进行多帧图像中同一关节点的位置坐标综合处理时，基于各帧图像中目标对象的深度信息的精度的高低情况，为关节点位置坐标设置与精度正相关的权值，基于该权值进行上述综合处理，从而可以进一步提高关节点位置坐标的准确性。
另外，类似的，在上述步骤32中，本发明实施例也可以参考步骤12中的处理方式，针对每个摄像头所拍摄的视频的每帧图像，分别执行补全处理和/或修正处理，以提高关节点信息的完整性和准确性，为节约篇幅此处不再赘述。
在步骤32中进行了补全处理和/或修正处理后，补充的缺失关节点的坐标信息不是从图像中检测得到的原始关节点坐标信息，修正后替换的关节点的坐标信息也不是从图像中检测得到的原始关节点坐标信息。对于这些补充或修正的关节点坐标信息，其可信度通常比原始关节点坐标信息要低。基于此，本发明实施例在设置关节点坐标信息的权值时，可以进一步引入关节点坐标信息属性这一特征。所述的关节点坐标信息属性，用于表示关节点位置坐标是否为从图像中检测得到的原始关节点坐标信息，其属性具体包括：从图像中检测得到的原始关节点坐标信息；通过补全处理或修正处理得到的非原始关节点坐标信息。
作为上述步骤33中的一种替换实现，本发明实施例可以根据图像中目标对象的深度值精度信息和关节点坐标信息属性，确定该图像中的关节点坐标信息的权值；其中，所述关节点坐标信息的权值，与第一接近程度和/或第二接近程度均为正相关关系；所述关节点坐标信息的权值，还与和关节点坐标信息属性的取值为正相关关系；所述第一接近程度为所述空间距离和所述摄像头的最佳精度距离的接近程度，所述第二接近程度为所述运动夹角和90度的接近程；所述关节点坐标信息属性在原始关节点坐标信息下的取值，高于非原始关节点坐标信息下的取值。
具体的，在根据所述空间距离和所述关节点坐标信息属性，确定所述权值的情况下：若所述空间距离取值相同，则所述关节点坐标信息属性为原始关节点坐标信息时，所述权值较高；若所述关节点坐标信息属性取值相同，则所述权值与所述第一接近程度正相关；
在根据所述运动夹角和所述关节点坐标信息属性，确定所述权值的情况下：若所述运动夹角取值相同，则所述关节点坐标信息属性为原始关节点坐标信息时，所述权值较高；若所述关节点坐标信息属性取值相同，则所述权值与所述第二接近程度正相关；
在根据包括所述空间距离、运动夹角和所述关节点坐标信息属性在内的3种参数，确定所述权值的情况下：若所述空间距离和运动夹角取值均相同，则所述关节点坐标信息属性为原始关节点坐标信息时，所述权值较高；若所述运动夹角和原始关节点坐标信息取值均相同，则所述权值与所述第一接近程度正相关；若所述空间距离和原始关节点坐标信息取值均相同，则所述权值与所述第二接近程度正相关。
类似的，本发明实施例可以按照上述原则，建立所述权值与所述运动夹角、空间距离及关节点坐标信息属性间的对应关系(具体可以通过函数或表格来对应)，从而可以通过函数或表格确定各帧图像中的关节点坐标信息的权值。
为简化处理，一种可能的实现方式是，对于关节点坐标信息属性为非原始关节点坐标信息的关节点，可以直接将该关节点的关节点坐标信息的权值设置为0，即在后续综合处理时可以忽略该关节点。
基于以上方法，本发明实施例还提供了实施上述方法的装置，请参考图5，本发明实施例提供的一种关节点信息的获取装置50，包括：
视频获取单元51，用于获取至少2个摄像头拍摄的观测区域内目标对象的视频，所述至少2个摄像头位于所述观测区域的不同位置，通过不同拍摄角度拍摄所述观测区域；
关节点检测单元52，用于根据每个摄像头所拍摄的视频及对应深度信息，分别获取每帧图像中所述目标对象的关节点，得到该图像中的关节点坐标信息；
信息综合单元53，用于对不同摄像头同一时刻拍摄的图像中的关节点坐标信息进行综合，得到综合后的关节点坐标信息。
优选的，所述关节点检测单元52，还用于针对每个摄像头所拍摄的视频的每帧图像，分别执行以下处理：
检测该图像中所述目标对象的关节点，结合对应深度信息，得到该图像中的关节点坐标信息，所述关节点坐标信息包括检测到的关节点的空间位置；
基于该图像之前的历史图像中检测到的各个关节点的运动信息，预测在该图像拍摄时刻各个关节点的预测空间位置；
根据所述预测空间位置，对该图像中的关节点坐标信息进行补全处理和/或修正处理；
其中，所述补全处理为：在该图像中的关节点坐标信息未包含有所述目标对象的完整关节点时，确定该图像中的缺失关节点，并将该缺失关节点的预测空间位置，补充到该图像中的关节点坐标信息中；
所述修正处理为：根据每个关节点的预测空间位置与当前帧图像中检测到的对应关节点的空间位置的差异，修正该图像中的关节点坐标信息，其中，在所述差异超过预设门限时，使用关节点的预测空间位置替换检测到的关节点的空间位置。
优选的，所述信息综合单元53，还用于对不同摄像头同一时刻拍摄的图像中的同一关节点的关节点坐标信息进行累加并计算平均值，得到综合后的关节点坐标信息。
以上关节点信息的获取装置50，可以综合利用多个摄像头的关节点坐标信息，从而可以避免部分摄像头的图像中丢失某个(些)关节点的情况，提高了关节点信息的完整性和准确性，进而可以为后续基于关节点信息进行步态分析提供更好的数据支持。
请参考图6，本发明实施例提供的一种关节点信息的获取装置60，包括：
视频获取单元61，用于获取至少2个摄像头拍摄的观测区域内目标对象的视频，所述至少2个摄像头位于所述观测区域的不同位置，通过不同拍摄角度拍摄所述观测区域；
关节点检测单元62，用于根据每个摄像头所拍摄的视频及对应深度信息，分别获取每帧图像中所述目标对象的关节点，得到该图像中的关节点坐标信息，以及，获取该图像中目标对象的深度值精度信息，所述深度值精度信息用于表示所述摄像头在拍摄该图像时获取的所述目标对象的深度信息的精度；
第一权值确定单元63，用于根据图像中目标对象的深度值精度信息，确定该图像中的关节点坐标信息的权值，其中，所述关节点坐标信息的权值，与第一接近程度和/或第二接近程度均为正相关关系，所述第一接近程度为所述空间距离和所述摄像头的最佳精度距离的接近程度，所述第二接近程度为所述运动夹角和90度的接近程度；
信息综合单元64，用于根据每个关节点坐标信息的权值，对不同摄像头同一时刻拍摄的图像中的关节点坐标信息进行加权求和，得到综合后的关节点坐标信息，其中，所述图像中的关节点坐标信息的权值，与所述图像中目标对象的深度值精度信息所表示的精度正相关。
这里，所述深度值精度信息包括以下信息中的至少一种：所述目标对象与摄像头间的空间距离；所述目标对象的运动方向与所述摄像头光轴之间的运动夹角。
优选的，所述关节点检测单元62，还用于针对每个摄像头所拍摄的视频的每帧图像，分别执行以下处理：
检测该图像中所述目标对象的关节点，结合对应深度信息，得到该图像中的关节点坐标信息，所述关节点坐标信息包括检测到的关节点的空间位置；
基于该图像之前的历史图像中检测到的各个关节点的运动信息，预测在该图像拍摄时刻各个关节点的预测空间位置；
根据所述预测空间位置，对该图像中的关节点坐标信息进行补全处理和/或修正处理；
其中，所述补全处理为：在该图像中的关节点坐标信息未包含有所述目标对象的完整关节点时，确定该图像中的缺失关节点，并将该缺失关节点的预测空间位置，补充到该图像中的关节点坐标信息中；
所述修正处理为：根据每个关节点的预测空间位置与当前帧图像中检测到的对应关节点的空间位置的差异，修正该图像中的关节点坐标信息，其中，在所述差异超过预设门限时，使用关节点的预测空间位置替换检测到的关节点的空间位置。
优选的，所述信息综合单元64，还用于针对不同摄像头同一时刻拍摄的图像中的同一关节点：
根据关节点坐标信息的权值，对不同摄像头拍摄的该关节点的关节点坐标信息进行加权求和，得到该关节点综合后的关节点坐标信息；或者，
从不同摄像头拍摄的该关节点的关节点坐标信息中，选择出权值最高的关节点坐标信息，作为综合后的关节点坐标信息。
请参考图7，本发明实施例提供的一种关节点信息的获取装置70，包括：
视频获取单元71，用于获取至少2个摄像头拍摄的观测区域内目标对象的视频，所述至少2个摄像头位于所述观测区域的不同位置，通过不同拍摄角度拍摄所述观测区域；
关节点检测单元72，用于根据每个摄像头所拍摄的视频及对应深度信息，分别获取每帧图像中所述目标对象的关节点，得到该图像中的关节点坐标信息，以及，获取该图像中目标对象的深度值精度信息，所述深度值精度信息用于表示所述摄像头在拍摄该图像时获取的所述目标对象的深度信息的精度；
第二权值确定单元73，用于根据图像中目标对象的深度值精度信息和关节点坐标信息属性，确定该图像中的关节点坐标信息的权值，所述关节点坐标信息属性包括：从图像中检测得到的原始关节点坐标信息；通过补全处理或修正处理得到的非原始关节点坐标信息；其中，所述关节点坐标信息的权值，与第一接近程度和/或第二接近程度均为正相关关系；所述关节点坐标信息的权值，还与和关节点坐标信息属性的取值为正相关关系；所述第一接近程度为所述空间距离和所述摄像头的最佳精度距离的接近程度，所述第二接近程度为所述运动夹角和90度的接近程；所述关节点坐标信息属性在原始关节点坐标信息下的取值，高于非原始关节点坐标信息下的取值。
信息综合单元74，用于根据每个关节点坐标信息的权值，对不同摄像头同一时刻拍摄的图像中的关节点坐标信息进行加权求和，得到综合后的关节点坐标信息，其中，所述图像中的关节点坐标信息的权值，与所述图像中目标对象的深度值精度信息所表示的精度正相关。
这里，所述深度值精度信息包括以下信息中的至少一种：所述目标对象与摄像头间的空间距离；所述目标对象的运动方向与所述摄像头光轴之间的运动夹角。
优选的，所述关节点检测单元72，还用于针对每个摄像头所拍摄的视频的每帧图像，分别执行以下处理：
检测该图像中所述目标对象的关节点，结合对应深度信息，得到该图像中的关节点坐标信息，所述关节点坐标信息包括检测到的关节点的空间位置；
基于该图像之前的历史图像中检测到的各个关节点的运动信息，预测在该图像拍摄时刻各个关节点的预测空间位置；
根据所述预测空间位置，对该图像中的关节点坐标信息进行补全处理和/或修正处理；
其中，所述补全处理为：在该图像中的关节点坐标信息未包含有所述目标对象的完整关节点时，确定该图像中的缺失关节点，并将该缺失关节点的预测空间位置，补充到该图像中的关节点坐标信息中；
所述修正处理为：根据每个关节点的预测空间位置与当前帧图像中检测到的对应关节点的空间位置的差异，修正该图像中的关节点坐标信息，其中，在所述差异超过预设门限时，使用关节点的预测空间位置替换检测到的关节点的空间位置。
优选的，所述信息综合单元74，还用于针对不同摄像头同一时刻拍摄的图像中的同一关节点：
根据关节点坐标信息的权值，对不同摄像头拍摄的该关节点的关节点坐标信息进行加权求和，得到该关节点综合后的关节点坐标信息；或者，
从不同摄像头拍摄的该关节点的关节点坐标信息中，选择出权值最高的关节点坐标信息，作为综合后的关节点坐标信息。
请参考图8，本发明实施例提供了一种关节点信息的获取装置800的另一结构示意图，包括：处理器801、网络接口802、存储器803、用户接口804和总线接口，其中：
在本发明实施例中，获取装置800还包括：存储在存储器上803并可在处理器801上运行的计算机程序，计算机程序被处理器801、执行时实现如下步骤：
获取至少2个摄像头拍摄的观测区域内目标对象的视频，所述至少2个摄像头位于所述观测区域的不同位置，通过不同拍摄角度拍摄所述观测区域；
根据每个摄像头所拍摄的视频及对应深度信息，分别获取每帧图像中所述目标对象的关节点，得到该图像中的关节点坐标信息；
对不同摄像头同一时刻拍摄的图像中的关节点坐标信息进行综合，得到综合后的关节点坐标信息。
在图8中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器801代表的一个或多个处理器和存储器803代表的存储器的各种电路链接在一起。总线架构还可以将诸如***设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。网络接口802可以是有线或无线网卡设备，实现数据在网络上的收发功能。针对不同的用户设备，用户接口804还可以是能够外接内接需要设备的接口，连接的设备包括但不限于小键盘、显示器、扬声器、麦克风、操纵杆等。
处理器801负责管理总线架构和通常的处理，存储器803可以存储处理器801在执行操作时所使用的数据。
可选的，计算机程序被处理器803执行时还可实现如下步骤：
针对每个摄像头所拍摄的视频的每帧图像，分别执行以下处理：
检测该图像中所述目标对象的关节点，结合对应深度信息，得到该图像中的关节点坐标信息，所述关节点坐标信息包括检测到的关节点的空间位置；
基于该图像之前的历史图像中检测到的各个关节点的运动信息，预测在该图像拍摄时刻各个关节点的预测空间位置；
根据所述预测空间位置，对该图像中的关节点坐标信息进行补全处理和/或修正处理；
其中，所述补全处理为：在该图像中的关节点坐标信息未包含有所述目标对象的完整关节点时，确定该图像中的缺失关节点，并将该缺失关节点的预测空间位置，补充到该图像中的关节点坐标信息中；
所述修正处理为：根据每个关节点的预测空间位置与当前帧图像中检测到的对应关节点的空间位置的差异，修正该图像中的关节点坐标信息，其中，在所述差异超过预设门限时，使用关节点的预测空间位置替换检测到的关节点的空间位置。
可选的，计算机程序被处理器803执行时还可实现如下步骤：
对不同摄像头同一时刻拍摄的图像中的同一关节点的关节点坐标信息进行累加并计算平均值，得到综合后的关节点坐标信息。
可选的，计算机程序被处理器803执行时还可实现如下步骤：
在获取每帧图像中所述目标对象的关节点时，进一步获取该图像中目标对象的深度值精度信息，所述深度值精度信息用于表示所述摄像头在拍摄该图像时获取的所述目标对象的深度信息的精度；
所述对不同摄像头同一时刻拍摄的图像中的关节点坐标信息进行综合的步骤，包括：
根据每个关节点坐标信息的权值，对不同摄像头同一时刻拍摄的图像中的关节点坐标信息进行加权求和，得到综合后的关节点坐标信息，其中，所述图像中的关节点坐标信息的权值，与所述图像中目标对象的深度值精度信息所表示的精度正相关。
可选的，所述深度值精度信息包括以下信息中的至少一种：所述目标对象与摄像头间的空间距离；所述目标对象的运动方向与所述摄像头光轴之间的运动夹角；所述计算机程序被处理器803执行时还可实现如下步骤：
根据图像中目标对象的深度值精度信息，确定该图像中的关节点坐标信息的权值，其中，所述关节点坐标信息的权值，与第一接近程度和/或第二接近程度均为正相关关系，所述第一接近程度为所述空间距离和所述摄像头的最佳精度距离的接近程度，所述第二接近程度为所述运动夹角和90度的接近程度。
可选的，所述深度值精度信息包括以下信息中的至少一种：所述目标对象与摄像头间的空间距离；所述目标对象的运动方向与所述摄像头光轴之间的运动夹角；所述计算机程序被处理器803执行时还可实现如下步骤：
根据图像中目标对象的深度值精度信息和关节点坐标信息属性，确定该图像中的关节点坐标信息的权值，所述关节点坐标信息属性包括：从图像中检测得到的原始关节点坐标信息；通过补全处理或修正处理得到的非原始关节点坐标信息；其中，所述关节点坐标信息的权值，与第一接近程度和/或第二接近程度均为正相关关系；所述关节点坐标信息的权值，还与和关节点坐标信息属性的取值为正相关关系；所述第一接近程度为所述空间距离和所述摄像头的最佳精度距离的接近程度，所述第二接近程度为所述运动夹角和90度的接近程；所述关节点坐标信息属性在原始关节点坐标信息下的取值，高于非原始关节点坐标信息下的取值。
可选的，所述计算机程序被处理器803执行时还可实现如下步骤：
针对不同摄像头同一时刻拍摄的图像中的同一关节点：
根据关节点坐标信息的权值，对不同摄像头拍摄的该关节点的关节点坐标信息进行加权求和，得到该关节点综合后的关节点坐标信息；或者，
从不同摄像头拍摄的该关节点的关节点坐标信息中，选择出权值最高的关节点坐标信息，作为综合后的关节点坐标信息。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (12)
1.一种关节点信息的获取方法，其特征在于，包括：
获取至少2个摄像头拍摄的观测区域内目标对象的视频，所述至少2个摄像头位于所述观测区域的不同位置，通过不同拍摄角度拍摄所述观测区域；
根据每个摄像头所拍摄的视频及对应深度信息，分别获取每帧图像中所述目标对象的关节点，得到该图像中的关节点坐标信息；
对不同摄像头同一时刻拍摄的图像中的关节点坐标信息进行综合，得到综合后的关节点坐标信息；
其中，在获取每帧图像中所述目标对象的关节点时，进一步获取该图像中目标对象的深度值精度信息，所述深度值精度信息用于表示所述摄像头在拍摄该图像时获取的所述目标对象的深度信息的精度；
所述深度值精度信息包括以下信息中的至少一种：所述目标对象与摄像头间的空间距离；所述目标对象的运动方向与所述摄像头光轴之间的运动夹角；
所述对不同摄像头同一时刻拍摄的图像中的关节点坐标信息进行综合的步骤，包括：
根据每个关节点坐标信息的权值，对不同摄像头同一时刻拍摄的图像中的关节点坐标信息进行加权求和，得到综合后的关节点坐标信息，其中，所述图像中的关节点坐标信息的权值，与所述图像中目标对象的深度值精度信息所表示的精度正相关。
2.如权利要求1所述的获取方法，其特征在于，所述根据每个摄像头所拍摄的视频及对应深度信息，分别获取每帧图像中所述目标对象的关节点，得到该图像中的关节点坐标信息的步骤，包括：
针对每个摄像头所拍摄的视频的每帧图像，分别执行以下处理：
检测当前帧图像中所述目标对象的关节点，结合对应深度信息，得到该图像中的关节点坐标信息，所述关节点坐标信息包括检测到的关节点的空间位置；
基于该图像之前的历史图像中检测到的各个关节点的运动信息，预测在该图像拍摄时刻各个关节点的预测空间位置；
根据所述预测空间位置，对该图像中的关节点坐标信息进行补全处理和/或修正处理；
其中，所述补全处理为：在该图像中的关节点坐标信息未包含有所述目标对象的完整关节点时，确定该图像中的缺失关节点，并将该缺失关节点的预测空间位置，补充到该图像中的关节点坐标信息中；
所述修正处理为：根据每个关节点的预测空间位置与当前帧图像中检测到的对应关节点的空间位置的差异，修正该图像中的关节点坐标信息，其中，在所述差异超过预设门限时，使用关节点的预测空间位置替换检测到的关节点的空间位置。
3.如权利要求1或2所述的获取方法，其特征在于，所述对不同摄像头同一时刻拍摄的图像中的关节点坐标信息进行综合的步骤，包括：
对不同摄像头同一时刻拍摄的图像中的同一关节点的关节点坐标信息进行累加并计算平均值，得到综合后的关节点坐标信息。
4.如权利要求1所述的获取方法，其特征在于，
在对不同摄像头同一时刻拍摄的图像中的关节点坐标信息进行加权求和之前，所述方法还包括：
根据图像中目标对象的深度值精度信息，确定该图像中的关节点坐标信息的权值，其中，所述关节点坐标信息的权值，与第一接近程度和/或第二接近程度均为正相关关系，所述第一接近程度为所述空间距离和所述摄像头的最佳精度距离的接近程度，所述第二接近程度为所述运动夹角和90度的接近程度。
5.如权利要求1所述的获取方法，其特征在于，
在对不同摄像头同一时刻拍摄的图像中的关节点坐标信息进行加权求和之前，所述方法还包括：
根据图像中目标对象的深度值精度信息和关节点坐标信息属性，确定该图像中的关节点坐标信息的权值，所述关节点坐标信息属性包括：从图像中检测得到的原始关节点坐标信息；通过补全处理或修正处理得到的非原始关节点坐标信息；其中，所述关节点坐标信息的权值，与第一接近程度和/或第二接近程度均为正相关关系；所述关节点坐标信息的权值，还与和关节点坐标信息属性的取值为正相关关系；所述第一接近程度为所述空间距离和所述摄像头的最佳精度距离的接近程度，所述第二接近程度为所述运动夹角和90度的接近程；所述关节点坐标信息属性在原始关节点坐标信息下的取值，高于非原始关节点坐标信息下的取值。
6.如权利要求4或5所述的获取方法，其特征在于，所述根据每个关节点坐标信息的权值，对不同摄像头同一时刻拍摄的图像中的关节点坐标信息进行综合的步骤，包括：
针对不同摄像头同一时刻拍摄的图像中的同一关节点：
根据关节点坐标信息的权值，对不同摄像头拍摄的该关节点的关节点坐标信息进行加权求和，得到该关节点综合后的关节点坐标信息；或者，
从不同摄像头拍摄的该关节点的关节点坐标信息中，选择出权值最高的关节点坐标信息，作为综合后的关节点坐标信息。
7.一种关节点信息的获取装置，其特征在于，包括：
视频获取单元，用于获取至少2个摄像头拍摄的观测区域内目标对象的视频，所述至少2个摄像头位于所述观测区域的不同位置，通过不同拍摄角度拍摄所述观测区域；
关节点检测单元，用于根据每个摄像头所拍摄的视频及对应深度信息，分别获取每帧图像中所述目标对象的关节点，得到该图像中的关节点坐标信息；
信息综合单元，用于对不同摄像头同一时刻拍摄的图像中的关节点坐标信息进行综合，得到综合后的关节点坐标信息；
其中，所述关节点检测单元，还用于在获取每帧图像中所述目标对象的关节点时，进一步获取该图像中目标对象的深度值精度信息，所述深度值精度信息用于表示所述摄像头在拍摄该图像时获取的所述目标对象的深度信息的精度；
所述深度值精度信息包括以下信息中的至少一种：所述目标对象与摄像头间的空间距离；所述目标对象的运动方向与所述摄像头光轴之间的运动夹角；
所述信息综合单元，还用于根据每个关节点坐标信息的权值，对不同摄像头同一时刻拍摄的图像中的关节点坐标信息进行加权求和，得到综合后的关节点坐标信息，其中，所述图像中的关节点坐标信息的权值，与所述图像中目标对象的深度值精度信息所表示的精度正相关。
8.如权利要求7所述的获取装置，其特征在于，
所述关节点检测单元，还用于针对每个摄像头所拍摄的视频的每帧图像，分别执行以下处理：
检测当前帧图像中所述目标对象的关节点，结合对应深度信息，得到该图像中的关节点坐标信息，所述关节点坐标信息包括检测到的关节点的空间位置；
基于该图像之前的历史图像中检测到的各个关节点的运动信息，预测在该图像拍摄时刻各个关节点的预测空间位置；
根据所述预测空间位置，对该图像中的关节点坐标信息进行补全处理和/或修正处理；
其中，所述补全处理为：在该图像中的关节点坐标信息未包含有所述目标对象的完整关节点时，确定该图像中的缺失关节点，并将该缺失关节点的预测空间位置，补充到该图像中的关节点坐标信息中；
所述修正处理为：根据每个关节点的预测空间位置与当前帧图像中检测到的对应关节点的空间位置的差异，修正该图像中的关节点坐标信息，其中，在所述差异超过预设门限时，使用关节点的预测空间位置替换检测到的关节点的空间位置。
9.如权利要求7或8所述的获取装置，其特征在于，
所述信息综合单元，还用于对不同摄像头同一时刻拍摄的图像中的同一关节点的关节点坐标信息进行累加并计算平均值，得到综合后的关节点坐标信息。
10.如权利要求7所述的获取装置，其特征在于，
所述获取装置还包括：
第一权值确定单元，用于根据图像中目标对象的深度值精度信息，确定该图像中的关节点坐标信息的权值，其中，所述关节点坐标信息的权值，与第一接近程度和/或第二接近程度均为正相关关系，所述第一接近程度为所述空间距离和所述摄像头的最佳精度距离的接近程度，所述第二接近程度为所述运动夹角和90度的接近程度。
11.如权利要求10所述的获取装置，其特征在于，
所述获取装置还包括：
第二权值确定单元，用于根据图像中目标对象的深度值精度信息和关节点坐标信息属性，确定该图像中的关节点坐标信息的权值，所述关节点坐标信息属性包括：从图像中检测得到的原始关节点坐标信息；通过补全处理或修正处理得到的非原始关节点坐标信息；其中，所述关节点坐标信息的权值，与第一接近程度和/或第二接近程度均为正相关关系；所述关节点坐标信息的权值，还与和关节点坐标信息属性的取值为正相关关系；所述第一接近程度为所述空间距离和所述摄像头的最佳精度距离的接近程度，所述第二接近程度为所述运动夹角和90度的接近程；所述关节点坐标信息属性在原始关节点坐标信息下的取值，高于非原始关节点坐标信息下的取值。
12.如权利要求10或11所述的获取装置，其特征在于，
所述信息综合单元，还用于针对不同摄像头同一时刻拍摄的图像中的同一关节点：
根据关节点坐标信息的权值，对不同摄像头拍摄的该关节点的关节点坐标信息进行加权求和，得到该关节点综合后的关节点坐标信息；或者，
从不同摄像头拍摄的该关节点的关节点坐标信息中，选择出权值最高的关节点坐标信息，作为综合后的关节点坐标信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910031696.7A CN111435535B (zh) | 2019-01-14 | 2019-01-14 | 一种关节点信息的获取方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910031696.7A CN111435535B (zh) | 2019-01-14 | 2019-01-14 | 一种关节点信息的获取方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111435535A CN111435535A (zh) | 2020-07-21 |
| CN111435535B true CN111435535B (zh) | 2024-03-08 |
Family
ID=71579879
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910031696.7A Active CN111435535B (zh) | 2019-01-14 | 2019-01-14 | 一种关节点信息的获取方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111435535B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113012126B (zh) * | 2021-03-17 | 2024-03-22 | 武汉联影智融医疗科技有限公司 | 标记点重建方法、装置、计算机设备和存储介质 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0330273A1 (en) * | 1988-02-26 | 1989-08-30 | Philips Norden AB | A method and a device in connection with radar |
| JPH11266459A (ja) * | 1998-03-17 | 1999-09-28 | Toshiba Corp | 動画像符号化装置、移動物体検出装置およびこれら装置に適用される動き予測装置 |
| JP2006244181A (ja) * | 2005-03-03 | 2006-09-14 | Nippon Hoso Kyokai <Nhk> | オンライン座標値修正装置およびオンライン座標値修正プログラム |
| JP2012242121A (ja) * | 2011-05-16 | 2012-12-10 | Mitsubishi Electric Corp | 追尾装置 |
| CN104966284A (zh) * | 2015-05-29 | 2015-10-07 | 北京旷视科技有限公司 | 基于深度数据获得对象尺寸信息的方法及设备 |
| WO2017000115A1 (zh) * | 2015-06-29 | 2017-01-05 | 北京旷视科技有限公司 | 行人再识别方法及设备 |
| WO2017007166A1 (ko) * | 2015-07-08 | 2017-01-12 | 고려대학교 산학협력단 | 투영 이미지 생성 방법 및 그 장치, 이미지 픽셀과 깊이값간의 매핑 방법 |
| CN106846403A (zh) * | 2017-01-04 | 2017-06-13 | 北京未动科技有限公司 | 一种三维空间中手部定位的方法、装置及智能设备 |
| KR20180032400A (ko) * | 2016-09-22 | 2018-03-30 | 한국전자통신연구원 | 다중 카메라 영상의 객체 정보 기반 다중 객체 추적 장치 및 그 방법 |
| CN108230437A (zh) * | 2017-12-15 | 2018-06-29 | 深圳市商汤科技有限公司 | 场景重建方法和装置、电子设备、程序和介质 |
| CN108460338A (zh) * | 2018-02-02 | 2018-08-28 | 北京市商汤科技开发有限公司 | 人体姿态估计方法和装置、电子设备、存储介质、程序 |
| CN108898624A (zh) * | 2018-06-12 | 2018-11-27 | 浙江大华技术股份有限公司 | 一种运动物体跟踪的方法、装置、电子设备和存储介质 |
| CN109176512A (zh) * | 2018-08-31 | 2019-01-11 | 南昌与德通讯技术有限公司 | 一种体感控制机器人的方法、机器人及控制装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7018566B2 (ja) * | 2017-04-28 | 2022-02-14 | パナソニックＩｐマネジメント株式会社 | 撮像装置、画像処理方法及びプログラム |
-
2019
- 2019-01-14 CN CN201910031696.7A patent/CN111435535B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0330273A1 (en) * | 1988-02-26 | 1989-08-30 | Philips Norden AB | A method and a device in connection with radar |
| JPH11266459A (ja) * | 1998-03-17 | 1999-09-28 | Toshiba Corp | 動画像符号化装置、移動物体検出装置およびこれら装置に適用される動き予測装置 |
| JP2006244181A (ja) * | 2005-03-03 | 2006-09-14 | Nippon Hoso Kyokai <Nhk> | オンライン座標値修正装置およびオンライン座標値修正プログラム |
| JP2012242121A (ja) * | 2011-05-16 | 2012-12-10 | Mitsubishi Electric Corp | 追尾装置 |
| CN104966284A (zh) * | 2015-05-29 | 2015-10-07 | 北京旷视科技有限公司 | 基于深度数据获得对象尺寸信息的方法及设备 |
| WO2017000115A1 (zh) * | 2015-06-29 | 2017-01-05 | 北京旷视科技有限公司 | 行人再识别方法及设备 |
| WO2017007166A1 (ko) * | 2015-07-08 | 2017-01-12 | 고려대학교 산학협력단 | 투영 이미지 생성 방법 및 그 장치, 이미지 픽셀과 깊이값간의 매핑 방법 |
| KR20180032400A (ko) * | 2016-09-22 | 2018-03-30 | 한국전자통신연구원 | 다중 카메라 영상의 객체 정보 기반 다중 객체 추적 장치 및 그 방법 |
| CN106846403A (zh) * | 2017-01-04 | 2017-06-13 | 北京未动科技有限公司 | 一种三维空间中手部定位的方法、装置及智能设备 |
| CN108230437A (zh) * | 2017-12-15 | 2018-06-29 | 深圳市商汤科技有限公司 | 场景重建方法和装置、电子设备、程序和介质 |
| CN108460338A (zh) * | 2018-02-02 | 2018-08-28 | 北京市商汤科技开发有限公司 | 人体姿态估计方法和装置、电子设备、存储介质、程序 |
| CN108898624A (zh) * | 2018-06-12 | 2018-11-27 | 浙江大华技术股份有限公司 | 一种运动物体跟踪的方法、装置、电子设备和存储介质 |
| CN109176512A (zh) * | 2018-08-31 | 2019-01-11 | 南昌与德通讯技术有限公司 | 一种体感控制机器人的方法、机器人及控制装置 |
Non-Patent Citations (3)
| Title |
|---|
| 基于多判据的多目视觉手势立体姿态检测;庄骏;《万方学位论文》;20-21, 34-35 * |
| 庄骏.基于多判据的多目视觉手势立体姿态检测.《万方学位论文》.2009,20-21,34-35. * |
| 弱小目标跟踪中利用样条曲线逼近的数据处理算法;晁宁等;《红外与激光工程》;第39卷(第3期);555-560 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111435535A (zh) | 2020-07-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11069144B2 (en) | Systems and methods for augmented reality body movement guidance and measurement | |
| CN111881887A (zh) | 基于多摄像头的运动姿态监测和指导方法及装置 | |
| Ye et al. | A depth camera motion analysis framework for tele-rehabilitation: Motion capture and person-centric kinematics analysis | |
| CN113164098A (zh) | 人类步态分析***和方法 | |
| US20200219284A1 (en) | System and method for posture sequence on video from mobile terminals | |
| CN107729797B (zh) | 基于传感器数据分析识别身体关节位置的***和方法 | |
| CN110544302A (zh) | 基于多目视觉的人体动作重建***、方法和动作训练*** | |
| CN111862299A (zh) | 人体三维模型构建方法、装置、机器人和存储介质 | |
| CN113658211B (zh) | 一种用户姿态的评估方法、装置以及处理设备 | |
| KR101193223B1 (ko) | 인체 동작의 3ｄ 모션 구현방법 | |
| JP2021060989A (ja) | マルチモーダル密対応関係撮像システム | |
| KR101896827B1 (ko) | 사용자 자세 추정 장치 및 방법 | |
| CN111160088A (zh) | Vr体感数据检测方法、装置、计算机设备及存储介质 | |
| CN111401340B (zh) | 目标对象的运动检测方法和装置 | |
| CN110910449B (zh) | 识别物体三维位置的方法和*** | |
| CN111435535B (zh) | 一种关节点信息的获取方法及装置 | |
| JP7498404B2 (ja) | 被写体の３次元姿勢推定装置、３次元姿勢推定方法、及びプログラム | |
| CN113221815A (zh) | 一种基于骨骼关键点自动检测技术的步态鉴定方法 | |
| US20220084244A1 (en) | Information processing apparatus, information processing method, and program | |
| CN117238031A (zh) | 一种虚拟人的动作捕捉方法与*** | |
| JP2019012497A (ja) | 部位認識方法、装置、プログラム、及び撮像制御システム | |
| WO2020261403A1 (ja) | 身長推定装置、身長推定方法及びプログラムが格納された非一時的なコンピュータ可読媒体 | |
| US20220058830A1 (en) | Information processing apparatus, information processing method, and program | |
| US20230141494A1 (en) | Markerless motion capture of hands with multiple pose estimation engines | |
| CN114758016B (zh) | 摄像设备标定方法、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |