CN116188750A - 一种3d人体关节运动序列记录方法 - Google Patents
一种3d人体关节运动序列记录方法 Download PDFInfo
- Publication number
- CN116188750A CN116188750A CN202310068947.5A CN202310068947A CN116188750A CN 116188750 A CN116188750 A CN 116188750A CN 202310068947 A CN202310068947 A CN 202310068947A CN 116188750 A CN116188750 A CN 116188750A
- Authority
- CN
- China
- Prior art keywords
- human body
- event
- recording
- body posture
- key point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000001960 triggered effect Effects 0.000 claims abstract description 10
- 238000001514 detection method Methods 0.000 claims abstract description 8
- 230000008569 process Effects 0.000 claims abstract description 8
- 238000004458 analytical method Methods 0.000 claims abstract description 5
- 238000010276 construction Methods 0.000 claims description 12
- 210000000707 wrist Anatomy 0.000 claims description 6
- 238000002360 preparation method Methods 0.000 claims description 3
- 230000003993 interaction Effects 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
- A61B5/1114—Tracking parts of the body
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
- A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Dentistry (AREA)
- Physiology (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种3D人体关节运动序列记录方法，包括以下方法：步骤S1：复杂三维空间区域事件触发区域的构建，获得各个相机视图，构建由多面体包成的三维空间区域，以此作为事件触发区域；步骤S2：基于多视图的三维人体姿态关键点重建与追踪；步骤S3：人体姿态关键点信号的构建；步骤S4：基于三维人体姿态关键点的触发对象的构建；步骤S5：相机区域准备；步骤S6：事件触发与记录流程；步骤S7：运动事件的检测与分析。本发明中使用三维人体姿态关键点触发信号作为事件触发对象，通过检测三维人体姿态关键点的特定姿态以及关键点与事件触发区域的交互关系，来触发和记录相应的事件。
Description
技术领域
本发明涉及运动序列记录方法技术领域，更具体地说，本发明涉及一种3D人体关节运动序列记录方法。
背景技术
运动序列是指人体运动或物体运动时的时序运动信号数据，具有高维向量、很强等特点，时序序列在很多方面都有应用，例如，运动检测、运动捕获。根据获取到的运动序列数据方法不同，运动序列的分析方式有数据关键帧提取和，运动序列在很领域都有应用，例如体育界，根据运动员训练和比赛时的运动序列，分析运动员的不足，提高运动员技术；在动画生成中，利用运动捕获技术实时地检测、记录表演者的肢体在三维空间中的运动轨迹，捕捉表演者的动作，并将其转化为数字化的“抽象运动”，以驱动虚拟人模型，使动画制作过程更为直观,效果更加生动逼真。
实际情况中，在3D人体关节运动序列在记录的过程中，一般会使用单视图中进行定义，并且通过简单的二维图像区域进行描述，这就导致无法建立具有复杂结构的事件触发区域，同时在触发和记录相关事件的过程中，不能通过三维人体的姿态关键点的改变进行记录，从而导致人体姿态关键点的记录出现不准确的情况。
因此我们提出了一种3D人体关节运动序列记录方法来解决上述问题。
发明内容
为了克服现有技术的上述缺陷，本发明的实施例提供一种3D人体关节运动序列记录方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种3D人体关节运动序列记录方法，包括以下方法：
步骤S1：复杂三维空间区域事件触发区域的构建，获得各个相机视图，构建由多面体包成的三维空间区域，以此作为事件触发区域；
步骤S2：基于多视图的三维人体姿态关键点重建与追踪；
步骤S3：人体姿态关键点信号的构建，包括声明需要计算的关键点信号和给出声明的关键点信号的判定范围；
步骤S4：基于三维人体姿态关键点的触发对象的构建；
步骤S5：相机区域准备；
步骤S6：事件触发与记录流程；
步骤S7：运动事件的检测与分析。
在一个优选地实施方式中，步骤S1包括以下步骤：获得各个相机视图；
在各个相机视图中选定事件区域的临界点；
基于三角测量法将临界点在相机坐标系下计算出来；
构建由多面体包成的三维空间区域，以此作为事件触发区域。
在一个优选地实施方式中，步骤S2包括多视图检测结果匹配和基于匹配结果的重建。
在一个优选地实施方式中，步骤S3包括以下方法：
关键点要素层级声明；
基础要素的声明与构建；
人体姿态关键点信号的声明；
判定条件声明；
判定条件集合。
在一个优选地实施方式中，声明需要计算的关键点信号，包括：
关节角度的大小(比如左臂肘部)；
关键点之间的距离大小(比如左手手腕关键点与右手手腕关键点)。
在一个优选地实施方式中，声明的关键点信号的判定范围包括角度大小的范围和距离大小的范围。
在一个优选地实施方式中，步骤S4中，选定步骤S1中构建的事件触发区域；
定义若干事件开始的人体姿态关键点触发信号与事件持续的人体姿态关键点触发信号，并将其与对应事件一起注册到事件触发源中。
在一个优选地实施方式中，步骤S4中人体姿态关键点触发信号的构建与步骤S3人体姿态关键点信号的构建内容一致。
在一个优选地实施方式中，步骤S5中，相机区域准备流程：
标定相机参数与构建相机世界坐标系；
在相机世界坐标系下构建三维空间区域；
在构建好的三维空间区域中设定各个事件的开始信号与持续信号，其中持续信号为人体姿态关键点触发信号；
将三维空间区域作为事件触发区域注册到相机区域中。
在一个优选地实施方式中，步骤S6，事件触发与记录流程包括以下方法：
启动多视角相机阵列，获得多视图图像；
基于多视图图像，持续检测各个视图人体姿态关键点，重建并追踪三维人体姿态关键点；
遍历检查人体姿态关键点与设定好的构成事件触发区域的三维空间区域的包含关系；
如果满足包含条件，遍历查看该人体已经触发的事件，检测该人体姿态关键点是否满足该事件的持续信号，如果满足，则进行对该事件持续记录，否则结束事件记录，遍历查看该人体尚未触发的事件，检测该人体姿态关键点是否满足该事件的开始信号，如果满足，则开始该事件的记录，并将其注册到该人体上，如果不满足包含条件，并且已经该人体有事件在记录中，则结束该人体的所有在记录的事件；
在事件开始和结束时返回触发的事件触发区域，事件触发对象和被触发的事件。
本发明的技术效果和优点：
1、采用可编排三维空间区域作为事件触发区域，通过编排可编辑的三维空间区域，来构建多种事件类型且具有复杂结构的事件触发区域。
2、使用三维人体姿态关键点触发信号作为事件触发对象，通过检测三维人体姿态关键点的特定姿态以及关键点与事件触发区域的交互关系，来触发和记录相应的事件。
附图说明
图1为本发明的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1，一种3D人体关节运动序列记录方法，包括以下方法：步骤S1：复杂三维空间区域事件触发区域的构建，获得各个相机视图，构建由多面体包成的三维空间区域，以此作为事件触发区域；获得各个相机视图；
在各个相机视图中选定事件区域的临界点；
基于三角测量法将临界点在相机坐标系下计算出来；
构建由多面体包成的三维空间区域，以此作为事件触发区域。
其中三角测量法为：已知相机的参数Pi和匹配点xi，来恢复三维点的坐标X；
设，第i个相机的投影矩阵:
对应在第i个相机中的图像坐标为：xi＝[ui,ui,1]T
求空间的三维点坐标：X＝[Xw,Yw,Zw,1]T
直接线性变换法：
根据投影方程可以得到：dixi＝PiX
上述等式两侧同时叉乘xi
xi×PiX＝0
根据向量叉积的运算，展开得:
其中P_{ij}表示第i个投影矩阵的第j行。1个观测点提供2个约束，X有3个自由度，求解该方程至少2对点(从几何意义上解释，两条射线相交可确定空间中的一个三维点)。用SVD分解来求解。
为了求解稳定，可以选择，或者RANSAC方法
宽基线(相机间的距离)求解更加稳定，在匹配成功的点对中选择宽基线中的匹配对进行求解。基线越宽，误差越小。因为两个相机的距离越远，三角形的稳定性越强；从离散图像的角度，基线越宽，像素点误差的影响越小。
基于RANSAC的流程
计算RANSAC采样次数，设置内点阈值(重投影误差)；
一对视角，计算三维点坐标；
计算每个视角中的，统计内点个数；
重复2),3)直到满足采样次数，选择最多的视角；
利用所有内点的视角重新计算三维点坐标。
步骤S2：基于多视图的三维人体姿态关键点重建与追踪；步骤S2包括多视图检测结果匹配和基于匹配结果的重建。
步骤S3：人体姿态关键点信号的构建，包括声明需要计算的关键点信号和给出声明的关键点信号的判定范围；关键点要素层级声明；声明的关键点信号的判定范围包括角度大小的范围和距离大小的范围；
基础要素的声明与构建；
人体姿态关键点信号的声明；声明需要计算的关键点信号，包括：
关节角度的大小(比如左臂肘部)；
关键点之间的距离大小(比如左手手腕关键点与右手手腕关键点)；
判定条件声明；
判定条件集合。
步骤S4：基于三维人体姿态关键点的触发对象的构建；步骤S4中，选定步骤S1中构建的事件触发区域；
定义若干事件开始的人体姿态关键点触发信号与事件持续的人体姿态关键点触发信号，并将其与对应事件一起注册到事件触发源中，步骤S4中人体姿态关键点触发信号的构建与步骤S3人体姿态关键点信号的构建内容一致。
步骤S5：相机区域准备；步骤S5中，相机区域准备流程：
标定相机参数与构建相机世界坐标系；
在相机世界坐标系下构建三维空间区域；
在构建好的三维空间区域中设定各个事件的开始信号与持续信号，其中持续信号为人体姿态关键点触发信号；
将三维空间区域作为事件触发区域注册到相机区域中。
10、步骤S6：事件触发与记录流程；步骤S6，事件触发与记录流程包括以下方法：
启动多视角相机阵列，获得多视图图像；
基于多视图图像，持续检测各个视图人体姿态关键点，重建并追踪三维人体姿态关键点；
遍历检查人体姿态关键点与设定好的构成事件触发区域的三维空间区域的包含关系；
如果满足包含条件，遍历查看该人体已经触发的事件，检测该人体姿态关键点是否满足该事件的持续信号，如果满足，则进行对该事件持续记录，否则结束事件记录，遍历查看该人体尚未触发的事件，检测该人体姿态关键点是否满足该事件的开始信号，如果满足，则开始该事件的记录，并将其注册到该人体上，如果不满足包含条件，并且已经该人体有事件在记录中，则结束该人体的所有在记录的事件；
在事件开始和结束时返回触发的事件触发区域，事件触发对象和被触发的事件。
步骤S7：运动事件的检测与分析。
最后：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种3D人体关节运动序列记录方法，其特征在于；包括以下方法：
步骤S1：复杂三维空间区域事件触发区域的构建，获得各个相机视图，构建由多面体包成的三维空间区域，以此作为事件触发区域；
步骤S2：基于多视图的三维人体姿态关键点重建与追踪；
步骤S3：人体姿态关键点信号的构建，包括声明需要计算的关键点信号和给出声明的关键点信号的判定范围；
步骤S4：基于三维人体姿态关键点的触发对象的构建；
步骤S5：相机区域准备；
步骤S6：事件触发与记录流程；
步骤S7：运动事件的检测与分析。
2.根据权利要求1所述的一种3D人体关节运动序列记录方法，其特征在于：步骤S1包括以下步骤：获得各个相机视图；
在各个相机视图中选定事件区域的临界点；
基于三角测量法将临界点在相机坐标系下计算出来；
构建由多面体包成的三维空间区域，以此作为事件触发区域。
3.根据权利要求1所述的一种3D人体关节运动序列记录方法，其特征在于：步骤S2包括多视图检测结果匹配和基于匹配结果的重建。
4.根据权利要求1所述的一种3D人体关节运动序列记录方法，其特征在于：步骤S3包括以下方法：
关键点要素层级声明；
基础要素的声明与构建；
人体姿态关键点信号的声明；
判定条件声明；
判定条件集合。
5.根据权利要求4所述的一种3D人体关节运动序列记录方法，其特征在于：声明需要计算的关键点信号，包括：
关节角度的大小(比如左臂肘部)；
关键点之间的距离大小(比如左手手腕关键点与右手手腕关键点)。
6.根据权利要求4所述的一种3D人体关节运动序列记录方法，其特征在于：声明的关键点信号的判定范围包括角度大小的范围和距离大小的范围。
7.根据权利要求1所述的一种3D人体关节运动序列记录方法，其特征在于：步骤S4中，选定步骤S1中构建的事件触发区域；
定义若干事件开始的人体姿态关键点触发信号与事件持续的人体姿态关键点触发信号，并将其与对应事件一起注册到事件触发源中。
8.根据权利要求7所述的一种3D人体关节运动序列记录方法，其特征在于：步骤S4中人体姿态关键点触发信号的构建与步骤S3人体姿态关键点信号的构建内容一致。
9.根据权利要求1所述的一种3D人体关节运动序列记录方法，其特征在于：步骤S5中，相机区域准备流程：
标定相机参数与构建相机世界坐标系；
在相机世界坐标系下构建三维空间区域；
在构建好的三维空间区域中设定各个事件的开始信号与持续信号，其中持续信号为人体姿态关键点触发信号；
将三维空间区域作为事件触发区域注册到相机区域中。
10.根据权利要求1所述的一种3D人体关节运动序列记录方法，其特征在于：步骤S6，事件触发与记录流程包括以下方法：
启动多视角相机阵列，获得多视图图像；
基于多视图图像，持续检测各个视图人体姿态关键点，重建并追踪三维人体姿态关键点；
遍历检查人体姿态关键点与设定好的构成事件触发区域的三维空间区域的包含关系；
如果满足包含条件，遍历查看该人体已经触发的事件，检测该人体姿态关键点是否满足该事件的持续信号，如果满足，则进行对该事件持续记录，否则结束事件记录，遍历查看该人体尚未触发的事件，检测该人体姿态关键点是否满足该事件的开始信号，如果满足，则开始该事件的记录，并将其注册到该人体上，如果不满足包含条件，并且已经该人体有事件在记录中，则结束该人体的所有在记录的事件；
在事件开始和结束时返回触发的事件触发区域，事件触发对象和被触发的事件。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310068947.5A CN116188750A (zh) | 2023-02-06 | 2023-02-06 | 一种3d人体关节运动序列记录方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310068947.5A CN116188750A (zh) | 2023-02-06 | 2023-02-06 | 一种3d人体关节运动序列记录方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116188750A true CN116188750A (zh) | 2023-05-30 |
Family
ID=86437803
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310068947.5A Withdrawn CN116188750A (zh) | 2023-02-06 | 2023-02-06 | 一种3d人体关节运动序列记录方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116188750A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117036448A (zh) * | 2023-10-10 | 2023-11-10 | 深圳纷来智能有限公司 | 一种多视角相机的场景构建方法及*** |
-
2023
- 2023-02-06 CN CN202310068947.5A patent/CN116188750A/zh not_active Withdrawn
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117036448A (zh) * | 2023-10-10 | 2023-11-10 | 深圳纷来智能有限公司 | 一种多视角相机的场景构建方法及*** |
| CN117036448B (zh) * | 2023-10-10 | 2024-04-02 | 深圳纷来智能有限公司 | 一种多视角相机的场景构建方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8335345B2 (en) | Tracking an object with multiple asynchronous cameras | |
| Han et al. | Reconstruction of a scene with multiple linearly moving objects | |
| US8786680B2 (en) | Motion capture from body mounted cameras | |
| JP7427188B2 (ja) | ３ｄポーズ取得方法及び装置 | |
| CN103458977B (zh) | 用于虚拟高尔夫模拟装置的感测装置及感测方法 | |
| CN201431466Y (zh) | 人体运动捕获三维再现*** | |
| CN109243575B (zh) | 一种基于移动交互和增强现实的虚拟针灸方法及*** | |
| CN114529605B (zh) | 一种基于多视图融合的人体三维姿态估计方法 | |
| CN116188750A (zh) | 一种3d人体关节运动序列记录方法 | |
| Tomono | 3-D localization and mapping using a single camera based on structure-from-motion with automatic baseline selection | |
| Liebowitz et al. | Uncalibrated motion capture exploiting articulated structure constraints | |
| JP2000268179A (ja) | 三次元形状情報取得方法及び装置，二次元画像取得方法及び装置並びに記録媒体 | |
| CN111415420A (zh) | 空间信息确定方法、装置及电子设备 | |
| CN109902675A (zh) | 物体的位姿获取方法、场景重构的方法和装置 | |
| Zhang | Motion and structure of four points from one motion of a stereo rig with unknown extrinsic parameters | |
| CN115131407B (zh) | 面向数字仿真环境的机器人目标跟踪方法、装置和设备 | |
| CN116485953A (zh) | 数据处理方法、装置、设备和可读存储介质 | |
| JP2627483B2 (ja) | 姿勢検出装置および方法 | |
| JP3512919B2 (ja) | 物体形状・カメラ視点移動の復元装置及び復元方法 | |
| JP3548652B2 (ja) | 物体形状復元装置及びその方法 | |
| Bottino et al. | Toward non-intrusive motion capture | |
| Zhao et al. | Human motion reconstruction from monocular images using genetic algorithms | |
| Gandhi et al. | Calibration of a reconfigurable array of omnidirectional cameras using a moving person | |
| Bériault | Multi-camera system design, calibration and three-dimensional reconstruction for markerless motion capture | |
| CN118200750A (zh) | 一种乒乓球比赛数据采集与可视化技术用于转播的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20230530 |