CN107729797B - 基于传感器数据分析识别身体关节位置的***和方法 - Google Patents
基于传感器数据分析识别身体关节位置的***和方法 Download PDFInfo
- Publication number
- CN107729797B CN107729797B CN201710154869.5A CN201710154869A CN107729797B CN 107729797 B CN107729797 B CN 107729797B CN 201710154869 A CN201710154869 A CN 201710154869A CN 107729797 B CN107729797 B CN 107729797B
- Authority
- CN
- China
- Prior art keywords
- joint positions
- body joint
- data
- body segment
- identifying
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000007405 data analysis Methods 0.000 title claims abstract description 8
- 230000033001 locomotion Effects 0.000 claims description 27
- 230000015654 memory Effects 0.000 claims description 18
- 230000008859 change Effects 0.000 claims description 10
- 238000006073 displacement reaction Methods 0.000 claims description 8
- 238000004891 communication Methods 0.000 claims description 7
- 210000001503 joint Anatomy 0.000 description 20
- 238000004458 analytical method Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 10
- 230000006872 improvement Effects 0.000 description 8
- 238000005259 measurement Methods 0.000 description 7
- 238000012937 correction Methods 0.000 description 6
- 210000000245 forearm Anatomy 0.000 description 6
- 238000000513 principal component analysis Methods 0.000 description 6
- 208000006011 Stroke Diseases 0.000 description 5
- QBWCMBCROVPCKQ-UHFFFAOYSA-N chlorous acid Chemical compound OCl=O QBWCMBCROVPCKQ-UHFFFAOYSA-N 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 208000012902 Nervous system disease Diseases 0.000 description 3
- 208000025966 Neurological disease Diseases 0.000 description 3
- 210000003414 extremity Anatomy 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 210000003205 muscle Anatomy 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 210000001364 upper extremity Anatomy 0.000 description 3
- 210000000988 bone and bone Anatomy 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 210000002310 elbow joint Anatomy 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000005021 gait Effects 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000002560 therapeutic procedure Methods 0.000 description 2
- 238000011282 treatment Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 206010019468 Hemiplegia Diseases 0.000 description 1
- 208000027601 Inner ear disease Diseases 0.000 description 1
- 206010033799 Paralysis Diseases 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000001684 chronic effect Effects 0.000 description 1
- 230000006690 co-activation Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013481 data capture Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000399 orthopedic effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 210000000323 shoulder joint Anatomy 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 208000027491 vestibular disease Diseases 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
- 210000003857 wrist joint Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
- A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Physiology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Psychiatry (AREA)
- Quality & Reliability (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Geometry (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Analysis (AREA)
- Length Measuring Devices With Unspecified Measuring Means (AREA)
Abstract
提供基于传感器数据分析识别身体关节位置的***和方法。用于识别身体关节位置的***和方法包括获得关于用户的骨架数据、深度数据和红色、绿色和蓝色(RGB)数据；使用输入数据获得身体关节位置(BJL)和身体段长度(BSL)的估计值；基于深度数据和RGB数据，在先前获得的BJL周围的有界邻域中迭代地识别可能正确的BJL；比较与可能正确的BJL相关联的身体段长度和参考长度；基于比较来识别候选BJL；通过基于深度数据分割每个身体段的三维(3D)坐标并对每个分割的3D坐标进行分析来确定每个身体段的物理取向。基于与相应身体段的物理取向的方向上的最小偏差以及RGB数据和深度数据的特征描述符来识别校正的BJL。
Description
技术领域
本发明一般涉及传感器数据分析，更特别地，涉及用于基于传感器数据分析来识别身体关节位置的***和方法。
背景技术
关节运动分析是患有神经障碍的患者、中风后患者和老年受试者的健康监测/康复的重要方面。传统上使用诸如Vicon等的临床装置来进行关节运动数据捕获，其中Vicon是基于标记的并且非常昂贵而且不适合于长期的康复治疗。
是一种无标记运动捕捉装置，其中与昂贵的对手相比，
由于低成本、便携性和花费轻松而被使用。已经广泛研究了作为基于标记的***的替代品的
的准确性，并且存在关于其与Vicon相比的有效性和可靠性的大量报告。然而，报告表明由
骨架数据提供的人体关节信息的准确性较低。
提供的骨架数据需要进一步优化，以提高其准确性，并允许有效和可靠的评估。
发明内容
本发明的实施例将技术改进呈现为对发明人认识到的传统***中的一个或多个上述技术问题的解决方案。例如，在一方面，提供了用于识别身体关节位置的硬件处理器实现的方法。该方法包括利用一个或多个硬件处理器，以一个或多个时间戳获得一个或多个输入数据，其中，所述一个或多个输入数据包括与至少一个用户有关的骨架数据、深度数据以及红色、绿色和蓝色(RGB)数据，以及所述一个或多个输入数据包括与一个或多个骨架关节有关的三维(3D)坐标。所述方法还包括利用所述一个或多个硬件处理器，使用所述一个或多个输入数据来估计一个或多个身体关节位置和连接到相应的骨架关节的一个或多个身体段的身体段长度，以获得(i)一个或多个身体关节位置的估计值和(ii)一个或多个身体段长度的估计值。在实施例中，所述一个或多个身体段长度的估计值是基于相邻骨架关节之间的欧几里得距离的。在先前帧中先前获得的一个或多个身体关节位置周围的有界邻域中识别一个或多个可能正确的身体关节位置，其中，所述一个或多个可能正确的身体关节位置是基于所述深度数据和所述RGB数据而迭代识别出的。在示例实施例中，使用等于单个帧中的相应骨架关节的位移的半径来定义搜索区域，以识别一个或多个可能正确的身体关节位置。所述方法还包括利用所述一个或多个硬件处理器，进行(i)与所述一个或多个可能正确的身体关节位置中的各个可能正确的身体关节位置相关联的身体段长度与(ii)参考长度的比较。在实施例中，所述参考长度是基于所述一个或多个身体段长度的估计值而导出的。基于所述比较，至少将所述一个或多个可能正确的身体关节位置的子集识别为一个或多个候选身体关节位置。在实施例中，基于导致最小的身体段长度变化的所述比较，至少将所述一个或多个可能正确的身体关节位置的子集识别为一个或多个候选身体关节位置。通过基于所述深度数据分割各个身体段的一个或多个3D坐标并且对各个分割后的3D坐标进行分析，来确定与所述一个或多个候选身体关节位置中的各个候选身体关节位置有关的各个身体段的物理取向。基于相对于相应的身体段的物理取向的方向上的最小偏差以及所述RGB数据和所述深度数据的特征描述符，从所述一个或多个候选身体关节位置识别(校正的)身体关节位置，其中，所述最小偏差是基于所述深度数据的，以及所述最小偏差是基于所述用户进行的一个或多个动作的。
在另一方面，提供了一种用于识别身体关节位置的***。所述***包括存储指令的存储器，一个或多个通信接口以及使用所述一个或多个通信接口连接到所述存储器的一个或多个硬件处理器，其中所述一个或多个硬件处理器被所述指令配置为：以一个或多个时间戳获得一个或多个输入数据，其中，所述一个或多个输入数据包括与至少一个用户有关的骨架数据、深度数据以及红色、绿色和蓝色(RGB)数据，以及所述一个或多个输入数据包括与一个或多个骨架关节有关的三维(3D)坐标。骨架数据、深度数据和红色、绿色和蓝色(RGB)数据由传感器(例如，
传感器)捕获。所述一个或多个硬件处理器还被所述指令配置为，使用所述一个或多个输入数据来估计一个或多个身体关节位置和连接到相应的骨架关节的一个或多个身体段的身体段长度，以获得(i)一个或多个身体关节位置的估计值和(ii)一个或多个身体段长度的估计值。在实施例中，所述一个或多个身体段长度的估计值是基于相邻骨架关节之间的欧几里得距离的。在实施例中，***还被配置为，在从先前帧先前获得的一个或多个身体关节位置周围的有界邻域中识别一个或多个可能正确的身体关节位置，其中，所述一个或多个可能正确的身体关节位置是基于所述深度数据和所述RGB数据而迭代识别出的。在实施例中，使用等于单个帧中的相应骨架关节的位移的半径来定义搜索区域，以识别一个或多个可能正确的身体关节位置。
***还进行(i)与所述一个或多个可能正确的身体关节位置中的各个可能正确的身体关节位置相关联的身体段长度与(ii)参考长度的比较。在实施例中，所述参考长度是基于所述一个或多个身体段长度的估计值而导出的。所述***还基于所述比较，至少将所述一个或多个可能正确的身体关节位置的子集识别为一个或多个候选身体关节位置。在实施例中，基于导致最小的身体段长度变化的所述比较，至少将所述一个或多个可能正确的身体关节位置的子集识别为一个或多个候选身体关节位置。换句话说，将具有相对于参考长度的最小的身体段长度变化的可能正确的身体关节位置识别为一个或多个候选身体关节位置。
所述***还被配置为，通过基于所述深度数据分割各个身体段的一个或多个3D坐标并且对各个分割后的3D坐标进行分析，来确定与所述一个或多个候选身体关节位置中的各个候选身体关节位置有关的各个身体段的物理取向。该***还被配置为，基于相对于相应的身体段的物理取向的方向上的最小偏差以及所述RGB数据和所述深度数据的特征描述符，从所述一个或多个候选身体关节位置识别(校正的)身体关节位置，其中，所述最小偏差是基于所述深度数据的，以及所述最小偏差是基于所述用户进行的一个或多个动作的。在实施例中，将具有相对于相应身体段的物理取向的方向上的最小偏差的身体关节位置识别为具有RGB数据和深度数据的特征描述符的校正的关节身***置。
在另一方面，提供了包括一个或多个指令的一个或多个非瞬态机器可读信息存储介质。所述一个或多个指令在由一个或多个硬件处理器执行时使得以一个或多个时间戳获得一个或多个输入数据，其中，所述一个或多个输入数据包括与至少一个用户有关的骨架数据、深度数据以及红色、绿色和蓝色(RGB)数据，以及所述一个或多个输入数据包括与一个或多个骨架关节有关的三维(3D)坐标。所述一个或多个指令在由一个或多个硬件处理器执行时还使得使用所述一个或多个输入数据来估计一个或多个身体关节位置和连接到相应的骨架关节的一个或多个身体段的身体段长度，以获得(i)一个或多个身体关节位置的估计值和(ii)一个或多个身体段长度的估计值。在实施例中，所述一个或多个身体段长度的估计值是基于相邻骨架关节之间的欧几里得距离的。所述一个或多个指令在由一个或多个硬件处理器执行时使得在先前帧中先前获得的一个或多个身体关节位置周围的有界邻域中识别一个或多个可能正确的身体关节位置，其中，所述一个或多个可能正确的身体关节位置是基于所述深度数据和所述RGB数据而迭代识别出的。在示例实施例中，使用等于相应骨架关节的位移的半径来定义搜索区域，以识别一个或多个可能正确的身体关节位置。所述一个或多个指令在由一个或多个硬件处理器执行时还使得执行(i)与所述一个或多个可能正确的身体关节位置中的各个可能正确的身体关节位置相关联的身体段长度与(ii)参考长度的比较。在实施例中，所述参考长度是基于所述一个或多个身体段长度的估计值而导出的。所述一个或多个指令在由一个或多个硬件处理器执行时还使得基于所述比较，将所述一个或多个可能正确的身体关节位置的子集识别为一个或多个候选身体关节位置。在实施例中，基于导致最小的身体段长度变化的所述比较，将所述一个或多个可能正确的身体关节位置的子集识别为一个或多个候选身体关节位置。所述一个或多个指令在由一个或多个硬件处理器执行时还使得通过基于所述深度数据分割各个身体段的一个或多个3D坐标并且对各个分割后的3D坐标进行分析，来确定与所述一个或多个候选身体关节位置中的各个候选身体关节位置有关的各个身体段的物理取向。所述一个或多个指令在由一个或多个硬件处理器执行时还使得基于相对于相应的身体段的物理取向的方向上的最小偏差以及所述RGB数据和所述深度数据的特征描述符，从所述一个或多个候选身体关节位置识别(校正的)身体关节位置，其中，所述最小偏差是基于所述深度数据的，以及所述最小偏差是基于所述用户进行的一个或多个动作的。
应当理解，前述一般性描述和以下详细描述都仅是示例性和解释性的，而不是对所要求保护的本发明的限制。
附图说明
包含在本发明中并构成本发明的一部分的附图示出了示例性实施例，并且与说明书一起用于解释所公开的原理。
图1示出根据本发明的实施例的用于识别用户的身体关节位置的***的示例性框图。
图2示出根据本发明的实施例的用于使用图1的***识别用户的身体关节位置的方法的示例性流程图。
图3示出根据本发明的实施例的表示针对10个受试者的ROM活动的身体段长度统计的示例性表格。
图4示出根据本发明的实施例的前臂关节的长度变化的图形表示。
图5示出根据本发明的实施例的臂的长度变化的图形表示。
图6示出根据本发明的实施例的针对肘部弯曲的前臂长度变化的图形表示。
图7描绘根据本发明的实施例的由图1的***进行的身体段取向校正。
具体实施方式
参考附图描述示例性实施例。在附图中，附图标记的最左边的数字标识附图标记首次出现的附图。为了方便，在整个附图中使用相同的附图标记来指代相同或相似的部分。虽然这里描述了所公开原理的示例和特征，但是在不脱离所公开的实施例的精神和范围的情况下，可以进行修改、调整和其它实现。意图是仅将以下详细描述认为是示例性的，真正的范围和精神由所附权利要求表示。
身体关节运动分析对于具有神经障碍和中风的患者的健康监测和治疗是极其重要的。中风后上肢的慢性偏瘫导致主要的手运动限制。存在由于中风导致的肌肉共激活和相应的关节扭矩模式的永久减少的可能性。几项研究表明，肩部外展肌与肘部屈肌的异常联结、以及肩部内收肌与肘部伸肌的异常联结经常导致严重中风患者表现出的一些刻板运动特征。因此，持续有效的康复治疗对于监测和控制这些异常而言是绝对必要的。非常需要基于家庭的康复临床后治疗。
用于人体运动捕获和分析的基于标记的***(例如，Vicon)在其临床批准的准确性水平的上肢康复中是流行的。然而，用于运动捕获的无标记***(例如，Microsoft
)由于其可负担性和可便携性而可用于基于家庭的康复。已经针对运动范围、姿势控制和步态，对Kinect的准确性、有效性和重测信度测量进行了研究。报告的结果表明由Kinect观察到的身体关节位置和通过临床金标准立体摄影测量***(例如，Vicon)获得的身体关节位置之间的差异。由于提供了非人体测量骨骼模型，因而在使用
的情况下报告了身体段长度针对手臂的6～8厘米(cm)和针对前臂的2～5厘米的量级的变化。此外，发现与下身关节相比，上身的误差较低。还针对非健康受试者和老年群体研究了
的性能。实验结果表明，
的测量大体空间运动(例如，肩部和肘部运动)的准确性高于测量精细运动(例如，手部)的准确性。身体语义(例如，身体段长度和取向)的差异在运动期间增加。因此，在与临床评估和生物力学建模有关的测量中提高
的准确性至关重要。例如，手臂长度的准确测量对于评估瘫痪手臂中具有损伤的患者达到任务的性能是重要的。已经进行了仅使用来自
骨架数据的骨长度根据运动模式对患者进行分类的现有工作。一些人已经明确地提出了需要使用来自
的附加深度信息来进一步优化关节位置和身体段长度。
本发明的实施例旨在约束身体段长度和取向的情况下，通过使用附加的深度和RGB(RGBD)数据改善关节中心定位，来提高
在上肢(例如，肩部和肘部关节)康复中的准确性。更特别地，本发明的实施例实现用于基于传感器数据分析识别身体关节位置的***和方法，其能够使基于从
传感器获得的RGB和深度信息的身体段长度的时间变化最小化，使用基于深度的分割和对分割后的3D坐标的分析(例如，主分量分析(PCA))来在物理身体段取向的方向上将连接的关节对准，并且基于校正后的关节信息提供运动范围分析***的可靠范围。
现在参考附图，更特别地，参考图1～7(图中类似的附图标记在所有附图中一致地表示对应的特征)，示出了优选实施例，并且在以下示例性***和/或方法的上下文中描述这些实施例。
图1示出了根据本发明的实施例的用于识别用户的身体关节位置的***100的示例性框图。在实施例中，***100包括一个或多个处理器104、通信接口装置或输入/输出(I/O)接口106、以及可操作地连接至一个或多个处理器104的一个或多个数据存储装置或存储器102。作为硬件处理器的一个或多个处理器104可以被实现为一个或多个微处理器、微计算机、微控制器、数字信号处理器、中央处理单元、状态机、逻辑电路和/或基于操作指示而操纵信号的任何装置。在其它能力中，处理器被配置为获取和执行存储在存储器中的计算机可读指令。在实施例中，可以在诸如膝上型计算机、笔记本、手持装置、工作站、大型计算机、服务器、网络云等的各种计算***中实现***100。
I/O接口装置106可以包括各种软件和硬件接口(例如，web接口、图形用户界面等)，并且可以促进各种各样的网络N/W和协议类型内的多个通信，其包括有线网络(例如，LAN、线缆等)以及无线网络(例如，WLAN、蜂窝或卫星等)。在实施例中，I/O接口装置可以包括用于将多个装置彼此连接或连接到另一服务器的一个或多个端口。
存储器102可以包括本领域中已知的任何计算机可读介质，例如，包括诸如静态随机存取存储器(SRAM)和动态随机存取存储器(DRAM)等的易失性存储器和/或诸如只读存储器(ROM)、可擦除可编程ROM、闪速存储器、硬盘、光盘和磁带等的非易失性存储器。在实施例中，***100的一个或多个模块(未示出)可以存储在存储器102中。
图2示出了根据本发明的实施例的使用图1的***100识别用户的身体关节位置的方法的示例性流程图。在实施例中，***100包括一个或多个数据存储装置或存储器102，其可操作地连接到一个或多个硬件处理器104，并且被配置为存储用于由一个或多个处理器104执行方法的步骤的指令。现在将参考流程图和如图1所示的***100的组件来解释本发明的方法的步骤。在本发明的实施例中，在步骤202，一个或多个处理器104获得输入数据，包括与至少一个用户有关的骨架数据、深度数据以及红色、绿色和蓝色(RGB)数据。在示例实施例中，可以以一个或多个时间戳捕获输入数据。在示例实施例中，一个或多个输入数据包括与一个或多个骨架关节有关的三维(3D)坐标。在示例实施例中，包括骨架数据、深度数据以及红色、绿色和蓝色(RGB)数据的输入数据由传感器(例如，
传感器)捕获。在示例实施例中，以大约25～30帧每秒的帧速率从
传感器接收骨架数据、深度数据以及红色、绿色和蓝色(RGB)数据。在一个示例实施例中，
传感器可以集成在***100内。在另一示例性实施例中，
传感器可以是经由一个或多个通信接口连接到***100的外部组件。
在本发明的实施例中，在步骤204，一个或多个处理器104估计(或计算)一个或多个身体关节位置和连接到相应骨架关节的一个或多个身体段的身体段长度，以获得(i)一个或多个估计的身体关节位置的估计值和(ii)一个或多个估计的身体段长度的估计值。在实施例中，一个或多个身体段长度是基于骨架数据输入中相邻骨架关节之间的欧几里得距离的。在示例实施例中，使用输入数据获得身体关节位置和身体段长度的估计值。
在本发明的实施例中，在步骤206，一个或多个处理器104迭代地识别先前从先前帧获得的一个或多个身体关节位置周围的有界邻域(bounded neighborhood)中的一个或多个可能正确的身体关节位置。在本发明的一个实施例中，基于深度数据和RGB数据迭代地识别一个或多个可能正确的身体关节位置。在本发明的示例实施例中，使用等于单个帧中的相应骨架关节的位移的半径来定义搜索区域，以识别一个或多个可能正确的身体关节位置。在本发明的实施例中，在步骤208，一个或多个处理器104执行(i)与一个或多个可能正确的身体关节位置中的各个身体关节位置相关联的身体段长度和(ii)参考长度的比较。在示例实施例中，基于一个或多个身体段长度(例如，真实身体段长度)的估计值来计算或导出参考长度。换句话说，基于***初始化期间的身体关节位置之间的欧几里得距离来计算或导出参考长度。通过在移除极端值(如果存在的话)之后分别取输入骨架关节位置和相邻输入关节位置之间的欧几里得距离的平均值，来计算身体关节位置(例如，真实身体关节位置)和身体段的参考长度的初始估计值。
在本发明的实施例中，在步骤210，一个或多个处理器104基于比较来至少将一个或多个可能正确的身体关节位置的子集识别为一个或多个候选身体关节位置。在本发明的示例中，基于导致最小身体段长度变化的比较，将一个或多个可能正确的身体关节位置的子集识别为一个或多个候选身体关节位置。换句话说，将相对于参考长度具有最小身体段长度变化的可能正确的身体关节位置识别为一个或多个候选身体关节位置。
在本发明的实施例中，在步骤212，一个或多个处理器104通过基于深度数据对各个身体段的一个或多个3D坐标进行分割并对各个分割后的3D坐标执行分析来确定与一个或多个候选身体关节位置中的各个候选身体关节位置有关的各个身体段的物理取向。在本发明的一个实施例中，***100对各个分割后的3D坐标执行主分量分析，并基于主分量分析来确定物理取向。在本发明的实施例中，在步骤214，一个或多个处理器104基于相对于相应身体段的物理取向的方向上的偏差、以及RGB数据和深度数据的特征描述符，从一个或多个候选身体关节位置中识别校正身体关节位置，其中最小偏差是基于深度数据的。在本发明的示例实施例中，***100使用基于RGB-D的特征描述符，识别具有相对于相应身体段的物理取向的方向上的最小偏差的校正身体关节位置(如图7所示)。在实施例中，最小偏差是基于或经受用户进行的一个或多个动作的。
实验设置
针对实验，选择没有神经***疾病、主要矫形损伤或前庭障碍的预先存在的症状的10个健康受试者(年龄：21～65岁，体重：45kg～120kg，身高：1:42m～1:96m)。
v1装置已经用于捕获深度、RGB和骨架数据(大约25fps)以及时间戳信息。参与者/受试者站在相对于位于地面1米高的位置处的
装置(
传感器)2：1米至2：4米的距离处。各个参与者进行以下(主动)运动范围(ROM)活动——肩部外展和内收、肩部弯曲和伸展、肘部弯曲和伸展。在所有实验中，对于初始1～2秒，要求受试者完全静止站立以用于所提出的方法的初始化。
使用
传感器的关节运动分析是基于由下式给出的20个骨架关节的三维坐标的时空变化的：
其中，
表示在时间实例t(对应于帧ft)由
传感器提供的第j个关节的3D坐标。设
表示连接关节i和j的身体段。关节坐标受到由于室内照明(或任何其它环境影响条件)所导致的噪声、红外(IR)干扰、受试者与
传感器的距离、计算期间引入的量化误差等的影响。关节中心位置
和
的误差导致
的长度以及其在3D空间中的取向的变化。
因此，为了可靠地测量诸如关节运动范围等的参数，获得正确的身体关节位置，使得可以获得准确的身体段长度和取向。(直接)利用深度传感器值以及RGB信息，可以获得满足身体段长度和取向约束的关节位置的正确估计值。直觉是第j个关节的正确位置
必须位于由
传感器报告的3D坐标
附近。如在图2的步骤中所描述的，针对满足以下条件的身体关节位置，执行分级搜索技术：(1)由所提出的特征描述符表示的深度和RGB的时变特征中的最大相似度；(2)(根据深度分割和诸如主成分分析等的分析来估计出的)向着真实物理身体段取向的
的最大对准；以及(3)相对于在初始化阶段期间所估计出的参考长度的
的最小偏差。
在使受试者保持静止30～50帧时的初始化阶段期间，基于观察的四分位数测量来计算身体关节位置和身体段长度的初始估计值。针对各个关节，在
骨架坐标附近搜索满足身体段长度的最小变化的约束的候选位置。然后，通过使利用相对于身体段的物理取向的
方向上的偏差而加权后的基于RGB-D的特征描述符的时间变化最小化，来进一步细化搜索。
坐标变换：
为了找到特定关节j的深度和RGB值，使用
IR照相机固有属性，将现实世界坐标
投影到二维深度映射坐标
如下面的示例表达式(1)所示。此外，使用仿射变换以求出深度坐标
和RGB图像坐标
之间的对应关系，如下面的示例表达式(2)所示。
搜索身体关节位置：
在投影深度和RGB空间(如上所述的坐标变换)中在
周围的有界邻域中搜索在时间t的校正身体关节位置
使用等于单个帧中的关节的位移的半径来定义在时间t的针对第j个关节的搜索区域S。
身体段长度约束：
搜索受到如下约束：身体段长度(两个物理连接的关节的3D坐标之间的欧几里得距离)在相应关节的移动期间应当保持不变。通过选择满足长度约束的候选位置
将搜索区域S细化(refine)为S1，如下面的示例表达式所示。
其中
是关节i的校正3D位置，
是
和
之间的欧几里得距离。
是在初始化期间估计的连接关节i和j的身体段的物理长度。在一个示例实施例中，搜索区域S和S1可以由***100定义。在另一示例实施例中，***可以(例如，从用户)获得一个或多个输入以定义搜索区域S和S1。
身体段取向的估计：
在各个时间实例t，选择向量
使得其展现向着真实身体段取向的最大对准。在
深度空间可以从背景中分割出人体。关节i和j的身体关节位置周围的有界区域用于将身体段或肢体的坐标从人(用户)形式的其余部分分离。在分割后的坐标上执行分析(例如但不限于主成分分析)以获得本征向量
其中本征向量
的方向表示代表身体段的坐标的最大变化的方向。
提供在各个时间实例中身体取向的物理取向的估计。
特征描述符
搜索区域(或空间)S1包括候选位置，其中关节的实际位置位于这些候选位置之中。为了选择真实的身体关节位置(例如，一个或多个候选身体关节位置中的精确的或实际的身体关节位置)，由于关节具有随着时间的轨迹，因而使用基于RGB和深度特征的一组特征来唯一地识别关节。
在任何ROM活动期间，不管任何关节的深度值的变化，深度像素和其相邻像素之间的相对深度变化应当对于任何两个连续帧保持不变。像素邻域中的RGB值表现出类似的性质。对于关节中心
由与深度差和RGB值有关的元素组成的特征描述符被定义为λ＝{λD,λR}。λD是(2w+1)×(2w+1)矩阵，其中，w∈I+，以深度像素
为中心并且表示为
下文的符号
用于表示以任意位置
为中心的λD。
其中，
Dx,y＝(depth(px,py)-depth(x,y))*g(x,y)
depth(x,y)＝坐标(x,y)处的深度值
g(x,y)表示以具有方差σ2的
为中心的高斯窗。
类似地，以
为中心的λR(对于相同窗)表示为
最后，通过以下等式获得关节j的校正位置
其中，α,γ∈(0,1)是常数，其值可以通过实验确定。
参考图1～2，图3示出了根据本发明的实施例的表示10个受试者的ROM活动的身体段长度统计的示例性表格。更特别地，图3针对从
传感器获得的输入数据的平均值(以米为单位)、标准偏差(以米为单位)、极差(以米为单位)、变化系数，描述了各个ROM活动的身体段长度的校正和/或百分比(％)改善。如图3所示，例如，对于肩部ROM活动(外展内收)，身体段长度的百分比(％)改善分别为73.8和74.3。类似地，对于肩部ROM活动(弯曲和伸展)，身体段长度的百分比(％)改善分别为72.9和80.7。同样，对于肘部ROM活动(弯曲和伸展)，身体段长度的百分比(％)改善分别为71.6和58.7。
参考图1～3，图4示出了根据本发明的实施例的前臂关节的长度变化的图形表示。更具体地，图4描绘了左肘部和左腕部关节之间的长度变化。参考图1～4，图5示出了根据本发明的实施例的臂的长度变化的图形表示。更具体地，图5描绘了左肩部和左肘部关节之间的长度变化。针对静态和动态关节两者，***100评估性能。图4和5表明使用所提出的方法，在肩部外展期间，臂和前臂长度的时间变化显著减少。
参考图1～5，图6示出了根据本发明的实施例的肘部弯曲的前臂长度变化的图形表示。图6清楚地示出了肘部弯曲和伸展的类似趋势。使用如图3的表格中所示的以下度量——平均值、标准偏差、极差和变异系数(CV)，对所有受试者进行长度变化的性能比较。在图3的表格中报告的结果表示身体段长度的标准偏差从Kinect骨架数据的1～2厘米的量级到校正骨架数据的几毫米的明显减少。所有ROM活动和所有受试者的CV具有平均72％改善。
身体段取向校正：
参考图1～6，图7描述了根据本发明的实施例的由图1的***100进行的身体段取向校正。更具体地，图7描绘了身体段取向，其中虚线表示
输出702，实线表示***100的校正704。校正的关节信息不仅有助于实现关节运动范围分析的更高的测量准确性，而且有助于提高来自
骨骼信息(或
骨骼数据)的姿势、步态、平衡等的其它评估(例如，临床)的可靠性。从原始
坐标获得的身体段取向通常在运动期间受到不准确性，图7示出这样的示例，其中肘部和腕部骨骼坐标的2D投影被示出为在手运动时超过手的物理边界。在多个受试者的运动范围活动期间频繁观察到这种情况。通过校正身体段的取向和长度，显然关节角的动态测量的准确性高得多。在运动范围活动期间，肢体的校正长度和取向可以反映物理肢体的实际轨迹。这已经经过临床测角器的ROM测量的验证。对于肩部外展，从
骨架数据中计算的角度偏差在6.39度±5.06度的量级，这最终对应于常规***和方法报告的事实，而所提出的方法能够将偏差减小1.88度±1.1度。所提出的身体段长度和方向校正也影响关节角度和运动范围分析。
本发明的***和方法提供了针对各种应用(例如但不限于康复)改善了
骨架关节坐标的准确性的技术。
骨架是非人体测量模型，存在随着时间的身体段长度和取向变化。由***100实现的所提出的方法实现并改善了身体段长度的估计的准确性，并且在物理身体段的方向上对准坐标，这有助于尽可能准确地重建动态轨迹和身体段运动的角度。虽然本发明的实施例描述了在3D空间中的身体关节位置识别，但是实施例/方法也可以由***100实现为识别2D空间(或N维)中的身体关节位置。
所撰写的说明书描述了这里的主题以使本领域任何技术人员能够实现和使用实施例。主题实施例的范围由权利要求限定，并且可以包括本领域技术人员想到的其它修改。如果这样的其它修改具有与权利要求的文字语言没有不同的类似元素，或者如果它们包括与权利要求的文字语言具有非实质差异的等同元素，则这些其它修改意图在权利要求的范围内。
应当理解，保护的范围还延伸到这样的程序以及具有消息的计算机可读部件；这种计算机可读存储部件包含当程序在服务器或移动装置或任何合适的可编程装置上运行时用于实现该方法的一个或多个步骤的程序代码部件。硬件装置可以是可编程的任何类型的装置，包括例如，任何类型的计算机(例如服务器或个人计算机等)或其任何组合。该装置包括的部件还可以是位于其中的硬件部件(例如，专用集成电路(ASIC)、现场可编程门阵列(FPGA))、或者硬件和软件部件的组合(例如，ASIC和FPGA)、或者至少一个微处理器和至少一个具有软件模块的存储器。因此，该部件可以包括硬件部件和软件部件两者。这里描述的方法实施例可以在硬件和软件中实现。该部件还可以包括软件部件。可选地，实施例可以在不同的硬件装置上(例如，使用多个CPU)实现。
这里的实施例可以包括硬件和软件元素。在软件中实现的实施例包括但不限于固件、驻留软件、微代码等。由这里描述的各种模块执行的功能可以在其它模块或其它模块的组合中实现。为了本描述的目的，计算机可用或计算机可读介质可以是任何设备，其可以包括、存储、传送、传播或传输由指令执行***、设备或装置使用或者与指令执行***、设备或装置结合使用的程序。
所示出的步骤用于解释所示的示例性实施例，并且应当预期，正在进行的技术发展将改变执行特定功能的方式。这些示例在这里出于说明的目的而非限制。此外，为了方便描述，这里已经任意地定义了功能构建块的边界。可以定义替代边界，只要适当地执行指定的功能及其关系即可。基于这里所包含的教导，对于本领域技术人员来说，替代方案(包括这里所描述的等同、扩展、变化、偏离等)将是显而易见的。这样的替代方案落入所公开的实施例的范围和精神内。此外，词语“由……组成”、“具有”、“包含”和“包括”以及其它类似形式旨在在意义上等同，并且是开放的，因为在这些词中的任何一个之后的项不是意在详尽列出这样的项，或者意在仅限于所列出的项。还必须注意，如这里和所附权利要求中所使用的，单数形式“一”，“一个”和“该”可以包括复数指代，除非上下文另有明确规定。
此外，可以在实现与本发明一致的实施例中使用一个或多个计算机可读存储介质。计算机可读存储介质是指可以存储处理器可读的信息或数据的任何类型的物理存储器。因此，计算机可读存储介质可以存储由一个或多个处理器执行的指令，包括用于使处理器执行与这里描述的实施例一致的步骤或阶段的指令。术语“计算机可读介质”应当被理解为包括有形项并且排除载波和瞬时信号，即，是非瞬态的。示例包括随机存取存储器(RAM)、只读存储器(ROM)、易失性存储器、非易失性存储器、硬盘驱动器、CD ROM、DVD、闪存驱动器、磁盘和任何其它已知的物理存储介质。
意图是，本发明和示例仅被认为是示例性的，所公开的实施例的真实范围和精神由所附权利要求指定。
本专利申请要求2016年8月10日提交的印度专利申请201621027388的优先权，其全部内容通过引用而包含于此。
Claims (15)
1.一种基于传感器数据分析识别身体关节位置的方法，所述方法包括以下步骤：
利用一个或多个硬件处理器，以一个或多个时间戳获得一个或多个输入数据，其中，所述一个或多个输入数据包括与至少一个用户有关的骨架数据、深度数据以及红色、绿色和蓝色数据即RGB数据，以及所述一个或多个输入数据包括与一个或多个骨架关节有关的三维坐标即3D坐标；
利用所述一个或多个硬件处理器，使用所述一个或多个输入数据来估计第一组帧中的一个或多个身体关节位置和连接到相应的骨架关节的一个或多个身体段的身体段长度，以获得一个或多个身体关节位置的估计值和一个或多个身体段长度的估计值；
利用所述一个或多个硬件处理器，在一个或多个身体关节位置的估计值周围的有界邻域中，基于所述深度数据和所述RGB数据迭代地识别一个或多个可能正确的身体关节位置；
利用所述一个或多个硬件处理器，进行参考长度和来自与所述一个或多个可能正确的身体关节位置相关联的一个或多个身体段长度的估计值的各个身体段长度的比较；
利用所述一个或多个硬件处理器，基于所述比较，至少将所述一个或多个可能正确的身体关节位置的子集识别为一个或多个候选身体关节位置；
通过基于所述深度数据分割各个身体段的一个或多个3D坐标并且对各个分割后的3D坐标进行分析，来确定与所述一个或多个候选身体关节位置中的各个候选身体关节位置有关的各个身体段的物理取向；以及
基于相对于相应的身体段的物理取向的方向上的最小偏差以及所述RGB数据和所述深度数据的特征描述符，从所述一个或多个候选身体关节位置中识别身体关节位置，其中，所述最小偏差是基于所述深度数据的，以及所述最小偏差是基于所述用户进行的运动范围的。
2.根据权利要求1所述的方法，其中，利用所述一个或多个硬件处理器，基于导致最小的身体段长度变化的所述比较，至少将所述一个或多个可能正确的身体关节位置的子集识别为一个或多个候选身体关节位置。
3.根据权利要求1所述的方法，其中，使用等于相应的骨架关节的位移的半径来定义搜索区域以识别所述一个或多个可能正确的身体关节位置。
4.根据权利要求1所述的方法，其中，所述一个或多个身体段长度的估计值是基于相邻骨架关节之间的欧几里得距离的。
5.根据权利要求1所述的方法，其中，所述参考长度是从所述一个或多个身体段长度的估计值导出的。
6.一种基于传感器数据分析识别身体关节位置的***，所述***包括：
存储器，其存储指令；
一个或多个通信接口；以及
一个或多个硬件处理器，其使用所述一个或多个通信接口连接到所述存储器，其中，所述一个或多个硬件处理器被所述指令配置为：
以一个或多个时间戳获得一个或多个输入数据，其中，所述一个或多个输入数据包括与至少一个用户有关的骨架数据、深度数据以及红色、绿色和蓝色数据即RGB数据，以及所述一个或多个输入数据包括与一个或多个骨架关节有关的三维坐标即3D坐标，
使用所述一个或多个输入数据来估计一个或多个身体关节位置和连接到相应的骨架关节的一个或多个身体段的身体段长度，以获得一个或多个身体关节位置的估计值和一个或多个身体段长度的估计值，
在所述一个或多个身体关节位置的估计值周围的有界邻域中，基于所述深度数据和所述RGB数据迭代地识别一个或多个可能正确的身体关节位置，
进行参考长度和来自与所述一个或多个可能正确的身体关节位置相关联的一个或多个身体段长度的估计值的各个身体段长度的比较；
基于所述比较，至少将所述一个或多个可能正确的身体关节位置的子集识别为一个或多个候选身体关节位置，
通过基于所述深度数据分割各个身体段的一个或多个3D坐标并且对各个分割后的3D坐标进行分析，来确定与所述一个或多个候选身体关节位置中的各个候选身体关节位置有关的各个身体段的物理取向，以及
基于相对于相应的身体段的物理取向的方向上的最小偏差以及所述RGB数据和所述深度数据的特征描述符，从所述一个或多个候选身体关节位置中识别身体关节位置，其中，所述最小偏差是基于所述深度数据的，以及所述最小偏差是基于所述用户进行的运动范围的。
7.根据权利要求6所述的***，其中，基于导致最小的身体段长度变化的所述比较，至少将所述一个或多个可能正确的身体关节位置的子集识别为一个或多个候选身体关节位置。
8.根据权利要求6所述的***，其中，基于等于相应的骨架关节的位移的半径来定义搜索区域，以识别所述一个或多个可能正确的身体关节位置。
9.根据权利要求6所述的***，其中，所述一个或多个身体段长度的估计值是基于相邻骨架关节之间的欧几里得距离的。
10.根据权利要求6所述的***，其中，所述参考长度是从所述一个或多个身体段长度的估计值导出的。
11.一种非瞬态机器可读信息存储介质，包括在由一个或多个硬件处理器执行时使得进行以下步骤的一个或多个指令：
利用一个或多个硬件处理器，以一个或多个时间戳获得一个或多个输入数据，其中，所述一个或多个输入数据包括与至少一个用户有关的骨架数据、深度数据以及红色、绿色和蓝色数据即RGB数据，以及所述一个或多个输入数据包括与一个或多个骨架关节有关的三维坐标即3D坐标；
利用所述一个或多个硬件处理器，使用所述一个或多个输入数据来估计第一组帧中的一个或多个身体关节位置和连接到相应的骨架关节的一个或多个身体段的身体段长度，以获得一个或多个身体关节位置的估计值和一个或多个身体段长度的估计值；
利用所述一个或多个硬件处理器，在一个或多个身体关节位置的估计值周围的有界邻域中，基于所述深度数据和所述RGB数据迭代地识别一个或多个可能正确的身体关节位置；
利用所述一个或多个硬件处理器，进行参考长度和来自与所述一个或多个可能正确的身体关节位置中的各个可能正确的身体关节位置相关联的一个或多个身体段长度的估计值的各个身体段长度的比较；
利用所述一个或多个硬件处理器，基于所述比较，至少将所述一个或多个可能正确的身体关节位置的子集识别为一个或多个候选身体关节位置；
通过基于所述深度数据分割各个身体段的一个或多个3D坐标并且对各个分割后的3D坐标进行分析，来确定与所述一个或多个候选身体关节位置中的各个候选身体关节位置有关的各个身体段的物理取向；以及
基于相对于相应的身体段的物理取向的方向上的最小偏差以及所述RGB数据和所述深度数据的特征描述符，从所述一个或多个候选身体关节位置中识别身体关节位置，其中，所述最小偏差是基于所述深度数据的，以及所述最小偏差是基于所述用户进行的动作范围的。
12.根据权利要求11所述的非瞬态机器可读信息存储介质，其中，利用所述一个或多个硬件处理器，基于导致最小的身体段长度变化的所述比较，至少将所述一个或多个可能正确的身体关节位置的子集识别为一个或多个候选身体关节位置。
13.根据权利要求11所述的非瞬态机器可读信息存储介质，其中，使用等于相应的骨架关节的位移的半径来定义搜索区域，以识别所述一个或多个可能正确的身体关节位置。
14.根据权利要求11所述的非瞬态机器可读信息存储介质，其中，所述一个或多个身体段长度的估计值是基于相邻骨架关节之间的欧几里得距离的。
15.根据权利要求11所述的非瞬态机器可读信息存储介质，其中，所述参考长度是从所述一个或多个身体段长度的估计值导出的。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| IN201621027388 | 2016-08-10 | ||
| IN201621027388 | 2016-08-10 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107729797A CN107729797A (zh) | 2018-02-23 |
| CN107729797B true CN107729797B (zh) | 2021-04-09 |
Family
ID=58464162
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710154869.5A Active CN107729797B (zh) | 2016-08-10 | 2017-03-15 | 基于传感器数据分析识别身体关节位置的***和方法 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US10068333B2 (zh) |
| EP (1) | EP3282421B1 (zh) |
| JP (1) | JP6862211B2 (zh) |
| CN (1) | CN107729797B (zh) |
| AU (1) | AU2017201137B2 (zh) |
| SG (1) | SG10201701417TA (zh) |
| ZA (1) | ZA201701187B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6433149B2 (ja) * | 2013-07-30 | 2018-12-05 | キヤノン株式会社 | 姿勢推定装置、姿勢推定方法およびプログラム |
| CN111640175A (zh) * | 2018-06-21 | 2020-09-08 | 华为技术有限公司 | 一种物体建模运动方法、装置与设备 |
| RO133954A2 (ro) * | 2018-09-21 | 2020-03-30 | Kineto Tech Rehab S.R.L. | Sistem şi metodă pentru monitorizarea optimizată a articulaţiilor în kinetoterapie |
| US11475630B2 (en) | 2018-10-17 | 2022-10-18 | Midea Group Co., Ltd. | System and method for generating acupuncture points on reconstructed 3D human body model for physical therapy |
| CN109726672B (zh) * | 2018-12-27 | 2020-08-04 | 哈尔滨工业大学 | 一种基于人体骨架序列和卷积神经网络的摔倒检测方法 |
| CN109815858B (zh) * | 2019-01-10 | 2021-01-01 | 中国科学院软件研究所 | 一种日常环境中的目标用户步态识别***及方法 |
| CN109977827B (zh) * | 2019-03-17 | 2020-11-13 | 浙江大学 | 一种使用多视图匹配方法的多人三维姿态估计方法 |
| CN117814805B (zh) * | 2024-03-05 | 2024-06-11 | 自贡市第一人民医院 | 一种临床护理设备数据智能处理方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101425140A (zh) * | 2008-11-13 | 2009-05-06 | 苏州大学 | 基于骨架特征的脑血管瘤图像识别检测方法 |
| CN102184009A (zh) * | 2010-04-26 | 2011-09-14 | 微软公司 | 跟踪***中的手位置后处理精炼 |
| US8523667B2 (en) * | 2010-03-29 | 2013-09-03 | Microsoft Corporation | Parental control settings based on body dimensions |
| CN103941857A (zh) * | 2014-02-22 | 2014-07-23 | 浙江大学 | 基于手势交互中人体骨骼提取的自适应界面生成方法 |
| CN104756045A (zh) * | 2012-10-04 | 2015-07-01 | 微软公司 | 用于跟踪由关节连接的身体部位的可佩戴传感器 |
| KR101639161B1 (ko) * | 2015-06-24 | 2016-07-12 | 이화여자대학교 산학협력단 | 골격 정보를 이용한 사용자 인증 방법 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8073521B2 (en) * | 2003-09-19 | 2011-12-06 | Imatx, Inc. | Method for bone structure prognosis and simulated bone remodeling |
| US20140035805A1 (en) | 2009-04-02 | 2014-02-06 | David MINNEN | Spatial operating environment (soe) with markerless gestural control |
| CN102657532B (zh) * | 2012-05-04 | 2014-09-17 | 深圳泰山在线科技有限公司 | 基于人体姿态识别的身高测量方法及装置 |
| JP6181373B2 (ja) * | 2013-01-18 | 2017-08-16 | 東芝メディカルシステムズ株式会社 | 医用情報処理装置及びプログラム |
| JP6433149B2 (ja) * | 2013-07-30 | 2018-12-05 | キヤノン株式会社 | 姿勢推定装置、姿勢推定方法およびプログラム |
| CN103473571B (zh) | 2013-09-12 | 2017-01-25 | 天津大学 | 一种人体检测方法 |
| WO2015162158A1 (en) | 2014-04-22 | 2015-10-29 | Université Libre de Bruxelles | Human motion tracking |
| US10368784B2 (en) * | 2014-06-23 | 2019-08-06 | Microsoft Technology Licensing, Llc | Sensor data damping |
| DE102014013828A1 (de) | 2014-09-11 | 2016-03-31 | Motognosis UG (haftungsbeschränkt) | System und Verfahren zur quantitativen Untersuchung der posturalen Kontrolle von Personen |
| CN104598890B (zh) | 2015-01-30 | 2017-07-28 | 南京邮电大学 | 一种基于rgb‑d视频的人体行为识别方法 |
-
2017
- 2017-02-16 ZA ZA2017/01187A patent/ZA201701187B/en unknown
- 2017-02-17 JP JP2017027401A patent/JP6862211B2/ja active Active
- 2017-02-20 AU AU2017201137A patent/AU2017201137B2/en active Active
- 2017-02-22 SG SG10201701417TA patent/SG10201701417TA/en unknown
- 2017-03-15 CN CN201710154869.5A patent/CN107729797B/zh active Active
- 2017-03-21 EP EP17161945.5A patent/EP3282421B1/en active Active
- 2017-03-22 US US15/466,676 patent/US10068333B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101425140A (zh) * | 2008-11-13 | 2009-05-06 | 苏州大学 | 基于骨架特征的脑血管瘤图像识别检测方法 |
| US8523667B2 (en) * | 2010-03-29 | 2013-09-03 | Microsoft Corporation | Parental control settings based on body dimensions |
| CN102184009A (zh) * | 2010-04-26 | 2011-09-14 | 微软公司 | 跟踪***中的手位置后处理精炼 |
| CN104756045A (zh) * | 2012-10-04 | 2015-07-01 | 微软公司 | 用于跟踪由关节连接的身体部位的可佩戴传感器 |
| CN103941857A (zh) * | 2014-02-22 | 2014-07-23 | 浙江大学 | 基于手势交互中人体骨骼提取的自适应界面生成方法 |
| KR101639161B1 (ko) * | 2015-06-24 | 2016-07-12 | 이화여자대학교 산학협력단 | 골격 정보를 이용한 사용자 인증 방법 |
Non-Patent Citations (4)
| Title |
|---|
| 《Improving posture Classification accuracy for depth sensor-based human activity monitoring in smart environments》;HO ESL et al;《Computer Vision and Image Understanding》;20160112;全文 * |
| 《Markerless Motion Capture and Measurement of Hand Kinematics：Validation and Application to Home-Based Upper Limb Rehabilitation》;Cheryl DM et al;《IEEE Transactions on Biomedical Engineering》;20130801;全文 * |
| 《基于视觉运动捕获数据的三维模型驱动方法》;高湘冀等;《中国体视学与图像分析》;20090625;第14卷(第2期);全文 * |
| 闫石.《 基于深度图像的虚拟人动作控制方法研究》.《中国优秀硕士学位论文全文数据库 信息科技辑》.2012,(第2012年第05期),I138-1356. * |
Also Published As
| Publication number | Publication date |
|---|---|
| AU2017201137B2 (en) | 2021-11-18 |
| CN107729797A (zh) | 2018-02-23 |
| AU2017201137A1 (en) | 2018-03-01 |
| ZA201701187B (en) | 2019-07-31 |
| EP3282421B1 (en) | 2020-09-23 |
| JP6862211B2 (ja) | 2021-04-21 |
| US10068333B2 (en) | 2018-09-04 |
| JP2018023749A (ja) | 2018-02-15 |
| US20180047157A1 (en) | 2018-02-15 |
| SG10201701417TA (en) | 2018-03-28 |
| EP3282421A1 (en) | 2018-02-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107729797B (zh) | 基于传感器数据分析识别身体关节位置的***和方法 | |
| US11720185B2 (en) | Method and system for determining a correct reproduction of a movement | |
| EP3886700B1 (en) | System and method for human gait analysis | |
| Ye et al. | A depth camera motion analysis framework for tele-rehabilitation: Motion capture and person-centric kinematics analysis | |
| US11423699B2 (en) | Action recognition method and apparatus and electronic equipment | |
| CN113728394A (zh) | 身体活动执行和训练的评分度量 | |
| JP2022542199A (ja) | キーポイントの検出方法、装置、電子機器および記憶媒体 | |
| Lin et al. | Sensing from the bottom: Smart insole enabled patient handling activity recognition through manifold learning | |
| US11182636B2 (en) | Method and computing device for adjusting region of interest | |
| BR112021013021A2 (pt) | Dispositivo portátil para aquisição de dados antropométricos, e método de coleta de dados antropométricos | |
| US11263780B2 (en) | Apparatus, method, and program with verification of detected position information using additional physical characteristic points | |
| US20220084244A1 (en) | Information processing apparatus, information processing method, and program | |
| CN117372657A (zh) | 关键点旋转模型的训练方法及装置、电子设备和存储介质 | |
| JP6417697B2 (ja) | 情報処理装置、脈波計測プログラムおよび脈波計測方法 | |
| Dunn et al. | Application of video frame interpolation to markerless, single-camera gait analysis | |
| CN112712545A (zh) | 人体部分跟踪方法和人体部分跟踪*** | |
| CN111435535A (zh) | 一种关节点信息的获取方法及装置 | |
| Akhavizadegan et al. | REAL-TIME AUTOMATED CONTOUR BASED MOTION TRACKING USING A SINGLE-CAMERA FOR UPPER LIMB ANGULAR MOTION MEASUREMENT | |
| US20220083771A1 (en) | Filtering method, non-transitory computer-readable storage medium, and filtering apparatus | |
| EP4383194A1 (en) | Computer vision-assisted analysis of motion of a person | |
| Nazerian et al. | A novel cost-effective postural tracking algorithm using marker-based video processing | |
| Tian et al. | A Unmarked Knee Joint Angle Calculation Method for Gait Analysis | |
| WO2023152007A1 (en) | System and method for monitoring human skin | |
| CN117275089A (zh) | 一种单目摄像头的人物识别方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |