CN109674477A - 基于深度学习的计算机视觉体态分析方法 - Google Patents
基于深度学习的计算机视觉体态分析方法 Download PDFInfo
- Publication number
- CN109674477A CN109674477A CN201810884943.3A CN201810884943A CN109674477A CN 109674477 A CN109674477 A CN 109674477A CN 201810884943 A CN201810884943 A CN 201810884943A CN 109674477 A CN109674477 A CN 109674477A
- Authority
- CN
- China
- Prior art keywords
- point
- human body
- deep learning
- key point
- inflection point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 28
- 238000004458 analytical method Methods 0.000 title claims abstract description 18
- 230000001144 postural effect Effects 0.000 title claims abstract description 18
- 238000000034 method Methods 0.000 claims abstract description 54
- 210000002414 leg Anatomy 0.000 claims abstract description 33
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 28
- 208000028752 abnormal posture Diseases 0.000 claims abstract description 21
- 210000003127 knee Anatomy 0.000 claims abstract description 15
- 230000002159 abnormal effect Effects 0.000 claims abstract description 11
- 210000004197 pelvis Anatomy 0.000 claims abstract description 9
- 206010039722 scoliosis Diseases 0.000 claims abstract description 8
- 238000004364 calculation method Methods 0.000 claims description 32
- 210000002659 acromion Anatomy 0.000 claims description 21
- 210000000689 upper leg Anatomy 0.000 claims description 19
- 210000001699 lower leg Anatomy 0.000 claims description 18
- 210000003128 head Anatomy 0.000 claims description 16
- 241000949648 Angulus Species 0.000 claims description 12
- 230000001815 facial effect Effects 0.000 claims description 12
- 210000000624 ear auricle Anatomy 0.000 claims description 9
- 230000004807 localization Effects 0.000 claims description 9
- 210000002417 xiphoid bone Anatomy 0.000 claims description 9
- 210000000544 articulatio talocruralis Anatomy 0.000 claims description 7
- 210000002683 foot Anatomy 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 210000000245 forearm Anatomy 0.000 claims description 6
- 210000000629 knee joint Anatomy 0.000 claims description 6
- 230000005856 abnormality Effects 0.000 claims description 4
- 244000309466 calf Species 0.000 claims description 4
- 230000005484 gravity Effects 0.000 claims description 4
- 210000000038 chest Anatomy 0.000 claims description 3
- 238000013136 deep learning model Methods 0.000 claims description 3
- 230000035945 sensitivity Effects 0.000 claims description 3
- 210000005252 bulbus oculi Anatomy 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 13
- 238000001514 detection method Methods 0.000 abstract description 8
- 230000006870 function Effects 0.000 abstract description 6
- 238000012360 testing method Methods 0.000 abstract description 5
- 238000005259 measurement Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000002547 anomalous effect Effects 0.000 description 3
- 210000001508 eye Anatomy 0.000 description 2
- 238000003703 image analysis method Methods 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 210000001331 nose Anatomy 0.000 description 2
- 206010010356 Congenital anomaly Diseases 0.000 description 1
- 206010041591 Spinal osteoarthritis Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000001217 buttock Anatomy 0.000 description 1
- 208000036319 cervical spondylosis Diseases 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000005802 health problem Effects 0.000 description 1
- 210000001624 hip Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 208000005801 spondylosis Diseases 0.000 description 1
- 208000029761 vertebral disease Diseases 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
- A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
- A61B5/1077—Measuring of profiles
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Engineering & Computer Science (AREA)
- Dentistry (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明提供一种基于深度学习的计算机视觉体态分析方法，其基于深度学习的人体骨性关键点自动定位方法，首先定位人体边缘某些关键点，即直接识别点，再基于该直接识别点，定位身体关键点；再次基础上，采用基于人体骨性关键点的异常体态评估方法，通过上述“骨性关键点”与“直接识别点”，对测试者的体态异常程度进行评估；所述体态风险包括：头部前倾、头部侧倾、驼背、高低肩、脊柱侧弯、骨盆侧倾、膝过伸、O型腿、X型腿。本发明通过基于深度学习的计算机视觉技术，利用普通的拍照设备（例如手机）快速的对人体异常体态进行识别、检测。该技术具有诸多领先型，它不但极大提高了体态异常检测功能的快速性、易得性，降低了检测成本，它更排除了操作者的主观因素的干扰，消除了操作者专业知识的门槛限制。
Description
技术领域
本发明涉及一种体态分析方法，特别地，涉及一种基于深度学习技术的、通过计算机视觉手段对人体体态进行评估的方法。
背景介绍
“体态”指人体的姿态，并在健康学中特指由于人体结构而产生的人体外在形态表征。人体的体态不仅仅与外形气质密切关联，不良体态更反映了身体健康问题。常见的异常体态包括：头部前倾、头部侧倾、驼背、高低肩、脊柱侧弯、骨盆侧倾、膝过伸、O型腿、X型腿等。这些表征异常体态往往导致人体机能异常，例如，体态异常往往伴随着肌肉骨骼位置与功能的异常，而肌肉骨骼的异常又可能导致关节劳损、血液循环不良、神经受到压迫、内脏功能受损等健康问题。
异常体态的产生分为先天性原因与后天性原因，而当代人由于工作强度大和不良生活习惯，后天性原因所占比重极具升高，并且由于后天原因导致的体态问题还在呈现人群蔓延的趋势，高发人群包括儿童、办公室白领、肥胖者等。而这些体态异常一旦不加以控制任由其发展，其将可能导致较为严重的身体疾病，如颈椎病、腰椎病等，极大影响人们的生活。
异常体态，以及由其引起的疾病的最佳解决方案，就是早发现、早干预。而发现异常体态往往需要借助一定的检测手段。传统的体态检测方式主要包括两种：1. 人工测量。需要专业人士通过人工触摸被测者体表以确定体表骨性标志点，通过软尺、量角器、人体测高仪等工具进行直接测量；2. 机器测量，其包括二维图像分析与三维人体测量技术。其中，二维图像分析方法，要求在拍摄被测者正面、背面、侧面照片后，人工地在照片上标注出关键点，再使用标尺分析体态异常。三维人体测量技术可分为光学图样法、基于图像传感器的光电法等。
但传统的体态检测方法具有诸多缺点，导致无法很好的普及，社会效用目前仍比较低。对于人工测量方法，其对于操作人员有很高的专业知识要求，并且需消耗较长时间，更需要脱衣或互动，容易造成被测者的心理、生理不适，同时分析结果还存在较大的主观因素；二维图像分析方法，仍然需要操作者有足够的专业知识，并且标点过程极容易引入操作误差，而引入测量误差；其他传统的机器检测方法，均需要特定的仪器、环境和专业操作人员，成本高、且操作不便。
发明内容
针对上述情况，本申请的目的在于：提供一种基于深度学习的计算机视觉技术的体态分析方法，该方法可利用普通的拍照设备快速的对人体异常体态进行识别、检测；可极大提高体态异常检测功能的快速性、易得性，降低检测成本，排除操作者的主观因素的干扰，消除操作者专业知识的门槛限制。
为实现上述目的，本发明所采取的技术方案是：提供一种基于深度学习的计算机视觉体态分析方法；具体分为两步：
第一步：基于深度学习的人体骨性关键点自动定位方法；
第二步：基于人体骨性关键点的异常体态评估方法。
所述基于深度学习的人体骨性关键点自动定位方法，需要的输入数据为：
1.被测试者的正常放松站立正面照片（以下称为照片A）；
2.照片A拍摄时，取景设备的倾斜角度（在与拍摄方向垂直的平面中，照片的正下方与重力方向的夹角）；
3.被测试者的正常放松站立侧面照片（以下称为照片B）；
4.照片B拍摄时，取景设备的倾斜角度（在与拍摄方向垂直的平面中，照片的正下方与重力方向的夹角）。
所述基于深度学习的人体骨性关键点自动定位方法的输出数据为：被测试者如下异常体态的严重程度数值表征。异常体态包括：头部前倾、头部侧倾、驼背、高低肩、脊柱侧弯、骨盆侧倾、膝过伸、O型腿、X型腿。
第一步：基于深度学习的人体骨性关键点自动定位方法：
视觉体态分析中，被测试者的身体关键点受到穿着衣物的影响，为最小化测试者穿衣测量时，衣物对测试准确性的影响，对于上述“身体关键点”的定位过程采用“相对定位法”；首先定位人体边缘某些关键点，即直接识别点，再基于该直接识别点，定位身体关键点。由于直接识别点在穿衣时能够表征到人体表面，并且容易通过计算机技术自动定位，所以具有更高的定位准确度和鲁棒性。
所述人体骨性关键点包括：面部关键点、身体关键点；而面部关键点包括：外耳孔、耳垂、眼睛及鼻尖；身体关键点包括：胸骨角、肩峰、剑突、髂前上棘、膝关节中心、踝关节中心、肘关节中心及腕关节中心。
所述直接识别点是图像中人体轮廓边缘的一系列易识别、定位的点。其中，正面图像的直接识别点包括如下点：颈部-躯干拐点、肩部拐点、腋窝、大臂小臂拐点、大腿躯干拐点、双腿交点、小臂与手的拐点、大腿小腿拐点、小腿足部拐点。
根据实际应用，也可仅仅包括该关键点集合的子集，或加入更多的关键点。
定位“直接识别点”“面部关键点”是通过深度学习方法，具体包括如下步骤：
a) 准备训练数据：通过人工标定的方法，在人体图像上标定出“直接识别点”“面部关键点”的位置。其中，正面图像、侧面图像各准备不少于10万张。
b) 训练深度学习模型：利用准备的训练数据，训练深度神经网络，并调优达到最高的准确度。该过程属于传统技术，不属于本专利提出的新技术，所以不在本专利中展开说明。
c) 直接识别点的定位：基于该训练后的深度神经网络，输入一张人体正面图像，或一张人体侧面图像，网络可以预先要求的准确度定位其中的“直接识别点”与“面部关键点”。
“相对定位法”，即基于如上“直接识别点”位置，在正面图像中确定“身体关键点”的位置，具体如下：首先对人体边界进行识别，该识别的边界包括人体所穿戴的衣物。边界识别技术为传统技术，非本专利提出，在本专利中不展开讨论。
在正面图像中：
（1）肩峰：取从“肩部拐点”到“颈部-躯干拐点”之间的人体边界曲线，距离肩部拐点曲线长度为总长度36%的位置为“肩峰”点；
（2）胸骨角：取左右肩部拐点的连线中点A、左右腋窝的连线中点B，胸骨角是AB连线上，距离A点的距离为AB长度20%的点；
（3）剑突：取左右肩部拐点的连线中点A、左右腋窝的连线中点B，剑突是AB延长线上，距离B点的距离为AB长度40%的点；
（4）髂前上棘：左侧髂前上棘为左侧“大腿躯干拐点”与“双腿交点”连线上，距离左侧“大腿躯干拐点”距离为连线长度2%的点；右侧同理；
（5）膝关节中心：对于左侧膝关节中心，如下定位：从左侧大腿小腿拐点，向右侧做水平线，直至水平线与左腿内部边缘相交；取该线段中点为左侧膝关节中心；右侧同理；
（6）踝关节中心、肘关节中心、腕关节中心：定位方法同膝关节中心。
侧面图像中，受到测试者身形影响较大，不进行“相对定位法”的使用。而是直接使用“直接识别点”。
第二步：基于人体骨性关键点的异常体态评估方法；
该步骤，通过上述“骨性关键点”与“直接识别点”，对测试者的体态异常程度进行评估。体态风险包括：头部前倾、头部侧倾、驼背、高低肩、脊柱侧弯、骨盆侧倾、膝过伸、O型腿、X型腿。
对于每一种异常体态科目，均采用“区间评级法”评定其异常程度R，该方法如下。对于某一种异常体态科目：
第一步：计算“体态科目关键值K”、确定“期望区间”（0,A）。其中，A为测试者被判定为正常的场景下，体态科目关键值的最大可接受值。一旦体态科目关键值超过A，这该科目被判断为异常。
第二步：确定异常程度R的评级量化标准为：(0, 60]为正常, (60, 80]为轻度异常、(80, 100]为重度异常
第三步：量化公式：
如果 K ≤ A，R = 60 * K / A
如果 A < K ≤ 2A，R = 20 * ( K – A ) / A + 60
如果 2A < K，R = 20 * Sigmoid ( S * ( K – 2A ) ) + 80
其中：Sigmoid( S * ( K – 2A ) ) = 1 / ( 1 + e- S * (K – 2A) )
其中，S为敏感系数。
对于每一个异常体态科目，需要提前确定A、S，以及K的计算方法，以求得R值。每种异常体态科目，A、S两个参数为通过人群数据统计的数值，K为方法论计算公式。每种异常体态科目，A、S、K分别为（以下，将“正面照片拍摄时，取景设备的倾斜角度”表示为：α；将“侧面照片拍摄时，取景设备的倾斜角度”表示为：β）；
（1）头部前倾：A = 3, S = 10
K的计算方法：
在侧面图中：连接“外耳孔”、“耳垂”，线段中点设为A，连接“后背***点”与A点，该线段与垂直方向的夹角设为θ；
K = θ – 25.3 – β；
（2）头部侧倾：A = 2, S = 20
K的计算方法：
在正面图中：连接左右耳垂，线段与水平线的夹角设为θ；
K = θ – α；
（3）驼背：A = 8, S = 20
K的计算方法：
在侧面图中：连接“后背***点”与“颈部后侧拐点”，该线段与垂直方向的夹角设为θ；
K = θ – 18.2 – β；
（4）高低肩：A = 2, S = 10
K的计算方法：
在正面图中：连接左侧肩峰与胸骨角，线段与水平线的夹角设为θ1；连接右侧肩峰与胸骨角，线段与水平线的夹角设为θ2；
K = |θ1 - θ2 – 2α| ；
（5）脊柱侧弯：A = 1.1, S = 20
K的计算方法：
正面图中：连接左侧“肩峰”与左侧“髂前上棘”，线段长设为L1；连接右侧“肩峰”与右侧“髂前上棘”，线段长度设为L2；
K = Max(L1 , L2) / Min(L1, L2)；
（6）骨盆侧倾：A = 2, S = 15
K的计算方法：
正面图中：连接左右髂前上棘，线段与水平线的夹角设为θ；
K = θ – α；
（7）膝过伸：A = 1.5, S = 20
K的计算方法：
侧面图中：以“小腿足部后部拐点”为始点，“大腿小腿后部拐点”为终点，做向量R1；竖直向上的向量设为R2；从R2转到R1的夹角设为θ；顺时针旋转为正，逆时针旋转为负；K = θ– β；
（8）O型腿：A = 2, S = 20
K的计算方法：
正面图中：对于左腿，以“髂前上棘”为始点，“膝关节中心”为终点，做向量R1；以“膝关节中心”为始点，“踝关节中心”为终点，做向量R2；从R1转向R2，转过的夹角为θ，
顺时针为正，逆时针为负；对于右脚，同理，但顺时针为负，逆时针为正；
K = θ；
（9）X型腿：A = 2, S = 20
K的计算方法：
正面图中：对于左腿，以“髂前上棘”为始点，“膝关节中心”为终点，做向量R1；以“膝关节中心”为始点，“踝关节中心”为终点，做向量R2；从R1转向R2，转过的夹角为θ；顺时针为负，逆时针为正；对于右脚，同理，顺时针为正，逆时针为负；
K = θ。
本发明的有益效果是：该方法可利用普通的拍照设备快速的对人体异常体态进行识别、检测；可极大提高体态异常检测功能的快速性、易得性，降低检测成本，排除操作者的主观因素的干扰，消除操作者专业知识的门槛限制。
附图说明
图1是面部关键点示意图；
图2是身体关键点示意图；
图3是正面照直接识别点示意图；
图4是侧面照直接识别点示意图。
具体实施方式
以下通过实施例，结合附图对本申请进行说明。
第一步：基于深度学习的人体骨性关键点自动定位方法；
确定需要定位的人体骨性关键点，如图1、2所示，其中，面部关键点包括：外耳孔、耳垂、眼睛、鼻尖；身体关键点包括：胸骨角、肩峰、剑突、髂前上棘、膝关节中心、踝关节中心、肘关节中心、腕关节中心。根据实际应用，也可仅仅包括该关键点集合的子集，或加入更多的关键点。
定位“直接识别点”“面部关键点”是通过深度学习方法。主要分为如下步骤：
a)准备训练数据：通过人工标定的方法，在人体图像上标定出“直接识别点”“面部关键点”的位置。其中，正面图像、侧面图像各准备不少于10万张；
b)训练深度学习模型：利用准备的训练数据，训练深度神经网络，并调优达到最高的准确度。该过程属于传统技术，不属于本专利提出的新技术，所以不在本专利中展开说明；
c)直接识别点的定位：基于该训练后的深度神经网络，输入一张人体正面图像，或一张人体侧面图像，网络可以预先要求的准确度定位其中的“直接识别点”与“面部关键点”。
实际应用中，由于被测试者的身体关键点受到穿着衣物的影响，为最小化测试者穿衣测量时，衣物对测试准确性的影响，首先定位人体边缘某些关键点（以下称为直接识别点），再基于该直接识别点，定位上述身体关键点。
如图3所示，正面图像的直接识别点包括如下点（如图3所示）：颈部-躯干拐点、肩部拐点、腋窝、大臂小臂拐点、大腿躯干拐点、双腿交点、小臂与手的拐点、大腿小腿拐点、小腿足部拐点；如图4所示，侧面图像的直接识别点包括如下点：颈部后侧拐点，后背***点、腰部拐点、臀部***点、大腿小腿后部拐点、小腿足部后部拐点。
“相对定位法”，即基于如上“直接识别点”位置，在正面图像中确定“身体关键点”的位置，具体如下：首先对人体边界进行识别，该识别的边界包括人体所穿戴的衣物。边界识别技术为传统技术，非本专利提出，在本专利中不展开讨论。
如图1所示，在正面图像中：
（1）肩峰：取从“肩部拐点”到“颈部-躯干拐点”之间的人体边界曲线，距离肩部拐点曲线长度为总长度36%的位置为“肩峰”点；
（2）胸骨角：取左右肩部拐点的连线中点A、左右腋窝的连线中点B，胸骨角是AB连线上，距离A点的距离为AB长度20%的点；
（3）剑突：取左右肩部拐点的连线中点A、左右腋窝的连线中点B，剑突是AB延长线上，距离B点的距离为AB长度40%的点；
（4）髂前上棘：左侧髂前上棘为左侧“大腿躯干拐点”与“双腿交点”连线上，距离左侧“大腿躯干拐点”距离为连线长度2%的点。右侧同理。
（5）膝关节中心：对于左侧膝关节中心，如下定位：从左侧大腿小腿拐点，向右侧做水平线，直至水平线与左腿内部边缘相交。取该线段中点为左侧膝关节中心。右侧同理。
（6）踝关节中心、肘关节中心、腕关节中心：定位方法同膝关节中心。
侧面图像中，受到测试者身形影响较大，不进行“相对定位法”的使用。而是直接使用“直接识别点”。
第二步：基于人体骨性关键点的异常体态评估方法；
该步骤，通过上述“骨性关键点”与“直接识别点”，对测试者的体态异常程度进行评估。体态风险包括：头部前倾、头部侧倾、驼背、高低肩、脊柱侧弯、骨盆侧倾、膝过伸、O型腿、X型腿。
对于每一种异常体态科目，均采用“区间评级法”评定其异常程度R，该方法如下。对于某一种异常体态科目：
第一步：计算“体态科目关键值K”、确定“期望区间”（0,A）。其中，A为测试者被判定为正常的场景下，体态科目关键值的最大可接受值。一旦体态科目关键值超过A，这该科目被判断为异常。
第二步：确定异常程度R的评级量化标准为：(0, 60]为正常, (60, 80]为轻度异常、(80, 100]为重度异常
第三步：量化公式：
如果 K ≤ A，R = 60 * K / A
如果 A < K ≤ 2A，R = 20 * ( K – A ) / A + 60
如果 2A < K，R = 20 * Sigmoid ( S * ( K – 2A ) ) + 80
其中：Sigmoid( S * ( K – 2A ) ) = 1 / ( 1 + e- S * (K – 2A) )
其中，S为敏感系数。
对于每一个异常体态科目，需要提前确定A、S，以及K的计算方法，以求得R值；每种异常体态科目，A、S两个参数为通过人群数据统计的数值，K为方法论计算公式。每种异常体态科目，A、S、K分别为（以下，将“正面照片拍摄时，取景设备的倾斜角度”表示为：α；将“侧面照片拍摄时，取景设备的倾斜角度”表示为：β）：
（1）头部前倾：A = 3, S = 10
K的计算方法：
在侧面图中：连接“外耳孔”、“耳垂”，线段中点设为A，连接“后背***点”与A点，该线段与垂直方向的夹角设为θ；
K = θ – 25.3 – β；
（2）头部侧倾：A = 2, S = 20
K的计算方法：
在正面图中：连接左右耳垂，线段与水平线的夹角设为θ；
K = θ – α；
（3）驼背：A = 8, S = 20
K的计算方法：
在侧面图中：连接“后背***点”与“颈部后侧拐点”，该线段与垂直方向的夹角设为θ；
K = θ – 18.2 – β；
（4）高低肩：A = 2, S = 10
K的计算方法：
在正面图中：连接左侧肩峰与胸骨角，线段与水平线的夹角设为θ1；连接右侧肩峰与胸骨角，线段与水平线的夹角设为θ2；
K = |θ1 - θ2 – 2α| ；
（5）脊柱侧弯：A = 1.1, S = 20
K的计算方法：
正面图中：连接左侧“肩峰”与左侧“髂前上棘”，线段长设为L1；连接右侧“肩峰”与右侧“髂前上棘”，线段长度设为L2；
K = Max(L1 , L2) / Min(L1, L2)；
（6）骨盆侧倾：A = 2, S = 15
K的计算方法：
正面图中：连接左右髂前上棘，线段与水平线的夹角设为θ；
K = θ – α；
（7）膝过伸：A = 1.5, S = 20
K的计算方法：
侧面图中：以“小腿足部后部拐点”为始点，“大腿小腿后部拐点”为终点，做向量R1；竖直向上的向量设为R2；从R2转到R1的夹角设为θ；顺时针旋转为正，逆时针旋转为负；K = θ– β；
（8）O型腿：A = 2, S = 20
K的计算方法：
正面图中：对于左腿，以“髂前上棘”为始点，“膝关节中心”为终点，做向量R1；以“膝关节中心”为始点，“踝关节中心”为终点，做向量R2；从R1转向R2，转过的夹角为θ，
顺时针为正，逆时针为负；对于右脚，同理，但顺时针为负，逆时针为正；
K = θ；
（9）X型腿：A = 2, S = 20
K的计算方法：
正面图中：对于左腿，以“髂前上棘”为始点，“膝关节中心”为终点，做向量R1；以“膝关节中心”为始点，“踝关节中心”为终点，做向量R2；从R1转向R2，转过的夹角为θ；顺时针为负，逆时针为正；对于右脚，同理，顺时针为正，逆时针为负；
K = θ。
Claims (9)
1.一种基于深度学习的计算机视觉体态分析方法；其特征在于：具体分为两步：
第一步：基于深度学习的人体骨性关键点自动定位方法，首先定位人体边缘某些关键点，即直接识别点，再基于该直接识别点，定位身体关键点；
定位直接识别点，面部关键点是通过深度学习方法，具体包括如下步骤：
准备训练数据：通过人工标定的方法，在人体图像上标定出直接识别点、面部关键点的位置；其中，正面图像、侧面图像各准备不少于10万张；
训练深度学习模型：利用准备的训练数据，训练深度神经网络，并调优达到最高的准确度；
直接识别点的定位：基于该训练后的深度神经网络，输入一张人体正面图像，或一张人体侧面图像，预先要求的准确度定位其中的直接识别点与面部关键点；
第二步：基于人体骨性关键点的异常体态评估方法；
通过上述骨性关键点与直接识别点，对测试者的体态异常程度进行评估；
对于每一种异常体态科目，均采用“区间评级法”评定其异常程度R，该方法如下：
对于某一种异常体态科目：
第一步：计算“体态科目关键值K”、确定“期望区间”（0,A）；其中，A为测试者被判定为正常的场景下，体态科目关键值的最大可接受值；一旦体态科目关键值超过A，这该科目被判断为异常；
第二步：确定异常程度R的评级量化标准为：(0, 60]为正常, (60, 80]为轻度异常、(80, 100]为重度异常；
第三步：量化公式：
如果 K ≤ A，R = 60 * K / A
如果 A < K ≤ 2A，R = 20 * ( K – A ) / A + 60
如果 2A < K，R = 20 * Sigmoid ( S * ( K – 2A ) ) + 80
其中：Sigmoid( S * ( K – 2A ) ) = 1 / ( 1 + e- S * (K – 2A) )
其中，S为敏感系数。
2.根据权利要求1所述的一种基于深度学习的计算机视觉体态分析方法，其特征在于：所述基于深度学习的人体骨性关键点自动定位方法，需要的输入数据为：
（1）被测试者的正常放松站立正面照片，即照片A；
（2）照片A拍摄时，取景设备的倾斜角度，即在与拍摄方向垂直的平面中，照片的正下方与重力方向的夹角；
（3）被测试者的正常放松站立侧面照片，即照片B；
（4）照片B拍摄时，取景设备的倾斜角度，即在与拍摄方向垂直的平面中，照片的正下方与重力方向的夹角；
所述基于深度学习的人体骨性关键点自动定位方法的输出数据为：被测试者如下异常体态的严重程度数值表征。
3.根据权利要求1所述的一种基于深度学习的计算机视觉体态分析方法，其特征在于：所述体态风险包括：头部前倾、头部侧倾、驼背、高低肩、脊柱侧弯、骨盆侧倾、膝过伸、O型腿、X型腿。
4.根据权利要求1所述的一种基于深度学习的计算机视觉体态分析方法，其特征在于：所述基于深度学习的人体骨性关键点自动定位方法，视觉体态分析中，身体关键点的定位过程采用相对定位法；首先定位人体边缘某些关键点，即直接识别点，再基于该直接识别点，定位身体关键点。
5.根据权利要求1所述的一种基于深度学习的计算机视觉体态分析方法，其特征在于：所述人体骨性关键点包括：面部关键点、身体关键点；而面部关键点包括：外耳孔、耳垂、眼睛及鼻尖；身体关键点包括：胸骨角、肩峰、剑突、髂前上棘、膝关节中心、踝关节中心、肘关节中心及腕关节中心。
6.根据权利要求1所述的一种基于深度学习的计算机视觉体态分析方法，其特征在于：所述直接识别点是图像中人体轮廓边缘的一系列易识别、定位的点；其中，正面图像的直接识别点包括如下点：颈部-躯干拐点、肩部拐点、腋窝、大臂小臂拐点、大腿躯干拐点、双腿交点、小臂与手的拐点、大腿小腿拐点、小腿足部拐点。
7.根据权利要求1、4所述的一种基于深度学习的计算机视觉体态分析方法，其特征在于：识别正面图像中人体骨性关键点的方法：
（1）肩峰：取从“肩部拐点”到“颈部-躯干拐点”之间的人体边界曲线，距离肩部拐点曲线长度为总长度36%的位置为“肩峰”点；
（2）胸骨角：取左右肩部拐点的连线中点A、左右腋窝的连线中点B，胸骨角是AB连线上，距离A点的距离为AB长度20%的点；
（3）剑突：取左右肩部拐点的连线中点A、左右腋窝的连线中点B，剑突是AB延长线上，距离B点的距离为AB长度40%的点；
（4）髂前上棘：左侧髂前上棘为左侧“大腿躯干拐点”与“双腿交点”连线上，距离左侧“大腿躯干拐点”距离为连线长度2%的点；右侧同理；
（5）膝关节中心：对于左侧膝关节中心，如下定位：从左侧大腿小腿拐点，向右侧做水平线，直至水平线与左腿内部边缘相交；取该线段中点为左侧膝关节中心；右侧同理；
（6）踝关节中心、肘关节中心、腕关节中心：定位方法同膝关节中心。
8.根据权利要求1、4所述的一种基于深度学习的计算机视觉体态分析方法，其特征在于：识别侧面图像中人体骨性关键点采用直接识别点的方法。
9.根据权利要求1所述的一种基于深度学习的计算机视觉体态分析方法，其特征在于：对于每一个异常体态科目，相关参数的计算方法与预设值数值如下：将“正面照片拍摄时，取景设备的倾斜角度”表示为：α；将“侧面照片拍摄时，取景设备的倾斜角度”表示为：β；
（1）头部前倾：A = 3, S = 10
K的计算方法：
在侧面图中：连接“外耳孔”、“耳垂”，线段中点设为A，连接“后背***点”与A点，该线段与垂直方向的夹角设为θ；
K = θ – 25.3 – β；
（2）头部侧倾：A = 2, S = 20
K的计算方法：
在正面图中：连接左右耳垂，线段与水平线的夹角设为θ；
K = θ – α；
（3）驼背：A = 8, S = 20
K的计算方法：
在侧面图中：连接“后背***点”与“颈部后侧拐点”，该线段与垂直方向的夹角设为θ；
K = θ – 18.2 – β；
（4）高低肩：A = 2, S = 10
K的计算方法：
在正面图中：连接左侧肩峰与胸骨角，线段与水平线的夹角设为θ1；连接右侧肩峰与胸骨角，线段与水平线的夹角设为θ2；
K = |θ1 - θ2 – 2α| ；
（5）脊柱侧弯：A = 1.1, S = 20
K的计算方法：
正面图中：连接左侧“肩峰”与左侧“髂前上棘”，线段长设为L1；连接右侧“肩峰”与右侧“髂前上棘”，线段长度设为L2；
K = Max(L1 , L2) / Min(L1, L2)；
（6）骨盆侧倾：A = 2, S = 15
K的计算方法：
正面图中：连接左右髂前上棘，线段与水平线的夹角设为θ；
K = θ – α；
（7）膝过伸：A = 1.5, S = 20
K的计算方法：
侧面图中：以“小腿足部后部拐点”为始点，“大腿小腿后部拐点”为终点，做向量R1；竖直向上的向量设为R2；从R2转到R1的夹角设为θ；顺时针旋转为正，逆时针旋转为负；K = θ– β；
（8）O型腿：A = 2, S = 20
K的计算方法：
正面图中：对于左腿，以“髂前上棘”为始点，“膝关节中心”为终点，做向量R1；以“膝关节中心”为始点，“踝关节中心”为终点，做向量R2；从R1转向R2，转过的夹角为θ，
顺时针为正，逆时针为负；对于右脚，同理，但顺时针为负，逆时针为正；
K = θ；
（9）X型腿：A = 2, S = 20
K的计算方法：
正面图中：对于左腿，以“髂前上棘”为始点，“膝关节中心”为终点，做向量R1；以“膝关节中心”为始点，“踝关节中心”为终点，做向量R2；从R1转向R2，转过的夹角为θ；顺时针为负，逆时针为正；对于右脚，同理，顺时针为正，逆时针为负；
K = θ。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810884943.3A CN109674477A (zh) | 2018-08-06 | 2018-08-06 | 基于深度学习的计算机视觉体态分析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810884943.3A CN109674477A (zh) | 2018-08-06 | 2018-08-06 | 基于深度学习的计算机视觉体态分析方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109674477A true CN109674477A (zh) | 2019-04-26 |
Family
ID=66184436
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810884943.3A Pending CN109674477A (zh) | 2018-08-06 | 2018-08-06 | 基于深度学习的计算机视觉体态分析方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109674477A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110495889A (zh) * | 2019-07-04 | 2019-11-26 | 平安科技（深圳）有限公司 | 体态评估方法、电子装置、计算机设备及存储介质 |
| CN112070031A (zh) * | 2020-09-09 | 2020-12-11 | 中金育能教育科技集团有限公司 | 体态检测方法、装置及设备 |
| CN112107318A (zh) * | 2020-09-24 | 2020-12-22 | 自达康(北京)科技有限公司 | 一种身体活动能力评估*** |
| WO2021179230A1 (zh) * | 2020-03-12 | 2021-09-16 | 南方科技大学 | 一种脊柱侧弯检测模型的生成方法和计算机设备 |
-
2018
- 2018-08-06 CN CN201810884943.3A patent/CN109674477A/zh active Pending
Non-Patent Citations (2)
| Title |
|---|
| A. ABOBAKR.ETL: "RGB-D human posture analysis for ergonomie studies using deep convolutional neural network", 《PROCEEDINGS OF THE 2017 IEEE INTERNATIONAL CONFERENCE ON SYSTEMS, MAN, AND CYBERNETICS (SMC)》 * |
| ADANKON MM: "Scoliosis follow-up using noninvasive trunk surface acquisition", 《IEEE TRANS BIOMED ENG》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110495889A (zh) * | 2019-07-04 | 2019-11-26 | 平安科技（深圳）有限公司 | 体态评估方法、电子装置、计算机设备及存储介质 |
| WO2021000401A1 (zh) * | 2019-07-04 | 2021-01-07 | 平安科技（深圳）有限公司 | 体态评估方法、电子装置、计算机设备及存储介质 |
| WO2021179230A1 (zh) * | 2020-03-12 | 2021-09-16 | 南方科技大学 | 一种脊柱侧弯检测模型的生成方法和计算机设备 |
| CN112070031A (zh) * | 2020-09-09 | 2020-12-11 | 中金育能教育科技集团有限公司 | 体态检测方法、装置及设备 |
| CN112107318A (zh) * | 2020-09-24 | 2020-12-22 | 自达康(北京)科技有限公司 | 一种身体活动能力评估*** |
| CN112107318B (zh) * | 2020-09-24 | 2024-02-27 | 自达康(北京)科技有限公司 | 一种身体活动能力评估*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109674477A (zh) | 基于深度学习的计算机视觉体态分析方法 | |
| US10467744B2 (en) | Systems and methods to automatically determine garment fit | |
| WO2021000401A1 (zh) | 体态评估方法、电子装置、计算机设备及存储介质 | |
| WO2017173694A1 (zh) | 人体实际距离测量及眼镜架的定制方法 | |
| US20160235354A1 (en) | Methods for detecting, monitoring and treating lymphedema | |
| WO2019010959A1 (zh) | 用于确定视线的方法、设备和计算机可读存储介质 | |
| KR101777391B1 (ko) | 척추 관절가동범위 측정 방법 | |
| CN109164918A (zh) | 智能坐姿追踪与调整方法、装置、智能升降桌及存储介质 | |
| CN110059670A (zh) | 人体头面部、肢体活动角度及体姿非接触测量方法及设备 | |
| US20230102222A1 (en) | System, method, and apparatus for temperature asymmetry measurement of body parts | |
| CN109008937A (zh) | 屈光度检测方法和设备 | |
| CN114222521A (zh) | 即时眼睛凝视校准***和方法 | |
| KR20170107416A (ko) | 매트리스 자동 추천 방법 | |
| KR20090109413A (ko) | 체형진단시스템 및 그 방법 | |
| CN207785161U (zh) | 表情分析*** | |
| CN113892904A (zh) | 一种基于摄像装置的儿童青少年屈光状态变化预测*** | |
| CN106618580B (zh) | 一种斜视与眼球震颤头位检测方法、装置及*** | |
| US20220078339A1 (en) | Method for obtaining picture for measuring body size and body size measurement method, server, and program using same | |
| JP2012139272A (ja) | 顔表面の運動機能の測定装置及び測定方法並びに測定用補助具 | |
| KR20200134022A (ko) | 3d 심도 카메라를 이용한 안구 돌출 측정 장치, 방법 및 시스템 | |
| CN113569828B (zh) | 一种人体姿态识别方法、***、存储介质及设备 | |
| CN110101377A (zh) | 一种自动适应使用者身高的血压测量台 | |
| KR20190085794A (ko) | 바른자세관리를 위한 자세분석 어플리케이션 제공방법 | |
| CN112788979A (zh) | 用于确定受试者的至少一个几何形态参数的方法 | |
| CN110338807A (zh) | 孕妇姿态校正与监测*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| CB03 | Change of inventor or designer information |
Inventor after: Ding Zheng Inventor after: Li Zhinan Inventor after: An Senwen Inventor after: Li Qin Inventor before: Li Zhinan Inventor before: Ding Zheng Inventor before: An Senwen Inventor before: Li Qin |
|
| CB03 | Change of inventor or designer information | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190426 |
|
| WD01 | Invention patent application deemed withdrawn after publication |