CN109674477A - 基于深度学习的计算机视觉体态分析方法 - Google Patents
基于深度学习的计算机视觉体态分析方法 Download PDFInfo
- Publication number
- CN109674477A CN109674477A CN201810884943.3A CN201810884943A CN109674477A CN 109674477 A CN109674477 A CN 109674477A CN 201810884943 A CN201810884943 A CN 201810884943A CN 109674477 A CN109674477 A CN 109674477A
- Authority
- CN
- China
- Prior art keywords
- point
- human body
- deep learning
- key point
- inflection point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 28
- 238000004458 analytical method Methods 0.000 title claims abstract description 18
- 230000001144 postural effect Effects 0.000 title claims abstract description 18
- 238000000034 method Methods 0.000 claims abstract description 54
- 210000002414 leg Anatomy 0.000 claims abstract description 33
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 28
- 208000028752 abnormal posture Diseases 0.000 claims abstract description 21
- 210000003127 knee Anatomy 0.000 claims abstract description 15
- 230000002159 abnormal effect Effects 0.000 claims abstract description 11
- 210000004197 pelvis Anatomy 0.000 claims abstract description 9
- 206010039722 scoliosis Diseases 0.000 claims abstract description 8
- 238000004364 calculation method Methods 0.000 claims description 32
- 210000002659 acromion Anatomy 0.000 claims description 21
- 210000000689 upper leg Anatomy 0.000 claims description 19
- 210000001699 lower leg Anatomy 0.000 claims description 18
- 210000003128 head Anatomy 0.000 claims description 16
- 241000949648 Angulus Species 0.000 claims description 12
- 230000001815 facial effect Effects 0.000 claims description 12
- 210000000624 ear auricle Anatomy 0.000 claims description 9
- 230000004807 localization Effects 0.000 claims description 9
- 210000002417 xiphoid bone Anatomy 0.000 claims description 9
- 210000000544 articulatio talocruralis Anatomy 0.000 claims description 7
- 210000002683 foot Anatomy 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 210000000245 forearm Anatomy 0.000 claims description 6
- 210000000629 knee joint Anatomy 0.000 claims description 6
- 230000005856 abnormality Effects 0.000 claims description 4
- 244000309466 calf Species 0.000 claims description 4
- 230000005484 gravity Effects 0.000 claims description 4
- 210000000038 chest Anatomy 0.000 claims description 3
- 238000013136 deep learning model Methods 0.000 claims description 3
- 230000035945 sensitivity Effects 0.000 claims description 3
- 210000005252 bulbus oculi Anatomy 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 13
- 238000001514 detection method Methods 0.000 abstract description 8
- 230000006870 function Effects 0.000 abstract description 6
- 238000012360 testing method Methods 0.000 abstract description 5
- 238000005259 measurement Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000002547 anomalous effect Effects 0.000 description 3
- 210000001508 eye Anatomy 0.000 description 2
- 238000003703 image analysis method Methods 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 210000001331 nose Anatomy 0.000 description 2
- 206010010356 Congenital anomaly Diseases 0.000 description 1
- 206010041591 Spinal osteoarthritis Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000001217 buttock Anatomy 0.000 description 1
- 208000036319 cervical spondylosis Diseases 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000005802 health problem Effects 0.000 description 1
- 210000001624 hip Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 208000005801 spondylosis Diseases 0.000 description 1
- 208000029761 vertebral disease Diseases 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
- A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
- A61B5/1077—Measuring of profiles
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Engineering & Computer Science (AREA)
- Dentistry (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明提供一种基于深度学习的计算机视觉体态分析方法,其基于深度学习的人体骨性关键点自动定位方法,首先定位人体边缘某些关键点,即直接识别点,再基于该直接识别点,定位身体关键点;再次基础上,采用基于人体骨性关键点的异常体态评估方法,通过上述“骨性关键点”与“直接识别点”,对测试者的体态异常程度进行评估;所述体态风险包括:头部前倾、头部侧倾、驼背、高低肩、脊柱侧弯、骨盆侧倾、膝过伸、O型腿、X型腿。本发明通过基于深度学习的计算机视觉技术,利用普通的拍照设备(例如手机)快速的对人体异常体态进行识别、检测。该技术具有诸多领先型,它不但极大提高了体态异常检测功能的快速性、易得性,降低了检测成本,它更排除了操作者的主观因素的干扰,消除了操作者专业知识的门槛限制。
Description
技术领域
本发明涉及一种体态分析方法,特别地,涉及一种基于深度学习技术的、通过计算机视觉手段对人体体态进行评估的方法。
背景介绍
“体态”指人体的姿态,并在健康学中特指由于人体结构而产生的人体外在形态表征。人体的体态不仅仅与外形气质密切关联,不良体态更反映了身体健康问题。常见的异常体态包括:头部前倾、头部侧倾、驼背、高低肩、脊柱侧弯、骨盆侧倾、膝过伸、O型腿、X型腿等。这些表征异常体态往往导致人体机能异常,例如,体态异常往往伴随着肌肉骨骼位置与功能的异常,而肌肉骨骼的异常又可能导致关节劳损、血液循环不良、神经受到压迫、内脏功能受损等健康问题。
异常体态的产生分为先天性原因与后天性原因,而当代人由于工作强度大和不良生活习惯,后天性原因所占比重极具升高,并且由于后天原因导致的体态问题还在呈现人群蔓延的趋势,高发人群包括儿童、办公室白领、肥胖者等。而这些体态异常一旦不加以控制任由其发展,其将可能导致较为严重的身体疾病,如颈椎病、腰椎病等,极大影响人们的生活。
异常体态,以及由其引起的疾病的最佳解决方案,就是早发现、早干预。而发现异常体态往往需要借助一定的检测手段。传统的体态检测方式主要包括两种:1. 人工测量。需要专业人士通过人工触摸被测者体表以确定体表骨性标志点,通过软尺、量角器、人体测高仪等工具进行直接测量;2. 机器测量,其包括二维图像分析与三维人体测量技术。其中,二维图像分析方法,要求在拍摄被测者正面、背面、侧面照片后,人工地在照片上标注出关键点,再使用标尺分析体态异常。三维人体测量技术可分为光学图样法、基于图像传感器的光电法等。
但传统的体态检测方法具有诸多缺点,导致无法很好的普及,社会效用目前仍比较低。对于人工测量方法,其对于操作人员有很高的专业知识要求,并且需消耗较长时间,更需要脱衣或互动,容易造成被测者的心理、生理不适,同时分析结果还存在较大的主观因素;二维图像分析方法,仍然需要操作者有足够的专业知识,并且标点过程极容易引入操作误差,而引入测量误差;其他传统的机器检测方法,均需要特定的仪器、环境和专业操作人员,成本高、且操作不便。
发明内容
针对上述情况,本申请的目的在于:提供一种基于深度学习的计算机视觉技术的体态分析方法,该方法可利用普通的拍照设备快速的对人体异常体态进行识别、检测;可极大提高体态异常检测功能的快速性、易得性,降低检测成本,排除操作者的主观因素的干扰,消除操作者专业知识的门槛限制。
为实现上述目的,本发明所采取的技术方案是:提供一种基于深度学习的计算机视觉体态分析方法;具体分为两步:
第一步:基于深度学习的人体骨性关键点自动定位方法;
第二步:基于人体骨性关键点的异常体态评估方法。
所述基于深度学习的人体骨性关键点自动定位方法,需要的输入数据为:
1.被测试者的正常放松站立正面照片(以下称为照片A);
2.照片A拍摄时,取景设备的倾斜角度(在与拍摄方向垂直的平面中,照片的正下方与重力方向的夹角);
3.被测试者的正常放松站立侧面照片(以下称为照片B);
4.照片B拍摄时,取景设备的倾斜角度(在与拍摄方向垂直的平面中,照片的正下方与重力方向的夹角)。
所述基于深度学习的人体骨性关键点自动定位方法的输出数据为:被测试者如下异常体态的严重程度数值表征。异常体态包括:头部前倾、头部侧倾、驼背、高低肩、脊柱侧弯、骨盆侧倾、膝过伸、O型腿、X型腿。
第一步:基于深度学习的人体骨性关键点自动定位方法:
视觉体态分析中,被测试者的身体关键点受到穿着衣物的影响,为最小化测试者穿衣测量时,衣物对测试准确性的影响,对于上述“身体关键点”的定位过程采用“相对定位法”;首先定位人体边缘某些关键点,即直接识别点,再基于该直接识别点,定位身体关键点。由于直接识别点在穿衣时能够表征到人体表面,并且容易通过计算机技术自动定位,所以具有更高的定位准确度和鲁棒性。
所述人体骨性关键点包括:面部关键点、身体关键点;而面部关键点包括:外耳孔、耳垂、眼睛及鼻尖;身体关键点包括:胸骨角、肩峰、剑突、髂前上棘、膝关节中心、踝关节中心、肘关节中心及腕关节中心。
所述直接识别点是图像中人体轮廓边缘的一系列易识别、定位的点。其中,正面图像的直接识别点包括如下点:颈部-躯干拐点、肩部拐点、腋窝、大臂小臂拐点、大腿躯干拐点、双腿交点、小臂与手的拐点、大腿小腿拐点、小腿足部拐点。
根据实际应用,也可仅仅包括该关键点集合的子集,或加入更多的关键点。
定位“直接识别点”“面部关键点”是通过深度学习方法,具体包括如下步骤:
a) 准备训练数据:通过人工标定的方法,在人体图像上标定出“直接识别点”“面部关键点”的位置。其中,正面图像、侧面图像各准备不少于10万张。
b) 训练深度学习模型:利用准备的训练数据,训练深度神经网络,并调优达到最高的准确度。该过程属于传统技术,不属于本专利提出的新技术,所以不在本专利中展开说明。
c) 直接识别点的定位:基于该训练后的深度神经网络,输入一张人体正面图像,或一张人体侧面图像,网络可以预先要求的准确度定位其中的“直接识别点”与“面部关键点”。
“相对定位法”,即基于如上“直接识别点”位置,在正面图像中确定“身体关键点”的位置,具体如下:首先对人体边界进行识别,该识别的边界包括人体所穿戴的衣物。边界识别技术为传统技术,非本专利提出,在本专利中不展开讨论。
在正面图像中:
(1)肩峰:取从“肩部拐点”到“颈部-躯干拐点”之间的人体边界曲线,距离肩部拐点曲线长度为总长度36%的位置为“肩峰”点;
(2)胸骨角:取左右肩部拐点的连线中点A、左右腋窝的连线中点B,胸骨角是AB连线上,距离A点的距离为AB长度20%的点;
(3)剑突:取左右肩部拐点的连线中点A、左右腋窝的连线中点B,剑突是AB延长线上,距离B点的距离为AB长度40%的点;
(4)髂前上棘:左侧髂前上棘为左侧“大腿躯干拐点”与“双腿交点”连线上,距离左侧“大腿躯干拐点”距离为连线长度2%的点;右侧同理;
(5)膝关节中心:对于左侧膝关节中心,如下定位:从左侧大腿小腿拐点,向右侧做水平线,直至水平线与左腿内部边缘相交;取该线段中点为左侧膝关节中心;右侧同理;
(6)踝关节中心、肘关节中心、腕关节中心:定位方法同膝关节中心。
侧面图像中,受到测试者身形影响较大,不进行“相对定位法”的使用。而是直接使用“直接识别点”。
第二步:基于人体骨性关键点的异常体态评估方法;
该步骤,通过上述“骨性关键点”与“直接识别点”,对测试者的体态异常程度进行评估。体态风险包括:头部前倾、头部侧倾、驼背、高低肩、脊柱侧弯、骨盆侧倾、膝过伸、O型腿、X型腿。
对于每一种异常体态科目,均采用“区间评级法”评定其异常程度R,该方法如下。对于某一种异常体态科目:
第一步:计算“体态科目关键值K”、确定“期望区间”(0,A)。其中,A为测试者被判定为正常的场景下,体态科目关键值的最大可接受值。一旦体态科目关键值超过A,这该科目被判断为异常。
第二步:确定异常程度R的评级量化标准为:(0, 60]为正常, (60, 80]为轻度异常、(80, 100]为重度异常
第三步:量化公式:
如果 K ≤ A,R = 60 * K / A
如果 A < K ≤ 2A,R = 20 * ( K – A ) / A + 60
如果 2A < K,R = 20 * Sigmoid ( S * ( K – 2A ) ) + 80
其中:Sigmoid( S * ( K – 2A ) ) = 1 / ( 1 + e- S * (K – 2A) )
其中,S为敏感系数。
对于每一个异常体态科目,需要提前确定A、S,以及K的计算方法,以求得R值。每种异常体态科目,A、S两个参数为通过人群数据统计的数值,K为方法论计算公式。每种异常体态科目,A、S、K分别为(以下,将“正面照片拍摄时,取景设备的倾斜角度”表示为:α;将“侧面照片拍摄时,取景设备的倾斜角度”表示为:β);
(1)头部前倾:A = 3, S = 10
K的计算方法:
在侧面图中:连接“外耳孔”、“耳垂”,线段中点设为A,连接“后背***点”与A点,该线段与垂直方向的夹角设为θ;
K = θ – 25.3 – β;
(2)头部侧倾:A = 2, S = 20
K的计算方法:
在正面图中:连接左右耳垂,线段与水平线的夹角设为θ;
K = θ – α;
(3)驼背:A = 8, S = 20
K的计算方法:
在侧面图中:连接“后背***点”与“颈部后侧拐点”,该线段与垂直方向的夹角设为θ;
K = θ – 18.2 – β;
(4)高低肩:A = 2, S = 10
K的计算方法:
在正面图中:连接左侧肩峰与胸骨角,线段与水平线的夹角设为θ1;连接右侧肩峰与胸骨角,线段与水平线的夹角设为θ2;
K = |θ1 - θ2 – 2α| ;
(5)脊柱侧弯:A = 1.1, S = 20
K的计算方法:
正面图中:连接左侧“肩峰”与左侧“髂前上棘”,线段长设为L1;连接右侧“肩峰”与右侧“髂前上棘”,线段长度设为L2;
K = Max(L1 , L2) / Min(L1, L2);
(6)骨盆侧倾:A = 2, S = 15
K的计算方法:
正面图中:连接左右髂前上棘,线段与水平线的夹角设为θ;
K = θ – α;
(7)膝过伸:A = 1.5, S = 20
K的计算方法:
侧面图中:以“小腿足部后部拐点”为始点,“大腿小腿后部拐点”为终点,做向量R1;竖直向上的向量设为R2;从R2转到R1的夹角设为θ;顺时针旋转为正,逆时针旋转为负;K = θ– β;
(8)O型腿:A = 2, S = 20
K的计算方法:
正面图中:对于左腿,以“髂前上棘”为始点,“膝关节中心”为终点,做向量R1;以“膝关节中心”为始点,“踝关节中心”为终点,做向量R2;从R1转向R2,转过的夹角为θ,
顺时针为正,逆时针为负;对于右脚,同理,但顺时针为负,逆时针为正;
K = θ;
(9)X型腿:A = 2, S = 20
K的计算方法:
正面图中:对于左腿,以“髂前上棘”为始点,“膝关节中心”为终点,做向量R1;以“膝关节中心”为始点,“踝关节中心”为终点,做向量R2;从R1转向R2,转过的夹角为θ;顺时针为负,逆时针为正;对于右脚,同理,顺时针为正,逆时针为负;
K = θ。
本发明的有益效果是:该方法可利用普通的拍照设备快速的对人体异常体态进行识别、检测;可极大提高体态异常检测功能的快速性、易得性,降低检测成本,排除操作者的主观因素的干扰,消除操作者专业知识的门槛限制。
附图说明
图1是面部关键点示意图;
图2是身体关键点示意图;
图3是正面照直接识别点示意图;
图4是侧面照直接识别点示意图。
具体实施方式
以下通过实施例,结合附图对本申请进行说明。
第一步:基于深度学习的人体骨性关键点自动定位方法;
确定需要定位的人体骨性关键点,如图1、2所示,其中,面部关键点包括:外耳孔、耳垂、眼睛、鼻尖;身体关键点包括:胸骨角、肩峰、剑突、髂前上棘、膝关节中心、踝关节中心、肘关节中心、腕关节中心。根据实际应用,也可仅仅包括该关键点集合的子集,或加入更多的关键点。
定位“直接识别点”“面部关键点”是通过深度学习方法。主要分为如下步骤:
a)准备训练数据:通过人工标定的方法,在人体图像上标定出“直接识别点”“面部关键点”的位置。其中,正面图像、侧面图像各准备不少于10万张;
b)训练深度学习模型:利用准备的训练数据,训练深度神经网络,并调优达到最高的准确度。该过程属于传统技术,不属于本专利提出的新技术,所以不在本专利中展开说明;
c)直接识别点的定位:基于该训练后的深度神经网络,输入一张人体正面图像,或一张人体侧面图像,网络可以预先要求的准确度定位其中的“直接识别点”与“面部关键点”。
实际应用中,由于被测试者的身体关键点受到穿着衣物的影响,为最小化测试者穿衣测量时,衣物对测试准确性的影响,首先定位人体边缘某些关键点(以下称为直接识别点),再基于该直接识别点,定位上述身体关键点。
如图3所示,正面图像的直接识别点包括如下点(如图3所示):颈部-躯干拐点、肩部拐点、腋窝、大臂小臂拐点、大腿躯干拐点、双腿交点、小臂与手的拐点、大腿小腿拐点、小腿足部拐点;如图4所示,侧面图像的直接识别点包括如下点:颈部后侧拐点,后背***点、腰部拐点、臀部***点、大腿小腿后部拐点、小腿足部后部拐点。
“相对定位法”,即基于如上“直接识别点”位置,在正面图像中确定“身体关键点”的位置,具体如下:首先对人体边界进行识别,该识别的边界包括人体所穿戴的衣物。边界识别技术为传统技术,非本专利提出,在本专利中不展开讨论。
如图1所示,在正面图像中:
(1)肩峰:取从“肩部拐点”到“颈部-躯干拐点”之间的人体边界曲线,距离肩部拐点曲线长度为总长度36%的位置为“肩峰”点;
(2)胸骨角:取左右肩部拐点的连线中点A、左右腋窝的连线中点B,胸骨角是AB连线上,距离A点的距离为AB长度20%的点;
(3)剑突:取左右肩部拐点的连线中点A、左右腋窝的连线中点B,剑突是AB延长线上,距离B点的距离为AB长度40%的点;
(4)髂前上棘:左侧髂前上棘为左侧“大腿躯干拐点”与“双腿交点”连线上,距离左侧“大腿躯干拐点”距离为连线长度2%的点。右侧同理。
(5)膝关节中心:对于左侧膝关节中心,如下定位:从左侧大腿小腿拐点,向右侧做水平线,直至水平线与左腿内部边缘相交。取该线段中点为左侧膝关节中心。右侧同理。
(6)踝关节中心、肘关节中心、腕关节中心:定位方法同膝关节中心。
侧面图像中,受到测试者身形影响较大,不进行“相对定位法”的使用。而是直接使用“直接识别点”。
第二步:基于人体骨性关键点的异常体态评估方法;
该步骤,通过上述“骨性关键点”与“直接识别点”,对测试者的体态异常程度进行评估。体态风险包括:头部前倾、头部侧倾、驼背、高低肩、脊柱侧弯、骨盆侧倾、膝过伸、O型腿、X型腿。
对于每一种异常体态科目,均采用“区间评级法”评定其异常程度R,该方法如下。对于某一种异常体态科目:
第一步:计算“体态科目关键值K”、确定“期望区间”(0,A)。其中,A为测试者被判定为正常的场景下,体态科目关键值的最大可接受值。一旦体态科目关键值超过A,这该科目被判断为异常。
第二步:确定异常程度R的评级量化标准为:(0, 60]为正常, (60, 80]为轻度异常、(80, 100]为重度异常
第三步:量化公式:
如果 K ≤ A,R = 60 * K / A
如果 A < K ≤ 2A,R = 20 * ( K – A ) / A + 60
如果 2A < K,R = 20 * Sigmoid ( S * ( K – 2A ) ) + 80
其中:Sigmoid( S * ( K – 2A ) ) = 1 / ( 1 + e- S * (K – 2A) )
其中,S为敏感系数。
对于每一个异常体态科目,需要提前确定A、S,以及K的计算方法,以求得R值;每种异常体态科目,A、S两个参数为通过人群数据统计的数值,K为方法论计算公式。每种异常体态科目,A、S、K分别为(以下,将“正面照片拍摄时,取景设备的倾斜角度”表示为:α;将“侧面照片拍摄时,取景设备的倾斜角度”表示为:β):
(1)头部前倾:A = 3, S = 10
K的计算方法:
在侧面图中:连接“外耳孔”、“耳垂”,线段中点设为A,连接“后背***点”与A点,该线段与垂直方向的夹角设为θ;
K = θ – 25.3 – β;
(2)头部侧倾:A = 2, S = 20
K的计算方法:
在正面图中:连接左右耳垂,线段与水平线的夹角设为θ;
K = θ – α;
(3)驼背:A = 8, S = 20
K的计算方法:
在侧面图中:连接“后背***点”与“颈部后侧拐点”,该线段与垂直方向的夹角设为θ;
K = θ – 18.2 – β;
(4)高低肩:A = 2, S = 10
K的计算方法:
在正面图中:连接左侧肩峰与胸骨角,线段与水平线的夹角设为θ1;连接右侧肩峰与胸骨角,线段与水平线的夹角设为θ2;
K = |θ1 - θ2 – 2α| ;
(5)脊柱侧弯:A = 1.1, S = 20
K的计算方法:
正面图中:连接左侧“肩峰”与左侧“髂前上棘”,线段长设为L1;连接右侧“肩峰”与右侧“髂前上棘”,线段长度设为L2;
K = Max(L1 , L2) / Min(L1, L2);
(6)骨盆侧倾:A = 2, S = 15
K的计算方法:
正面图中:连接左右髂前上棘,线段与水平线的夹角设为θ;
K = θ – α;
(7)膝过伸:A = 1.5, S = 20
K的计算方法:
侧面图中:以“小腿足部后部拐点”为始点,“大腿小腿后部拐点”为终点,做向量R1;竖直向上的向量设为R2;从R2转到R1的夹角设为θ;顺时针旋转为正,逆时针旋转为负;K = θ– β;
(8)O型腿:A = 2, S = 20
K的计算方法:
正面图中:对于左腿,以“髂前上棘”为始点,“膝关节中心”为终点,做向量R1;以“膝关节中心”为始点,“踝关节中心”为终点,做向量R2;从R1转向R2,转过的夹角为θ,
顺时针为正,逆时针为负;对于右脚,同理,但顺时针为负,逆时针为正;
K = θ;
(9)X型腿:A = 2, S = 20
K的计算方法:
正面图中:对于左腿,以“髂前上棘”为始点,“膝关节中心”为终点,做向量R1;以“膝关节中心”为始点,“踝关节中心”为终点,做向量R2;从R1转向R2,转过的夹角为θ;顺时针为负,逆时针为正;对于右脚,同理,顺时针为正,逆时针为负;
K = θ。
Claims (9)
1.一种基于深度学习的计算机视觉体态分析方法;其特征在于:具体分为两步:
第一步:基于深度学习的人体骨性关键点自动定位方法,首先定位人体边缘某些关键点,即直接识别点,再基于该直接识别点,定位身体关键点;
定位直接识别点,面部关键点是通过深度学习方法,具体包括如下步骤:
准备训练数据:通过人工标定的方法,在人体图像上标定出直接识别点、面部关键点的位置;其中,正面图像、侧面图像各准备不少于10万张;
训练深度学习模型:利用准备的训练数据,训练深度神经网络,并调优达到最高的准确度;
直接识别点的定位:基于该训练后的深度神经网络,输入一张人体正面图像,或一张人体侧面图像,预先要求的准确度定位其中的直接识别点与面部关键点;
第二步:基于人体骨性关键点的异常体态评估方法;
通过上述骨性关键点与直接识别点,对测试者的体态异常程度进行评估;
对于每一种异常体态科目,均采用“区间评级法”评定其异常程度R,该方法如下:
对于某一种异常体态科目:
第一步:计算“体态科目关键值K”、确定“期望区间”(0,A);其中,A为测试者被判定为正常的场景下,体态科目关键值的最大可接受值;一旦体态科目关键值超过A,这该科目被判断为异常;
第二步:确定异常程度R的评级量化标准为:(0, 60]为正常, (60, 80]为轻度异常、(80, 100]为重度异常;
第三步:量化公式:
如果 K ≤ A,R = 60 * K / A
如果 A < K ≤ 2A,R = 20 * ( K – A ) / A + 60
如果 2A < K,R = 20 * Sigmoid ( S * ( K – 2A ) ) + 80
其中:Sigmoid( S * ( K – 2A ) ) = 1 / ( 1 + e- S * (K – 2A) )
其中,S为敏感系数。
2.根据权利要求1所述的一种基于深度学习的计算机视觉体态分析方法,其特征在于:所述基于深度学习的人体骨性关键点自动定位方法,需要的输入数据为:
(1)被测试者的正常放松站立正面照片,即照片A;
(2)照片A拍摄时,取景设备的倾斜角度,即在与拍摄方向垂直的平面中,照片的正下方与重力方向的夹角;
(3)被测试者的正常放松站立侧面照片,即照片B;
(4)照片B拍摄时,取景设备的倾斜角度,即在与拍摄方向垂直的平面中,照片的正下方与重力方向的夹角;
所述基于深度学习的人体骨性关键点自动定位方法的输出数据为:被测试者如下异常体态的严重程度数值表征。
3.根据权利要求1所述的一种基于深度学习的计算机视觉体态分析方法,其特征在于:所述体态风险包括:头部前倾、头部侧倾、驼背、高低肩、脊柱侧弯、骨盆侧倾、膝过伸、O型腿、X型腿。
4.根据权利要求1所述的一种基于深度学习的计算机视觉体态分析方法,其特征在于:所述基于深度学习的人体骨性关键点自动定位方法,视觉体态分析中,身体关键点的定位过程采用相对定位法;首先定位人体边缘某些关键点,即直接识别点,再基于该直接识别点,定位身体关键点。
5.根据权利要求1所述的一种基于深度学习的计算机视觉体态分析方法,其特征在于:所述人体骨性关键点包括:面部关键点、身体关键点;而面部关键点包括:外耳孔、耳垂、眼睛及鼻尖;身体关键点包括:胸骨角、肩峰、剑突、髂前上棘、膝关节中心、踝关节中心、肘关节中心及腕关节中心。
6.根据权利要求1所述的一种基于深度学习的计算机视觉体态分析方法,其特征在于:所述直接识别点是图像中人体轮廓边缘的一系列易识别、定位的点;其中,正面图像的直接识别点包括如下点:颈部-躯干拐点、肩部拐点、腋窝、大臂小臂拐点、大腿躯干拐点、双腿交点、小臂与手的拐点、大腿小腿拐点、小腿足部拐点。
7.根据权利要求1、4所述的一种基于深度学习的计算机视觉体态分析方法,其特征在于:识别正面图像中人体骨性关键点的方法:
(1)肩峰:取从“肩部拐点”到“颈部-躯干拐点”之间的人体边界曲线,距离肩部拐点曲线长度为总长度36%的位置为“肩峰”点;
(2)胸骨角:取左右肩部拐点的连线中点A、左右腋窝的连线中点B,胸骨角是AB连线上,距离A点的距离为AB长度20%的点;
(3)剑突:取左右肩部拐点的连线中点A、左右腋窝的连线中点B,剑突是AB延长线上,距离B点的距离为AB长度40%的点;
(4)髂前上棘:左侧髂前上棘为左侧“大腿躯干拐点”与“双腿交点”连线上,距离左侧“大腿躯干拐点”距离为连线长度2%的点;右侧同理;
(5)膝关节中心:对于左侧膝关节中心,如下定位:从左侧大腿小腿拐点,向右侧做水平线,直至水平线与左腿内部边缘相交;取该线段中点为左侧膝关节中心;右侧同理;
(6)踝关节中心、肘关节中心、腕关节中心:定位方法同膝关节中心。
8.根据权利要求1、4所述的一种基于深度学习的计算机视觉体态分析方法,其特征在于:识别侧面图像中人体骨性关键点采用直接识别点的方法。
9.根据权利要求1所述的一种基于深度学习的计算机视觉体态分析方法,其特征在于:对于每一个异常体态科目,相关参数的计算方法与预设值数值如下:将“正面照片拍摄时,取景设备的倾斜角度”表示为:α;将“侧面照片拍摄时,取景设备的倾斜角度”表示为:β;
(1)头部前倾:A = 3, S = 10
K的计算方法:
在侧面图中:连接“外耳孔”、“耳垂”,线段中点设为A,连接“后背***点”与A点,该线段与垂直方向的夹角设为θ;
K = θ – 25.3 – β;
(2)头部侧倾:A = 2, S = 20
K的计算方法:
在正面图中:连接左右耳垂,线段与水平线的夹角设为θ;
K = θ – α;
(3)驼背:A = 8, S = 20
K的计算方法:
在侧面图中:连接“后背***点”与“颈部后侧拐点”,该线段与垂直方向的夹角设为θ;
K = θ – 18.2 – β;
(4)高低肩:A = 2, S = 10
K的计算方法:
在正面图中:连接左侧肩峰与胸骨角,线段与水平线的夹角设为θ1;连接右侧肩峰与胸骨角,线段与水平线的夹角设为θ2;
K = |θ1 - θ2 – 2α| ;
(5)脊柱侧弯:A = 1.1, S = 20
K的计算方法:
正面图中:连接左侧“肩峰”与左侧“髂前上棘”,线段长设为L1;连接右侧“肩峰”与右侧“髂前上棘”,线段长度设为L2;
K = Max(L1 , L2) / Min(L1, L2);
(6)骨盆侧倾:A = 2, S = 15
K的计算方法:
正面图中:连接左右髂前上棘,线段与水平线的夹角设为θ;
K = θ – α;
(7)膝过伸:A = 1.5, S = 20
K的计算方法:
侧面图中:以“小腿足部后部拐点”为始点,“大腿小腿后部拐点”为终点,做向量R1;竖直向上的向量设为R2;从R2转到R1的夹角设为θ;顺时针旋转为正,逆时针旋转为负;K = θ– β;
(8)O型腿:A = 2, S = 20
K的计算方法:
正面图中:对于左腿,以“髂前上棘”为始点,“膝关节中心”为终点,做向量R1;以“膝关节中心”为始点,“踝关节中心”为终点,做向量R2;从R1转向R2,转过的夹角为θ,
顺时针为正,逆时针为负;对于右脚,同理,但顺时针为负,逆时针为正;
K = θ;
(9)X型腿:A = 2, S = 20
K的计算方法:
正面图中:对于左腿,以“髂前上棘”为始点,“膝关节中心”为终点,做向量R1;以“膝关节中心”为始点,“踝关节中心”为终点,做向量R2;从R1转向R2,转过的夹角为θ;顺时针为负,逆时针为正;对于右脚,同理,顺时针为正,逆时针为负;
K = θ。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810884943.3A CN109674477A (zh) | 2018-08-06 | 2018-08-06 | 基于深度学习的计算机视觉体态分析方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810884943.3A CN109674477A (zh) | 2018-08-06 | 2018-08-06 | 基于深度学习的计算机视觉体态分析方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109674477A true CN109674477A (zh) | 2019-04-26 |
Family
ID=66184436
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810884943.3A Pending CN109674477A (zh) | 2018-08-06 | 2018-08-06 | 基于深度学习的计算机视觉体态分析方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109674477A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110495889A (zh) * | 2019-07-04 | 2019-11-26 | 平安科技(深圳)有限公司 | 体态评估方法、电子装置、计算机设备及存储介质 |
CN112070031A (zh) * | 2020-09-09 | 2020-12-11 | 中金育能教育科技集团有限公司 | 体态检测方法、装置及设备 |
CN112107318A (zh) * | 2020-09-24 | 2020-12-22 | 自达康(北京)科技有限公司 | 一种身体活动能力评估*** |
WO2021179230A1 (zh) * | 2020-03-12 | 2021-09-16 | 南方科技大学 | 一种脊柱侧弯检测模型的生成方法和计算机设备 |
-
2018
- 2018-08-06 CN CN201810884943.3A patent/CN109674477A/zh active Pending
Non-Patent Citations (2)
Title |
---|
A. ABOBAKR.ETL: "RGB-D human posture analysis for ergonomie studies using deep convolutional neural network", 《PROCEEDINGS OF THE 2017 IEEE INTERNATIONAL CONFERENCE ON SYSTEMS, MAN, AND CYBERNETICS (SMC)》 * |
ADANKON MM: "Scoliosis follow-up using noninvasive trunk surface acquisition", 《IEEE TRANS BIOMED ENG》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110495889A (zh) * | 2019-07-04 | 2019-11-26 | 平安科技(深圳)有限公司 | 体态评估方法、电子装置、计算机设备及存储介质 |
WO2021000401A1 (zh) * | 2019-07-04 | 2021-01-07 | 平安科技(深圳)有限公司 | 体态评估方法、电子装置、计算机设备及存储介质 |
WO2021179230A1 (zh) * | 2020-03-12 | 2021-09-16 | 南方科技大学 | 一种脊柱侧弯检测模型的生成方法和计算机设备 |
CN112070031A (zh) * | 2020-09-09 | 2020-12-11 | 中金育能教育科技集团有限公司 | 体态检测方法、装置及设备 |
CN112107318A (zh) * | 2020-09-24 | 2020-12-22 | 自达康(北京)科技有限公司 | 一种身体活动能力评估*** |
CN112107318B (zh) * | 2020-09-24 | 2024-02-27 | 自达康(北京)科技有限公司 | 一种身体活动能力评估*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109674477A (zh) | 基于深度学习的计算机视觉体态分析方法 | |
US10467744B2 (en) | Systems and methods to automatically determine garment fit | |
WO2021000401A1 (zh) | 体态评估方法、电子装置、计算机设备及存储介质 | |
WO2017173694A1 (zh) | 人体实际距离测量及眼镜架的定制方法 | |
US20160235354A1 (en) | Methods for detecting, monitoring and treating lymphedema | |
WO2019010959A1 (zh) | 用于确定视线的方法、设备和计算机可读存储介质 | |
KR101777391B1 (ko) | 척추 관절가동범위 측정 방법 | |
CN109164918A (zh) | 智能坐姿追踪与调整方法、装置、智能升降桌及存储介质 | |
CN110059670A (zh) | 人体头面部、肢体活动角度及体姿非接触测量方法及设备 | |
US20230102222A1 (en) | System, method, and apparatus for temperature asymmetry measurement of body parts | |
CN109008937A (zh) | 屈光度检测方法和设备 | |
CN114222521A (zh) | 即时眼睛凝视校准***和方法 | |
KR20170107416A (ko) | 매트리스 자동 추천 방법 | |
KR20090109413A (ko) | 체형진단시스템 및 그 방법 | |
CN207785161U (zh) | 表情分析*** | |
CN113892904A (zh) | 一种基于摄像装置的儿童青少年屈光状态变化预测*** | |
CN106618580B (zh) | 一种斜视与眼球震颤头位检测方法、装置及*** | |
US20220078339A1 (en) | Method for obtaining picture for measuring body size and body size measurement method, server, and program using same | |
JP2012139272A (ja) | 顔表面の運動機能の測定装置及び測定方法並びに測定用補助具 | |
KR20200134022A (ko) | 3d 심도 카메라를 이용한 안구 돌출 측정 장치, 방법 및 시스템 | |
CN113569828B (zh) | 一种人体姿态识别方法、***、存储介质及设备 | |
CN110101377A (zh) | 一种自动适应使用者身高的血压测量台 | |
KR20190085794A (ko) | 바른자세관리를 위한 자세분석 어플리케이션 제공방법 | |
CN112788979A (zh) | 用于确定受试者的至少一个几何形态参数的方法 | |
CN110338807A (zh) | 孕妇姿态校正与监测*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
CB03 | Change of inventor or designer information |
Inventor after: Ding Zheng Inventor after: Li Zhinan Inventor after: An Senwen Inventor after: Li Qin Inventor before: Li Zhinan Inventor before: Ding Zheng Inventor before: An Senwen Inventor before: Li Qin |
|
CB03 | Change of inventor or designer information | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190426 |
|
WD01 | Invention patent application deemed withdrawn after publication |