CN1969748A - 一种基于单目视频的计算机辅助步态分析方法 - Google Patents
一种基于单目视频的计算机辅助步态分析方法 Download PDFInfo
- Publication number
- CN1969748A CN1969748A CN 200610125187 CN200610125187A CN1969748A CN 1969748 A CN1969748 A CN 1969748A CN 200610125187 CN200610125187 CN 200610125187 CN 200610125187 A CN200610125187 A CN 200610125187A CN 1969748 A CN1969748 A CN 1969748A
- Authority
- CN
- China
- Prior art keywords
- joint
- measured
- image
- coordinate system
- marker
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了一种基于单目视频的计算机辅助步态分析方法。本发明通过在关节处加入附加标记物有效解决运动过程中的自遮挡问题。先利用单目摄像机实时摄取被测者行走过程图像。再对图像进行处理,识别出关节标记点或附加标记物,如果可以识别出关节标记点,则根据关节标记点状态获取被测者关节的运动状态;否则,根据可识别的附加标记物及标记物与关节的相对关系获取被测者关节的运动状态。然后根据被测者关节的运动状态计算得到一系列的运动参数。本发明能在一定程度上克服单目视频图像中由运动过程的自遮挡问题而引起的运动跟踪不准确的不足,提高了运动参数计算的准确性,更客观有效地辅助康复医师调整和实施康复治疗方案。
Description
技术领域
本发明属于医学图像的计算机分析技术的应用领域,具体涉及一种基于单目视频的计算机辅助步态分析方法。
背景技术
随着物质水平的不断提高,生活节奏加快,脑血管患病率近年提高,虽然因临床诊断新技术的运用和抢救成功率的不断提高,脑血管病急性期死亡率大幅下降,但一般情况下,随着发病时间的延长,中风患者力量和运动功能恢复的希望会逐渐减小,生存质量受严重影响,据统计,国内70%以上的脑血管病患者存在后遗症,给患者带来精神、肉体上的极大痛苦,给家庭、社会带来极大负担。
实践证明,中风患者经过及时有效的康复治疗后可以生活自理,甚至恢复工作能力。由此可见,康复治疗是改善中风患者的生存质量,延长患者生命的有效方法。目前康复治疗中,康复医师通过人工观察病人肢体宏观运动来诊断病人运动功能情况,评估康复进程。
随着现代计算机技术和图形图像技术的发展,使计算机辅助人体步态分析的实现成为可能。将计算机辅助人体步态分析运用到运动功能障碍病人步态的自动分析中,可以提供给康复医师病人一系列客观的运动参数,康复医师根据参数准确地评估病人康复情况,并给予更有效的康复治疗方案。
人体步态分析就是利用普通摄像机得到的人体运动视频,并对抽取的视频序列图像进行分析处理,自动提取表征人体步行特征的视觉线索,从而获得一系列运动参数如膝关节和踝关节运动的高度,速度,加速度等。目前用于人体步态参数获取的目标识别方法有基于模型和基于标记点两种。前者不需限制实验背景,但是不能进行精确的跟踪,后者可以准确地识别和跟踪活动关节的空间位置及其运动轨迹。所以,一个典型的人体步态检测***是在受试者需要分析的关节部位贴上标记点,并用一个或多个静态的摄像机实时摄取人体运动目标,这样就可以将人体运动信息的检测转化为图像序列上的标记点的记录与分析。较早运用这种加入标记方法的研究如Rashid等人将一些小亮斑置于人体的各关节,在摄像机获得人体运动的图像序列后由小亮斑的位置得到人体运动的骨架型模型,然后通过这种模型跟踪分析人体的运动(具体参见R.F.Rashid.″Twards a system for theinterpretation of moving light displays,″IEEE Trans.PAMI,12(6):574-581(1980).)。
利用单目摄像机进行人体步态分析,实现起来简单方便并且节约成本,但是有噪声、阴影及下肢运动数据自遮挡现象的存在,所以如何获取清晰的人体运动图像并精确地进行标记点的识别与跟踪是实现单目视频中人体步态分析的关键。
发明内容
本发明的目的在于提供一种基于单目视频的计算机辅助步态分析方法,该方法有效解决了在单目视频中由运动过程的自遮挡现象而引起的数据获取不连续的问题,提高了运动参数计算的准确性。
本发明提供的一种基于单目视频的计算机辅助步态分析方法,其步骤为:
(1)在被测者的腿部关节处分别加入关节标记点和关节附加标记物,标记点和标记物用颜色和/或形状加以区分,利用单目摄像机摄取被测者在步道上行走的视频图像;
(2)在视频序列图像中识别出关节标记及附加标记物;
(3)根据步骤(2)识别出的标记,按照下述步骤获取图像中对应关节位置:
(3.1)若被测者运动状态未出现自遮挡现象,关节标记点均可被识别出来,从而获取左、右腿关节在设定坐标系中位置;
(3.2)若被测者运动状态出现自遮挡现象,根据识别出的附加标记物在设定坐标系中的位置及标记物与关节的相对关系计算得到被遮挡关节在设定坐标系中位置;根据识别出的关节标记点获取未被遮挡关节在设定坐标系中位置;
(4)顺序连接视频序列图像中获取的相应关节的位置,获取各关节运动的轨迹曲线;
(5)根据轨迹曲线计算得到关节的运动参数,通过各关节的运动参数的不同组合,评估被测者的步态功能。
本发明方法通过在被测者关节上加入关节标记点和附加标记物的方法实时跟踪被测者步态获取运动参数,解决在单目视频中由运动过程的自遮挡现象而引起的数据获取不连续的问题。本发明根据单目视频序列图像中标记的识别与跟踪,有效的获取关节的运动状态,从而得到一系列的运动参数。它首先利用单目摄像机实时摄取被测者行走过程图像,再对这一系列的视频序列图像进行简单的图像处理,识别出关节标记点或附加标记物,如果图像中可以识别出关节标记点,则根据关节标记点状态获取被测者关节的运动状态;如果图像中由于自遮挡问题而未能识别出关节标记点,则根据可识别的附加标记物及标记物与关节的相对关系获取被测者关节的运动状态。然后根据顺序视频序列图像中被测者关节的运动状态计算得到一系列的运动参数。总之,本发明方法通过关节标记点和附加标记物的引入,在一定程度上克服了在单目视频图像中由运动过程的自遮挡问题而引起的运动跟踪不准确的不足。
附图说明
图1为本发明方法的流程图;
图2为本发明实施例关节标记点未被遮挡时关节位置示意图;
图3为本发明实施例关节标记点被遮挡时关节位置示意图。
图4为本发明实施例根据附加标记物位置及标记物与关节相对关系计算被遮挡的关节标记点位置示意图
具体实施方式
下面以被测者膝、踝关节运动参数计算为例对本发明作进一步详细的说明,本发明方法适用于具有任何运动功能障碍病人的关节运动参数的计算。
如图1所示,本发明的步骤为:
(1)在被测者的膝、踝关节处(矢状面外侧)分别加入膝、踝关节标记点和附加标记物,并摄取被测者在规定步道上行走的视频图像。具体说明该步骤:
(1.1)如图2所示,在被测者的左膝关节处粘贴一个红色三角形标记点A,踝关节处粘贴一个红色正方形标记点B,右膝关节处粘贴一个黑色三角形标记点C,踝关节处粘贴一个黑色正方形标记点D。
(1.2)如图2所示,在被测者左腿(距摄像机较远的腿,本实施例中为左腿)膝、踝关节处加入附加标记物。一根长度为m的黄色轻质棍棒L一端被固定在被测者左腿踝关节B处,另一端固定一个蓝色圆形标记点E。一根长度为n的绿色轻质棍棒t一端固定在被测者左腿膝关节A处,另一端在E处活动连接,以保证t长度不变,但t与L的夹角可以变化。m,n大小适当选取,使得附加标记物不防碍被测者行走,E不会接触地面,并且如图3所示,当A或者B被遮挡时,E不会被遮挡。本实施例中取m=50cm,n=30cm。
(1.3)使被测者在规定步道上行走,利用一个普通单目摄像机摄取被测者(加入膝关节标记点和附加标记物)在规定步道上行走的视频图像。
(2)由于膝关节标记点A为红色三角形、B为红色正方形,踝关节标记点C为黑色三角形、D为黑色正方形,附加标记物L为黄色轻质棍棒、E为蓝色圆形、t为绿色轻质棍棒,所以在视频序列图像中运用简单的RGB阈值分割及形状分析即可识别出关节标记点A、B、C、D及附加标记物L、E、t。
(3)根据(2)中自动识别出的标记,获取图像中膝、踝关节位置。
其步骤为:
(3.1)如图2所示被测者运动状态,被测者运动过程中未出现关节自遮挡现象,左、右膝关节标记点A、C和左、右踝关节标记点B、D均可被识别出来,从而获取左、右膝关节和左、右踝关节在设定坐标系中位置。
(3.2)如图3所示被测者运动状态,被测者运动过程中出现关节自遮挡现象,其左腿膝关节标识A或左腿踝关节B被右腿遮挡,但左腿附加标记物L、E、t可以被识别出来,根据附加标记物L、E、t在设定坐标系中的位置及标记物与关节的相对关系计算得到左腿膝、踝关节的位置,具体说明在(3.3)中叙述。右膝关节标记点C和右踝关节标记点D不存在遮挡现象,可以被识别出来,从而获取右膝、踝关节在设定坐标系中位置。
(3.3)根据步骤(3.2)识别出附加标记物L、E、t在设定坐标系中的位置及标记物与关节的相对关系计算得到左膝、踝关节的位置,如图4所示:
在设定坐标系下,根据已识别出L与t的方向,可以得到附加标记物t与x轴(水平坐标轴)的夹角为θ1,附加标记物L与x轴(水平坐标轴)的夹角为θ2,附加标记物E的位置坐标为(a,b),附加标记物E到左踝关节标记点B的距离为m,附加标记物E到左膝关节标记点A的距离为n,根据以上已知可以得到左膝关节标记点A在设定坐标系下的位置坐标为(a+ncosθ1,b+nsinθ1),左踝关节标记点B在设定坐标系下的位置坐标为(a+mcosθ2,b-msinθ2),根据左膝关节标记点A和左踝关节标记点B的位置即可获取左膝、踝关节在设定坐标系中位置。
(4)顺序连接视频序列图像中获取的左、右膝、踝关节的位置,得到左、右膝、踝关节运动的轨迹曲线,根据轨迹曲线计算出左、右膝、踝关节一系列运动参数,如左、右膝关节运动的高度,速度,加速度等。根据左、右膝、踝关节运动参数的不同组合,可以客观定量的评估人的步态功能。
上述实施例中膝关节标记点A为红色三角形、B为红色正方形,踝关节标记点C为黑色三角形、D为黑色正方形,附加标记物L为黄色轻质棍棒、E为蓝色圆形、t为绿色轻质棍棒。本发明可以将关节标记点和附加标记物用不同颜色及不同形状进行组合标识,可以有多种标识形式,只需通过颜色和/或形状可将不同关节标记点和附加标记物进行区分即可。
本发明也可以采用更简单的方式,只对被测者膝关节或踝关节标记点或关节标记物进行跟踪,获得被测者的运动参数。
本发明通过单目视频序列图像中标记的识别与跟踪,获取关节的运动状态,从而计算得到关节的一系列运动参数。此方法在一定程度上克服了单目视频图像中由运动过程的自遮挡问题而引起的运动跟踪不准确的不足,提高了运动参数计算的准确性。本发明的实现并不局限于上述实例所公开的范围,可以采用不同于上述实例的方式实现上述技术方案。
Claims (1)
1、一种基于单目视频的计算机辅助步态分析方法,其步骤包括:
(1)在被测者的腿部关节处分别加入关节标记点和关节附加标记物,标记点和标记物用颜色和/或形状加以区分,利用单目摄像机摄取被测者在步道上行走的视频图像;
(2)在视频序列图像中识别出关节标记及附加标记物;
(3)根据步骤(2)识别出的标记,按照下述步骤获取图像中对应关节位置:
(3.1)若被测者运动状态未出现自遮挡现象,关节标记点均可被识别出来,从而获取左、右腿关节在设定坐标系中位置;
(3.2)若被测者运动状态出现自遮挡现象,根据识别出的附加标记物在设定坐标系中的位置及标记物与关节的相对关系计算得到被遮挡关节在设定坐标系中位置;根据识别出的关节标记点获取未被遮挡关节在设定坐标系中位置;
(4)顺序连接视频序列图像中获取的相应关节的位置,获取各关节运动的轨迹曲线;
(5)根据轨迹曲线计算得到关节的运动参数,通过各关节的运动参数的不同组合,评估被测者的步态功能。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB2006101251873A CN100475140C (zh) | 2006-11-29 | 2006-11-29 | 一种基于单目视频的计算机辅助步态分析方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB2006101251873A CN100475140C (zh) | 2006-11-29 | 2006-11-29 | 一种基于单目视频的计算机辅助步态分析方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1969748A true CN1969748A (zh) | 2007-05-30 |
CN100475140C CN100475140C (zh) | 2009-04-08 |
Family
ID=38110914
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2006101251873A Expired - Fee Related CN100475140C (zh) | 2006-11-29 | 2006-11-29 | 一种基于单目视频的计算机辅助步态分析方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN100475140C (zh) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101901349A (zh) * | 2010-07-14 | 2010-12-01 | 辽宁省颅面复原技术重点实验室 | 人体动态特征点重合方法 |
CN101901337A (zh) * | 2010-07-14 | 2010-12-01 | 辽宁省颅面复原技术重点实验室 | 基于动态特征的个人识别方法 |
CN104274179A (zh) * | 2014-09-05 | 2015-01-14 | 深圳市职业病防治院 | 一种下肢功能测试指标的测试方法、装置及*** |
CN101609507B (zh) * | 2009-07-28 | 2016-03-09 | 中国科学技术大学 | 步态识别方法 |
CN106548194A (zh) * | 2016-09-29 | 2017-03-29 | 中国科学院自动化研究所 | 二维图像人体关节点定位模型的构建方法及定位方法 |
CN107967687A (zh) * | 2017-12-21 | 2018-04-27 | 浙江大学 | 一种获取目标物行走姿态的方法与*** |
CN109063661A (zh) * | 2018-08-09 | 2018-12-21 | 上海弈知信息科技有限公司 | 步态分析方法及装置 |
CN109969492A (zh) * | 2019-03-20 | 2019-07-05 | 合肥神马电气有限公司 | 一种用于高压电缆线盘包装的参照定位方法 |
CN110132241A (zh) * | 2019-05-31 | 2019-08-16 | 吉林化工学院 | 一种基于时间序列分析的高精度步态识别方法及装置 |
CN110826385A (zh) * | 2018-06-07 | 2020-02-21 | 皇家飞利浦有限公司 | 康复设备及方法 |
CN111046848A (zh) * | 2019-12-30 | 2020-04-21 | 广东省实验动物监测所 | 一种基于动物跑台的步态监测方法及*** |
CN113016715A (zh) * | 2021-03-23 | 2021-06-25 | 广东省科学院动物研究所 | 一种灵长类动物精细动作行为分析方法和*** |
WO2022116411A1 (zh) * | 2020-12-02 | 2022-06-09 | 中国标准化研究院 | 一种人体功能性关节旋转中心检测与定位分析方法 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6690504B2 (ja) * | 2016-11-11 | 2020-04-28 | トヨタ自動車株式会社 | 歩行訓練システム |
CN110384502B (zh) * | 2018-04-20 | 2021-03-09 | 清华大学 | 生物体运动姿态及神经信号监测分析*** |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4631676A (en) * | 1983-05-25 | 1986-12-23 | Hospital For Joint Diseases Or | Computerized video gait and motion analysis system and method |
US4813436A (en) * | 1987-07-30 | 1989-03-21 | Human Performance Technologies, Inc. | Motion analysis system employing various operating modes |
-
2006
- 2006-11-29 CN CNB2006101251873A patent/CN100475140C/zh not_active Expired - Fee Related
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101609507B (zh) * | 2009-07-28 | 2016-03-09 | 中国科学技术大学 | 步态识别方法 |
CN101901337A (zh) * | 2010-07-14 | 2010-12-01 | 辽宁省颅面复原技术重点实验室 | 基于动态特征的个人识别方法 |
CN101901337B (zh) * | 2010-07-14 | 2015-05-20 | 辽宁省颅面复原技术重点实验室 | 基于动态特征的个人识别方法 |
CN101901349A (zh) * | 2010-07-14 | 2010-12-01 | 辽宁省颅面复原技术重点实验室 | 人体动态特征点重合方法 |
CN104274179B (zh) * | 2014-09-05 | 2017-04-19 | 深圳市职业病防治院 | 一种下肢功能测试指标的测试方法、装置及*** |
CN104274179A (zh) * | 2014-09-05 | 2015-01-14 | 深圳市职业病防治院 | 一种下肢功能测试指标的测试方法、装置及*** |
CN106548194B (zh) * | 2016-09-29 | 2019-10-15 | 中国科学院自动化研究所 | 二维图像人体关节点定位模型的构建方法及定位方法 |
CN106548194A (zh) * | 2016-09-29 | 2017-03-29 | 中国科学院自动化研究所 | 二维图像人体关节点定位模型的构建方法及定位方法 |
CN107967687A (zh) * | 2017-12-21 | 2018-04-27 | 浙江大学 | 一种获取目标物行走姿态的方法与*** |
CN109523551A (zh) * | 2017-12-21 | 2019-03-26 | 浙江大学 | 一种获取机器人行走姿态的方法及*** |
CN110826385A (zh) * | 2018-06-07 | 2020-02-21 | 皇家飞利浦有限公司 | 康复设备及方法 |
CN109063661A (zh) * | 2018-08-09 | 2018-12-21 | 上海弈知信息科技有限公司 | 步态分析方法及装置 |
CN109969492A (zh) * | 2019-03-20 | 2019-07-05 | 合肥神马电气有限公司 | 一种用于高压电缆线盘包装的参照定位方法 |
CN110132241A (zh) * | 2019-05-31 | 2019-08-16 | 吉林化工学院 | 一种基于时间序列分析的高精度步态识别方法及装置 |
CN111046848A (zh) * | 2019-12-30 | 2020-04-21 | 广东省实验动物监测所 | 一种基于动物跑台的步态监测方法及*** |
WO2022116411A1 (zh) * | 2020-12-02 | 2022-06-09 | 中国标准化研究院 | 一种人体功能性关节旋转中心检测与定位分析方法 |
US11707209B2 (en) | 2020-12-02 | 2023-07-25 | China National Institute Of Standardization | Detecting method and positioning analysis method of human functional joint rotation center |
CN113016715A (zh) * | 2021-03-23 | 2021-06-25 | 广东省科学院动物研究所 | 一种灵长类动物精细动作行为分析方法和*** |
Also Published As
Publication number | Publication date |
---|---|
CN100475140C (zh) | 2009-04-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100475140C (zh) | 一种基于单目视频的计算机辅助步态分析方法 | |
Wellhausen et al. | Where should i walk? predicting terrain properties from images via self-supervised learning | |
CN107174255B (zh) | 基于Kinect体感技术的三维步态信息采集与分析方法 | |
CN101604447B (zh) | 无标记人体运动捕捉方法 | |
CN101226638B (zh) | 一种对多相机***的标定方法及装置 | |
Prakash et al. | Passive marker based optical system for gait kinematics for lower extremity | |
CN102609683B (zh) | 一种基于单目视频的人体关节自动标注方法 | |
Yuan et al. | Automatic feature point detection and tracking of human actions in time-of-flight videos | |
CN109344694B (zh) | 一种基于三维人体骨架的人体基本动作实时识别方法 | |
CN109325466B (zh) | 一种基于动作识别技术的智能运动指导***及方法 | |
Abhayasinghe et al. | Human gait phase recognition based on thigh movement computed using IMUs | |
Gardenier et al. | Object detection for cattle gait tracking | |
Baak et al. | Analyzing and evaluating markerless motion tracking using inertial sensors | |
CN109063661A (zh) | 步态分析方法及装置 | |
CN1582851A (zh) | 一种人体运动轨迹检测方法 | |
Zhang et al. | Research on volleyball action standardization based on 3D dynamic model | |
Tao et al. | Integration of vision and inertial sensors for home-based rehabilitation | |
Yoo et al. | Markerless human gait analysis via image sequences | |
Lugné et al. | Motion analysis of an articulated locomotion model by video and telemetric data | |
CN109000634A (zh) | 一种导航对象行进路线的提醒方法和*** | |
Xu et al. | A video tracking system for limb motion measurement in small animals | |
Serrano et al. | Automated feet detection for clinical gait assessment | |
Vishnoi et al. | Markerless identification of key events in gait cycle using image flow | |
Mündermann et al. | Markerless human motion capture through visual hull and articulated ICP | |
Zhang et al. | [Retracted] Modeling and Simulation of Tennis Serve Image Path Correction Optimization Based on Deep Learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20090408 Termination date: 20111129 |