CN100475140C - 一种基于单目视频的计算机辅助步态分析方法 - Google Patents

Abstract

本发明公开了一种基于单目视频的计算机辅助步态分析方法。本发明通过在关节处加入附加标记物有效解决运动过程中的自遮挡问题。先利用单目摄像机实时摄取被测者行走过程图像。再对图像进行处理，识别出关节标记点或附加标记物，如果可以识别出关节标记点，则根据关节标记点状态获取被测者关节的运动状态；否则，根据可识别的附加标记物及标记物与关节的相对关系获取被测者关节的运动状态。然后根据被测者关节的运动状态计算得到一系列的运动参数。本发明能在一定程度上克服单目视频图像中由运动过程的自遮挡问题而引起的运动跟踪不准确的不足，提高了运动参数计算的准确性，更客观有效地辅助康复医师调整和实施康复治疗方案。

Description

一种基于单目视频的计算机辅助步态分析方法

技术领域

本发明属于医学图像的计算机分析技术的应用领域，具体涉及一种基于单目视频的计算机辅助步态分析方法。

背景技术

随着物质水平的不断提高，生活节奏加快，脑血管患病率近年提高，虽然因临床诊断新技术的运用和抢救成功率的不断提高，脑血管病急性期死亡率大幅下降，但一般情况下，随着发病时间的延长，中风患者力量和运动功能恢复的希望会逐渐减小，生存质量受严重影响，据统计，国内70％以上的脑血管病患者存在后遗症，给患者带来精神、肉体上的极大痛苦，给家庭、社会带来极大负担。

实践证明，中风患者经过及时有效的康复治疗后可以生活自理，甚至恢复工作能力。由此可见，康复治疗是改善中风患者的生存质量，延长患者生命的有效方法。目前康复治疗中，康复医师通过人工观察病人肢体宏观运动来诊断病人运动功能情况，评估康复进程。

随着现代计算机技术和图形图像技术的发展，使计算机辅助人体步态分析的实现成为可能。将计算机辅助人体步态分析运用到运动功能障碍病人步态的自动分析中，可以提供给康复医师病人一系列客观的运动参数，康复医师根据参数准确地评估病人康复情况，并给予更有效的康复治疗方案。

人体步态分析就是利用普通摄像机得到的人体运动视频，并对抽取的视频序列图像进行分析处理，自动提取表征人体步行特征的视觉线索，从而获得一系列运动参数如膝关节和踝关节运动的高度，速度，加速度等。目前用于人体步态参数获取的目标识别方法有基于模型和基于标记点两种。前者不需限制实验背景，但是不能进行精确的跟踪，后者可以准确地识别和跟踪活动关节的空间位置及其运动轨迹。所以，一个典型的人体步态检测***是在受试者需要分析的关节部位贴上标记点，并用一个或多个静态的摄像机实时摄取人体运动目标，这样就可以将人体运动信息的检测转化为图像序列上的标记点的记录与分析。较早运用这种加入标记方法的研究如Rashid等人将一些小亮斑置于人体的各关节，在摄像机获得人体运动的图像序列后由小亮斑的位置得到人体运动的骨架型模型，然后通过这种模型跟踪分析人体的运动(具体参见R.F.Rashid.″Twards a system for theinterpretation of moving light displays，″IEEE Trans.PAMI，12(6)：574-581(1980).)。

利用单目摄像机进行人体步态分析，实现起来简单方便并且节约成本，但是有噪声、阴影及下肢运动数据自遮挡现象的存在，所以如何获取清晰的人体运动图像并精确地进行标记点的识别与跟踪是实现单目视频中人体步态分析的关键。

发明内容

本发明的目的在于提供一种基于单目视频的计算机辅助步态分析方法，该方法有效解决了在单目视频中由运动过程的自遮挡现象而引起的数据获取不连续的问题，提高了运动参数计算的准确性。

本发明提供的一种基于单目视频的计算机辅助步态分析方法，其步骤为：

(1)在被测者的腿部关节处分别加入关节标记点和关节附加标记物，关节标记点和关节附加标记物用颜色和/或形状加以区分，利用单目摄像机摄取被测者在步道上行走的视频序列图像；

(2)在视频序列图像中识别出关节标记点及关节附加标记物；

(3)根据步骤(2)识别出的关节标记点及关节附加标记物，按照下述步骤获取图像中对应关节位置：

(3.1)若被测者运动状态未出现自遮挡现象，关节标记点均可被识别出来，从而获取左、右腿关节在设定坐标系中位置；

(3.2)若被测者运动状态出现自遮挡现象，根据识别出的关节附加标记物在设定坐标系中的位置及关节附加标记物与关节的相对关系计算得到被遮挡关节在设定坐标系中位置；根据识别出的关节标记点获取未被遮挡关节在设定坐标系中位置；

(4)顺序连接视频序列图像中获取的相应关节的位置，获取各关节运动的轨迹曲线；

(5)根据轨迹曲线计算得到关节的运动参数，通过各关节的运动参数的不同组合，评估被测者的步态功能。

本发明方法通过在被测者关节上加入关节标记点和附加标记物的方法实时跟踪被测者步态获取运动参数，解决在单目视频中由运动过程的自遮挡现象而引起的数据获取不连续的问题。本发明根据单目视频序列图像中标记的识别与跟踪，有效的获取关节的运动状态，从而得到一系列的运动参数。它首先利用单目摄像机实时摄取被测者行走过程图像，再对这一系列的视频序列图像进行简单的图像处理，识别出关节标记点或附加标记物，如果图像中可以识别出关节标记点，则根据关节标记点状态获取被测者关节的运动状态；如果图像中由于自遮挡问题而未能识别出关节标记点，则根据可识别的附加标记物及标记物与关节的相对关系获取被测者关节的运动状态。然后根据顺序视频序列图像中被测者关节的运动状态计算得到一系列的运动参数。总之，本发明方法通过关节标记点和附加标记物的引入，在一定程度上克服了在单目视频图像中由运动过程的自遮挡问题而引起的运动跟踪不准确的不足。

附图说明

图1为本发明方法的流程图；

图2为本发明实施例关节标记点未被遮挡时关节位置示意图；

图3为本发明实施例关节标记点被遮挡时关节位置示意图；

图4为本发明实施例根据附加标记物位置及标记物与关节相对关系计算被遮挡的关节标记点位置示意图。

具体实施方式

下面以被测者膝、踝关节运动参数计算为例对本发明作进一步详细的说明，本发明方法适用于具有任何运动功能障碍病人的关节运动参数的计算。

如图1所示，本发明的步骤为：

(1)在被测者的膝、踝关节处(矢状面外侧)分别加入膝、踝关节标记点和附加标记物，并摄取被测者在规定步道上行走的视频图像。具体说明该步骤：

(1.1)如图2所示，在被测者的左膝关节处粘贴一个红色三角形标记点A，踝关节处粘贴一个红色正方形标记点B，右膝关节处粘贴一个黑色三角形标记点C，踝关节处粘贴一个黑色正方形标记点D。

(1.2)如图2所示，在被测者左腿(距摄像机较远的腿，本实施例中为左腿)膝、踝关节处加入附加标记物。一根长度为m的黄色轻质棍棒L一端被固定在被测者左腿踝关节B处，另一端固定一个蓝色圆形标记点E。一根长度为n的绿色轻质棍棒t一端固定在被测者左腿膝关节A处，另一端在E处活动连接，以保证t长度不变，但t与L的夹角可以变化。m，n大小适当选取，使得附加标记物不防碍被测者行走，E不会接触地面，并且如图3所示，当A或者B被遮挡时，E不会被遮挡。本实施例中取m＝50cm，n＝30cm。

(1.3)使被测者在规定步道上行走，利用一个普通单目摄像机摄取被测者(加入膝关节标记点和附加标记物)在规定步道上行走的视频图像。

(2)由于膝关节标记点A为红色三角形、B为红色正方形，踝关节标记点C为黑色三角形、D为黑色正方形，附加标记物L为黄色轻质棍棒、E为蓝色圆形、t为绿色轻质棍棒，所以在视频序列图像中运用简单的RGB阈值分割及形状分析即可识别出关节标记点A、B、C、D及附加标记物L、E、t。

(3)根据(2)中自动识别出的标记，获取图像中膝、踝关节位置。

其步骤为：

(3.1)如图2所示被测者运动状态，被测者运动过程中未出现关节自遮挡现象，左、右膝关节标记点A、C和左、右踝关节标记点B、D均可被识别出来，从而获取左、右膝关节和左、右踝关节在设定坐标系中位置。

(3.2)如图3所示被测者运动状态，被测者运动过程中出现关节自遮挡现象，其左腿膝关节标识A或左腿踝关节B被右腿遮挡，但左腿附加标记物L、E、t可以被识别出来，根据附加标记物L、E、t在设定坐标系中的位置及标记物与关节的相对关系计算得到左腿膝、踝关节的位置，具体说明在(3.3)中叙述。右膝关节标记点C和右踝关节标记点D不存在遮挡现象，可以被识别出来，从而获取右膝、踝关节在设定坐标系中位置。

(3.3)根据步骤(3.2)识别出附加标记物L、E、t在设定坐标系中的位置及标记物与关节的相对关系计算得到左膝、踝关节的位置，如图4所示：

在设定坐标系下，根据已识别出L与t的方向，可以得到附加标记物t与x轴(水平坐标轴)的夹角为θ₁，附加标记物L与x轴(水平坐标轴)的夹角为θ₂，附加标记物E的位置坐标为(a，b)，附加标记物E到左踝关节标记点B的距离为m，附加标记物E到左膝关节标记点A的距离为n，根据以上已知可以得到左膝关节标记点A在设定坐标系下的位置坐标为(a+ncosθ₁，b+nsinθ₁)，左踝关节标记点B在设定坐标系下的位置坐标为(a+mcosθ₂，b-msinθ₂)，根据左膝关节标记点A和左踝关节标记点B的位置即可获取左膝、踝关节在设定坐标系中位置。

(4)顺序连接视频序列图像中获取的左、右膝、踝关节的位置，得到左、右膝、踝关节运动的轨迹曲线，根据轨迹曲线计算出左、右膝、踝关节一系列运动参数，如左、右膝关节运动的高度，速度，加速度等。根据左、右膝、踝关节运动参数的不同组合，可以客观定量的评估人的步态功能。

上述实施例中膝关节标记点A为红色三角形、B为红色正方形，踝关节标记点C为黑色三角形、D为黑色正方形，附加标记物L为黄色轻质棍棒、E为蓝色圆形、t为绿色轻质棍棒。本发明可以将关节标记点和附加标记物用不同颜色及不同形状进行组合标识，可以有多种标识形式，只需通过颜色和/或形状可将不同关节标记点和附加标记物进行区分即可。

本发明也可以采用更简单的方式，只对被测者膝关节或踝关节标记点或关节标记物进行跟踪，获得被测者的运动参数。

本发明通过单目视频序列图像中标记的识别与跟踪，获取关节的运动状态，从而计算得到关节的一系列运动参数。此方法在一定程度上克服了单目视频图像中由运动过程的自遮挡问题而引起的运动跟踪不准确的不足，提高了运动参数计算的准确性。本发明的实现并不局限于上述实例所公开的范围，可以采用不同于上述实例的方式实现上述技术方案。

Claims (1)

1、一种基于单目视频的计算机辅助步态分析方法，其步骤包括：

(1)在被测者的腿部关节处分别加入关节标记点和关节附加标记物，关节标记点和关节附加标记物用颜色和/或形状加以区分，利用单目摄像机摄取被测者在步道上行走的视频序列图像；

(2)在视频序列图像中识别出关节标记点及关节附加标记物；

(3)根据步骤(2)识别出的关节标记点及关节附加标记物，按照下述步骤获取图像中对应关节位置：

(3.1)若被测者运动状态未出现自遮挡现象，关节标记点均可被识别出来，从而获取左、右腿关节在设定坐标系中位置；

(3.2)若被测者运动状态出现自遮挡现象，根据识别出的关节附加标记物在设定坐标系中的位置及关节附加标记物与关节的相对关系计算得到被遮挡关节在设定坐标系中位置；根据识别出的关节标记点获取未被遮挡关节在设定坐标系中位置；

(4)顺序连接视频序列图像中获取的相应关节的位置，获取各关节运动的轨迹曲线；

(5)根据轨迹曲线计算得到关节的运动参数，通过各关节的运动参数的不同组合，评估被测者的步态功能。

Images