CN1123321C - 一种人手运动图像三维实时检测方法 - Google Patents
一种人手运动图像三维实时检测方法 Download PDFInfo
- Publication number
- CN1123321C CN1123321C CN 00129552 CN00129552A CN1123321C CN 1123321 C CN1123321 C CN 1123321C CN 00129552 CN00129552 CN 00129552 CN 00129552 A CN00129552 A CN 00129552A CN 1123321 C CN1123321 C CN 1123321C
- Authority
- CN
- China
- Prior art keywords
- index point
- human hand
- image
- hand movement
- real time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 45
- 238000012360 testing method Methods 0.000 title claims description 7
- 238000000034 method Methods 0.000 claims abstract description 27
- 238000013507 mapping Methods 0.000 claims abstract description 9
- 230000009466 transformation Effects 0.000 claims abstract description 9
- 230000009471 action Effects 0.000 claims abstract description 7
- 238000001914 filtration Methods 0.000 claims abstract description 7
- 230000008569 process Effects 0.000 claims abstract description 7
- 238000006073 displacement reaction Methods 0.000 claims description 10
- 239000004744 fabric Substances 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 8
- 230000002708 enhancing effect Effects 0.000 claims description 6
- 238000007789 sealing Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 4
- 238000002224 dissection Methods 0.000 claims description 3
- 238000005728 strengthening Methods 0.000 claims description 3
- 208000008037 Arthrogryposis Diseases 0.000 claims description 2
- 238000013213 extrapolation Methods 0.000 claims description 2
- 238000011160 research Methods 0.000 abstract description 3
- 239000003814 drug Substances 0.000 abstract description 2
- 230000007246 mechanism Effects 0.000 abstract description 2
- 238000011897 real-time detection Methods 0.000 abstract 1
- 210000005224 forefinger Anatomy 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 230000001133 acceleration Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 201000010099 disease Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 210000004247 hand Anatomy 0.000 description 4
- 210000003813 thumb Anatomy 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 206010008190 Cerebrovascular accident Diseases 0.000 description 1
- 208000006011 Stroke Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 210000003141 lower extremity Anatomy 0.000 description 1
- 230000007659 motor function Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000008733 trauma Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明涉及一种人手运动图象三维实时检测方法,首先在被测者待测手的关节上粘贴标志点,使被测者的手按要求动作,从不同角度摄取人手运动过程图像,并将图象实时采集到计算机,对图象进行滤波,映射,非线性变换,模糊增强,对图像进行扫描,查找标志点,计算标志点的二维中心坐标,再进行三维重构,即可得到人手运动图象。本方法可以实时地检测记录人手作不同动作时空间运动轨迹,以研究人手运动规律及控制机理,或用于医学临床。
Description
本发明涉及一种人手运动图像三维实时检测方法,属于生物医学工程领域。
人手有20个自由度,是人体中运动最灵活的器官,其运动需要肌肉群、骨骼及精细控制程度比下肢等其他运动要复杂得多,人手是人日常生活和工作中与外界环境接触时最重要的操作器官,帕金森氏综合症、脑卒中、脑外伤等许多疾病对手的运动功能都有一定影响,因此在临床康复中常常把人手运动功能的训练作为某些疾病患者康复的重要手段。可见检测分析人手的运动特征,可以帮助临床医生进行疾病或康复进程评定,为临床提供准确科学的诊断和评价手段。
人手运动检测方法主要有三大类:一类是利用X光、CT、MRI等设备得到人手骨骼及各断层图象,这类方法检测成本较高,且一般只能检测手静止时的情况;第二类是利用测角仪检测关节角度的变化,如在虚拟现实中被广泛采用的数据手套,这类方法由于角度传感器的两端安置在骨节上,不仅与皮肤表面产生滑动引入误差,而且也影响人手的自然运动,即利用这类方法得到的数据误差较大;第三类方法是利用摄像***,通过摄取人手运动过程,然后进行分析处理,这类方法的精度较高,是进行人手运动研究及相关疾病诊断的重要工具。
本发明的目的是提出一种人手运动图象三维实时检测方法,为目前临床普遍采用由医生目测进行人手运动功能诊断与评定提供一种科学手段。
本发明提出的一种人手运动图象三维实时检测方法,其特征在于包括以下步骤:
(1)在被测者待测手的关节上粘贴标志点,使被测者的手按要求动作;
(2)从不同角度摄取人手运动过程图像,并将图象实时采集到计算机;
(3)对图象用中值滤波法进行滤波,将滤波后的图象映射为模糊矩阵,对模糊矩阵作非线性变换,进行模糊增强,然后对增强后的图象作逆映射,得到模糊增强的图象;
(4)对上述图像进行扫描,根据图象灰度搜索出所有连通域;查找封闭连通域并获取封闭连通域的外轮廓最大尺寸;对封闭连通域外轮廓尺寸进行筛选得到与原粘贴标志点尺寸范围一致的标志点;
(5)对已经查找到标志点后的第1和第2幅运动过程图象,从起始标志点逐步外推查找动作后与原始标志点相对应的标志点,对第3幅以后的所有图象,在前两幅确定的标志点的一阶外推位置查找后续动作后与原始标志点相对应的标志点;
(6)根据上述查找的标志点的形状计算标志点的二维中心坐标;
(7)根据从不同角度摄取人手运动平面图像得到的同一个标志点的上述二维坐标,采用直接线性变换(缩写为DLT,Direct Linear Transformation)方法解出标志点三维空间坐标。
(8)按解剖顺序连接关节或末端上标志点的三维空间坐标即可得到人手运动棍图;按采样次序连接不同图象中同一标志点的三维空间坐标就得到关节的位移运动曲线;根据运动棍图中的每3个点决定的两条直线,可以计算出两条直线所夹的角度,即关节弯曲的角度。根据位移和角位移,利用微分方法即可得到其运动的速度和角速度、加速度和角加速度的变化规律。
利用本发明提出的方法可以实时地检测记录人手作不同动作时空间运动轨迹,并对其进行各种统计,以研究人手运动规律及控制机理,或在医学临床上定量评定人手运动功能及其康复程度。
附图说明:
图1人手对捏运动三维空间棍图,图中量钢均为毫米。
图2食指第2关节的角位移(标量)曲线,
图3食指第2关节角速度变化曲线
图4食指第2关节角加速度变化曲线
下面结合附图,详细介绍本发明的内容:
(1)实施例的标志点选用黑球,粘贴位置为拇指和食指尖,拇指和食指的各关节,并使被测者作拇指和食指对捏动作;
(2)从不同角度摄取人手运动过程图像,并将图像实时采集到计算机;
(3)对图像用中值滤波法进行滤波,将滤波后的图象映射为模糊矩阵,对模糊矩阵作非线性变换,进行模糊增强,然后对增强后的图象作逆映射,得到模糊增强的图象;
其具体增强过程如下:
将一幅L个灰度级M×N的图象表示为X=[lmn],m=1、2、…M,n=1、2、…N(其中lmn为图象像素(m,n)的灰度级),对应的模糊矩阵为
(其中μmn为lmn相对于某特定灰度级的隶属度)。取隶属度函数为: 取
的模糊增强函数为:其中为模糊增强的次数,μc为模糊增强的阈值,其对应的图象灰度值为lc。记模糊增强后矩阵对应的图象为 其中lmn′为模糊增强后像素(m,n)的灰度级,则 其中
由(1)、(2)两式即可完成图象的模糊增强。在算法的具体实现中,为减少计算量,事先将式(2)做成表格Table1、Table2如下:
Table1[i]=(int)(i×i/lc+0.5) i=0、1、2、…lc
Table2[i]=(int)(L-1-(L-1-i)2/(L-1-lc)+0.5) i=lc+1、lc+2、…L-1
1)查找标志点:
逐点对图像进行扫描并与阈值作比较,若有满足阈值条件的连续点,则记录其参数行(行号)、列(起始点列号)和长(连续点数目),这样的连续点就是“条”,并按下面3个模板构造连通域。
模板1:若某“条”不与任何已有域相连,则认为该“条”属于新域,并建立一个新域存入该“条”参数(行、列、长)。
模板2:若某“条”只与一个已有域相连,则认为该“条”属于与其相连的域,并将该“条”加入其相连域。
模板3:若某“条”与多个已有域相连,则认为这些域为一个新域,将它们合并成一个域,其中各“条”按行、列顺序重组并将该“条”加入新域同时释放各原有域。
将扫描到的每一个“条”与上述3个模板进行比较,找到相符模板并按模板操作,即可实现任意形状连通域的自动检测。由于整个过程中始终保持域内各“条”按行、列顺序排列,因此作模板查找时,只需要与各域最后一行的“条”作比较,计算量很小。在算法的具体实现中,为进一步减少计算量和节省内存,对“条”的定义加了更严格的限制,只有那些长度超过最低限度的连续点才被认为是“条”。这样的限定可以避免图像出现“麻点”时,识别出过多的没意义的连通域。只要连通域外廓尺寸与已知标志点外廓大小匹配,即认为该连通域是标志点。
2)跟踪标志点:对第1和2幅图象,在起始标志点附近查找标志点;对第3幅图以后的图象,在前两幅图中标志点的一阶外推位置附近查找标志点,找出不同图象中的同一个标志点,即进行标志点跟踪。
3)根据标志点的形状计算标志点的几何中心坐标;
4)三维重构
根据从不同角度摄取人手运动平面图像得到的同一个标志点的二维坐标,采用直接线性变换(缩写为DLT,Direct Linear Transformation)方法解算出标志点三维空间坐标。其原理为:假设物方坐标(X,Y,Z)与像坐标(η,ζ)间映射关系为含若干待定系数的函数,根据一组已知的(X,Y,Z,η,ζ)即可求解出映射函数中各待定参数,从而得到(X,Y,Z)与(η,ζ)的映射关系,该步骤即为标定。采用多部相机,分别标定得到各自的物像映射函数,根据物方点(X,Y,Z)在各相机的像坐标(η,ζ)及已标定出的物像映射函数即可联立解出物方坐标(X,Y,Z),即实现三维重构。
(1)按解剖顺序连接粘贴在关节或末端上标志点的三维空间坐标即可得到人手运动棍图,如依次连接食指尖、食指各关节上,以及拇指尖、拇指各关节上标志点的三维空间坐标,即得到图1的运动三维棍图;按采样次序连接食指尖标志点的三维空间坐标即可得到关节的空间位移运动曲线(见图1);根据运动棍图中的每3个点决定的两条直线,可以计算出两条直线所夹的角度,如根据食指第1、2和3关节上标志点的坐标,可以计算出第2关节的角度,按采样的时间次序等间隔连接第2关节的角度,即得到图2第2关节角位移(标量)变化曲线。根据位移和角位移,利用微分方法即可得到其运动的速度和角速度、加速度和角加速度的变化规律,例如对图2第2关节角位移(标量)变化曲线作微分得到图3角速度变化曲线,对图2第2关节角速度变化曲线作微分得到图4角加速度变化曲线。
(2)对上述计算结果和曲线进行统计处理,即可得到人手在作不同典型动作时,不同指节的运动规律。通过对得到的不同计算结果和曲线进行各种各样的组合分析,可以定量地评定人手运动功能。
实施例中被测者为一健康男性,图1-图4为利用本发明提出的人手运动图像三维实时检测方法得到的结果。
Claims (1)
1、一种人手运动图象三维实时检测方法,其特征在于,该方法包括以下步骤:
在被测者待测手的关节上粘贴标志点,使被测者的手按要求动作;
从不同角度摄取人手运动过程图像,并将图象实时采集到计算机;
对图象用中值滤波法进行滤波,将滤波后的图象映射为模糊矩阵,对模糊矩阵作非线性变换,进行模糊增强,然后对增强后的图象作逆映射,得到模糊增强的图象;
对上述图像进行扫描,根据图象灰度搜索出所有连通域;查找封闭连通域并获取封闭连通域的外轮廓最大尺寸;对封闭连通域外轮廓尺寸进行筛选得到与原粘贴标志点尺寸范围一致的标志点;
对已经查找到标志点后的第1和第2幅运动过程图象,从起始标志点逐步外推查找动作后与原始标志点相对应的标志点,对第3幅以后的所有图象,在前两幅确定的标志点的一阶外推位置查找后续动作后与原始标志点相对应的标志点;
根据上述查找的标志点的形状计算标志点的二维中心坐标;
根据从不同角度摄取人手运动平面图像得到的同一个标志点的上述二维坐标,采用直接线性变换方法解出标志点三维空间坐标;
按解剖顺序连接关节或末端上标志点的三维空间坐标即得到人手运动棍图;按采样次序连接不同图象中同一标志点的三维空间坐标就得到关节的位移运动曲线;根据运动棍图中的每3个点决定的两条直线,计算出两条直线所夹的角度,即关节弯曲的角度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 00129552 CN1123321C (zh) | 2000-10-09 | 2000-10-09 | 一种人手运动图像三维实时检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 00129552 CN1123321C (zh) | 2000-10-09 | 2000-10-09 | 一种人手运动图像三维实时检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1285504A CN1285504A (zh) | 2001-02-28 |
CN1123321C true CN1123321C (zh) | 2003-10-08 |
Family
ID=4593583
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 00129552 Expired - Fee Related CN1123321C (zh) | 2000-10-09 | 2000-10-09 | 一种人手运动图像三维实时检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN1123321C (zh) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SG115546A1 (en) * | 2003-06-23 | 2005-10-28 | Affineon Technologies Pte Ltd | Computer input device tracking six degrees of freedom |
CN100409156C (zh) * | 2006-01-23 | 2008-08-06 | 宏达国际电子股份有限公司 | 移动判断装置 |
CN100403313C (zh) * | 2006-09-14 | 2008-07-16 | 浙江大学 | 三维人体运动数据关键帧提取方法 |
CN100454335C (zh) * | 2006-10-23 | 2009-01-21 | 华为技术有限公司 | 生成三维图像的实现方法和终端设备 |
CN101832756B (zh) * | 2009-03-10 | 2014-12-10 | 深圳迈瑞生物医疗电子股份有限公司 | 测量图像中目标位移以及应变与应变率成像的方法和装置 |
WO2010137325A1 (ja) | 2009-05-27 | 2010-12-02 | パナソニック株式会社 | 行動認識装置 |
CN104887238A (zh) * | 2015-06-10 | 2015-09-09 | 上海大学 | 基于动作捕捉的手康复训练评估***和方法 |
CN105824417B (zh) * | 2016-03-16 | 2019-12-10 | 成都电锯互动科技有限公司 | 一种采用虚拟现实技术的人与物的结合方法 |
CN105945945B (zh) * | 2016-05-20 | 2018-12-11 | 哈尔滨工业大学 | 基于人手运动功能分析的手指模块划分方法 |
CN109658627A (zh) * | 2018-12-13 | 2019-04-19 | 深圳桓轩科技有限公司 | 一种基于区块链的智能物流取件*** |
CN109584423A (zh) * | 2018-12-13 | 2019-04-05 | 佛山单常科技有限公司 | 一种智能开锁*** |
CN113255462A (zh) * | 2021-04-29 | 2021-08-13 | 深圳大学 | 步态评分方法、***、计算机程序产品及可读存储介质 |
CN113838219B (zh) * | 2021-09-26 | 2023-09-12 | 琼台师范学院 | 基于人体动作捕捉的虚拟舞蹈训练方法及装置 |
CN113807323B (zh) * | 2021-11-01 | 2022-12-09 | 北京大学 | 基于图像识别的手功能精准评估***及方法 |
-
2000
- 2000-10-09 CN CN 00129552 patent/CN1123321C/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN1285504A (zh) | 2001-02-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1123321C (zh) | 一种人手运动图像三维实时检测方法 | |
CN111432733B (zh) | 用于确定超声探头的运动的设备和方法 | |
Yeung et al. | Feature-adaptive motion tracking of ultrasound image sequences using a deformable mesh | |
Meyer et al. | Semiautomatic registration of volumetric ultrasound scans | |
DE112004002219B4 (de) | Verfahren zum Antreiben eines Roboters | |
EP2227703B1 (de) | Verfahren zur bewegungserfassung | |
DE112004000722T5 (de) | Verfahren und Vorrichtung zur schnellen automatischen Mittellinien-Extraktion für die virtuelle Endoskopie | |
AlZu’bi et al. | Multi-orientation geometric medical volumes segmentation using 3d multiresolution analysis | |
CN107714082A (zh) | 一种基于光学定位的超声探头标定装置及方法 | |
CN101033963A (zh) | 基于指端标记的视频手指定位***及其定位方法 | |
CN101909165B (zh) | 一种基于混合测度的视频数据宽景成像方法 | |
CN109410157A (zh) | 基于低秩稀疏分解和pcnn的图像融合方法 | |
CN1251145C (zh) | 综合边缘和纹理信息的金字塔图像融合方法 | |
Pinzke et al. | Marker-less systems for tracking working postures—results from two experiments | |
CN104732586B (zh) | 一种三维人体动态形体和三维运动光流快速重建方法 | |
CN1950849A (zh) | 药物动力学图像配准 | |
CN106709867A (zh) | 一种基于改进surf和改进互信息的医学图像配准方法 | |
CN1286962A (zh) | 一种人体步态图像实时检测方法 | |
CN113033501A (zh) | 一种基于关节四元数的人体分类方法及装置 | |
CN1275205C (zh) | 基于肌肉体积不变性的人肢体三维建模方法 | |
JP2005091085A (ja) | 非接触型関節角度計測システム | |
CN1581233A (zh) | 一种用于虚拟手术的体绘制成像方法 | |
CN110276762A (zh) | 一种多b值扩散加权腹部磁共振成像的呼吸运动全自动校正方法 | |
Shi et al. | Driving motion capture based driver behavior analysis | |
Yuan et al. | Fusion of multi-planar images for improved three-dimensional object reconstruction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C06 | Publication | ||
PB01 | Publication | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C19 | Lapse of patent right due to non-payment of the annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |