CN116310217A - 基于三维数字图像相关法的人体运动中肌肉动态评估方法 - Google Patents

基于三维数字图像相关法的人体运动中肌肉动态评估方法 Download PDF

Info

Publication number
CN116310217A
CN116310217A CN202310248673.8A CN202310248673A CN116310217A CN 116310217 A CN116310217 A CN 116310217A CN 202310248673 A CN202310248673 A CN 202310248673A CN 116310217 A CN116310217 A CN 116310217A
Authority
CN
China
Prior art keywords
dimensional
digital image
human body
neural network
image correlation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310248673.8A
Other languages
English (en)
Other versions
CN116310217B (zh
Inventor
巩杉
李祥云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingchuang Shixi Technology Chengdu Co ltd
Original Assignee
Jingchuang Shixi Technology Chengdu Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jingchuang Shixi Technology Chengdu Co ltd filed Critical Jingchuang Shixi Technology Chengdu Co ltd
Priority to CN202310248673.8A priority Critical patent/CN116310217B/zh
Publication of CN116310217A publication Critical patent/CN116310217A/zh
Application granted granted Critical
Publication of CN116310217B publication Critical patent/CN116310217B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于三维数字图像相关法的人体运动中肌肉动态评估方法,包括以下步骤:S1、利用三维数字图像相关法获取皮肤表面动态三维应变场图像;S2、利用降维技术将三维数字图像相关法获取的皮肤表面动态三维应变场图像变形分解为两部分:一部分代表局部基础矩阵,另一部分代表时间变化信号;S3、将两部分信号将作为人工神经网络的输入,通过人工神经网络得到人体运动中的肌肉活动信息;人工神经网络包括数据输入层、三个卷积层和三个最大池化层、全连接层和输出层,三个卷积层和最大池化层按照卷积层‑最大池化层的顺序依次连接。本发明能够实现以低成本、轻计算为导向的人体运动中肌肉活动状态评估。

Description

基于三维数字图像相关法的人体运动中肌肉动态评估方法
技术领域
本发明涉及一种基于三维数字图像相关法的人体运动中肌肉动态评估方法。
背景技术
近年来随着智能制造、医工交叉等领域的快速发展,对于物体动态行为的表征和控制的需求也越来越多。由于机械、物理等环境的改变会影响材料或组织的动态参数,在三维空间中建立物体表面与内部运动状态的关系模型,从物体动态行为推断其组成材料或组织的物理性能和力学性能。人体四肢由骨骼、肌肉和皮肤的异质结构组成。所有组件都具有不同的机械性能,此种组合使我们能够动态地移动。骨骼创造了结构,肌肉是生物执行器,而皮肤在身体周围形成了一个保护性的弹性层。人体皮肤允许大量精细的运动,皮肤应变场随身体运动而变化。在医学领域,通过对运动中肢体表面的三维动态表征能够提供肌肉状态、活动空间等信息,辅助医生的诊断及治疗。人体运动中肌肉活动水平的监测和解析,对探寻人体运动控制的神经生理学机制至关重要,可以有效地为护理、康复策略以及辅助技术的发展提供启示。
肌肉超声组织评估通常侧重于肌肉、肌腱和其他组织的静态或准静态检查。但超声设备相对昂贵,而且探头体积较大,难以用于人体运动中的肌肉动态测量。磁共振成像(MRI)能够形成身体和内部器官的图像,这些图像经过后处理可以提取主要的肌肉轮廓,因而它通常在运动前后用于观察肌肉结构差异。但磁共振成像设备是固定的且具有放射性,移动的空间非常有限,限制了它只能在实验室条件下使用。漫长的图像采集时间(几分钟甚至更长)进一步限制了对等长收缩等任务的研究。这些对肌肉形态的直接测量方式虽然在基础生理、生物力学等研究上具有巨大的洞察力,但是难以直接用于人体运动中肌肉动态的评估。肌电图(EMG)对通过肌肉纤维传播的动作电位的测量,能够动态、快速地感知和报告人体运动的位置和强度,因而广泛应用于临床和实验室环境中肌肉活动的评估,被认为是黄金标准。在记录EMG的各种传感器模式中,通过表面电极的表面肌电(sEMG)与其他模式(如针状电极或植入式电极)相比,提供了一个相对容易使用且非侵入性的肌肉活动记录方式,在康复、生物力学、神经科学和运动学领域中更为常见。但表面肌电的记录易受到皮肤状况和阻抗变化的影响,因而需要清洁的皮肤-电极接触面。皮肤-电极接触的变异性以及肌肉运动会在肌电图中引入非静止的噪声,包括运动伪影和环境噪声等因为肌肉电动势的大小在亚毫伏范围内,肌电图对电噪声非常敏感,因此需要额外的专业放大电路。在肌电测量中电极的位置是非常重要的,通常肌电传感器很难被精确地放置在特定的肌肉上。高密度肌电(HD-EMG)的引入将传感器从目标肌肉上几个一维电极阵列扩展到大面积皮肤上的密集二维阵列,从而能够利用无创表面网格以高时空分辨率从肌肉表面大面积记录生物电位信号。但是为了获取肌肉活动信息,需要对EMG信号进行复杂的频域分析,对处理资源的巨量需求往往使得数据处理需要离线进行。这些复杂的过程进一步增加了肌电传感器的使用成本,限制了其广泛应用。肌肉收缩过程中肌肉纤维的位移和尺寸变化会产生振荡,通过对肌肉激活所带来的机械反应的记录形成了肌动图(MMG),是一种低成本的肌肉活动扫描方式。肌动信号可以通过麦克风、加速度计、压电接触传感器等在皮肤表面进行检测。其可以提供运动中有关运动单元的数量和发射率的信息,反映肌肉活动的特点,但是容易受到身体/肢体运动引起的误差、信号处理电路的噪声等影响使得采集到的信号存在较大误差。为了从皮肤获取时空机械信息(如来自多个位置的皮肤应变方向和幅度),通常需要使用具有高标记密度的光学运动捕捉。但此类***往往只用于捕获大范围的身体运动以及分析关节运动,且其所获得的信息往往用于人体活动类型分类。
发明内容
本发明的目的在于克服现有技术的不足,提供一种能够实现以低成本、轻计算为导向的人体运动中肌肉活动状态评估的基于三维数字图像相关法的人体运动中肌肉动态评估方法。
本发明的目的是通过以下技术方案来实现的:基于三维数字图像相关法的人体运动中肌肉动态评估方法,包括以下步骤:
S1、利用三维数字图像相关法获取皮肤表面动态三维应变场图像,包括以下子步骤:
S11、使用从所有视图同时看到的三维标定对象的图像,计算每台摄像机的直接线性变换校准参数;并拍摄定制棋盘格图像,计算每台摄像机的自身畸变参数;
S12、生成指定大小、指定密度的随机散斑图,将随机散斑图转印至柔性薄膜上,实现散斑在人体不规则皮肤表面上的共形粘附;采集具有散斑的实验观测部位的立体图像集,并使用数字图像相关法算法匹配特征点;
S13、使用校准参数和畸变参数进行立体三角测量,将S12中为每个立体对匹配的二维特征点转换为二维的三角网格,并将获得的多个表面合并在一起,得到皮肤表面动态三维应变场图像;
S14、计算全场位移、变形和应变;
S2、利用降维技术将三维数字图像相关法获取的皮肤表面动态三维应变场图像变形分解为两部分:一部分代表局部基础矩阵,另一部分代表时间变化信号;
S3、将两部分信号作为人工神经网络的输入,通过人工神经网络得到人体运动中的肌肉活动信息;人工神经网络包括数据输入层、三个卷积层和三个最大池化层、全连接层和输出层,三个卷积层和最大池化层按照卷积层-最大池化层的顺序依次连接;人工神经网络的初始化将使用高斯分布随机初始化方法来分配权重,优化过程采用随机梯度下降法。
本发明的有益效果是:本发明通过构建高分辨率、低成本的多目摄像头立体视觉***来捕捉运动中物体表面宏观和微观区域的同步图像,进而基于三维数字图像相关法以获取皮肤表面的时空全场应变。在此基础上,以皮肤表面动态变形作为输入建立人工神经网络来解析运动中的肌肉活动特性。能够实现以低成本、轻计算为导向的人体运动中肌肉活动状态的评估。以此方法获得的护理及康复过程中定量肌肉状态信息有望给病患以及医疗团队提供贯通整个过程的客观、迅速的临床评价方法。
附图说明
图1为本发明的人体运动中肌肉动态评估方法的流程图;
图2为本发明的人工神经网络结构示意图。
具体实施方式
下面结合附图进一步说明本发明的技术方案。
如图1所示,本发明的一种基于三维数字图像相关法的人体运动中肌肉动态评估方法,包括以下步骤:
S1、基于三维数字图像相关法的人体运动中肌肉动态评估方法,包括以下步骤:
S1、利用三维数字图像相关法获取皮肤表面动态三维应变场图像,数字图像相关法(Digital Image Correlation,DIC)是一种全场非接触式光学数字技术,在物体表面特征区域存在自然或者合成的散斑图案的条件下,几乎能够测量任何一种材料的形状、运动和变形。DIC算法能够根据像素强度分布在连续采集的图像中自动追踪所选区域的特征点集。通过对成对图像的分析,检测匹配的像素点,并计算它们的相关系数,以描述从相邻的相机(空间上)和随着时间的推移(时间上)物体表面特征点的匹配程度,进而评估该区域的运动和变形参数。三维数字图像相关法是在传统DIC和立体视觉的基础上发展起来的,可用于测量平面和曲面物体的三维形变。在三维数字图像相关法中,多台相机能够从不同的角度观测物体表面区域,并连续地捕捉起始参考构型(未变形)以及实验中经历了变形的构型。接下来通过二维DIC建立代表起始参考构型的立体图像中特征点集的空间相关矩阵,并持续追踪其在后续变形构型中的位置进而建立时间相关矩阵。然后通过立体三角法,相关特征点集能够重建实验中物体表面的三维位置变化,以实现三维动态形变的时空全域测量。具体包括以下子步骤:
S11、使用从所有视图同时看到的三维标定对象的图像,计算每台摄像机的直接线性变换校准参数;并拍摄定制棋盘格图像,计算每台摄像机的自身畸变参数;
S12、生成指定大小、指定密度的随机散斑图,将随机散斑图转印至柔性薄膜上,实现散斑在人体不规则皮肤表面上的共形粘附;采集具有散斑的实验观测部位的立体图像集,并使用数字图像相关法算法匹配特征点,通过对定制化的散斑图像添加特定的定位特征,将大幅提高数字图像相关算法的匹配速度;
S13、使用校准参数和畸变参数进行立体三角测量,将S12中为每个立体对匹配的二维特征点转换为二维的三角网格,并将获得的多个表面合并在一起,得到皮肤表面动态三维应变场图像;
S14、计算全场位移、变形和应变;
肌肉运动是一个相对复杂的***,而人工神经网络有能力学习特征和目标之间的复杂关系。因此,本发明采用机器学习方法完成肌肉运动解析的非线性建模,具体包括如下步骤:
S2、利用降维技术将三维数字图像相关法获取的皮肤表面动态三维应变场图像(一个动作所包含的所有帧)变形分解为两部分:一部分代表局部基础矩阵,另一部分代表时间变化信号;时间变化信号反应了在局部坐标系中肌肉的动作;降维技术可采用常用的主成分分析(PCA)或独立成分分析(ICA)方法;
S3、将两部分信号作为人工神经网络的输入,通过人工神经网络得到人体运动中的肌肉活动信息;人工神经网络包括数据输入层、三个卷积层和三个最大池化层、全连接层和输出层,三个卷积层和最大池化层按照卷积层-最大池化层的顺序依次连接,如图2所示;输出的每个维度都是通过对每个输入的维度进行加权得到的,中间加入了一个激活函数,使模型可以学习非线性关系;人工神经网络的初始化将使用高斯分布随机初始化方法来分配权重,以防止激活层输出在神经网络的前向传输中***或消失;优化过程采用随机梯度下降法,在每次迭代都会计算小批量的梯度,然后更新参数。为缓解神经网络的过度拟合现象,采用正则化方法来减少方差。
本发明将重建的三维表面应变场看做一组单通道的图像数据,创新性采用CNN卷积神经网络算法进行学习,其模型对人体肌肉运动的解析能力能达到现有肌电信号的水准。
本领域的普通技术人员将会意识到,这里所述的实施例是为了帮助读者理解本发明的原理,应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合,这些变形和组合仍然在本发明的保护范围内。

Claims (1)

1.基于三维数字图像相关法的人体运动中肌肉动态评估方法,其特征在于,包括以下步骤:
S1、利用三维数字图像相关法获取皮肤表面动态三维应变场图像,包括以下子步骤:
S11、使用从所有视图同时看到的三维标定对象的图像,计算每台摄像机的直接线性变换校准参数;并拍摄定制棋盘格图像,计算每台摄像机的自身畸变参数;
S12、生成指定大小、指定密度的随机散斑图,将随机散斑图转印至柔性薄膜上,实现散斑在人体不规则皮肤表面上的共形粘附;采集具有散斑的实验观测部位的立体图像集,并使用数字图像相关法算法匹配特征点;
S13、使用校准参数和畸变参数进行立体三角测量,将S12中为每个立体对匹配的二维特征点转换为二维的三角网格,并将获得的多个表面合并在一起,得到皮肤表面动态三维应变场图像;
S14、计算全场位移、变形和应变;
S2、利用降维技术将三维数字图像相关法获取的皮肤表面动态三维应变场图像变形分解为两部分:一部分代表局部基础矩阵,另一部分代表时间变化信号;
S3、将两部分信号作为人工神经网络的输入,通过人工神经网络得到人体运动中的肌肉活动信息;人工神经网络包括数据输入层、三个卷积层和三个最大池化层、全连接层和输出层,三个卷积层和最大池化层按照卷积层-最大池化层的顺序依次连接;人工神经网络的初始化将使用高斯分布随机初始化方法来分配权重,优化过程采用随机梯度下降法。
CN202310248673.8A 2023-03-15 2023-03-15 基于三维数字图像相关法的人体运动中肌肉动态评估方法 Active CN116310217B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310248673.8A CN116310217B (zh) 2023-03-15 2023-03-15 基于三维数字图像相关法的人体运动中肌肉动态评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310248673.8A CN116310217B (zh) 2023-03-15 2023-03-15 基于三维数字图像相关法的人体运动中肌肉动态评估方法

Publications (2)

Publication Number Publication Date
CN116310217A true CN116310217A (zh) 2023-06-23
CN116310217B CN116310217B (zh) 2024-01-30

Family

ID=86779245

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310248673.8A Active CN116310217B (zh) 2023-03-15 2023-03-15 基于三维数字图像相关法的人体运动中肌肉动态评估方法

Country Status (1)

Country Link
CN (1) CN116310217B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105973161A (zh) * 2016-06-17 2016-09-28 西安交通大学 一种桨叶的三维全场变形测量方法
CN106890009A (zh) * 2017-03-17 2017-06-27 深圳大学 一种骨骼肌体积变化的自动测量方法和装置
CN112069933A (zh) * 2020-08-21 2020-12-11 董秀园 基于体态识别和人体生物力学的骨骼肌肉受力估计方法
KR102358464B1 (ko) * 2021-07-16 2022-02-08 (주)소프트젠 인공지능 기술을 이용하여 영상 정보로부터 3d 캐릭터 애니메이션을 자동으로 생성하는 3d 이미지 변환장치 및 이를 포함하는 3d 이미지 변환시스템
CN114036969A (zh) * 2021-03-16 2022-02-11 上海大学 一种多视角情况下的3d人体动作识别算法
CN114049329A (zh) * 2021-11-16 2022-02-15 重庆邮电大学 基于卷积lstm神经网络的面向材料有效区域位移场测量方法
CN114065650A (zh) * 2021-11-26 2022-02-18 重庆邮电大学 基于深度学习的材料裂纹尖端多尺度应变场测量跟踪方法
CN114202792A (zh) * 2021-12-09 2022-03-18 南京理工大学 一种基于端到端卷积神经网络的人脸动态表情识别方法
CN114396877A (zh) * 2021-11-19 2022-04-26 重庆邮电大学 面向材料力学性能的智能三维位移场及应变场测量方法
CN115272573A (zh) * 2022-07-26 2022-11-01 渭南领智三维科技有限公司 一种动态人体的实时重建方法
CN115316982A (zh) * 2022-09-02 2022-11-11 中国科学院沈阳自动化研究所 一种基于多模态传感的肌肉形变智能检测***及方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105973161A (zh) * 2016-06-17 2016-09-28 西安交通大学 一种桨叶的三维全场变形测量方法
CN106890009A (zh) * 2017-03-17 2017-06-27 深圳大学 一种骨骼肌体积变化的自动测量方法和装置
CN112069933A (zh) * 2020-08-21 2020-12-11 董秀园 基于体态识别和人体生物力学的骨骼肌肉受力估计方法
CN114036969A (zh) * 2021-03-16 2022-02-11 上海大学 一种多视角情况下的3d人体动作识别算法
KR102358464B1 (ko) * 2021-07-16 2022-02-08 (주)소프트젠 인공지능 기술을 이용하여 영상 정보로부터 3d 캐릭터 애니메이션을 자동으로 생성하는 3d 이미지 변환장치 및 이를 포함하는 3d 이미지 변환시스템
CN114049329A (zh) * 2021-11-16 2022-02-15 重庆邮电大学 基于卷积lstm神经网络的面向材料有效区域位移场测量方法
CN114396877A (zh) * 2021-11-19 2022-04-26 重庆邮电大学 面向材料力学性能的智能三维位移场及应变场测量方法
CN114065650A (zh) * 2021-11-26 2022-02-18 重庆邮电大学 基于深度学习的材料裂纹尖端多尺度应变场测量跟踪方法
CN114202792A (zh) * 2021-12-09 2022-03-18 南京理工大学 一种基于端到端卷积神经网络的人脸动态表情识别方法
CN115272573A (zh) * 2022-07-26 2022-11-01 渭南领智三维科技有限公司 一种动态人体的实时重建方法
CN115316982A (zh) * 2022-09-02 2022-11-11 中国科学院沈阳自动化研究所 一种基于多模态传感的肌肉形变智能检测***及方法

Also Published As

Publication number Publication date
CN116310217B (zh) 2024-01-30

Similar Documents

Publication Publication Date Title
Fang et al. Multi-modal sensing techniques for interfacing hand prostheses: A review
CN109009211B (zh) 智能设备、基于超声波检测的方法及装置
Chen et al. Sonomyographic responses during voluntary isometric ramp contraction of the human rectus femoris muscle
US20150112451A1 (en) Ultrasound system for real-time tracking of multiple, in-vivo structures
Castellini et al. Ultrasound image features of the wrist are linearly related to finger positions
Won et al. Tactile sensing systems for tumor characterization: A review
Shi et al. Recognition of finger flexion from ultrasound image with optical flow: A preliminary study
Li et al. Human-machine interface based on multi-channel single-element ultrasound transducers: A preliminary study
Triloka et al. Neural computing for walking gait pattern identification based on multi-sensor data fusion of lower limb muscles
Winstone et al. Toward bio-inspired tactile sensing capsule endoscopy for detection of submucosal tumors
Nazari et al. Controlling upper limb prostheses using sonomyography (SMG): A review
Ghaderi et al. Muscle activity map reconstruction from high density surface EMG signals with missing channels using image inpainting and surface reconstruction methods
Xin et al. Electrical impedance tomographic shape sensing for soft robots
CN116310217B (zh) 基于三维数字图像相关法的人体运动中肌肉动态评估方法
Hajian et al. Convolutional neural network approach for elbow torque estimation during quasi-dynamic and dynamic contractions
Hua et al. An optimized selection method of channel numbers and electrode layouts for hand motion recognition
Castellini State of the art and perspectives of ultrasound imaging as a human-machine interface
Zhou et al. Recent progress in automatic processing of skeletal muscle morphology using ultrasound: a brief review
CN112085830B (zh) 一种基于机器学习的光学相干血管造影成像方法
Zheng et al. Automatic detection of contracting muscle regions via the deformation field of transverse ultrasound images: a feasibility study
Yeon et al. Spatiotemporally Synchronized Surface EMG and Ultrasonography Measurement Using a Flexible and Low-Profile EMG Electrode
Sahrmann et al. Dynamic 3d ultrasound imaging of the tibialis anterior muscle
Romanova et al. Pressure influence on morphological and functional changes in forearm tissues research
de Oliveira et al. Multi-Sensing Techniques with Ultrasound for Musculoskeletal Assessment: A Review
Epeagba et al. Ultrasound based wrist intent recognition method for robotic-assisted stroke rehabilitation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant