CN113063411A - 外骨骼评价***及其使用方法 - Google Patents

外骨骼评价***及其使用方法 Download PDF

Info

Publication number
CN113063411A
CN113063411A CN202010605919.9A CN202010605919A CN113063411A CN 113063411 A CN113063411 A CN 113063411A CN 202010605919 A CN202010605919 A CN 202010605919A CN 113063411 A CN113063411 A CN 113063411A
Authority
CN
China
Prior art keywords
exoskeleton
camera
joint point
pressure
mean
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010605919.9A
Other languages
English (en)
Inventor
陈玲玲
尹健
闫慧炯
谢良
印二威
刘通
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin (binhai) Intelligence Military-Civil Integration Innovation Center
Hebei University of Technology
Original Assignee
Tianjin (binhai) Intelligence Military-Civil Integration Innovation Center
Hebei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin (binhai) Intelligence Military-Civil Integration Innovation Center, Hebei University of Technology filed Critical Tianjin (binhai) Intelligence Military-Civil Integration Innovation Center
Priority to CN202010605919.9A priority Critical patent/CN113063411A/zh
Publication of CN113063411A publication Critical patent/CN113063411A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种外骨骼评价***及其使用方法，外骨骼评价***包括：姿态捕获模块、压力测量模块和数据分析模块，姿态捕获模块包括图像读取单元和姿态分析单元；图像读取单元用于读取相机所拍摄的图像，并将相机所拍摄外骨骼运动的视频流中的图像帧传送至姿态分析单元；姿态分析单元对图像帧通过实时2D姿态估计算法进行分析，再结合相机信息、相机间位置关系和人体先验信息，通过3DPS模型解算得到外骨骼运动过程中的实时三维姿势关节点信息D；压力测量模块读取2个压力传感器的数据，基于上述信息对静止和运动过程中的外骨骼进行评估。本发明可以在不添加任何标记点的情况下获得外骨骼的精确运动过程。

Description

外骨骼评价***及其使用方法
技术领域
本发明属于外骨骼评价技术领域，具体来说涉及一种外骨骼评价***及其使用方法。
背景技术
目前，外骨骼的穿戴效果主要依靠主观分析，由于评估人员的个体感觉认知差异，主观感受依赖人的感觉，使外骨骼性能的评估存在着很大的不确定性。而对于外骨骼来说，穿戴效果是评价外骨骼性能的重要参数。
现有外骨骼主要依靠角度传感器、加速度传感器、力矩传感器等评价受力情况，对于穿戴效果主要依靠主观分析。目前的三维运动捕捉平台虽然也可以捕捉到外骨骼工作时的精确运动过程，但是使用和分析流程复杂，需要通过反射标记物或特定传感器记录三维骨骼关节点，从而建立运动学或动力学模型。这类运动捕捉平台造价昂贵，需要特定的空间和固定的摄像***，因此设计简单便携的外骨骼评价***，对于改进外骨骼设计和性能具有重要意义。
发明内容
针对现有技术的不足，本发明的目的在于提供一种外骨骼评价***，该外骨骼评价***能够可以在不添加任何标记点的情况下获得外骨骼的实时运动数据，并不需要固定的实验环境，简单便携，成本低廉，通过对外骨骼性能的评估，为外骨骼的设计改进和优化提供重要的参考。
本发明的另一目的是提供上述外骨骼评价***的使用方法。
本发明的目的是通过下述技术方案予以实现的。
一种外骨骼评价***，包括：姿态捕获模块、压力测量模块和数据分析模块，让使用者穿戴上外骨骼，选定待测关节点，待测关节点的数量为1个或多个，每个待测关节点为第i个关节点，在外骨骼的周围以外骨骼为中心设置有一相机组，相机组包括多台相机；
姿态捕获模块包括图像读取单元和姿态分析单元；
图像读取单元用于读取相机所拍摄的图像，并将相机所拍摄外骨骼运动的视频流中的图像帧传送至姿态分析单元；
姿态分析单元对图像帧通过实时2D姿态估计算法进行分析，得到每个相机视角下的外骨骼的2D运动姿态信息
Figure BDA0002561050010000021
其中，
Figure BDA0002561050010000022
依次代表第v个相机中第i个关节点的横坐标、纵坐标，
Figure BDA0002561050010000023
代表第v个相机中第i个关节点和与第i个关节点相邻的第e个关节点的连接概率；再结合相机信息、相机间位置关系和人体先验信息，通过3DPS模型解算得到外骨骼运动过程中的实时的三维姿势关节点信息D；
压力测量模块读取2个压力传感器的数据，其中，2个压力传感器分别安装在使用者2个脚底板(左右脚底板)下，每个压力传感器包括至少2个压力测量单元，脚底板下的前部和后部各分布至少有1个压力测量单元，压力测量模块将压力传感器的数据传输至数据分析模块；
在外骨骼静止时：数据分析模块根据外骨骼2个脚底板下每个压力传感器的数据，计算得到每个脚底板下各个区域的压力均值，基于压力均值获得外骨骼的合适度；
在外骨骼运动时：数据分析模块读取三维姿势关节点信息，并根据三维姿势关节点信息计算外骨骼各关节点的运动频率、峰值高度均值和运动量，再根据外骨骼运动时2个脚底板的压力传感器的数据，计算得到每个脚底板下各个区域的实时压力。
在上述技术方案中，待测关节点为鼻、颈部、左肩、右肩、左肘、右肘、左手腕、右手腕、左腰、右腰、左膝、右膝、左脚踝和右脚踝中的一个或多个。
在上述技术方案中，相机带有彩色镜头。
在上述技术方案中，所述相机组内相机的数量为至少4台，外骨骼始终至少出现在3个相机的视野中。
在上述技术方案中，相机组内全部相机所围成的面积小于10m*10m。
在上述技术方案中，实时2D姿态估计算法采用Openpose算法，对于每一个图像帧，Openpose算法计算输出以下信息：
Figure BDA0002561050010000024
Figure BDA0002561050010000025
等于Openpose算法中的PAF分数。
在上述技术方案中，相机信息为相机内参K，相机间位置关系为相机间旋转矩阵R和平移矩阵T,相机间旋转矩阵R和平移矩阵T通过相机标定得到。
在上述技术方案中，相机内参K：
Figure BDA0002561050010000026
其中，fx，fy为相机的焦距，x0,y0分别为相机主点坐标的横坐标、纵坐标，s为坐标轴倾斜参数。
在上述技术方案中，3DPS(3D pictorial structure)模型的公式为
Figure BDA0002561050010000031
其中，I＝{Iv|v＝1,...,V}为所有相机视角下的图像帧的公式,Iv代表第v个相机的图像帧，全部相机的数量为V；D代表三维姿势关节点信息，D＝{di|i＝1,...,N}，N为关节点的数量，di为第i个关节点的3D位置；πv(di)为第i个关节点的3D位置在第v个相机的视角下的2D投影，k(Iv|πv(di))为第i个关节点的2D空间分布，由Openpose算法输出的热图给出；p(di,de)为人体先验信息，代表了第i个关节点和第e个关节点的结构依赖：p(di,de)∝N(||di-de|||Lie,σie)，||di-de||代表di与de的欧氏距离，de为第e个关节点的3D位置，Lie为所采集的前五张图像帧第i个关节点和第e个关节点的欧氏距离的平均值，σie为所采集前五张图像帧中第i个关节点和第e个关节点的欧氏距离的标准差。
在上述技术方案中，在计算3DPS模型的公式时，采用最大积算法直接最大化k(D|I)。
在上述技术方案中，外骨骼的合适度f的计算方法为：f＝q*y+(1-q)*h，其中，y为穿戴外骨骼后的运动系数，h为穿戴外骨骼后的稳定系数，
Figure BDA0002561050010000032
P1为脚底板前部分布的压力测量单元的压力均值的和，P2为脚底板后部分布的压力测量单元的压力均值的和，P3为脚底板前部和后部所测压力均值的和，P3＝P1+P2。a为使用者穿戴外骨骼时P1占P3的百分比，b为使用者穿戴外骨骼时P2占P3的百分比，q为使用者不穿戴外骨骼时P1占P3的百分比。
在上述技术方案中，在使用者外骨骼在静止时每个脚底板下各个区域的压力均值的计算中，设某一位置压力为l，静止时间为t，压力均值
Figure BDA0002561050010000033
计算公式为：
Figure BDA0002561050010000034
上述外骨骼评价***的使用方法，包括以下步骤：
1)对相机组内相机进行标定，获得相机间位置关系；
2)让使用者穿戴上外骨骼，对外骨骼在固定时间内的静止状态和运动状态进行评估，其中，
对外骨骼的静止状态进行评估：使压力测量模块工作，根据压力测量模块获得使用者脚底板下各个区域的压力均值进行计算，获得合适度，通过合适度对外骨骼静止状态下进行评估，如果合适度大于等于0.9时，穿戴外骨骼后稳定性与运动性较为优秀；如果合适度低于0.9，则需要调整外骨骼的机械结构和外骨骼重心；
对外骨骼的运动状态进行评估：使相机和压力测量模块同时工作，获得运动频率、峰值高度均值、运动量和压力均值，基于运动频率和运动量，对使用者穿戴该外骨骼的运动情况进行评估，基于峰值高度均值和压力均值，计算出使用者穿戴该外骨骼运动的时间对称性指标和/或摆动期对称性指标。
对外骨骼在静止时进行评估和对外骨骼在运动时进行评估可以基于数据分析模块进行操作。
在上述技术方案中，当第i个关节点具有与其对称的关节点r时，获得第i个关节点的峰值高度均值hl_mean和第r个关节点的峰值高度均值hr_mean；则两侧对称性指标：
Figure BDA0002561050010000041
在上述技术方案中，时间对称性指标：
Figure BDA0002561050010000042
摆动期对称性指标：
Figure BDA0002561050010000043
基于实时压力将外骨骼运动分为两个区间：支撑期和摆动期，获得支撑期所用时间的最小值Stmin、支撑期所用时间的最大值Stmax、摆动期所用时间的最小值Wtmin和摆动期所用时间的最大值Wtmax，根据摆动期实时的三维姿势关节点信息D，获得使用者左腿每个摆动期所用时间的平均值Stl_mean和右腿每个摆动期所用时间的平均值Str_mean，根据左踝关节点的三维姿势关节点信息D确定左腿步长的平均值Sl_mean，根据右踝关节点的三维姿势关节点信息D确定右腿步长的平均值Sr_mean，对健康人穿戴外骨骼进行测试后，用外骨骼评价***获得左腿步长的精度误差值Sl_ae和右腿步长的精度误差值Sr_ae。
本发明可以在不添加任何标记点的情况下获得外骨骼的精确运动过程，操作和分析流程简单，仅通过相机和压力传感器两种传感器就可以获得外骨骼运动的数据，检测方便，造价便宜，维护成本低，不需要特定的实验空间，是一款简单便携的外骨骼评价***。
附图说明
图1为本发明外骨骼评价***的结构示意图；
图2为相机组内相机的布设示意图；
图3为使用者关节点的选取；
图4为使用者脚底板下压力测量单元的分布图。
具体实施方式
下面结合具体实施例进一步说明本发明的技术方案。
实施例
一种外骨骼评价***，包括：在计算机中编程设置的姿态捕获模块、压力测量模块和数据分析模块，如图1所示，让使用者穿戴上外骨骼，选定待测关节点，待测关节点的数量为1个或多个，待测关节点为鼻、颈部、左肩、右肩、左肘、右肘、左手腕、右手腕、左腰、右腰、左膝、右膝、左脚踝和右脚踝中的一个或多个，每个待测关节点为第i个关节点。在外骨骼的周围以外骨骼为中心设置有一相机组，相机组包括多台带有彩色镜头的相机，数量为至少4台，外骨骼始终至少出现在3个相机的视野中，相机组内全部相机所围成的面积小于10m*10m。
姿态捕获模块包括图像读取单元和姿态分析单元；
图像读取单元用于读取相机所拍摄的图像，并将相机所拍摄外骨骼运动的视频流中的图像帧传送至姿态分析单元；相机组内全部相机的拍摄过程需要在同一时刻进行，采取同一帧率拍摄图像帧，以保证可以获取同一时刻不同视角下的外骨骼图片。为避免背景干扰，应选用合适的场地或者采取遮挡措施，以确保相机视野中不出现除外骨骼以外的其他人体或遮挡。如图2所示，相机组为4台相机，4台相机围成一个矩形，每台相机的安装高度为1.5米。本实施例中相机选用Azure Kinect DK相机。
姿态分析单元对图像帧通过实时2D姿态估计算法进行分析，得到每个相机视角下的外骨骼的2D运动姿态信息
Figure BDA0002561050010000051
其中，实时2D姿态估计算法采用Openpose算法，对于每一个图像帧，Openpose算法计算输出以下信息：
Figure BDA0002561050010000052
其中
Figure BDA0002561050010000053
分别先后依次代表第v个相机中第i个关节点的横坐标、纵坐标，
Figure BDA0002561050010000054
代表第v个相机中第i个关节点和与第i个关节点相邻的第e个关节点的连接概率，
Figure BDA0002561050010000055
等于Openpose算法中的PAF分数。其中关节点的序号与其位置是唯一对应的，如图3所示，如6号关节点代表左肩；序号之间的连接关系是唯一确定的，例如6号关节点与7号关节点连接。
再结合相机信息、相机间位置关系和人体先验信息，通过3DPS(3D pictorialstructure)模型解算得到外骨骼运动过程中的实时的三维姿势关节点信息D；其中，相机信息为相机内参K，相机间位置关系为相机间旋转矩阵R和平移矩阵T,相机间旋转矩阵R和平移矩阵T通过相机标定得到。
相机内参K：
Figure BDA0002561050010000061
其中，fx，fy为相机的焦距，x0,y0分别为相机的主点坐标的横坐标、纵坐标，s为坐标轴倾斜参数。
3DPS(3D pictorial structure)模型的公式为
Figure BDA0002561050010000062
其中，I＝{Iv|v＝1,...,V}为所有相机视角下的图像帧的公式,Iv代表第v个相机的图像帧，全部相机的数量为V；D代表三维姿势关节点信息，D＝{di|i＝1,...,N}，N为关节点的数量，di为第i个关节点的3D位置；πv(di)为第i个关节点的3D位置在第v个相机的视角下的2D投影，k(Iv|πv(di))为第i个关节点的2D空间分布，由Openpose算法输出的热图给出；p(di,de)为人体先验信息，代表了第i个关节点和第e个关节点的结构依赖：p(di,de)∝N(||di-de|||Lie,σie)，||di-de||代表di与de的欧氏距离，de为第e个关节点的3D位置，Lie为所采集的前五张图像帧第i个关节点和第e个关节点的欧氏距离的平均值，σie为所采集前五张图像帧中第i个关节点和第e个关节点的欧氏距离的标准差。
在计算3DPS(3D pictorial structure)模型的公式时，采用最大积算法直接最大化k(D|I)。
压力测量模块读取2个压力传感器(压力传感器在本实施例中采用高动态力感测电阻鞋垫)的数据，压力传感器的数据通过无线方式传输至计算机并存储至计算机中，计算机的显示器可以实时显示2个压力传感器的数据。其中，2个压力传感器分别安装在使用者的2个脚底板下，每个压力传感器包括至少2个压力测量单元，脚底板下的前部和后部各分布至少有1个压力测量单元，压力测量单元能够感知当前区域受力大小，检测使用者外骨骼在静止和运动过程中的脚底板下各区域的压力信息，对外骨骼的运动状态进行评估时,压力测量模块与相机组在同一时刻工作，以保证能够获取外骨骼在运动过程中同一时间段的照片数据与双脚压力数据；压力测量模块同时将压力传感器的数据传输至数据分析模块；在本实施例中，如图4所示，每个压力传感器包括8个压力测量单元，每个脚底板的前部分布有5个压力测量单元，后部分布有2个压力测量单元，剩余的1个压力测量单元位于前部和后部之间。
在外骨骼静止时：数据分析模块根据外骨骼静止时2个脚底板中每个脚底板的压力传感器的数据，计算得到每个脚底板下各个区域的压力均值，基于压力均值获得外骨骼的合适度；外骨骼的合适度f的计算方法为：
f＝q*y+(1-q)*h，其中，y为穿戴外骨骼后的运动系数，h为穿戴外骨骼后的稳定系数，
Figure BDA0002561050010000071
P1为脚底板前部分布的压力测量单元的压力均值的和，P2为脚底板后部分布的压力测量单元的压力均值的和，P3为脚底板前部和后部所测压力均值的和，P3＝P1+P2。a为使用者穿戴外骨骼时P1占P3的百分比，b为使用者穿戴外骨骼时P2占P3的百分比，q为使用者不穿戴外骨骼时P1占P3的百分比。合适度f的取值范围为0-1；如果f大于等于0.9时，穿戴外骨骼后整体稳定性与运动性较为优秀。否则视为外骨骼整体重心不科学，对整个***稳定性和运动性不利，应该调整外骨骼整体的机械结构和外骨骼重心，机械结构包括大腿和小腿的长度。所以外骨骼调试人员可以在外骨骼静止时通过合适度综合评判外骨骼整体的的运动性和稳定性。
外骨骼在运动时：数据分析模块读取三维姿势关节点信息并根据三维姿势关节点信息计算外骨骼各关节点的运动频率、峰值高度均值和运动量，再根据外骨骼运动时2个脚底板的压力传感器的数据，计算得到每个脚底板下各个区域的实时压力。
其中，峰值高度均值表征的是外骨骼运动期间第i个关节点的峰值平均高度状态，运动频率表征的是外骨骼运动期间第i个关节点的运动频率，运动量表征的是外骨骼运动期间第i个关节点的总体能耗情况。
运动频率为关节点在Z轴方向单位时间内取得峰值的次数。运动频率gi的计算公式为：
Figure BDA0002561050010000072
其中,zi(n+1)表示第i个关节点在第n+1次采集图像帧时获得的Z轴坐标，zi(n-1)表示第i个关节点在第n-1次采集图像帧时获得的Z轴坐标。
每个关节点的峰值高度均值hi的计算公式为：
Figure BDA0002561050010000073
其中，n为第i个关节点在采集时间t内获得的图像帧中取得峰值的次数，zsum为第i个关节点在采集的时间t内的Z轴坐标的峰值和。
运动量wi的计算方法为：
Figure BDA0002561050010000081
zni代表第i个关节点在第n次采集图像帧时获得的Z轴坐标。
在使用者外骨骼在静止时每个脚底板下各个区域的压力均值的计算中，设某一位置压力为l，静止时间为t，压力均值
Figure BDA0002561050010000082
计算公式为：
Figure BDA0002561050010000083
在经过上述计算后，数据分析模块通过显示器显示外骨骼或人体的关节点的相关信息。
上述外骨骼评价***的使用方法，包括以下步骤：
1)对相机组内相机进行标定，获得相机间旋转矩阵R和平移矩阵T；
2)让使用者穿戴上外骨骼，对外骨骼在固定时间内的静止状态和运动状态进行评估，其中，
对外骨骼的静止状态进行评估：使压力测量模块工作，根据压力测量模块获得使用者脚底板下各个区域的压力均值进行计算，获得合适度f，通过合适度f对外骨骼的静止状态下进行评估，如果f大于等于0.9时，穿戴外骨骼后稳定性与运动性较为优秀；如果f低于0.9，则需要调整外骨骼的机械结构和外骨骼重心；
对外骨骼的运动状态进行评估：使相机和压力测量模块同时工作，获得运动频率、峰值高度均值、运动量和压力均值，基于运动频率和运动量，对使用者穿戴该外骨骼的运动情况进行评估，基于峰值高度均值和压力均值，计算出使用者穿戴该外骨骼运动的时间对称性指标和/或摆动期对称性指标。
基于实时压力将外骨骼运动分为两个区间：支撑期和摆动期，获得支撑期所用时间的最小值Stmin、支撑期所用时间的最大值Stmax、摆动期所用时间的最小值Wtmin和摆动期所用时间的最大值Wtmax，根据摆动期实时的三维姿势关节点信息D，获得使用者左腿每个摆动期所用时间的平均值Stl_mean和右腿每个摆动期所用时间的平均值Str_mean，根据左踝关节点的三维姿势关节点信息D确定左腿步长的平均值Sl_mean，根据右踝关节点的三维姿势关节点信息D确定右腿步长的平均值Sr_mean，进行时间对称性指标和/或摆动期对称性指标的计算：
时间对称性指标：
Figure BDA0002561050010000091
TD∈[0,1]，TD越大说明时间对称性越好。
摆动期对称性指标：
Figure BDA0002561050010000092
对健康人穿戴外骨骼进行测试后，用本发明外骨骼评价***获得左腿步长的精度误差值Sl_ae和右腿步长的精度误差值Sr_ae；ID越接近1，说明摆动期对称性越好。
另外，当第i个关节点具有与其对称的关节点r时，获得第i个关节点的峰值高度均值hl_mean和第r个关节点的峰值高度均值hr_mean；则两侧对称性指标：
Figure BDA0002561050010000093
HD∈[0,1]，HD越大，说明两侧对称性越好。
基于运动频率和运动量，对使用者穿戴该外骨骼的运动情况进行评估为：在使用者穿戴外骨骼后的运动过程中，在固定时间内，可以获得基于该外骨骼的运动频率和运动量。当调整外骨骼的机械参数和/或控制参数后，在相同的固定时间内，可以重新对运动过程中的外骨骼进行评估，再次获得外骨骼调整后的运动频率和运动量，基于2次的运动频率和运动量进行比较。
以上对本发明做了示例性的描述，应该说明的是，在不脱离本发明的核心的情况下，任何简单的变形、修改或者其他本领域技术人员能够不花费创造性劳动的等同替换均落入本发明的保护范围。

Claims (10)

1.一种外骨骼评价***，其特征在于，包括：姿态捕获模块、压力测量模块和数据分析模块，为使用者穿戴上外骨骼，选定待测关节点，待测关节点的数量为1个或多个，每个待测关节点为第i个关节点，在外骨骼的周围以外骨骼为中心设置有一相机组，相机组包括多台相机；
姿态捕获模块包括图像读取单元和姿态分析单元；
图像读取单元用于读取相机所拍摄的图像，并将相机所拍摄的外骨骼运动视频流中的图像帧传送至姿态分析单元；
姿态分析单元对图像帧通过实时2D姿态估计算法进行分析，得到每个相机视角下的外骨骼的2D运动姿态信息
Figure FDA0002561050000000011
其中，
Figure FDA0002561050000000012
依次代表第v个相机中第i个关节点的横坐标、纵坐标，
Figure FDA0002561050000000013
代表第v个相机中第i个关节点和与第i个关节点相邻的第e个关节点的连接概率；再结合相机信息、相机间位置关系和人体先验信息，通过3DPS模型解算得到外骨骼运动过程中的实时的三维姿势关节点信息D；
压力测量模块读取2个压力传感器的数据，其中，2个压力传感器分别安装在使用者左右两脚的脚底板下，每个压力传感器包括至少2个压力测量单元，脚底板下的前部和后部各分布至少有1个压力测量单元，压力测量模块将压力传感器的数据传输至数据分析模块；
在外骨骼静止时：数据分析模块根据2个脚底板下每个压力传感器的数据，计算得到每个脚底板下各个区域的压力均值，基于压力均值获得外骨骼的合适度；
在外骨骼运动时：数据分析模块读取三维姿势关节点信息，并根据三维姿势关节点信息计算外骨骼各关节点的运动频率、峰值高度均值和运动量，再根据外骨骼运动时2个脚底板的压力传感器的数据，计算得到每个脚底板下各个区域的实时压力。
2.根据权利要求1所述的外骨骼评价***，其特征在于，待测关节点为鼻、颈部、左肩、右肩、左肘、右肘、左手腕、右手腕、左腰、右腰、左膝、右膝、左脚踝和右脚踝中的一个或多个。
3.根据权利要求1所述的外骨骼评价***，其特征在于，相机带有彩色镜头；
所述相机组内相机的数量至少为4台，外骨骼始终出现在至少3个相机的视野中；
相机组内全部相机所围成的面积小于10m*10m。
4.根据权利要求1所述的外骨骼评价***，其特征在于，实时2D姿态估计算法采用Openpose算法，对于每一个图像帧，Openpose算法计算输出以下信息：
Figure FDA0002561050000000014
Figure FDA0002561050000000021
等于Openpose算法中的PAF分数。
5.根据权利要求1所述的外骨骼评价***，其特征在于，相机信息为相机内参K，相机间位置关系为相机间旋转矩阵R和平移矩阵T,相机间旋转矩阵R和平移矩阵T通过相机标定得到；
相机内参K：
Figure FDA0002561050000000022
中，fx,fy为相机的焦距，x0,y0分别为相机主点坐标的横坐标、纵坐标，s为坐标轴倾斜参数。
6.根据权利要求1所述的外骨骼评价***，其特征在于，3DPS(3D pictorialstructure)模型的公式为
Figure FDA0002561050000000023
其中，I＝{Iv|v＝1,...,V}为所有相机视角下的图像帧的公式，Iv代表第v个相机的图像帧，全部相机的数量为V；D代表三维姿势关节点信息，D＝{di|i＝1,...,N}，N为关节点的数量，di为第i个关节点的3D位置；πv(di)为第i个关节点的3D位置在第v个相机视角下的2D投影，k(Iv|πv(di))为第i个关节点的2D空间分布，由Openpose算法输出的热图给出；p(di,de)为人体先验信息，代表第i个关节点和第e个关节点的结构依赖：p(di,de)∝N(||di-de|||Lie,σie)，||di-de||代表di与de的欧氏距离，de为第e个关节点的3D位置，Lie为所采集前五张图像帧的第i个关节点和第e个关节点的欧氏距离的平均值，σie为所采集前五张图像帧的第i个关节点和第e个关节点的欧氏距离的标准差，在计算3DPS模型的公式时，采用最大积算法直接最大化k(D|I)。
7.根据权利要求1所述的外骨骼评价***，其特征在于，外骨骼的合适度f的计算方法为：f＝q*y+(1-q)*h，其中，y为穿戴外骨骼后的运动系数，h为穿戴外骨骼后的稳定系数；
Figure FDA0002561050000000024
P1为脚底板前部分布的压力测量单元的压力均值的和，P2为脚底板后部分布的压力测量单元的压力均值的和，P3为脚底板前部和后部所测压力均值的和，P3＝P1+P2，a为使用者穿戴外骨骼时P1占P3的百分比，b为使用者穿戴外骨骼时P2占P3的百分比，q为使用者不穿戴外骨骼时P1占P3的百分比。
8.如权利要求1所述外骨骼评价***的使用方法，其特征在于，包括以下步骤：
1)对相机组内相机进行标定，获得相机间位置关系；
2)让使用者穿戴上外骨骼，对外骨骼在固定时间内的静止状态和运动状态进行评估，其中，
对外骨骼的静止状态进行评估：使压力测量模块工作，根据压力测量模块获得使用者脚底板下各个区域的压力均值进行计算，获得合适度，通过合适度对外骨骼静止状态下进行评估，如果合适度大于等于0.9，穿戴外骨骼的稳定性与运动性较为优秀；如果合适度低于0.9，则需要调整外骨骼的机械结构和重心；
对外骨骼的运动状态进行评估：使相机和压力测量模块同时工作，获得运动频率、峰值高度均值、运动量和压力均值，基于运动频率和运动量，对使用者穿戴该外骨骼的运动情况进行评估，基于峰值高度均值和压力均值，计算出使用者穿戴该外骨骼运动的时间对称性指标和/或摆动期对称性指标。
9.根据权利要求8所述的使用方法，其特征在于，当第i个关节点具有与其对称的关节点r时，获得第i个关节点的峰值高度均值hl_mean和第r个关节点的峰值高度均值hr_mean；则两侧对称性指标：
Figure FDA0002561050000000031
10.根据权利要求8所述的使用方法，其特征在于，时间对称性指标：
Figure FDA0002561050000000032
摆动期对称性指标：
Figure FDA0002561050000000033
基于实时压力将外骨骼运动分为两个区间：支撑期和摆动期，获得支撑期所用时间的最小值Stmin、支撑期所用时间的最大值Stmax、摆动期所用时间的最小值Wtmin和摆动期所用时间的最大值Wtmax，根据摆动期实时的三维姿势关节点信息D，获得使用者左腿每个摆动期所用时间的平均值Stl_mean和右腿每个摆动期所用时间的平均值Str_mean，根据左踝关节点的三维姿势关节点信息D确定左腿步长的平均值Sl_mean，根据右踝关节点的三维姿势关节点信息D确定右腿步长的平均值Sr_mean，对健康人穿戴外骨骼进行测试后，用外骨骼评价***获得左腿步长的精度误差值Sl_ae和右腿步长的精度误差值Sr_ae。
CN202010605919.9A 2020-06-29 2020-06-29 外骨骼评价***及其使用方法 Pending CN113063411A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010605919.9A CN113063411A (zh) 2020-06-29 2020-06-29 外骨骼评价***及其使用方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010605919.9A CN113063411A (zh) 2020-06-29 2020-06-29 外骨骼评价***及其使用方法

Publications (1)

Publication Number Publication Date
CN113063411A true CN113063411A (zh) 2021-07-02

Family

ID=76558549

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010605919.9A Pending CN113063411A (zh) 2020-06-29 2020-06-29 外骨骼评价***及其使用方法

Country Status (1)

Country Link
CN (1) CN113063411A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298051A (zh) * 2021-07-26 2021-08-24 湖南灵之心心理学应用技术有限公司 基于感知地毯标定的人体形体精确测量***及方法
CN113681541A (zh) * 2021-08-12 2021-11-23 杭州程天科技发展有限公司 一种基于物联网的外骨骼控制***及方法
CN113780206A (zh) * 2021-09-16 2021-12-10 福建平潭瑞谦智能科技有限公司 一种基于视频图像分析处理方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106022213A (zh) * 2016-05-04 2016-10-12 北方工业大学 一种基于三维骨骼信息的人体动作识别方法
CN106037753A (zh) * 2016-07-06 2016-10-26 电子科技大学 一种基于多传感融合的可穿戴数据采集***及其方法
CN106176149A (zh) * 2016-09-08 2016-12-07 电子科技大学 一种基于多传感融合的外骨骼步态分析***及方法
CN107174255A (zh) * 2017-06-15 2017-09-19 西安交通大学 基于Kinect体感技术的三维步态信息采集与分析方法
CN107490470A (zh) * 2017-07-03 2017-12-19 浙江大学 一种用于上肢外骨骼助力效率的检测方法
CN108091380A (zh) * 2017-11-30 2018-05-29 中科院合肥技术创新工程院 基于多传感融合的青少年基本运动能力训练***及方法
CN109470502A (zh) * 2018-10-30 2019-03-15 北京机械设备研究所 一种基于多传感器的外骨骼舒适度评价装置及评价方法
CN109789543A (zh) * 2016-07-22 2019-05-21 哈佛大学校长及研究员协会 用于可穿戴***的控制优化
CN109953761A (zh) * 2017-12-22 2019-07-02 浙江大学 一种下肢康复机器人感知***及运动意图推理方法
CN110841266A (zh) * 2019-10-24 2020-02-28 中国人民解放军军事科学院国防科技创新研究院 一种辅助训练***及方法
CN110969114A (zh) * 2019-11-28 2020-04-07 四川省骨科医院 一种人体动作功能检测***、检测方法及检测仪
CN111263626A (zh) * 2017-08-29 2020-06-09 漫游机械人技术公司 外骨骼贴合度评估***和方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106022213A (zh) * 2016-05-04 2016-10-12 北方工业大学 一种基于三维骨骼信息的人体动作识别方法
CN106037753A (zh) * 2016-07-06 2016-10-26 电子科技大学 一种基于多传感融合的可穿戴数据采集***及其方法
CN109789543A (zh) * 2016-07-22 2019-05-21 哈佛大学校长及研究员协会 用于可穿戴***的控制优化
CN106176149A (zh) * 2016-09-08 2016-12-07 电子科技大学 一种基于多传感融合的外骨骼步态分析***及方法
CN107174255A (zh) * 2017-06-15 2017-09-19 西安交通大学 基于Kinect体感技术的三维步态信息采集与分析方法
CN107490470A (zh) * 2017-07-03 2017-12-19 浙江大学 一种用于上肢外骨骼助力效率的检测方法
CN111263626A (zh) * 2017-08-29 2020-06-09 漫游机械人技术公司 外骨骼贴合度评估***和方法
CN108091380A (zh) * 2017-11-30 2018-05-29 中科院合肥技术创新工程院 基于多传感融合的青少年基本运动能力训练***及方法
CN109953761A (zh) * 2017-12-22 2019-07-02 浙江大学 一种下肢康复机器人感知***及运动意图推理方法
CN109470502A (zh) * 2018-10-30 2019-03-15 北京机械设备研究所 一种基于多传感器的外骨骼舒适度评价装置及评价方法
CN110841266A (zh) * 2019-10-24 2020-02-28 中国人民解放军军事科学院国防科技创新研究院 一种辅助训练***及方法
CN110969114A (zh) * 2019-11-28 2020-04-07 四川省骨科医院 一种人体动作功能检测***、检测方法及检测仪

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HUALONG XIE，ET AL: "Prediction of Limb Joint Angles Based on Multi-Source Signals by GS-GRNN for Exoskeleton Wearer", 《SENSORS 2020》, 18 February 2020 (2020-02-18), pages 1 - 16 *
张腾宇等: "假肢穿戴者步态测评***及其在智能假肢调试中的应用", 《第七届全闲康复医学下程和康复工 程学术研讨会》, 23 May 2010 (2010-05-23), pages 254 - 257 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298051A (zh) * 2021-07-26 2021-08-24 湖南灵之心心理学应用技术有限公司 基于感知地毯标定的人体形体精确测量***及方法
CN113681541A (zh) * 2021-08-12 2021-11-23 杭州程天科技发展有限公司 一种基于物联网的外骨骼控制***及方法
CN113780206A (zh) * 2021-09-16 2021-12-10 福建平潭瑞谦智能科技有限公司 一种基于视频图像分析处理方法

Similar Documents

Publication Publication Date Title
CN113063411A (zh) 外骨骼评价***及其使用方法
CN206363261U (zh) 基于影像的动作分析***
CN111881887A (zh) 基于多摄像头的运动姿态监测和指导方法及装置
CN108156450A (zh) 用于校准摄像机的方法、校准设备、校准***以及机器可读的存储介质
WO2017080137A1 (zh) 关节运动检测***、方法及膝关节动态评估方法、***
CN103099602A (zh) 基于光学识别的体质检测方法与***
JP2016080671A (ja) 人間の動きを測定するロボット計測器
JP2016080671A5 (zh)
WO2023221524A1 (zh) 一种人体运动智能测量与数字训练***
CN111401340B (zh) 目标对象的运动检测方法和装置
CN107014396A (zh) 精确测量视频中目标人的鞋长与步幅的方法
CN110414101B (zh) 一种仿真场景测量方法、准确性测定方法及***
US11482046B2 (en) Action-estimating device
Cunha et al. Real-time Evaluation System for Top Taekwondo Athletes: Project Overview.
CN109558824B (zh) 一种基于人员图像识别的健身动作监测与分析***
CN104732586A (zh) 一种三维人体动态形体和三维运动光流快速重建方法
CN107945166B (zh) 基于双目视觉的待测物体三维振动轨迹的测量方法
WO2013084031A1 (en) System for motion tracking and comparison
JP6525180B1 (ja) 対象数特定装置
Wei et al. Azure Kinect calibration and parameter recommendation in different scenarios
KR101398193B1 (ko) 캘리브레이션 장치 및 방법
CN114241602A (zh) 一种基于深度学习的多目转动惯量测量和计算方法
CN111860275B (zh) 手势识别数据采集***、方法
JP2014117409A (ja) 身体関節位置の計測方法および装置
CN109567816B (zh) 一种基于单目视觉的颈椎活动度测量***及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210702

RJ01 Rejection of invention patent application after publication