CN113361333A - 一种非接触式骑行运动状态监测方法及其*** - Google Patents

一种非接触式骑行运动状态监测方法及其*** Download PDF

Info

Publication number
CN113361333A
CN113361333A CN202110539560.4A CN202110539560A CN113361333A CN 113361333 A CN113361333 A CN 113361333A CN 202110539560 A CN202110539560 A CN 202110539560A CN 113361333 A CN113361333 A CN 113361333A
Authority
CN
China
Prior art keywords
riding
module
image acquisition
motion
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110539560.4A
Other languages
English (en)
Other versions
CN113361333B (zh
Inventor
王伟
姜小明
张钰佳
李章勇
郭毅军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202110539560.4A priority Critical patent/CN113361333B/zh
Publication of CN113361333A publication Critical patent/CN113361333A/zh
Application granted granted Critical
Publication of CN113361333B publication Critical patent/CN113361333B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于运动状态监测技术领域，具体涉及一种非接触式骑行运动状态监测方法及其***，该方法包括：获取图像采集设备的位姿信息，并根据该位姿信息固定图像采集设备；实时获取待监测人员的运动状态数据；将待监测人员的运动状态数据输入到运动状态监测模型中，判断当前待监测运动人员的运动情况，根据该情况对运动姿态进行调整；所述运动状态监测模型包括神经网络模型、空间信息恢复模块以及骑行状态分析模型；本发明提出了一种非接触式的骑行运动状态监测***，在不影响人体骑行运动的同时，实时获取骑行状态下骑行运动时间和空间的信息，对数据进行优化，以基于客观数据进行骑行运动指导，提高了锻炼效果。

Description

一种非接触式骑行运动状态监测方法及其***
技术领域
本发明属于运动状态监测技术领域，具体涉及一种非接触式骑行运动状态监测方法及其***。
背景技术
随着人们对身体健康的重视程度越来越高，使得骑行运动广受人们的青睐，使得出现了一种不受时间、地点以及环境限制的室内骑行台。适量的骑行运动有利于人体的身心健康，但是过量的运动状态会损伤人体，不利于人体的健康，因此对运动人员在进行骑行运动的过程中进行状态检测以及基于客观数据进行指导分析是十分必要的。
目前，对骑行运动进行监测的方式多为接触式，如佩戴心率采集装置监测运动过程中的心率，以穿戴式智能背心采集骑行过程中的体温，佩戴安全头盔采集骑行过程中的脑电和呼吸速率，通过这些生理参数的采集完成运动人员骑行状态的监测，该方法的缺点在于对人体运动存在一定影响，不能达到完全放松身心的运动效果，因此，急需一种非接触式骑行运动状态监测方法。
发明内容
为解决以上现有技术存在的问题，本发明提出了一种非接触式骑行运动状态监测方法，该方法包括：获取图像采集设备的位姿信息，并根据该位姿信息固定图像采集设备；实时获取待监测人员的运动状态数据；将待监测人员的运动状态数据输入到运动状态监测模型中，判断当前待监测运动人员的运动情况，根据该情况对运动姿态进行调整；所述运动状态监测模型包括神经网络模型、空间信息恢复模块以及骑行状态分析模型；
运动状态监测模型对运动数据进行处理的过程包括：
S1：将获取的图像数据输入到训练好的神经网络中，得到每一张画面下骑行状态中不同关节点在像素坐标系下的位置信息；所述神经网络模型为openpose网络模型；
S2：将同一时刻下不同角度获取的关节点的信息按照时间顺序进行匹配对应，将对应好的关节点信息输入到空间信息恢复模块中恢复每个关节点的空间信息；
S3：将每个关节点的空间信息按照时间顺序依次输入到骑行状态分析模型中，得到当前骑行状态下的运动描述。
优选的，获取图像采集设备的位姿信息的过程包括：根据各个图像采集设备的位置信息确定中心图像采集设备位置信息；确定过程包括：计算各个图像采集设备到除该设备外到其他设备的直线距离之和，对所有的距离之和进行比较，选出最小距离之和，将该图像采集设备作为中心图像采集设备；设置获取不同角度图像采集设备采集同一位置的棋盘图像；根据采集的棋盘图像对图像采集设备相对中心位置的位姿信息进行解算，得到图像采集设备的相对位姿信息。
进一步的，在采集数据过程中采用至少3个图像采集设备，且将图像采集设备按照求解的位姿信息进行固定。
进一步的，对图像采集设备相对中心位置的位姿信息进行解算的过程包括：对图像采集设备进行单目标定和双目标定，根据标定结果得到各设备的位姿信息；单目标定包括根据棋盘图像对图像采集设备进行进行矫正，获取矫正后图像采集设备的内参数，得到内参数矩阵；双目标定的过程包括采用张正有标定方法对棋盘图像进行标定，得到棋盘图像匹配点对；根据棋盘图像匹配点对获取图像采集设备的旋转矩阵和平移矩阵；根据内参数矩阵、旋转矩阵以及平移矩阵得到图像采集设备的相对位姿信息。
优选的，openpose网络模型包括主干网络VGG-19和至少一个stage模块；stage模块包括PCM模块、PAF模块、两个卷积层以及一个全连接层；第一卷积层与PCM模块连接，第二卷积层与PAF模块连接，且PCM模块和PAF模块并联；对openpose网络模型进行训练的过程包括：
步骤1：获取原始图像数据，并对原始图像数据进行预处理；
步骤2：将预处理后的图像输入到主干网络VGG-19中提取图片的特征；
步骤3：对提取的特征进行卷积，将卷积的结果输入到PCM模块中，得到关键点热力图；
步骤4：对提取的特征进行卷积，将卷积的结果输入到PAF模块中，得到关键点亲和力场图；
步骤5：将特征图、关键点热力图和关键点亲和力场图输入到全连接层中，得到骑行图中人体关节点的像素坐标；
步骤6：计算openpose网络模型的损失函数，不断调整损失函数的参数，当损失函数最小时，完成模型的训练。
进一步的，openpose网络模型中PAF模块和PCM模块损失函数的表达式
Figure BDA0003068912830000031
Figure BDA0003068912830000032
分别为：
Figure BDA0003068912830000033
Figure BDA0003068912830000034
其中，W(p)为权值，当标注缺少时，其值为0，
Figure BDA0003068912830000035
为PAF中训练得到的标注，
Figure BDA0003068912830000036
为PAF中预先标注数据，
Figure BDA0003068912830000037
为PCM中训练得到的标注，
Figure BDA0003068912830000038
为PAF中预先标注数据；整体的损失函数可表示为：
Figure BDA0003068912830000039
优选的，恢复每个关节点的空间信息的过程包括：获取配对后的两张图像中的关节点对图像像素坐标；根据设备的位姿信息结合三角化方法对更新后的关节点空间信息进行恢复；设定权值，根据设置的权值对关节点的空间信息进行加权更新；所述两张图像中的关节点对为一个图像采集设备和中心位置上的图像采集设备同一时间获取的图像输入神经网络后输出的关节点，包括所有图像采集设备和中心位置上图像采集设备对应的关节点。
进一步的，设定的权值为：
Figure BDA0003068912830000041
优选的，骑行状态分析模型为支持向量机模型；将采集到的关节点的空间信息和对应的时间信息输入到训练好的支持向量机模型中，提取骑行运动特征，达到对骑行状态进行分析的目的。
一种非接触式骑行运动状态监测***，该***包括：骑行场景监控模块、骑行状态下时空参数获取模块以及骑行状态分析模块；
所述骑行场景监控模块包括多个数据采集模块，各个数据采集模块之间需同时运行，并完成标定，获得不同数据采集模块相对于中心点的位姿信息，得到同一时刻的不同角度下人们骑行姿态的二维画面；
所述骑行状态下时空参数获取模块包括姿态分析的神经网络模块和空间信息恢复模块；
所述姿态分析的神经网络模块用于获取采集人体运动图像的关节点的图像像素坐标；
所述空间信息恢复模块用于获取关节点的空间信息；
所述骑行状态分析模块用于对获取的骑行状态下人体的时间以及空间信息分别进行分析，结合骑行状态下肢体的夹角、运动速度信息，对骑行状态进行监测。
本发明的有益效果在于：提出了一种非接触式的骑行运动状态监测***，在不影响人体骑行运动的同时，实时获取骑行状态下骑行运动时间和空间的信息，对数据进行优化，以基于客观数据进行骑行运动指导，提高了锻炼效果，防止运动人员因动作不规范而受伤。
附图说明
图1为本发明的人体关键点示意图；
图2为本发明的三角测量关键点示意图；
图3为本发明的图像采集设备位置信息解算流程图；
图4为本发明发的具体流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种非接触式骑行运动状态监测方法，如图4所示，该方法包括：获取图像采集设备的位姿信息，并根据该位姿信息固定图像采集设备；实时获取待监测人员的运动状态数据；将待监测人员的运动状态数据输入到运动状态监测模型中，判断当前待监测运动人员的运动情况，根据该情况对运动姿态进行调整；所述运动状态监测模型包括神经网络模型、空间信息恢复模块以及骑行状态分析模型。
一种运动状态监测模型对运动数据进行处理的具体实施方式，包括：
S1：将获取的图像数据输入到训练好的神经网络中，得到每一张画面下骑行状态中不同关节点在像素坐标系下的位置信息；所述神经网络模型为openpose网络模型；
S2：将同一时刻下不同角度获取的关节点的信息按照时间顺序进行匹配对应，将对应好的关节点信息输入到空间信息恢复模块中恢复每个关节点的空间信息；
S3：将每个关节点的空间信息按照时间顺序依次输入到骑行状态分析模型中，得到当前骑行状态下的运动描述。
本发明获取图像采集设备的位姿信息包括对骑行人体左右两侧的监控，同时考虑图像采集设备的视角问题，以及增加各个设备之间的约束、提高三维坐标估计的准确性，每侧使用三个图像采集设备，同时保证双侧六个图像采集设备同时进行监控。在监控***初始运行时，需对各个摄像头进行标定，以中间的图像采集设备为中心图像采集设备，同时获取图像采集设备相对于中心图像采集设备的位姿信息，现以单侧三图像采集设备为例进行说明。
可选的，图像采集设备为摄像机。
一种获取图像采集设备的位姿信息的具体实施过程，包括根据各个图像采集设备的位置信息确定中心图像采集设备位置信息；确定过程包括：计算各个图像采集设备到除该设备外到其他设备的直线距离之和，对所有的距离之和进行比较，选出最小距离之和，将该图像采集设备作为中心图像采集设备；设置获取不同角度图像采集设备采集同一位置的棋盘图像；根据采集的棋盘图像对图像采集设备相对中心位置的位姿信息进行解算，得到图像采集设备的相对位姿信息。
如图3所示，对图像采集设备相对中心位置的位姿信息进行解算的过程包括：对图像采集设备进行单目标定和双目标定，根据标定结果得到中心位置的位姿信息；单目标定包括根据棋盘图像对图像采集设备进行进行矫正，获取矫正后图像采集设备的内参数，得到内参数矩阵；双目标定的过程包括采用张正有标定方法对棋盘图像进行标定，得到棋盘图像匹配点对；根据棋盘图像匹配点对获取图像采集设备的旋转矩阵和平移矩阵；根据内参数矩阵、旋转矩阵以及平移矩阵得到图像采集设备的相对位姿信息。
从几何学的角度获取图像采集设备的的成像过程包括将三维空间中的一个点映射至二维图像平面中，在映射过程中涉及世界坐标系W、相机坐标系C、图像坐标系A、像素坐标系A‘间的映射关系；映射关系为空间左边系中一点Aw＝[Xw,Yw,Zw]T，其在相机坐标系下对应表示为Ac＝[Xc,Yc,Zc]T，在图像坐标系中表示为A＝[x，y]T，在像素坐标系中表示为A‘＝[x′,y′]T。
则世界坐标系到像素坐标系间的映射关系在齐次坐标系中描述如下：
Figure BDA0003068912830000061
其中，f为摄像机的焦距；dx、dy为每个像素的物理尺寸，即dx×dy(mm2)；x'0、y'0表示像素坐标原点相对于图像坐标原点平移了[x0′,y′0]T；R表示一个3×3的旋转矩阵；T表示3×1的偏移矩阵。f、dx、dy、x'0、y'0称为摄像机的内部参数，它们只与摄像机有关；R、T称作摄像机的外部参数，当世界坐标系和相机坐标系的相对位置发生改变时，它们就会发生改变。
ZcA′＝K(RAW+t)＝KTAw
在多个摄像头的***中，此时以其中某一相机I为中心相机，假设现实世界中的点Aw＝[Xw,Yw,Zw]T和I相机坐标系下的点Ac＝[Xc,Yc,Zc]T是同一点，有Aw＝Ac，则摄像机I和I’下两个像素点A′1和A′2的像素位置为：
Figure BDA0003068912830000071
于是可得到像素点A′1和A′2的关系如下：
0＝A′2 TK-Tt×RK-1A′1
同时可将中间部分记为E＝t×R，或者F＝K-1EK-1，分别称为摄像机的本质矩阵和基础矩阵。以此描述摄像机间的位姿关系即为求解摄像机间的本质矩阵E或基础矩阵F的过程。
在该过程中，参考张正友标定的方式对摄像机进行标定，同一侧的三个摄像头从不同角度获取同一位置的棋盘图像，得摄像机位姿相关参数，确定摄像机间的相对位姿信息，为骑行状态下空间数据的获取提供条件。
发明中，我们将基于神经网络模型的二维人体骨架关键点检测与三角化获得空间信息的方法相结合，同时增加摄像机三维重建的约束项，以恢复稳健的骑行状态下人体关键点的空间数据。
二维人体骨架关键点的检测采用的是***.梅隆大学基于卷积神经网络和监督学习开发的openpose模型，这是一种利用PAFs的自下而上算法实现的可进行实时检测运动状态下二维人体骨架关键点的方法，相较于其他神经网络模型，其在保持检测精度的同时提高了检测速度，且具有较好的鲁棒性，其检测出的人体关键点如图1所示。
openpose网络模型包括主干网络VGG-19和至少一个stage模块；stage模块包括PCM模块、PAF模块、两个卷积层以及一个全连接层；第一卷积层与PCM模块连接，第二卷积层与PAF模块连接，且PCM模块和PAF模块并联，构成openpose网络模型。
优选的，openpose网络模型中包括多个stage模块，所有的stage模块串联，使得通过openpose网络模型后得到的人体关节点的像素坐标更精确。
对openpose网络模型进行训练的过程包括：
步骤1：获取原始图像数据，并对原始图像数据进行预处理；
步骤2：将预处理后的图像输入到主干网络VGG-19中提取图片的特征；
步骤3：对提取的特征进行卷积，将卷积的结果输入到PCM模块中，得到关键点热力图；
步骤4：对提取的特征进行卷积，将卷积的结果输入到PAF模块中，得到关键点亲和力场图；
步骤5：将特征图、关键点热力图和关键点亲和力场图输入到全连接层中，得到骑行图中人体关节点的像素坐标；
步骤6：计算openpose网络模型的损失函数，不断调整损失函数的参数，当损失函数最小时，完成模型的训练。
openpose网络模型中PAF模块和PCM模块损失函数的表达式
Figure BDA0003068912830000081
分别为：
Figure BDA0003068912830000082
Figure BDA0003068912830000083
其中，W(p)为权值，当标注缺少时，其值为0，
Figure BDA0003068912830000084
为PAF中训练得到的标注，
Figure BDA0003068912830000085
为PAF中预先标注数据，
Figure BDA0003068912830000086
为PCM中训练得到的标注，
Figure BDA0003068912830000087
为PAF中预先标注数据。整体的损失函数可表示为：
Figure BDA0003068912830000091
其中，Tp表示PAF模块的总层数，Tc表示PCM模块的总层数，
Figure BDA0003068912830000092
表示PAF模块的损失函数，
Figure BDA0003068912830000093
表示PCM模块中的损失函数。
恢复每个关节点的空间信息的过程包括：获取配对后的两张图像中的关节点对图像像素坐标；根据设备的位姿信息结合三角化方法对更新后的关节点空间信息进行恢复；设定权值，根据设置的权值对关节点的空间信息进行加权更新；所述两张图像中的关节点对为一个图像采集设备和中心位置上的图像采集设备同一时间获取的图像输入神经网络后输出的关节点，包括所有图像采集设备和中心位置上图像采集设备对应的关节点。
设置的权值为：
Figure BDA0003068912830000094
其中，n为图像采集设备个数。
如图2所示，三角测量即指通过观察同一空间点在不同位置形成的角度，恢复出其深度信息的方法。假设Aw为检测出的某一人体关键点，通过神经网络检测出其在两个摄像机I1和I2的像素坐标系下的点为A′1和A′2，结合第一部分的推导，有式：
d1A′1＝d2RA′2+t
其中d1、d1分别为两个点A′1和A′2的深度。已知R、t，则由上式和对极约束可求解出d1、d1，但由于随机噪声的存在，上式未必有解，可通过最小二乘法估计深度信息，同时针对不同摄像头获取的三维信息存在歧义性的问题，考虑实际应用场景，在骑行人体每侧使用三个摄像头，增加恢复空间信息的约束，提高空间信息获取的准确性。
骑行状态分析模型为支持向量机模型；将采集到的关节点的空间信息和对应的时间信息输入到训练好的支持向量机模型中，提取骑行运动特征，达到对骑行状态进行分析的目的。
在获取一段时间范围内的骑行状态下的空间信息后，对其三维坐标分别进行分析，根据三维人体关节点的几何关系计算出骑行状态下肢体的夹角、运动速度等信息，对骑行状态进行监测。
一种非接触式骑行运动状态监测***，该***包括骑行场景监控模块、骑行状态下时空参数获取模块以及骑行状态分析模块；
所述骑行场景监控模块包括多个数据采集模块，各个数据采集模块之间需同时运行，并完成标定，获得不同数据采集模块相对于中心位置的位姿信息，得到同一时刻的不同角度下人们骑行姿态的二维画面；
所述骑行状态下时空参数获取模块包括姿态分析的神经网络模块和空间信息恢复模块；
所述姿态分析的神经网络模块用于获取采集人体运动图像的关节点的图像像素坐标；
所述空间信息恢复模块用于获取关节点的空间信息；
所述骑行状态分析模块用于对获取的骑行状态下人体的时间以及空间信息分别进行分析，结合骑行状态下肢体的夹角、运动速度信息，对骑行状态进行监测。
在本发明中，***的具体实施方式与方法的具体实施方式相似。
以上所举实施例，对本发明的目的、技术方案和优点进行了进一步的详细说明，所应理解的是，以上所举实施例仅为本发明的优选实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种非接触式骑行运动状态监测方法，其特征在于，包括：获取图像采集设备的位姿信息，并根据该位姿信息固定图像采集设备；实时获取待监测人员的运动状态数据；将待监测人员的运动状态数据输入到运动状态监测模型中，判断当前待监测运动人员的运动情况，根据该情况对运动姿态进行调整；所述运动状态监测模型包括神经网络模型、空间信息恢复模块以及骑行状态分析模型；
运动状态监测模型对运动数据进行处理的过程包括：
S1：将获取的图像数据输入到训练好的神经网络中，得到每一张画面下骑行状态中不同关节点在像素坐标系下的位置信息；所述神经网络模型为openpose网络模型；
S2：将同一时刻下不同角度获取的关节点的信息按照时间顺序进行匹配对应，将对应好的关节点信息输入到空间信息恢复模块中恢复每个关节点的空间信息；
S3：将每个关节点的空间信息按照时间顺序依次输入到骑行状态分析模型中，得到当前骑行状态下的运动情况。
2.根据权利要求1所述的一种非接触式骑行运动状态监测方法，其特征在于，获取图像采集设备的位姿信息的过程包括：根据各个图像采集设备的位置信息确定中心图像采集设备位置信息；确定过程包括：计算各个图像采集设备到除该设备外到其他设备的直线距离之和，对所有的距离之和进行比较，选出最小距离之和，将该图像采集设备作为中心图像采集设备；设置获取不同角度图像采集设备采集同一位置的棋盘图像；根据采集的棋盘图像对图像采集设备相对中心位置的位姿信息进行解算，得到图像采集设备的相对位姿信息。
3.根据权利要求2所述的一种非接触式骑行运动状态监测方法，其特征在于，在采集数据过程中采用至少3个图像采集设备，且将图像采集设备按照求解的位姿信息进行固定。
4.根据权利要求2所述的一种非接触式骑行运动状态监测方法，其特征在于，对图像采集设备相对中心位置的位姿信息进行解算的过程包括：对图像采集设备进行单目标定和双目标定，根据标定结果得到各设备的位姿信息；单目标定包括根据棋盘图像对图像采集设备进行进行矫正，获取矫正后图像采集设备的内参数，得到内参数矩阵；双目标定的过程包括采用张正有标定方法对棋盘图像进行标定，得到棋盘图像匹配点对；根据棋盘图像匹配点对获取图像采集设备的旋转矩阵和平移矩阵；根据内参数矩阵、旋转矩阵以及平移矩阵得到图像采集设备的相对位姿信息。
5.根据权利要求1所述的一种非接触式骑行运动状态监测方法，其特征在于，openpose网络模型包括主干网络VGG-19和至少一个stage模块；stage模块包括PCM模块、PAF模块、两个卷积层以及一个全连接层；第一卷积层与PCM模块连接，第二卷积层与PAF模块连接，且PCM模块和PAF模块并联；对openpose网络模型进行训练的过程包括：
步骤1：获取原始图像数据，并对原始图像数据进行预处理；
步骤2：将预处理后的图像输入到主干网络VGG-19中提取图片的特征；
步骤3：对提取的特征进行卷积，将卷积的结果输入到PCM模块中，得到关键点热力图；
步骤4：对提取的特征进行卷积，将卷积的结果输入到PAF模块中，得到关键点亲和力场图；
步骤5：将特征图、关键点热力图和关键点亲和力场图输入到全连接层中，得到骑行图中人体关节点的像素坐标；
步骤6：计算openpose网络模型的损失函数，不断调整损失函数的参数，当损失函数最小时，完成模型的训练。
6.根据权利要求5所述的一种非接触式骑行运动状态监测方法，其特征在于，openpose网络模型中PAF模块和PCM模块损失函数的表达式
Figure FDA0003068912820000021
分别为：
Figure FDA0003068912820000022
Figure FDA0003068912820000031
其中，c表示第c个置信映射，C表示置信映射的总个数，W(p)表示权值，p表示当前处理为第p组数据，
Figure FDA0003068912820000032
为PAF中训练得到的标注，ti表示PAF模块中的第i层，J表示第j个置信映射，
Figure FDA0003068912820000033
为PAF模块中预先标注数据，
Figure FDA0003068912820000034
表示PCM模块中训练得到的标注，tk表示PCM模块中第k层，
Figure FDA0003068912820000035
为PCM中预先标注数据；整体的损失函数为：
Figure FDA0003068912820000036
其中，Tp表示PAF模块的总层数，Tc表示PCM模块的总层数，
Figure FDA0003068912820000037
表示PAF模块的损失函数，
Figure FDA0003068912820000038
表示PCM模块中的损失函数。
7.根据权利要求1所述的一种非接触式骑行运动状态监测方法，其特征在于，恢复每个关节点的空间信息的过程包括：获取配对后的两张图像中的关节点对图像像素坐标；根据设备的位姿信息结合三角化方法对更新后的关节点空间信息进行恢复；设定权值，根据设置的权值对关节点的空间信息进行加权更新；所述两张图像中的关节点对为一个图像采集设备和中心位置上的图像采集设备同一时间获取的图像输入神经网络后输出的关节点，包括所有图像采集设备和中心位置上图像采集设备对应的关节点。
8.根据权利要求7所述的一种非接触式骑行运动状态监测方法，其特征在于，设定的权值为：
Figure FDA0003068912820000039
其中，n为图像采集设备个数。
9.根据权利要求1所述的一种非接触式骑行运动状态监测方法，其特征在于，骑行状态分析模型为支持向量机模型；将采集到的关节点的空间信息和对应的时间信息输入到训练好的支持向量机模型中，提取骑行运动特征，根据提取的骑行运动特征对骑行状态进行分析，判断当前的骑行状态是否正确，若骑行状态不正确则发出警报，若骑行状态正确，则无影响。
10.一种非接触式骑行运动状态监测***，其特征在于，该***包括：骑行场景监控模块、骑行状态下时空参数获取模块以及骑行状态分析模块；
所述骑行场景监控模块包括多个数据采集模块，各个数据采集模块之间需同时运行，并完成标定，获得不同数据采集模块相对于中心位置的位姿信息，得到同一时刻的不同角度下人们骑行姿态的二维画面；
所述骑行状态下时空参数获取模块包括姿态分析的神经网络模块和空间信息恢复模块；
所述姿态分析的神经网络模块用于获取采集人体运动图像的关节点的图像像素坐标；
所述空间信息恢复模块用于获取关节点的空间信息；
所述骑行状态分析模块用于对获取的骑行状态下人体的时间以及空间信息分别进行分析，结合骑行状态下肢体的夹角、运动速度信息，对骑行状态进行监测。
CN202110539560.4A 2021-05-17 2021-05-17 一种非接触式骑行运动状态监测方法及其*** Active CN113361333B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110539560.4A CN113361333B (zh) 2021-05-17 2021-05-17 一种非接触式骑行运动状态监测方法及其***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110539560.4A CN113361333B (zh) 2021-05-17 2021-05-17 一种非接触式骑行运动状态监测方法及其***

Publications (2)

Publication Number Publication Date
CN113361333A true CN113361333A (zh) 2021-09-07
CN113361333B CN113361333B (zh) 2022-09-27

Family

ID=77526831

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110539560.4A Active CN113361333B (zh) 2021-05-17 2021-05-17 一种非接触式骑行运动状态监测方法及其***

Country Status (1)

Country Link
CN (1) CN113361333B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115034280A (zh) * 2022-03-16 2022-09-09 宁夏广天夏科技股份有限公司 矿井下人员不安全行为检测***

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130236089A1 (en) * 2011-09-11 2013-09-12 Primesense Ltd. Learning-based estimation of hand and finger pose
US20150116472A1 (en) * 2013-10-24 2015-04-30 Global Action Inc. Measuring system and measuring method for analyzing knee joint motion trajectory during cycling
CN105664462A (zh) * 2016-01-07 2016-06-15 北京邮电大学 基于人体姿态估计算法的辅助训练***
CN107451568A (zh) * 2017-08-03 2017-12-08 重庆邮电大学 使用深度卷积神经网络的姿态检测方法及设备
CN108345869A (zh) * 2018-03-09 2018-07-31 南京理工大学 基于深度图像和虚拟数据的驾驶人姿态识别方法
CN110458046A (zh) * 2019-07-23 2019-11-15 南京邮电大学 一种基于关节点提取的人体运动轨迹分析方法
US20200074165A1 (en) * 2017-03-10 2020-03-05 ThirdEye Labs Limited Image analysis using neural networks for pose and action identification
CN111008583A (zh) * 2019-11-28 2020-04-14 清华大学 一种利用肢体特征辅助的行人和骑车人姿态估计方法
CN111476187A (zh) * 2020-04-13 2020-07-31 福州联合力拓信息科技有限公司 自行车骑行姿势分析方法及矫正***
CN111680586A (zh) * 2020-05-26 2020-09-18 电子科技大学 一种羽毛球运动员运动姿态估计方法及***
CN111695402A (zh) * 2019-03-12 2020-09-22 沃尔沃汽车公司 用于标注3d点云数据中人体姿态的工具和方法
CN111743543A (zh) * 2020-05-27 2020-10-09 武汉齐物科技有限公司 一种骑行者运动状态检测方法、装置及码表
CN112129290A (zh) * 2019-06-24 2020-12-25 罗伯特·博世有限公司 用于监测骑行设备的***及方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130236089A1 (en) * 2011-09-11 2013-09-12 Primesense Ltd. Learning-based estimation of hand and finger pose
US20150116472A1 (en) * 2013-10-24 2015-04-30 Global Action Inc. Measuring system and measuring method for analyzing knee joint motion trajectory during cycling
CN105664462A (zh) * 2016-01-07 2016-06-15 北京邮电大学 基于人体姿态估计算法的辅助训练***
US20200074165A1 (en) * 2017-03-10 2020-03-05 ThirdEye Labs Limited Image analysis using neural networks for pose and action identification
CN107451568A (zh) * 2017-08-03 2017-12-08 重庆邮电大学 使用深度卷积神经网络的姿态检测方法及设备
CN108345869A (zh) * 2018-03-09 2018-07-31 南京理工大学 基于深度图像和虚拟数据的驾驶人姿态识别方法
CN111695402A (zh) * 2019-03-12 2020-09-22 沃尔沃汽车公司 用于标注3d点云数据中人体姿态的工具和方法
CN112129290A (zh) * 2019-06-24 2020-12-25 罗伯特·博世有限公司 用于监测骑行设备的***及方法
CN110458046A (zh) * 2019-07-23 2019-11-15 南京邮电大学 一种基于关节点提取的人体运动轨迹分析方法
CN111008583A (zh) * 2019-11-28 2020-04-14 清华大学 一种利用肢体特征辅助的行人和骑车人姿态估计方法
CN111476187A (zh) * 2020-04-13 2020-07-31 福州联合力拓信息科技有限公司 自行车骑行姿势分析方法及矫正***
CN111680586A (zh) * 2020-05-26 2020-09-18 电子科技大学 一种羽毛球运动员运动姿态估计方法及***
CN111743543A (zh) * 2020-05-27 2020-10-09 武汉齐物科技有限公司 一种骑行者运动状态检测方法、装置及码表

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
崔莉亚: "运动场景下人体动作分析算法研究", 《中国优秀博硕士学位论文全文数据库(硕士)社会科学Ⅱ辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115034280A (zh) * 2022-03-16 2022-09-09 宁夏广天夏科技股份有限公司 矿井下人员不安全行为检测***

Also Published As

Publication number Publication date
CN113361333B (zh) 2022-09-27

Similar Documents

Publication Publication Date Title
CN111881887A (zh) 基于多摄像头的运动姿态监测和指导方法及装置
CN108629946B (zh) 一种基于rgbd传感器的人体跌倒检测方法
CN110321754B (zh) 一种基于计算机视觉的人体运动姿态纠正方法及***
CN109949341B (zh) 一种基于人体骨架结构化特征的行人目标跟踪方法
CN109377513B (zh) 一种针对两视图的全局三维人体姿态可信估计方法
CN109934848A (zh) 一种基于深度学习的运动物体精准定位的方法
CN113516005B (zh) 一种基于深度学习和姿态估计的舞蹈动作评价***
CN114119739A (zh) 一种基于双目视觉的手部关键点空间坐标获取方法
CN113139962B (zh) 用于脊柱侧凸概率评估的***和方法
CN106846372B (zh) 人体运动质量视觉分析与评价***及其方法
CN111476077A (zh) 一种基于深度学习的多视角步态识别方法
CN110032940A (zh) 一种视频行人重识别的方法和***
CN111401340B (zh) 目标对象的运动检测方法和装置
CN117671738B (zh) 基于人工智能的人体姿态识别***
US20210035326A1 (en) Human pose estimation system
CN113361333B (zh) 一种非接触式骑行运动状态监测方法及其***
Ingwersen et al. SportsPose-A Dynamic 3D sports pose dataset
Chen et al. Measurement of body joint angles for physical therapy based on mean shift tracking using two low cost Kinect images
CN115035546A (zh) 三维人体姿态检测方法、装置及电子设备
CN113256789B (zh) 一种三维实时人体姿态重建方法
CN109993116A (zh) 一种基于人体骨骼相互学习的行人再识别方法
CN113221815A (zh) 一种基于骨骼关键点自动检测技术的步态鉴定方法
CN102034248B (zh) 单目图像序列的运动分割和3d表达方法
CN114639168B (zh) 一种用于跑步姿态识别的方法和***
Ferlinghetti et al. Algorithm development for contact identification during wheelchair tennis propulsion using marker-less vision system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant