CN109758756A - 基于3d相机的体操视频分析方法及*** - Google Patents
基于3d相机的体操视频分析方法及*** Download PDFInfo
- Publication number
- CN109758756A CN109758756A CN201910151559.7A CN201910151559A CN109758756A CN 109758756 A CN109758756 A CN 109758756A CN 201910151559 A CN201910151559 A CN 201910151559A CN 109758756 A CN109758756 A CN 109758756A
- Authority
- CN
- China
- Prior art keywords
- camera
- artis
- gymnastics
- crucial
- human body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明涉及一种用于辅助体操训练的视频分析方法及***。其目的是为了提供一种能够提高人体关键关节点的检测精确度、实现数据智能化自动化处理的体操视频分析方法及分析***。本发明基于3D相机的体操视频分析***包括3D相机、分析模块和显示模块。分析方法是首先进行行人检测，根据行人检测的候选框估计人体关键关节点；而后运用卷积神经网络预测人体的关键关节点，从而获得精确的关节点坐标估计，保证在不同视角、光照、距离变化下，都可以获得比较好的结果；再将图像的彩色信息和深度信息结合，得到人体关键关节点3D信息；最终根据人体关键关节点在3D空间的轨迹及关键关节点角度信息，构建形成体操的辅助训练***。
Description
技术领域
本发明涉及一种辅助训练***，特别是涉及一种用于辅助体操训练的视频分析***及方法。
背景技术
在传统的体育运动训练中，训练人员通常采用基于肉眼观察判断的训练方法。一方面，这要求经验丰富的从业者如教练在场，另一方面，这种方法无法实现自动化，需要消耗大量的人力物力来完成。
随着计算机技术的发展，体育辅助训练***的研究朝着智能化和科学化的方向发展，越来越多的视频处理技术和图像处理技术被用于体育运动的分析中。目前在体操视频分析领域训练人员大多采用二维视频分析技术实现关节点、角度、重心，以及其他相关分析。但是由于体操运动存在大量的翻转、旋转等动作，二维解析技术不能获取这些动作过程的有效数据与信息，不能给科学分析提供数据支撑，也不能进行多角度的视频观察，提供更有价值的可视化信息。
目前体操分析领域出现的3D分析与应用大多专注于可视化方面，仅为教练或者运动员提供多角度直观分析的基本功能，没有结合3D分析技术、深度学习技术的最新研究成果，量化分析，提取运动过程中关键技术节点的时空信息，更没有利用相关技术提供智能化、自主化的体操电子裁判功能。
现有的一种训练***实例是一种基于人体姿态估计算法的辅助训练***，该方法从单目视频中提取出人体的15个主要关节点的坐标，在上述基础上搭建高尔夫球的辅助训练***。该方法的具体步骤如下：
(1)、目标检测；基于ViBe模型的背景建模方法检测并提取出视频中人体二值轮廓图；
(2)、轮廓边缘特征提取，运用Canny边缘检测算法得到图像的轮廓边缘图；
(3)、人体姿态估计，获取轮廓边缘图中人体模型的15个关节点坐标；
(4)、搭建辅助训练***。
该方法的缺点如下：
(1)、该方法是基于二维的解析技术，不能精确的进行数据的分析；
(2)、该方法是基于传统的数字图像处理技术，人体关节点的估计不够精确，不适用于体操运动中大量存在的反转、旋转等动作。
发明内容
本发明要解决的技术问题是提供一种能够提高人体关键关节点的检测精确度、实现数据智能化自动化处理的体操视频分析***及分析方法。
本发明基于3D相机的体操视频分析方法，包括以下步骤：
a、使用3D相机对运动员做出的体操动作进行实时拍摄，获得同步后的视频数据；
b、将视频数据输入到分析模块中获得输入数据集，并对输入数据集进行预处理；
c、利用卷积神经网络，获得人体各关键关节点的候选坐标，其具体步骤为：
c1、利用行人检测框架得到人体的候选框；
c2、经过卷积神经网络中的若干个卷积层获得各个关键关节点的坐标信息；
d根据相机的内外参数、关键关节点的坐标和各关键关节点相应的深度信息获得各个关键关节点的在3D空间的坐标；
e根据得到的各个关键关节点的3D坐标，获得关节点间的角度信息和连续的轨迹，从而构建辅助训练***。
本发明基于3D相机的体操视频分析方法，其中所述步骤a中同步的参数为彩色与深度。
本发明基于3D相机的体操视频分析方法，其中所述步骤b中预处理的内容包括数据扩展和分割数据集图片。
本发明基于3D相机的体操视频分析方法，其中所述步骤c2中采用自顶向下(top-down)的结构的获得各个关键关节点的坐标信息，分为两个阶段：第一阶段使用faster-rcnn原理做检测，检测出图片中的多个人，并根据检测到的每一个包含人的矩形框对图像进行剪切；第二阶段采用全卷积的resnet网络对每一个矩形框中的人物预测热图(denseheatmap)和偏移(offset)；最后通过热图和偏移的融合得到关键点的精确定位。
本发明基于3D相机的体操视频分析***，其中包括3D相机、分析模块和显示模块，分析模块包括输入接口、处理器和输出接口，所述处理器内置有卷积神经网络模型。
本发明基于3D相机的体操视频分析***，其中所述3D相机通过数据线连接分析模块的输入接口，分析模块的内部输入接口、处理器和输出接口依次电性连接，输出接口连接显示模块。
本发明基于3D相机的体操视频分析***与现有技术不同之处在于本发明基于3D相机的体操视频分析***及方法通过非接触方式能够获取体操运动关键节点的数据信息，再进一步分析相关角度、重心、坐标等数据，通过可视化直观的展现出来，为教练的评判提供实时、在线的数据支撑，从而解决现有技术中数据不精确、数据处理和分析不够智能化的问题。
具体实施方式
本发明基于3D相机的体操视频分析***是基于深度的神经网络模型的训练优化来完成的，包括3D相机、分析模块和显示模块，分析模块包括输入接口、处理器和输出接口。3D相机通过数据线连接分析模块的输入接口，分析模块的内部输入接口、处理器和输出接口依次电性连接，输出接口连接显示模块。其中3D相机用于采集视频数据，分析模块用于处理3D相机采用的数据，显示模块用于显示分析模块处理后的最终输出结果。
一种应用本发明基于3D相机的体操视频分析***的分析方法主要包括以下步骤：
a：使用3D相机对运动员做出的体操动作进行实时拍摄，获得彩色与深度参数同步后的视频数据；
b：将视频数据输入到分析模块中获得输入数据集，并对输入数据集进行预处理，包括数据扩展和分割数据集图片；
c：利用卷积神经网络，获得人体各关键关节点的候选坐标，具体步骤为：
c1：利用行人检测框架得到人体的候选框，
c2：经过卷积神经网络中的数个卷积层获得各个关键关节点的坐标信息；
d：根据相机的内外参数、关键关节点的坐标和相应的深度信息获得各个关键关节点的在3D空间的坐标；
e：根据得到的各个关键关节点的3D坐标，获得关节点间的角度信息和连续的轨迹，从而构建辅助训练***。
在步骤c2中，采用自顶向下(top-down)的结构的获得各个关键关节点的坐标信息，分为两个阶段：第一阶段使用faster-rcnn原理做检测，检测出图片中的多个人，并根据检测到的每一个包含人的矩形框对图像进行剪切；第二阶段采用全卷积的resnet网络对每一个矩形框中的人物预测热图(dense heatmap)和偏移(offset)；最后通过热图和偏移的融合得到关键点的精确定位。
在步骤d中，获得3D坐标可根据公式：
获得。相机成像的过程就是世界坐标系向像素坐标系转换的过程，即：世界坐标系(3d)→相机坐标系(3d)→像平面坐标系(2d)→像素坐标系(2d)，经过这样逐级的转换之后，物体在空间中的3D坐标即转换为在图像中的像素坐标。具体包括以下步骤：
(1)世界坐标系(3d)->相机坐标系(3d)：
从世界坐标系到相机坐标系的转换是刚体变换，是旋转动作和平移动作的结果，如下公式所示：
(2)相机坐标系(3d)->像平面坐标系(2d)，如下公式所示：
(3)像平面坐标系(2d)->像素坐标系(2d)：
像素坐标是光在平面成像的一个模拟量，所以需要对成像平面上的像进行采样和量化，得到物体的像在像素平面上的坐标值。像素平面与成像平面之间，相差一个缩放和原点的平移。如下式所示，在u轴上放大了α倍，在v轴上放大β倍，原点平移cx，cy。得到公式：
这里忽略了相机畸变的影响。
融合式2)、3)得到相机坐标系到像素坐标的转化公式：
整理成齐次形式：
融合5)和1)得到：
其中xw、yw、zw为世界坐标系坐标，xc、yc、zc为相机坐标系坐标，x、y为像平面坐标系坐标，u、v为像素坐标系坐标，f为成像平面与光心之间的距离。
本发明的基于3D相机的体操视频分析方法在实施过程中首先进行行人检测，根据行人检测的候选框估计人体关键关节点；而后运用卷积神经网络预测人体的关键关节点，从而获得精确的关节点坐标估计，保证在不同视角、光照、距离变化下，都可以获得比较好的结果；再将图像的彩色信息和深度信息结合，得到人体关键关节点3D信息；最终根据人体关键关节点在3D空间的轨迹及关键关节点角度信息，构建形成体操的辅助训练***。
本发明的基于3D相机的体操视频分析方法不仅能够提供多视角的三维视频影像，还能提取像体操这类身体翻转、扭曲动作的关键关节点以及关键角度。本发明使用卷积深度学习神经网络结构，使得人体关键关节点的检测的精确度明显提高，从而实现智能化自动化的体操辅助训练***。
本发明的有益效果在于通过非接触方式能够获取体操运动关键节点的数据信息，再进一步分析相关角度、重心、坐标等数据，通过可视化直观的展现出来，为教练的评判提供实时、在线的数据支撑，从而解决现有技术中数据不精确、数据处理不够智能化的问题。
以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。
Claims (6)
1.一种基于3D相机的体操视频分析方法，其特征在于：包括以下步骤：
a、使用3D相机对运动员做出的体操动作进行实时拍摄，获得同步后的视频数据；
b、将视频数据输入到分析模块中获得输入数据集，并对输入数据集进行预处理；
c、利用卷积神经网络，获得人体各关键关节点的候选坐标，其具体步骤为：
c1、利用行人检测框架得到人体的候选框；
c2、经过卷积神经网络中的若干个卷积层获得各个关键关节点的坐标信息；
d、根据相机的内外参数、关键关节点的坐标和各关键关节点相应的深度信息获得各个关键关节点的在3D空间的坐标；
e、根据得到的各个关键关节点的3D坐标，获得关节点间的角度信息和连续的轨迹，从而构建辅助训练***。
2.根据权利要求1所述的基于3D相机的体操视频分析方法，其特征在于：所述步骤a中同步的参数为彩色与深度。
3.根据权利要求1所述的基于3D相机的体操视频分析方法，其特征在于：所述步骤b中预处理的内容包括数据扩展和分割数据集图片。
4.根据权利要求1所述的基于3D相机的体操视频分析方法，其特征在于：所述步骤c2中采用自顶向下(top-down)的结构的获得各个关键关节点的坐标信息，分为两个阶段：第一阶段使用faster-rcnn原理做检测，检测出图片中的多个人，并根据检测到的每一个包含人的矩形框对图像进行剪切；第二阶段采用全卷积的resnet网络对每一个矩形框中的人物预测热图(dense heatmap)和偏移(offset)；最后通过热图和偏移的融合得到关键点的精确定位。
5.一种基于3D相机的体操视频分析***，其特征在于：包括3D相机、分析模块和显示模块，分析模块包括输入接口、处理器和输出接口，所述处理器内置有卷积神经网络模型。
6.根据权利要求5所述的基于3D相机的体操视频分析***，其特征在于：所述3D相机通过数据线连接分析模块的输入接口，分析模块的内部输入接口、处理器和输出接口依次电性连接，输出接口连接显示模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910151559.7A CN109758756B (zh) | 2019-02-28 | 2019-02-28 | 基于3d相机的体操视频分析方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910151559.7A CN109758756B (zh) | 2019-02-28 | 2019-02-28 | 基于3d相机的体操视频分析方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109758756A true CN109758756A (zh) | 2019-05-17 |
| CN109758756B CN109758756B (zh) | 2021-03-23 |
Family
ID=66457443
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910151559.7A Active CN109758756B (zh) | 2019-02-28 | 2019-02-28 | 基于3d相机的体操视频分析方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109758756B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110354481A (zh) * | 2019-07-30 | 2019-10-22 | 天水师范学院 | 一种基于数字化场地和高速影像的体育训练分析*** |
| CN110688929A (zh) * | 2019-09-20 | 2020-01-14 | 北京华捷艾米科技有限公司 | 一种人体骨架关节点定位方法及装置 |
| CN111260649A (zh) * | 2020-05-07 | 2020-06-09 | 常州唯实智能物联创新中心有限公司 | 一种近距离机械臂感知与校准方法 |
| CN112102947A (zh) * | 2020-04-13 | 2020-12-18 | 国家体育总局体育科学研究所 | 用于身体姿态评估的装置和方法 |
| CN112668549A (zh) * | 2021-01-15 | 2021-04-16 | 北京格灵深瞳信息技术股份有限公司 | 行人姿态分析方法、***、及终端、存储介质 |
| CN113379930A (zh) * | 2021-05-25 | 2021-09-10 | 广州紫为云科技有限公司 | 通过人体曲线图进行的沉浸式交互方法、装置及存储介质 |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102072706A (zh) * | 2009-11-20 | 2011-05-25 | 深圳先进技术研究院 | 一种多相机定位与跟踪方法及*** |
| US20170308856A1 (en) * | 2007-09-28 | 2017-10-26 | Great-Circle Technologies, Inc. | Bundling of automated work flow |
| CN108335350A (zh) * | 2018-02-06 | 2018-07-27 | 聊城大学 | 双目立体视觉的三维重建方法 |
| CN108416321A (zh) * | 2018-03-23 | 2018-08-17 | 北京市商汤科技开发有限公司 | 用于预测目标对象运动朝向的方法、车辆控制方法及装置 |
| CN108549876A (zh) * | 2018-04-20 | 2018-09-18 | 重庆邮电大学 | 基于目标检测和人体姿态估计的坐姿检测方法 |
| CN108805064A (zh) * | 2018-05-31 | 2018-11-13 | 中国农业大学 | 一种基于深度学习的鱼类定位检测和识别方法及*** |
| CN108829232A (zh) * | 2018-04-26 | 2018-11-16 | 深圳市深晓科技有限公司 | 基于深度学习的人体骨骼关节点三维坐标的获取方法 |
| CN108875588A (zh) * | 2018-05-25 | 2018-11-23 | 武汉大学 | 基于深度学习的跨摄像头行人检测跟踪方法 |
| CN108898191A (zh) * | 2018-09-26 | 2018-11-27 | 苏州米特希赛尔人工智能有限公司 | 卷积神经网络特征提取图像传感器 |
| US20180341495A1 (en) * | 2017-05-26 | 2018-11-29 | Purdue Research Foundation | Hardware Accelerator for Convolutional Neural Networks and Method of Operation Thereof |
| CN208172859U (zh) * | 2018-04-28 | 2018-11-30 | 上海视可电子科技有限公司 | 一种智能图像采集装置 |
| CN108972494A (zh) * | 2018-06-22 | 2018-12-11 | 华南理工大学 | 一种仿人机械手抓取控制***及其数据处理方法 |
| CN109087329A (zh) * | 2018-07-27 | 2018-12-25 | 中山大学 | 基于深度网络的人体三维关节点估计框架及其定位方法 |
| CN109145788A (zh) * | 2018-08-08 | 2019-01-04 | 北京云舶在线科技有限公司 | 基于视频的姿态数据捕捉方法和*** |
| CN109241841A (zh) * | 2018-08-01 | 2019-01-18 | 甘肃未来云数据科技有限公司 | 视频人体动作的获取方法和装置 |
| CN109359636A (zh) * | 2018-12-14 | 2019-02-19 | 腾讯科技（深圳）有限公司 | 视频分类方法、装置及服务器 |
| CN109376681A (zh) * | 2018-11-06 | 2019-02-22 | 广东工业大学 | 一种多人姿态估计方法及*** |
-
2019
- 2019-02-28 CN CN201910151559.7A patent/CN109758756B/zh active Active
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170308856A1 (en) * | 2007-09-28 | 2017-10-26 | Great-Circle Technologies, Inc. | Bundling of automated work flow |
| CN102072706A (zh) * | 2009-11-20 | 2011-05-25 | 深圳先进技术研究院 | 一种多相机定位与跟踪方法及*** |
| US20180341495A1 (en) * | 2017-05-26 | 2018-11-29 | Purdue Research Foundation | Hardware Accelerator for Convolutional Neural Networks and Method of Operation Thereof |
| CN108335350A (zh) * | 2018-02-06 | 2018-07-27 | 聊城大学 | 双目立体视觉的三维重建方法 |
| CN108416321A (zh) * | 2018-03-23 | 2018-08-17 | 北京市商汤科技开发有限公司 | 用于预测目标对象运动朝向的方法、车辆控制方法及装置 |
| CN108549876A (zh) * | 2018-04-20 | 2018-09-18 | 重庆邮电大学 | 基于目标检测和人体姿态估计的坐姿检测方法 |
| CN108829232A (zh) * | 2018-04-26 | 2018-11-16 | 深圳市深晓科技有限公司 | 基于深度学习的人体骨骼关节点三维坐标的获取方法 |
| CN208172859U (zh) * | 2018-04-28 | 2018-11-30 | 上海视可电子科技有限公司 | 一种智能图像采集装置 |
| CN108875588A (zh) * | 2018-05-25 | 2018-11-23 | 武汉大学 | 基于深度学习的跨摄像头行人检测跟踪方法 |
| CN108805064A (zh) * | 2018-05-31 | 2018-11-13 | 中国农业大学 | 一种基于深度学习的鱼类定位检测和识别方法及*** |
| CN108972494A (zh) * | 2018-06-22 | 2018-12-11 | 华南理工大学 | 一种仿人机械手抓取控制***及其数据处理方法 |
| CN109087329A (zh) * | 2018-07-27 | 2018-12-25 | 中山大学 | 基于深度网络的人体三维关节点估计框架及其定位方法 |
| CN109241841A (zh) * | 2018-08-01 | 2019-01-18 | 甘肃未来云数据科技有限公司 | 视频人体动作的获取方法和装置 |
| CN109145788A (zh) * | 2018-08-08 | 2019-01-04 | 北京云舶在线科技有限公司 | 基于视频的姿态数据捕捉方法和*** |
| CN108898191A (zh) * | 2018-09-26 | 2018-11-27 | 苏州米特希赛尔人工智能有限公司 | 卷积神经网络特征提取图像传感器 |
| CN109376681A (zh) * | 2018-11-06 | 2019-02-22 | 广东工业大学 | 一种多人姿态估计方法及*** |
| CN109359636A (zh) * | 2018-12-14 | 2019-02-19 | 腾讯科技（深圳）有限公司 | 视频分类方法、装置及服务器 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110354481A (zh) * | 2019-07-30 | 2019-10-22 | 天水师范学院 | 一种基于数字化场地和高速影像的体育训练分析*** |
| CN110688929A (zh) * | 2019-09-20 | 2020-01-14 | 北京华捷艾米科技有限公司 | 一种人体骨架关节点定位方法及装置 |
| CN110688929B (zh) * | 2019-09-20 | 2021-11-30 | 北京华捷艾米科技有限公司 | 一种人体骨架关节点定位方法及装置 |
| CN112102947A (zh) * | 2020-04-13 | 2020-12-18 | 国家体育总局体育科学研究所 | 用于身体姿态评估的装置和方法 |
| CN112102947B (zh) * | 2020-04-13 | 2024-02-13 | 国家体育总局体育科学研究所 | 用于身体姿态评估的装置和方法 |
| CN111260649A (zh) * | 2020-05-07 | 2020-06-09 | 常州唯实智能物联创新中心有限公司 | 一种近距离机械臂感知与校准方法 |
| CN112668549A (zh) * | 2021-01-15 | 2021-04-16 | 北京格灵深瞳信息技术股份有限公司 | 行人姿态分析方法、***、及终端、存储介质 |
| CN113379930A (zh) * | 2021-05-25 | 2021-09-10 | 广州紫为云科技有限公司 | 通过人体曲线图进行的沉浸式交互方法、装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109758756B (zh) | 2021-03-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109758756A (zh) | 基于3d相机的体操视频分析方法及*** | |
| CN107204010B (zh) | 一种单目图像深度估计方法与*** | |
| CN110020611B (zh) | 一种基于三维假设空间聚类的多人动作捕捉方法 | |
| WO2020228766A1 (zh) | 基于实景建模与智能识别的目标跟踪方法、***及介质 | |
| CN108388882B (zh) | 基于全局-局部rgb-d多模态的手势识别方法 | |
| CN104167016B (zh) | 一种基于rgb彩色与深度图像的三维运动重建方法 | |
| Hoppe et al. | Online Feedback for Structure-from-Motion Image Acquisition. | |
| CN112990310A (zh) | 服务于电力机器人的人工智能***及方法 | |
| CN108256439A (zh) | 一种基于循环生成式对抗网络的行人图像生成方法及*** | |
| CN106780543A (zh) | 一种基于卷积神经网络的双框架估计深度和运动方法 | |
| CN110443898A (zh) | 一种基于深度学习的ar智能终端目标识别***及方法 | |
| CN102622766A (zh) | 多目标优化的多镜头人体运动跟踪方法 | |
| CN111680586B (zh) | 一种羽毛球运动员运动姿态估计方法及*** | |
| CN117671738B (zh) | 基于人工智能的人体姿态识别*** | |
| CN106156714A (zh) | 基于骨骼关节特征和表面特征融合的人体行为识别方法 | |
| CN110941996A (zh) | 一种基于生成对抗网络的目标及轨迹增强现实方法和*** | |
| CN106815855A (zh) | 基于产生式和判别式结合的人体运动跟踪方法 | |
| CN111145865A (zh) | 一种基于视觉的手部精细动作训练指导***及方法 | |
| CN110009675A (zh) | 生成视差图的方法、装置、介质及设备 | |
| CN112101262A (zh) | 一种多特征融合手语识别方法及网络模型 | |
| CN115376034A (zh) | 一种基于人体三维姿态时空关联动作识别的运动视频采集剪辑方法及装置 | |
| CN112365578A (zh) | 基于双摄像机的三维人体模型重构***及方法 | |
| CN107704851A (zh) | 人物识别方法、公共传媒展示装置、服务器和*** | |
| CN1766929B (zh) | 一种基于三维数据库的运动对象运动重构方法 | |
| CN113065506A (zh) | 一种人体姿态识别方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |