CN111754620B - 人体空间运动转换方法、转换装置、电子设备及存储介质 - Google Patents
人体空间运动转换方法、转换装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111754620B CN111754620B CN202010601769.4A CN202010601769A CN111754620B CN 111754620 B CN111754620 B CN 111754620B CN 202010601769 A CN202010601769 A CN 202010601769A CN 111754620 B CN111754620 B CN 111754620B
- Authority
- CN
- China
- Prior art keywords
- human body
- motion
- video
- joint point
- body space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 149
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 6
- 238000012549 training Methods 0.000 claims abstract description 5
- 230000009471 action Effects 0.000 claims description 34
- 238000004891 communication Methods 0.000 claims description 18
- 210000003141 lower extremity Anatomy 0.000 claims description 17
- 210000001364 upper extremity Anatomy 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 7
- 230000003139 buffering effect Effects 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 238000011160 research Methods 0.000 abstract description 4
- 238000013135 deep learning Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 210000003423 ankle Anatomy 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 210000001624 hip Anatomy 0.000 description 3
- 230000009194 climbing Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000003137 locomotive effect Effects 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 210000000323 shoulder joint Anatomy 0.000 description 2
- 230000009182 swimming Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 206010030113 Oedema Diseases 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000009189 diving Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 210000002310 elbow joint Anatomy 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 210000002683 foot Anatomy 0.000 description 1
- 210000004394 hip joint Anatomy 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 210000002414 leg Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- RZSCFTDHFNHMOR-UHFFFAOYSA-N n-(2,4-difluorophenyl)-2-[3-(trifluoromethyl)phenoxy]pyridine-3-carboxamide;1,1-dimethyl-3-(4-propan-2-ylphenyl)urea Chemical compound CC(C)C1=CC=C(NC(=O)N(C)C)C=C1.FC1=CC(F)=CC=C1NC(=O)C1=CC=CN=C1OC1=CC=CC(C(F)(F)F)=C1 RZSCFTDHFNHMOR-UHFFFAOYSA-N 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种人体空间运动转换方法、转换装置、电子设备及存储介质，方法包括获取人体的运动视频，并提取视频中人体关节点的运动信息；将提取的关节点运动信息输入数据库，得到所述数据库输出的人体空间运动转换模型；其中，所述数据库是利用卷积神经网络，基于人体空间运动样本训练得到的；获取人体的运动视频，并提取视频中人体的关节点运动信息，包括：基于Openpose对视频中人体的关节点进行解析，得到二维关节点的运动轨迹，并提取关节点的二维坐标作为关节点的运动信息本发明提供了一种能够根据深度学习，从RGB视频中直接提取人体三维空间运动数据的方式，不但能提高人体空间数据采集的便携性，还可以大大的增加这些数据的研究意义。
Description
技术领域
本发明涉及人工智能技术领域，特别是涉及一种人体空间运动转换方法、转换装置、电子设备及存储介质。
背景技术
目前越来越多的行业都开始利用三维人体模型进行展示与教学，三维人体模型技术模拟真实物体的方式使其成为一个有用的工具。由于其精确性、真实性和可操作性，被广泛应用于医学、教育、军事、娱乐等诸多领域。但是目前捕捉人体运动捕捉的成本较高，亦或者是使用场景较为复杂，需要应用专业的设备进行捕捉。因此，本我们希望应用本技术解决这些问题，无需专业设备，使用手机或者其他的视频拍摄设备就能够获取到一个或多个人在一定时间内的空间运动轨迹。
目前主流的人体空间数据采集方式主要分为了穿戴式采集方式和非穿戴式两种采集方式：
(1)对于穿戴式而言，目前的捕捉方式硬件成本高，穿戴及采集过程较为复杂。
(2)对于非穿戴式而言，虽然硬件成本和检测方法较为简单，但采集摄像头必须为深度相机。
并且对于这两大方式而言，如果存在户外的运动捕捉工作，则会因为取电和场地部署工作产生很大的工作量。
而对于RGB视频处理方式而言，其便携性要远远高于以上两者，无论是通过什么方法采集到的普通视频，都可以进行人体空间数据分析，但是目前的RGB视频转换算法只能够获取人体二维平面模型的方法。这会降低一定的研究意义。
有鉴于此提出本发明。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种基于RGB视频的人体空间运动转换方法。
本发明还提出一种基于RGB视频的人体空间运动转换装置。
本发明还提出一种电子设备。
本发明还提出一种非暂态计算机可读存储介质。
根据本发明第一方面实施例的一种基于RGB视频的人体空间运动转换方法，应用于用户端，包括：
获取人体的运动视频，并提取视频中人体关节点的运动信息；
将提取的关节点运动信息输入数据库，得到所述数据库输出的人体空间运动转换模型；
其中，所述数据库是利用卷积神经网络，基于人体空间运动样本训练得到的。
根据本发明的一个实施例，获取人体的运动视频，并提取视频中人体的关节点运动信息，包括：
基于Openpose对视频中人体的关节点进行解析，得到二维关节点的运动轨迹，并提取关节点的二维坐标作为关节点的运动信息。
具体来说，Openpose对于视频中人体二维关节点解析的精度更高，同时Openpose的社区十分活跃，如果遇到问题能更快的获取一些解决问题的办法；Openpose的可扩展性也比较强，除了二维关节点的信息获取外，还支持面部点位的二维数据获取，以后可以更好的支撑其他的二维转三维数据的研究工作。
根据本发明的一个实施例，所述基于Openpose对视频中人体的关节点进行解析，得到二维关节点的运动轨迹，并提取关节点的二维坐标作为关节点的运动信息，包括：
利用卡尔曼滤波器对采集到的关节点运动信息进行过滤，并写入Json格式的文件，每个所述关节点的运动信息包括二维坐标和置信度。
具体来说，Openpose获取人体关节点数据后同时获取到一个额外参数，一个关节点里包含了两个坐标X,Y和一个置信度S，置信度表示与之关联的X,Y坐标的可信程度，值为0-1之间，值越大说明X,Y的数值约精准。
根据本发明的一个实施例，所述将提取的关节点运动信息输入数据库，得到所述数据库输出的人体空间运动转换模型，包括：
基于提取的关节点运动信息，遍历所述数据库，寻找与提取的关节点运动信息相匹配的预存运动信息，并根据所述预存运动信息生成转换模型。
根据本发明的一个实施例，所述转换模型包括上肢动作、下肢动作和全身动作。
根据本发明的一个实施例，所述上肢动作包括推、拉、鞭打；所述下肢动作包括缓冲、蹬伸、鞭打；所述全身动作包括摆动、躯干扭动、相向运动。
根据本发明第二方面实施例的一种基于RGB视频的人体空间运动转换装置，应用于用户端，包括：
提取模块，用于提取视频中人体关节点的运动信息；
识别模块，用于将提取的关节点运动信息输入数据库，得到所述数据库输出的人体空间运动转换模型。
根据本发明第三方面实施例的一种电子设备，包括：
存储器和处理器，所述存储器和所述处理器通过总线完成相互间的通信；
所述存储器存储有，能够在所述处理器上运行的计算机指令；
所述处理器调用所述计算机程序指令时，能够执行上述的一种基于RGB视频的人体空间运动转换方法。
根据本发明第四方面实施例的一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述的一种基于RGB视频的人体空间运动转换方法的步骤。
本发明实施例中的上述一个或多个技术方案，至少具有如下技术效果之一：本发明提供了一种能够根据深度学习，从RGB视频中直接提取人体三维空间运动数据的方式，不但能提高人体空间数据采集的便携性，还可以大大的增加这些数据的研究意义。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的基于RGB视频的人体空间运动转换方法的控制逻辑流程第一示意图；
图2是本发明实施例提供的基于RGB视频的人体空间运动转换方法的控制逻辑流程第二示意图；
图3是本发明实施例提供的基于RGB视频的人体空间运动转换方法的控制逻辑流程第三示意图；
图4是本发明实施例提供的基于RGB视频的人体空间运动转换方法的控制逻辑流程第四示意图；
图5是本发明实施例提供的基于RGB视频的人体空间骨骼关节点示意图；
图6是本发明实施例提供的用于执行基于RGB视频的人体空间运动转换方法的服务器结构示意图。
附图标记：
810：处理器；820：通信接口；830：存储器；840：通信总线。
需要说明的是，这些附图和文字描述并不旨在以任何方式限制本发明的构思范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合说明书附图对本申请进行具体说明，方法实施例中的具体操作方法也可以应用于装置实施例或***实施例中。在本申请的描述中，除非另有说明，“至少一个”包括一个或多个。“多个”是指两个或两个以上。例如，A、B和C中的至少一个，包括：单独存在A、单独存在B、同时存在A和B、同时存在A和C、同时存在B和C，以及同时存在A、B和C。在本申请中，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。
在一个具体实施方案中，如图1所示，本发明提供一种基于RGB视频的人体空间运动转换方法，应用于用户端，包括：
获取人体的运动视频，并提取视频中人体关节点的运动信息；
将提取的关节点运动信息输入数据库，得到所述数据库输出的人体空间运动转换模型；
其中，所述数据库是利用卷积神经网络，基于人体空间运动样本训练得到的。
在一个具体实施方案中，如图2所示，本发明提供一种基于RGB视频的人体空间运动转换方法，获取人体的运动视频，并提取视频中人体的关节点运动信息，包括：
基于Openpose对视频中人体的关节点进行解析，得到二维关节点的运动轨迹，并提取关节点的二维坐标作为关节点的运动信息。
具体来说，Openpose对于视频中人体二维关节点解析的精度更高，同时Openpose的社区十分活跃，如果遇到问题能更快的获取一些解决问题的办法；Openpose的可扩展性也比较强，除了二维关节点的信息获取外，还支持面部点位的二维数据获取，以后可以更好的支撑其他的二维转三维数据的研究工作。
在一个具体实施方案中，如图3所示，本发明提供一种基于RGB视频的人体空间运动转换方法，所述基于Openpose对视频中人体的关节点进行解析，得到二维关节点的运动轨迹，并提取关节点的二维坐标作为关节点的运动信息，包括：
利用卡尔曼滤波器对采集到的关节点运动信息进行过滤，并写入Json格式的文件，每个所述关节点的运动信息包括二维坐标和置信度。
具体来说，Openpose获取人体关节点数据后同时获取到一个额外参数，一个关节点里包含了两个坐标X,Y和一个置信度S，置信度表示与之关联的X,Y坐标的可信程度，值为0-1之间，值越大说明X,Y的数值约精准。
在一个具体实施方案中，如图4所示，本发明提供一种基于RGB视频的人体空间运动转换方法，所述将提取的关节点运动信息输入数据库，得到所述数据库输出的人体空间运动转换模型，包括：
基于提取的关节点运动信息，遍历所述数据库，寻找与提取的关节点运动信息相匹配的预存运动信息，并根据所述预存运动信息生成转换模型。
在一个应用场景中，，所述转换模型包括上肢动作、下肢动作和全身动作。所述上肢动作包括推、拉、鞭打；所述下肢动作包括缓冲、蹬伸、鞭打；所述全身动作包括摆动、躯干扭动、相向运动。
具体来说，人体的动作虽然多种多样，但本质上是由一些基础动作所组成，我们通过收集资料，首先将人体基本运动形式划分为了“上肢”、“下肢”、“全身”三种类型，之后，又将其细化为了“推”、“拉”、“鞭打”、“缓冲”、“蹬伸”等9项内容。
(1)上肢的基本运动动作
推是上肢活动的主要动作形式，是上肢各环节伸肌克服阻力，以及各关节由屈曲状态变为伸展状态的动作过程。例如，推铅球、举重、推杠铃、俯卧撑、跳马推手以及篮球胸前传球等动作，都属于推的动作形式。
拉是上肢屈肌克服阻力，以及各关节由伸展转变为屈曲状态的动作过程。在人体运动中动作形式表现为将器械拉近人体或人体拉近握点。例如攀岩、引体向上、撑竿跳高引体、游泳划水、划船和爬绳等动作。
在人体运动中，鞭打动作形式主要目的是使末端环节(手或手持的器械)产生较大的速度或动量，如排球的大力跳发球及、大力扣球、掷标枪、羽毛球扣杀等动作。
(2)下肢的基本运动动作
缓冲动作是人体在与外界物体接触时，下肢各关节伸肌(踝关节屈肌)做离心收缩，完成退让工作的动作过程。例如，体操运动中的落地缓冲动作。
蹬伸动作是下肢的主要动作之一，是下肢各关节伸肌(踝关节屈肌)做向心收缩，完成下肢各关节伸展，同时对地面产生作用力的动作过程。如运动员跳远、跳高踏跳的蹬伸阶段，下肢依次伸髋、伸膝和屈踝(背伸)，在伸展各关节的同时不断增加对地面的作用力，从而使地面对人体的作用力不断增加，使人体腾空跳起。
下肢的鞭打动作，如自由泳的打水动作、大力踢球动作和体操摆动的振浪动作等。
(3)全身及躯干的运动动作
摆动动作是通过上下肢和躯干向上的加速活动实现的，包括上肢绕肩关节的摆动和下肢、躯干绕髋关节的摆动3种形式。
扭转动作是躯干运动动作的主要表现形式。扭转是躯干的肩横轴与髋横轴绕身体纵轴(垂直轴)的转动，有时包括上下肢的同时运动。
人体完成相向运动动作时，身体的两个部分相互接近(或远离)，如仰卧起坐、跳水中的屈体。在动作技术中利用人体相向运动规律，可以加强动作效果。例如，跳远落地前躯干上部的主动下压，可以较为轻松地收腹举腿，延长脚触及沙面的距离。
在一个具体实施方案中，如图5所示，本发明提供一种基于RGB视频的人体空间运动转换装置，应用于用户端，包括：提取模块，用于提取视频中人体关节点的运动信息；识别模块，用于将提取的关节点运动信息输入数据库，得到所述数据库输出的人体空间运动转换模型。
其中，在图5中展示了25个关节点的位置示意图，每个关节点由三个数据组成，包括(x,y,score)三项信息，x、y代表图像坐标信息，score为置信度，越接近1代表数据越准确。
在一个应用场景中，通过网络征集或者与其他团队合作，例如健身房、体育学院、康复医疗机构等，收集人体正对摄像头时正常站立时与做这9组动作时的视频，并且将收集完的视频按照年龄、性别、身高、体重等基本信息进行归类。
首先基于正常站立时的视频，获取到被检测人员准确的骨骼距离分布信息。之后利用2/3采集到的运动单元视频，获取到进行各种基础动作时的骨骼距离分布信息，最后将这些数据输入条件，专业设备采集到的空间数据作为结果，利用卷积神经网络进行机器学习，得到基础运动单元空间运动库。下面以上肢动作中的“鞭打”为例：
样例：上肢右手鞭打动作；
关节点：右肘、右肩；
***：站立；
轴心：肩峰(沿锁骨外侧最高点)；
固定臂：体侧中线；
单元空间运动库建立原理：
(1)用右肘关节点坐标减右肩关节点坐标，得到在相机坐标系下的三维矢量A。将A投影到相机坐标系的Y-Z平面内，得到二维向量B，计算向量B和Y轴负半轴夹角即为上肢右手鞭打的角度。
(2)利用openpose分析采集到的视频，进行关节点解析，得到二维关节点运动轨迹。
如图5所示，由于单纯的视频数据并不包含深度信息，因此需要对二维信息进行重构，将二维数据转换为三维数据，假设右肩到左肩的距离为A，左肩到左髋距离为B，左胯到右胯距离为C，根据《中国成年人人体尺寸》GB 1000-88了街道的人体近似比例，A/B＝4/5，A/C＝10/9，基于此比例我们可以知道，当A/B<4/5，并且A/C<10/9时，则额说明身体发生了旋转，则需要对现有的计算结果进行方向调整，确认身体的旋转矩阵。
具体方式时利用罗德里格斯旋转公式，计算空间中旋转矢量的有效算法，其具体公式如下：
θ＝norm(r)
R＝r/θ
其中norm标识向量r的模，计算空间中旋转矢量的有效算法，当发生了旋转时，利用原有模型的方向向量，结合上述的罗德里格斯旋转公式，计算侧面试图下的身体方向，计算二位关键点坐标的三维坐标位置。
进一步地，利用余下的1/3采集到的运动单元视频及专业设备采集的数据，带入到运动单元空间运动库中，验证其准确性，若偏离大于5％则继续重复步骤三，直到偏离小于5％。
最终得到只需要通过输入的RBG视频，就可以推测出真实的人体空间运动信息的算法。
图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令。
需要说明的是，本实施例中的电子设备在具体实现时可以为服务器，也可以为PC机，还可以为其他设备，只要其结构中包括如图6所示的处理器810、通信接口820、存储器830和通信总线840，其中处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信，且处理器810可以调用存储器830中的逻辑指令以执行上述方法即可。本实施例不对电子设备的具体实现形式进行限定。
其中，服务器可以是单个服务器，也可以是一个服务器组。服务器组可以是集中式的，也可以是分布式的(例如，服务器可以是分布式***)。在一些实施例中，服务器相对于终端，可以是本地的、也可以是远程的。例如，服务器可以经由网络访问存储在用户终端、数据库或其任意组合中的信息。作为另一示例，服务器可以直接连接到用户终端和数据库中的至少一个，以访问其中存储的信息和/或数据。在一些实施例中，服务器可以在云平台上实现；仅作为示例，云平台可以包括私有云、公有云、混合云、社区云(community cloud)、分布式云、跨云(inter-cloud)、多云(multi-cloud)等，或者它们的任意组合。在一些实施例中，服务器和用户终端可以在具有本申请实施例中的一个或多个组件的电子设备上实现。
进一步地，网络可以用于信息和/或数据的交换。在一些实施例中，交互场景中的一个或多个组件(例如，服务器，用户终端和数据库)可以向其他组件发送信息和/或数据。在一些实施例中，网络可以是任何类型的有线或者无线网络，或者是他们的结合。仅作为示例，网络可以包括有线网络、无线网络、光纤网络、远程通信网络、内联网、因特网、局域网(Local AreaNetwork，LAN)、广域网(Wide Area Network，WAN)、无线局域网(WirelessLocal AreaNetworks，WLAN)、城域网(Metropolitan AreaNetwork，MAN)、广域网(WideAreaNetwork，WAN)、公共电话交换网(Public Switched Telephone Network，PSTN)、蓝牙网络、ZigBee网络、或近场通信(Near Field Communication，NFC)网络等，或其任意组合。在一些实施例中，网络可以包括一个或多个网络接入点。例如，网络可以包括有线或无线网络接入点，例如基站和/或网络交换节点，交互场景的一个或多个组件可以通过该接入点连接到网络以交换数据和/或信息。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
进一步地，本发明实施例公开一种电子设备，包括：存储器和处理器，所述存储器和所述处理器通过总线完成相互间的通信；
所述存储器存储有，能够在所述处理器上运行的计算机指令；所述处理器调用所述计算机程序指令时，能够执行上述的一种基于RGB视频的人体空间运动转换方法。
另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述的一种基于RGB视频的人体空间运动转换方法的步骤。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (7)
1.一种基于RGB视频的人体空间运动转换方法，应用于用户端，其特征在于，包括：
基于Openpose对视频中人体的关节点进行解析，得到二维关节点的运动轨迹，并提取关节点的二维坐标作为关节点的运动信息；
将提取的关节点运动信息输入数据库，得到所述数据库输出的人体空间运动转换模型；
其中，所述数据库是利用卷积神经网络，基于人体空间运动样本训练得到的；
基于Openpose对视频中人体的关节点进行解析的步骤之前，还包括基于正常站立时的视频，获取到被检测人员准确的骨骼距离分布信息，利用2/3采集到的运动单元视频，获取到进行各种基础动作时的骨骼距离分布信息，将收集完的视频按照年龄、性别、身高、体重等基本信息进行归类；
所述基于Openpose对视频中人体的关节点进行解析，得到二维关节点的运动轨迹，并提取关节点的二维坐标作为关节点的运动信息，包括：
利用卡尔曼滤波器对采集到的关节点运动信息进行过滤，并写入Json格式的文件，每个所述关节点的运动信息包括二维坐标和置信度。
2.根据权利要求1所述的一种基于RGB视频的人体空间运动转换方法，其特征在于，所述将提取的关节点运动信息输入数据库，得到所述数据库输出的人体空间运动转换模型，包括：
基于提取的关节点运动信息，遍历所述数据库，寻找与提取的关节点运动信息相匹配的预存运动信息，并根据所述预存运动信息生成转换模型。
3.根据权利要求2所述的一种基于RGB视频的人体空间运动转换方法，其特征在于，所述转换模型包括上肢动作、下肢动作和全身动作。
4.根据权利要求3所述的一种基于RGB视频的人体空间运动转换方法，其特征在于，所述上肢动作包括推、拉、鞭打；所述下肢动作包括缓冲、蹬伸、鞭打；所述全身动作包括摆动、躯干扭动、相向运动。
5.一种基于RGB视频的人体空间运动转换装置，应用于用户端，其特征在于，包括：
提取模块，用于基于Openpose对视频中人体的关节点进行解析，得到二维关节点的运动轨迹，并提取关节点的二维坐标作为关节点的运动信息；
识别模块，用于将提取的关节点运动信息输入数据库，得到所述数据库输出的人体空间运动转换模型;
其中，所述数据库是利用卷积神经网络，基于人体空间运动样本训练得到的；
基于Openpose对视频中人体的关节点进行解析的步骤之前，还包括基于正常站立时的视频，获取到被检测人员准确的骨骼距离分布信息，利用2/3采集到的运动单元视频，获取到进行各种基础动作时的骨骼距离分布信息，将收集完的视频按照年龄、性别、身高、体重等基本信息进行归类；
所述基于Openpose对视频中人体的关节点进行解析，得到二维关节点的运动轨迹，并提取关节点的二维坐标作为关节点的运动信息，包括：
利用卡尔曼滤波器对采集到的关节点运动信息进行过滤，并写入Json格式的文件，每个所述关节点的运动信息包括二维坐标和置信度。
6.一种电子设备，其特征在于，包括：
存储器和处理器，所述存储器和所述处理器通过总线完成相互间的通信；
所述存储器存储有，能够在所述处理器上运行的计算机指令；
所述处理器调用所述计算机指令时，能够执行上述权利要求1至4任一所述的一种基于RGB视频的人体空间运动转换方法。
7.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现上述权利要求1至4任一所述的一种基于RGB视频的人体空间运动转换方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010601769.4A CN111754620B (zh) | 2020-06-29 | 2020-06-29 | 人体空间运动转换方法、转换装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010601769.4A CN111754620B (zh) | 2020-06-29 | 2020-06-29 | 人体空间运动转换方法、转换装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111754620A CN111754620A (zh) | 2020-10-09 |
| CN111754620B true CN111754620B (zh) | 2024-04-26 |
Family
ID=72677842
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010601769.4A Active CN111754620B (zh) | 2020-06-29 | 2020-06-29 | 人体空间运动转换方法、转换装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111754620B (zh) |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103646425A (zh) * | 2013-11-20 | 2014-03-19 | 深圳先进技术研究院 | 一种体感交互的方法及*** |
| CN106384093A (zh) * | 2016-09-13 | 2017-02-08 | 东北电力大学 | 一种基于降噪自动编码器和粒子滤波的人体动作识别方法 |
| CN107545242A (zh) * | 2017-07-25 | 2018-01-05 | 大圣科技股份有限公司 | 一种通过2d图像推断人体动作姿态的方法及装置 |
| CN108052896A (zh) * | 2017-12-12 | 2018-05-18 | 广东省智能制造研究所 | 基于卷积神经网络与支持向量机的人体行为识别方法 |
| CN108836342A (zh) * | 2018-04-19 | 2018-11-20 | 北京理工大学 | 一种基于惯性传感器的无特征人体运动识别方法 |
| CN108939512A (zh) * | 2018-07-23 | 2018-12-07 | 大连理工大学 | 一种基于穿戴式传感器的游泳姿态测量方法 |
| CN109003301A (zh) * | 2018-07-06 | 2018-12-14 | 东南大学 | 一种基于OpenPose和Kinect的人体姿态估计方法及康复训练*** |
| CN109308438A (zh) * | 2017-07-28 | 2019-02-05 | 上海形趣信息科技有限公司 | 动作识别库的建立方法、电子设备、存储介质 |
| CN109460707A (zh) * | 2018-10-08 | 2019-03-12 | 华南理工大学 | 一种基于深度神经网络的多模态动作识别方法 |
| CN110188599A (zh) * | 2019-04-12 | 2019-08-30 | 哈工大机器人义乌人工智能研究院 | 一种人体姿态行为智能分析识别方法 |
| CN110458046A (zh) * | 2019-07-23 | 2019-11-15 | 南京邮电大学 | 一种基于关节点提取的人体运动轨迹分析方法 |
| CN110544301A (zh) * | 2019-09-06 | 2019-12-06 | 广东工业大学 | 一种三维人体动作重建***、方法和动作训练*** |
| CN110555408A (zh) * | 2019-09-03 | 2019-12-10 | 深圳龙岗智能视听研究院 | 一种基于自适应映射关系的单摄像头实时三维人体姿态检测方法 |
| CN110633005A (zh) * | 2019-04-02 | 2019-12-31 | 北京理工大学 | 一种光学式无标记的三维人体动作捕捉方法 |
| CN110969114A (zh) * | 2019-11-28 | 2020-04-07 | 四川省骨科医院 | 一种人体动作功能检测***、检测方法及检测仪 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110942479B (zh) * | 2018-09-25 | 2023-06-02 | Oppo广东移动通信有限公司 | 虚拟对象控制方法、存储介质及电子设备 |
-
2020
- 2020-06-29 CN CN202010601769.4A patent/CN111754620B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103646425A (zh) * | 2013-11-20 | 2014-03-19 | 深圳先进技术研究院 | 一种体感交互的方法及*** |
| CN106384093A (zh) * | 2016-09-13 | 2017-02-08 | 东北电力大学 | 一种基于降噪自动编码器和粒子滤波的人体动作识别方法 |
| CN107545242A (zh) * | 2017-07-25 | 2018-01-05 | 大圣科技股份有限公司 | 一种通过2d图像推断人体动作姿态的方法及装置 |
| CN109308438A (zh) * | 2017-07-28 | 2019-02-05 | 上海形趣信息科技有限公司 | 动作识别库的建立方法、电子设备、存储介质 |
| CN108052896A (zh) * | 2017-12-12 | 2018-05-18 | 广东省智能制造研究所 | 基于卷积神经网络与支持向量机的人体行为识别方法 |
| CN108836342A (zh) * | 2018-04-19 | 2018-11-20 | 北京理工大学 | 一种基于惯性传感器的无特征人体运动识别方法 |
| CN109003301A (zh) * | 2018-07-06 | 2018-12-14 | 东南大学 | 一种基于OpenPose和Kinect的人体姿态估计方法及康复训练*** |
| CN108939512A (zh) * | 2018-07-23 | 2018-12-07 | 大连理工大学 | 一种基于穿戴式传感器的游泳姿态测量方法 |
| CN109460707A (zh) * | 2018-10-08 | 2019-03-12 | 华南理工大学 | 一种基于深度神经网络的多模态动作识别方法 |
| CN110633005A (zh) * | 2019-04-02 | 2019-12-31 | 北京理工大学 | 一种光学式无标记的三维人体动作捕捉方法 |
| CN110188599A (zh) * | 2019-04-12 | 2019-08-30 | 哈工大机器人义乌人工智能研究院 | 一种人体姿态行为智能分析识别方法 |
| CN110458046A (zh) * | 2019-07-23 | 2019-11-15 | 南京邮电大学 | 一种基于关节点提取的人体运动轨迹分析方法 |
| CN110555408A (zh) * | 2019-09-03 | 2019-12-10 | 深圳龙岗智能视听研究院 | 一种基于自适应映射关系的单摄像头实时三维人体姿态检测方法 |
| CN110544301A (zh) * | 2019-09-06 | 2019-12-06 | 广东工业大学 | 一种三维人体动作重建***、方法和动作训练*** |
| CN110969114A (zh) * | 2019-11-28 | 2020-04-07 | 四川省骨科医院 | 一种人体动作功能检测***、检测方法及检测仪 |
Non-Patent Citations (2)
| Title |
|---|
| "Character action recognition based on deep convolutional neural network and action sequence";Jiaen Li等;《IEEE》;20200423;全文 * |
| "基于视频的人体检测、跟踪和三维重建";郑恬;《中国优秀硕士学位论文全文数据库 信息科技辑》;20200115;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111754620A (zh) | 2020-10-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108734104B (zh) | 基于深度学习图像识别的健身动作纠错方法及*** | |
| Jain et al. | Three-dimensional CNN-inspired deep learning architecture for Yoga pose recognition in the real-world environment | |
| CN107243141A (zh) | 一种基于运动识别的动作辅助训练*** | |
| CN111414839B (zh) | 基于姿态的情感识别方法及装置 | |
| Jin et al. | Virtual personal trainer via the kinect sensor | |
| CN113705540A (zh) | 一种无器械训练动作识别与计数方法及*** | |
| CN113409651B (zh) | 直播健身方法、***、电子设备、存储介质 | |
| Wang et al. | Motion analysis of deadlift for trainers with different levels based on body sensor network | |
| US20230149774A1 (en) | Handle Motion Counting Method and Terminal | |
| Yang et al. | Human exercise posture analysis based on pose estimation | |
| Zhao et al. | Quantitative evaluation of gymnastics based on multiple MEMS sensors | |
| CN114005180A (zh) | 一种用于羽毛球运动的动作评分方法及装置 | |
| CN109407826A (zh) | 球类运动模拟方法、装置、存储介质及电子设备 | |
| CN111754620B (zh) | 人体空间运动转换方法、转换装置、电子设备及存储介质 | |
| CN116386136A (zh) | 基于人体骨骼关键点的动作评分方法、设备及介质 | |
| Tang | [Retracted] Detection Algorithm of Tennis Serve Mistakes Based on Feature Point Trajectory | |
| Zhang et al. | A method of attitude measurement and level assessment for skiers based on wearable inertial measurement | |
| Gala et al. | [Retracted] Characteristic Analysis of Tai Ji Chuan Standard Action Based on and Perceptual IoT Network | |
| Muñoz et al. | Dynamic systems theory in human movement exploring coordination patterns by angle-angle diagrams using Kinect | |
| Xu | Application analysis of sports robots based on pose recognition and action feature analysis | |
| Li et al. | Tai chi action quality assessment and visual analysis with a consumer rgb-d camera | |
| CN109887572A (zh) | 一种平衡功能训练方法及*** | |
| CN114360060B (zh) | 人体动作识别计数方法 | |
| Ghongane | Hierarchical classification of yoga poses using deep learning techniques | |
| Chen et al. | Application of Artificial Intelligence Vision Technology in Chinese Fencing Teaching |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |