CN108376487A - 基于虚拟现实中的肢体训练***及方法 - Google Patents

基于虚拟现实中的肢体训练***及方法 Download PDF

Info

Publication number
CN108376487A
CN108376487A CN201810136939.9A CN201810136939A CN108376487A CN 108376487 A CN108376487 A CN 108376487A CN 201810136939 A CN201810136939 A CN 201810136939A CN 108376487 A CN108376487 A CN 108376487A
Authority
CN
China
Prior art keywords
student
virtual reality
action
limbs
teacher
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810136939.9A
Other languages
English (en)
Inventor
冯侃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201810136939.9A priority Critical patent/CN108376487A/zh
Publication of CN108376487A publication Critical patent/CN108376487A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于虚拟现实中的肢体训练***及方法，包括：动作捕捉模块，包括分别设于老师肢体各部位的***，用以捕捉和记录老师肢体各部位在三维空间中动作的位置与旋转角度；动作重播模块，在虚拟现实中通过半透明重影的方式重播老师的动作，学生从第一人称观察这些动作，并且进行模仿学***面记录并且回放动作的缺陷，通过将动作捕捉进行虚拟现实结合，实现了三维空间内动作的记录与回放。同时，通过在第一人称显示重影，帮助人们直观的理解动作，使得在虚拟现实中自学舞蹈、太极成为可能。

Description

基于虚拟现实中的肢体训练***及方法
技术领域
本发明属于虚拟现实领域、具体涉及一种基于虚拟现实中的肢体训练***及方法。
背景技术
人们在学***面限制，有些动作可能无法看清，影响了学习者掌握要领，学习训练效果不佳。
发明内容
本发明所要解决的技术问题是提供一种基于虚拟现实中的肢体训练***及方法，使用低价的动作捕捉***，立体的记录并保存一系列肢体动作，并且通过在虚拟现实中，从第一人称角度以重影的形式重播，从而提供了一种全新的，观察、模仿肢体动作的方式，使得人们可以在虚拟现实中进行拳击、舞蹈等肢体训练。
为了解决上述技术问题，本发明采用如下的技术方案：
一方面，一种基于虚拟现实中的肢体训练***及方法，包括：
动作捕捉模块，包括分别设于老师肢体各部位的***，用以捕捉和记录老师肢体各部位在三维空间中动作的位置与旋转角度；
动作重播模块，在虚拟现实中通过半透明重影的方式重播老师的动作，学生从第一人称观察这些动作，并且进行模仿学习；
动作评估模块，通过比较学生与老师的动作差异，在虚拟现实中及时向学生提出反馈，帮助学生完成动作。
所述***至少设于头部、双手、腰部、双脚六个部位。
所述***还设于双肘处。
所述设于头部的***采用面部表情追踪摄像头，设于双手的***采用手势追踪手套。
所述动作重播模块采用供学生佩戴的虚拟现实头盔，通过虚拟现实头盔将老师的动作以半透明的方式与学生实体动作重叠播放。
所述动作捕捉模块还包括分别设于学生肢体各部位的***，用以捕捉和记录学生肢体各部位在三维空间中动作的位置与旋转角度，供所述动作重播模块在虚拟现实中进行所述重叠播放。
另一方面，一种基于虚拟现实中的肢体训练装置的训练方法，包括以下步骤：
A.将动作捕捉模块的***设置在老师肢体各部位，用以捕捉和记录老师肢体各部位在三维空间中动作的位置与旋转角度；
B.采用动作重播模块在虚拟现实中通过半透明重影的方式重播老师的动作，学生从第一人称观察这些动作，并且进行模仿学习；
C.采用动作评估模块通过比较学生与老师的动作差异，在虚拟现实中及时向学生提出反馈，帮助学生完成动作。
所述记录的频率不低于每秒60次。
在步骤B中，还包括在学生肢体各部位设置***，用以捕捉和记录学生肢体各部位在三维空间中动作的位置与旋转角度，并供所述动作重播模块在虚拟现实中进行所述重叠播放。
在所述的重叠播放之前，通过***对学生的身体指标进行测量，并且根据取得的数据，对老师的动作进行校正，以保证老师和学生的各主要关节点能够基本重合。
采用本发明的基于虚拟现实中的肢体训练***及方法，能够克服以往的视频，只能在二维平面记录并且回放动作的缺陷，通过将动作捕捉进行虚拟现实结合，实现了三维空间内动作的记录与回放。同时，通过在第一人称显示重影，帮助人们直观的理解动作，使得在虚拟现实中自学舞蹈、太极成为可能。本发明也能推演到其他基于肢体动作的文体领域，比如击剑、拳击等。
附图说明
下面结合附图和具体实施方式本发明进行详细说明：
图1是本发明的基于虚拟现实中的肢体训练***的原理图。
具体实施方式
本发明的基于虚拟现实中的肢体训练***如图1所示，包括：
动作捕捉模块，包括分别设于老师(或称之为教学者、演示者等)肢体各部位的***，用以捕捉和记录老师肢体各部位在三维空间中动作的位置与旋转角度，例如在老师在身体各关键位置佩戴***，在场地中完成太极、舞蹈等动作，老师的动作信号通过***传递给计算机，由计算机进行记录。***可以提供各身体部位在空间中的位置与旋转角度，但是根据这些数据推断出人体的动作，仍然依赖于软件反向动力学解决方案。由于现在主要的反向动力学方案，最低要求为定位头部、双手、腰部、双脚六个关键部位，所以在本发明中，要求舞蹈老师至少在以上六个部位佩戴***。如果为了追求精度，可以在身上各主要关节佩戴更多的***，如在双肘也佩戴***，以及佩戴手势追踪手套，佩戴面部表情追踪摄像头等。可以根据实际需求，选取适合需求的方案。
动作重播模块，在虚拟现实中通过半透明重影的方式重播老师的动作，学生(或称之为学习者、模仿者等)从第一人称观察这些动作，并且进行模仿学习；动作评估模块，通过比较学生与老师的动作差异，在虚拟现实中及时向学生提出反馈，帮助学生完成动作。作为一个实施例，所述动作重播模块采用供学生佩戴的虚拟现实头盔，通过虚拟现实头盔将老师的动作以半透明的方式与学生实体动作重叠播放。根据老师佩戴的***，可以高频得到整段舞蹈过程中，老师各关键部位的位置以及角度。利用这些数据，结合反向运动学算法可以推算出老师的舞蹈姿势，从而对老师的动作进行三维的记录。记录可以采用传统的动画格式，以便于在常见的MAYA等动画软件中进行分段、改变播放速率等编辑工作。学生佩戴头盔后，软件读取这些动画文件，即可虚拟空间中播放老师的舞蹈动作。由于存储的是类似骨骼的三维舞蹈姿势，使得我们可以在其上叠加各种人体三维模型，使得学习舞蹈的体验更加丰富。
作为一个实施例，所述动作捕捉模块还包括分别设于学生肢体各部位的***，用以捕捉和记录学生肢体各部位在三维空间中动作的位置与旋转角度，供所述动作重播模块在虚拟现实中进行所述重叠播放。采集学生的动作数据，但是该数据仅用于在虚拟现实中的显示，以及与老师动作的比较。通过在关键时间点，比较事先录制的老师的动作与实时采集的学生的动作之间的差异，我们就能知道学生动作的完成情况。比较动作所需数据包括，各主要关节在三维空间中的角度以及位置。学生将能从第一人称观察到老师的动作，并且进行模仿学习。另外，在这一步中，可以使用分解动作，慢动作，重复动作等多种手段，帮助学生掌握动作要领。同时可以配合事先录制的语音说明，帮助学生理解动作。
另外，由于个人身高、臂长等各方面差异，在播放老师动作前，需要通过***对学生的身体指标进行测量，并且根据取得的数据，对老师的动作进行校正，以保证老师学生的各主要关节点能够重合。具体为：测量时，要求学生佩戴***后，目视前方，双手自然垂直于身体两侧，此时通过测量头部到双手的距离可以推算出学生的臂长，测量头部到腰部的距离得到学生上身长度，通过腰部与脚部的距离可以得到学生腿长。根据这些信息，以及在录制老师动作时得到的老师的相关信息，将老师的动作缩放到学生的身体比例，使得老师的动作动画可以与学生的动作基本重合。
动作评估模块，通过比较学生与老师的动作差异，在虚拟现实中及时向学生提出反馈，帮助学生完成动作。在学生跟随老师的动作进行模仿时，动作评估模块负责实时取得学生各关节点的位置，与老师的位置的差异，并且在虚拟现实中给予视觉、听觉的反馈。该模块也可以对学生的动作进行录制，以便后期进行学生动作的分析，以及学生完成度的评估，帮助学生更全面的掌握学习情况。
由于本发明的训练方法与上述训练***原理相同，在此不再赘述。
综上所述，采用本发明的肢体训练***及方法，使用低价的动作捕捉***，立体的记录并保存一系列肢体动作，并且通过在虚拟现实中，从第一人称角度以重影的形式重播，从而提供了一种全新的，观察、模仿肢体动作的方式，使得人们可以在虚拟现实中进行拳击、舞蹈等训练，效果极佳。
但是，本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例的变化、变型都将落在本发明的权利要求书范围内。

Claims (10)

1.一种基于虚拟现实中的肢体训练***，其特征在于，包括：
动作捕捉模块，包括分别设于老师肢体各部位的***，用以捕捉和记录老师肢体各部位在三维空间中动作的位置与旋转角度；
动作重播模块，在虚拟现实中通过半透明重影的方式重播老师的动作，学生从第一人称观察这些动作，并且进行模仿学习；
动作评估模块，通过比较学生与老师的动作差异，在虚拟现实中及时向学生提出反馈，帮助学生完成动作。
2.根据权利要求1所述的基于虚拟现实中的肢体训练***，其特征在于：所述***至少设于头部、双手、腰部、双脚六个部位。
3.根据权利要求2所述的基于虚拟现实中的肢体训练***及方法，其特征在于：所述***还设于双肘处。
4.根据权利要求2所述的基于虚拟现实中的肢体训练***，其特征在于：所述设于头部的***采用面部表情追踪摄像头，设于双手的***采用手势追踪手套。
5.根据权利要求4所述的基于虚拟现实中的肢体训练***，其特征在于：所述动作重播模块采用供学生佩戴的虚拟现实头盔，通过虚拟现实头盔将老师的动作以半透明的方式与学生实体动作重叠播放。
6.根据权利要求5所述的基于虚拟现实中的肢体训练***，其特征在于：所述动作捕捉模块还包括分别设于学生肢体各部位的***，用以捕捉和记录学生肢体各部位在三维空间中动作的位置与旋转角度，供所述动作重播模块在虚拟现实中进行所述重叠播放。
7.根据权利要求1～6中任一项所述的基于虚拟现实中的肢体训练装置的训练方法，其特征在于，包括以下步骤：
A.将动作捕捉模块的***设置在老师肢体各部位，用以捕捉和记录老师肢体各部位在三维空间中动作的位置与旋转角度；
B.采用动作重播模块在虚拟现实中通过半透明重影的方式重播老师的动作，学生从第一人称观察这些动作，并且进行模仿学习；
C.采用动作评估模块通过比较学生与老师的动作差异，在虚拟现实中及时向学生提出反馈，帮助学生完成动作。
8.根据权利要求7所述的基于虚拟现实中的肢体训练方法，其特征在于：所述记录的频率不低于每秒60次。
9.根据权利要求7所述的基于虚拟现实中的肢体训练方法，其特征在于：在步骤B中，还包括在学生肢体各部位设置***，用以捕捉和记录学生肢体各部位在三维空间中动作的位置与旋转角度，并供所述动作重播模块在虚拟现实中进行所述重叠播放。
10.根据权利要求7所述的基于虚拟现实中的肢体训练方法，其特征在于：在所述的重叠播放之前，通过***对学生的身体指标进行测量，并且根据取得的数据，对老师的动作进行校正，以保证老师和学生的各主要关节点能够基本重合。
CN201810136939.9A 2018-02-09 2018-02-09 基于虚拟现实中的肢体训练***及方法 Pending CN108376487A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810136939.9A CN108376487A (zh) 2018-02-09 2018-02-09 基于虚拟现实中的肢体训练***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810136939.9A CN108376487A (zh) 2018-02-09 2018-02-09 基于虚拟现实中的肢体训练***及方法

Publications (1)

Publication Number Publication Date
CN108376487A true CN108376487A (zh) 2018-08-07

Family

ID=63017600

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810136939.9A Pending CN108376487A (zh) 2018-02-09 2018-02-09 基于虚拟现实中的肢体训练***及方法

Country Status (1)

Country Link
CN (1) CN108376487A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109447020A (zh) * 2018-11-08 2019-03-08 郭娜 基于全景肢体动作的交互方法及***
CN109529277A (zh) * 2018-11-27 2019-03-29 北京唐冠天朗科技开发有限公司 一种训练远程指导***和方法
CN111047925A (zh) * 2019-12-06 2020-04-21 山东大学 基于房间式互动投影的动作学习***及方法
CN112882575A (zh) * 2021-02-24 2021-06-01 宜春职业技术学院（宜春市技术工人学校） 一种全景舞蹈动作建模方法及舞蹈教学辅助***
CN113012505A (zh) * 2021-02-24 2021-06-22 宜春职业技术学院（宜春市技术工人学校） 一种基于互联网的互动式舞蹈教学练习平台及方法
CN113012504A (zh) * 2021-02-24 2021-06-22 宜春职业技术学院（宜春市技术工人学校） 一种多人舞蹈教学互动投影方法、装置及设备
CN115619912A (zh) * 2022-10-27 2023-01-17 深圳市诸葛瓜科技有限公司 一种基于虚拟现实技术的动漫人物展示***及方法
WO2023077660A1 (zh) * 2021-11-04 2023-05-11 福建中医药大学附属康复医院 基于混合现实的太极拳训练方法及***、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103488291A (zh) * 2013-09-09 2014-01-01 北京诺亦腾科技有限公司 一种基于运动捕捉的浸入式虚拟现实***
JP2016511445A (ja) * 2013-03-11 2016-04-14 リンカーン グローバル，インコーポレイテッド 仮想現実環境で拡張された教育及びトレーニングを提供するシステム及び方法
CN106097787A (zh) * 2016-08-18 2016-11-09 四川以太原力科技有限公司 基于虚拟现实的肢体教学方法与教学***
CN106128174A (zh) * 2016-08-18 2016-11-16 四川以太原力科技有限公司 基于虚拟现实的肢体教学方法与教学***
CN106548675A (zh) * 2016-11-08 2017-03-29 湖南拓视觉信息技术有限公司 虚拟军事训练方法及装置
CN107273806A (zh) * 2017-05-18 2017-10-20 上海斐讯数据通信技术有限公司 一种基于虚拟现实的书画练习方法及***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016511445A (ja) * 2013-03-11 2016-04-14 リンカーン グローバル，インコーポレイテッド 仮想現実環境で拡張された教育及びトレーニングを提供するシステム及び方法
CN103488291A (zh) * 2013-09-09 2014-01-01 北京诺亦腾科技有限公司 一种基于运动捕捉的浸入式虚拟现实***
CN106097787A (zh) * 2016-08-18 2016-11-09 四川以太原力科技有限公司 基于虚拟现实的肢体教学方法与教学***
CN106128174A (zh) * 2016-08-18 2016-11-16 四川以太原力科技有限公司 基于虚拟现实的肢体教学方法与教学***
CN106548675A (zh) * 2016-11-08 2017-03-29 湖南拓视觉信息技术有限公司 虚拟军事训练方法及装置
CN107273806A (zh) * 2017-05-18 2017-10-20 上海斐讯数据通信技术有限公司 一种基于虚拟现实的书画练习方法及***

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109447020A (zh) * 2018-11-08 2019-03-08 郭娜 基于全景肢体动作的交互方法及***
CN109529277A (zh) * 2018-11-27 2019-03-29 北京唐冠天朗科技开发有限公司 一种训练远程指导***和方法
CN111047925A (zh) * 2019-12-06 2020-04-21 山东大学 基于房间式互动投影的动作学习***及方法
CN111047925B (zh) * 2019-12-06 2021-06-25 山东大学 基于房间式互动投影的动作学习***及方法
CN112882575A (zh) * 2021-02-24 2021-06-01 宜春职业技术学院（宜春市技术工人学校） 一种全景舞蹈动作建模方法及舞蹈教学辅助***
CN113012505A (zh) * 2021-02-24 2021-06-22 宜春职业技术学院（宜春市技术工人学校） 一种基于互联网的互动式舞蹈教学练习平台及方法
CN113012504A (zh) * 2021-02-24 2021-06-22 宜春职业技术学院（宜春市技术工人学校） 一种多人舞蹈教学互动投影方法、装置及设备
WO2023077660A1 (zh) * 2021-11-04 2023-05-11 福建中医药大学附属康复医院 基于混合现实的太极拳训练方法及***、设备及存储介质
CN115619912A (zh) * 2022-10-27 2023-01-17 深圳市诸葛瓜科技有限公司 一种基于虚拟现实技术的动漫人物展示***及方法

Similar Documents

Publication Publication Date Title
CN108376487A (zh) 基于虚拟现实中的肢体训练***及方法
KR102529604B1 (ko) 정신운동 학습의 동시 피드백을 위한 증강된 인지 방법 및 장치
Chan et al. A virtual reality dance training system using motion capture technology
US11132533B2 (en) Systems and methods for creating target motion, capturing motion, analyzing motion, and improving motion
JP6162259B2 (ja) 動き学習支援装置及び動き学習支援方法
Kwon et al. Combining body sensors and visual sensors for motion training
JP2852925B2 (ja) 肉体的運動熟達教育用システム
US20100167248A1 (en) Tracking and training system for medical procedures
CN110674794B (zh) 一种全景舞蹈动作建模方法及舞蹈教学辅助***
KR101936692B1 (ko) 댄스 키모션 자동생성을 이용한 댄스 트레이닝 장치 및 방법
US20120206577A1 (en) System, method, and computer software code for mimic training
CN107833611A (zh) 一种基于虚拟现实的自闭症康复训练方法
CN107122048A (zh) 一种动作评估***
Noiumkar et al. Use of optical motion capture in sports science: A case study of golf swing
JP2005525598A (ja) 手術トレーニングシミュレータ
JP2007313362A (ja) 体の動かし方を指導するための装置
CN107240049A (zh) 一种沉浸式环境中远程动作教学质量的自动评价方法和***
CN107670272A (zh) 基于vr技术的智能体感、触感互动场景模拟方法
WO2012021582A1 (en) Motion training schematic and method of instruction
CN102663197A (zh) 一种基于运动捕获的虚拟手抓取的仿真方法
Yang The innovation of college physical training based on computer virtual reality technology
JP2011503685A (ja) レンダリングされた像の表示設定を選択するための方法及びシステム
CN108109440A (zh) 一种多人舞蹈教学互动投影方法及装置
Wu et al. Research on college gymnastics teaching model based on multimedia image and image texture feature analysis
Tisserand et al. Preservation and gamification of traditional sports

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180807

RJ01 Rejection of invention patent application after publication