CN112614399A - 一种基于虚拟现实的舞蹈教学设备及其教学方法 - Google Patents

一种基于虚拟现实的舞蹈教学设备及其教学方法 Download PDF

Info

Publication number
CN112614399A
CN112614399A CN202011341864.1A CN202011341864A CN112614399A CN 112614399 A CN112614399 A CN 112614399A CN 202011341864 A CN202011341864 A CN 202011341864A CN 112614399 A CN112614399 A CN 112614399A
Authority
CN
China
Prior art keywords
module
student
dance
virtual
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011341864.1A
Other languages
English (en)
Inventor
金艳玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Luna Ballet Education Technology Co ltd
Original Assignee
Wuhan Luna Ballet Education Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Luna Ballet Education Technology Co ltd filed Critical Wuhan Luna Ballet Education Technology Co ltd
Priority to CN202011341864.1A priority Critical patent/CN112614399A/zh
Publication of CN112614399A publication Critical patent/CN112614399A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/0015Dancing

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明公开了一种基于虚拟现实的舞蹈教学设备及其教学方法,包括VR眼镜、网络同步模块、人机交互模块、云端服务器、体感外设;所述云端服务器可供商家上传更新的舞蹈课程;所述网络同步模块包括接收模块和网络模块,网络模块与云端服务器连接,共享云端服务器内的舞蹈课程数据,接收模块自动下载舞蹈课程的更新包;包括三种教学模式,练习模式、评分模式和考核模式;与现有技术相比:采用VR实景技术,进行真人模拟教学,还可体验不同场景的虚拟现实跳舞场景,并设置体感外设,针对舞蹈动作进行捕捉,达到了非常好的练习效果,也极大的激发了孩子学习的兴趣,相对于现在的网络课程来说,可以让孩子学习的更快。

Description

一种基于虚拟现实的舞蹈教学设备及其教学方法
技术领域
本发明涉及一种基于虚拟现实的舞蹈教学设备及其教学方法。
背景技术
线上授课作为现在兴起的一种教育方式,对人们生活学习有着极大的影响,足不出户就能够满腹经文,但是线上授课的方式针对于舞蹈、武术等身体运动方面的课程效果非常差,所以一般针对于舞蹈、武术等课程都是采用线下教学的方式,但是这样的方式局限性较大,例如因为外界环境实现封闭式管理时,就不能够线下进行教授课程。
发明内容
针对上述所述,本发明提供一种基于虚拟现实的舞蹈教学设备及其教学方法,以解决上述现有技术中存在的至少一个问题。
为了实现上述技术目的,本发明的技术方案为:
一种基于虚拟现实的舞蹈教学设备,包括VR眼镜、网络同步模块、人机交互模块、云端服务器、体感外设;所述云端服务器可供上传更新的舞蹈课程;所述网络同步模块包括接收模块和网络模块,网络模块与云端服务器连接,共享云端服务器内的舞蹈课程数据,接收模块自动下载舞蹈课程的更新包;所述VR眼镜是具有独立处理器的头戴式显示设备,接收模块、网络模块、人机交互模块均植入在VR眼镜内;
所述人机交互模块包括人物选择模块、虚拟环境选择模块、练习模块、评分模块、智能AI对话模块、纠正模块、识别模块;
通过VR眼镜与体感外设配合,结合人机交互模块,用户进行人物选择、虚拟环境选择、智能AI对话、动作纠正,在虚拟现实的环境内实现远程交互性舞蹈教学。
优选的,所述识别模块能够智能分析识别由体感外设传输到识别模块的舞蹈动作信息,通过体感外设捕捉学员的舞蹈动作信息,将捕捉到的舞蹈动作信息传输到识别模块,识别模块将学员的舞蹈动作信息与接收模块内的标准动作进行对比分析识别;
所述智能AI对话模块为学员在练习模块、评分模块提供语音基础,通过识别模块识别舞蹈动作信息,然后输出语音指令到智能AI对话模块,语音模块输出语音,学员接收到语音信息;还可通过学员发出语音,智能AI对话模块接收语音信号,并将语音信号传输到识别模块与内部的数据库对比进行分析识别,识别分析后输出对应的语音信号或打开对应的功能模块;
所述人物选择模块为学员提供不同的人物选择,老师通过体感外设采集自身的三维立体影像,并将人物信息传输到识别模块,识别模块识别图像信号并生成三维立体人物影像,再通过网络模块将三维立体人物信息传输到云端服务器,通过在云端服务器上传老师的三维立体影像,为学员在学习舞蹈时根据个人爱好选择老师提供基础数据;
所述虚拟环境选择模块为学员在学习舞蹈时提供不同的虚拟场景,后台管理者上传不同虚拟场景到云端服务器,为学员在学习舞蹈时根据个人爱好选择不同虚拟场景提供基础数据;
所述纠正模块在练习模块中纠正学员的错误动作,体感外设采集学员的舞蹈动作信息,并将该动作信息上传到识别模块,根据从体感外设传输到识别模块的动作信息,与识别模块内部储存的舞蹈课程数据库进行比对,并将比对信息传输到VR虚拟显示设备和智能AI对话模块,当学员某一动作没有达到标准,则暂停舞蹈课程,并在虚拟场景内标出动作不标准的位置,进行语音指导,提示学员重复上一动作,学员重复上述一动作达到标准后,则继续舞蹈课程;
所述练习模块为学员提供舞蹈练习的基础场景,并督促学员改正舞蹈过程中的不标准动作,是通过体感外设将学员的舞蹈动作信息进行捕捉收集,并传输到识别模块,由识别模块针对学员的舞蹈动作信息与内部的舞蹈课程包数据进行比对,并将比对信息传输到VR虚拟显示和智能AI对话模块,为学员提供语音指导,使学员能够针对性的练习;
所述评分模块对于学员的舞蹈练习的每个动作进行打分,然后综合评分,通过体感外设将学员的舞蹈动作信息进行捕捉收集,并传输到识别模块,由识别模块针对学员的舞蹈动作信息与内部的舞蹈课程包数据进行比对打分,并将打分信息通过网络模块上传到云端服务器,后台可在云端服务器内下载该数据,并通过专门的老师根据学员的得分情况和疑难点进行线下约谈、辅导。
优选的,所述人机交互模块还包括体能检测模块;
所述体能检测模块实时检测学员的体能,通过体感外设捕捉学员的面部信息以及动作信息,然后将信息传输到识别模块,识别模块针对信息进行综合处理,从而学员体能进行判断,达到设定疲劳值的学员,由智能AI对话模块发出语音提示,建议休息设定时间,课程自动停止,到达设定时间以后,学员出现在体感外设区域内并戴上了VR眼镜,则课程继续,学员可继续学习;
优选的,所述体感外设包括可充电电池、扫描仪、信号发射器、全身动作捕捉传感控制器。
优选的,所述人机交互模块还包括远程视频模块;
远程视频模块包括设在体感外设上的远程视频摄像头和远程信号配对模块,远程信号配对模块包括信号发射端和信号接收端,一台VR眼镜终端通过发射端发送视频请求到信号接收端,操作者在另一台VR眼镜终端确认信号接收端的视频请求信号,信号发射端和信号接收端配对成功;
所述远程视频模块需要通过远程信号配对模块连接两台VR眼镜,并通过设置在体感外设内的图像传感器将学员或老师的图像信号传输到双方的VR眼镜虚拟显示界面内,建立线上视频连接,全身动作捕捉传感器实时将学员的舞蹈动作信息捕捉,传输到识别模块,识别模块识别后标出不标准位置,通过网络模块上传到云端服务器,再将视频实时传输到对应老师端的VR眼镜内,老师可结合视频中标出的不标准动作考核测评;
优选的,所述体感外设为箱体结构,侧面设有固定吸盘。
基于虚拟现实的舞蹈教学设备的教学方法,包括三种教学模式,练习模式、评分模式和考核模式;
练习模式包括以下步骤:
(1)打开网络模块,使网络模块与云端服务器连接,由接收模块自动接收课程包数据、虚拟场景数据和三维立体人物影像数据,学员打开虚拟显示界面上的练习模块,从而进入练习模式;
(2)接收模块将接收到的舞蹈课程包数据导入到VR虚拟显示界面,舞蹈课程包按照更新的时间排序,供学员选择;
(3)接收模块将接收到的三维立体人物影像数据导入到VR虚拟显示界面,学员可预览三维立体人物影像,三维立体影像旋转,使学员从各个角度观察人物形象,学员选择好相应老师后进入下一虚拟显示界面;
(4)接收模块将接收到的虚拟场景数据导入到VR虚拟显示界面,虚拟场景数据根据更新的时间先后顺序进行排列,学员可预览虚拟场景,转动虚拟场景,多角度观看虚拟场景,确定进入相应的虚拟场景;
(5)学员可看到老师在虚拟场景内进行领舞,呈现在学员眼里的是一个虚拟现实世界,体感外设实时采集学员的舞蹈动作,并将采集的舞蹈动作信号实时传输到识别模块,识别模块将动作信号与内部的舞蹈数据库进行对比,若发现有动作不标准的地方,则课程会暂停,并通过智能AI语音对学员进行语音提示,重复上一动作,动作标准后则会自动继续课程,继续进行学习训练;
评分模式包括以下步骤:
(1)打开网络模块,使网络模块与云端服务器连接,由接收模块自动接收课程包数据、虚拟场景数据,学员打开虚拟显示界面上的评分模块,从而进入评分模式;
(2)接收模块将接收到的舞蹈课程包数据导入到VR虚拟显示界面,舞蹈课程包按照更新的时间排序,供学员选择;
(3)接收模块将接收到的虚拟场景数据导入到VR显示界面,虚拟场景数据根据更新的时间先后顺序进行排列,学员可预览虚拟场景,转动虚拟场景,多角度观看虚拟场景,选择好后进入相应的虚拟场景内;
(4)体感外设采集到的学员的图像信息,并通过识别模块生成三维立体影像,导入到虚拟场景内,学员可看到自身置入在虚拟场景内,学员根据课程包内的舞蹈音乐节奏跳舞,并在虚拟显示界面上方会有一个评分显示,体感外设采集到的舞蹈动作信号传输到识别模块后,识别模块与内部课程包的数据进行比对,并生成评分,每一帧动作都会被精准捕捉,记录并进行评分,跳完以后,会有一个总的评分,识别模块会将本次舞蹈的视频以及评分的细则通过网络模块上传到云端服务器,可供老师在后台下载观看。
考核模式包括以下步骤:
(1)打开网络模块,使网络模块与云端服务器连接,由接收模块自动接收课程包数据、场景模型数据和三维立体人物影像数据,学员选择虚拟显示界面上的远程视频模块,从而进入考核模式;
(2)接收模块将接收到的舞蹈课程包数据导入到VR虚拟显示界面,舞蹈课程包按照更新的时间排序,供学员选择;
(3)接收模块将接收到的虚拟场景数据导入到VR虚拟显示界面,虚拟场景数据根据更新的时间先后顺序进行排列,学员可预览虚拟场景,转动虚拟场景,多角度观看虚拟场景,最后进入确定选择好的虚拟场景;
(4)接收模块将接收到的三维立体人物影像数据导入到VR虚拟显示界面,学员可预览三维立体人物影像,三维立体影像旋转,使学员从各个角度观察人物形象,学员选择好相应老师后,进入视频呼出,通过网络模块与老师进行线上视频连接,接通后进入到考核场景;
(5)体感外设采集到的学员的图像信息以及全身的舞蹈动作信息,并通过识别模块生成三维立体影像,导入到虚拟场景内,学员可看到自身置入在VR虚拟场景内,学员根据课程包内的舞蹈音乐节奏跳舞,体感外设采集到的舞蹈动作信号传输到识别模块后,识别模块识别后标出不标准位置,通过网络模块上传到云端服务器,再将视频实时传输到对应老师端的VR眼镜内,老师可结合视频中标出的不标准动作考核测评。
采用上述技术方案带来的有益效果:
采用VR实景技术,进行真人模拟教学,还可体验不同场景的虚拟现实跳舞场景,并设置体感外设,针对舞蹈动作进行捕捉,达到了非常好的练习效果,也极大的激发了孩子学习的兴趣,相对于现在的网络课程来说,可以让孩子学习的更快。
附图说明
图1为本发明的***构架图;
图2为本发明的操作模式示意图。
具体实施方式
以下将结合附图和一些实施例,对本发明的技术方案的技术方案进行详细说明。
如图1所述本发明设计的***,包括以下软硬件:
VR眼镜:具有独立处理器的头戴式显示设备,具备显示虚拟界面的功能,可为用户置身虚拟现实世界提供硬件基础;且该头戴式显示设备采用现有技术中小巧、质量较轻、便于携带的VR设备,连接有头部固定带;
云端服务器:是数据的中转站,服务商可将更新的舞蹈课程包上传到云端服务器,供学员下载;学员也可将训练的舞蹈视频上传到云端服务器,供老师下载,进行审核;可保证学员实时接收到最新课程,便于学员学习,同时也保证了老师及时了解学生舞蹈的练习情况,线上存在的问题,可在线下及时得到老师的解决;
网络模块和接收模块:网络模块可与云端服务器连接,共享云端服务器内的数据,从而上传数据,或者是下载数据,下载数据由接收模块接收并储存,接收模块还可定期对储存的数据进行自动清理优化,减少过时数据对内存的占用;
人物选择模块:为学员提供不同的人物选择,老师通过体感外设采集自身的三维立体影像,并将人物信息传输到识别模块,识别模块识别图像信号并生成三维立体人物影像,再通过网络模块将三维立体人物信息传输到云端服务器,通过在云端服务器上传老师的三维立体影像,为学员在学习舞蹈时根据个人爱好选择老师提供基础数据;
虚拟环境选择模块:为学员在学习舞蹈时提供不同的虚拟场景,后台管理者上传不同虚拟场景到云端服务器,为学员在学习舞蹈时根据个人爱好选择不同虚拟场景提供基础数据;
识别模块:能够智能分析识别由体感外设传输到识别模块的舞蹈动作信息,通过体感外设捕捉学员的舞蹈动作信息,将捕捉到的舞蹈动作信息传输到识别模块,识别模块将学员的舞蹈动作信息与接收模块内的标准动作进行对比分析识别;
智能AI对话模块:为学员在练习模块、评分模块提供语音基础,通过识别模块识别舞蹈动作信息,然后输出语音指令到智能AI对话模块,语音模块输出语音,学员接收到语音信息;还可通过学员发出语音,智能AI对话模块接收语音信号,并将语音信号传输到识别模块与内部的数据库对比进行分析识别,识别分析后输出对应的语音信号或打开对应的功能模块;通过语音功能指令极大的方便了学员操作;
纠正模块:在练习模块中纠正学员的错误动作,体感外设采集学员的舞蹈动作信息,并将该动作信息上传到识别模块,根据从体感外设传输到识别模块的动作信息,与识别模块内部储存的舞蹈课程数据库进行比对,并将比对信息传输到VR虚拟显示设备和智能AI对话模块,当学员某一动作没有达到标准,则暂停舞蹈课程,并在虚拟场景内标出动作不标准的位置,进行语音指导,提示学员重复上一动作,学员重复上述一动作达到标准后,则继续舞蹈课程;
体能检测模块:实时检测学员的体能,通过体感外设捕捉学员的面部信息以及动作信息,然后将信息传输到识别模块,识别模块针对信息进行综合处理,从而学员体能进行判断,达到设定疲劳值的学员,由智能AI对话模块发出语音提示,建议休息设定的时间,课程自动停止,到达设定时间以后,学员出现在体感外设区域内并戴上了VR眼镜,则课程继续,学员可继续学习;
练习模块:为学员提供舞蹈练习的基础场景,并督促学员改正舞蹈过程中的不标准动作,通过体感外设将学员的舞蹈动作信息进行捕捉收集,并传输到识别模块,由识别模块针对学员的舞蹈动作信息与内部的舞蹈课程包数据进行比对,并将比对信息传输到VR虚拟显示和智能AI对话模块,为学员提供语音指导,使学员能够针对性的练习;
评分模块:对于学员的舞蹈练习的每个动作进行打分,然后综合评分,通过体感外设将学员的舞蹈动作信息进行捕捉收集,并传输到识别模块,由识别模块针对学员的舞蹈动作信息与内部的舞蹈课程包数据进行比对打分,并将打分信息通过网络模块上传到云端服务器,后台可在云端服务器内下载该数据,并通过专门的老师根据学员的得分情况和疑难点进行线下约谈、辅导;
远程视频模块:包括设在体感外设上的远程视频摄像头和远程信号配对模块,远程信号配对模块包括信号发射端和信号接收端,一台VR眼镜终端通过发射端发送视频请求到信号接收端,操作者在另一台VR眼镜终端确认信号接收端的视频请求信号,信号发射端和信号接收端配对成功;远程视频模块需要通过远程信号配对模块连接两台VR眼镜,并通过设置在体感外设内的图像传感器将学员或老师的图像信号传输到双方的VR眼镜虚拟显示界面内,建立线上视频连接,全身动作捕捉传感器实时将学员的舞蹈动作信息捕捉,传输到识别模块,识别模块识别后标出不标准位置,通过网络模块上传到云端服务器,再将视频实时传输到对应老师端的VR眼镜内,老师可结合视频中标出的不标准动作考核测评;
此外,学员在练习舞蹈时,可以自己发送语音指令暂停舞蹈练习的界面;
在本实施例中,所述体感外设包括但不限于可充电电池、扫描仪、信号发射器、全身动作捕捉传感控制器;所述体感外设为箱体结构,侧面设有固定吸盘或是其他用于固定的部件,学员通过体感外设向虚拟现实场景发送传感或控制指令,虚拟场景反馈体感体验并通过体感外设作用于人体身上,使学员有一种真正的虚拟现实沉浸感。
如图2所示,基于虚拟现实的舞蹈教学设备的教学方法,包括三种教学模式,练习模式,评分模式和考核模式;
练习模式的实施例如下:
打开网络模块,使网络模块与云端服务器连接,由接收模块自动接收课程包数据、虚拟场景数据和三维立体人物影像数据,学员下发语音指令“打开练习模式”,从而打开虚拟显示界面上的练习模块,从而进入练习模式;接收模块将接收到的舞蹈课程包数据导入到VR虚拟显示界面,舞蹈课程包按照更新的时间排序,供学员选择;接收模块将接收到的三维立体人物影像数据导入到VR虚拟显示界面,学员发送语音指令“预览老师”,可预览三维立体人物影像,三维立体影像旋转,使学员从各个角度观察人物形象,学员发送语音指令“选择第N个老师”,选择好相应老师后进入下一虚拟显示界面;接收模块将接收到的虚拟场景数据导入到VR虚拟显示界面,虚拟场景数据根据更新的时间先后顺序进行排列,学员可发送语音指令“预览虚拟场景”,可预览虚拟场景,转动虚拟场景,多角度观看虚拟场景,并通过语音指令“选择第N个虚拟场景”,确定进入相应的虚拟场景;学员可看到老师在虚拟场景内进行领舞,呈现在学员眼里的是一个虚拟现实世界,体感外设实时采集学员的舞蹈动作,并将采集的舞蹈动作信号实时传输到识别模块,识别模块将动作信号与内部的舞蹈数据库进行对比,若发现有动作不标准的地方,则课程会暂停,并通过智能AI语音对学员进行语音提示,重复上一动作,动作标准后则会自动继续课程,继续进行学习训练;
评分模式的实施例如下:
打开网络模块,使网络模块与云端服务器连接,由接收模块自动接收课程包数据、虚拟场景数据,学员通过语音指令“打开评分模块”,打开虚拟显示界面上的评分模块,从而进入评分模式;接收模块将接收到的舞蹈课程包数据导入到VR虚拟显示界面,舞蹈课程包按照更新的时间排序,供学员选择;接收模块将接收到的虚拟场景数据导入到VR显示界面,虚拟场景数据根据更新的时间先后顺序进行排列,学员可发送语音指令“预览虚拟场景”,可预览虚拟场景,转动虚拟场景,多角度观看虚拟场景,选择好后下达语音指令“进入第N个虚拟场景”,从而进入相应的虚拟场景内;体感外设采集到的学员的图像信息,并通过识别模块生成三维立体影像,导入到虚拟场景内,学员可看到自身置入在虚拟场景内,学员根据课程包内的舞蹈音乐节奏跳舞,并在虚拟显示界面上方会有一个评分显示,体感外设采集到的舞蹈动作信号传输到识别模块后,识别模块与内部课程包的数据进行比对,并生成评分,每一帧动作都会被精准捕捉,记录并进行评分,跳完以后,会有一个总的评分,识别模块会将本次舞蹈的视频以及评分的细则通过网络模块上传到云端服务器,可供老师在后台下载观看;
考核模式的实施例如下:
打开网络模块,使网络模块与云端服务器连接,由接收模块自动接收课程包数据、场景模型数据和三维立体人物影像数据,学员发送语音指令“打开远程视频模块”,选择虚拟显示界面上的远程视频模块,从而进入考核模式;接收模块将接收到的舞蹈课程包数据导入到VR虚拟显示界面,舞蹈课程包按照更新的时间排序,供学员选择;接收模块将接收到的虚拟场景数据导入到VR虚拟显示界面,虚拟场景数据根据更新的时间先后顺序进行排列,学员发送语音指令“预览虚拟场景”,可预览虚拟场景,转动虚拟场景,多角度观看虚拟场景,最后下发语音指令“进入第N个虚拟场景”,进入确定选择好的虚拟场景;接收模块将接收到的三维立体人物影像数据导入到VR虚拟显示界面,学员可下发语音指令“预览老师”,可预览三维立体人物影像,三维立体影像旋转,使学员从各个角度观察人物形象,学员发送语音指令“选择第N个老师”,选择好相应老师后,进入视频呼出,通过网络模块与老师进行线上视频连接,接通后进入到考核场景;体感外设采集到的学员的图像信息以及全身的舞蹈动作信息,并通过识别模块生成三维立体影像,导入到虚拟场景内,学员可看到自身置入在VR虚拟场景内,学员根据课程包内的舞蹈音乐节奏跳舞,体感外设采集到的舞蹈动作信号传输到识别模块后,识别模块识别后标出不标准位置,通过网络模块上传到云端服务器,再将视频实时传输到对应老师端的VR眼镜内,老师可结合视频中标出的不标准动作考核测评。
此外,本发明的应用不限于应用在舞蹈教学领域,例如武术教学、文字交流的课程领域等,亦可使用。
以上实施例仅为说明本发明的技术思想,不能以此限定本发明的保护范围,凡是按照本发明提出的技术思想,在技术方案基础上所做的任何改动,均落入本发明保护范围之内。

Claims (7)

1.一种基于虚拟现实的舞蹈教学设备,其特征在于:包括VR眼镜、网络同步模块、人机交互模块、云端服务器、体感外设;所述云端服务器可供上传更新的舞蹈课程;所述网络同步模块包括接收模块和网络模块,网络模块与云端服务器连接,共享云端服务器内的舞蹈课程数据,接收模块自动下载舞蹈课程的更新包;所述VR眼镜是具有独立处理器的头戴式显示设备,接收模块、网络模块、人机交互模块均植入在VR眼镜内;
所述人机交互模块包括人物选择模块、虚拟环境选择模块、练习模块、评分模块、智能AI对话模块、纠正模块、识别模块;
通过VR眼镜与体感外设配合,结合人机交互模块,用户进行人物选择、虚拟环境选择、智能AI对话、动作纠正,在虚拟现实的环境内实现远程交互性舞蹈教学。
2.根据权利要求1所述的一种基于虚拟现实的舞蹈教学设备,其特征在于:所述识别模块能够智能分析识别由体感外设传输到识别模块的舞蹈动作信息,通过体感外设捕捉学员的舞蹈动作信息,将捕捉到的舞蹈动作信息传输到识别模块,识别模块将学员的舞蹈动作信息与接收模块内的标准动作进行对比分析识别;
所述智能AI对话模块为学员在练习模块、评分模块提供语音基础,通过识别模块识别舞蹈动作信息,然后输出语音指令到智能AI对话模块,语音模块输出语音,学员接收到语音信息;还可通过学员发出语音,智能AI对话模块接收语音信号,并将语音信号传输到识别模块与内部的数据库对比进行分析识别,识别分析后输出对应的语音信号或打开对应的功能模块;
所述人物选择模块为学员提供不同的人物选择,老师通过体感外设采集自身的三维立体影像,并将人物信息传输到识别模块,识别模块识别图像信号并生成三维立体人物影像,再通过网络模块将三维立体人物信息传输到云端服务器,通过在云端服务器上传老师的三维立体影像,为学员在学习舞蹈时根据个人爱好选择老师提供基础数据;
所述虚拟环境选择模块为学员在学习舞蹈时提供不同的虚拟场景,后台管理者上传不同虚拟场景到云端服务器,为学员在学习舞蹈时根据个人爱好选择不同虚拟场景提供基础数据;
所述纠正模块在练习模块中纠正学员的错误动作,体感外设采集学员的舞蹈动作信息,并将该动作信息上传到识别模块,根据从体感外设传输到识别模块的动作信息,与识别模块内部储存的舞蹈课程数据库进行比对,并将比对信息传输到VR虚拟显示设备和智能AI对话模块,当学员某一动作没有达到标准,则暂停舞蹈课程,并在虚拟场景内标出动作不标准的位置,进行语音指导,提示学员重复上一动作,学员重复上述一动作达到标准后,则继续舞蹈课程;
所述练习模块为学员提供舞蹈练习的基础场景,并督促学员改正舞蹈过程中的不标准动作,通过体感外设将学员的舞蹈动作信息进行捕捉收集,并传输到识别模块,由识别模块针对学员的舞蹈动作信息与内部的舞蹈课程包数据进行比对,并将比对信息传输到VR虚拟显示和智能AI对话模块,为学员提供语音指导,使学员能够针对性的练习;
所述评分模块对于学员的舞蹈练习的每个动作进行打分,然后综合评分,通过体感外设将学员的舞蹈动作信息进行捕捉收集,并传输到识别模块,由识别模块针对学员的舞蹈动作信息与内部的舞蹈课程包数据进行比对打分,并将打分信息通过网络模块上传到云端服务器,后台可在云端服务器内下载该数据,并通过专门的老师根据学员的得分情况和疑难点进行线下约谈、辅导。
3.根据权利要求1所述的一种基于虚拟现实的舞蹈教学设备,其特征在于:所述人机交互模块还包括体能检测模块;
所述体能检测模块实时检测学员的体能,通过体感外设捕捉学员的面部信息以及动作信息,然后将信息传输到识别模块,识别模块针对信息进行综合处理,从而学员体能进行判断,达到设定疲劳值的学员,由智能AI对话模块发出语音提示,建议休息设定的时间,课程自动停止,到达设定时间以后,学员出现在体感外设区域内并戴上了VR眼镜,则课程继续,学员可继续学习。
4.根据权利要求1所述的一种基于虚拟现实的舞蹈教学设备,其特征在于:所述体感外设包括可充电电池、扫描仪、信号发射器、全身动作捕捉传感控制器。
5.根据权利要求1所述的一种基于虚拟现实的舞蹈教学设备,其特征在于:所述人机交互模块还包括远程视频模块;
远程视频模块包括设在体感外设上的远程视频摄像头和远程信号配对模块,远程信号配对模块包括信号发射端和信号接收端,一台VR眼镜终端通过发射端发送视频请求到信号接收端,操作者在另一台VR眼镜终端确认信号接收端的视频请求信号,信号发射端和信号接收端配对成功;
所述远程视频模块需要通过远程信号配对模块连接两台VR眼镜,并通过设置在体感外设内的图像传感器将学员或老师的图像信号传输到双方的VR眼镜虚拟显示界面内,建立线上视频连接,全身动作捕捉传感器实时将学员的舞蹈动作信息捕捉,传输到识别模块,识别模块识别后标出不标准位置,通过网络模块上传到云端服务器,再将视频实时传输到对应老师端的VR眼镜内,老师可结合视频中标出的不标准动作考核测评。
6.根据权利要求5所述的一种基于虚拟现实的舞蹈教学设备,其特征在于:所述体感外设为箱体结构,侧面设有固定吸盘。
7.基于权利要求1至6任一权利要求基于虚拟现实的舞蹈教学设备的教学方法,其特征在于:包括三种教学模式,练习模式、评分模式和考核模式;
练习模式包括以下步骤:
(1)打开网络模块,使网络模块与云端服务器连接,由接收模块自动接收课程包数据、虚拟场景数据和三维立体人物影像数据,学员打开虚拟显示界面上的练习模块,从而进入练习模式;
(2)接收模块将接收到的舞蹈课程包数据导入到VR虚拟显示界面,舞蹈课程包按照更新的时间排序,供学员选择;
(3)接收模块将接收到的三维立体人物影像数据导入到VR虚拟显示界面,学员可预览三维立体人物影像,三维立体影像旋转,使学员从各个角度观察人物形象,学员选择好相应老师后进入下一虚拟显示界面;
(4)接收模块将接收到的虚拟场景数据导入到VR虚拟显示界面,虚拟场景数据根据更新的时间先后顺序进行排列,学员可预览虚拟场景,转动虚拟场景,多角度观看虚拟场景,确定进入相应的虚拟场景;
(5)学员可看到老师在虚拟场景内进行领舞,呈现在学员眼里的是一个虚拟现实世界,体感外设实时采集学员的舞蹈动作,并将采集的舞蹈动作信号实时传输到识别模块,识别模块将动作信号与内部的舞蹈数据库进行对比,若发现有动作不标准的地方,则课程会暂停,并通过智能AI语音对学员进行语音提示,重复上一动作,动作标准后则会自动继续课程,继续进行学习训练;
评分模式包括以下步骤:
(1)打开网络模块,使网络模块与云端服务器连接,由接收模块自动接收课程包数据、虚拟场景数据,学员打开虚拟显示界面上的评分模块,从而进入评分模式;
(2)接收模块将接收到的舞蹈课程包数据导入到VR虚拟显示界面,舞蹈课程包按照更新的时间排序,供学员选择;
(3)接收模块将接收到的虚拟场景数据导入到VR显示界面,虚拟场景数据根据更新的时间先后顺序进行排列,学员可预览虚拟场景,转动虚拟场景,多角度观看虚拟场景,选择好后进入相应的虚拟场景内;
(4)体感外设采集到的学员的图像信息,并通过识别模块生成三维立体影像,导入到虚拟场景内,学员可看到自身置入在虚拟场景内,学员根据课程包内的舞蹈音乐节奏跳舞,并在虚拟显示界面上方会有一个评分显示,体感外设采集到的舞蹈动作信号传输到识别模块后,识别模块与内部课程包的数据进行比对,并生成评分,每一帧动作都会被精准捕捉,记录并进行评分,跳完以后,会有一个总的评分,识别模块会将本次舞蹈的视频以及评分的细则通过网络模块上传到云端服务器,可供老师在后台下载观看。
考核模式包括以下步骤:
(1)打开网络模块,使网络模块与云端服务器连接,由接收模块自动接收课程包数据、场景模型数据和三维立体人物影像数据,学员选择虚拟显示界面上的远程视频模块,从而进入考核模式;
(2)接收模块将接收到的舞蹈课程包数据导入到VR虚拟显示界面,舞蹈课程包按照更新的时间排序,供学员选择;
(3)接收模块将接收到的虚拟场景数据导入到VR虚拟显示界面,虚拟场景数据根据更新的时间先后顺序进行排列,学员可预览虚拟场景,转动虚拟场景,多角度观看虚拟场景,最后进入确定选择好的虚拟场景;
(4)接收模块将接收到的三维立体人物影像数据导入到VR虚拟显示界面,学员可预览三维立体人物影像,三维立体影像旋转,使学员从各个角度观察人物形象,学员选择好相应老师后,进入视频呼出,通过网络模块与老师进行线上视频连接,接通后进入到考核场景;
(5)体感外设采集到的学员的图像信息以及全身的舞蹈动作信息,并通过识别模块生成三维立体影像,导入到虚拟场景内,学员可看到自身置入在VR虚拟场景内,学员根据课程包内的舞蹈音乐节奏跳舞,体感外设采集到的舞蹈动作信号传输到识别模块后,识别模块识别后标出不标准位置,通过网络模块上传到云端服务器,再将视频实时传输到对应老师端的VR眼镜内,老师可结合视频中标出的不标准动作考核测评。
CN202011341864.1A 2020-11-25 2020-11-25 一种基于虚拟现实的舞蹈教学设备及其教学方法 Pending CN112614399A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011341864.1A CN112614399A (zh) 2020-11-25 2020-11-25 一种基于虚拟现实的舞蹈教学设备及其教学方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011341864.1A CN112614399A (zh) 2020-11-25 2020-11-25 一种基于虚拟现实的舞蹈教学设备及其教学方法

Publications (1)

Publication Number Publication Date
CN112614399A true CN112614399A (zh) 2021-04-06

Family

ID=75225249

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011341864.1A Pending CN112614399A (zh) 2020-11-25 2020-11-25 一种基于虚拟现实的舞蹈教学设备及其教学方法

Country Status (1)

Country Link
CN (1) CN112614399A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113572769A (zh) * 2021-07-23 2021-10-29 河南省洛阳正骨医院(河南省骨科医院) 一种基于5g实时传输的vr沉浸式中医药文化传播***
CN113694501A (zh) * 2021-08-31 2021-11-26 重庆科华安全设备有限责任公司 一种应用于引体向上的智能指导***
CN113867532A (zh) * 2021-09-30 2021-12-31 上海千丘智能科技有限公司 一种基于虚拟现实技能训练的评估***及评估方法
CN114170857A (zh) * 2021-12-14 2022-03-11 广西电网有限责任公司南宁供电局 一种基于虚拟现实技术的电缆故障诊断的教学***
CN114360313A (zh) * 2021-12-29 2022-04-15 南京财经大学 一种使用ar眼镜的辅助跨境电商实战教学方法和装置
CN114452622A (zh) * 2022-01-24 2022-05-10 宁波大学 一种基于视觉ai的智能运动指导***及其方法
CN115273222A (zh) * 2022-06-23 2022-11-01 武汉元淳传媒有限公司 一种基于人工智能的多媒体互动分析控制管理***
CN115311913A (zh) * 2021-05-08 2022-11-08 咪付(广西)网络技术有限公司 一种基于人工智能的动作训练***
CN115830952A (zh) * 2023-02-08 2023-03-21 杭州南粟科技有限公司 一种利用音乐辅助的发音与肢体训练方法及***
WO2023045144A1 (zh) * 2021-09-27 2023-03-30 华中师范大学 一种立体综合教学场***的工作方法
CN117499748A (zh) * 2023-11-02 2024-02-02 江苏濠汉信息技术有限公司 一种基于边缘计算的课堂教学互动方法及***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106128174A (zh) * 2016-08-18 2016-11-16 四川以太原力科技有限公司 基于虚拟现实的肢体教学方法与教学***
CN107349594A (zh) * 2017-08-31 2017-11-17 华中师范大学 一种虚拟舞蹈***的动作评价方法
CN109363688A (zh) * 2018-11-28 2019-02-22 河南职业技术学院 体育教学过程中的体能监控方法及装置
CN109817031A (zh) * 2019-01-15 2019-05-28 张赛 一种基于vr技术的肢体运动教学方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106128174A (zh) * 2016-08-18 2016-11-16 四川以太原力科技有限公司 基于虚拟现实的肢体教学方法与教学***
CN107349594A (zh) * 2017-08-31 2017-11-17 华中师范大学 一种虚拟舞蹈***的动作评价方法
CN109363688A (zh) * 2018-11-28 2019-02-22 河南职业技术学院 体育教学过程中的体能监控方法及装置
CN109817031A (zh) * 2019-01-15 2019-05-28 张赛 一种基于vr技术的肢体运动教学方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115311913A (zh) * 2021-05-08 2022-11-08 咪付(广西)网络技术有限公司 一种基于人工智能的动作训练***
CN113572769A (zh) * 2021-07-23 2021-10-29 河南省洛阳正骨医院(河南省骨科医院) 一种基于5g实时传输的vr沉浸式中医药文化传播***
CN113694501A (zh) * 2021-08-31 2021-11-26 重庆科华安全设备有限责任公司 一种应用于引体向上的智能指导***
WO2023045144A1 (zh) * 2021-09-27 2023-03-30 华中师范大学 一种立体综合教学场***的工作方法
CN113867532A (zh) * 2021-09-30 2021-12-31 上海千丘智能科技有限公司 一种基于虚拟现实技能训练的评估***及评估方法
CN114170857A (zh) * 2021-12-14 2022-03-11 广西电网有限责任公司南宁供电局 一种基于虚拟现实技术的电缆故障诊断的教学***
CN114360313A (zh) * 2021-12-29 2022-04-15 南京财经大学 一种使用ar眼镜的辅助跨境电商实战教学方法和装置
CN114452622A (zh) * 2022-01-24 2022-05-10 宁波大学 一种基于视觉ai的智能运动指导***及其方法
CN115273222A (zh) * 2022-06-23 2022-11-01 武汉元淳传媒有限公司 一种基于人工智能的多媒体互动分析控制管理***
CN115273222B (zh) * 2022-06-23 2024-01-26 广东园众教育信息化服务有限公司 一种基于人工智能的多媒体互动分析控制管理***
CN115830952A (zh) * 2023-02-08 2023-03-21 杭州南粟科技有限公司 一种利用音乐辅助的发音与肢体训练方法及***
CN117499748A (zh) * 2023-11-02 2024-02-02 江苏濠汉信息技术有限公司 一种基于边缘计算的课堂教学互动方法及***

Similar Documents

Publication Publication Date Title
CN112614399A (zh) 一种基于虚拟现实的舞蹈教学设备及其教学方法
CN110890140B (zh) 基于虚拟现实的自闭症康复训练及能力评估***及方法
CN113706960B (zh) 一种基于vr技术的护理操作练习平台及使用方法
CN109011508A (zh) 一种智能教练***及方法
US20170206794A1 (en) Method and Apparatus for Providing Personalised Audio-Visual Instruction
CN107633719A (zh) 基于多语种人机交互的拟人形象人工智能教学***和方法
EP1351208A2 (en) Networked learning system
CN111523444B (zh) 基于改进的Openpose模型和面部微表情的课堂行为检测的方法
CN104766503A (zh) 心肺复苏术教学***及方法
CN110490173B (zh) 一种基于3d体感模型的智能动作打分***
EP3254268A1 (en) Frameworks, devices and methodologies configured to enable delivery of interactive skills training content, including content with multiple selectable expert knowledge variations
CN108335747A (zh) 认知训练***
CN203118082U (zh) 网络课程学习与考试防作弊的监控装置
CN111523445B (zh) 一种基于改进的Openpose模型和面部微表情的考试行为检测方法
CN113694343A (zh) 一种基于vr技术的沉浸式抗压力心理训练***及方法
CN116611969B (zh) 传统武术智能学习与评分***
CN111760261B (zh) 一种基于虚拟现实技术的体育优化训练***及方法
TW201919735A (zh) 移動式運動器材控制器、結合於運動器材之資訊傳輸收集裝置、以及所組成之運動器材與控制方法
CN115909839B (zh) 一种基于vr技术的医学教育培训考核***及方法
CN116271757A (zh) 一种基于ai技术的篮球练习的辅助***和方法
CN215875885U (zh) 一种基于vr技术的沉浸式抗压力心理训练***
CN113100755B (zh) 一种基于视觉追踪控制的肢体康复训练与评估***
CN115116141A (zh) 一种体能训练监测***
US20240198177A1 (en) Exercise instruction and feedback systems and methods
CN113012505A (zh) 一种基于互联网的互动式舞蹈教学练习平台及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination