CN109493686A - 一种基于混合现实的钢琴训练***及方法 - Google Patents

Abstract

一种基于混合现实的钢琴训练***及方法。该钢琴训练***包括混合现实头盔、钢琴、定位装置和处理装置；该钢琴为真实的；该定位装置设置在该钢琴或该混合现实头盔上，用于实时测量该钢琴的琴键与该混合现实头盔的之间相对位置；该处理装置，信号连接该混合现实头盔，用于加载并根据标准钢琴文件生成对应的虚拟训练场景，并将该虚拟训练场景传输至该混合现实头盔；该混合现实头盔，信号连接该定位装置，供用户随身佩戴，用于现实该钢琴的琴键并根据该定位装置检测到的该钢琴的琴键与该混合现实头盔的之间相对位置在该钢琴的琴键的上侧显示该虚拟训练场景。其可以增加钢琴训练过程的乐趣且允许用户在训练过程中调整自己的坐姿从而防止颈椎过度疲劳。

Description

一种基于混合现实的钢琴训练***及方法

技术领域

本发明涉及混合现实技术领域，具体涉及一种基于混合现实的钢琴训练***及方法。

背景技术

钢琴被誉为“乐器之王”，随着社会的进步和时代的发展，人们开始注重精神上的追求和个人的修养，各个年龄阶层的人中都涌现出大量的钢琴学习者，大批的培训机构也应运而生。

但是，钢琴教学工作者的音乐素养和教学水平各异，对钢琴爱好者寻找一个合适的钢琴老师造成了困扰。同时，跟随老师学***时的练习，也可能会觉得练习过程枯燥无味。

目前有部分技术利用ipad等工具将处理过的乐谱通过虚拟手指的形式在键盘上表现出来，也有技术利用增强现实在空间中添加虚拟的音符来协助练习，但是这些方法需要使用者注视琴键，长时间练习对颈椎造成过大压力，同时由于虚拟音符的位置原因导致弹奏坐姿无法调整。

发明内容

本发明要解决的技术问题在于，针对现有技术存在的上述问题，提供一种基于混合现实的钢琴训练***，其可以增加钢琴训练过程的乐趣且允许用户在训练过程中调整自己的坐姿从而防止颈椎过度疲劳。本发明提供了一种基于混合现实的钢琴训练方法。

为解决上述技术问题，本发明提供一种基于混合现实的钢琴训练***，包括混合现实头盔、钢琴、定位装置和处理装置；所述钢琴为真实的；所述定位装置设置在所述钢琴或所述混合现实头盔上，用于实时测量所述钢琴的琴键与所述混合现实头盔的之间相对位置；所述处理装置，信号连接所述混合现实头盔，用于加载并根据标准钢琴文件生成对应的虚拟训练场景，并将所述虚拟训练场景传输至所述混合现实头盔；所述混合现实头盔，信号连接所述定位装置，供用户随身佩戴，用于现实所述钢琴的琴键并根据所述定位装置检测到的所述钢琴的琴键与所述混合现实头盔的之间相对位置在所述钢琴的琴键的上侧显示所述虚拟训练场景。

本发明提供的基于混合现实的钢琴训练***中，所述虚拟训练场景包括一条虚拟的弹奏提示线，所述弹奏提示线的上方有从上往下落的提示符。

本发明提供的基于混合现实的钢琴训练***中，所述提示符具有形状不同的两个形态，所述两个形态分别为第一形态和第二形态，当所述提示符远离所述弹奏提示线时所述提示符呈第一形态，当所述提示符接近所述弹奏提示线时所述提示符呈第二形态。

本发明提供的基于混合现实的钢琴训练***中，所述提示符呈第二形态时，其在上下方向上的尺寸与所述提示符的持续时间成正比。

本发明提供的基于混合现实的钢琴训练***中，所述弹奏提示线包括有效提示区段，所述有效提示区段被多个分隔线等分成N个提示符掉落区段，N的数值与所述钢琴的琴键数目相同，N个所述提示符掉落区段与所述钢琴上的N个所述琴键一一对应。

本发明提供的基于混合现实的钢琴训练***中，所述处理装置还用于在加载所述标准钢琴文件后生产对应的音频信号，所述混合现实头盔还用于接收所述音频信号并播放对应的标准旋律。

为解决上述问题，本发明还提供了一种基于混合现实的钢琴训练方法，使用如上所述的钢琴训练***，所述钢琴训练方法包括如下步骤：

在所述处理模块上加载所述标准钢琴文件，所述处理模块根据所述标准钢琴文件生成对应的所述虚拟训练场景；

开启并佩戴所述混合现实头盔，此时训练者可通过所述混合现实头盔看到所述钢琴的琴键以及位于所述琴键的上侧的所述虚拟训练场景；

训练者根据所述虚拟训练场景在所述琴键上进行弹奏训练，训练者可以听到所述琴键被按压时发出的声音。

本发明提供的基于混合现实的钢琴训练方法中，所述钢琴训练方法包括如下步骤：

所述处理模块在加载所述标准钢琴文件后生产对应的音频信号；

所述混合现实头盔接收所述音频信号并播放对应的标准旋律。

本发明提供的基于混合现实的钢琴训练方法中，所述虚拟训练场景包括一条虚拟的弹奏提示线，所述弹奏提示线的上方有从上往下落的提示符；所述提示符具有形状不同的两个形态，所述两个形态分别为第一形态和第二形态，当所述提示符远离所述弹奏提示线时所述提示符呈第一形态，当所述提示符接近所述弹奏提示线时所述提示符呈第二形态；所述提示符呈第二形态时，其在上下方向上的尺寸与所述提示符的持续时间成正比；所述弹奏提示线包括有效提示区段，所述有效提示区段被多个分隔线等分成N个提示符掉落区段，N的数值与所述钢琴的琴键数目相同，N个所述提示符掉落区段与所述钢琴上的N个所述琴键一一对应；

所述的“训练者根据所述虚拟训练场景在所述琴键上进行弹奏训练”的过程是：当所述提示符下落到底部恰好与所述弹奏提示线接触时，训练者按压与所述提示符所在的所述提示符掉落区段相对于的所述琴键，并在所述提示符的顶部恰好与所述弹奏提示线分离后松开所述琴键，当所述提示符下落至于所述弹奏提示线相接触时，所述提示符向下延伸出一延伸段，所述延伸段与对应的所述琴键正对齐并相接。

本发明提供的基于混合现实的钢琴训练方法中，所述混合现实头盔显示的所述弹奏提示线分布在正对人眼的前方偏下位置，且随所述混合现实头盔上下移动而移动，不随所述混合现实头盔左右移动而移动。

与现有技术相比，实施本发明，具有如下有益效果：本发明提供的基于混合现实的钢琴训练***及方法可以增加钢琴训练过程的乐趣且允许用户在训练过程中调整自己的坐姿从而防止颈椎过度疲劳。

附图说明

图1为本发明实施例一提供的基于混合现实的钢琴训练***的方框原理图；

图2为本发明实施例一提供的基于混合现实的钢琴训练***中的混合现实头盔中显示的琴键和虚拟训练场景的示意图；

图3为本发明实施例一提供的基于混合现实的钢琴训练***中混合现实头盔的立体示意图。

具体实施方式中的附图标号说明：

混合现实头盔	100	钢琴	200
				处理装置	300	定位装置	400
弹奏提示线	101	提示符	102
				提示符掉落区段	1011	琴键	201

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

本实施例提供了一种基于混合现实的钢琴训练***。包括混合现实头盔、钢琴、定位装置和处理装置；所述钢琴为真实的；所述定位装置设置在所述钢琴或所述混合现实头盔上，用于实时测量所述钢琴的琴键与所述混合现实头盔的之间相对位置；所述处理装置，信号连接所述混合现实头盔，用于加载并根据标准钢琴文件生成对应的虚拟训练场景，并将所述虚拟训练场景传输至所述混合现实头盔；所述混合现实头盔，信号连接所述定位装置，供用户随身佩戴，用于现实所述钢琴的琴键并根据所述定位装置检测到的所述钢琴的琴键与所述混合现实头盔的之间相对位置在所述钢琴的琴键的上侧显示所述虚拟训练场景。

所述琴键可以直接从市场上购买获得。训练过程中，训练者直接在真实的所述钢琴上弹奏，保证训练者的真实触感。

本实施例中，所述定位装置利用定位光塔原理对所述钢琴的琴键和所述混合现实头盔之间的相对位置关系进行定位。具体的，所述定位装置包括安装于所述混合现实头盔的对所述钢琴发射横竖两个方向扫射的激光的激光发射器，放置在所述钢琴上的多个激光感应接收器，以及与多个所述激光感应接收器连接的单片机。所述单片机通过计算两束光线到达所述钢琴的琴键的角度差，计算出所述混合现实头盔与所述钢琴之间的位置关系，由于所述激光感应接收器在所述钢琴上的位置是固定的，因此所述钢琴的琴键和混合现实头盔的相对位置就可以被确定。

所述处理模块可以是计算机、笔记本电脑、智能手机或是平板电脑，其与所述混合现实头盔之间通过蓝牙配对实现信号连接。当然，在其他实施例中，可以通过数据线将所述处理模块与所述混合现实头盔进行有线连接，以实现两者之间的信号传输。当所述处理模块上加载了所述标准钢琴文件时，所述处理模块生成对应的所述虚拟训练场景。所述虚拟训练场景包括一条虚拟的弹奏提示线，所述弹奏提示线的上方有从上往下落的提示符。所述弹奏提示线包括有效提示区段，所述有效提示区段被多个分隔线等分成多个提示符掉落区段，所述提示符掉落区段的数目与所述钢琴的琴键数目一致，多个所述提示符掉落区段与所述钢琴上的多个所述琴键一一对应。所述提示符具有形状不同的两个形态，所述两个形态分别为第一形态和第二形态，当所述提示符远离所述弹奏提示线时所述提示符呈第一形态，当所述提示符接近所述弹奏提示线时所述提示符呈第二形态。具体的，所述提示符的初始位置与所述弹奏提示线之间有一定距离L，我们可以设置当所述提示符与所述弹奏提示线之间的距离为L的二分之一或三分之一或四分之一时从第一形态变化成第二形态，这样可以提示训练者做好准备。本实施例中，所述第一形态为五线谱音符状，所述第二形态为长方形状。所述提示符呈第二形态时，其在上下方向上的尺寸与所述提示符102的持续时间成正比。而且，当所述提示符下落至于所述弹奏提示线相接触时，所述提示符向下延伸出一延伸段，所述延伸段与对应的所述琴键正对齐并相接，从而，帮助训练者快速判断是否弹对了相应的琴键。

下面具体介绍使用所述钢琴训练***进行钢琴训练的具体过程：包括如下步骤：

1)在所述处理模块上加载所述标准钢琴文件，所述处理模块根据所述标准钢琴文件生成对应的所述虚拟训练场景；

2)开启并佩戴所述混合现实头盔，此时，训练者可通过所述混合现实头盔看到所述钢琴的琴键以及位于所述琴键的上侧的所述虚拟训练场景；

3)训练者根据所述虚拟训练场景在所述琴键上进行弹奏训练，训练者可以听到所述琴键被按压时发出的声音；所述的“训练者根据所述虚拟训练场景在所述琴键上进行弹奏训练”的过程是：当所述提示符下落到底部恰好与所述弹奏提示线接触时，训练者按压与所述提示符所在的所述提示符掉落区段相对应的所述琴键，并在所述提示符的顶部恰好与所述弹奏提示线分离后松开所述琴键。当所述提示符下落至于所述弹奏提示线相接触时，所述提示符向下延伸出一延伸段，所述延伸段与对应的所述琴键正对齐并相接，如此，训练者很容易判断自己是否弹对了相应的所述琴键。

综上所述，训练者采用本实施例提供的钢琴训练***进行钢琴训练中，训练者根据所述虚拟训练场景中的提示符的下落顺序及提示符处于第二形态时的长度在所述钢琴上进行弹奏，整个过程犹如进行一次音乐节奏类游戏，使得训练者能够在乐趣中学习。而且所述钢琴可以为训练者提供真实的触感，使得训练者在训练过程中能够体会到更加真切的弹奏感。

进一步优化的，所述处理装置还用于在加载所述标准钢琴文件后生产对应的音频信号，所述混合现实头盔还用于接收所述音频信号并播放对应的标准旋律。本实施例中，所述混合显示头盔播放所述标准旋律的音量较低，以保证训练者能够同时听到所述标准旋律和自己弹奏所述钢琴所发出的声音，使得训练者可以实时的发现自己在训练过程中出现的错误。

进一步优化的，所述混合现实头盔显示的所述弹奏提示线分布在正对人眼的前方偏下位置，且随所述混合现实头盔上下移动而移动，不随所述混合现实头盔左右移动而移动。当训练者将所述混合显示头盔佩戴于头部时，由于所述弹奏提示线会随所述混合现实头盔上下移动而移动，那么，在训练的过程中，训练者的头部不必要长时间保持一个姿势，可以适当的低头或抬头以活动颈部，既不会打断训练，又能够缓解颈部疲劳。又由于所述弹奏提示线不随所述混合现实头盔左右移动而移动，如此，可以保证所述弹奏提示线上的多个所述提示符掉落区段始终保持与所述钢琴的多个所述琴键一一对齐。

实施例二

本实施例提供了一种基于混合现实的钢琴训练***。其与实施例一的不同之处在于：所述定位装置包括摄像头和多个小灯泡，所述摄像头设置在所述钢琴上，多个所述小灯泡设置在所述混合现实头盔上，利用可见光定位技术来确认所述钢琴与所述混合现实头盔之间的相对位置关系，由于所述摄像头在所述钢琴上的位置是固定的，因此所述钢琴的琴键和混合现实头盔的相对位置就可以被确定。

实施例三

本实施例提供了一种基于混合现实的钢琴训练***。其与实施例一的不同之处在于：利用inside-out空间定位技术由设置在所述混合现实头盔上的摄像头对外部空间和设置在钢琴上的特征光点进行识别来定位。本实施例中，所述定位装置包括所述摄像头和所述特征光点。

实施例四

本实施例提供一种基于混合现实的钢琴训练方法。所述钢球训练方法使用如实施例一提供的钢琴训练***来完成，所述钢琴训练方法包括如下步骤：

1)在所述处理模块上加载所述标准钢琴文件，所述处理模块根据所述标准钢琴文件生成对应的所述虚拟训练场景；

2)开启并佩戴所述混合现实头盔，此时训练者可通过所述混合现实头盔看到所述钢琴的琴键以及位于所述琴键的上侧的所述虚拟训练场景；

3)训练者根据所述虚拟训练场景在所述琴键上进行弹奏训练，训练者可以听到所述琴键被按压时发出的声音。

进一步的，所述钢琴训练方法还包括如下步骤：

4)所述处理模块在加载所述标准钢琴文件后生产对应的音频信号；

5)所述混合现实头盔接收所述音频信号并播放对应的标准旋律。

具体可以参照实施例一中关于“具体介绍使用所述钢琴训练***进行钢琴训练的具体过程”的部分，这了不再赘述。

实施例五

本实施例提供一种基于混合现实的钢琴训练方法。其与实施四的区别在于：在步骤2)中，开启并佩戴所述混合现实头盔后，关闭显示所述琴键的功能，此时，训练者可通过所述混合现实头盔仅能看到所述虚拟训练场景，也就是说，只能看到所述提示符和弹奏提示线，不会看到琴键。当训练者认为自己对所述钢琴的琴键位置十分熟练时，可以采用本实施例的钢琴训练方法，以适当的提高训练难度，更快的提高自身水平。

另外，我们还可以通过在所述标准钢琴文件中添加坐姿矫正的相关信息，使得所述混合现实头盔能够在显示所述虚拟训练场景的同时显示关于矫正坐姿的辅助图案，从而提示训练者调整弹奏时的坐姿，有助于训练者练习以正确的坐姿弹奏，并且避免长时间低头导致的颈椎问题。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护范围之内。

Claims (10)

1.一种基于混合现实的钢琴训练***，其特征在于，包括混合现实头盔、钢琴、定位装置和处理装置；所述钢琴为真实的；所述定位装置设置在所述钢琴或所述混合现实头盔上，用于实时测量所述钢琴的琴键与所述混合现实头盔的之间相对位置；所述处理装置，信号连接所述混合现实头盔，用于加载并根据标准钢琴文件生成对应的虚拟训练场景，并将所述虚拟训练场景传输至所述混合现实头盔；所述混合现实头盔，信号连接所述定位装置，供用户随身佩戴，用于现实所述钢琴的琴键并根据所述定位装置检测到的所述钢琴的琴键与所述混合现实头盔的之间相对位置在所述钢琴的琴键的上侧显示所述虚拟训练场景。

2.根据权利要求1所述的基于混合现实的钢琴训练***，其特征在于，所述虚拟训练场景包括一条虚拟的弹奏提示线，所述弹奏提示线的上方有从上往下落的提示符。

3.根据权利要求2所述的基于混合现实的钢琴训练***，其特征在于，所述提示符具有形状不同的两个形态，所述两个形态分别为第一形态和第二形态，当所述提示符远离所述弹奏提示线时所述提示符呈第一形态，当所述提示符接近所述弹奏提示线时所述提示符呈第二形态。

4.根据权利要求2所述的基于混合现实的钢琴训练***，其特征在于，所述提示符呈第二形态时，其在上下方向上的尺寸与所述提示符的持续时间成正比。

5.根据权利要求2所述的基于混合现实的钢琴训练***，其特征在于，所述弹奏提示线包括有效提示区段，所述有效提示区段被多个分隔线等分成N个提示符掉落区段，N的数值与所述钢琴的琴键数目相同，N个所述提示符掉落区段与所述钢琴上的N个所述琴键一一对应。

6.根据权利要求1所述的基于混合现实的钢琴训练***，其特征在于，所述处理装置还用于在加载所述标准钢琴文件后生产对应的音频信号，所述混合现实头盔还用于接收所述音频信号并播放对应的标准旋律。

7.一种基于混合现实的钢琴训练方法，其特征在于，使用如权利要求1所述的钢琴训练***，所述钢琴训练方法包括如下步骤：

在所述处理模块上加载所述标准钢琴文件，所述处理模块根据所述标准钢琴文件生成对应的所述虚拟训练场景；

开启并佩戴所述混合现实头盔，此时训练者可通过所述混合现实头盔看到所述钢琴的琴键以及位于所述琴键的上侧的所述虚拟训练场景；

训练者根据所述虚拟训练场景在所述琴键上进行弹奏训练，训练者可以听到所述琴键被按压时发出的声音。

8.根据权利要求7所述的基于混合现实的钢琴训练方法，其特征在于，所述钢琴训练方法包括如下步骤：

所述处理模块在加载所述标准钢琴文件后生产对应的音频信号；

所述混合现实头盔接收所述音频信号并播放对应的标准旋律。

9.根据权利要求7所述的基于混合现实的钢琴训练方法，其特征在于，所述虚拟训练场景包括一条虚拟的弹奏提示线，所述弹奏提示线的上方有从上往下落的提示符；所述提示符具有形状不同的两个形态，所述两个形态分别为第一形态和第二形态，当所述提示符远离所述弹奏提示线时所述提示符呈第一形态，当所述提示符接近所述弹奏提示线时所述提示符呈第二形态；所述提示符呈第二形态时，其在上下方向上的尺寸与所述提示符的持续时间成正比；所述弹奏提示线包括有效提示区段，所述有效提示区段被多个分隔线等分成N个提示符掉落区段，N的数值与所述钢琴的琴键数目相同，N个所述提示符掉落区段与所述钢琴上的N个所述琴键一一对应；

所述的“训练者根据所述虚拟训练场景在所述琴键上进行弹奏训练”的过程是：当所述提示符下落到底部恰好与所述弹奏提示线接触时，训练者按压与所述提示符所在的所述提示符掉落区段相对于的所述琴键，并在所述提示符的顶部恰好与所述弹奏提示线分离后松开所述琴键，当所述提示符下落至于所述弹奏提示线相接触时，所述提示符向下延伸出一延伸段，所述延伸段与对应的所述琴键正对齐并相接。

10.根据权利要求9所述的基于混合现实的钢琴训练方法，其特征在于，所述混合现实头盔显示的所述弹奏提示线分布在正对人眼的前方偏下位置，且随所述混合现实头盔上下移动而移动，不随所述混合现实头盔左右移动而移动。