CN102842251B - 激光标识乐器示教***和示教方法 - Google Patents

激光标识乐器示教***和示教方法 Download PDF

Info

Publication number
CN102842251B
CN102842251B CN201210238168.7A CN201210238168A CN102842251B CN 102842251 B CN102842251 B CN 102842251B CN 201210238168 A CN201210238168 A CN 201210238168A CN 102842251 B CN102842251 B CN 102842251B
Authority
CN
China
Prior art keywords
musical instrument
teaching
laser
marking
teaching system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210238168.7A
Other languages
English (en)
Other versions
CN102842251A (zh
Inventor
孟濬
蒋艺颖
黄吉羊
陈啸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201210238168.7A priority Critical patent/CN102842251B/zh
Publication of CN102842251A publication Critical patent/CN102842251A/zh
Application granted granted Critical
Publication of CN102842251B publication Critical patent/CN102842251B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Electrophonic Musical Instruments (AREA)

Abstract

本发明涉及一种激光标识乐器示教***和示教方法,该示教***包括音乐信号采集端、单片机***、激光投影装置。音乐信号采集端采集并处理音乐信号并通过无线通信控制单片机***调节激光投影装置,以产生有序的激光投影信号,用来指示乐器的演奏。示教方法包括初始定位、音乐信号的采集和识别和激光投影示教。该示教***的示教模式多样,不需要安装在乐器上、体积小、携带方便,无需改变乐器自身的结构;示教方法简单易学、可操作性强,适合于不同年龄和不同乐器演奏水平的使用者,适用范围广泛,可示教的不同的乐器。

Description

激光标识乐器示教***和示教方法
技术领域
本发明涉及一种乐器示教***和示教方法,特别涉及一种激光标识乐器示教***和示教方法。
技术背景
乐器为广大***所喜爱,但是对于新手来说,乐器弹奏培训花费时间长且费用昂贵;对于教师来说,传统的教学模式显得效率低下,因此智能示教***的开发很有必要。美国专利US 20120064498A1报道了一种基于计算机实现的交互式的乐器示教***,它由乐器、接口、计算机组成,乐器里面需要嵌入视觉标识器,计算机通过软件接收接口信号的同时给出示教的控制信号,控制乐器里面的视觉标识器,为使用者的演奏提示视觉上的信号提示,以达到示教的功能。但该发明涉及的乐器示教***需要加入视觉标识器,比如针对吉他,需要在吉他的每一根弦增加相应的视觉标识器,因此为了实现交互式的示教需要对乐器本身进行改造,无法广泛地运用到现有的乐器中。
美国专利US2005005761A1报道了一种教授音乐的***,它实现了乐器弹奏的可视化指示,但是在实现的过程中,指示灯位于乐器附近的地方,如专利的说明书附图的图1所示,指示灯位于乐器按键的上方。由于视觉的指示信号并未准确地显示在乐器的按键上,弹奏过程中需要人为地将信号指示与相应的按键进行对应,增加了弹奏者的学习难度。另外,这样的实现也需要大量的指示灯嵌入到乐器表面,难以广泛地运用到现有的乐器中。
发明内容
本发明的目的在于针对现有技术的不足,提供一种激光标识乐器示教***和示教方法。
本发明采用如下的技术方案来实现:
一种激光标识乐器示教***,包括音乐信号采集端、单片机***和激光投影装置。
本发明激光标识示教***通过音乐信号采集端将采集到的音乐信号转换为文本编码,能被视觉识别的音乐信号(图像信号)可通过图像识别技术转化为文本编码,能被听觉识别的音乐信号(声音信号)可通过音频识别技术转化为文本编码,音乐信号采集端根据此文本编码,通过算法将其转换成坐标、角度、投影时间长度的时间序列,将该时间序列作为控制信号,通过无线通信传输到单片机***,单片机***接收控制信号,按照控制信号的时间顺序驱动并控制激光投影装置进行投影示教。
本发明的激光标识示教***可实现实时示教与再现示教,实时示教是音乐信号采集端在采集和识别的同时,给单片机***发出控制信号控制激光投影装置进行示教。使用者可以通过示教***做到边听边演奏,或边看边演奏。再现示教是指音乐信号采集端中能够存储文本编码,可以依照使用者的需求,重复地进行示教。
所述的音乐信号采集端包括计算机和/或移动智能终端。
所述的移动智能终端为能够捕获外部信息,能进行计算、分析和处理,并在不同终端之间能够进行信息传输的便携式设备;所述的移动智能终端包括但不限于各种智能手机、PDA、笔记本电脑、上网本、平板电脑(如ipad等)、掌上电脑、智能掌上游戏机、Pocket PC、Tablet PC等。
所述的音乐信号包括纸质乐谱、电子乐谱等能够被视觉识别的信号(即图像信号),实时音乐、人声、现场音乐会、电视节目录音等能够被听觉识别的信号(即声音信号),MIDI、MP3、WAV、AAC等能被计算机或移动智能终端识别的标准音频格式文件。
音乐信号采集端对乐谱、实时声音信号等能够被视觉(图像)或听觉(声音)识别的音乐信号进行采集和识别,得到文本编码,并且能够生成控制信号。
所述的音乐信号采集端包括三种:计算机、移动智能终端、由计算机和移动智能终端组成的复合***。
所述的音乐信号采集端的适用范围在于:
1.采用计算机或移动智能终端作为音乐信号采集端适合于任何场合,特别适合于个人、家庭等需要处理的信息量小的私人场合;
2.由计算机和移动智能终端组成的复合***作为音乐信号采集端适合于任何场合,特别适合于工作室、演唱会等需要处理的信息量大的公开场合。
所述的音乐信号采集端有三种具体实现方式:
1.计算机
计算机通过内置或外部配置的信息获取装置获得能够被视觉识别和/或听觉识别的音乐信号,能被视觉识别的音乐信号(即图像信号)可通过图像识别技术将图形转换成处理器可识别的文本编码,能被听觉识别的音乐信号(即声音信号)可通过音频识别技术转换为处理器可识别的文本编码,标准音频格式文件可以通过播放器播放,转换成声音信号,然后通过音频识别技术将其转换为处理器可识别的文本编码,然后计算机以此文本编码为基础,通过算法生成时间序列,该时间序列作为控制信号通过无线通信把控制信号发送给单片机***。
2.移动智能终端
移动智能终端通过内置或外部配置的信息获取装置获得能够被视觉识别和/或听觉识别的音乐信号,能被视觉识别的音乐信号(即图像信号)可通过图像识别技术将图形转换成处理器可识别的文本编码,能被听觉识别的音乐信号(即声音信号)可通过音频识别技术转换为处理器可识别的文本编码,标准音频格式文件可以通过播放器播放,转换成声音信号,然后通过音频识别技术将其转换为处理器可识别的文本编码,移动智能终端以此文本编码为基础,通过算法生成时间序列,该时间序列作为控制信号通过无线通信把控制信号发送给单片机***。
3.由计算机和移动智能终端组成的复合***可以有两种实现方式:
(1)通过计算机内置或外部配置的信息获取装置获得能够被视觉识别和/或听觉识别的音乐信号,输出到移动智能终端。能被视觉识别的音乐信号(即图像信号)可通过图像识别技术将图形转换成处理器可识别的文本编码,能被听觉识别的音乐信号(即声音信号)可通过音频识别技术转换为处理器可识别的文本编码,标准音频格式文件可以通过播放器播放,转换成声音信号,然后通过音频识别技术将其转换为处理器可识别的文本编码,以此文本编码为基础,移动智能终端通过算法生成时间序列,该时间序列作为控制信号,然后通过无线通信把控制信号发送给单片机***。
(2)由移动智能终端内置或外部配置的信息获取装置获得能够被视觉识别和/或听觉识别的音乐信号,输出到计算机。能被视觉识别的音乐信号(即图像信号)可通过图像识别技术将图形转换成处理器可识别的文本编码,能被听觉识别的音乐信号(即声音信号)可通过音频识别技术转换为处理器可识别的文本编码,标准音频格式文件可以通过播放器播放,转换成声音信号,然后通过音频识别技术将其转换为处理器可识别的文本编码,以此文本编码为基础,计算机通过算法生成时间序列,该时间序列作为控制信号,通过无线通信把控制信号发送给单片机***。
所述的信息获取装置是指能够将现实中的信息(如图像、声音、文字、数据等)转化为计算机和/或智能移动终端能够识别的编码和/或电信号的装置,包括但不限于摄像设备、录音设备、扫描设备等。
所述的单片机***包括单片机和蓝牙模块。单片机***通过蓝牙模块接收到音乐信号采集端生成的控制信号,通过单片机驱动并控制激光投影装置进行投影。
所述的激光投影装置可以由舵机、激光源和平面反射镜组成,也可以由激光源、驱动电路、光偏转器和棱镜组成。
1.由激光源、舵机和平面反射镜组成的激光投影装置
激光源用于产生指示用的激光,用激光闪烁的频率表示音乐的节奏;舵机用于控制平面反射镜旋转的角度;平面反射镜用于将激光源发射出的激光反射到需要使用者弹拨/击打/触碰的乐器部位。激光源产生激光、平面反射镜反射由激光源射来的激光,舵机用于控制平面反射镜旋转的角度,把激光投射到乐器上进行示教。
适用范围:可适用于任何场合,特别适合于节奏慢,需要指示范围大的场合。
2.由激光源、驱动电路、光偏转器和棱镜组成的激光投影装置激光源用以产生指示用的激光,用激光闪烁的频率表示音乐的节奏;驱动电路用于控制光偏转器;光偏转器用于改变激光的偏转角度;棱镜用于将激光折射到需要使用者弹拨/击打/触碰的乐器部位。激光源产生激光,光偏转器使激光源产生的激光发生偏转,棱镜折射从光偏转器中射出的光使它进一步偏转,把激光投射到乐器上进行示教。
适用范围:可适用于任何场合,特别适用于音乐的节奏快,指示要求精度高的场合。
本发明的激光标识乐器示教***还包括初始时刻激光投影的自动定位,即在复位的时候,激光投影自动扫描,以获得乐器的边角轮廓信息,实现初始定位。
本发明的激光标识乐器示教***包括初学者模式、普通模式、高级模式或专业模式等多种示教模式,不同的模式采用不同的时间间隔,这样可以实现循序渐进的示教。
所述的初学者模式适用于从未演奏过所示教乐器的使用者或是曾经演奏过但长时间未接触所示教乐器、无法演奏出完整曲目的使用者。所述的初学者模式节奏约在慢板到行板之间(包括慢板,不包括行板),即速度在每分钟52拍到每分钟66拍之间(包括每分钟52拍,不包括每分钟66拍)。
所述的普通模式适用于已经接触过所示教乐器并能够完整演奏简单曲目的使用者。所述的普通模式节奏约在行板到快板之间(包括行板,不包括快板),即速度在每分钟66拍到每分钟120拍之间(包括每分钟66拍,不包括120拍)。
所述的高级模式适用于已经接触过所示教乐器并能够完整演奏中等复杂度曲目的使用者。所述的高级模式可以将原有曲目的节奏调节为快板,即速度在每分钟120拍到每分钟168拍之间(包括每分钟120拍,不包括每分钟168拍)。
所述的专业模式适用于已经接触过所示教乐器并能够完整演奏高难度曲目的使用者。所述的专业模式可以将原有曲目的节奏加快,上限为最急板(每分钟208拍),即最快速度小于等于208拍。
本发明所述的乐器包括通过弹、拨、敲击、触碰手段发出声音的任何装置。
本发明所涉及的乐器能够通过空间的坐标位置确定所要弹/拨/敲击/触碰的位置,通过弹/拨/敲击/触碰的时间点的不同显示音乐的节奏,并通过空间的坐标位置和音乐节奏的组合表示音乐的旋律。
作为优选,所述的乐器包括弦乐器、打击乐器或键盘乐器。
所述的弦乐器包括但不限于竖琴、吉他、古琴、琵琶、筝或贝司。
所述的打击乐器包括但不限于木琴、钢片琴、管钟、编钟、鼓、锣、三角铁、钹、响板或砂槌。
所述的键盘乐器包括但不限于钢琴、管风琴、手风琴或电子琴。
所述的激光投影装置的驱动电路由压控振荡电路或者数字频率合成器组成。
本发明所述的激光标识乐器示教***是采用激光进行示教标识,与乐器是分离的,无需安装在乐器上,因此不需要改变乐器本身的结构,可以很方便地应用到现有的乐器中。另外,由于采用软件的方式实现激光示教的控制功能,使得本发明的示教***具有很广泛的应用范围,对于不同的乐器,只需要在计算机上编写相应的控制程序或将相应的控制程序嵌入到移动智能终端上即可实现对不同乐器的示教。
本发明还提供一种激光标识乐器示教***的示教方法,包括如下步骤:
(1)初始定位;
(2)根据初始定位的情况确定所采用的坐标系;
(3)音乐信号采集端对音乐信号进行采集和识别,得到文本编码,并且生成控制信号,通过无线通信将控制信号传输至所述的单片机***;
(4)单片机***接收控制信号,驱动并控制激光投影装置实现乐器的示教。
其中:
步骤(1)的初始定位分为两种情况:针对有标准形状尺寸、固定音阶排序、发声单位有标准音高的乐器,示教***会推荐一个激光投影装置的摆放位置,使用者依据推荐位置进行摆放,示教***根据激光投影装置的摆放位置进行偏移量校正;针对每一发声单位有标准音高、但是形状尺寸和音阶排序均不固定的乐器,使用者可自行确定激光投影装置的摆放位置,使用者敲击每一发声单位,音乐信号采集端可识别和捕获每一发声单位的音高和坐标。
步骤(2)根据初始定位的情况确定所采用的坐标系:规则乐器定位采用示教***中内置的坐标系;不规则乐器定位采用初始定位时使用者自定义的坐标系。
步骤(3)具体为音乐信号采集端对音乐信号进行采集和识别,音乐信号采集端针对不同的采集到的音乐信号采取不同的识别方式,能被视觉识别的音乐信号(即图像信号)通过图像识别技术将图形转换成处理器可识别的文本编码,能被听觉识别的音乐信号(即声音信号)通过音频识别技术转换为处理器可识别的文本编码,标准音频格式文件可以通过播放器播放,转换成声音信号,然后通过音频识别技术将其转换为处理器可识别的文本编码,并通过算法将此文本编码转换成坐标、角度和投影时间长度,将这些参数按时间先后存成时间序列,该时间序列作为控制信号,控制信号通过无线通信传输到单片机***。
步骤(4)具体是指单片机***接收到音乐信号采集端发来的控制信号,并根据控制信号来驱动并控制激光投影装置,使激光投影装置改变激光的投影角度和投影时长进行投影示教。
本发明的有益效果是:
1.本发明可以通过多种方式采集音乐信号,如通过扫描乐谱、录音、摄像或者采用已有的标准音频格式文件的方式采集音乐信号;
2.本发明采用激光投影的方式把键序信息按照一定的时间间隔有序地投影在乐器的弹奏部位上,乐器的使用者可根据激光的指示进行演奏;
3.本发明提供不同的示教模式以适应不同水平使用者的需求;
4.本发明采用软件的方式实现主要的控制功能,使得本发明的示教***具有很广泛的应用范围,对于不同的乐器,不同的平台,只需在计算机上编写相应的控制程序,或编写好相应的控制程序嵌入到相应的移动智能终端上即可;
5.本发明的激光标识乐器示教***不需要安装在乐器上、体积小、携带方便,无需改变乐器自身的结构,克服了传统的乐器示教装置安装在乐器上时需改变乐器本身的结构、安装步骤繁琐、影响乐器发声效果的缺陷;
6.本发明提供的乐器示教方法简单易学、可操作性强,适合于不同年龄和不同乐器演奏水平的使用者,适用范围非常广泛。
附图说明
图1、图2是本发明的激光标识乐器示教***的结构示意图;
图3是本发明的激光标识乐器示教***中音乐信号采集端的示意图;
图4是本发明的激光标识乐器示教***的结构示意图,其中激光投影装置由舵机、激光源、平面反射镜组成;
图5是本发明的激光标识乐器示教***的结构示意图,其中激光投影装置由激光源、驱动电路、光偏转器、棱镜组成;
图6是本发明的激光标识乐器针对规则乐器初始定位的流程图;
图7是本发明的激光标识乐器针对不规则乐器初始定位的流程图;
图8是本发明采用由舵机、激光源、平面反射镜组成的激光投影装置的正视图;
图9是本发明采用由舵机、激光源、平面反射镜组成的激光投影装置的侧视图;
图10是本发明由激光源、驱动电路、光偏转器、棱镜组成的激光投影装置的激光偏转原理图;
图11是本发明的激光标识乐器示教***完整示教步骤流程图;
图12是本发明的激光标识乐器示教***自定义坐标系图;
图13是本发明的激光标识乐器示教***的钢琴示教示意图;
图14是钢琴示教的偏转角示意图;
图15是角度计算示意图;
图16是本发明的激光标识乐器示教***的水杯示教示意图;
图17是基于球形超声电机的示教***对乐器组合示教的示意图。
图中所示:
1——激光源,2——平面反射镜,3——支架,4——螺丝;
5——光偏转器,6——棱镜,7——琴键,8——水杯,
9——扬琴、钢琴等乐器,10——古筝、竖琴等乐器,
11——三角铁、钹等乐器,12——架子鼓、定音鼓等乐器
13——吉他、电子琴等乐器,14——编钟、木鱼等乐器,
15——球形超声电机。
具体实施方式
为了更详细地说明本发明的激光标识乐器示教方法和激光标识乐器示教***,下面根据附图和实施例详细说明本发明。
如图1和图2所示,本发明的激光标识乐器示教***包括音乐信号采集端、单片机***和激光投影装置。音乐信号采集端对乐谱、实时声音信号等能够被视觉(图像)或听觉(声音)识别的音乐信号进行采集和识别,得到文本编码,并且能够生成控制信号,通过无线通信将控制信号传输至所述的单片机***;所述的单片机***接收控制信号,驱动并控制激光投影装置,有序地激光投影(即跟随控制信号有节奏地)实现乐器的示教。
如图3所示,所述的音乐信号采集端有三种方式:计算机、移动智能终端、由计算机和移动智能终端组成的复合***。
所述的音乐信号采集端的适用范围:
(1)采用计算机或移动智能终端作为音乐信号采集端适合于任何场合,特别适合于个人、家庭等需要处理的信息量小的私人场合;
(2)由计算机和移动智能终端组成的复合***作为音乐信号采集端适合于任何场合,特别适合于工作室、演唱会等需要处理的信息量大的公开场合。
所述的音乐采集端具体工作方式分别为:
(1)计算机
计算机通过内置或外部配置的信息获取装置获得能够被视觉识别和/或听觉识别的音乐信号,能被视觉识别的音乐信号(即图像信号)可通过图像识别技术将图形转换成处理器可识别的文本编码,能被听觉识别的音乐信号(即声音信号)可通过音频识别技术转换为处理器可识别的文本编码,标准音频格式文件可以通过播放器播放,转换成声音信号,然后通过音频识别技术将其转换为处理器可识别的文本编码,然后计算机以此文本编码为基础,通过算法生成时间序列,该时间序列作为控制信号通过无线通信把控制信号发送给单片机***。
(2)移动智能终端
移动智能终端通过内置或外部配置的信息获取装置获得能够被视觉识别和/或听觉识别的音乐信号,能被视觉识别的音乐信号(即图像信号)可通过图像识别技术将图形转换成处理器可识别的文本编码,能被听觉识别的音乐信号(即声音信号)可通过音频识别技术转换为处理器可识别的文本编码,标准音频格式文件可以通过播放器播放,转换成声音信号,然后通过音频识别技术将其转换为处理器可识别的文本编码,音乐采集端以此文本编码为基础,通过算法生成时间序列,该时间序列作为控制信号,通过无线通信把控制信号发送给单片机***。
(3)由计算机和移动智能终端组成的复合***可以有两种实现方式:
1)通过计算机内置或外部配置的信息获取装置获得能够被视觉识别和/或听觉识别的音乐信号,输出到移动智能终端,能被视觉识别的音乐信号(即图像信号)可通过图像识别技术将图形转换成处理器可识别的文本编码,能被听觉识别的音乐信号(即声音信号)可通过音频识别技术将其转换为处理器可识别的文本编码,标准音频格式文件可以通过播放器播放,转换成声音信号,然后通过音频识别技术将其转换为处理器可识别的文本编码,以此文本编码为基础,移动智能终端通过算法生成时间序列,该时间序列作为控制信号,然后通过无线通信把控制信号发送给单片机***。
2)由移动智能终端内置或外部配置的信息获取装置获得能够被视觉识别和/或听觉识别的音乐信号,输出到计算机,能被视觉识别的音乐信号(即图像信号)可通过图像识别技术将图形转换成处理器可识别的文本编码,能被听觉识别的音乐信号(即声音信号)可通过音频识别技术转换为处理器可识别的文本编码,标准音频格式文件可以通过播放器播放,转换成声音信号,然后通过音频识别技术将其转换为处理器可识别的文本编码,以此文本编码为基础,计算机通过算法生成时间序列,该时间序列作为控制信号,然后通过无线通信把控制信号发送给单片机***
如图4所示,由激光源、舵机、平面反射镜组成的激光投影装置的激光标识乐器示教***的结构中,音乐信号采集端采集音乐信号,通过技术处理得到标准音频格式文件,并根据标准音频格式文件,通过算法产生时间序列,该时间序列作为控制信号,由无线通信的方式传送到单片机***。单片机***中的蓝牙模块接收音乐信号采集端通过无线通信发送来的控制信号,通过串口传送给单片机,一方面单片机控制激光源发光的频率和间隔时间,另一方面单片机通过舵机控制平面反射镜,以控制激光投影方向。这种装置可适用于任何场合,特别适合于节奏慢,需要指示范围大的场合。
如图5所示,由激光源、驱动电路、光偏转器、棱镜组成的激光投影装置的激光标识乐器示教***的结构中,音乐信号采集端采集音乐信号,通过技术处理得到标准音频格式文件,并根据标准音频格式文件,通过算法产生时间序列,该时间序列作为控制信号,由无线通信的方式传送到单片机***。单片机***中的蓝牙模块接收音乐信号采集端通过无线通信发送来的控制信号,通过串口传送给单片机,一方面单片机控制激光源发光的频率和间隔时间,另一方面单片机通过控制驱动电路控制光偏转器,以控制激光投影的方向。其中驱动电路是由压控振荡电路或者数字频率合成器组成,它产生的不同频率的信号可以驱动光偏转器产生不同的偏转角。激光经光偏转器的偏转角很小,通过棱镜可以进一步放大激光偏转的角度,扩大指示范围。这种装置可适用于任何场合,特别适用于音乐的节奏快,指示要求精度高的场合。
如图11所示,本发明的激光标识示教***的完整示教流程如下:
第1步初始定位:
初始定位有两种方式:规则乐器定位和不规则乐器定位,所述的规则乐器定位为激光投影装置的摆放位置是由示教***给定的,所述的不规则乐器定位为激光投影装置的摆放位置是用户自定义的。当乐器有标准形状尺寸、固定音阶排序、发声单位有标准音高的时,如弦乐器、打击乐器或键盘乐器等,使用者可以采用两种定位方法定位,推荐采用规则乐器定位方法;当乐器的每一发声单位有标准音高,但是形状尺寸和音阶排序均不固定时,如多个水杯组成的乐器***、多种乐器组成的乐器组合等,使用者采用不规则乐器定位方法。
(1)规则乐器定位
如图6所示,在音乐信号采集端中可以预存规则乐器的坐标系,使用者只需要在软件界面选择所要示教的乐器,给出激光投影装置应该放置的位置,使用者按照所给定的位置摆放激光投影装置,然后进行校正即可。音乐信号采集端可以根据激光投影装置摆放位置的差异进行偏移量校正。校正的方法:使用者在音乐采集端的软件界面点击开始,让音乐信号采集端发送命令进行激光扫描,待激光扫描到端点处,使用者点击软件界面中停止按钮,使得扫描结束,校正结束。
(2)不规则乐器定位
如图7所示,使用者自定义坐标原点的位置,即可以任意摆放激光投影装置。然后使乐器每一发声单位发声,比如由8个水杯组成的乐器***,敲击每个水杯,让每个水杯发音,音乐信号采集端识别并捕获乐器每一发声单位的音高和坐标。使用者点击软件界面中停止按钮,使得扫描结束,校正结束。
第2步根据初始定位的情况确定所采用的坐标系:规则乐器定位采用示教***中内置的坐标系;不规则乐器定位采用初始定位时使用者自定义的坐标系。
第3步音乐信号采集端采集音乐信号,将能被视觉识别的音乐信号(即图像信号)通过图像识别技术将图形转换成处理器可识别的文本编码,将能被听觉识别的音乐信号(即声音信号)通过音频识别技术转换为处理器可识别的文本编码,标准音频格式文件可以通过播放器播放,转换成声音信号,然后通过音频识别技术将其转换为处理器可识别的文本编码。音乐信号采集端根据所得到的文本编码,通过算法转换成坐标、角度和投影时间长度。角度和坐标以及投影时间长度存在着对应关系,这些参数按时间先后存成时间序列,该时间序列作为控制信号由无线通信发至单片机***。
第4步单片机***接收到控制信号后,按照控制信号中的时间序列控制投影装置改变投影的角度和投影时长进行示教。投影时长可由单片机中的计时器进行控制,角度的控制如下:
(1)由激光源、舵机、平面反射镜组成的投影装置
如图8所示,舵机控制着平面反射镜2绕与支架3垂直的轴进行转动,DD'为垂直于平面反射镜2的法线,通过改变法线与激光间的夹角α,可改变投影点P在X轴方向上的位置,即改变投影点P的横坐标。图8中OX为初始定位时所建立的坐标系的X轴。
如图9所示,MM'为垂直于平面反射镜2的法线,松开支架3上的螺丝4,旋转可调节法线与激光的夹角β,来改变投影点P在Y轴方向上的位置,即改变投影点P的纵坐标。图9中OY为初始定位时所建立的坐标系的Y轴。
(2)由激光源、驱动电路、光偏转器、棱镜组成的投影装置如图10所示,通过改变光偏转器5的偏转,可改变激光投影的方向,继而改变投影点的坐标,由于光偏转器的实际偏转角度很小,通过棱镜6的折射可以进行角度的放大,能够扩大激光所能投影示教的范围。
第5步单片机***判断投影示教是否结束,若没有则继续执行第4步,否则结束示教。
坐标系的建立可采用以下规则:
如图12所示,以激光投影装置所在点为原点O,初始定位时,音乐采集端可以捕获乐器的长度L1和宽度L2,以激光投影装置为原点,过原点与乐器长度L1方向平行的直线作为X轴;以激光投影装置为原点,过原点并与乐器的宽度L2方向平行的直线作为Y轴;过激光投影装置,并与X轴,Y轴都垂直的直线作为Z轴。
第3步所述的时间序列中坐标和角度存在对应关系,坐标与角度之间的关系可以用如下方法确定:
(1)乐器的长度为L1,在L1方向上其发声单位的个数为N;乐器的宽度为L2,在L2方向上其发声单位的个数为M,投影装置在L1方向上的投影范围为T,投影装置在L2方向上的投影范围为S。所述的发声单位对于单个乐器而言,是指在乐器中能够发出声音的最小单位,比如钢琴的琴键、古筝的弦等;对于乐器***或乐器组合而言,发声单位是指在一个乐器***或乐器组合中的每一种乐器,比如8个水杯组成的乐器***,单个水杯即为发声单位。以钢琴为例,钢琴的长度L1方向有88个白键,钢琴的N值为88;在钢琴的宽度为L2方向有1个白键和1个黑键,因此钢琴的M值为2。以8个水杯组成的乐器***为例,其排列方式为横排4个,纵排2个,也即在长度L1方向有4个水杯,其N值为4,在宽度L2方向上有2个水杯,其M值为2。规则定位的乐器,其N、M数值已存储在示教***当中无需外部输入;需要不规则定位的乐器,其N、M数值在初始定位时,由音乐信号采集端根据不同方向敲击的次数识别。
(2)在长度(即L1)方向上的坐标间隔在宽度(即L2)方向上的坐标间隔通过坐标间隔可确定每一发声单位在坐标轴上的坐标 x = x n + x n - 1 2 , y = y m + y m - 1 2 .
(3)在长度(即L1)方向上,投影的角度间隔为在宽度(即L2)方向上的投影角度间隔为在L1方向上,每一个坐标间隔Δx对应一个角度间隔Δα,在L2方向上,每一个坐标间隔Δy对应一个角度间隔Δβ。
(4)坐标间隔的起点对应角度间隔的起点,坐标间隔的终点对应角度间隔的终点,即xn对应αn,ym对应βm,xn-1对应αn-1,ym-1对应βm-1,可建立角度与坐标之间的一一对应关系:对应 α = α n + α n - 1 2 , y = y m + y m - 1 2 对应 β = β m + β m - 1 2 .
下面通过具体实施例说明本发明的激光标识示教***的实现方式,所述的实施例均能显示出本示教***能实现准确的投影定位与投影时长的控制,而乐器的示教需要准确的演奏位置和演奏时间,因此从实施例均可看出本发明的激光标识示教***适用于对任何乐器进行示教。钢琴是有标准形状尺寸,固定音阶排序、发声单位有标准音高的乐器,因此有标准形状尺寸,固定音阶排序、发声单位有标准音高的乐器,都可按照钢琴的示教方式进行示教。由水杯组成的乐器是每一发声单位有标准音高,但是形状尺寸和音阶排序均不固定的乐器,因此每一发声单位有标准音高,但是形状尺寸和音阶排序均不固定的乐器均可以按照由水杯组成的乐器的示教方式进行示教。
实施例1
下面以钢琴为例说明本发明的激光标识示教***的实现方式。其中所述的激光投影装置由激光源、舵机、平面反射镜组成。
钢琴是有标准形状尺寸、固定音阶排序、发声单位有标准音高的乐器,所以在初始定位可以采用***内置坐标系。使用者按照***所推荐的激光投影装置的摆放位置放置激光投影装置,示教***会根据使用者放置的位置与推荐位置的差异,进行坐标的偏移量校正。
如13图所示,假设乐曲需要先弹奏琴键7E,然后弹奏琴键7F,音乐信号采集端传送给单片机***的由E、F点坐标、角度、投影时间长度构成的时间序列。单片机***收到控制信号后,控制舵机带动平面反射镜2,在C点指示完成后,转向F点进行投影,在F点指示完成后,单片机***判断控制信号是否结束,若没有结束则继续按照时间序列进行投影示教,若控制信号结束则投影示教结束。
如图14所示,钢琴投影点坐标与角度的关系可由以下方式确定。图中DD’、MM’为平面反射镜法线。
投影点C(x,y)的纵坐标y,平面反射镜2所在的高度z与角度β的关系为:y=z×tan(2θ),其中θ为从激光源射出的激光与法线MM’的夹角。投影点C(x,y)的横坐标x,平面反射镜2所在的高度z与角度α的关系为:其中为从激光源射出的激光与法线DD’的夹角。
如图15所示,校正需要知道δi的值,下面提供两种方式得到δi的值,δi为射到第i个键的激光与三角形高h的夹角,以钢琴为例,图中三角形由激光点与钢琴两端构成,a为琴键的宽度,i代表第i个琴键,i=0,1,2,....88,钢琴校正可采用以下公式,D3为激光点到钢琴端点的距离,D为整个钢琴键盘的长度,h为此三角形的高。ξ1、ξ2为射到端点的激光与键盘所在平面夹角。D3、ξ1、ξ1、D都为已知。σi为射向端点的激光与射向第i个琴键的激光的夹角。这两种方式不仅仅限于钢琴的计算,只要激光点能够与乐器的两端点,形成一个三角形,就可以用这两种方式得到δi的值。
方法一:
h、D1、D2可根据以下公式进行计算
h D 1 = tan ( ξ 1 ) → D 1 = h tan ( ξ 1 ) = h × cot ( ξ 1 )
h D 2 = tan ( ξ 2 ) → D 1 = h tan ( ξ 2 ) = h × cot ( ξ 2 )
D1+D2=D
h × cot ( ξ 1 ) + h × cot ( ξ 2 ) = D → h = D D cot ( ξ 1 ) + cot ( ξ 2 )
δi可根据以下公式进行计算
( i - 1 ) × a + 1 2 a = ( i - 0.5 ) a
tan ( δ i ) = D 1 - ( i - 0.5 ) a h
方法二:
δi可根据以下公式进行计算
h D 3 = sin ( ξ 1 ) ⇔ h sin ( ξ 1 ) = D 3
( i - 0.5 ) a × sin ( ξ 1 ) D 3 - ( i - 0.5 ) a × cos ( ξ 1 ) = tan ( σ i )
cos ( σ i + δ i ) = h D 3 = sin ( ξ 1 )
δi=90°-ξ1i
实施例二
下面以水杯为例,说明本发明的激光标识示教***的实现方式,其中所述的激光投影装置由激光源、舵机、平面反射镜组成。
如图16所示,有水杯组成的乐器是每一发声单位有标准音高,但是形状尺寸和音阶排序均不固定的乐器,所以在初始定位时,使用者自定义激光投影装置的放置位置,以激光投影装置为原点建立XOYZ空间坐标系,然后使用者敲击每一水杯,音乐信号采集端识别水杯的音高,并捕获每一水杯的位置。
假设在乐曲演奏过程中需要先敲击前排水杯8A,然后要敲击后排水杯8B,音乐信号采集端传送给单片机***的由8A、8B的坐标、角度、投影时间长度构成的时间序列。单片机***收到控制信号后,控制舵机带动平面反射镜2,在8A指示完成后,转向8B进行投影,在8B点指示完成后,单片机***判断控制信号是否结束,若没有结束则继续按照时间序列进行投影示教,若控制信号结束则投影示教结束。
实施例3
此实施例说明本发明的激光标识示教***的投影装置不限于由激光源、舵机、平面反射镜组成的激光投影装置和由光偏转器、驱动电路、激光源组成的激光投影装置。
本实施例中的激光投影装置包括球形超声电机、激光源。
初始定位与音乐信号采集端对音乐信号的处理与实施例2相同,投影示教的控制是由单片机***控制球形超声电机的旋转方向,继而控制激光源的朝向,改变投影的位置,单片机中的计时器控制投影的时间长度,基于球形超声电机的投影装置的灵敏度高,指示范围大,可适用于任何场合。
如图17所示,在乐曲演奏过程中需要先演奏扬琴、钢琴等乐器11,然后要演奏编钟、木鱼等乐器14,音乐信号采集端传送给单片机***的由乐器11、乐器14的坐标、角度、投影时间长度构成的时间序列。单片机***收到控制信号后,控制球形超声电机15带动激光源1,在扬琴、钢琴等乐器11指示完成后,转向编钟、木鱼等乐器14进行投影,在编钟、木鱼等乐器14指示完成后,单片机***判断控制信号是否结束,若没有结束则继续按照时间序列进行投影示教,若控制信号结束则投影示教结束。
上述实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解,在阅读了本发明讲授的内容之后,本领域技术人员可以对本发明作各种改动或修改,这些等价形式同样落于本申请所附权利要求书所限定的范围。

Claims (10)

1.一种激光标识乐器示教***,其特征在于包括音乐信号采集端、单片机***和激光投影装置;
示教***在对乐器进行识别的基础上,针对规则乐器给出推荐的激光投影装置摆放位置,在使用者依据推荐位置进行摆放后再进行偏移量校正;针对不规则乐器,由使用者敲击每一发声单位,音乐信号采集端识别和捕获每一发声单位的音高和坐标,以确定激光投影装置的摆放位置;然后,规则乐器定位采用示教***中内置的坐标系;不规则乐器定位采用初始定位时使用者自定义的坐标系;所述的音乐信号采集端对音乐信号进行采集和识别,得到文本编码,并且生成控制信号,通过无线通信将控制信号传输至单片机***;所述的单片机***接收控制信号,驱动并控制激光投影装置实现乐器的示教;所述的规则乐器为有标准形状尺寸、固定音阶排序、发声单位有标准音高的乐器;所述的不规则乐器为每一发声单位有标准音高、但是形状尺寸和音阶排序均不固定的乐器。
2.根据权利要求1所述的激光标识乐器示教***,其特征在于所述的音乐信号采集端包括计算机和/或移动智能终端。
3.根据权利要求2所述的激光标识乐器示教***,其特征在于所述的移动智能终端为能够捕获外部信息,能进行计算、分析和处理,并在不同终端之间能够进行信息传输的便携式设备。
4.根据权利要求1所述的激光标识乐器示教***,其特征在于所述的单片机***包括单片机和蓝牙模块。
5.根据权利要求1所述的激光标识乐器示教***,其特征在于所述的激光投影装置由舵机、激光源和平面反射镜组成或者由激光源、驱动电路、光偏转器和棱镜组成。
6.根据权利要求1所述的激光标识乐器示教***,其特征在于所述的乐器包括通过弹、拨、敲击、触碰手段发出声音的任何装置。
7.根据权利要求6所述的激光标识乐器示教***,其特征在于所述的乐器包括弦乐器、打击乐器或键盘乐器。
8.根据权利要求7所述的激光标识乐器示教***,其特征在于所述的弦乐器包括竖琴、吉他、古琴、琵琶、筝或贝司;所述的打击乐器包括木琴、钢片琴、管钟、编钟、鼓、锣、三角铁、钹、响板或砂槌;所述的键盘乐器包括钢琴、管风琴、手风琴或电子琴。
9.根据权利要求1至8任一项所述的激光标识乐器示教***,其特征在于所述激光标识示教***的示教模式包括初学者模式、普通模式、高级模式或专业模式。
10.一种激光标识乐器示教***的示教方法,其特征在于包括以下步骤:
(1)初始定位:示教***在对乐器进行识别的基础上,针对规则乐器给出推荐的激光投影装置摆放位置,在使用者依据推荐位置进行摆放后再进行偏移量校正;针对不规则乐器,由使用者敲击每一发声单位,音乐信号采集端识别和捕获每一发声单位的音高和坐标,以确定激光投影装置的摆放位置;所述的规则乐器为有标准形状尺寸、固定音阶排序、发声单位有标准音高的乐器;所述的不规则乐器为每一发声单位有标准音高、但是形状尺寸和音阶排序均不固定的乐器;
(2)根据初始定位的情况确定所采用的坐标系:规则乐器定位采用示教***中内置的坐标系;不规则乐器定位采用初始定位时使用者自定义的坐标系;
(3)音乐信号采集端对音乐信号进行采集和识别,得到文本编码,并且生成控制信号,通过无线通信将控制信号传输至单片机***;
(4)单片机***接收控制信号,驱动并控制激光投影装置实现乐器的示教。
CN201210238168.7A 2012-07-10 2012-07-10 激光标识乐器示教***和示教方法 Active CN102842251B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210238168.7A CN102842251B (zh) 2012-07-10 2012-07-10 激光标识乐器示教***和示教方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210238168.7A CN102842251B (zh) 2012-07-10 2012-07-10 激光标识乐器示教***和示教方法

Publications (2)

Publication Number Publication Date
CN102842251A CN102842251A (zh) 2012-12-26
CN102842251B true CN102842251B (zh) 2014-12-31

Family

ID=47369552

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210238168.7A Active CN102842251B (zh) 2012-07-10 2012-07-10 激光标识乐器示教***和示教方法

Country Status (1)

Country Link
CN (1) CN102842251B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9685096B2 (en) 2015-01-05 2017-06-20 Fonglui Christopher Ng Guidance system for learning to play piano

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102789712B (zh) * 2012-07-10 2014-11-26 浙江大学 基于球形超声电机的激光标识乐器示教***和示教方法
CN104217625B (zh) * 2014-07-31 2017-10-03 合肥工业大学 一种基于增强现实技术的钢琴辅助学习***
CN104794955A (zh) * 2015-04-30 2015-07-22 罗淑文 乐器教学实景教学方法和投影式乐器教学器与乐器教学器组合
CN105427846A (zh) * 2016-01-07 2016-03-23 中国人民解放军装甲兵工程学院 一种基于传感器反馈的乐器学习辅助***
CN105427706A (zh) * 2016-01-07 2016-03-23 中国人民解放军装甲兵工程学院 一种基于投影的乐器学习辅助***
CN108922315A (zh) * 2018-08-21 2018-11-30 福州大学厦门工艺美术学院 一种吉他辅助练习装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200951895A (en) * 2008-05-08 2009-12-16 Koninkl Philips Electronics Nv Optical teaching system for music instruments

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080087160A1 (en) * 2004-11-08 2008-04-17 Gabert David E Method and apparatus for teaching music and for recognizing chords and intervals
US7777117B2 (en) * 2007-04-19 2010-08-17 Hal Christopher Salter System and method of instructing musical notation for a stringed instrument

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200951895A (en) * 2008-05-08 2009-12-16 Koninkl Philips Electronics Nv Optical teaching system for music instruments

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9685096B2 (en) 2015-01-05 2017-06-20 Fonglui Christopher Ng Guidance system for learning to play piano

Also Published As

Publication number Publication date
CN102842251A (zh) 2012-12-26

Similar Documents

Publication Publication Date Title
CN102842251B (zh) 激光标识乐器示教***和示教方法
US9035162B2 (en) Synthetic multi-string musical instrument with score coded performance effect cues and/or chord sounding gesture capture
CN102831796B (zh) 激光标识键盘乐器示教***和示教方法
US7521619B2 (en) System and method of instructing musical notation for a stringed instrument
CN101918998B (zh) 利用乐器数字接口技术的用于打击泛音合成的设备
US9082380B1 (en) Synthetic musical instrument with performance-and/or skill-adaptive score tempo
CN105741639B (zh) 一种模拟弓弦类乐器的微感掌上乐器
US20120036982A1 (en) Digital and Analog Output Systems for Stringed Instruments
US20090064849A1 (en) Method and apparatus for self-instruction
CN104091589B (zh) 弓弦乐器弹奏指导装置及其控制方法
CN102129798B (zh) 微电脑控制的数码弦乐器
CN103514866A (zh) 一种乐器演奏评分的方法及装置
CN200969209Y (zh) 多功能数码小提琴
CN107424593A (zh) 一种区域划动触控式曲面立体扬声器阵列的数码乐器
CN201017624Y (zh) 无键位弦乐器音准、视奏辅助练习装置
US9761209B2 (en) Synthetic musical instrument with touch dynamics and/or expressiveness control
TWI743472B (zh) 虛擬電子樂器系統及其運作方法
CN101937670A (zh) 一种显示并发出音乐的方法和装置
Pardue Violin augmentation techniques for learning assistance
US20170278496A1 (en) Interactive stringed musical instrument and system comprising the same
US20190385577A1 (en) Minimalist Interval-Based Musical Instrument
CN102789712B (zh) 基于球形超声电机的激光标识乐器示教***和示教方法
Kapur Digitizing North Indian music: preservation and extension using multimodal sensor systems, machine learning and robotics
CN112530390A (zh) 导航乐器和乐器导航仪
CN101996624A (zh) 电子吉它单弦演奏和弦节奏音型的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C53 Correction of patent for invention or patent application
CB03 Change of inventor or designer information

Inventor after: Meng Jun

Inventor after: Jiang Yiying

Inventor after: Huang Jiyang

Inventor after: Chen Xiao

Inventor before: Meng Jun

Inventor before: Jiang Yiying

Inventor before: Zeng Zhuqing

Inventor before: Tan Yihua

Inventor before: Su Lanlan

Inventor before: Chen Xiao

COR Change of bibliographic data

Free format text: CORRECT: INVENTOR; FROM: MENG JIANG YIYING CENG ZHUQING TAN YIHUA SU LANLAN CHEN XIAO TO: MENG JIANG YIYING HUANG JIYANG CHEN XIAO

C14 Grant of patent or utility model
GR01 Patent grant