CN1750116A - 自动表演风格确定设备和方法 - Google Patents

自动表演风格确定设备和方法 Download PDF

Info

Publication number
CN1750116A
CN1750116A CNA2005101039372A CN200510103937A CN1750116A CN 1750116 A CN1750116 A CN 1750116A CN A2005101039372 A CNA2005101039372 A CN A2005101039372A CN 200510103937 A CN200510103937 A CN 200510103937A CN 1750116 A CN1750116 A CN 1750116A
Authority
CN
China
Prior art keywords
rendition style
time
tone
real time
performance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2005101039372A
Other languages
English (en)
Other versions
CN1750116B (zh
Inventor
赤泽英治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Publication of CN1750116A publication Critical patent/CN1750116A/zh
Application granted granted Critical
Publication of CN1750116B publication Critical patent/CN1750116B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/02Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
    • G10H1/04Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation
    • G10H1/053Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation during execution only
    • G10H1/057Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation during execution only by envelope-forming circuits
    • G10H1/0575Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation during execution only by envelope-forming circuits using a data store from which the envelope is synthesized
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H7/00Instruments in which the tones are synthesised from a data store, e.g. computer organs
    • G10H7/008Means for controlling the transition from one tone waveform to another
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H7/00Instruments in which the tones are synthesised from a data store, e.g. computer organs
    • G10H7/02Instruments in which the tones are synthesised from a data store, e.g. computer organs in which amplitudes at successive sample points of a tone waveform are stored in one or more memories
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/095Inter-note articulation aspects, e.g. legato or staccato

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

一种自动表演风格确定设备。当根据演奏的进程实时地提供演奏事件信息时,根据实时地提供的演奏事件信息来测量表示要连续产生的至少两个音调之间的预定时间关系的时间。在包括时间信息的预设表演风格确定条件和测量到的时间之间进行比较,并且根据该比较结果来确定要应用到实时演奏的当前乐音上的表演风格。利用根据比较结果来确定要应用到当前乐音上的表演风格的设置,能够在自动地表现运舌法表演风格的同时,执行实时演奏。

Description

自动表演风格确定设备和方法
技术领域
本发明涉及自动表演风格确定设备和方法,用于根据演奏数据的特性来确定要应用的音乐表现。更具体地,本发明涉及一种改进的自动表演风格确定设备和方法,在实时演奏期间,允许自动执行表现所谓的“运舌法(tonguing)”表演风格的演奏。
背景技术
近年来,以下电子乐器已经得到广泛使用,该电子乐器根据由表演人操作演奏操作单元所产生的演奏数据、或者根据预先准备的演奏数据,电子地产生乐音(tone)。在这样的电子乐器中所使用的演奏数据被组织为与个人音调(note)和音乐符号和标记相对应的MIDI数据等。如果仅由乐音音高(tone pitch)信息(例如音调扬(note-off)和音调抑(note-on)信息)来构造或表示一系列音调的音高,通过诸如再现演奏数据执行的乐音的自动演奏等将变为机械且毫无表现力的演奏,因此在音乐上是不自然的。由此,已经存在公知的自动表演风格确定设备,为了使基于演奏数据的自动演奏在音乐上更为自然、更为优美和更为逼真,其在根据演奏数据确定与各种表演风格相对应的各种音乐表现且自动赋予所确定的表演风格的同时,允许进行自动演奏。这样的自动表演风格确定设备的一个示例公开于日本专利申请待审公开No.2003-271139。传统的公知自动表演风格确定设备根据演奏数据的特性,自动确定以所使用的音乐表现力和乐器为特征的表演风格(发音方式),并将这样自动确定的表演风格(或发音方式)赋予该演奏数据。例如,自动表演风格确定设备自动确定或找出演奏数据中适合赋予诸如断奏和连奏等表演风格的位置,并且在自动找到的位置处,将能够实现或达到诸如断奏和连奏(也被称为“圆滑奏”)等表演风格的演奏信息新赋予该演奏数据。
为了确定要应用到应该连续产生的至少两个音调的表演风格,传统的自动表演风格确定设备被设置为在第二音调的初始演奏时间到达之前,获取两个音调中随后的或第二个音调的演奏数据,然后,根据所获取的演奏数据,确定要应用到至少两个音调(所谓的“回放”)上的表演风格。因此,传统的自动表演风格确定设备具有的问题在于:难以在实时演奏期间,应用所谓的“运舌法表演风格”(或表示在弦乐器演奏期间特征性出现的拉奏方向的反转的表演风格)。即,在实时演奏期间,根据实时演奏的进程实时地提供演奏数据,而不对其进行回放。对于诸如连奏表演风格(或圆滑奏表演风格)等表演风格,为了连续地对至少两个音调进行发声,可以在前一个或第一个音调的演奏结束之前,获得随后的或第二音调的演奏数据(具体地,音调扬事件数据);因此,可以将作为用于连接第一音调的结尾和第二音调的起始的接合相关表演风格的连奏表演风格应用到第二音调的起始。然而,对于以在其间的瞬时中断对两个音调进行发声的运舌法表演风格等,不能够在第一音调的演奏的结尾处获得第二音调的演奏数据(具体地,音调扬事件数据);因此,不能够确定应该将普通或正常表演风格和运舌法表演风格中的哪一个应用到第二音调的起始。因此,在两个连续音调彼此分离(即,并不相连)的情况下,传统的做法是应用导致无声状态的释放相关表演风格和从无声状态分别上升到第一音调的结尾和第二音调的起始的起奏相关表演风格。因此,到目前为止,即使在运舌法可应用的情况下,运舌法表演风格不能够得到实际应用而将应用正常表演风格来替代运舌法表演风格,从而在演奏期间不能够表现运舌法表演风格。
发明内容
考虑到前述问题,本发明的目的是提出一种自动演奏风格确定设备和方法,根据表示要连续产生的至少两个音调之间的预定时间关系的时间,确定要应用到实时执行的当前音调上的表演风格,由此在自动表现运舌法表演风格的同时允许进行实时演奏。
本发明提出了一种改进的自动表演风格确定设备,包括:提供部分,用于根据演奏的进程实时地提供演奏事件信息;条件设置部分,用于设置包括时间信息的表演风格确定条件;时间测量部分,用于根据由所述提供部分实时地提供的演奏事件信息,测量表示要连续产生的至少两个音调之间的时间关系的时间;以及表演风格确定部分,用于比较在所设置的表演风格确定条件中所包括的时间信息和所测量到的时间,并根据比较,确定要应用到实时地执行的当前乐音的表演风格。
当根据演奏的进程实时地提供演奏事件信息时,时间测量部分根据实时地提供的演奏事件信息来测量表示要连续产生的至少两个音调之间的时间关系的时间。表演风格确定部分比较通过条件设置部分设置的包括时间信息的表演风格确定条件和测量到的时间,并且根据该比较结果来确定要应用到实时执行的当前乐音上的表演风格。对于根据比较结果来确定要应用到当前乐音上的表演风格的布置,能够在自动地表现运舌法表演风格的同时,执行实时演奏。即,由于本发明根据来自实时地提供的演奏事件信息中的、表示要连续产生的至少两个音调之间的预定时间关系的时间来确定要应用到当前乐音上的表演风格,其允许在自动表现运舌法表演风格的同时进行实时演奏。
本发明不仅可以构造和实现为如上所讨论的设备方法,而且还可以构造和实现为方法发明。另外,可以将本发明配置和实现为由诸如计算机或DSP等处理器执行的软件程序、以及存储介质存储的这样的软件程序。另外,在本发明中所使用的处理器可以包括具有专用逻辑内置硬件的专用处理器,更不必说能够运行所需软件程序的计算机或其他通用型处理器。
下面将描述本发明的实施例,但是应该意识到,本发明并不局限于所述实施例,并且在不脱离基本原理的情况下,能够进行本发明的各种修改。因此,本发明的范围由所附权利要求来唯一确定。
附图说明
为了更好地理解本发明的目的和其他特征,下面将参考附图更详细地描述其优选实施例,其中:
图1是示出了采用根据本发明实施例的自动表演风格确定设备的电子乐器的典型硬件结构的方框图;
图2A是解释演奏数据的示例的概念图,而图2B是解释波形数据的示例的概念图;
图3是解释由电子乐器实现的自动表演风格确定功能和演奏功能的功能方框图;
图4是示出了在电子乐器中实现的自动表演风格确定处理的实施例的流程图;以及
图5A-5C是示出了从最后一个音调到当前音调的与各种不同休止长度相对应地产生的乐音的波形的图。
具体实施方式
图1是示出了采用根据本发明实施例的自动表演风格确定设备的电子乐器的典型硬件结构的方框图。这里所示的电子乐器配备有演奏功能,用于基于根据操作者操作演奏操作单元5的演奏进程而实时地提供的演奏数据(更具体地,演奏事件信息)来产生电子乐音,并且基于包括根据演奏进程次序实时地提供的演奏事件信息的演奏数据来连续地产生乐曲(或伴奏)的乐音。该电子乐器还配备有表演风格赋予功能,在执行以上所提到的演奏功能期间,允许根据演奏风格确定的结果,在本实施例中向其赋予特别是所谓的“运舌法”表演风格等所需表演风格的同时进行演奏;为此,所述表演风格确定功能基于根据操作者操作演奏操作单元5的演奏进程实时地提供的演奏数据的特征、或者根据预定演奏进程次序顺序提供的演奏数据的特征,确定要新应用的音乐表现或表演风格。所谓的运舌法表演风格是以下表演风格,其在萨克斯管等管乐器的演奏期间特征性出现,并且其中表演人在其临时阻止空气通过吹口从而以瞬时中断发出音调的时刻,通过改变吹奏手指来改变音调。类似于运舌法表演风格的其他表演风格是表示在诸如小提琴等弦乐器的演奏期间所实现的“拉奏方向的反转”的一种表演风格。在本说明书中,为了描述的方便,包括诸如通过拉奏方向的反转而以瞬时中断来发出音调的表演风格的表演风格、音乐表现等将在以下被称为“运舌法表演风格”。
利用计算机来实现图1所示的电子乐器,其中通过执行各种预定程序(软件)的计算机来实现用于实现以上所提到的演奏功能的“演奏处理”、以及用于实现以上所提到的表演风格赋予功能的“自动表演风格确定处理”(参见图4)。当然,可以通过由DSP(数字信号处理器)执行的微型程序而非这样的计算机软件来实现演奏处理和自动表演风格确定处理。可选地,可以通过具有包括在其中的离散电路或集成或大规模集成电路的专用硬件设备来实现这些处理。
在图1所示的电子乐器中,在包括微处理器单元(CPU)1、只读存储器(ROM)2和随机存取存储器(RAM)3的微型计算机的控制下实现各种操作。CPU1控制整个电子乐器的行为。经由通信总线(例如数据和地址总线)1D与CPU1相连的是ROM2、RAM3、外部存储设备4、演奏操作单元5、面板操作单元6、显示设备7、乐音发生器8和接口9。还与CPU1相连的是定时器1A,用于对各种时间进行计数,例如,用于定时器中断处理的信号中断定时。即,定时器1A产生节拍时钟脉冲,用于对时间间隔进行计数、或者设置根据给定乐曲数据自动演奏乐器的演奏节拍。节拍时钟脉冲是可调的,例如通过面板操作单元6的节拍设置开关。将由定时器1A所产生的这样的节拍时钟脉冲作为处理定时指令或中断指令提供给CPU1。CPU1根据这样的指令来实现各种处理。在本实施例中由CPU1实现的各种处理包括“自动表演风格确定处理”(参见图4),用于确定是否应用运舌法表演风格,作为所使用的每一个乐器的唯一表演风格,以便实现更自然和更逼真的演奏。尽管该电子乐器的实施例可以包括除了以上所提到的硬件之外的其他硬件,但是将针对仅采用最小必须资源的情况对其进行描述。
ROM2存储有要由CPU1执行的各种程序并且还作为波形存储器,存储有与各种乐器唯一或特有的表演风格相对应的诸如波形数据等各种数据(例如,稍后将结合图2B描述的表演风格模块)。RAM3用作工作存储器,用于临时存储CPU1执行预定程序时所产生的各种数据,以及/或者用作用于存储当前执行的程序和与当前执行的程序相关的数据的存储器。给RAM3的预定地址区域分配各种功能,并且将其用作各种寄存器、标记、表格、存储器等。类似于ROM2,外部存储设备4用于存储诸如要用于自动演奏的演奏数据和与表演风格相对应的波形数据等各种数据,并且存储各种控制程序,例如“自动表演风格确定处理”(参见图4)。在特定控制程序未预先存储在ROM2的情况下,可以将控制程序预先存储在外部存储设备(例如硬盘设备)4中,从而通过将控制程序从外部存储设备4读取到RAM3中,允许CPU1按照与将特定控制程序存储在ROM2中的情况完全相同的方式进行操作。该配置极大地方便了控制程序的版本升级、加入新控制程序等。外部存储设备4可以使用除了硬盘(HD)之外的任意各种可拆卸型外部记录介质,例如软盘(FD)、光盘(CD-ROM或CD-RAM)、磁光盘(MO)、数字通用盘(DVD)和半导体存储器。
例如,演奏操作单元5具有键盘的形式,包括可操作来选择要产生的乐音音高的多个按键和与这些按键相对应的按键开关。该演奏操作单元5不仅能够用于基于表演人的手动表演操作的实时乐音演奏,而且能够用作预先存储的演奏数据集合中所需的一个集合来自动演奏的输入装置。显而易见,演奏操作单元5可以除了键盘型之外的其他设备,例如,具有设置在其上的乐音音高选择串的项链状设备。面板操作单元6包括各种操作器,例如演奏数据选择开关,用于选择演奏数据集合中所需的一个集合以进行自动演奏,以及确定条件输入开关,用于调用“确定条件输入屏幕”(未示出)来输入用于确定是否应用运舌法表演风格的确定标准或条件(表演风格确定条件)。当然,面板操作单元6可以包括其他操作器,例如数值键盘,用于输入要用于选择、设置和控制乐音音高、音色、效果等以便根据演奏数据进行自动演奏的数值数据;用于输入文本或字符数据的键盘;以及鼠标,用于操作指针来指定在显示设备7上显示的各种屏幕中的任一个上的所需位置。例如,显示设备7包括液晶显示器(LCD)、CRT(阴极射线管)等,用于响应相应开关的操作、诸如演奏数据和波形数据等各种信息和CPU1的控制状态,可视地显示各种屏幕。
能够同时在多个乐音产生声道中产生乐音信号的乐音发生器8接收经由通信总线1D提供的演奏数据,并且合成乐音,而且根据接收到的演奏数据产生乐音信号。即,当从ROM2或外部存储设备4中读出与指定了演奏数据中所包括的信息(表演风格事件)的表演风格相对应的波形数据时,将读出的波形数据经由总线1D提供给乐音发生器8,并且按照需要进行缓冲。然后,乐音发生器8以预定的输出抽样频率输出缓冲的波形数据。由乐音发生器8产生的乐音信号受到由未输出的效果电路(例如DSP(数字信号处理器)所进行的预定数字处理,然后,将已经经过了数字处理的音频信号提供给发声***8A,用于听觉再现或发声。
例如,作为MIDI接口或通信接口的接口9用于在电子乐器和外部演奏数据产生设备(未示出)之间通信各种信息。MIDI接口用于从外部演奏数据产生设备(在当前情况下,其他MIDI设备等)向电子乐器输入MIDI标准的演奏数据、或者从电子乐器向外部演奏数据产生设备输出MIDI标准的演奏数据。其他MIDI设备可以是任意所需类型的(或操作类型),例如键盘型、吉他型、管乐器型、打击乐器型或姿势型,只要其能够响应设备的用户的操作而产生MIDI格式的数据。通信接口与有线通信网络(未示出)相连,例如LAN、因特网、电话线网络、或无线通信网络(未示出),通过其通信接口与外部演奏数据产生设备(在这种情况下,服务器计算机等)相连。因此,通信接口用于从服务器计算机向电子乐器输入各种信息,例如控制程序和演奏数据。即,在特定信息并未存储在ROM2、外部存储设备4等的情况下,所述通信接口用于从服务器计算机下载特定信息,例如特定控制程序或演奏数据集合。在这样的情况下,作为“客户端”的端子乐器通过通信接口和通信网络发送向服务器计算机请求下载诸如特定控制程序或演奏数据集合等特定信息的命令。响应来自客户端的命令,服务器计算机将所请求的信息通过通信网络传递到电子乐器。该电子乐器通过通信接口接收该特定信息,并且累积地将其存储到外部存储设备4中。按照该方式,完成了对特定信息的所需下载。
注意,在接口9是MIDI接口的情况下,其可以是通用接口而非专用MIDI接口,例如RS232-C、USB(通用串行总线)或IEEE1394,在这种情况下,可以同时对除了MIDI事件数据之外的其他数据进行通信。在将如上所提到的这样的通用接口用作MIDI接口的情况下,可以将与电子乐器相连的其他MIDI设备设计来通信除了MIDI事件数据之外的其他数据。当然,在本发明中所处理的音乐信息可以是除了MIDI格式之外的其他数据格式的,在这种情况下,根据所使用的数据格式对MIDI接口和其他MIDI设备进行构造。
现在将参考图2来描述在ROM2、外部存储设备4等中所存储的演奏数据和波形数据。图2A是解释演奏数据集合的示例的概念图。
如图2A所示,每一个演奏数据集合包括诸如表示在乐曲中的所有乐音并作为诸如SMF(标准MIDI文件)等MIDI格式的文件存储的数据。在演奏数据集合中的演奏数据包括定时数据和事件数据的组合。每一个事件数据是与演奏事件相关的数据,所述演奏数据为诸如指示乐音的产生的音调扬事件、指示乐音的阻隔或无声的音调抑事件、或表演风格指定事件。每一个事件数据与定时数据结合在一起使用。在本组合中,每一个定时数据表示两个连续事件数据之间的时间间隔(即,持续时间数据);然而,该定时数据可以是任意所需格式的,例如,使用表示离特定时间点的相对时间或表示绝对时间的数据的格式。注意,根据传统SMF,时间并非由秒或其他类似时间单位来表达,而是由作为通过将四分音符分割为480个相等部分所获得的单位的记号(tick)来表达。即,在本实施例中所处理的演奏数据可以处于任意所需的格式,例如:“事件加上绝对时间”格式,其中每一个演奏事件的出现时间由乐曲内的绝对时间或其测量值来表示;“事件加上相对时间”格式,其中每一个演奏事件的出现时间由离紧挨在之前的事件的时间长度来表示;“音高(休止)加上音调长度”格式,其中每一个演奏数据由音高和音调长度、或休止和休止长度来表达;或者“固体”格式,其中将存储区域保留给演奏的每一个最小分辨率,并且将每一个演奏事件存储在与演奏事件的出现时间相对应的存储区域之一中。另外,当然,可以按照以下方式来布置该演奏数据集合:逐轨道地单独存储事件数据,而非单行地与混合存储的多个轨道的数据存储在一起,与其分配的轨道无关,以便对事件数据进行输出。注意,演奏数据集合可以包括除了事件数据和定时数据之外的其他数据,例如乐音发生器控制数据(例如,用于控制乐音音量等的数据)。
该段落和以下段落描述了在本实施例中所处理的波形数据。图2B是解释波形数据的示例的示意图。注意,图2B示出了适合在使用了被称为“AEM(发音元素建模)”的乐音波形控制技术的乐音发生器(所谓的“AEM乐音发生器”)中使用的波形数据的示例;AEM用于通过将与各种表演风格相对应的整个波形(此后被称为“表演风格模块”)预先存储在每一个个人乐音的诸如起奏部分、释放部分、主体部分等局部部分中,对各种自然乐器所特有的表演风格或如实地表现基于发音的音色变化的表演风格进行逼真再现和再现控制。
在ROM2、外部存储设备4等中,作为“表演风格模块”而存储了大量原始表演风格波形数据集合和相关数据组,用于再现与各种乐器所特有的各种表演风格相对应的波形。注意,每一个表演风格模块是在表演风格波形合成***中能够作为单个数据块进行处理的表演风格波形单元;换句话说,每一个表演风格模块是能够作为单个事件处理的表演风格波形单元。如从图2B中所看到的,根据演奏乐音的表演风格的特征,各种表演风格模块的表演风格波形数据集合包括:与诸如起奏、主体和释放部分等每一个演奏乐音的局部部分相对应地定义的波形数据集合(起奏相关的、主体相关的和释放相关的表演风格模块);以及与诸如圆滑奏等连续乐音之间的接合部分相对应地定义的波形数据集合(接合相关的表演风格模块)。
可以根据表演风格的特征、时间分段或演奏的部分等,将这样的表演风格分类为多个主要类型。例如,以下为在本实施例中这样分类的5种主要类型的表演类型模块:
1)“正常开头”(缩写为NH):这是表示(并因而适合于)从无声状态开始的乐音的上升部分(即,起奏部分)的起奏相关的表演风格模块;
2)“正常完成”(缩写为NF):这是表示(并因而适合于)导致无声状态的乐音的下降部分(即,释放部分)的释放相关的表演风格模块;
3)“圆滑奏接合”(缩写为SJ):这是表示(并因而适合于)通过无***的无声状态的圆滑奏使两个连续乐音相互连接的接合部分的接合相关的表演风格模块;
4)“正常主体”(缩写为NB):这是表示(并因而适合于)上升和下降部分之间的乐音的主体部分的主体相关的表演风格模块;
5)“接合开头”(缩写为JH):这是表示(并因而适合于)实现作为一种不同于正常起奏部分的特殊种类的表演风格的运舌法表演风格的乐音的上升部分的起奏相关表演风格模块。
应该意识到,分类为以上五种表演风格模块类型仅是说明性的,并且当然能够以任何其他适当的方式进行对表演风格模块的分类;例如,可以将表演风格模块分类为多于5种类型。另外,还可以针对诸如表演人等每一个原始乐音源、乐器或演奏流派的类型对表演风格模块进行分类。
另外,在本实施例中,将与一个表演风格模块相对应的每一个表演风格波形的数据存储在数据库中,作为构成因子或元素的多个波形的数据集合,而非仅按照原始输入地那样进行存储;每一个波形构成元素以下将被称为矢量。作为示例,每一个表演风格模块包括以下矢量。注意,通过将所讨论的原始表演风格波形分离为具有音高和谐分量(谐波分量)的波形段和具有非音高和谐分量(非谐波分量)的剩余波形段来定义“谐波”和“非谐波”分量。
1)谐波分量的波形形状(音品)矢量:该矢量仅表示从谐波分量的各种波形构成元素中提取的且按音高和幅度归一化的波形形状的特征。
2)谐波分量的幅度矢量:该矢量表示从谐波分量的波形构成元素中提取的幅度包络的特征。
3)谐波分量的音高矢量:该矢量表示从谐波分量的波形构成元素中提取的音高的特征,例如其表示时间音高波动相对于给定参考音高的特征。
4)非谐波分量的波形形状(音品)矢量:该矢量仅表示从非谐波分量的波形构成元素中提取的且按幅度归一化的波形形状(噪声类波形形状)的特征。
5)非谐波分量的幅度矢量:该矢量表示从非谐波分量的波形构成元素中提取的幅度包络的特征。
该表演风格模块的表演风格波形数据可以包括一个或多个其他类型的矢量,例如表示波形的时间轴进程的时间矢量,尽管这里未具体描述。
为了合成表演风格波形,通过根据控制数据将适当的处理应用到这些矢量数据,并且在时间轴上或向时间轴布置或分配这样处理过的矢量数据,然后根据分配到时间轴上的矢量数据实现预定波形合成处理,沿着演奏乐音的再现时间轴来构造与表演风格波形的各种构成元素相对应的波形或包络。例如,为了产生所需的演奏乐音波形,即,表现出预定的最终表演风格特征的所需表演风格波形,通过向谐波分量的波形形状矢量赋予与谐波分量的音高矢量相对应的音高和时间变化特征、以及与谐波分量的幅度矢量相对应的幅度和时间变化特征,来产生谐波分量的波形段,而通过向非谐波分量的波形形状矢量赋予与非谐波分量的幅度矢量相对应的幅度和时间变化特征,来产生非谐波分量的波形段。然后,可以通过相加地合成这样产生的谐波和非谐波分量的波形段来产生所需的演奏乐音波形。
每一个表演风格模块包括数据,所述数据包括如图2B所示的表演风格波形数据和表演风格参数。该表演风格参数是用于控制由表演风格模块表示的波形的时间、水平等的参数。该表演风格参数可以包括取决于所讨论的表演风格模块的特性的一种或多种参数。例如,“正常开头”或“接合开头”表演风格模块可以包括不同种类的表演风格参数,例如紧接在乐音产生开始之后的绝对乐音音高和乐音音量,“正常主体”表演风格模块可以包括不同种类的表演风格参数,例如模块的绝对乐音音高、正常主体的开始和结束时间、以及在正常主体的起始和结尾处的动态。可以将这些“表演风格参数”预先存储在ROM 2等中,或者可以由用户输入操作来输入。可以经由用户操作来修改现有的表演风格参数。另外,在再现表演风格波形时未给出表演风格参数的情形下,可以自动地赋予预定的标准表演风格参数。此外,可以在处理过程中自动地产生并赋予适当的参数。
图1所示的电子乐器不仅具有根据响应表演人对演奏操作单元5的操作所产生的演奏数据或根据先前所准备的演奏数据来连续产生乐曲(或伴奏)的乐音的演奏功能,而且还具有在执行以上所提到的演奏功能期间,在通过根据实时提供的演奏数据的特征进行音乐表现确定(或表演风格确定)来向其赋予所谓的“运舌法”表演风格的同时允许进行演奏的表演风格赋予功能。下面将参考图3来给出对这些功能的一般性描述。图3是解释由电子乐器所执行的自动表演风格确定功能和演奏功能的功能方框图,其中由箭头来表示各种组件之间的数据流。
在图3中,确定条件指定部分J1响应确定条件输入开关的操作在显示设备7上显示“确定条件输入屏幕”(未示出),并且接受针对表演风格赋予的确定条件的用户输入。一旦开始了演奏功能,则响应表演人对操作单元5的操作实时地顺序提供演奏信息,或者根据演奏进程次序,从指定的演奏数据中顺序提供演奏信息。所提供的演奏数据包括至少演奏事件信息,例如音调扬或音调抑事件(这些事件将统称为“音调数据”)的信息。通过根据演奏进程次序实时地提供的演奏事件信息来执行实时演奏。自动表演风格确定部分J2执行“自动表演风格确定处理”(参见稍后将描述的图4)以自动向所提供的演奏事件信息赋予表演风格。即,自动表演风格确定部分J2根据从确定条件指定部分J1提供的确定条件来确定是否要将预定表演风格仅最新地赋予针对其在演奏事件信息中未指定任何表演风格的音调。如果已经确定要新赋予预定表演风格,则自动表演风格确定部分J2将该预定表演风格赋予表演事件信息,然后将这样得到的已赋予表演风格的演奏事件信息输出到乐音合成部分J4。根据从自动表演风格确定部分J2输出的已赋予表演风格的演奏事件信息,乐音合成部分J4从表演风格波形存储部分(波形存储器)J3中读出用于实现或达到表演风格的波形数据,并由此合成并输出乐音。即,本发明的电子乐器在应用确定的表演风格的同时合成乐音。因此,在乐音发生器8是具有表演风格支持功能的AME乐音发生器等的情况下,能够通过将作为上述确定的结果获得的表演风格指定信息传递到乐音发生器8来实现高质量的表演风格表现。另一方面,如果乐音发生器8不具有表演风格支持功能,其当然能够通过改变波形或将指定包络或其他形状等的乐音发生器控制信息传递到乐音发生器8来实现表演风格表现。
如以上所提到的,如果表演数据仅由时间、一系列音调的音调长度和乐音音高信息,在音乐上经常不自然的机械和毫无表现的演奏将根据该演奏数据来再现。有利地,本发明的自动表演风格确定设备能够实现实时演奏,其中通过向实时提供的演奏数据自动赋予与运舌法表演风格有关的演奏信息,更有效地表现了所使用的乐器的特有特征。由此,参考图4,以下段落将详细描述用于将运舌法表演风格自动赋予实时提供的演奏数据的“自动表演风格确定处理”。图4是示出了由电子乐器中的CPU1实现的“自动表演风格确定处理”的实施例的流程图。由CPU1响应诸如“自动表现赋予启动开关”在面板操作单元6上的操作来执行“自动表演风格确定处理”。
首先,在步骤S1,确定所提供的演奏事件信息是否表示音调扬事件。如果所提供的演奏事件信息表示音调抑事件而非音调扬事件(在步骤S1的确定“否”),则在步骤S3处获取并记录当前音调的音调抑时间。另一方面,如果所提供的演奏事件信息表示音调扬事件(在步骤S1的确定“是”),则CPU1转到步骤S2,其中进一步确定是否已经指定了开头再现风格。即,在指定新乐音时(这里还被称为“当前音调”),确定是否已经指定了用于指定起奏部分的表演风格(即,开头表演风格)的表演风格指定事件。如果已经指定了这样的开头表演风格(步骤S2处的确定“是”),则不需要自动赋予新的特定表演风格,因而,将所指定的开头表演风格确定为当前要赋予的表演风格(步骤S9)。此后,CPU1跳到步骤S11。在这种情况下,照原样将所提供的表演风格指定事件发送到乐音合成部分J4。如果还未指定开头表演风格(步骤S2处的确定“否”),则在步骤S4处获取当前音调的音调扬时间。然后,在步骤S5,从所获取的当前音调的音调扬时间中减去所记录的音调抑时间,从而计算在最近音调和当前音调之间的休止长度(步骤S5)。即,步骤S5计算从由前一个或最近一个音调所表示的亚忒的演奏结尾到由当前音调表示的乐音起始的时间长度。
在接下来的步骤S6,进一步确定在步骤S5处计算出的休止长度是否小于“0”。如果所计算出的休止长度为小于“0”的负值(在步骤S6处的确定“是”,即,如果两个连续的音调彼此重叠,则断定当前音调通过连音符与最近的音调连续相连,确定应该使用连音符接合表演风格,接合相关表演风格模块之一(步骤S7)。另一方面,如果所计算出的休止长度不小于“0”(在步骤S6处的确定“否”),即,如果两个连续音调并不彼此重叠,则在步骤S8处,进一步确定所计算出的休止长度是否短于接合开头确定时间。这里,接合开头确定时间是对于每一个表演人、乐器类型和演奏流派而不同的预设时间长度。如果确定所计算出的休止长度并不短于该接合开头确定时间(在步骤S8处的确定“否”),则断定当前音调表示不应该赋予运舌法表演风格的乐音,并且这里用作附加相关的表演风格的表演风格模块是正常开头表演风格(步骤S9)。另一方面,如果已经确定所计算出的休止长度短于接合开头确定时间(在步骤S8处的确定“是”),则断定当前音调表示应该赋予运舌法表演风格的乐音,并且这里用作附加相关的表演风格的表演风格模块是接合开头表演风格(步骤S10)。在下一步骤S11,对所记录的音调抑时间进行初始化。在本实施例中,可以通过将所记录的音调抑时间设置为最大值,进行对所记录的音调抑时间的初始化。
现在,参考图5,将描述根据在“自动表演风格确定处理”(图4)中进行的表演风格确定的各种结果最终产生的波形。图5A-5C是示出了根据从最近音调到紧接在最近音调之后的当前音调的不同休止长度产生的乐音波形的概念图。在图5A-5C中,在这些附图的左侧区域中示出了确定条件和休止长度之间的时间关系,而在这些附图的右侧区域示出了在确定的表演风格上所产生的波形,作为包络波形。
如果从最近音调的音调抑时间到当前音调的音调扬时间的时间长度(即休止长度)(即,从其长度由图中水平伸长矩形所表示的最近音调的结尾、到其长度也由水平伸长矩形来表示的当前音调的起始的时间长度)长于接合开头确定时间,则选择正常开头表演风格(参见图4的步骤S9)。因此,在这种情况下,通过如图5A所示的正常开头(NH)、正常主体(NB)和正常完成(NF)表演风格模块的组合来表现每一音调,并且将其表达为未通过接合表演风格模块与其他音调相连的独立乐音的波形。如果连续音调之间的休止长度小于“0”,则选择连音符接合表演风格(参见图4的步骤S7)。因此,在这种情况下,通过正常开头(NH)、正常主体(NB)和正常完成(NF)表演风格模块与前一或最近音调的正常完成表演风格模块和由连音符接合(SJ)表演风格模块替代的后一或当前音调的正常开头表演风格模块的组合来表达连续音调的波形,如图5B中所示。如果连续音调之间的休止长度长于接合开头确定时间,则选择接合开头表演风格作为起奏相关表演风格(参见图4中的步骤S10)。因此,在这种情况下,通过正常开头(NH)、正常主体(NB)和正常完成(NF)表演风格妙快的组合将前一音调表达为独立乐音的波形,而通过接合开头(JH)、正常主体(NB)和正常完成(NF)表演风格模块的组合来表示后一或当前音调,作为独立乐音的波形,表示运舌法表演风格,如图5C所示。
当在图5B所示的示例中从当前音调的音调扬时间进一步进行演奏时,自动表演风格确定处理获取最近音调的音调抑时间(参见图4的步骤S3)。然而,在这种情况下,可以执行后续的操作,其中所获取的最近音调的音调抑时间被忽略,以根据与下一音调的关系来确定要应用的表演风格。
即,在未向其赋予任何表演风格的演奏数据中的连续音调之间的休止长度长于接合开头确定时间的情况下,以正常完成表演风格模块结束的最近音调之后的音调以正常开头表演风格模块开始,并且将每一个连续音调表达为独立乐音的波形。,在连续音调之间的休止长度短于接合开头确定时间的情况下,以正常完成表演风格模块结束的最近音调之后的音调以接合开头表演风格模块开始,并且将每一个连续音调表达为独立乐音的波形。另外,在两个连续音调之间的休止长度小于“0”的情况下,使用连音符接合表演风格模块将连续音调表达为连续波形。按照该方式,通过起奏相关表演风格模块、主体相关表演风格模块和释放相关表演风格模块(或接合相关表演风格模块)的组合来合成整个乐音的音调(或连续音调)。
即,在实时演奏期间,本实施例能够通过比较紧挨在当前音调事件之前的最近音调的音调抑时间和当前音调的音调扬时间、与表演风格确定条件中所包括的时间信息之间的时间关系,确定要应用运舌法表演风格(接合开头)和正常起奏表演风格(正常开头)中的哪一个。通过准备与具有正常起奏的正常开头分离地实现运舌法表演风格的接合开头,并且根据当前音调和最近音调之间的音高间隔、时间差等使用彼此不同的接合开头数据中的适当一个,本实施例能够表现更为逼真的运舌法表演风格。
不必说,尽管以上已经针对软件乐音发生器在单声道模式下一次产生单个乐音的情况对每一个实施例进行了描述,但是其可以应用于软件乐音发生器在多声道模式下依次产生多个乐音的情况。另外,可以将多声道模式下布置的演奏数据***为多个单声道序列,从而由多个自动表演风格确定功能来处理这些单声道序列。在这样的情况下,在显示设备7上显示所***后的结果,从而使用户能够根据需要确认并修改该***后的结果。
应该意识到,在本发明中所采用的波形数据可以是除了使用如上所述的表演风格模块构造的波形数据之外的其他波形数据,例如利用PCM、DPCM、ADPCM或其他方案采样的波形数据。即,乐音发生器8可以采用任意公知的乐音信号产生技术,例如:存储器读出方法,其中根据响应要产生的乐音音高而变化的地址数据,顺序地读出波形存储器中所存储的乐音波形采样值数据;FM方法,其中通过使用上述地址数据作为相位角参数数据执行预定的频率调制参数来获取乐音波形采样值数据;以及AM方法,其中通过利用上述地址数据作为相位角参数数据来执行预定的幅度调制操作来获取乐音波形采样值数据。除了以上所提到的之外,乐音发生器8可以使用物理模型方法、谐波合成方法、共振峰合成方法、利用VCO、VCF和VCA的模拟合成器方法、模拟仿真方法等。另外,作为利用专用硬件构成乐音发生器8的替代,可以利用DSP和微型程序的组合或CPU与软件的组合来构造该乐音发生器8。另外,可以通过以时分的方式来使用单个电路或者通过为每一个声道提供单独的电路来实现多个乐音产生声道。
在将本发明的上述表演风格确定设备应用于如上所述的电子乐器的情况下,电子乐器可以是除了键盘乐器型之外的其他任何类型,例如弦乐器、管乐器或打击乐器型。当然,本发明不仅适用于其中所有演奏操作单元、显示设备、乐音发生器等一起包括在乐器内的电子乐器,而且适用于其中通过诸如MIDI接口、各种网络等单独提供并互连上述演奏操作单元、显示设备、乐音发生器等另一类型的电子乐器。另外,本发明的表演风格确定设备可以包括个人计算机和应用程序软件的组合,在这种情况下,可以从诸如磁盘、光盘或半导体存储器等存储介质或经由通信网络向该设备提供各种处理程序。另外,本发明的表演风格确定设备可以应用于卡拉OK设备、诸如自动钢琴等自动演奏设备、电子游戏设备、诸如便携式电话等便携式通信终端、等等。此外,在将本发明的表演风格确定设备应用于便携式通信终端的情况下,可以由服务器计算机来执行便携式通信终端的功能的一部分,从而可以由便携式通信终端和服务器计算机协作地执行所需功能。即,可以按照任何所需的方式来构造本发明的表演风格确定设备,只要其允许在自动赋予运舌法表演风格的同时,允许在实时演奏期间产生乐音。

Claims (5)

1、一种自动表演风格确定设备,包括:
提供部分,用于根据演奏的进程实时地提供演奏事件信息;
条件设置部分,用于设置包括时间信息的表演风格确定条件;
时间测量部分,用于根据由所述提供部分实时地提供的演奏事件信息,测量表示要连续产生的至少两个音调之间的时间关系的时间;以及
表演风格确定部分,用于在由所述条件设置部分所设置的表演风格确定条件中所包括的时间信息和由所述时间测量部分所测量到的时间之间进行比较,并根据比较结果,确定要应用到实时地演奏的当前乐音的表演风格。
2、根据权利要求1所述的自动表演风格确定设备,还包括:用于临时存储表示实时地提供的演奏事件信息中所包括的音调抑事件的提供时间的信息;以及
其中所述时间测量部分测量从由所述提供部分作为演奏事件信息实时地提供的的音调扬事件的提供时间到临时存储在所述存储部分中的、紧接在实时提供的所述音调扬事件之前的音调抑事件的提供时间的时间。
3、根据权利要求1或2所述的自动表演风格确定设备,其特征在于,当指示预定表演风格的表演风格指定事件并未包括在实时地提供的演奏事件信息中时,所述表演风格确定部分确定要应用到实时执行的当前乐音上的表演风格。
4、根据权利要求1或2所述的自动表演风格确定设备,其特征在于,所述表演风格确定部分将至少运舌法表演风格确定为要应用到实时执行的当前乐音上的表演风格。
5、一种使用计算机来执行以下步骤的自动表演风格确定方法,所述步骤为:
根据演奏的进程实时地提供演奏事件信息;
设置包括时间信息的表演风格确定条件;
根据由所述提供步骤实时地提供的演奏事件信息,测量表示要连续产生的至少两个音调之间的时间关系的时间;以及
在由所述设置步骤所设置的表演风格确定条件中所包括的时间信息和由所述测量步骤测量到的时间之间进行比较,并且根据所述比较,确定要应用到实时执行的当前乐音上的表演风格。
CN2005101039372A 2004-09-16 2005-09-15 自动表演风格确定设备和方法 Expired - Fee Related CN1750116B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2004269453 2004-09-16
JP2004269453A JP3915807B2 (ja) 2004-09-16 2004-09-16 奏法自動判定装置及びプログラム
JP2004-269453 2004-09-16

Publications (2)

Publication Number Publication Date
CN1750116A true CN1750116A (zh) 2006-03-22
CN1750116B CN1750116B (zh) 2012-11-28

Family

ID=35462362

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2005101039372A Expired - Fee Related CN1750116B (zh) 2004-09-16 2005-09-15 自动表演风格确定设备和方法

Country Status (4)

Country Link
US (1) US7750230B2 (zh)
EP (1) EP1638077B1 (zh)
JP (1) JP3915807B2 (zh)
CN (1) CN1750116B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102760428A (zh) * 2011-04-21 2012-10-31 雅马哈株式会社 使用表示乐音生成模式的查询的演奏数据搜索

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7723603B2 (en) * 2002-06-26 2010-05-25 Fingersteps, Inc. Method and apparatus for composing and performing music
US7786366B2 (en) * 2004-07-06 2010-08-31 Daniel William Moffatt Method and apparatus for universal adaptive music system
US8242344B2 (en) * 2002-06-26 2012-08-14 Fingersteps, Inc. Method and apparatus for composing and performing music
DE602006000117T2 (de) * 2005-06-17 2008-06-12 Yamaha Corporation, Hamamatsu Musiktonwellenformsynthesizer
US7554027B2 (en) * 2005-12-05 2009-06-30 Daniel William Moffatt Method to playback multiple musical instrument digital interface (MIDI) and audio sound files
US7432413B2 (en) 2005-12-16 2008-10-07 The Procter And Gamble Company Disposable absorbent article having side panels with structurally, functionally and visually different regions
JP4320782B2 (ja) * 2006-03-23 2009-08-26 ヤマハ株式会社 演奏制御装置、およびプログラム
JP4802857B2 (ja) * 2006-05-25 2011-10-26 ヤマハ株式会社 楽音合成装置及びプログラム
JP5203114B2 (ja) * 2008-09-29 2013-06-05 ローランド株式会社 電子楽器
JP5334515B2 (ja) * 2008-09-29 2013-11-06 ローランド株式会社 電子楽器
JP2011242560A (ja) 2010-05-18 2011-12-01 Yamaha Corp セッション端末及びネットワークセッションシステム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4332183A (en) 1980-09-08 1982-06-01 Kawai Musical Instrument Mfg. Co., Ltd. Automatic legato keying for a keyboard electronic musical instrument
US5905223A (en) * 1996-11-12 1999-05-18 Goldstein; Mark Method and apparatus for automatic variable articulation and timbre assignment for an electronic musical instrument
JP3829549B2 (ja) 1999-09-27 2006-10-04 ヤマハ株式会社 楽音生成装置及びテンプレート編集装置
US6835886B2 (en) * 2001-11-19 2004-12-28 Yamaha Corporation Tone synthesis apparatus and method for synthesizing an envelope on the basis of a segment template
JP3975772B2 (ja) * 2002-02-19 2007-09-12 ヤマハ株式会社 波形生成装置及び方法
US6911591B2 (en) * 2002-03-19 2005-06-28 Yamaha Corporation Rendition style determining and/or editing apparatus and method
JP3812509B2 (ja) 2002-08-08 2006-08-23 ヤマハ株式会社 演奏データ処理方法および楽音信号合成方法
US6946595B2 (en) 2002-08-08 2005-09-20 Yamaha Corporation Performance data processing and tone signal synthesizing methods and apparatus

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102760428A (zh) * 2011-04-21 2012-10-31 雅马哈株式会社 使用表示乐音生成模式的查询的演奏数据搜索
CN102760428B (zh) * 2011-04-21 2016-11-16 雅马哈株式会社 使用表示乐音生成模式的查询的演奏数据搜索

Also Published As

Publication number Publication date
EP1638077B1 (en) 2015-02-25
US20060054006A1 (en) 2006-03-16
JP2006084774A (ja) 2006-03-30
US7750230B2 (en) 2010-07-06
CN1750116B (zh) 2012-11-28
JP3915807B2 (ja) 2007-05-16
EP1638077A1 (en) 2006-03-22

Similar Documents

Publication Publication Date Title
CN1750116B (zh) 自动表演风格确定设备和方法
KR100658869B1 (ko) 음악생성장치 및 그 운용방법
KR100717491B1 (ko) 음악 작곡 장치 및 그 운용방법
Rothstein MIDI: A comprehensive introduction
US7737354B2 (en) Creating music via concatenative synthesis
CN1145679A (zh) 用于改变音频信号音质和/或进行音调控制的方法和装置
US20110203444A1 (en) Generation of harmony tone
CN1892812A (zh) 乐音合成设备和方法
CN1770258B (zh) 表演风格确定设备和方法
KR100664677B1 (ko) 휴대용 단말기에서의 음악 컨텐츠 생성 방법
JP4614307B2 (ja) 演奏データ処理装置及びプログラム
JP4268322B2 (ja) 再生用符号化データ作成方法
JP4239706B2 (ja) 自動演奏装置及びプログラム
JP2002328673A (ja) 電子楽譜表示装置およびプログラム
JP6981239B2 (ja) 機器、方法及びプログラム
JP5104414B2 (ja) 自動演奏装置及びプログラム
JP3807333B2 (ja) メロディ検索装置およびメロディ検索プログラム
JP3760909B2 (ja) 楽音生成装置及び方法
JP3832421B2 (ja) 楽音生成装置及び方法
JP3832422B2 (ja) 楽音生成装置及び方法
JP3755468B2 (ja) 楽曲データの表情付け装置及びプログラム
JPH0519765A (ja) 電子楽器
JP3424989B2 (ja) 電子楽器の自動伴奏装置
JP3832419B2 (ja) 楽音生成装置及び方法
JP3832420B2 (ja) 楽音生成装置及び方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20121128

Termination date: 20200915