JP5359203B2 - Music processing apparatus and program - Google Patents

Music processing apparatus and program Download PDF

Info

Publication number
JP5359203B2
JP5359203B2 JP2008287605A JP2008287605A JP5359203B2 JP 5359203 B2 JP5359203 B2 JP 5359203B2 JP 2008287605 A JP2008287605 A JP 2008287605A JP 2008287605 A JP2008287605 A JP 2008287605A JP 5359203 B2 JP5359203 B2 JP 5359203B2
Authority
JP
Japan
Prior art keywords
time
segment
music
musical
reproduction instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008287605A
Other languages
Japanese (ja)
Other versions
JP2010113277A (en
Inventor
琢哉 藤島
デ ボア マールテン
デ ジョン フォッケ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2008287605A priority Critical patent/JP5359203B2/en
Publication of JP2010113277A publication Critical patent/JP2010113277A/en
Application granted granted Critical
Publication of JP5359203B2 publication Critical patent/JP5359203B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Electrophonic Musical Instruments (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To avoid a silent section from being generated between fragments and rhythm from becoming unnatural throughout a musical piece when connecting a plurality of musical pieces in units of fragments to generate a new musical piece. <P>SOLUTION: When musical sound data showing the waveform of each fragment of a main musical piece designated to be performed among a plurality of musical pieces is replaced with musical sound data of a fragment whose musical feature amount is similar to that of the fragment of the main musical piece among the musical sound data of each fragment of another musical piece, time-axis compression/expansion is applied for replacement while adjusting the time length. As a means for the time-axis compression/expansion, a first low-quality and high-speed means and a second high-quality and low-speed means are provided. At the beginning of reproduction of a music piece, it is replaced with the musical sound data to which time-axis compression/expansion is applied by the first means, and subsequently, replaced with the musical sound data to which time-axis compression/expansion is applied by the second means. <P>COPYRIGHT: (C)2010,JPO&amp;INPIT

Description

本発明は、複数の楽曲の各々に含まれる素片を連結して新たな楽曲を生成する技術に関する。   The present invention relates to a technique for generating new music by connecting pieces included in each of a plurality of music.

例えばディスクジョッキ(DJ)は、複数の楽曲を途切れなく連結しながら次々に再生する。特許文献1には、このような楽曲再生を実現する技術が開示されている。同文献の技術においては、楽曲を拍に同期した時点で複数の区間(以下、素片)に区分し、それら各素片を音楽的な特徴量が類似する他の素片(例えば、他の楽曲の素片)で置き換えて再生することにより、複数の楽曲から違和感のない新たな楽曲を生成し再生することを実現している。
特開2008−129135号公報
For example, a disc mug (DJ) reproduces one after another while connecting a plurality of music pieces without interruption. Patent Document 1 discloses a technique for realizing such music reproduction. In the technique of this document, a music piece is divided into a plurality of sections (hereinafter referred to as segments) at the time of synchronizing with a beat, and each segment is divided into other segments (for example, other segments) having similar musical features. It is possible to generate and play a new piece of music without any sense of incongruity from a plurality of pieces of music.
JP 2008-129135 A

しかし、一つの楽曲においても、その楽曲を構成する各素片SMの時間長は必ずしも一定ではなく、また、素片SMと置き換えて再生される素片SSの時間長が素片SMの時間長と一致するとは限らない。このため、特許文献1で開示された技術には、以下のような問題が生じ得る。すなわち、図6(A)に示すように、素片SMに比較して素片SSの時間長が短い場合には、各素片SSのつなぎ目が無音状態となってしまい、音がブツブツと途切れて聴こえてしまうといった問題がある。逆に、素片SMに比較して素片SSの時間長が長い場合には、その超過部分に応じて素片SSの末尾の部分が再生されず、図6(B)に示すように素片SSの中央に拍点がある場合に、各拍点の再生間隔がずれてしまい再生される楽曲全体に亘ってのリズムにずれが生じてしまうといった問題がある。
本発明は、上記課題に鑑みて為されたものであり、複数の楽曲を素片単位で連結して新たな楽曲を生成する際に、各素片のつなぎ目で無音が生じたり、楽曲全体に亘ってのリズムが不自然になったりすることを回避する技術を提供することを目的としている。
However, even in one piece of music, the time length of each piece SM i constituting the music piece is not necessarily constant, and the time length of the piece SS i reproduced by replacing with the piece SM i is the same as the piece SM. It does not necessarily match the time length of i . For this reason, the following problems may occur in the technique disclosed in Patent Document 1. That is, as shown in FIG. 6A, when the time length of the segment SS i is shorter than the segment SM i , the joint of each segment SS i becomes silent, and the sound There is a problem that the sound is interrupted. On the other hand, when the time length of the segment SS i is longer than that of the segment SM i , the end portion of the segment SS i is not reproduced according to the excess portion, and is shown in FIG. If there is a central beats point of segment SS i as, there is a problem shifted to the rhythm of throughout music playback interval is reproduced deviates for each beat point occurs.
The present invention has been made in view of the above problems, and when a plurality of pieces of music are connected in units of pieces and a new piece of music is generated, silence is generated at the joint of each piece, or the whole piece of music is generated. The object is to provide a technique for avoiding unnatural rhythms over the whole area.

上記課題を解決するため、本発明は、楽曲を区分した各素片の波形を示す楽音データを記憶する記憶手段と、再生すべき素片を指定する情報と再生時における素片の時間長とを指定する情報とを含む再生指示を生成する再生指示生成手段と、前記再生指示により指定された素片の楽音データを前記記憶手段から読み出す読出手段と、前記再生指示に応じて前記記憶手段から読み出された楽音データに対し、前記再生指示により指定された時間長の素片とするための第1の時間軸圧伸処理を施す第1の時間軸圧伸処理手段と、前記再生指示に応じて前記記憶手段から読み出された楽音データに対し、前記再生指示により指定された時間長の素片とするための時間軸圧伸処理であって、前記第1の時間軸圧伸処理よりも演算量が多く、処理速度が遅い第2の時間軸圧伸処理を施す第2の時間軸圧伸処理手段と、前記再生指示に応じて、前記第1の時間軸圧伸処理の結果得られる楽音データを出力し、その後、前記第1の時間軸圧伸処理の結果得られる楽音データの代わりに、前記第2の時間軸圧伸処理の結果得られる楽音データを出力するデータ出力手段とを有する楽曲処理装置、およびコンピュータ装置を上記各手段として機能させることを特徴とするプログラムを提供する。   In order to solve the above-described problems, the present invention provides a storage means for storing musical tone data indicating the waveform of each segment into which music is divided, information for specifying a segment to be reproduced, and a time length of the segment at the time of reproduction. Reproduction instruction generation means for generating a reproduction instruction including information for designating, a reading means for reading out musical tone data of a segment designated by the reproduction instruction from the storage means, and from the storage means in response to the reproduction instruction First time-axis companding processing means for applying a first time-axis companding process to the read musical sound data to make a unit of time length specified by the reproduction instruction; Accordingly, a time axis companding process for converting the musical sound data read from the storage means into a segment having a time length specified by the reproduction instruction, the first time axis companding process. Has a large amount of computation and processing speed Second time-axis companding processing means for performing the second time-axis companding processing, and outputting musical sound data obtained as a result of the first time-axis companding processing in response to the reproduction instruction, A music processing apparatus having a data output means for outputting musical sound data obtained as a result of the second time axis companding process instead of the musical sound data obtained as a result of the first time axis companding process, and a computer apparatus Is provided as a function of each of the above means.

このような楽曲処理装置およびプログラムによれば、再生指示に応じて記憶手段から読み出される楽音データに対して第1または第2の時間軸圧伸処理を施す処理が実行され、その処理結果が出力される。このため、各素片のつなぎ目で無音が生じたり、リズムが不自然になることが回避される。さらに、本発明では、はじめのうちは第1の時間軸圧伸処理による時間長の調整が行われ、その後、第2の時間軸圧伸処理による時間長の調整に切り換えられる。このため、第1の時間軸圧伸処理として、処理速度は速いもののその処理後の楽音データの音質では劣る処理(例えば、時間領域での時間軸圧伸処理)を採用し、第2の時間軸圧伸処理として、処理速度は遅いもののその処理後の楽音データの音質では優る処理(例えば、フェーズボコーダなどスペクトル領域での時間軸圧伸処理)を採用すれば、前者のみを採用した場合に比較して音質の高い楽曲を生成することができ、また、後者のみを採用した場合に比較してリアルタイム処理が可能になるといった効果を奏する。   According to such a music processing apparatus and program, the process of applying the first or second time axis companding process to the musical sound data read from the storage means according to the reproduction instruction is executed, and the processing result is output. Is done. For this reason, it is avoided that silence occurs at the joints between the individual pieces and the rhythm becomes unnatural. Furthermore, in the present invention, the time length is first adjusted by the first time axis companding process, and then the time length is adjusted by the second time axis companding process. For this reason, as the first time-axis companding process, a process (for example, a time-axis companding process in the time domain) that has a high processing speed but is inferior in the sound quality of the musical sound data after the processing is adopted as the first time-axis companding process. When the axial companding process is slow but the processing is superior in the sound quality of the musical data after the processing (for example, the temporal axial companding process in the spectral domain such as phase vocoder), the former is used only Compared with the case where only the latter is employ | adopted, there exists an effect that a real-time process becomes possible compared with the case where the music of high sound quality can be produced | generated compared.

ここで、再生指示より指定される素片の再生時の時間長を指定する態様としては種々のものが考えられる。第1に、再生すべき素片を連ねて得られる楽曲の再生テンポを利用者に指定させ、再生時における各素片の時間長を当該再生テンポに応じた一定の時間長とする態様である。第2に、再生すべき素片の各々について再生時における当該素片の時間長を指定する態様である。   Here, various modes are conceivable for designating the time length during the reproduction of the segment designated by the reproduction instruction. The first is an aspect in which the user designates the playback tempo of the music obtained by connecting the segments to be played back, and the time length of each piece at the time of playback is set to a certain time length according to the playback tempo. . Second, for each segment to be reproduced, the time length of the segment at the time of reproduction is designated.

より好ましい態様においては、前記楽曲処理装置は、前記主楽曲に含まれる各素片と置き換えられる他の楽曲の素片の楽音データの各々に、その楽音データの表す素片内でフェードアウトするエンベロープを付与する一方、当該楽音データが他の楽音データに後続して出力される場合には、当該楽音データの表す素片の手前からフェードインするエンベロープを付与して出力することを特徴とする。このような態様によれば、前後の素片との境界を跨いでフェードインおよびフェードアウトするエンベロープを付与した場合に比較して、不要な拍点が顕在化することがなく、楽曲全体に亘ってのリズムが不自然になることが回避される。   In a more preferred aspect, the music processing device includes an envelope that fades out in the musical piece data represented by the musical tone data, in each musical piece musical piece data to be replaced with each musical piece contained in the main musical piece. On the other hand, when the musical tone data is output following other musical tone data, an envelope that fades in from the front of the segment represented by the musical tone data is added and output. According to such an aspect, compared to the case where an envelope that fades in and fades out across the boundary between the front and rear segments is provided, unnecessary beat points are not manifested, and the entire musical piece is spread. The unnatural rhythm is avoided.

以下、本発明の実施形態について図面を参照しつつ説明する。
(A:第1実施形態)
図1は、本発明の第1実施形態に係る楽曲処理装置100の構成を示すブロック図である。本形態の楽曲処理装置100は、複数の楽曲のうちから利用者により指定された一つの楽曲(以下「主楽曲」という)を、これら複数の楽曲のうちの他のもの(以下「副楽曲」という)を利用して加工し、このようにして生成される新たな楽曲を繰り返し再生する装置である。図1に示すように、この楽曲処理装置100は、制御装置10、記憶装置20、出力装置30、入力装置40および表示装置50を具備するコンピュータ(例えばパーソナルコンピュータ)によって実現される。
Embodiments of the present invention will be described below with reference to the drawings.
(A: 1st Embodiment)
FIG. 1 is a block diagram showing a configuration of a music processing device 100 according to the first embodiment of the present invention. The music processing apparatus 100 according to the present embodiment uses one piece of music (hereinafter referred to as “main music”) designated by the user from among a plurality of music pieces and another piece of music (hereinafter referred to as “sub music”). And replaying new music generated in this way. As shown in FIG. 1, the music processing device 100 is realized by a computer (for example, a personal computer) including a control device 10, a storage device 20, an output device 30, an input device 40, and a display device 50.

制御装置10は、プログラムの実行によって楽曲処理装置100の各部を制御する演算処理装置(CPU)と、この演算処理の実行過程で各種データが各々蓄積される複数のキャッシュメモリとを含んでいる。記憶装置20は、制御装置10が実行するプログラムや制御装置10が処理する各種のデータを記憶する。例えば半導体記憶装置や磁気記憶装置や光ディスク装置が記憶装置20として好適である。図1に示すように、記憶装置20は、複数の楽曲の各々について楽曲データを記憶する。本実施形態では、入力装置40に対する操作によって、上記複数の楽曲のうちから再生対象となる主楽曲が指定され、その主楽曲から再生対象のループが画定される。なお、上記複数の楽曲のうちの主楽曲として指定されなかったもの全てを副楽曲としても良いし、これら主楽曲として指定されなかた楽曲のうちの幾つかを副楽曲として利用者に指定させても良い。 The control device 10 includes an arithmetic processing unit (CPU) that controls each unit of the music processing device 100 by executing a program, and a plurality of cache memories in which various data are stored in the execution process of the arithmetic processing. The storage device 20 stores a program executed by the control device 10 and various data processed by the control device 10. For example, a semiconductor storage device, a magnetic storage device, or an optical disk device is suitable as the storage device 20. As shown in FIG. 1, the storage device 20 stores song data for each of a plurality of songs. In the present embodiment, the operation of the input device 40 designates a main music to be played from among the plurality of music, and a playback target loop is defined from the main music. Incidentally, the everything that has not been designated as a main music piece of said plurality of music may be sub music, is designated by the user some of the music piece Tsu Naka specified as these main music as a by-song May be.

図2は、楽曲とループの関係を示す概念図である。1つの楽曲は多数の小節に区分される。図2に示すように、ループは1つの楽曲の複数の小節からなる区間であり、例えば楽曲の特徴的な部分(いわゆるサビの部分など)がループとして好適である。このループは、入力装置40の操作によって利用者が主楽曲中にループの始点および終点を指定することで画定される。なお、本実施形態では、主楽曲の一部を再生対象のループとして利用者に指定させたが、主楽曲全体を再生対象のループとしても勿論良い。また、主楽曲のうち所定の条件を満たす区間を制御装置10がループとして自動的に画定する構成としても勿論良い。   FIG. 2 is a conceptual diagram showing the relationship between music and loops. One piece of music is divided into a number of bars. As shown in FIG. 2, a loop is a section composed of a plurality of bars of one piece of music. For example, a characteristic part of a music piece (so-called rust portion or the like) is suitable as a loop. This loop is demarcated by the user specifying the start point and end point of the loop in the main music piece by operating the input device 40. In the present embodiment, the user is allowed to designate a part of the main music as a playback target loop, but the whole main music may of course be the playback target loop. Of course, the control device 10 may automatically define a section satisfying a predetermined condition in the main music as a loop.

図2に示すように、各小節は1つまたは複数の拍(ビート)を単位として複数の区間(以下「素片」という)Sに区分される。本形態における素片Sは1つの拍に相当する区間である。したがって、例えば2拍子の楽曲であれば1つの小節を2等分した各区間が素片Sに相当し、3拍子の楽曲であれば1つの小節を3等分した各区間が素片Sに相当する。なお、素片Sは、1つの拍を複数に区分した区間(すなわち1/2拍や1/4拍に相当する区間)であってもよい。   As shown in FIG. 2, each measure is divided into a plurality of sections (hereinafter referred to as “elements”) S in units of one or a plurality of beats. The segment S in this embodiment is a section corresponding to one beat. Therefore, for example, in the case of a two-beat musical piece, each section obtained by dividing one measure into two equals to a segment S, and in the case of a three-beat musical piece, each section obtained by dividing one measure into three equal segments. Equivalent to. Note that the segment S may be a section in which one beat is divided into a plurality of sections (that is, a section corresponding to 1/2 beat or 1/4 beat).

図1に示すように、1つの楽曲に対応した楽曲データは、当該楽曲に属する複数の素片Sの各々について素片データDSとその楽曲における各素片Sの再生タイミングを示すシーケンスデータTC(例えば、素片Sを一意に示す識別子と楽曲の先頭を時刻の基準点とした場合におけるその素片Sの再生時刻を示すデータとの配列)とを含む。例えば、4拍子の楽曲のうち3個の小節がループとして指定された場合には、当該ループの楽曲データは12個(=3小節×4拍分)の素片データDSを含む。1つの素片Sに対応した素片データDSは、当該素片Sの音波形を示すサンプリングデータ列(以下、楽音データ)Aと当該素片Sの音楽的な性質を特徴付ける数値(以下「特徴量」という)Fとを含む。本形態における素片データDSの特徴量Fは、楽音のエネルギ(強度),振幅スペクトルのセントロイド,スペクトルの強度が最大となる周波数,MFCC(Mel-Frequency Cepstrum Coefficient)などN種類(Nは自然数)の数値を含む。   As shown in FIG. 1, the music data corresponding to one piece of music includes the piece data DS for each of the plurality of pieces S belonging to the music and the sequence data TC (representing the reproduction timing of each piece S in the music piece). For example, an identifier that uniquely identifies the segment S and an array of data indicating the reproduction time of the segment S when the beginning of the music is used as a time reference point are included. For example, when 3 bars of music of 4 beats are designated as a loop, the music data of the loop includes 12 pieces (= 3 bars × 4 beats) of segment data DS. The segment data DS corresponding to one segment S is a sampling data string (hereinafter referred to as musical sound data) A indicating the sound waveform of the segment S and a numerical value that characterizes the musical properties of the segment S (hereinafter referred to as “feature” F). The feature amount F of the segment data DS in this embodiment is N types (N is a natural number) such as musical energy (intensity), amplitude spectrum centroid, frequency at which the spectrum intensity is maximum, MFCC (Mel-Frequency Cepstrum Coefficient). ).

制御装置10は、再生対象として画定されたループを構成する素片SM(i=1、2・・・:i=1はループの先頭に位置する素片)の楽音データAMを、複数の副楽曲の素片のうち素片SMと音楽的な特徴が類似した素片SSの楽音データASに置き換え、利用者により指定された再生テンポに応じた時間間隔で出力装置30へ順次出力する。ただし、制御装置10は、単に楽音データAMを楽音データASで置き換えて出力するのではなく、素片SSの時間長を利用者により指定された再生テンポに応じた長さに調整したうえで上記置き換えを行う点に特徴がある。これにより、各素片SSの切れ目で無音になったり、リズムのずれが生じたりすることが回避されるのである。そして、出力装置30は、制御装置10から出力される楽音データASに基づいて放音する。例えば、出力装置30は、楽音データASからアナログの信号を生成するD/A変換器と、D/A変換器が出力する信号を増幅する増幅器と、増幅器が出力する信号に応じた音波を出力する放音機器(スピーカやヘッドホン)とを含む。 The control device 10 generates a plurality of pieces of musical sound data AM i of the segments SM i (i = 1, 2,..., I = 1 is a segment located at the head of the loop) constituting a loop defined as a reproduction target. Is replaced with musical tone data AS i of a segment SS i whose musical characteristics are similar to those of the segment SM i and to the output device 30 at time intervals according to the playback tempo specified by the user. Output sequentially. However, the control device 10 does not simply replace the musical tone data AM i with the musical tone data AS i and output it, but adjusts the time length of the segment SS i to a length according to the playback tempo specified by the user. It is characterized in that the above replacement is performed. Accordingly, or become silent at break of each segment SS i, is the deviation of the rhythm is avoided or occur. The output device 30 emits sound based on the musical sound data AS i output from the control device 10. For example, the output device 30 includes a D / A converter that generates an analog signal from the musical sound data AS i , an amplifier that amplifies the signal output from the D / A converter, and a sound wave corresponding to the signal output from the amplifier. Including sound output devices (speakers and headphones).

入力装置40は、利用者が操作する複数の操作子を含む機器(例えばマウスやキーボード)である。利用者は、入力装置40を適宜に操作することで、主楽曲およびループを指定すること、その再生テンポや再生時の音量などを指定すること、および再生時に素片の時間長を調整するか否かを指示することができる。表示装置50は、例えば液晶ディスプレイであり、制御装置10による制御のもと上記各種操作の実行を促す画像を表示する。   The input device 40 is a device (for example, a mouse or a keyboard) including a plurality of operation elements operated by a user. Whether the user operates the input device 40 as appropriate to specify the main song and loop, to specify the playback tempo and volume during playback, and to adjust the duration of the segment during playback You can indicate whether or not. The display device 50 is, for example, a liquid crystal display, and displays images that prompt the execution of the various operations under the control of the control device 10.

次に、制御装置10の具体的な機能について説明する。図1に示すように、制御装置10は、記憶装置20に格納されたプログラムを実行することで複数の機能体(再生指示生成部12,素片読出部14,第1時間軸圧伸部16a,第2時間軸圧伸部16b、データ出力部18)として機能する。各機能体による具体的な処理の内容は以下の通りである。   Next, specific functions of the control device 10 will be described. As illustrated in FIG. 1, the control device 10 executes a program stored in the storage device 20, thereby executing a plurality of functional bodies (a reproduction instruction generating unit 12, a segment reading unit 14, a first time axis companding unit 16 a. , Second time axis companding section 16b, and data output section 18). The details of the processing by each functional unit are as follows.

再生指示生成部12は、再生対象として指定されたループを示す情報および指定された再生テンポに応じて、再生するべき素片を示す情報と再生時における素片の時間長とを含む再生指示を生成する。本実施形態では、再生指示生成部12は、まず、複数の副楽曲の各々に含まれる素片のうち再生対象のループを構成する各素片SMと音楽的な特徴が最も類似する素片を、その素片SMと置き換えて再生する素片SSとして特定する。より詳細に説明すると、再生指示生成部12は、再生対象として指定されたループにおける各素片SMの配列の順番で記憶装置20からその素片SMの特徴量FMを順次読み出し、1つの素片SMの特徴量FMについて、総ての副楽曲における各素片Sの特徴量Fとの類否指標値Rを算定する。この類否指標値Rとしては、例えば、特徴量Fに含まれるN種類の数値を軸とするN次元空間に特徴量FMと特徴量Fの各々に対応した座標を設定したときの各座標間の距離(ユークリッド距離など)の逆数を用いることが考えられる。このようにして算定される類否指標値Rを用いた場合、類否指標値Rが大きい(すなわち特徴量FMと特徴量Fとが近い)ほど音楽的な特徴が類似する。したがって、再生指示生成部12は、素片SMの各々に対して、最も大きな類否指標値Rが算定される素片を素片SSとして特定する。 The reproduction instruction generation unit 12 generates a reproduction instruction including information indicating the element to be reproduced and the time length of the element at the time of reproduction according to the information indicating the loop designated as the reproduction target and the designated reproduction tempo. Generate. In the present embodiment, the reproduction instruction generation unit 12 firstly has an element that is most similar in musical characteristics to each element SM i that constitutes a reproduction target loop among elements included in each of a plurality of sub-music pieces. Is identified as a segment SS i to be reproduced by replacing it with the segment SM i . More specifically, the reproduction instruction generation unit 12 sequentially reads out the feature amounts FM i of the segments SM i from the storage device 20 in the order of arrangement of the segments SM i in the loop designated as the reproduction target. For the feature quantity FM i of one segment SM i , the similarity index value R with the feature quantity F of each segment S in all sub-music pieces is calculated. As the similarity index value R, for example, each coordinate when a coordinate corresponding to each of the feature amount FM i and the feature amount F is set in an N-dimensional space with N types of numerical values included in the feature amount F as axes. It is conceivable to use the reciprocal of the distance between them (such as the Euclidean distance). When the similarity index value R calculated in this way is used, musical features become more similar as the similarity index value R is larger (that is, the feature amount FM i and the feature amount F are closer). Therefore, the reproduction instruction generation unit 12 specifies the segment for which the largest similarity index value R is calculated for each segment SM i as the segment SS i .

次いで、再生指示生成部12は、上記のようにして特定した素片SSの各々について、利用者により指定された再生テンポで再生する際の時間長を算出する。ここで、再生テンポに基づいて各素片SSの時間長を算定する態様としては以下の2つの態様が考えられる。第1に、各素片SSの時間長を再生テンポに応じた一定の時間長とする態様である。具体的には、再生テンポとして1分当たりの拍数をBPMと指定された場合、素片SSの再生時の時間長を60/BPMとする態様である。なお、一拍あたりSPB個の素片がある場合(1つの素片が1/2拍や1/4拍に対応する場合など)には、再生時の素片SSの時間長を60/(BPM×SPB)とすれば良い。これに対して、第2の態様は、素片SSの時間長を、再生対象として指定されたループを上記再生テンポで再生する場合における各素片SMの時間長となるように定める態様である。例えば、上記再生対象のループを含む主楽曲の録音時のテンポがBPMであり、かつ、素片SMの時間長がTSMである場合、再生時の素片SSの時間長をTSM×BPM/BPMとするのである。 Next, the reproduction instruction generation unit 12 calculates a time length for reproducing each segment SS i specified as described above at a reproduction tempo specified by the user. Here, the following two modes are conceivable as modes for calculating the time length of each segment SS i based on the reproduction tempo. First, the time length of each segment SS i is set to a certain time length corresponding to the playback tempo. Specifically, when the number of beats per minute is designated as BPM as the playback tempo, the time length during playback of the segment SS i is 60 / BPM. When there are SPB segments per beat (for example, when one segment corresponds to 1/2 beat or 1/4 beat), the time length of the segment SS i during playback is set to 60 / (BPM × SPB) may be used. On the other hand, in the second mode, the time length of the segment SS i is set to be the time length of each segment SM i when the loop designated as the playback target is played back at the playback tempo. It is. For example, if the tempo at the time of recording of the main music including the loop to be played is BPM 0 and the time length of the segment SM i is TSM i , the time length of the segment SS i at the time of playback is set to TSM. i × BPM 0 / BPM.

そして、再生指示生成部12は、上記のようにして特定した各素片SSiを指定する情報(例えば、記憶装置20における素片SSの記憶位置を示すアドレスなどその素片SSを一意に示す識別子)とその素片SSを再生する際の時間長を指定する情報とを含む再生指示を生成し、素片読出部14に与える。 The reproduction instruction generation unit 12, information specifying each segment SSi identified as described above (e.g., uniquely the segment SS i such as an address indicating the storage location of the segment SS i in the storage device 20 A playback instruction including the information indicating the time length for playing back the segment SS i is generated and given to the segment reading unit 14.

素片読出部14は、再生指示生成部12によって生成された再生指示にしたがって素片SSの波形を示す楽音データASを記憶装置20から順次読出す。このようにして読み出される楽音データASを、利用者により指定された再生テンポに応じた出力タイミングで出力装置30へ順次出力したとしたならば、再生対象として指定されたループの各素片SMiを素片SSで置き換えた楽曲が上記再生テンポで再生されるのである。なお、本実施形態では、再生対象のループを構成する各素片SMと最も類似した特徴量を有する素片を再生指示生成部12に特定させ、その素片の識別子を再生するべき素片を示す情報として用いたが、素片SMの特徴量FMを、再生するべき素片を示す情報として用い、この特徴量FMと最も類似する特徴量を有する素片を読み出す処理を素片読出部14に実行させても良い。ただし、このような態様においては、再生指示生成部12における再生指示の生成の際には、再生するべき素片が一意に特定されないため、再生時の各素片の時間長を算定する態様としては前述した第1の態様を採用しなければならない。 The segment reading unit 14 sequentially reads the musical sound data AS i indicating the waveform of the segment SS i from the storage device 20 in accordance with the playback instruction generated by the playback instruction generating unit 12. If the musical tone data AS i read in this way are sequentially output to the output device 30 at an output timing corresponding to the reproduction tempo designated by the user, each element SMi of the loop designated as the reproduction target is output. The music piece replaced with the segment SS i is played at the playback tempo. In the present embodiment, the element that has the most similar feature amount to each element SM i constituting the reproduction target loop is specified by the reproduction instruction generation unit 12 and the element identifier to be reproduced is to be reproduced. is used as information indicating a characteristic quantity FM i of segment SM i, used as information indicating the segment to be reproduced, based on the process of reading the segment having the characteristic amount most similar to the feature amount FM i You may make the one reading part 14 perform. However, in such an aspect, when the reproduction instruction generation unit 12 generates a reproduction instruction, since the element to be reproduced is not uniquely specified, the time length of each element at the time of reproduction is calculated. Must adopt the first aspect described above.

第1時間軸圧伸部16aと第2時間軸圧伸部16bは、何れも、素片読出部14により記憶装置20から順次読み出される楽音データAS(i=1,2・・・)に時間軸圧伸処理を施し、素片SSの再生時の時間長が再生指示にて指定された時間長となるように時間長の調整を行う。より詳細に説明すると、第1時間軸圧伸部16aは、以下の要領で時間長の調整を行う。すなわち、楽音データASを構成する各サンプリングデータについて自己相関値を算出するなどして素片SSにて周期的に表れる波形を特定し、この波形単位で時間長の伸張または圧縮を行う。例えば、素片SSの時間長の伸張を行う場合には、第1時間軸圧伸部16aは、再生指示にて指定された時間長とその素片SSについての時間軸圧伸処理前の時間長との比(以下、圧伸比率)に応じた分だけ上記波形が繰り返されるように楽音データASにサンプリングデータ列の追加や削除を行う。 The first time axis companding unit 16a and the second time axis companding unit 16b both convert the musical sound data AS i (i = 1, 2,...) Sequentially read from the storage device 20 by the segment reading unit 14. A time axis companding process is performed, and the time length is adjusted so that the time length at the time of reproducing the segment SS i becomes the time length specified by the reproduction instruction. If it demonstrates in detail, the 1st time axis companding part 16a will adjust time length in the following ways. That is, a waveform that periodically appears in the segment SS i is specified by calculating an autocorrelation value for each sampling data constituting the musical tone data AS i , and the time length is expanded or compressed in units of this waveform. For example, when the time length of the segment SS i is extended, the first time axis companding unit 16a performs the time length specified by the reproduction instruction and the time axis companding process for the segment SS i. A sampling data string is added to or deleted from the musical sound data AS i so that the above waveform is repeated by an amount corresponding to the ratio to the time length (hereinafter referred to as the companding ratio).

一方、第2時間軸圧伸部16bは、フェーズボコーダなどを利用したスペクトル領域でのデータ処理により時間長の調整を行う。例えば、素片SSの時間長の伸張を行う場合には、楽音データASを素片SSを構成するフレーム単位に分割し、各フレームにFFTを施してそのフレームのスペクトル分布を求め、圧伸比率に応じた分だけスペクトル分布の内挿を施した後に逆FFTを施すことで、その素片SSの時間長を伸長する。このように第1時間軸圧伸部16aによる時間軸圧伸処理は、FFTおよび逆FFTを含まないため、第2時間軸圧伸部16bにおけるものに比較して演算量が少なく高速であるといった長所があるものの、波形単位でのサンプルの追加等であるため、高音質な処理結果を望めないといった短所がある。以下、本実施形態では、第1時間軸圧伸部16aが実行する時間軸圧伸処理を「リアルタイム時間軸圧伸処理」と呼び、第2時間軸圧伸部16bが実行する時間軸圧伸処理を「オフライン時間軸圧伸処理」と呼ぶ。 On the other hand, the second time axis companding unit 16b adjusts the time length by data processing in the spectral region using a phase vocoder or the like. For example, when the time length of the segment SS i is expanded, the musical sound data AS i is divided into frame units constituting the segment SS i , and each frame is subjected to FFT to obtain a spectrum distribution of the frame, The time length of the segment SS i is extended by performing inverse FFT after interpolating the spectrum distribution by an amount corresponding to the drawing ratio. As described above, the time-axis companding process by the first time-axis companding unit 16a does not include FFT and inverse FFT, so that the calculation amount is small and high-speed compared with that in the second time-axis companding unit 16b. Although there are advantages, there is a disadvantage that high sound quality processing results cannot be expected due to the addition of samples in units of waveforms. Hereinafter, in this embodiment, the time axis companding process performed by the first time axis companding unit 16a is referred to as “real time time axis companding process”, and the time axis companding performed by the second time axis companding unit 16b. The process is called “offline time axis companding process”.

データ出力部18は、素片読出部14によって読み出された楽音データAS(或いは、その楽音データASに時間軸圧伸処理を施して得られる楽音データ)を出力装置30へ出力する。図3は、制御装置10の動作モードの遷移を示す図である。図3に示すように、制御装置10の動作モードには、ノーマルモード、リアルタイム処理モード、切り換え準備モードおよびオフライン処理モードの4つがある。以下、これら4つの動作モードの各々にて制御装置10が実行する処理の内容について説明する。 The data output unit 18 outputs the musical tone data AS i read by the segment reading unit 14 (or musical tone data obtained by subjecting the musical tone data AS i to time axis companding processing) to the output device 30. FIG. 3 is a diagram illustrating transition of the operation mode of the control device 10. As shown in FIG. 3, there are four operation modes of the control device 10: a normal mode, a real-time processing mode, a switching preparation mode, and an offline processing mode. Hereinafter, the content of the process which the control apparatus 10 performs in each of these four operation modes is demonstrated.

(A−1:ノーマルモードにおける処理)
このモードは、時間長の調整を行うことなく、楽音データAMを楽音データASで置き換えて出力するモードである。本実施形態では、入力装置40に対する操作によりループの繰り返し再生が指示されると、制御装置10は、再生指示生成部12による再生指示の生成を行い、このモードの処理を開始する。図4(A)は、ノーマルモードにおける処理の流れを示すフロー図である。図4(A)に示すように、このモードにおいては、まず、再生指示の示す素片の楽音データが素片読出部14によって順次記憶装置20から読み出され、複数のキャッシュメモリのうちの1つ(以下、第1のキャッシュメモリ)に書き込む処理(図4(A):ステップSA100)が実行される。ここで、記憶装置20から読み出した楽音データASを上記第1のキャッシュメモリに蓄積するのは、一般に記憶装置20のデータ読み出し速度は低速であるため、一度記憶装置20から読み出された楽音データASがループの繰り返し再生を行う過程で再度記憶装置20から読み出されるとすると、楽曲のリアルタイム再生に支障が生じる虞があるからである。
(A-1: Processing in normal mode)
This mode is a mode in which the musical sound data AM i is replaced with the musical sound data AS i and output without adjusting the time length. In the present embodiment, when an instruction for repeated playback of a loop is given by an operation on the input device 40, the control device 10 generates a playback instruction by the playback instruction generator 12, and starts processing in this mode. FIG. 4A is a flowchart showing the flow of processing in the normal mode. As shown in FIG. 4A, in this mode, first, the musical tone data of the segment indicated by the reproduction instruction is sequentially read from the storage device 20 by the segment reading unit 14, and one of the plurality of cache memories is read out. (Hereinafter referred to as the first cache memory) (FIG. 4A: step SA100) is executed. Here, the musical sound data AS i read from the storage device 20 is stored in the first cache memory because the data reading speed of the storage device 20 is generally low, and therefore the musical sound data once read from the storage device 20 is stored. This is because, if the data AS i is read from the storage device 20 again in the process of repeatedly playing the loop, there is a possibility that real-time playback of the music may be hindered.

ステップSA110で実行される加工処理では、入力装置40に対する操作に応じて音量の調整やイコライジング、所定の周波数を上回る周波数成分を遮断するなどの各種音響処理が楽音データASに施される。このようにして加工処理が施された楽音データは、第1時間軸圧伸部16aや第2時間軸圧伸部16bによる時間軸圧伸処理を施されることなく、データ出力部18によって再生テンポに応じた時間間隔で出力装置30へ順次出力される(ステップSA120)。 In the processing executed in step SA110, various sound processing such as volume adjustment, equalization, and cutoff of frequency components exceeding a predetermined frequency are performed on the musical sound data AS i in accordance with operations on the input device 40. The musical sound data thus processed is reproduced by the data output unit 18 without being subjected to the time axis companding process by the first time axis companding unit 16a or the second time axis companding unit 16b. The data are sequentially output to the output device 30 at time intervals corresponding to the tempo (step SA120).

以上説明したように、このノーマルモードの処理においては、楽音データASに対して時間長の調整は施されないため、素片SSの時間長は必ずしも再生テンポに応じた長さとなっていない。このため、各素片SSのつなぎ目で無音が生じたり、ループ全体に亘ってのリズムが不自然になるといった不具合が生じ得る。このような不具合が生じた場合、楽曲処理装置100の利用者は、入力装置40を操作して素片の時間長調整の実行を指示することができる。このようにして時間長調整の実行を指示されると、図3に示すように、制御装置10は、その動作モードをリアルタイム処理モードへと切り換える。 As described above, in this normal mode processing, the time length of the musical piece data AS i is not adjusted, so the time length of the segment SS i is not necessarily the length corresponding to the playback tempo. For this reason, there may be a problem that silence occurs at the joint of each segment SS i or the rhythm over the entire loop becomes unnatural. When such a malfunction occurs, the user of the music processing device 100 can operate the input device 40 to instruct execution of the segment time length adjustment. When the execution of the time length adjustment is instructed in this way, as shown in FIG. 3, the control device 10 switches the operation mode to the real-time processing mode.

(A−2:リアルタイム処理モードにおける動作)
このモードは、第1のキャッシュメモリに読み出された楽音データASに対してリアルタイム時間軸圧伸処理(図4では、リアルタイム圧伸処理と表記)を施しつつ出力するモードである。図4(B)は、リアルタイム処理モードにおける処理の流れを示すフロー図である。図4(B)と図4(A)とを比較すれば明らかように、リアルタイム処理モードにおいては、加工処理(ステップSA110)が施された楽音データに対して第1時間軸圧伸部16aによる時間軸圧伸処理(すなわち、リアルタイム圧伸処理:ステップSA115)を施した後に出力(ステップSA120)する点がノーマルモードにおける処理と異なる。
(A-2: Operation in real-time processing mode)
In this mode, the musical sound data AS i read into the first cache memory is output while being subjected to real-time time axis companding processing (indicated as real-time companding processing in FIG. 4). FIG. 4B is a flowchart showing the flow of processing in the real-time processing mode. As apparent from a comparison between FIG. 4B and FIG. 4A, in the real-time processing mode, the first time-axis companding unit 16a applies to the musical sound data subjected to the processing (step SA110). The time axis companding process (that is, real-time companding process: step SA115) is performed and then output (step SA120) is different from the process in the normal mode.

リアルタイム処理モードにて出力装置30へ出力される楽音データASには、その時間長を再生指示の示す時間長とする時間軸圧伸処理が施されている。このため、各素片SSのつなぎ目で無音が生じたり、ループ全体に亘ってのリズムが不自然になることはない。しかしながら、リアルタイム時間軸圧伸処理は、処理速度が高速であるものの、高音質な処理結果は得られない。このため、楽曲処理装置100の利用者は、リアルタイム処理モードにて再生される楽曲の音質に不満を抱く場合がある。このような場合、本実施形態では、入力装置40に対する操作により、リアルタイム時間軸圧伸処理からオフライン時間軸圧伸処理へと切り換えることを指示することができる。そして、このような指示が為される、制御装置10は、図3に示すように、その動作モードを切り換え準備モードへと切り換える。 The musical sound data AS i output to the output device 30 in the real-time processing mode is subjected to a time axis companding process in which the time length is the time length indicated by the reproduction instruction. For this reason, silence does not occur at the joint of each segment SS i , and the rhythm over the entire loop does not become unnatural. However, although the real-time time axis companding process has a high processing speed, a high-quality sound processing result cannot be obtained. For this reason, the user of the music processing apparatus 100 may be dissatisfied with the sound quality of the music played in the real-time processing mode. In such a case, in the present embodiment, it is possible to instruct switching from the real-time time axis companding process to the offline time axis companding process by an operation on the input device 40. Then, the control device 10 to which such an instruction is given switches the operation mode to the switching preparation mode as shown in FIG.

(A−3:切り換え準備モードにおける動作)
このモードは、楽音データASに対する時間軸圧伸処理をリアルタイム時間軸圧伸処理からオフライン時間軸圧伸処理へ切り換える準備を行う動作モードである。本実施形態において、リアルタイム時間軸圧伸処理からオフライン時間軸圧伸処理へ即座に切り換えるのではなく、このような切り換え準備モードを経由する理由は、以下の通りである。すなわち、オフライン時間軸圧伸処理は、リアルタイム時間軸圧伸処理に比較して高音質な処理結果が得られるものの、演算量が多く、その処理速度が低速であるため、リアルタイム時間軸圧伸処理から即座にオフライン時間軸圧伸処理へ切り換えてしまうと、オフライン時間軸圧伸処理が間に合わず、楽曲のリアルタイム再生に支障が生じる虞があるからである。
(A-3: Operation in switching preparation mode)
This mode is an operation mode for preparing to switch the time axis companding process for the musical sound data AS i from the real time time axis companding process to the offline time axis companding process. In the present embodiment, the reason for going through such a switching preparation mode instead of immediately switching from the real-time time axis companding process to the offline time axis companding process is as follows. In other words, the offline time-axis companding process can produce high-quality sound results compared to the real-time time-axis companding process, but the computation amount is large and the processing speed is low. This is because the offline time-axis companding process may not be in time and the real-time reproduction of the music may be hindered if it is immediately switched to the offline time-axis companding process.

図4(C)は、切り換え準備モードにおける処理の流れを示すフロー図である。この切り換え準備モードにおいては、記憶装置20から第1のキャッシュメモリへ読み出した楽音データASに対して加工処理(ステップSA110)およびリアルタイム時間軸圧伸処理(ステップSA115)を施して出力(ステップSA120)する点では、前述したリアルタイム処理モードにおける動作と同一である。しかし、この切り換え準備モードにおいては、これらの処理と並列に、素片読出部14によって記憶装置20から順次読み出される楽音データAS(i=1、2・・・)に対してオフライン時間軸圧伸処理(図4では、オフライン圧伸処理と表記)を施し、その処理結果を上記第1のキャッシュメモリとは異なる第2のキャッシュメモリへ蓄積する(ステップSA200)点が前述したリアルタイム処理モードにおける処理と異なる。そして、制御装置10は、上記第2のキャッシュメモリに充分な数の楽音データ(すなわち、オフライン時間軸圧伸処理済みの楽音データAS)が蓄積されたことを契機として、その動作モードをオフライン処理モードへ切り換える(図3参照)。ここで、第2のキャッシュメモリに蓄積されている楽音データの個数が幾つになったときに、充分な数の楽音データが蓄積されたと判定するのかについては種々の態様が考えられる。例えば、再生指示の示す全ての素片SSに対応する楽音データASが第2のキャッシュメモリに蓄積された場合に充分な数に達したと判定する態様や、第2時間軸圧伸部16bによる処理を開始してから所定時間が経過した場合に、第2のキャッシュメモリに充分な個数の楽音データが蓄積されたと判定する態様などが考えられる。 FIG. 4C is a flowchart showing the flow of processing in the switching preparation mode. In this switching preparation mode, the musical sound data AS i read from the storage device 20 to the first cache memory is subjected to processing (step SA110) and real-time time axis companding processing (step SA115) for output (step SA120). ) Is the same as the operation in the real-time processing mode described above. However, in this switching preparation mode, offline time axis pressure is applied to the musical sound data AS i (i = 1, 2,...) Sequentially read from the storage device 20 by the segment reading unit 14 in parallel with these processes. In the real-time processing mode described above, the expansion processing (in FIG. 4, expressed as offline companding processing) is performed, and the processing result is stored in a second cache memory different from the first cache memory (step SA200). Different from processing. Then, the control device 10 sets the operation mode to offline when a sufficient number of musical tone data (that is, musical tone data AS i subjected to offline time axis companding processing) is stored in the second cache memory. Switch to the processing mode (see FIG. 3). Here, when the number of pieces of musical sound data stored in the second cache memory is reached, various aspects can be considered as to whether it is determined that a sufficient number of musical sound data has been stored. For example, when the musical sound data AS i corresponding to all the segments SS i indicated by the reproduction instruction is stored in the second cache memory, it is determined that a sufficient number has been reached, or the second time axis companding unit There may be considered a mode in which it is determined that a sufficient number of musical sound data has been accumulated in the second cache memory when a predetermined time has elapsed since the start of the processing by 16b.

(A−4:オフライン処理モードにおける動作)
図4(D)は、オフライン処理モードにおける処理の流れを示すフロー図である。このモードにおいては、切り換え準備モードにて第2のキャッシュメモリに蓄積された楽音データAS(すなわち、第2時間軸圧伸部16bによる時間軸圧伸処理が施された楽音データAS)を順次読出し、前述した加工処理(ステップSA110)を施して出力する処理が実行される。例えば、切り換え準備モードからオフライン処理モードへ切り換える直前に、リアルタイム時間軸圧伸処理を施して出力した楽音データが楽音データASである場合には、このオフライン処理モードにおいては楽音データASm+1から順にキャッシュメモリから読み出して出力する処理が実行される。前述したように、オフライン時間軸圧伸処理により時間軸圧伸を施した場合には、リアルタイム時間軸圧伸処理による場合に比較して音質が向上する。
(A-4: Operation in offline processing mode)
FIG. 4D is a flowchart showing the flow of processing in the offline processing mode. In this mode, the switching preparation mode in the second tone data stored in the cache memory AS i (i.e., tone data AS i time scale modification processing according to the second time-axis companded portion 16b is applied) A process of sequentially reading and performing the above-described processing (step SA110) and outputting is executed. For example, when the musical sound data output by performing real-time time axis companding processing immediately before switching from the switching preparation mode to the offline processing mode is the musical sound data AS m , in this offline processing mode, the musical sound data AS m + 1 are sequentially applied. A process of reading from the cache memory and outputting is executed. As described above, when the time axis companding is performed by the off-line time axis companding process, the sound quality is improved as compared with the case of the real time time axis companding process.

以降、オフライン処理モードでの動作中に入力装置40に対する操作によりノーマルモード或いはリアルタイム処理モードへの切り換えが指示されると、制御装置10は、図3にて二点鎖線或いは一点鎖線で示すように、当該指示されたモードに動作モードを切り換える。すなわち、ノーマルモードへの切り換えを指示された場合には、図4(A)に示す処理を実行し、リアルタイム処理モードへの切り換えを指示された場合には、図4(B)に示す処理を実行する。なお、本実施形態では、素片の時間長調整の実行を指示された場合には、まず、リアルタイム処理モードに動作モードを切り換え、その後、オフライン処理への切り換えを指示されたことを契機として、切り換え準備モードを経てオフライン処理モードへ動作モードを切り換えた。しかし、時間長調整の実行を指示された場合に、動作モードを切り換え準備モードへ切り換え、その後、第2のキャッシュに充分な数の楽音データが蓄積されたことを契機として動作モードをオフライン処理モードへ切り換えるようにしても勿論良い。   Thereafter, when switching to the normal mode or the real-time processing mode is instructed by an operation on the input device 40 during the operation in the offline processing mode, the control device 10 indicates the two-dot chain line or the one-dot chain line in FIG. The operation mode is switched to the instructed mode. That is, when the switch to the normal mode is instructed, the process shown in FIG. 4A is executed, and when the switch to the real-time process mode is instructed, the process shown in FIG. 4B is performed. Run. In this embodiment, when instructed to execute the time length adjustment of the segment, first, the operation mode is switched to the real-time processing mode, and then the switching to the offline processing is instructed. The operation mode was switched to the offline processing mode via the switching preparation mode. However, when the execution of the time length adjustment is instructed, the operation mode is switched to the preparation mode, and then the operation mode is set to the offline processing mode when a sufficient number of musical sound data is accumulated in the second cache. Of course, it is possible to switch to.

以上に説明したように、本第1実施形態においては、主楽曲を構成する各素片SMが、複数の副楽曲のうち音楽的な特徴が類似する素片SSに置換される。したがって、利用者が各楽曲の類似性や調和性について熟知していない場合であっても、主楽曲の曲調を損なうことなく聴感上において自然な楽曲を生成することが可能である。また、本第1実施形態では、各楽曲が拍に同期した時点で素片に区分されるとともに、時間軸圧伸処理の実行が指示された後は副楽曲の素片SSが再生テンポに応じた時間長(或いは、その再生テンポで主楽曲を再生する際の各素片SMの時間長)に調整されたうえで上記置き換えが行われる。このため、各素片SSのつなぎ目で無音が生じたり、リズムが不自然になったりするといった不具合が生じることはない。さらに、本実施形態では、リアルタイム時間軸圧伸処理とオフライン時間軸圧伸処理を上記のように切り換えて実行するようにしたため、リアルタイム時間軸圧伸処理のみで時間軸圧伸を行う場合に比較して、高い音質の楽曲が得られ、また、オフライン時間軸圧伸処理のみで時間軸圧伸を行う場合に比較して、時間軸圧伸処理の実行を指示してからその効果が表れるまでの応答時間を短くすることができる。 As described above, in the first embodiment, each segment SM i constituting the main musical piece is replaced with a segment SS i having similar musical characteristics among the plurality of sub-musical pieces. Therefore, even if the user is not familiar with the similarity and harmony of each music piece, it is possible to generate a natural music piece in terms of hearing without impairing the tone of the main music piece. In the first embodiment, each piece of music is divided into pieces at the time of synchronization with the beat, and after the execution of the time axis companding process is instructed, the piece of sub music SS i becomes the playback tempo. The above replacement is performed after adjusting to the corresponding time length (or the time length of each segment SM i when the main music is played at the playback tempo). For this reason, there is no inconvenience that silence occurs at the joint of each segment SS i or the rhythm becomes unnatural. Furthermore, in this embodiment, the real-time time axis companding process and the offline time axis companding process are switched and executed as described above, so that the time axis companding is performed only by the real-time time axis companding process. Compared to when performing time-axis companding only with offline time-axis companding processing, it is possible to obtain the effect after instructing execution of time-based companding processing. The response time can be shortened.

(B:第2実施形態)
上述した第1実施形態では、主楽曲の各素片SMの楽音データAMを、複数の副楽曲の素片のうち素片SMとの類似度が最も高い素片SSの楽音データASに適宜時間軸圧伸を施しつつ置き換えて出力した。しかしながら、このようにして順次出力される楽音データ列AS、ASi+1、ASi+2・・・の各々は、同一の副楽曲にて互いに隣り合っていた素片に対応する楽音データであるとは限らず、素片SS、SSi+1、SSi+2の各々のつなぎ目で音が急変するなどの不具合が起こり得る。
(B: Second embodiment)
In the first embodiment described above, the musical sound data AM i of each element SM i of the main music is the musical sound data of the element SS i having the highest similarity to the element SM i among the elements of the plurality of sub-musical pieces. The AS i was output while being subjected to time axis companding as appropriate. However, each of the musical tone data sequences AS i , AS i + 1 , AS i + 2 ... Sequentially output in this way is musical tone data corresponding to the segments adjacent to each other in the same sub-music. Not limited to this, problems such as a sudden change in sound may occur at the joints of the pieces SS i , SS i + 1 , SS i + 2 .

このような不具合を回避するために、図5(A)に示すように、各素片にその一つ手前の素片との境界を跨いでフェードインする一方、後続の素片との境界を跨いでフェードアウトするエンベロープを付与し、クロスフェードにより各素片のつなぎ目を滑らかにすることが考えられる。このようなエンベロープの付与は、素片読出部14に以下の処理を行わせることで実現することができる。例えば、再生指示の示す素片SSが、ある副楽曲の先頭からn番目の素片Sである場合、その素片Sの波形を表す楽音データAとともに、その副楽曲にて素片Sの一つ手前に位置する素片Sn−1の波形を示す楽音データAn−1と、その副楽曲にて素片Sに後続する素片Sn+1の音波形を表す楽音データAn+1とを読み出す処理を素片読出部14に実行させる。そして、これら3つの楽音データに含まれる各サンプルに対して図5(B)に示す窓関数を乗算し、その乗算結果を上記素片SSの波形を示す楽音データASとして出力する処理を素片読出部14に実行させるのである。 In order to avoid such a problem, as shown in FIG. 5 (A), each unit is faded in across the boundary with the previous unit, while the boundary with the subsequent unit is set. It is conceivable to provide an envelope that fades across and smoothes the joints between the individual pieces by cross-fading. Such provision of an envelope can be realized by causing the segment reading unit 14 to perform the following processing. For example, segment SS i indicated by the reproduction instruction, if the beginning of a sub music is an n-th segment S n, together with tone data A n representing the waveform of the segment S n, containing at its by-song a musical tone data an-1 showing the segment S n-1 of the waveform that is located on one front piece S n, tone data representing the sound waveform segment S n + 1 subsequent to the segment S n at that sub music The unit reading unit 14 is caused to execute a process of reading A n + 1 . Then, a process of multiplying each sample included in these three musical tone data by the window function shown in FIG. 5B and outputting the multiplication result as musical tone data AS i indicating the waveform of the segment SS i is performed. This is executed by the segment reading unit 14.

しかし、本実施形態における各素片は、楽曲を拍に同期した時点で区分することにより得られるものであるため、図5(A)に示すようなエンベロープの付与を行うと、以下のような問題が生じ得る。すなわち、楽曲を拍に同期した時点で区分して得られる素片Sn−1、S、Sn+1・・・の各々には、図5(B)に示すように、その冒頭部分に拍に対応したアタック(例えば、打楽器音のアタック)が含まれている。このため、図5(B)に示す窓関数の乗算により各素片にその前後の素片との境界を跨いでフェードイン、フェードアウトするエンベロープを付与すると、そのフェードアウト部分には後続の素片の冒頭に位置するアタックが含まれることとなる。このようなアタック部分の音が再生されると、各素片の切れ目でリズムに乱れが生じてしまう。 However, since each segment in the present embodiment is obtained by dividing the music at the time of synchronization with the beat, when the envelope as shown in FIG. Problems can arise. That is, each of the segments S n−1 , S n , S n + 1 ... Obtained by segmenting the music at the time of synchronization with the beat has a beat at the beginning as shown in FIG. Is included (for example, percussion instrument attack). For this reason, when an envelope that fades in and fades out across the boundary between the preceding and succeeding segments is given to each segment by multiplication of the window function shown in FIG. The attack located at the beginning will be included. When the sound of such an attack portion is reproduced, the rhythm is disturbed at the break of each segment.

そこで、本実施形態では、図5(C)に示すように素片内にてフェードアウトするエンベロープを付与するとともに、素片の手前(図5(C)では、EAO秒手前)からその素片の冒頭まででフェードインするエンベロープを付与することとした。このような態様によれば、各素片SSのつなぎ目が滑らかになり、そのつなぎ目で音が急変するといった不具合が回避されるとともに、各素片の末尾に不要なアタックが含まれることが回避され、ループ全体に亘ってのリズムに乱れが生じないといった効果を奏する。なお、ループの先頭に位置する素片に対応する楽音データASには、フェードイン部を設ける必要がないことは言うまでもない。また、時間軸圧伸の比率がa倍であり、かつ、ピッチ比をb倍としてループの再生を行う場合には、各素片に対応する楽音データASを本来の再生開始タイミング(エンベロープの付与や時間軸圧伸を行わず、ピッチ比を1倍で再生する場合の再生タイミング)に対して(a×EAO)/b[秒]だけ早くその再生を開始する必要がある。 Therefore, in the present embodiment, as shown in FIG. 5 (C), an envelope that fades out in the unit is given, and the unit is moved from the front of the unit (in front of EAO seconds in FIG. 5 (C)). An envelope that fades in until the beginning is added. According to such an aspect, the problem that the joint of each segment SS i becomes smooth and the sound suddenly changes at the joint is avoided, and an unnecessary attack is avoided at the end of each segment. Thus, there is an effect that the rhythm throughout the loop is not disturbed. It goes without saying that the tone data AS i corresponding to the segment located at the head of the loop need not be provided with a fade-in portion. Further, when the loop reproduction is performed with the time axis companding ratio being a times and the pitch ratio being b times, the musical sound data AS i corresponding to each segment is reproduced as the original reproduction start timing (envelope It is necessary to start the reproduction as early as (a × EAO) / b [seconds] with respect to (reproduction timing when reproduction is performed at a pitch ratio of 1 without applying or time axis companding).

(C:他の実施形態)
以上、本発明の第1および第2実施形態について説明したが、これらの実施形態に以下に述べる変形を加えても勿論良い。
(1)上述した各実施形態では、オフライン処理の実行を指示されてからそのオフライン処理が完了するまでの間は、リアルタイム時間軸圧伸処理を施した楽音データASで楽音データAMを置換し、そのオフライン処理が完了した時点でオフライン時間軸圧伸処理を施した楽音データASによる置き換えに切り換えた。しかし、オフライン処理が完了した時点からの経過時点に応じて混合比RRを0から1まで次第に大きくしつつ、リアルタイム時間軸圧伸処理を施した楽音データASとオフライン時間軸圧伸処理を施した楽音データASとを1−RR:RRの比率でミキシングし、そのミキシング結果で楽音データAMを置き換えるようにしても良い。このような態様によれば、リアルタイム時間軸圧伸処理とオフライン時間軸圧伸処理の変わり目を目立たなくすることができる、といった効果を奏する。
(C: other embodiment)
Although the first and second embodiments of the present invention have been described above, the following modifications may of course be added to these embodiments.
(1) In each of the above-described embodiments, the musical sound data AM i is replaced with the musical sound data AS i subjected to the real-time time axis companding process after the offline processing is instructed until the offline processing is completed. Then, when the offline processing was completed, it was switched to replacement with the musical sound data AS i subjected to offline time axis companding processing. However, while the mixing ratio RR is gradually increased from 0 to 1 according to the elapsed time from the completion of the offline processing, the musical sound data AS i subjected to the real-time time axis companding processing and the offline time axis companding processing are performed. The musical sound data AS i may be mixed at a ratio of 1-RR: RR, and the musical sound data AM i may be replaced by the mixing result. According to such an aspect, there is an effect that the transition between the real time time axis companding process and the offline time axis companding process can be made inconspicuous.

(2)上述した各実施形態では、時間軸圧伸処理を施しつつ、主楽曲を構成する各素片SMの楽音データAMをその素片SMの特徴量FMとの類似度が最も高い特徴量の素片SSの楽音データAMで置き換えたが、両特徴量から算出される類否指標値Rが所定の閾値を超えていない場合には、上記置き換えを行わず、楽音データAMをそのまま出力するようにしても勿論良い。また、素片SMの特徴量FMとの類似度が最も低い特徴量の素片の楽音データで置き換えても勿論良い。このような態様によれば、主楽曲とは曲調が全く異なる新たな楽曲を生成することが可能になる。 (2) In each of the embodiments described above, while performing the time axis companding process, the musical sound data AM i of each element SM i constituting the main musical piece has a similarity to the feature quantity FM i of the element SM i. If the musical piece data AM i of the element SS i having the highest feature quantity is replaced, but the similarity index value R calculated from both feature quantities does not exceed a predetermined threshold value, the above replacement is not performed and the musical tone is not performed. even if the data AM i so as to output as it is of course good. Furthermore, it may of course be replaced with music data of piece of similarity lowest feature quantity of the feature quantity FM i of segment SM i. According to such an aspect, it becomes possible to generate a new music having a completely different tone from the main music.

(3)上述した実施形態では、記憶装置20に記憶されている複数の楽曲のうちの1つを主楽曲とし、この主楽曲から画定されるループ(或いは、主楽曲全体)の各素片を他の楽曲の素片で置き換えて新たな楽曲を生成した。このような態様においては、主楽曲の各素片の特徴量が、再生するべき素片を示す情報の役割を果たすのである。しかし、新たな楽曲の構成要素となる素片(すなわち、再生するべき素片)を利用者に指定させ、これらの素片の各々を時間長の調整を施しつつ利用者により指定された再生テンポで再生する態様であっても勿論良い。このような態様においては、各素片の音波形を示す楽音データのみを記憶装置20に記憶させておけば良い。 (3) In the above-described embodiment, one of a plurality of pieces of music stored in the storage device 20 is set as a main piece, and each piece of a loop (or the whole main piece) defined from the main piece is used. Replaced with another piece of music to create a new song. In such an aspect, the feature quantity of each segment of the main music plays a role of information indicating the segment to be reproduced. However, the user specifies the segments (that is, the segments to be played back) that are constituent elements of the new music, and the playback tempo specified by the user while adjusting the length of each of these segments. Of course, it is also possible to reproduce in the above manner. In such an embodiment, only the musical sound data indicating the sound waveform of each segment may be stored in the storage device 20.

(4)上述した各実施形態では、制御装置10がプログラムを実行することで、時間軸圧伸処理を施しつつ、主楽曲を構成する各素片SMの楽音データAMをその素片SMの特徴量FMとの類似度が最も高い特徴量の素片SSの楽音データAMに置き換えることが実現される構成を例示した。しかし、楽曲処理装置100は、図1の制御装置10と同様の処理を実行するDSPなどのハードウェア(電子回路)によっても実現しても勿論良い。また、図1に示す各機能体(再生指示生成部12、素片読出部14、第1時間軸圧伸部16a、第2時間軸圧伸部16bおよびデータ出力部18)として制御装置10を機能させるプログラムを、例えばCD−ROM(Compact Disk-Read Only memory)などのコンピュータ装置読取可能な記録媒体に書き込んで配布しても良く、また、インターネットなどの電気通信回線経由のダウロードにより配布しても良い。
(4) In each of the above-described embodiments, the control device 10 executes the program to perform the time axis companding process, and to convert the musical tone data AM i of each unit SM i constituting the main musical piece into the unit SM. i similarity between the feature quantity FM i of that replaces the tone data AM i of segments SS i of the highest feature quantity illustrating the configuration to be realized. However, the music processing apparatus 100 may of course be realized by hardware (electronic circuit) such as a DSP that executes the same processing as the control apparatus 10 of FIG. Further, the control device 10 is used as each function body (reproduction instruction generation unit 12, segment reading unit 14, first time axis companding unit 16a, second time axis companding unit 16b, and data output unit 18) shown in FIG. distributing a program to function, for example, CD-ROM (Compact Disk-read Only memory) may be distributed written on a computer device readable recording medium such as, also, by down loading via telecommunication lines such as the Internet You may do it.

この発明の第1実施形態に係る楽曲処理装置100の構成を示す図である。It is a figure which shows the structure of the music processing apparatus 100 which concerns on 1st Embodiment of this invention. 楽曲とループ、および素片の関係を示す概念図である。It is a conceptual diagram which shows the relationship between a music, a loop, and a fragment. 楽曲処理装置100の4つの動作モードのモード間遷移を説明するための図である。6 is a diagram for explaining transition between modes of four operation modes of the music processing apparatus 100. FIG. 上記各動作モードにおける処理の流れを説明するための図である。It is a figure for demonstrating the flow of the process in each said operation mode. 第2実施形態における素片と楽音データとの対応関係を説明するための図である。It is a figure for demonstrating the correspondence of the segment in 2nd Embodiment, and musical tone data. 複数の楽曲の各素片を連結して新たな楽曲を生成する従来技術の問題点を説明するための図である。It is a figure for demonstrating the problem of the prior art which connects each element | segment of a some music and produces | generates a new music.

符号の説明Explanation of symbols

100…楽曲処理装置、10…制御装置、20…記憶装置、30…出力装置、40…入力装置、50…表示装置、S…素片(SM:主楽曲の素片/SS:副楽曲の素片)、A…楽音データ(AM:主楽曲の楽音データ/AS:副楽曲の楽音データ)、F…特徴量(FM:主楽曲の素片の特徴量/FS:副楽曲の素片の特徴量)、R…類否指標値。 100 ... music processing apparatus, 10 ... controller, 20 ... storage device, 30 ... output device, 40 ... input apparatus, 50 ... display unit, S ... segment (SM i: main music piece / SS i: sub music ), A ... musical sound data (AM i : music data of main music / AS i : musical data of sub music), F ... features (FM i : feature values of main music pieces / FS i : sub The feature amount of a piece of music), R ... similarity index value.

Claims (5)

楽曲を区分した各素片の波形を示す楽音データを記憶する記憶手段と、
再生すべき素片を指定する情報と再生時における素片の時間長とを指定する情報とを含む再生指示を生成する再生指示生成手段と、
前記再生指示により指定された素片の楽音データを前記記憶手段から読み出す読出手段と、
前記再生指示に応じて前記記憶手段から読み出された楽音データに対し、前記再生指示により指定された時間長の素片とするための第1の時間軸圧伸処理を施す第1の時間軸圧伸処理手段と、
前記再生指示に応じて前記記憶手段から読み出された楽音データに対し、前記再生指示により指定された時間長の素片とするための時間軸圧伸処理であって、前記第1の時間軸圧伸処理よりも演算量が多く、処理速度が遅い第2の時間軸圧伸処理を施す第2の時間軸圧伸処理手段と、
前記再生指示に応じて、前記第1の時間軸圧伸処理の結果得られる楽音データを出力し、前記第2の時間軸圧伸処理の結果得られた楽音データが充分な数に達したことを契機として、前記第1の時間軸圧伸処理の結果得られる楽音データの代わりに、前記第2の時間軸圧伸処理の結果得られた楽音データを出力するデータ出力手段と、
を有することを特徴とする楽曲処理装置。
Storage means for storing musical sound data indicating the waveform of each segment segmenting the music;
Reproduction instruction generating means for generating a reproduction instruction including information specifying the segment to be reproduced and information specifying the time length of the segment at the time of reproduction;
Reading means for reading out musical tone data of the segment specified by the reproduction instruction from the storage means;
A first time axis that performs a first time axis companding process on the musical sound data read from the storage means in response to the reproduction instruction to make a segment of a time length specified by the reproduction instruction A drawing process means;
A time axis companding process for converting musical tone data read from the storage means in accordance with the reproduction instruction into a segment having a time length specified by the reproduction instruction, the first time axis Second time-axis companding processing means for performing a second time-axis companding process that has a larger amount of computation and a slower processing speed than the companding process;
In response to the reproduction instruction, the musical sound data obtained as a result of the first time axis companding process is output, and the musical sound data obtained as a result of the second time axis companding process has reached a sufficient number. as a trigger, instead of tone data resulting from the said first time scale modification processing, and data output means for outputting the musical sound data obtained as a result of the second time scale modification process,
A music processing apparatus comprising:
前記再生指示生成手段は、再生すべき素片を連ねて得られる楽曲の再生テンポを指定させ、再生時における各素片の時間長を当該再生テンポに応じた一定の時間長とすることを特徴とする請求項1に記載の楽曲処理装置。 The reproduction instruction generation means designates a reproduction tempo of a piece of music obtained by linking pieces to be reproduced, and sets a time length of each piece at the time of reproduction to a certain time length corresponding to the reproduction tempo. The music processing apparatus according to claim 1. 前記再生指示生成手段は、再生すべき素片の各々について再生時における当該素片の時間長を指定することを特徴とする請求項1に記載の楽曲処理装置。   2. The music processing apparatus according to claim 1, wherein the reproduction instruction generating unit designates a time length of each segment to be reproduced at the time of reproduction. 前記読出手段は、前記再生指示に応じて前記記憶手段から読み出す楽音データの各々に、その楽音データの表す素片内でフェードアウトするエンベロープを付与する一方、当該楽音データが他の楽音データに後続して出力される場合には、当該楽音データの表す素片の手前からフェードインするエンベロープを付与することを特徴とする請求項1から3の何れか1に記載の楽曲処理装置。   The reading means gives each tone data read from the storage means in response to the reproduction instruction an envelope that fades out within the segment represented by the tone data, while the tone data follows the other tone data. 4. The music processing apparatus according to claim 1, wherein an envelope that fades in from before the segment represented by the musical sound data is added. コンピュータ装置を、
楽曲を区分した各素片の波形を示す楽音データを記憶する記憶手段と、
再生すべき素片を指定する情報と再生時における素片の時間長とを指定する情報とを含む再生指示を生成する再生指示生成手段と、
前記再生指示により指定された素片の楽音データを前記記憶手段から読み出す読出手段と、
前記再生指示に応じて前記記憶手段から読み出された楽音データに対し、前記再生指示により指定された時間長の素片とするための第1の時間軸圧伸処理を施す第1の時間軸圧伸処理手段と、
前記再生指示に応じて前記記憶手段から読み出された楽音データに対し、前記再生指示により指定された時間長の素片とするための時間軸圧伸処理であって、前記第1の時間軸圧伸処理よりも演算量が多く、処理速度が遅い第2の時間軸圧伸処理を施す第2の時間軸圧伸処理手段と、
前記再生指示に応じて、前記第1の時間軸圧伸処理の結果得られる楽音データを出力し、前記第2の時間軸圧伸処理の結果得られた楽音データが充分な数に達したことを契機として、前記第1の時間軸圧伸処理の結果得られる楽音データの代わりに、前記第2の時間軸圧伸処理の結果得られた楽音データを出力するデータ出力手段、
として機能させることを特徴とするプログラム。
Computer equipment,
Storage means for storing musical sound data indicating the waveform of each segment segmenting the music;
Reproduction instruction generating means for generating a reproduction instruction including information specifying the segment to be reproduced and information specifying the time length of the segment at the time of reproduction;
Reading means for reading out musical tone data of the segment specified by the reproduction instruction from the storage means;
A first time axis that performs a first time axis companding process on the musical sound data read from the storage means in response to the reproduction instruction to make a segment of a time length specified by the reproduction instruction A drawing process means;
A time axis companding process for converting musical tone data read from the storage means in accordance with the reproduction instruction into a segment having a time length specified by the reproduction instruction, the first time axis Second time-axis companding processing means for performing a second time-axis companding process that has a larger amount of computation and a slower processing speed than the companding process;
In response to the reproduction instruction, the musical sound data obtained as a result of the first time axis companding process is output, and the musical sound data obtained as a result of the second time axis companding process has reached a sufficient number. as a trigger, the first instead of the tone data resulting from the time scale modification processing, data output means for outputting the resulting tone data of the second time scale modification process,
A program characterized by functioning as
JP2008287605A 2008-11-10 2008-11-10 Music processing apparatus and program Expired - Fee Related JP5359203B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008287605A JP5359203B2 (en) 2008-11-10 2008-11-10 Music processing apparatus and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008287605A JP5359203B2 (en) 2008-11-10 2008-11-10 Music processing apparatus and program

Publications (2)

Publication Number Publication Date
JP2010113277A JP2010113277A (en) 2010-05-20
JP5359203B2 true JP5359203B2 (en) 2013-12-04

Family

ID=42301854

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008287605A Expired - Fee Related JP5359203B2 (en) 2008-11-10 2008-11-10 Music processing apparatus and program

Country Status (1)

Country Link
JP (1) JP5359203B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016218345A (en) * 2015-05-25 2016-12-22 ヤマハ株式会社 Sound material processor and sound material processing program

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3775319B2 (en) * 2002-03-20 2006-05-17 ヤマハ株式会社 Music waveform time stretching apparatus and method
JP4232815B2 (en) * 2006-11-17 2009-03-04 ヤマハ株式会社 Music processing apparatus and program

Also Published As

Publication number Publication date
JP2010113277A (en) 2010-05-20

Similar Documents

Publication Publication Date Title
JP3744216B2 (en) Waveform forming apparatus and method
JP3399297B2 (en) Electronic musical instrument
JP6191459B2 (en) Automatic performance technology using audio waveform data
US10388290B2 (en) Multifunctional audio signal generation apparatus
US9147388B2 (en) Automatic performance technique using audio waveform data
JP4274152B2 (en) Music synthesizer
JP6019803B2 (en) Automatic performance device and program
JP2010113278A (en) Music processing device and program
JP4802857B2 (en) Musical sound synthesizer and program
JP4561636B2 (en) Musical sound synthesizer and program
JP3008922B2 (en) Music sound generating apparatus and music sound generating method
JP5359203B2 (en) Music processing apparatus and program
JPH11167382A (en) Waveform forming device and method
JP3552675B2 (en) Waveform generation method and apparatus
JP3760714B2 (en) Musical sound control parameter generation method, musical sound control parameter generation device, and recording medium
JP3613191B2 (en) Waveform generation method and apparatus
JP2005037964A (en) Waveform generating apparatus and method
JP3095018B2 (en) Music generator
JP3744247B2 (en) Waveform compression method and waveform generation method
JP3788096B2 (en) Waveform compression method and waveform generation method
JP3876896B2 (en) Waveform generation method and apparatus
JP3862839B2 (en) Waveform compression / decompression device
JP3933162B2 (en) Waveform generation method and apparatus
JP4089712B2 (en) Waveform data generation method, musical sound synthesis method, waveform data generation device, and computer-readable recording medium
JPH10307581A (en) Waveform data compressing device and method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110919

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130212

RD13 Notification of appointment of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7433

Effective date: 20130403

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130408

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20130403

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130806

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130819

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees