JP4207082B2 - REPRODUCTION DEVICE, REPRODUCTION METHOD, AND PROGRAM - Google Patents
REPRODUCTION DEVICE, REPRODUCTION METHOD, AND PROGRAM Download PDFInfo
- Publication number
- JP4207082B2 JP4207082B2 JP2007031101A JP2007031101A JP4207082B2 JP 4207082 B2 JP4207082 B2 JP 4207082B2 JP 2007031101 A JP2007031101 A JP 2007031101A JP 2007031101 A JP2007031101 A JP 2007031101A JP 4207082 B2 JP4207082 B2 JP 4207082B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- music
- indicating
- generation
- timing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Electrophonic Musical Instruments (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
Description
本発明は、オーディオデータの再生に同期して、楽曲の演奏制御に関する情報を含む演奏データの再生を行う装置および方法に関する。 The present invention relates to an apparatus and method for reproducing performance data including information related to music performance control in synchronization with reproduction of audio data.
楽曲を再生するための手段として、音楽ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）などの記憶媒体から音声データを読み出し、読み出された音声データから音声を生成して出力する装置がある。また、楽曲を再生するための他の手段として、ＦＤ（Ｆｌｏｐｐｙ（登録商標） Ｄｉｓｋ）などの記憶媒体から楽曲の演奏制御に関する情報を含むデータを読み出し、読み出されたデータを用いて音源装置の発音を制御することにより自動演奏を行う装置がある。楽曲の演奏制御に関する情報を含むデータとしては、ＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）規格に従って作成されたＭＩＤＩデータがある。 As means for reproducing music, there is an apparatus that reads audio data from a storage medium such as a music CD (Compact Disc) and generates and outputs audio from the read audio data. Further, as another means for reproducing the music, data including information related to performance control of the music is read from a storage medium such as FD (Floppy (registered trademark) Disk), and the read data is used for the sound source device. Some devices perform automatic performance by controlling pronunciation. As data including information related to music performance control, there is MIDI data created according to the MIDI (Musical Instrument Digital Interface) standard.
最近では、音楽ＣＤに記録される音声データの再生に対し、ＭＩＤＩデータによる自動演奏を同期させる方法が提案されている。その中の１つとして、音楽ＣＤに記録されているタイムコードを用いる方法がある（例えば、特許文献１および特許文献２参照）。以下、この方法について説明する。
Recently, a method has been proposed in which automatic performance using MIDI data is synchronized with reproduction of audio data recorded on a music CD. One of them is a method using a time code recorded on a music CD (see, for example,
まず、音楽ＣＤ再生装置により音楽ＣＤの音声データおよびタイムコードが再生される。そして、音声データは音として出力され、タイムコードは記録装置に供給される。ここで、タイムコードは、あるまとまった単位の音声データに対応付けられたデータであり、各タイムコードは、楽曲の開始時点から当該タイムコードに対応した音声データの再生タイミングまでの経過時間を表している。また、音楽ＣＤの再生に合わせて、楽器の演奏が行われ、楽器から記録装置にＭＩＤＩデータが順次供給される。記録装置は、楽器からＭＩＤＩデータを受け取ると、ＭＩＤＩデータをその受信のタイミングを示す時間情報とともに記録媒体に記録する。また、記録装置は、タイムコードを音楽ＣＤ再生装置から受け取ると、これをその受信タイミングを示す時間情報とともに記録媒体に記録する。その結果、記録媒体には、タイムコードとＭＩＤＩデータとが混在したファイルが作成される。このファイルにおいて、各タイムコードとＭＩＤＩデータは、楽曲再生開始時刻から各々の再生時刻までの経過時間を表す時間情報を伴っている。 First, audio data and a time code of a music CD are reproduced by the music CD reproducing device. The audio data is output as sound, and the time code is supplied to the recording device. Here, the time code is data associated with a certain unit of audio data, and each time code represents an elapsed time from the start of the music to the reproduction timing of the audio data corresponding to the time code. ing. The musical instrument is played in accordance with the reproduction of the music CD, and MIDI data is sequentially supplied from the musical instrument to the recording device. When the recording device receives the MIDI data from the musical instrument, the recording device records the MIDI data on a recording medium together with time information indicating the reception timing. Further, when the recording device receives the time code from the music CD reproducing device, the recording device records it on the recording medium together with time information indicating the reception timing. As a result, a file in which time code and MIDI data are mixed is created on the recording medium. In this file, each time code and MIDI data is accompanied by time information indicating the elapsed time from the music playback start time to each playback time.
このようにしてＭＩＤＩデータおよびタイムコードが記録媒体に記録されると、以後、同一楽曲の音声データが音楽ＣＤから再生されるとき、これに同期させて記録媒体からＭＩＤＩデータを読み出し、自動演奏を行うことができる。その動作は次の通りである。 When the MIDI data and the time code are recorded on the recording medium in this way, when the audio data of the same music is subsequently reproduced from the music CD, the MIDI data is read from the recording medium in synchronism with this and the automatic performance is performed. It can be carried out. The operation is as follows.
まず、音楽ＣＤ再生装置により音楽ＣＤから音声データとタイムコードが再生される。そして、音声データは、音として出力され、タイムコードはＭＩＤＩデータの再生装置に供給される。それと同時に再生装置は、ファイルに記録されているＭＩＤＩデータを、ともに記録されている時間情報に従って読み出し、ＭＩＤＩデータによる自動演奏が可能な楽器に順次送信する。その際、再生装置は音楽ＣＤ再生装置から受信するタイムコードと、ＭＩＤＩデータとともにファイルから読み出されるタイムコードとに基づき、音楽ＣＤの音声データの再生とＭＩＤＩデータの再生の時間的ずれを調整する。その結果、音楽ＣＤの音声データとＭＩＤＩデータの同期再生が実現される。 First, audio data and time code are reproduced from the music CD by the music CD reproducing device. The audio data is output as sound, and the time code is supplied to a MIDI data reproducing apparatus. At the same time, the playback device reads the MIDI data recorded in the file in accordance with the time information recorded together and sequentially transmits it to the musical instrument capable of automatic performance using the MIDI data. At that time, the playback device adjusts the time lag between the playback of the audio data of the music CD and the playback of the MIDI data based on the time code received from the music CD playback device and the time code read from the file together with the MIDI data. As a result, the synchronized playback of the audio data of the music CD and the MIDI data is realized.
しかしながら、同じ楽曲であっても異なるタイムコードが付された音楽ＣＤに関しては、音楽ＣＤのタイムコードを用いる方法により、音楽ＣＤの音声データとＭＩＤＩデータの同期再生を実現することはできない。 However, for music CDs with different time codes even for the same music, synchronized playback of audio data and MIDI data of the music CD cannot be realized by a method using the time code of the music CD.
現在、同じ楽曲について、異なる版の音楽ＣＤが数多くある。音楽ＣＤには通常、楽曲のマスタデータに対しリバーブ等の音響効果を加えるなどの編集が施された音声データが記録されている。そのような異なる版の音楽ＣＤにおいては、楽曲の開始までのオフセット時間が異なる場合がある。また、編集後の音声データを記録する際に用いられるクロックの速度はマスタデータが記録された際に用いられたクロックの速度と厳密に一致しない場合がある。その結果、異なる編集の施された音声データを記録する、異なる版の音楽ＣＤには、わずかに時間間隔の異なるタイムコードが付されている場合がある。そのような場合において、従来のタイムコードを用いる技術により作成された同期演奏用のＭＩＤＩデータを、同じ楽曲の異なる版の音楽ＣＤに対し用いると、楽曲の先頭において音楽ＣＤの楽曲とＭＩＤＩデータによる演奏がずれたり、楽曲の先頭では音楽ＣＤの楽曲とＭＩＤＩデータによる演奏の同期がとれていても、時間の経過に伴い、徐々に音楽ＣＤの楽曲とＭＩＤＩデータによる演奏がずれてきたりする。 Currently, there are many different versions of music CDs for the same song. Music CDs usually store audio data that has been edited such as adding reverberation or other acoustic effects to the master data of the music. In such different versions of music CDs, the offset time until the beginning of the music may be different. Also, the clock speed used when recording the edited audio data may not exactly match the clock speed used when the master data is recorded. As a result, time codes having slightly different time intervals may be attached to different versions of music CDs that record differently edited audio data. In such a case, if MIDI data for synchronized performance created by a technique using a conventional time code is used for a music CD of a different version of the same music piece, the music CD and the MIDI data are used at the beginning of the music piece. Even if the performance is out of sync or the performance of the music CD and the MIDI data is synchronized at the beginning of the music, the music CD and the performance of the MIDI data are gradually shifted over time.
従って、従来のタイムコードを用いる技術によれば、同じ楽曲の音声データを記録する音楽ＣＤであっても、それぞれの音楽ＣＤの版に対して付されているタイムコードの時間間隔のバリエーションに応じて、異なる同期演奏用のＭＩＤＩデータを準備しなければならないという問題があった。 Therefore, according to the conventional technology using time codes, even for music CDs that record audio data of the same music, according to variations in time intervals of time codes attached to the respective music CD versions. Therefore, there is a problem that MIDI data for different synchronized performances must be prepared.
上述した状況に鑑み、本発明は、同じ楽曲の音声データであっても、記録時に用いられたクロックの速度が互いに異なる等の理由により互いに異なる時間間隔で記録された複数の版の音声データに対し、同期再生が可能なＭＩＤＩデータ等の演奏データの記録装置、再生装置、記録方法、再生方法、およびプログラムを提供することを目的とする。 In view of the above-described situation, the present invention can be applied to a plurality of versions of audio data recorded at different time intervals because of different clock speeds used for recording, even if the audio data is the same music. On the other hand, an object of the present invention is to provide a recording device, a reproducing device, a recording method, a reproducing method, and a program for performance data such as MIDI data that can be synchronized and reproduced.
以上説明した課題を解決するため、本発明は、楽曲の音声波形を示す音声データを受信する第１受信手段と、演奏の制御を指示する制御データを受信する第２受信手段と、前記音声データの所定期間の変化傾向を示す第１指標を生成する第１生成手段と、前記音声データの前記所定期間より長い期間の変化傾向を示す第２指標を生成する第２生成手段と、前記制御データと前記制御データの受信タイミングを示す第１時間データとからなる演奏データを記録するとともに、前記第１指標と前記第２指標とを比較して、前記音声データの急激な変化を検出し、前記急激な変化のタイミングを示す第２時間データを記録する記録手段と、を備えることを特徴とする記録装置を提供する。 In order to solve the problems described above, the present invention provides first receiving means for receiving sound data indicating a sound waveform of music, second receiving means for receiving control data for instructing performance control, and the sound data. First generation means for generating a first index indicating a change tendency of a predetermined period of time, second generation means for generating a second index indicating a change tendency of the audio data for a period longer than the predetermined period, and the control data And the first time data indicating the reception timing of the control data are recorded, and the first index and the second index are compared to detect a sudden change in the audio data, There is provided a recording apparatus comprising: recording means for recording second time data indicating the timing of abrupt change.
また、本発明は、演奏の制御を指示する制御データおよび該演奏の制御の実行タイミングを指示する第１時間データからなる演奏データと、音声波形の急激な変化のタイミングを示す第２時間データとを受信する第１受信手段と、楽曲の音声波形を示す音声データを受信する第２受信手段と、前記音声データの所定期間の変化傾向を示す第１指標を生成する第１生成手段と、前記音声データの前記所定期間より長い期間の変化傾向を示す第２指標を生成する第２生成手段と、前記第１指標と前記第２指標とを比較して、前記音声データの急激な変化を検出し、前記急激な変化のタイミングを示す第３時間データを生成する第３生成手段と、前記第２時間データおよび前記第３時間データの示す時間情報に基づき、前記第１時間データを調整する調整手段と、前記調整手段により調整された前記第１時間データに従うタイミングで、前記制御データの送信を行う送信手段とを備えることを特徴とする再生装置を提供する。 The present invention also provides performance data comprising control data for instructing performance control and first time data for instructing execution timing of the performance control, and second time data indicating the timing of a sudden change in the sound waveform; First receiving means for receiving the sound, second receiving means for receiving the sound data indicating the sound waveform of the music, first generating means for generating a first index indicating a change tendency of the sound data over a predetermined period, The second generation means for generating a second index indicating a change tendency of the audio data for a period longer than the predetermined period is compared with the first index and the second index to detect a sudden change in the audio data. And adjusting the first time data on the basis of the second time data and the time information indicated by the third time data, the third generating means for generating the third time data indicating the timing of the rapid change. And adjusting means, at a timing according to the first hour data adjusted by said adjustment means, to provide a reproducing apparatus, characterized in that it comprises a transmission unit that transmits the control data.
また、本発明は、楽曲の音声波形を示す音声データを受信する第１受信過程と、演奏の制御を指示する制御データを受信する第２受信過程と、前記音声データの所定期間の変化傾向を示す第１指標を生成する第１生成過程と、前記音声データの前記所定期間より長い期間の変化傾向を示す第２指標を生成する第２生成過程と、前記制御データと前記制御データの受信タイミングを示す第１時間データとからなる演奏データを記録するとともに、前記第１指標と前記第２指標とを比較して、前記音声データの急激な変化を検出し、前記急激な変化のタイミングを示す第２時間データを記録する記録過程とを備えることを特徴とする記録方法を提供する。 Further, the present invention relates to a first reception process for receiving audio data indicating the audio waveform of a song, a second reception process for receiving control data for instructing performance control, and a change tendency of the audio data over a predetermined period. A first generation process for generating a first index to be shown, a second generation process for generating a second index indicating a change tendency of the audio data over a period longer than the predetermined period, and reception timing of the control data and the control data The performance data including the first time data indicating the first time data is recorded, the first index is compared with the second index, a sudden change in the audio data is detected, and the timing of the sudden change is indicated. And a recording process for recording the second time data.
また、本発明は、演奏の制御を指示する制御データおよび該演奏の制御の実行タイミングを指示する第１時間データからなる演奏データと、音声波形の急激な変化のタイミングを示す第２時間データとを受信する第１受信過程と、楽曲の音声波形を示す音声データを受信する第２受信過程と、前記音声データの所定期間の変化傾向を示す第１指標を生成する第１生成過程と、前記音声データの前記所定期間より長い期間の変化傾向を示す第２指標を生成する第２生成過程と、前記第１指標と前記第２指標とを比較して、前記音声データの急激な変化を検出し、前記急激な変化のタイミングを示す第３時間データを生成する第３生成過程と、前記第２時間データおよび前記第３時間データの示す時間情報に基づき、前記第１時間データを調整する調整過程と、前記調整手段により調整された前記第１時間データに従うタイミングで、前記制御データの送信を行う送信過程とを備えることを特徴とする再生方法を提供する。 The present invention also provides performance data comprising control data for instructing performance control and first time data for instructing execution timing of the performance control, and second time data indicating the timing of a sudden change in the sound waveform; A first reception process for receiving a sound, a second reception process for receiving sound data indicating a sound waveform of a song, a first generation process for generating a first index indicating a change tendency of the sound data over a predetermined period, and A second generation process for generating a second index indicating a change tendency of audio data over a period longer than the predetermined period is compared with the first index and the second index, and a sudden change in the audio data is detected. And adjusting the first time data based on a third generation process for generating third time data indicating the timing of the sudden change, and time information indicated by the second time data and the third time data. And adjustment process, the timing according to the adjusted first hour data by adjusting means, to provide a reproducing method characterized by comprising a transmission process for transmitting the control data.
また、本発明は、これらの記録方法および再生方法を用いる処理をコンピュータに実行させるプログラムを提供する。 The present invention also provides a program for causing a computer to execute processing using these recording methods and reproducing methods.
また、本発明は、演奏の制御を指示する制御データおよび該演奏の制御の実行タイミングを指示する第１時間データからなる演奏データと、音声波形の急激な変化のタイミングを示す第２時間データが記録された記録媒体を提供する。 The present invention also includes performance data comprising control data for instructing performance control, first time data for instructing execution timing of the performance control, and second time data indicating the timing of abrupt change in the sound waveform. A recorded recording medium is provided.
かかる構成による装置、方法、プログラム、および記録媒体を用いると、演奏データの記録時と再生時のそれぞれにおいて、楽曲の音声波形が急激に変化するタイミングで時間調整用の時間データが生成され、記録時に生成された時間データと、再生時に生成される時間データとの比較により、制御データの送信タイミングが調整される。その結果、音声データと制御データとの同期再生が実現される。 When the apparatus, method, program, and recording medium having such a configuration are used, time data for time adjustment is generated and recorded at the timing when the sound waveform of the music changes suddenly at the time of recording and playback of the performance data. The transmission timing of the control data is adjusted by comparing the time data generated sometimes and the time data generated during reproduction. As a result, synchronized reproduction of audio data and control data is realized.
また、本発明にかかる記録装置は、前記音声データの再生タイミングを示すタイムコードを受信する第３受信手段を備え、前記記録手段は、前記タイムコードが示す時間情報に基づいて、前記第１時間データおよび前記第２時間データを生成する構成としてもよい。
また、本発明にかかる再生装置は、前記音声データの再生タイミングを示すタイムコードを受信する第３受信手段を備え、前記第３生成手段は、前記タイムコードが示す時間情報に基づいて前記第３時間データを生成し、前記送信手段は、前記タイムコードが示す時間情報に基づいて前記制御データの送信を行う構成としてもよい。
The recording apparatus according to the present invention further includes third receiving means for receiving a time code indicating the reproduction timing of the audio data, and the recording means is configured to receive the first time based on time information indicated by the time code. The data and the second time data may be generated.
The playback apparatus according to the present invention further includes third receiving means for receiving a time code indicating the playback timing of the audio data, and the third generating means is configured to receive the third code based on time information indicated by the time code. Time data may be generated, and the transmission unit may transmit the control data based on time information indicated by the time code.
かかる構成による記録装置および再生装置を用いると、再生速度にバイアスを持つ再生装置により再生される音声データに対しても、タイムコードに従った計時が行われるため、制御データの同期再生が正しく行われる。 When the recording device and the playback device having such a configuration are used, the time data according to the time code is also measured for the audio data played back by the playback device having a bias in the playback speed. Is called.
また、本発明にかかる記録装置において、前記第１生成手段は、前記音声データが表す音声波形に対し、第１周波数以下の周波数帯の成分を取り出すフィルタ処理を施すことにより、前記第１指標を生成し、前記第２生成手段は、前記音声データが表す音声波形に対し、前記第１周波数よりも低い第２周波数以下の周波数帯の成分を取り出すフィルタ処理を施すことにより、前記第２指標を生成する構成としてもよい。
また、本発明にかかる再生装置において、前記第１生成手段は前記音声データが表す音声波形に対し、第１周波数以下の周波数帯の成分を取り出すフィルタ処理を施すことにより、前記第１指標を生成し、前記第２生成手段は前記音声データが表す音声波形に対し、前記第１周波数よりも低い第２周波数以下の周波数帯の成分を取り出すフィルタ処理を施すことにより、前記第２指標を生成する構成としてもよい。
Further, in the recording apparatus according to the present invention, the first generation unit performs a filtering process for extracting a component in a frequency band equal to or lower than a first frequency on the voice waveform represented by the voice data, thereby obtaining the first index. And the second generation means performs a filtering process to extract a component of a frequency band equal to or lower than a second frequency lower than the first frequency, on the voice waveform represented by the voice data, thereby obtaining the second index. It is good also as composition to generate.
In the playback apparatus according to the present invention, the first generation unit generates the first index by performing a filtering process for extracting a component in a frequency band equal to or lower than the first frequency on the voice waveform represented by the voice data. Then, the second generation means generates the second index by performing a filtering process for extracting a component in a frequency band equal to or lower than the second frequency lower than the first frequency with respect to the voice waveform represented by the voice data. It is good also as a structure.
かかる構成による記録装置および再生装置を用いると、好適な時間間隔および精度を有する時間調整用の時間データが得られる。 When the recording apparatus and reproducing apparatus having such a configuration are used, time data for time adjustment having a suitable time interval and accuracy can be obtained.
また、本発明にかかる記録装置において、前記記録手段は、前記急激な変化を検出したタイミングから前記音声データにおける過去の一定期間に急激な変化が検出されていない場合にのみ、前記第２時間データを記録する構成としてもよい。
また、本発明にかかる再生装置において、前記第３生成手段は、前記急激な変化を検出したタイミングから前記音声データにおける過去の一定期間に急激な変化が検出されていない場合にのみ、前記第３時間データを生成する構成としてもよい。
Further, in the recording apparatus according to the present invention, the recording means is arranged such that the second time data only when a sudden change is not detected in a certain period in the past from the timing at which the sudden change is detected. May be recorded.
Further, in the playback apparatus according to the present invention, the third generation means is configured so that the third generation means is provided only when a sudden change is not detected in the audio data for a certain period in the past from the timing when the sudden change is detected. It is good also as a structure which produces | generates time data.
かかる構成による記録装置および再生装置を用いると、音声波形が頻繁に急激な変化を示す場合であっても、時間調整用の時間データの時間間隔が適度に保たれ、隣接する時間データ間における混同を生じない。 When the recording device and the playback device having such a configuration are used, even when the voice waveform frequently shows abrupt changes, the time interval of the time data for time adjustment is kept moderate, and confusion between adjacent time data is obtained. Does not occur.
また、本発明にかかる再生装置において、前記調整手段は、前記第２時間データと前記第３時間データとに対し回帰分析を行うことにより得られる回帰直線もしくは回帰曲線が示す値に基づき、前記演奏データの再生タイミングを調整する構成としてもよい。 Further, in the playback device according to the present invention, the adjusting means may perform the performance based on a value indicated by a regression line or a regression curve obtained by performing regression analysis on the second time data and the third time data. A configuration may be employed in which the data reproduction timing is adjusted.
かかる構成による再生装置を用いると、時間調整用の時間データにおける誤差が全体として調整されるため、同期再生における制御データの送信タイミングの精度が高まる。 When the reproduction apparatus having such a configuration is used, the error in the time data for time adjustment is adjusted as a whole, so that the accuracy of the transmission timing of the control data in the synchronous reproduction is increased.
以上示したように、本発明によれば、異なる周波数のクロックに基づいて記録された等の理由により、同じ楽曲であってもわずかに異なる速度で再生される、異なる版の音声データのいずれに対しても、正しいタイミングで演奏データの同期再生を行うことができる。従って、同じ楽曲の異なる版に対し異なる演奏データを準備する必要がなく、データの作成および管理が簡便化される。 As described above, according to the present invention, any one of different versions of audio data that is reproduced at a slightly different speed even if the same music is recorded due to reasons such as being recorded based on clocks of different frequencies. On the other hand, the performance data can be synchronously reproduced at the correct timing. Therefore, it is not necessary to prepare different performance data for different versions of the same music piece, and the creation and management of data is simplified.
［１］第１実施形態
［１．１］構成、機能、およびデータフォーマット
［１．１．１］全体構成
図１は、本発明の第１実施形態に係る同期記録再生装置ＳＳの構成を示す図である。同期記録再生装置ＳＳは、音楽ＣＤドライブ１、ＦＤドライブ２、自動演奏ピアノ部３、発音部４、操作表示部５およびコントローラ部６により構成されている。
[1] First Embodiment [1.1] Configuration, Function, and Data Format [1.1.1] Overall Configuration FIG. 1 shows the configuration of a synchronous recording / reproducing apparatus SS according to the first embodiment of the present invention. FIG. The synchronous recording / reproducing apparatus SS includes a
音楽ＣＤドライブ１、ＦＤドライブ２、自動演奏ピアノ部３、発音部４および操作表示部５はそれぞれ通信線によりコントローラ部６と接続されている。また、自動演奏ピアノ部３と発音部４は、通信線により直接接続されている。
The
［１．１．２］音楽ＣＤドライブ
音楽ＣＤに記録されているオーディオデータは、音声情報を示す音声データと、音声データの再生のタイミングを示すタイムコードを含んでいる。音楽ＣＤドライブ１は、コントローラ部６からの指示に従って、装填された音楽ＣＤからオーディオデータを読み出し、読み出したオーディオデータに含まれる音声データを順次出力する装置である。音楽ＣＤドライブ１は通信線により、コントローラ部６の通信インタフェース６５と接続されている。
[1.1.2] Music CD Drive The audio data recorded on the music CD includes audio data indicating audio information and a time code indicating the reproduction timing of the audio data. The
音楽ＣＤドライブ１から出力される音声データは、サンプリング周波数４４１００Ｈｚ、量子化ビット数１６の左右２チャンネルからなるデジタル音声データである。なお、音楽ＣＤドライブ１から出力されるデータには、タイムコードは含まれていない。音楽ＣＤドライブ１の構成は、音声データをデジタル出力可能な一般的な音楽ＣＤドライブと同様であるため、その説明は省略する。
The audio data output from the
［１．１．３］ＦＤドライブ
ＦＤドライブ２は、ＳＭＦ（Ｓｔａｎｄａｒｄ ＭＩＤＩ Ｆｉｌｅ）をＦＤに記録し、またＦＤに記録されているＳＭＦを読み取り、読み取ったＳＭＦを送信する装置である。ＦＤドライブ２は通信線により、コントローラ部６の通信インタフェース６５と接続されている。なお、ＦＤドライブ２の構成は、一般的なＦＤドライブと同様であるため、その説明は省略する。
[1.1.3] FD Drive The FD drive 2 is a device that records SMF (Standard MIDI File) on the FD, reads the SMF recorded on the FD, and transmits the read SMF. The FD drive 2 is connected to the
［１．１．４］ＭＩＤＩイベントおよびＳＭＦ
ＳＭＦは、ＭＩＤＩ規格に従った演奏制御データであるＭＩＤＩイベントと、各ＭＩＤＩイベントの実行タイミングを示すデータであるデルタタイムを含むファイルである。図２および図３を用いて、ＭＩＤＩイベントおよびＳＭＦのフォーマットを説明する。
[1.1.4] MIDI events and SMF
The SMF is a file including a MIDI event that is performance control data according to the MIDI standard, and a delta time that is data indicating the execution timing of each MIDI event. The MIDI event and SMF format will be described with reference to FIGS.
図２にはＭＩＤＩイベントの例として、ノートオンイベント、ノートオフイベント、およびシステムエクスクルーシブイベントが示されている。ノートオンイベントは楽音の発音を指示するためのＭＩＤＩイベントで、発音を示す９ｎＨ（ｎはチャンネル番号、Ｈは１６進数を示す、以下同様）、音高を示すノートナンバ、および発音の強さ（もしくは打鍵の速さ）を示すベロシティから成る。同様に、ノートオフイベントは楽音の消音を指示するためのＭＩＤＩイベントで、消音を示す８ｎＨ、音高を示すノートナンバ、および消音時の強さ（もしくは鍵を離す速さ）を示すベロシティから成る。一方、システムエクスクルーシブイベントは製品やソフトウェアの製造者が自由に定めるフォーマットのデータを送受信もしくは記録するためのＭＩＤＩイベントで、システムエクスクルーシブイベントの開始を示すＦ０Ｈ、データ長、データ、およびシステムエクスクルーシブイベントの終了を示すＦ７Ｈから成る。このように、ＭＩＤＩイベントは時間情報を持たず、リアルタイムに楽音の発音、消音、およびその他の制御を行う目的で利用される。 FIG. 2 shows a note-on event, a note-off event, and a system exclusive event as examples of the MIDI event. The note-on event is a MIDI event for instructing the pronunciation of a musical sound. The note-on event is 9 nH (n is a channel number, H is a hexadecimal number, and so on), the note number is a pitch, and the strength of the sound ( Or velocity indicating the speed of keystroke). Similarly, the note-off event is a MIDI event for instructing the muting of a musical sound, and is composed of 8nH indicating muting, a note number indicating pitch, and a velocity indicating the strength at the time of muting (or the speed at which the key is released). . On the other hand, the system exclusive event is a MIDI event for transmitting / receiving or recording data in a format freely determined by the manufacturer of the product or software. F0H indicating the start of the system exclusive event, data length, data, and the end of the system exclusive event It consists of F7H which shows. As described above, the MIDI event does not have time information and is used for the purpose of performing tone generation, muting, and other control in real time.
図３にはＳＭＦのフォーマットの概略が示されている。ＳＭＦはヘッダチャンクとトラックチャンクから成る。ヘッダチャンクには、トラックチャンクに含まれるデータのフォーマットや時間単位等に関する制御データが含まれている。トラックチャンクには、ＭＩＤＩイベントと、各ＭＩＤＩイベントの実行タイミングを示すデルタタイムが含まれている。 FIG. 3 shows an outline of the SMF format. The SMF consists of a header chunk and a track chunk. The header chunk includes control data related to the format and time unit of data included in the track chunk. The track chunk includes a MIDI event and a delta time indicating the execution timing of each MIDI event.
ＳＭＦにおいて、デルタタイムとしては、直前のＭＩＤＩイベントに対する相対的な時間をクロックと呼ばれる時間単位で表現する方法と、楽曲の先頭の時点からの絶対的な時間を時間、分、秒およびフレームと呼ばれる時間単位の組み合わせで表現する方法がある。以下の説明においては、説明を容易にするため、デルタタイムは、基準となる時点からの絶対的な時間とし、その単位を秒で表すこととする。
なお、本明細書においては、ＭＩＤＩデータとはＭＩＤＩ規格に従って作成されるデータの総称である。
In SMF, the delta time is a method of expressing the relative time for the immediately preceding MIDI event in units of time called a clock, and the absolute time from the beginning of the music is called hours, minutes, seconds and frames. There is a method of expressing by a combination of time units. In the following description, for ease of explanation, the delta time is an absolute time from the reference time point, and its unit is expressed in seconds.
In this specification, MIDI data is a generic name for data created in accordance with the MIDI standard.
［１．１．５］自動演奏ピアノ部
自動演奏ピアノ部３は、同期記録再生装置ＳＳのユーザによる鍵操作およびペダル操作に応じて、音響的なピアノ音および電子的な楽音合成によるピアノ音を出力する楽音発生装置である。また、自動演奏ピアノ部３はユーザによる鍵操作およびペダル操作に応じてＭＩＤＩイベントを生成し、生成したＭＩＤＩイベントを送信する。さらに、自動演奏ピアノ部３はＭＩＤＩイベントを受信して、受信したＭＩＤＩイベントに応じて、音響的なピアノ音および電子的な楽音合成によるピアノ音による自動演奏を行う。
[1.1.5] Automatic Performance Piano Unit The automatic
自動演奏ピアノ部３は、ピアノ３１、キーセンサ３２と、ペダルセンサ３３、ＭＩＤＩイベント制御回路３４、音源３５、および駆動部３６から構成されている。
The automatic
キーセンサ３２およびペダルセンサ３３は、それぞれピアノ３１の複数の鍵および複数のペダルの各々に配設され、それぞれ鍵およびペダルの位置を検出する。キーセンサ３２およびペダルセンサ３３は、検出された位置情報を、それぞれの鍵およびペダルに対応した識別番号と検出の時間情報と共に、ＭＩＤＩイベント制御回路３４に送信する。
The
ＭＩＤＩイベント制御回路３４は、キーセンサ３２およびペダルセンサ３３から、それぞれの鍵およびペダルの位置情報を、鍵およびペダルの識別情報、および時間情報と共に受信し、これらの情報から即時にノートオンイベントやノートオフイベント等のＭＩＤＩイベントを生成し、生成したＭＩＤＩイベントをコントローラ部６および音源３５に出力する回路である。さらに、ＭＩＤＩイベント制御回路３４は、コントローラ部６からＭＩＤＩイベントを受信し、受信したＭＩＤＩイベントを音源３５もしくは駆動部３６に転送する機能も持つ。なお、ＭＩＤＩイベント制御回路３４が、コントローラ部６から受信するＭＩＤＩイベントを音源３５と駆動部３６のいずれに転送するかは、コントローラ部６の指示による。
The MIDI
音源３５は、ＭＩＤＩイベント制御回路３４からＭＩＤＩイベントを受信し、受信したＭＩＤＩイベントに基づいて、各種楽器の音情報を左右２チャンネルのデジタル音声データとして出力する装置である。音源３５は受信したＭＩＤＩイベントによって指示された音高のデジタル音声データを電子的に合成し、発音部４のミキサ４１に送信する。
The
駆動部３６は、ピアノ３１の各鍵および各ペダルに配設され、それらを駆動するソレノイド群およびそれらのソレノイド群を制御する制御回路から構成される。駆動部３６の制御回路は、ＭＩＤＩイベント制御回路からＭＩＤＩイベントを受信すると、対応する鍵もしくはペダルに配設されたソレノイドへ供給する電流量を調節し、ソレノイドが発生する磁力を制御することにより、ＭＩＤＩイベントに応じた鍵もしくはペダルの動作を実現する。
The
［１．１．６］発音部
発音部４は、自動演奏ピアノ部３およびコントローラ部６から音声データを受信し、受信した音声データを音に変換して出力する装置である。発音部４は、ミキサ４１、Ｄ／Ａコンバータ４２、アンプ４３、およびスピーカ４４から構成されている。
[1.1.6] Sound Generation Unit The
ミキサ４１は左右２チャンネルからなるデジタル音声データを複数受信し、それらを左右１組のデジタル音声データに変換するデジタルステレオミキサである。ミキサ４１は自動演奏ピアノ部３の音源３５からデジタル音声データを受信すると同時に、音楽ＣＤドライブ１により音楽ＣＤから読み出されたデジタル音声データを、コントローラ部６を介して受信する。ミキサ４１は受信したこれらのデジタル音声データを算術平均し、左右１組のデジタル音声データとしてＤ／Ａコンバータ４２に送信する。
The mixer 41 is a digital stereo mixer that receives a plurality of digital audio data consisting of left and right channels and converts them into a set of left and right digital audio data. The mixer 41 receives the digital audio data from the
Ｄ／Ａコンバータ４２は、ミキサ４１からデジタル音声データを受信し、受信したデジタル音声データをアナログ音声信号に変換し、アンプ４３に出力する。アンプ４３は、Ｄ／Ａコンバータ４２から入力されるアナログ音声信号を増幅し、スピーカ４４に出力する。スピーカ４４は、アンプ４３から入力される増幅されたアナログ音声信号を音に変換する。その結果、音楽ＣＤに記録された音声データおよび音源３５が生成する音声データは、ステレオの音として発音部４から出力される。
The D /
［１．１．７］操作表示部
操作表示部５は、同期記録再生装置ＳＳのユーザが同期記録再生装置ＳＳの各種操作を行う際に用いるユーザインタフェースである。
操作表示部５はユーザが同期記録再生装置ＳＳに指示を与える際に押下するキーパッド、ユーザが同期記録再生装置ＳＳの状態を確認するための液晶ディスプレイ等を有している。ユーザによりキーパッドが押下されると、操作表示部５は押下されたキーパッドに対応する信号をコントローラ部６に出力する。また、操作表示部５はコントローラ部６から文字や図形の情報を含むビットマップデータを受信すると、受信したビットマップデータに基づき液晶ディスプレイに文字や図形を表示する。
[1.1.7] Operation Display Unit The
The
［１．１．８］コントローラ部
コントローラ部６は、同期記録再生装置ＳＳの全体を制御する装置である。コントローラ部６はＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）６１、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）６２、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）６３、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）６４、および通信インタフェース６５から構成されている。また、これらの構成要素はバスにより相互に接続されている。
[1.1.8] Controller Unit The
ＲＯＭ６１は各種の制御用プログラムを格納する不揮発性のメモリである。ＲＯＭ６１が格納する制御用プログラムには、一般的な制御処理を行うプログラムに加え、後述するＳＭＦの記録動作および再生動作における処理をＣＰＵ６２に実行させるプログラムが含まれている。ＣＰＵ６２は汎用的な処理を実行可能なマイクロプロセッサであり、ＲＯＭ６１から制御用プログラムを読み込み、読み込んだ制御用プログラムに従った制御処理を行う。ＤＳＰ６３はデジタル音声データを高速に処理可能なマイクロプロセッサであり、ＣＰＵ６２の制御に従い、音楽ＣＤドライブ１やＦＤドライブ２からコントローラ部６が受信するデジタル音声データに対し、後述する管理用イベント生成処理において必要とされるフィルタ処理等の処理を施し、その結果得られるデータをＣＰＵ６２に送信する。ＲＡＭ６４は揮発性メモリであり、ＣＰＵ６２およびＤＳＰ６３が利用するデータを一時的に格納する。通信インタフェース６５は各種フォーマットのデジタルデータを送受信可能なインタフェースであり、音楽ＣＤドライブ１、ＦＤドライブ２、自動演奏ピアノ部３、発音部４、および操作表示部５との間で送受信されるデジタルデータに対し必要なフォーマット変換を行い、それらの各装置とコントローラ部６との間のデータの中継を行う。
The
［１．２］動作
続いて、同期記録再生装置ＳＳの動作を説明する。
［１．２．１］記録動作
まず、同期記録再生装置ＳＳのユーザが市販の音楽ＣＤの再生に合わせてピアノを演奏し、その演奏の情報をＭＩＤＩデータとしてＦＤに記録する際の同期記録再生装置ＳＳにおける動作を説明する。なお、以下に説明する記録動作において用いられる音楽ＣＤを、後述する再生動作において用いられる音楽ＣＤと区別するために、音楽ＣＤ−Ａと呼ぶ。
[1.2] Operation Next, the operation of the synchronous recording / reproducing apparatus SS will be described.
[1.2.1] Recording Operation First, the user of the synchronous recording / reproducing apparatus SS performs the piano in accordance with the reproduction of the commercially available music CD, and the synchronous recording / reproducing when the performance information is recorded on the FD as MIDI data. The operation in the device SS will be described. Note that a music CD used in a recording operation described below is referred to as a music CD-A in order to distinguish it from a music CD used in a reproduction operation described later.
［１．２．１．１］記録の開始操作
ユーザは、音楽ＣＤ−Ａを音楽ＣＤドライブ１に、また空のＦＤをＦＤドライブ２にセットする。続いて、ユーザは演奏データの記録開始に対応する操作表示部５のキーパッドを押下する。操作表示部５は押下されたキーパッドに対応する信号をコントローラ部６に出力する。
[1.2.1.1] Recording start operation The user sets the music CD-A in the
コントローラ部６のＣＰＵ６２は操作表示部５から演奏データの記録開始に対応する信号を受信すると、音楽ＣＤドライブ１に音楽ＣＤの再生命令を送信する。この再生命令に応じて、音楽ＣＤドライブ１は音楽ＣＤ−Ａに記録されている音声データをコントローラ部６に順次送信する。コントローラ部６は音楽ＣＤドライブ１から、１／４４１００秒ごとに左右１組の音声データを受信する。以下、左右１組のデータの値を（Ｒ（ｎ），Ｌ（ｎ））と表し、この１組のデータの値、もしくは後述する管理用イベント生成処理においてこの１組のデータから生成される各データの値を「サンプル値」と呼ぶ。Ｒ（ｎ）およびＬ（ｎ）はそれぞれ右チャンネルのデータおよび左チャンネルのデータの値を示し、−３２７６８〜３２７６７のいずれかの整数である。ｎは音声データの順序を表す整数で、先頭のデータから順に０、１、２、・・・と増加する。
When the
［１．２．１．２］音声データの発音部への送信
ＣＰＵ６２は音楽ＣＤドライブ１からサンプル値を受信すると、その時点を０秒として計時を開始する。それと同時に、ＣＰＵ６２は受信したサンプル値を順次、発音部４に送信する。発音部４はコントローラ部６からサンプル値を受信すると、これを順次、音に変換し出力する。その結果、ユーザは音楽ＣＤ−Ａに記録されている楽曲を聴くことができる。
[1.2.1.2] Transmission of Audio Data to Sound Generation Unit When the
［１．２．１．３］管理用イベントの生成
ＣＰＵ６２は受信したサンプル値を発音部４に送信すると同時に、受信したサンプル値を順次、ＲＡＭ６４に記録する。ＣＰＵ６２は所定数のサンプル値をＲＡＭ６４に記録すると、ＤＳＰ６３に対し、以下に説明する管理用イベント生成処理を行う、実行命令を送信する。ＣＰＵ６２がＤＳＰ６３に対し管理用イベント生成処理の実行命令を送信するまでにＲＡＭ６４に記録されるサンプル値の数は、以下に説明する処理において用いられるフィルタの特性に依存する。フィルタにおいて用いられる遅延器の遅延時間が長ければ、その数は大きくなる。以下の説明においては、例として、１秒間分のサンプル値、すなわち４４１００個のサンプル値がＲＡＭ６４に記録された時点で、ＣＰＵ６２は管理用イベント生成処理の実行命令を送信するものとする。
[1.2.1.3] Generation of Management
管理用イベント生成処理とは、ＲＡＭ６４に記録される音声データの示す音声波形に対し、ある周波数以下の周波数帯の成分を取り出すフィルタ処理と、その周波数より低い周波数以下の周波数帯の成分を取り出すフィルタ処理とを行い、それら２つのフィルタ処理により得られる値の比較判定を行うことにより、管理用イベントを生成する処理である。なお管理用イベントとは、後述するタイミング調整処理において用いられる時間情報を作成するためのフラグである。
以下、図４を参照しながら、管理用イベント生成処理を説明する。
The management event generating process is a filter process for extracting a component in a frequency band below a certain frequency from a sound waveform indicated by the sound data recorded in the
Hereinafter, the management event generation process will be described with reference to FIG.
ＤＳＰ６３はＣＰＵ６２より管理用イベント生成処理の実行命令を受信すると、ＲＡＭ６４に記録されているサンプル値の先頭から４４１００個、すなわち（Ｒ（０），Ｌ（０））〜（Ｒ（４４０９９）、Ｌ（４４０９９））を読み出す（ステップＳ１）。以下、４４１００個の一連のサンプル値を「未加工音声データ」と呼び、未加工音声データを区別する必要がある場合には、（Ｒ（ｎ），Ｌ（ｎ））を末尾とする未加工音声データを「未加工音声データ（ｎ）」のように表す。すなわち、ステップＳ１において最初にＤＳＰ６３により読み出される未加工音声データは、未加工音声データ（４４０９９）である。
When the
続いて、ＤＳＰ６３は読み出した未加工音声データの各サンプル値の左右の値を相加平均することにより、ステレオのデータをモノラルのデータに変換する（ステップＳ２）。このモノラルへの変換処理は、このステップより後の処理のＤＳＰ６３への負荷を軽減するための処理である。
Subsequently, the
続いて、ＤＳＰ６３はモノラルに変換された一連のサンプル値について、絶対値を求める（ステップＳ３）。このステップにおける処理は、各サンプル値のパワーの代替値を求めるための処理である。絶対値はパワーを示す二乗値よりも値が小さく処理が容易であるため、本実施形態においては、各サンプル値の二乗値の代替値として絶対値が用いられる。従って、ＤＳＰ６３の処理能力が高い場合、このステップにおいて各サンプル値の絶対値の代わりに二乗値を算出してもよい。
Subsequently, the
続いて、ＤＳＰ６３はステップＳ３において絶対値に変換された一連のサンプル値に対し、さらにローパスフィルタを用いたフィルタ処理を行う（ステップＳ４）。ステップＳ１〜ステップＳ４の処理の結果得られる値を以下、「中期指標」と呼び、（Ｒ（ｎ），Ｌ（ｎ））に対応する中期指標を「中期指標（ｎ）」と呼ぶ。以下、例として、ステップＳ４において用いられるローパスフィルタの周波数は１００Ｈｚとする。中期指標（ｎ）は、一連のサンプル値が示す音声波形のｎにおける中期的な変化の傾向を示す。すなわち、一連のサンプル値が示す音声波形は短期的に上下に変化するが、ローパスフィルタによるフィルタ処理を施された一連のサンプル値は、先行する複数のサンプル値により値の変化が抑制される。その結果、一連の中期指標が示す音声波形からは短期的な変動要素が取り除かれ、中期的および長期的な変動要素のみが残る。ステップＳ４の処理により、中期指標（ｎ）を末尾とする一連の中期指標、すなわち・・・中期指標（ｎ−２）、中期指標（ｎ−１）、中期指標（ｎ）が作成される。ＤＳＰ６３はこれらの中期指標をＲＡＭ６４に記録する（ステップＳ５）。
Subsequently, the
続いて、ＤＳＰ６３はステップＳ４において得られる一連の中期指標に対し、くし形フィルタを用いたフィルタ処理を行う（ステップＳ６）。このステップにおける処理は、一連の中期指標が示す音声波形から、さらに、一定周波数以下の低周波数帯の成分を取り出すための処理である。このステップはステップＳ４で用いるローパスフィルタの周波数よりも低い周波数のローパスフィルタを用いる処理と同様であるが、くし形フィルタはローパスフィルタと比較して、通常、ＤＳＰ６３への負荷が小さいため、本実施形態においてはローパスフィルタがくし形フィルタで代用されている。
Subsequently, the
図５は、ステップＳ６において利用可能なくし形フィルタの一例について、その構成を示している。図５において、四角形で示される処理は遅延処理を示し、ｚ-kにおけるｋは、その遅延処理における遅延時間が（サンプリング周期×ｋ）であることを意味する。前述のとおり、音楽ＣＤのサンプリング周波数は４４１００Ｈｚであるため、サンプリング周期は１／４４１００秒である。一方、三角形で示される処理は乗算処理を示し、三角形の中に示される値が乗算の係数を示す。以下、例として、ｋ＝２２０５０とし、その結果、ステップＳ６のフィルタ処理により、１Ｈｚより高い周波数帯の成分がおおよそ取り除かれる。すなわち、ステップＳ６の処理の結果得られる一連の値が示す音声波形は、一連の中期指標が示す音声波形から中期的な変動要素を取り除き、長期的な変動要素のみを取り出したものとなる。 FIG. 5 shows the configuration of an example of a comb filter that can be used in step S6. In FIG. 5, processing indicated by a rectangle indicates delay processing, and k in z−k means that the delay time in the delay processing is (sampling period × k). As described above, since the sampling frequency of the music CD is 44100 Hz, the sampling period is 1/444100 seconds. On the other hand, processing indicated by a triangle indicates multiplication processing, and a value indicated in the triangle indicates a multiplication coefficient. Hereinafter, as an example, k = 222050 is set, and as a result, components in a frequency band higher than 1 Hz are roughly removed by the filtering process in step S6. In other words, the speech waveform indicated by the series of values obtained as a result of the processing in step S6 is obtained by removing only the long-term variation element from the speech waveform indicated by the series of medium-term indicators by removing the medium-term variation factor.
続いて、ＤＳＰ６３は、ステップＳ６のフィルタ処理により得られる一連の値のそれぞれに対し、正の定数ｈを乗ずる（ステップＳ７）。このｈによる乗算処理は、次のステップＳ８における比較判定処理において肯定的な結果が得られる頻度を調整する処理であり、一般的にｈの値が小さいと比較判定処理における肯定的な結果が得られる時間間隔が狭くなる。この時間間隔は、広すぎると以下のステップＳ１１における管理用イベントの生成の時間間隔が広くなり、その結果、後述するタイミング調整処理における精度が低くなる。一方、比較判定処理における肯定的な結果が得られる時間間隔が狭すぎると、以下のステップＳ１０の処理により次々とそれらの肯定的な結果がキャンセルされてしまうため、やはり管理用イベントの生成の時間間隔が広くなり、その結果、タイミング調整処理における精度が低くなる。従って、ｈの値としては、適度の頻度で管理用イベントが生成される値が経験的に用いられる。
Subsequently, the
ステップＳ７の処理の結果得られる値を以下、「長期指標」と呼び、（Ｒ（ｎ），Ｌ（ｎ））に対応する長期指標を「長期指標（ｎ）」と呼ぶ。ステップＳ７の処理により、長期指標（ｎ）を末尾とする一連の長期指標、すなわち・・・長期指標（ｎ−２）、長期指標（ｎ−１）、長期指標（ｎ）が作成される。ＤＳＰ６３はこれらの長期指標をＲＡＭ６４に記録する（ステップＳ８）。
The value obtained as a result of the processing in step S7 is hereinafter referred to as “long-term index”, and the long-term index corresponding to (R (n), L (n)) is referred to as “long-term index (n)”. Through the processing in step S7, a series of long-term indicators ending with the long-term indicator (n), that is, a long-term indicator (n-2), a long-term indicator (n-1), and a long-term indicator (n) are created. The
続いて、ＤＳＰ６３は、ＲＡＭ６４から、中期指標（ｎ）と長期指標（ｎ）を読み出し、中期指標（ｎ）が長期指標（ｎ）以上であるか否かの比較判定を行う（ステップＳ９）。ステップＳ９において最初にＤＳＰ６３により読み出される中期指標および長期指標は、中期指標（４４０９９）および長期指標（４４０９９）である。この比較判定処理は、未加工音声データが示す音声波形が、（Ｒ（ｎ），Ｌ（ｎ））のサンプル値に対応する時点において、中期的に大きく変動したことを示す。すなわち、楽曲の音声波形において、１Ｈｚ〜１００Ｈｚの周波数帯に含まれる音のボリュームが急速に大きくなると、中期指標の値が長期指標の値を上回り、ステップＳ９における比較判定処理からは肯定的な結果（以下、「Ｙｅｓ」と呼ぶ）が得られる。
Subsequently, the
ステップＳ９の比較判定処理によりＹｅｓが得られると、ＤＳＰ６３はその時点の時刻をＲＡＭ６４に記録する。同時にＤＳＰ６３はＲＡＭ６４から、過去に行われたステップＳ９における比較判定処理でＹｅｓが得られた時刻の記録を読み出し、過去の期間τにＹｅｓが得られた記録があるか否かを判定する（ステップＳ１０）。このステップにおける判定処理は、短い時間間隔でステップＳ９における比較判定処理の結果がＹｅｓとなる場合、次のステップＳ１１において、同じく短い時間間隔で管理用イベントを生成することを防ぐための処理である。もし短い時間間隔で管理用イベントが生成されると、後述するタイミング調整処理において、記録されている管理用イベントと、新たに得られる音声データにより生成される管理用イベントとを正しく対応づけることが困難となる。ステップＳ１０の処理により、期間τ以下の時間間隔で近接して管理用イベントが生成されることが回避される。τの値としては、生成される管理用イベントが適度の時間間隔となる値が経験的に用いられる。なお、ステップＳ１０における最初の判定処理においては、先行するステップＳ９がないため、判定結果はＮｏとなる。
When Yes is obtained by the comparison determination process in step S <b> 9, the
ステップＳ１０における判定処理により否定的な結果（以下、「Ｎｏ」と呼ぶ）が得られた場合、ＤＳＰ６３は上記の一連の処理の結果、未加工音声データの示す音声波形が、（Ｒ（ｎ），Ｌ（ｎ））に対応する時点で所定の条件を満たしたことを示す管理用イベントをＣＰＵ６２に送信する（ステップＳ１１）。
When a negative result (hereinafter referred to as “No”) is obtained in the determination process in step S10, the
ステップＳ９における比較判定の結果がＮｏであった場合、ステップＳ１０における判定の結果がＹｅｓであった場合、およびステップＳ１１の処理を終了した場合、ＤＳＰ６３はＣＰＵ６２が音楽ＣＤドライブ１から新たなサンプル値、すなわち（Ｒ（ｎ＋１），Ｌ（ｎ＋１））を受信し、そのサンプル値をＲＡＭ６４に記録するまで待機する。新たなサンプル値がＲＡＭ６４に記録されると（ステップＳ１２）、ＤＳＰ６３は処理をステップＳ１に戻し、新たにＲＡＭ６４に記録されたサンプル値を末尾とする一連のサンプル値、すなわち未加工音声データ（ｎ＋１）に対し、上述したステップＳ１以下の処理を行う。
If the comparison determination result in step S9 is No, if the determination result in step S10 is Yes, and if the processing in step S11 is terminated, the
以上のステップＳ１〜ステップＳ１２の処理は、ｎの値を１ずつ増加させながら、ユーザが演奏データの記録終了の指示を行うまで続けられる。以上が管理用イベント生成処理の説明である。図６は、実際の音声データに対し、管理用イベント生成処理を行った場合の管理用イベント生成の様子を示す図である。なお、この図の作成においては、ステップＳ４のローフィルタとして、１段のＩＩＲ（Ｉｎｆｉｎｉｔｅ Ｉｍｐｌｕｓｅ Ｒｅｓｐｏｎｓｅ）フィルタが用いられている。また、ステップＳ７における定数ｈとしては４を、またステップＳ１０における期間τとしては０．５５秒が用いられている。 The processes in steps S1 to S12 are continued until the user gives an instruction to end recording of performance data while increasing the value of n by 1. The above is the description of the management event generation process. FIG. 6 is a diagram showing a state of management event generation when management event generation processing is performed on actual audio data. In the creation of this figure, a one-stage IIR (Infinite Impulse Response) filter is used as the low filter in step S4. Further, 4 is used as the constant h in step S7, and 0.55 seconds is used as the period τ in step S10.
図６において、第１の管理用イベントが生成される時点Ａのすぐ後に、中期指標が長期指標を上回る時点としてＢおよびＣがあるが、管理用イベントはＡにおいてのみ生成される。なぜなら、ＢおよびＣはＡから所定の期間、すなわち０．５５秒を経過していないため、ステップＳ１０の判定の結果がＹｅｓとなり、ステップＳ１１の処理が行われないためである。 In FIG. 6, B and C are the time points when the medium-term index exceeds the long-term index immediately after the time point A when the first management event is generated, but the management event is generated only in A. This is because B and C have not passed a predetermined period from A, that is, 0.55 seconds, so that the result of determination in step S10 is Yes and the process in step S11 is not performed.
［１．２．１．４］ＭＩＤＩイベントの生成
上述したＤＳＰ６３による管理用イベント生成処理が行われる一方で、ユーザはピアノ３１を用いた演奏を開始する。すなわち、ユーザは発音部４から出力される音楽ＣＤ−Ａの楽曲を聴きながら、その楽曲に合わせてピアノ３１の打鍵およびペダル操作を行う。
[1.2.1.4] Generation of MIDI Event While the management event generation process by the
ユーザのピアノ３１を用いた演奏の情報は、キーセンサ３２およびペダルセンサ３３にて鍵およびペダルの動きとして検出され、ＭＩＤＩイベント制御回路３４にてＭＩＤＩイベントに変換された後、コントローラ部６のＣＰＵ６２に送信される。
Information on performance using the user's
［１．２．１．５］イベントのＳＭＦへの記録
上述したように、ＣＰＵ６２は音楽ＣＤ−Ａの再生の間、ＤＳＰ６３から管理用イベントを、自動演奏ピアノ部３のＭＩＤＩイベント制御回路３４からＭＩＤＩイベントを受信する。図７は、管理用イベントの生成とＭＩＤＩイベントの生成の時間的な関係を示す模式図である。ＣＰＵ６２は計時を開始してから、すなわち音楽ＣＤドライブ１から最初のサンプル値を受信した時点から、０．１３秒、０．８１秒、１．４５秒・・・の時間が経過した時点で管理用イベントを受信する。また、ＣＰＵ６２は計時を開始してから、０．４９秒、１．２３秒、２．１８秒・・・の時間が経過した時点でＭＩＤＩイベントを受信する。
[1.2.1.5] Recording Event to SMF As described above, the
ＣＰＵ６２は管理用イベントを受信すると、管理用イベントを示すシステムエクスクルーシブイベントを生成し、生成したシステムエクスクルーシブイベントに対し、管理用イベントの受信時点における経過時間を示すデルタタイムを付して、ＲＡＭ６４に記録する。同様に、ＣＰＵ６２はＭＩＤＩイベントを受信すると、受信したＭＩＤＩイベントに対し、ＭＩＤＩイベントの受信時点における経過時間を示すデルタタイムを付して、ＲＡＭ６４に記録する。
When the
音楽ＣＤ−Ａの楽曲の再生が終了し、ピアノ３１を用いたユーザによる演奏も終了すると、ユーザは演奏データの記録終了に対応する操作表示部５のキーパッドを押下する。操作表示部５は押下されたキーパッドに対応する信号をコントローラ部６に送信する。ＣＰＵ６２は、操作表示部５から演奏データの記録終了を示す信号を受信すると、音楽ＣＤドライブ１に音楽ＣＤの再生停止命令を送信する。この再生停止命令に応じて、音楽ＣＤドライブ１は音楽ＣＤ−Ａの再生を停止する。
When the reproduction of the music CD-A is finished and the performance by the user using the
続いて、ＣＰＵ６２は、ＲＡＭ６４に記録した管理用イベントを示すシステムエクスクルーシブイベントおよびＭＩＤＩイベントを、対応するデルタタイムと共に読み出し、それらのデータを組み合わせ、ＳＭＦのトラックチャンクを生成する。さらに、ＣＰＵ６２は作成したトラックチャンクに対し、これに応じたヘッダチャンクを付加し、ＳＭＦを生成する。図８は、ＣＰＵ６２が生成するＳＭＦの概略を示す図である。ＣＰＵ６２は、ＳＭＦの生成を完了すると、生成したＳＭＦを書込命令と共にＦＤドライブ２に送信する。ＦＤドライブ２はＣＰＵ６２から書込命令およびＳＭＦを受信すると、ＳＭＦをセットされているＦＤに書き込む。
Subsequently, the
［１．２．２］再生動作
続いて、上述した方法によって記録されたＳＭＦを再生し、音楽ＣＤの音声データとＳＭＦのＭＩＤＩデータを同期させる際の動作を説明する。以下の再生動作において用いられる音楽ＣＤは、上述した記録動作において用いられた音楽ＣＤ−Ａと同じ楽曲を含んでいるが、版が異なっており、音楽ＣＤに含まれる楽曲の演奏速度がわずかに異なっている。また、この音楽ＣＤに含まれる音声データは、マスタデータに対する音響効果等の編集が加えられているため、音楽ＣＤ−Ａに含まれる音声データと、その内容にわずかの差異があり、音声データの示す音声波形のレベルも異なっている。従って、以下に説明する再生動作において用いられる音楽ＣＤを音楽ＣＤ−Ａと区別するため、音楽ＣＤ−Ｂと呼ぶ。
[1.2.2] Reproduction Operation Next, an operation for reproducing the SMF recorded by the above-described method and synchronizing the audio data of the music CD and the MIDI data of the SMF will be described. The music CD used in the following playback operation includes the same music as the music CD-A used in the recording operation described above, but the version is different and the performance speed of the music included in the music CD is slightly lower. Is different. Further, since the audio data included in the music CD is edited such as the acoustic effect on the master data, there is a slight difference in the content from the audio data included in the music CD-A. The level of the voice waveform shown is also different. Therefore, in order to distinguish the music CD used in the reproduction operation described below from the music CD-A, it is called a music CD-B.
［１．２．２．１］再生の開始操作
ユーザは、音楽ＣＤ−Ｂを音楽ＣＤドライブ１に、またＳＭＦの記録されたＦＤをＦＤドライブ２にセットする。続いて、ユーザは演奏データの再生開始に対応する操作表示部５のキーパッドを押下する。操作表示部５は押下されたキーパッドに対応する信号をコントローラ部６に出力する。
[1.2.2.1] Playback start operation The user sets the music CD-B in the
ＣＰＵ６２は操作表示部５から演奏データの再生開始を指示する信号を受信すると、まずＦＤドライブ２に対しＳＭＦの送信命令を送信する。ＦＤドライブ２はこのＳＭＦの送信命令に応じて、ＦＤからＳＭＦを読み出し、読み出したＳＭＦをコントローラ部６に送信する。ＣＰＵ６２はＦＤドライブ２からＳＭＦを受信し、受信したＳＭＦをＲＡＭ６４に記録する。
When the
続いて、ＣＰＵ６２は音楽ＣＤドライブ１に音楽ＣＤの再生命令を送信する。この再生命令に応じて、音楽ＣＤドライブ１は音楽ＣＤ−Ｂに記録されている音声データをコントローラ部６に順次送信する。コントローラ部６は音楽ＣＤドライブ１から、１／４４１００秒ごとに左右１組のデータを受信する。ここでＣＰＵ６２が音楽ＣＤドライブ１から受信するデータの値を（ｒ（ｎ），ｌ（ｎ））と表す。なお、ｒ（ｎ）およびｌ（ｎ）の値の範囲、ｎおよび以下で用いる「サンプル値」の定義は、Ｒ（ｎ）およびＬ（ｎ）におけるものと同様である。
Subsequently, the
［１．２．２．２］音声データの発音部への送信
ＣＰＵ６２は音楽ＣＤドライブ１からサンプル値、すなわち（ｒ（０），ｌ（０））、（ｒ（１），ｌ（１））、（ｒ（２），ｌ（２））、・・・を受信すると、受信したサンプル値を発音部４に送信する。発音部４はコントローラ部６からサンプル値を受信すると、これを音に変換し出力する。その結果、ユーザは音楽ＣＤ−Ｂに記録されている楽曲を聴くことができる。
[1.2.2.2] Transmission of Audio Data to Sound Generation
［１．２．２．３］管理用イベントの生成
ＣＰＵ６２は受信したサンプル値を発音部４に送信すると同時に、受信したサンプル値を順次、ＲＡＭ６４に記録する。ＣＰＵ６２は所定数のサンプル値をＲＡＭ６４に記録すると、ＤＳＰ６３に対し、管理用イベント生成処理の実行命令を送信する。ＤＳＰ６３はこの実行命令を受信すると、ＲＡＭ６４に順次記録される音楽ＣＤ−Ｂの一連のサンプル値に対し、図４を用いて説明した管理用イベント生成処理を行う。その結果、ＤＳＰ６３は図４のステップＳ１０の判定結果がＮｏとなるタイミングで、順次、ＣＰＵ６２に対し管理用イベントを送信する。
[1.2.2.3] Generation of Management
［１．２．２．４］ＭＩＤＩイベントの再生
一方、ＣＰＵ６２は音楽ＣＤドライブ１から最初のサンプル値、すなわち（ｒ（０），ｌ（０））を受信すると、その時点を０秒とし計時を開始する。この計時による経過時間を「時間Ｔ」と呼ぶ。同時に、ＣＰＵ６２はＲＡＭ６４からＳＭＦを読み出し、その時点の時間Ｔと、ＳＭＦに含まれるデルタタイムを順次比較する。時間Ｔとデルタタイムが一致した場合、もしそのデルタタイムに対応するイベントがＭＩＤＩイベントである場合、ＣＰＵ６２はそのＭＩＤＩイベントを自動演奏ピアノ部３に送信する。
[1.2.2.4] Playback of MIDI Event On the other hand, when the
自動演奏ピアノ部３において、ＭＩＤＩイベント制御回路３４はＭＩＤＩイベントをＣＰＵ６２から受信すると、受信したＭＩＤＩイベントを音源３５もしくは駆動部３６に送信する。音源３５にＭＩＤＩイベントが送信される場合、音源３５は受信されるＭＩＤＩイベントに従い、楽器の音を示す音声データを順次、発音部４に送信する。発音部４は、既に再生されている音楽ＣＤ−Ｂの楽曲の音と共に、音源３５から受信される楽器音による演奏をスピーカ４４から出力する。一方、駆動部３６にＭＩＤＩイベントが送信される場合、駆動部３６は受信されるＭＩＤＩイベントに従い、ピアノ３１の鍵およびペダルを動かす。いずれの場合においても、ユーザは音楽ＣＤ−Ｂに記録された楽曲と、ＳＭＦに記録された演奏情報による楽器音による演奏とを同時に聴くことができる。
In the automatic
しかしながら、既述のとおり、音楽ＣＤ−Ｂに記録されている楽曲は、音楽ＣＤ−Ａに記録されている楽曲とわずかに異なる速度で録音されているため楽曲の再生が進むに従い、ＭＩＤＩイベントによる演奏と楽曲はずれていく。図９はＳＭＦに記録されているＭＩＤＩイベントおよび管理用イベントと、音楽ＣＤ−Ｂが再生される際に生成される管理用イベントおよびタイミング調整処理を施した後のＭＩＤＩイベントの時間的関係を示す図である。この図の例では、音楽ＣＤ−Ｂに音声データが記録された際に用いられたクロック周波数が、音楽ＣＤ−Ａに音声データが記録された際に用いられたクロック周波数よりもやや大きかったため、その結果、同じ音楽ＣＤドライブ１により再生した場合、音楽ＣＤ−Ｂに記録された楽曲が音楽ＣＤ−Ａに記録された楽曲よりも速く演奏されている。従って、ＳＭＦに記録されているデルタタイムに従いＭＩＤＩイベントを自動演奏ピアノ部３に送信すると、自動演奏ピアノ部３による自動演奏は音楽ＣＤ−Ｂの楽曲に対し遅れてしまう。そのようなＭＩＤＩイベントによる演奏と音楽ＣＤの再生における時間的ずれを調整するため、ＣＰＵ６２はＳＭＦに記録されているＭＩＤＩイベントに対し、以下に説明するタイミング調整処理を行う。
However, as described above, the music recorded on the music CD-B is recorded at a slightly different speed from the music recorded on the music CD-A. The performance and music are going off. FIG. 9 shows the temporal relationship between the MIDI event and the management event recorded in the SMF, the management event generated when the music CD-B is played back, and the MIDI event after performing the timing adjustment process. FIG. In the example of this figure, the clock frequency used when the audio data is recorded on the music CD-B is slightly higher than the clock frequency used when the audio data is recorded on the music CD-A. As a result, when the
タイミング調整処理とは、音楽ＣＤ−Ｂの音声データに基づき生成される管理用イベントの生成のタイミングと、ＳＭＦに記録されている管理用イベントのデルタタイムとを用いて、ＭＩＤＩイベントのデルタタイムを調整する処理である。以下、ＳＭＦに記録されている管理用イベントを「管理用イベントＡ」、音楽ＣＤ−Ｂの音声データに基づき生成される管理用イベントを「管理用イベントＢ」と呼ぶ。 The timing adjustment process uses the timing of generating a management event generated based on the audio data of the music CD-B and the delta time of the management event recorded in the SMF to calculate the delta time of the MIDI event. It is a process to adjust. Hereinafter, the management event recorded in the SMF is referred to as “management event A”, and the management event generated based on the audio data of the music CD-B is referred to as “management event B”.
ＣＰＵ６２はＤＳＰ６３から管理用イベントＢを受信すると、その受信のタイミングをＲＡＭ６４に記録する。一方、ＣＰＵ６２は、時間Ｔとデルタタイムが一致し、そのデルタタイムに対応するイベントが管理用イベントである場合、そのデルタタイムの示す時間の前後一定の期間に管理用イベントＢが受信されるか否かの監視を行う。以下の説明では例として、ＣＰＵ６２は管理用イベントＡのデルタタイムの前０．２秒および後０．２秒の間、管理用イベントＢの受信を監視するものとする。すなわち、ＣＰＵ６２は管理用イベントＡのデルタタイムの示す時間の前０．２秒の間にＲＡＭ６４に管理用イベントＢの受信の記録があるか否かを確認する。続いて、ＣＰＵ６２は管理用イベントＡのデルタタイムの示す時間から０．２秒が経過するまで、管理用イベントＢが受信されないか、監視する。管理用イベントＡのデルタタイムの示す時間の前後に管理用イベントＢが受信された場合、ＣＰＵ６２はそれらの管理用イベントＡと管理用イベントＢは音楽ＣＤ−Ａおよび音楽ＣＤ−Ｂの音声データの対応する部分から生成された管理用イベントであると判断する。そして、ＣＰＵ６２は、ＳＭＦのまだ実行されていないＭＩＤＩイベントおよび管理用イベントのデルタタイムに対し、（管理用イベントＢの受信時間／管理用イベントＡのデルタタイム）を乗ずる。これは管理用イベントＢの受信時間を基準とし、ＳＭＦにおけるデルタタイムを調整する処理である。ＣＰＵ６２はこのデルタタイムの調整処理を楽曲の終わりまで繰り返す。
When the
図１０はタイミング調整処理の様子を示すデータ例である。このデータ例によれば、まず０．１３秒の時点で第１の管理用イベントＡのデルタタイムと時間Ｔが一致する。従ってＣＰＵ６２はその時間より前の０．２秒間に管理用イベントＢが受信されているかを確認する。この場合、０．１１秒の時点で第１の管理用イベントＢが受信されているので、ＣＰＵ６２はこれらの管理用イベントが対応したものであると判断する。
FIG. 10 is an example of data showing the timing adjustment process. According to this data example, first, the delta time of the first management event A coincides with the time T at 0.13 seconds. Therefore, the
続いて、ＣＰＵ６２は管理用イベントＡのデルタタイム０．１３秒と、管理用イベントＢの受信タイミングである０．１１秒を用いて、まだ処理のされていないＭＩＤＩイベントおよび管理用イベントＡのデルタタイムに（０．１１／０．１３）を乗ずる。その結果、１回目の調整後のデルタタイムは第１のＭＩＤＩイベント：０．４１秒、第２の管理イベント：０．６９秒、第２のＭＩＤＩイベント：１．０４秒・・・となる。
その後、０．４１秒の時点で第１のＭＩＤＩイベントのデルタタイムと時間Ｔが一致するので、ＣＰＵ６２はこの第１のＭＩＤＩイベントを自動演奏ピアノ部３に送信する。
Subsequently, the
Thereafter, since the delta time of the first MIDI event coincides with the time T at 0.41 seconds, the
その後、０．６９秒の時点で、第２の管理用イベントＡのデルタタイムと時間Ｔが一致するので、ＣＰＵ６２はその時間より前の０．２秒間に管理用イベントＢが受信されているかを確認する。この場合、０．７５秒の時点で第２の管理用イベントＢが受信されているので、ＣＰＵ６２はこれらの管理用イベントが対応したものであると判断する。その結果、第１の管理用イベントＡの場合と同様に、ＣＰＵ６２はまだ処理のされていないＭＩＤＩイベントおよび管理用イベントＡのデルタタイムに（０．７５／０．６９）を乗ずる。その結果、２回目の調整後のデルタタイムは、第２のＭＩＤＩイベント：１．１４秒、第３の管理イベント：１．３４秒、第３のＭＩＤＩイベント：２．０２秒・・・となる。
その後、１．１４秒の時点で第２のＭＩＤＩイベントのデルタタイムと時間Ｔが一致するので、ＣＰＵ６２はこの第２のＭＩＤＩイベントを自動演奏ピアノ部３に送信する。
After that, since the delta time of the second management event A coincides with the time T at 0.69 seconds, the
Thereafter, since the delta time of the second MIDI event coincides with the time T at 1.14 seconds, the
以下、同様の処理が楽曲の最後まで繰り返されるが、図１０のデータ例の場合、第４の管理用イベントＡは、デルタタイムの示すタイミングの前０．２秒および後０．２秒の間に管理用イベントＢがないため、無視される。同様に、第８の管理用イベントＢは生成のタイミングの前０．２秒および後０．２秒の間に管理用イベントＡがないため、無視される。 Hereinafter, the same processing is repeated until the end of the music, but in the case of the data example of FIG. 10, the fourth management event A is between 0.2 seconds before and 0.2 seconds after the timing indicated by the delta time. Is ignored because there is no management event B. Similarly, the eighth management event B is ignored because there is no management event A between 0.2 seconds before and 0.2 seconds after the generation timing.
以上のようにタイミング調整処理が施されたデルタタイムに従い、ＭＩＤＩイベントが自動演奏ピアノ部３に送信される結果、図９の下段に示すように、音楽ＣＤ−Ｂの楽曲の再生に対し、ほぼ正しいタイミングでＭＩＤＩイベントの再生が行われる。
As a result of transmitting the MIDI event to the automatic
なお、上述した例とは逆に、音楽ＣＤ−Ｂに記録された楽曲が音楽ＣＤ−Ａに記録された楽曲よりも遅く演奏される場合においても、同様の処理によりＭＩＤＩイベントの再生のタイミングが調整される。従って、その説明は省略する。 Contrary to the above-described example, when the music recorded on the music CD-B is played later than the music recorded on the music CD-A, the timing of reproduction of the MIDI event is similar to the above processing. Adjusted. Therefore, the description is omitted.
［２］第２実施形態
本発明の第２実施形態おいては、音楽ＣＤに記録された音声データと、ＳＭＦに記録されたＭＩＤＩイベントの再生の同期調整に、音楽ＣＤに記録されているタイムコードが利用される。また、タイミング調整処理を行うにあたり、まず音楽ＣＤの音声データに対する管理用イベント生成処理を楽曲の最後まで終えた後、回帰分析を用いて求められる値により、タイミング調整処理が行われる。
[2] Second Embodiment In the second embodiment of the present invention, the time recorded on the music CD is used for the synchronization adjustment of the reproduction of the audio data recorded on the music CD and the MIDI event recorded on the SMF. Code is used. Further, in performing the timing adjustment process, first, after completing the management event generation process for the audio data of the music CD to the end of the music piece, the timing adjustment process is performed based on values obtained by using regression analysis.
［２．１］音楽ＣＤドライブ
第２実施形態における全体構成、各構成部の機能、およびＭＩＤＩデータにおけるデータフォーマットは、音楽ＣＤドライブ１の機能を除いて、第１実施形態におけるものと同様であるため、音楽ＣＤドライブ１の機能についてのみ説明し、他の説明は省略する。
第２実施形態において、音楽ＣＤドライブ１は、音楽ＣＤに記録されている音声データと共に、タイムコードをコントローラ部６に送信する。その他の点は、第１実施形態における音楽ＣＤドライブ１と同様である。
[2.1] Music CD Drive The overall configuration, functions of each component, and data format in MIDI data in the second embodiment are the same as those in the first embodiment except for the function of the
In the second embodiment, the
［２．２］動作
第２実施形態における同期記録再生装置ＳＳの動作については、以下の３点が第１実施形態と異なる。
（１）演奏データの記録動作において、ＳＭＦに記録される管理用イベントおよびＭＩＤＩイベントのデルタタイムとして、それらのイベントの受信時点に対応するタイムコードが記録される。
（２）演奏データの再生動作において、音楽ＣＤの音声データがまず最後まで再生され、その音声データに対する管理用イベント生成処理が行われる。その結果得られる管理用イベントと、ＳＭＦに記録されている管理用イベントの時間情報に関し、回帰直線が求められ、その回帰直線に基づきＭＩＤＩイベントに対応するデルタタイムが調整される。このタイミング調整処理が終了した後、再度音楽ＣＤの再生が行われ、その再生に対し、ＭＩＤＩイベントが同期再生される。
（３）演奏データの再生動作において、ＭＩＤＩイベントは音楽ＣＤドライブ１から送信されるタイムクロックに基づいて自動演奏ピアノ部３に送信される。
[2.2] Operation Regarding the operation of the synchronous recording / reproducing apparatus SS in the second embodiment, the following three points are different from those in the first embodiment.
(1) In the performance data recording operation, a time code corresponding to the reception time of these events is recorded as the delta time of the management event and the MIDI event recorded in the SMF.
(2) In the performance data reproduction operation, the audio data of the music CD is first reproduced to the end, and a management event generation process is performed on the audio data. A regression line is obtained for the management event obtained as a result and the time information of the management event recorded in the SMF, and the delta time corresponding to the MIDI event is adjusted based on the regression line. After this timing adjustment process is completed, the music CD is played again, and the MIDI event is played back synchronously with the playback.
(3) In the performance data reproduction operation, the MIDI event is transmitted to the automatic
第２実施形態における他の動作は、第１実施形態におけるものと同様であるので、その詳細な説明は省略する。なお、以下の説明において、第１実施形態と同様に記録動作においては音楽ＣＤ−Ａが、再生動作においては音楽ＣＤ−Ｂが用いられるものとする。また、タイムコードの表現形式には、時間、分、秒、およびフレームが用いられるが、ＳＭＦに記録されるデルタタイムと同様に、以下の説明においては簡易化のため、タイムコードの示す時間情報を秒で表す。 Since other operations in the second embodiment are the same as those in the first embodiment, a detailed description thereof will be omitted. In the following description, it is assumed that the music CD-A is used in the recording operation and the music CD-B is used in the reproduction operation, as in the first embodiment. The time code expression format uses hours, minutes, seconds, and frames. Similar to the delta time recorded in the SMF, in the following description, time information indicated by the time code is used for simplification. Is expressed in seconds.
［２．２．１］記録動作
第２実施形態の同期記録再生装置ＳＳにおいて、ユーザが操作表示部５を用いて演奏データの記録開始の指示を行うと、音楽ＣＤ−Ａの音声データが、タイムコードと共に音楽ＣＤドライブ１からコントローラ部６に順次送信される。
[2.2.1] Recording Operation In the synchronous recording / reproducing apparatus SS of the second embodiment, when the user gives an instruction to start recording performance data using the
コントローラ部６において、ＣＰＵ６２は受信した音声データのサンプル値を順次発音部４に送信する。その結果、発音部４からは音楽ＣＤ−Ａの楽曲が音として出力される。その一方で、ＣＰＵ６２は受信したサンプル値をタイムコードとともに順次ＲＡＭ６４に記録する。
In the
ＣＰＵ６２は所定数のサンプル値をＲＡＭ６４に記録すると、ＤＳＰ６３に対し、管理用イベント生成処理の実行命令を送信する。ＤＳＰ６３はこの実行命令を受信すると、ＲＡＭ６４に順次記録される音楽ＣＤ−Ａの一連のサンプル値に対し、管理用イベント生成処理を行う。第２実施形態における管理用イベント生成処理は、図４を用いて説明した第１実施形態における管理用イベント生成処理と同じである。その結果、ＤＳＰ６３は図４のステップＳ１０の判定結果がＮｏとなるタイミングで、順次、ＣＰＵ６２に対し管理用イベントを送信する。ＣＰＵ６２は管理用イベントを受信すると、管理用イベントを示すシステムエクスクルーシブイベントを生成する。続いて、ＣＰＵ６２は管理用イベントの受信の直前にし、音楽ＣＤドライブ１から受信したタイムコードの示す時間をデルタタイムの形式に変換した後、そのデルタタイムを、管理用イベントを示すシステムエクスクルーシブイベントに対応付けて、ＲＡＭ６４に記録する。
When the
一方、ユーザは発音部４から音として出力される音楽ＣＤ−Ａの楽曲を聴きながら、ピアノ３１を用いた演奏を行う。ユーザの演奏の情報は、ＭＩＤＩイベントとしてＭＩＤＩイベント制御回路３４からＣＰＵ６２に送信される。ＣＰＵ６２は、ＭＩＤＩイベント制御回路３４からＭＩＤＩイベントを受信すると、その直前に音楽ＣＤドライブ１から受信したタイムコードの示す時間をデルタタイムの形式に変換し、そのデルタタイムをＭＩＤＩイベントと対応付けて、ＲＡＭ６４に記録する。
On the other hand, the user performs a performance using the
その後、ユーザにより演奏データの記録終了の指示がなされると、音楽ＣＤドライブ１は音楽ＣＤ−Ａの再生を停止する。また、ＣＰＵ６２はＲＡＭ６４に記録した管理用イベントを示すシステムエクスクルーシブイベントおよびＭＩＤＩイベントを、対応するデルタタイムと共に読み出し、それらのデータを組み合わせ、図９に示したものと同様のＳＭＦを生成する。ただし、第２実施形態におけるＳＭＦのデルタタイムは音楽ＣＤ−Ａのタイムコードに基づいており、ＣＰＵ６２の計時によるものではない。このように生成されたＳＭＦはＦＤドライブ２に送信され、ＦＤドライブ２によりセットされているＦＤに書き込まれる。
Thereafter, when the user gives an instruction to end recording of performance data, the
［２．２．２］再生動作
続いて、上述した方法によって記録されたＳＭＦを再生し、音楽ＣＤ−Ｂの音声データとＳＭＦのＭＩＤＩデータを同期させる際の動作を説明する。
ユーザが操作表示部５を用いて演奏データの再生開始の指示を行うと、まずＦＤドライブ２からＦＤに記録されているＳＭＦがＣＰＵ６２に送信され、ＣＰＵ６２は受信したＳＭＦをＲＡＭ６４に記録する。続いて、音楽ＣＤドライブ１は音楽ＣＤ−Ｂの再生を開始し、音楽ＣＤ−Ｂに記録されている音声データとタイムコードがコントローラ部６に順次送信される。ＣＰＵ６２は、音声データをタイムコードと共にＲＡＭ６４に記録する。ただし、ＣＰＵ６２は受信した音声データを発音部４には送信せず、従ってユーザには音楽ＣＤ−Ｂの楽曲は聴こえない。
[2.2.2] Reproduction Operation Next, an operation when reproducing the SMF recorded by the above-described method and synchronizing the audio data of the music CD-B and the MIDI data of the SMF will be described.
When the user gives an instruction to start playing performance data using the
ＣＰＵ６２は所定数のサンプル値をＲＡＭ６４に記録すると、ＤＳＰ６３に対し、管理用イベント生成処理の実行命令を送信する。ＤＳＰ６３はこの実行命令を受信すると、ＲＡＭ６４に順次記録される音楽ＣＤ−Ｂの一連のサンプル値に対し、管理用イベント生成処理を行う。その結果、ＤＳＰ６３は図４のステップＳ１０の判定結果がＮｏとなるタイミングで、順次、ＣＰＵ６２に対し管理用イベントを送信する。ＣＰＵ６２は管理用イベントを受信すると、その直前に受信したタイムコードの示す時間をデルタタイムの形式に変換した後、そのデルタタイムをＲＡＭ６４に記録する。以下、ＳＭＦに記録されている管理用イベントを「管理用イベントＡ」、ＳＭＦに記録されているデルタタイムを「デルタタイムＡ」、音楽ＣＤ−Ｂの音声データにより生成される管理用イベントを「管理用イベントＢ」、音楽ＣＤ−Ｂのタイムコードに従い、管理用イベントＢの受信に対し記録されるデルタタイムを「デルタタイムＢ」と呼ぶ。
When the
音楽ＣＤ−Ｂの再生が楽曲の最後に至ると、音楽ＣＤドライブ１は音楽ＣＤ−Ｂの再生を終了する。続いて、ＣＰＵ６２はデルタタイムＡとデルタタイムＢをＲＡＭ６４から読み出し、第１実施形態におけるタイミング調整処理と同様のデルタタイムの調整処理を行う。図１１は第２実施形態におけるデルタタイムの調整の様子を示すデータ例である。図１１において、デルタタイムおよび管理用イベントＢの受信のタイミングは音楽ＣＤ−Ｂのタイムコードに基づいている点が第１実施形態と異なる。また、ＭＩＤＩイベントに対するデルタタイムの調整はこの段階では行われない。他の点は第１実施形態におけるタイミング調整処理と同様であるため、その説明は省略する。このデルタタイムの調整処理により、デルタタイムＡとデルタタイムＢの対応付けがなされる。以下、第ｎ組目のデルタタイムＡの値をＡ（ｎ）、デルタタイムＢの値をＢ（ｎ）と表す。また、それらの組を（Ａ（ｎ），Ｂ（ｎ））のように表す。従って、（Ａ（１），Ｂ（１））＝（０．１３，０．１１）、（Ａ（２），Ｂ（２））＝（０．８１，０．７５）、（Ａ（３），Ｂ（３））＝（１．４５，１．３６）・・・、となる。
When the reproduction of the music CD-B reaches the end of the music, the
続いて、ＣＰＵ６２はこれらの（Ａ（ｎ），Ｂ（ｎ））に対し、最小二乗法による回帰直線を求める。なお、回帰直線の代わりに回帰曲線や、その他の近似曲線を求めてもよい。実際には楽曲全体の音声データについて得られる（Ａ（ｎ），Ｂ（ｎ））に対し回帰直線が求められるが、以下、説明のため、図１１から得られる９組のデータを用いて回帰直線を求めることとする。
Subsequently, the
図１２は９組の（Ａ（ｎ），Ｂ（ｎ））と、それに対する回帰直線をグラフで表したものである。回帰直線を示す式は、Ｂ＝０．９４１４Ａ−０．００６となる。この式は、音楽ＣＤ−Ｂのタイムコードを基準とした場合、音楽ＣＤ−Ｂの音声データの開始時点に対しＳＭＦの演奏データの開始時点が０．００６秒遅れており、また演奏の速度が５．８６％遅いことを示す。従って、ＣＰＵ６２は、算出したこの回帰直線の式のＡに対し、ＳＭＦに記録されているＭＩＤＩイベントのデルタタイムの値を代入することにより、各デルタタイムに対するタイミング調整を行う。図１３にこのタイミング調整を行う前のデルタタイムと、調整を行った後のデルタタイムを示す。このＣＰＵ６２のタイミング調整は、ＳＭＦの各イベントのデルタタイムを全体として５．８６％だけ減少させ、さらに０．００６秒だけ前倒しにすることを意味する。ＣＰＵ６２はタイミング調整を終えたデルタタイムで、ＳＭＦのＭＩＤＩイベントに対するデルタタイムを更新する。
FIG. 12 is a graph showing nine sets of (A (n), B (n)) and the regression line corresponding thereto. The equation indicating the regression line is B = 0.9414A−0.006. This formula is based on the time code of the music CD-B, and the start time of the SMF performance data is delayed by 0.006 seconds with respect to the start time of the audio data of the music CD-B, and the performance speed is 5.86% slower. Therefore, the
ＣＰＵ６２は、このタイミングの調整処理を終えると、音楽ＣＤドライブ１に対し、再度、音楽ＣＤ−Ｂの再生命令を送信する。この再生命令に応じ、音楽ＣＤドライブ１は音楽ＣＤ−Ｂの再生を開始し、音楽ＣＤ−Ｂに記録されている音声データとタイムコードがコントローラ部６に順次送信される。ＣＰＵ６２は受信した音声データを順次発音部４に送信し、発音部４からは音楽ＣＤ−Ｂの楽曲が音として出力される。
When the timing adjustment processing is completed, the
ＣＰＵ６２は受信した音声データを順次発音部４に送信すると同時に、ＭＩＤＩイベントのデルタタイムの示す時間情報と、音楽ＣＤドライブ１から送信されてくる音楽ＣＤ−Ｂのタイムコードの示す時間情報を順次比較し、それらが一致すると、一致したデルタタイムに対応するＭＩＤＩイベントを自動演奏ピアノ部３に送信する。自動演奏ピアノ部３はＭＩＤＩイベントを受信すると、音源３５から電子的に合成した楽音の音声データを発音部４に送信するか、もしくは駆動部３６によりピアノ３１の鍵およびペダルを動かすことにより、ＭＩＤＩイベントに応じた自動演奏を行う。その結果、ユーザは音楽ＣＤ−Ｂに記録された楽曲と、ＳＭＦに記録された演奏情報による演奏とを同時に聴くことができる。
The
［３］変形例
上述した第１実施形態および第２実施形態は、それぞれ本発明の実施形態の例示であり、上記実施形態に対しては、本発明の趣旨から逸脱しない範囲で様々な変形を加えることができる。以下、変形例を示す。
[3] Modified Examples The first embodiment and the second embodiment described above are examples of the embodiments of the present invention, and various modifications can be made to the above embodiments without departing from the spirit of the present invention. Can be added. Hereinafter, a modification is shown.
［３．１］第１変形例
第１変形例においては、同期記録再生装置ＳＳの各構成部は同じ装置の中に配置されておらず、グループごとに分離して配置されている。
例えば、以下のそれぞれのグループに分離配置することが可能である。
（１）音楽ＣＤドライブ１
（２）ＦＤドライブ２
（３）自動演奏ピアノ部３
（４）ミキサ４１およびＤ／Ａコンバータ４２
（５）アンプ４３
（６）スピーカ４４
（７）操作表示部５およびコントローラ部６
さらに、コントローラ部６は、記録動作のみを行う装置と再生動作のみを行う装置とに別々に構成されていてもよい。
[3.1] First Modification In the first modification, the components of the synchronous recording / reproducing apparatus SS are not arranged in the same apparatus, but are arranged separately for each group.
For example, it is possible to separately arrange in the following groups.
(1)
(2)
(3) Automatic
(4) Mixer 41 and D /
(5)
(6)
(7)
Furthermore, the
これらの構成部のグループ間は、オーディオケーブル、ＭＩＤＩケーブル、オーディオ用光ケーブル、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ケーブル、および専用の制御用ケーブル等で接続される。また、ＦＤドライブ２、アンプ４３、スピーカ４４等は市販のものを利用してもよい。
第１変形例によれば、同期記録再生装置ＳＳの配置の柔軟性が高まると同時に、ユーザは同期記録再生装置ＳＳの全てを新たに準備することなく、必要な構成部のみを準備することにより、必要なコストを低減できる。
The groups of these components are connected by an audio cable, a MIDI cable, an audio optical cable, a USB (Universal Serial Bus) cable, a dedicated control cable, and the like. Commercially
According to the first modified example, the flexibility of the arrangement of the synchronous recording / reproducing apparatus SS is increased, and at the same time, the user does not prepare all of the synchronous recording / reproducing apparatus SS and prepares only necessary components. Can reduce the necessary cost.
［３．２］第２変形例
第２変形例においては、同期記録再生装置ＳＳにおいて音楽ＣＤドライブ１およびＦＤドライブ２はない。その一方で、通信インタフェースはＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）に接続可能な機能を有し、外部の通信機器とＬＡＮおよびＷＡＮを介して接続されている。さらに、コントローラ部６はＨＤ（Ｈａｒｄ Ｄｉｓｋ）を有している。
[3.2] Second Modification In the second modification, there is no
コントローラ部６は、ＬＡＮを介して他の通信機器から、音声データとタイムコードを含むデジタルオーディオデータを受信し、受信したオーディオデータをＨＤに記録する。同様に、コントローラ部６は、ＬＡＮを介して他の通信機器から、オーディオデータに対応して作成されたＳＭＦを受信し、受信したＳＭＦをＨＤに記録する。
The
コントローラ部６は音楽ＣＤドライブ１から音楽ＣＤの音声データおよびタイムコードを受信する代わりに、ＨＤからデジタルオーディオデータを読み出す。また、コントローラ部６はＦＤドライブ２に対しＳＭＦの書込および読出を行う代わりに、ＨＤに対し同様の動作を行う。
第２変形例によれば、ユーザはデジタルオーディオデータおよびＳＭＦを、ＬＡＮを介して地理的に離れた通信機器との間で送受信することができる。なお、ＬＡＮはインターネット等の広域通信網と接続されていてもよい。
The
According to the second modification, the user can transmit / receive digital audio data and SMF to / from a geographically distant communication device via the LAN. The LAN may be connected to a wide area communication network such as the Internet.
なお、同じ楽曲の異なる版においては、楽曲の録音レベルが異なる場合があるが、本発明において演奏データの再生タイミングの調整に用いられる管理用イベントは、楽曲の録音レベルに関わりなく同じタイミングで生成される。なぜなら、管理用イベントの生成に用いられる２つの指標は録音レベルに対し共に比例して変化するため、その大小関係は変わらないためである。従って、録音レベルが異なる版の音声データに対しても、本発明の技術によれば、正しいタイミングで演奏データの同期再生が実現される。 Note that the recording level of music may differ between different versions of the same music, but in the present invention, the management event used for adjusting the playback timing of performance data is generated at the same timing regardless of the music recording level. Is done. This is because the two indices used to generate the management event change in proportion to the recording level, so the magnitude relationship does not change. Therefore, according to the technique of the present invention, synchronized reproduction of performance data can be realized at the correct timing even for audio data of different recording levels.
１・・・音楽ＣＤドライブ、２・・・ＦＤドライブ、３・・・自動演奏ピアノ部、４・・・発音部、５・・・操作表示部、６・・・コントローラ部、３１・・・ピアノ、３２・・・キーセンサ、３３・・・ペダルセンサ、３４・・・ＭＩＤＩイベント制御回路、３５・・・音源、３６・・・駆動部、４１・・・ミキサ、４２・・・Ｄ／Ａコンバータ、４３・・・アンプ、４４・・・スピーカ、６１・・・ＲＯＭ、６２・・・ＣＰＵ、６３・・・ＤＳＰ、６４・・・ＲＡＭ、６５・・・通信インタフェース。
DESCRIPTION OF
Claims (9)
前記第１受信手段が受信した制御データと対になっている前記第１デルタタイムデータが示す制御タイミングに従って当該制御データを出力する出力手段と、
順次再生される、前記同時並行して再生された楽曲と同じ楽曲の音声データを第２楽曲データとして受信する第２受信手段と、
前記第２楽曲データの再生に伴って当該第２楽曲データの音声波形を示す第２音声波形の前記第１指標を生成する第１生成手段と、
前記第２楽曲データの再生に伴って前記第２音声波形の前記第２指標を生成する第２生成手段と、
前記第１生成手段により生成された第１指標と前記第２生成手段により生成された第２指標とを比較することにより前記第２音声波形の変化を検出し、該変化を示す前記発生タイミングに対応する時間データを、前記第２楽曲データの再生に伴って開始された計時により生成する第３生成手段と、
前記第１受信手段が受信した前記第２デルタタイムデータの前後一定期間内に前記第３生成手段が生成した時間データが示すタイミングが存在するか否かを監視し、存在する場合には前記時間データと前記第２デルタタイムデータとの比較結果に従い、前記出力手段による制御データの出力タイミングを調整する調整手段と
を備えることを特徴とする再生装置。 The performance data is recorded as a pair of control data for instructing the sound generation control of the musical sound constituting the music and the first delta time data indicating the control timing based on the control data, and at the same time when the performance data is recorded. A first index indicating a mid-term fluctuation element of the voice waveform and a second long-term fluctuation element indicating a longer period than the middle period of the voice waveform with respect to the first voice waveform indicating the voice waveform of the reproduced music. a pair of the second delta time data indicating a generation timing of management event data and the management event data indicating the change of the first speech waveform to be detected is recorded along with the progress of easier songs by comparing the index First receiving means for receiving the first music data;
Output means for outputting the control data in accordance with the control timing indicated by the first delta time data paired with the control data received by the first receiving means;
Second receiving means for sequentially receiving, as second music data, audio data of the same music as the music played in parallel ;
A first generating means for generating the first indicator of the second speech waveform showing a speech waveform of the second musical piece data along with the reproduction of the second musical data,
A second generating unit that generates the second indication of the second speech waveform with the reproduction of the second musical data,
A change in the second speech waveform is detected by comparing the first index generated by the first generation means and the second index generated by the second generation means, and at the generation timing indicating the change. the corresponding time data, and the third generating unit that generates Ri by the timing initiated with the reproduction of the second musical data,
It is monitored whether or not the timing indicated by the time data generated by the third generation means exists within a certain period before and after the second delta time data received by the first reception means. And a adjusting unit that adjusts an output timing of the control data by the output unit according to a comparison result between the data and the second delta time data.
前記第１受信手段が受信した制御データと対になっている前記第１デルタタイムデータが示す制御タイミングに従って当該制御データを出力する出力手段と、
順次再生される、前記同時並行して再生された楽曲と同じ楽曲の音声データを第２楽曲データとして受信する第２受信手段と、
前記第２楽曲データの再生に伴って当該第２楽曲データの音声波形を示す第２音声波形の前記第１指標を生成する第１生成手段と、
前記第２楽曲データの再生に伴って前記第２音声波形の前記第２指標を生成する第２生成手段と、
前記第１生成手段により生成された第１指標と前記第２生成手段により生成された第２指標とを比較することにより前記第２音声波形の変化を検出し、該変化を示す前記発生タイミングに対応する時間データを、前記第２楽曲データの再生に伴って開始された計時により生成する第３生成手段と、
前記第３生成手段が生成した時間データと前記第１受信手段が受信した前記第２デルタタイムデータとに対し回帰分析を行うことにより得られる分析結果に基づき、前記出力手段による制御データの出力タイミングを調整する調整手段と
を備えることを特徴とする再生装置。 The performance data is recorded as a pair of control data for instructing the sound generation control of the musical sound constituting the music and the first delta time data indicating the control timing based on the control data, and at the same time when the performance data is recorded. A first index indicating a mid-term fluctuation element of the voice waveform and a second long-term fluctuation element indicating a longer period than the middle period of the voice waveform with respect to the first voice waveform indicating the voice waveform of the reproduced music. a pair of the second delta time data indicating a generation timing of management event data and the management event data indicating the change of the first speech waveform to be detected is recorded along with the progress of easier songs by comparing the index First receiving means for receiving the first music data;
Output means for outputting the control data in accordance with the control timing indicated by the first delta time data paired with the control data received by the first receiving means;
Second receiving means for sequentially receiving, as second music data, audio data of the same music as the music played in parallel ;
A first generating means for generating the first indicator of the second speech waveform showing a speech waveform of the second musical piece data along with the reproduction of the second musical data,
A second generating unit that generates the second indication of the second speech waveform with the reproduction of the second musical data,
A change in the second speech waveform is detected by comparing the first index generated by the first generation means and the second index generated by the second generation means, and at the generation timing indicating the change. the corresponding time data, and the third generating unit that generates Ri by the timing initiated with the reproduction of the second musical data,
The output timing of the control data by the output means based on the analysis result obtained by performing regression analysis on the time data generated by the third generation means and the second delta time data received by the first reception means A playback device comprising: an adjusting means for adjusting the sound.
前記第２生成手段は、前記第２音声波形が有する周波数成分のうち前記一の周波数より低い周波数である他の周波数より低い周波数成分のみを含む音声波形を示すデータを前記第２指標として生成する請求項１又は２に記載の再生装置。 The first generation means generates data indicating a speech waveform including only a frequency component lower than one frequency among frequency components of the second speech waveform as the first index,
The second generation means generates, as the second index, data indicating a speech waveform including only a frequency component lower than another frequency that is lower than the one frequency among frequency components of the second speech waveform. The reproducing apparatus according to claim 1 or 2.
前記第１受信過程で受信された制御データと対になっている前記第１デルタタイムデータが示す制御タイミングに従って当該制御データを出力する出力過程と、
順次再生される、前記同時並行して再生された楽曲と同じ楽曲の音声データを第２楽曲データとして受信する第２受信過程と、
前記第２楽曲データの再生に伴って当該第２楽曲データの音声波形を示す第２音声波形の前記第１指標を生成する第１生成過程と、
前記第２楽曲データの再生に伴って前記第２音声波形の前記第２指標を生成する第２生成過程と、
前記第１生成過程で生成された第１指標と前記第２生成過程で生成された第２指標とを比較することにより前記第２音声波形の変化を検出し、該変化を示す前記発生タイミングに対応する時間データを、前記第２楽曲データの再生に伴って開始された計時により生成する第３生成過程と、
前記第１受信過程で受信された前記第２デルタタイムデータの前後一定期間内に前記第３生成過程で生成された時間データが示すタイミングが存在するか否かを監視し、存在する場合には前記時間データと前記第２デルタタイムデータとの比較結果に従い、前記出力過程による制御データの出力タイミングを調整する調整過程と
を備えることを特徴とする再生方法。 The performance data is recorded as a pair of control data for instructing the sound generation control of the musical sound constituting the music and the first delta time data indicating the control timing based on the control data, and at the same time when the performance data is recorded. A first index indicating a mid-term fluctuation element of the voice waveform and a second long-term fluctuation element indicating a longer period than the middle period of the voice waveform with respect to the first voice waveform indicating the voice waveform of the reproduced music. a pair of the second delta time data indicating a generation timing of management event data and the management event data indicating the change of the first speech waveform to be detected is recorded along with the progress of easier songs by comparing the index A first receiving process for receiving the first music data;
An output step of outputting the control data according to the control timing of the first delta time data that is a control data paired received by the first reception process shown,
A second reception step of receiving, as second music data, audio data of the same music as the music reproduced in parallel, which are sequentially reproduced;
A first generation step of generating the first indicator of the second speech waveform showing a speech waveform of the second musical piece data along with the reproduction of the second musical data,
A second generation step of generating a pre-Symbol second indication of the second speech waveform with the reproduction of the second musical data,
A change in the second speech waveform is detected by comparing the first index generated in the first generation process with the second index generated in the second generation process, and at the generation timing indicating the change. the corresponding time data, and a third generation step that generates Ri by the timing initiated with the reproduction of the second musical data,
Monitoring whether or not the timing indicated by the time data generated in the third generation process exists within a certain period before and after the second delta time data received in the first reception process; And adjusting the output timing of the control data according to the output process according to a comparison result between the time data and the second delta time data.
前記第１受信過程で受信された制御データと対になっている前記第１デルタタイムデータが示す制御タイミングに従って当該制御データを出力する出力過程と、
順次再生される、前記同時並行して再生された楽曲と同じ楽曲の音声データを第２楽曲データとして受信する第２受信過程と、
前記第２楽曲データの再生に伴って当該第２楽曲データの音声波形を示す第２音声波形の前記第１指標を生成する第１生成過程と、
前記第２楽曲データの再生に伴って前記第２音声波形の前記第２指標を生成する第２生成過程と、
前記第１生成過程で生成された第１指標と前記第２生成過程で生成された第２指標とを比較することにより前記第２音声波形の変化を検出し、該変化を示す前記発生タイミングに対応する時間データを、前記第２楽曲データの再生に伴って開始された計時により生成する第３生成過程と、
前記第３生成過程で生成された時間データと前記第１受信過程で受信された前記第２デルタタイムデータとに対し回帰分析を行うことにより得られる分析結果に基づき、前記出力過程による制御データの出力タイミングを調整する調整過程と
を備えることを特徴とする再生方法。 The performance data is recorded as a pair of control data for instructing the sound generation control of the musical sound constituting the music and the first delta time data indicating the control timing based on the control data, and at the same time when the performance data is recorded. A first index indicating a mid-term fluctuation element of the voice waveform and a second long-term fluctuation element indicating a longer period than the middle period of the voice waveform with respect to the first voice waveform indicating the voice waveform of the reproduced music. a pair of the second delta time data indicating a generation timing of management event data and the management event data indicating the change of the first speech waveform to be detected is recorded along with the progress of easier songs by comparing the index A first receiving process for receiving the first music data;
An output process of outputting the control data according to the control timing indicated by the first delta time data paired with the control data received in the first reception process;
A second reception step of receiving, as second music data, audio data of the same music as the music reproduced in parallel, which are sequentially reproduced;
A first generation step of generating the first indicator of the second speech waveform showing a speech waveform of the second musical piece data along with the reproduction of the second musical data,
A second generation step of generating a pre-Symbol second indication of the second speech waveform with the reproduction of the second musical data,
A change in the second speech waveform is detected by comparing the first index generated in the first generation process with the second index generated in the second generation process, and at the generation timing indicating the change. the corresponding time data, and a third generation step that generates Ri by the timing initiated with the reproduction of the second musical data,
Based on the analysis result obtained by performing regression analysis on the time data generated in the third generation process and the second delta time data received in the first reception process , An adjustment process for adjusting the output timing.
前記第２生成過程において、前記第２音声波形が有する周波数成分のうち前記一の周波数より低い周波数である他の周波数より低い周波数成分のみを含む音声波形を示すデータを前記第２指標として生成する請求項４又は５に記載の再生方法。 In the first generation process, data indicating a speech waveform including only a frequency component lower than one frequency among frequency components of the second speech waveform is generated as the first index,
In the second generation process, data indicating a speech waveform including only a frequency component lower than another frequency that is lower than the one frequency among frequency components of the second speech waveform is generated as the second index. The reproduction method according to claim 4 or 5.
楽曲を構成する楽音の発音制御を指示する制御データおよび前記制御データによる制御タイミングを示す第１デルタタイムデータが対になった演奏データが記録されるとともに、前記演奏データの記録時に同時並行して再生された楽曲の音声波形を示す第１音声波形に対して、音声波形の中期的な変動要素を示す第１指標と音声波形の前記中期より長い期間となる長期的な変動要素を示す第２指標とを比較することにより検出される当該第１音声波形の変化を示す管理イベントデータおよび前記管理イベントデータの発生タイミングを示す第２デルタタイムデータとの対が楽曲の進行に沿って記録された第１楽曲データを受信する第１受信手段と、
前記第１受信手段が受信した制御データと対になっている前記第１デルタタイムデータが示す制御タイミングに従って当該制御データを出力する出力手段と、
順次再生される、前記同時並行して再生された楽曲と同じ楽曲の音声データを第２楽曲データとして受信する第２受信手段と、
前記第２楽曲データの再生に伴って当該第２楽曲データの音声波形を示す第２音声波形の前記第１指標を生成する第１生成手段と、
前記第２楽曲データの再生に伴って前記第２音声波形の前記第２指標を生成する第２生成手段と、
前記第１生成手段により生成された第１指標と第２生成手段により生成された前記第２指標とを比較することにより前記第２音声波形の変化を検出し、該変化を示す前記発生タイミングに対応する時間データを、前記第２楽曲データの再生に伴って開始された計時により生成する第３生成手段と、
前記第１受信手段が受信した前記第２デルタタイムデータの前後一定期間内に前記第３生成手段が生成した時間データが示すタイミングが存在するか否かを監視し、存在する場合には前記時間データと前記第２デルタタイムデータとの比較結果に従い、前記出力手段による制御データの出力タイミングを調整する調整手段と
して機能させるためのプログラム。 Performance data is recorded that is paired with control data for instructing the sound generation control of the musical sound constituting the music and the first delta time data indicating the control timing by the control data, and at the same time when the performance data is recorded. The first index indicating the mid-term fluctuation element of the audio waveform and the long-term fluctuation element that is longer than the middle period of the audio waveform with respect to the first voice waveform indicating the voice waveform of the reproduced music and a pair of the second delta time data indicating a generation timing of management event data and the management event data indicating the change of the first speech waveform detected by comparing the second index is along the traveling effortless songs First receiving means for receiving the recorded first music data;
Output means for outputting the control data in accordance with the control timing indicated by the first delta time data paired with the control data received by the first receiving means;
Second receiving means for sequentially receiving, as second music data, audio data of the same music as the music played in parallel ;
A first generating means for generating the first indicator of the second speech waveform showing a speech waveform of the second musical piece data along with the reproduction of the second musical data,
A second generating means for generating a pre-Symbol second indication of the second speech waveform with the reproduction of the second musical data,
A change in the second speech waveform is detected by comparing the first index generated by the first generation means and the second index generated by the second generation means, and at the generation timing indicating the change. the corresponding time data, and the third generating unit that generates Ri by the timing initiated with the reproduction of the second musical data,
It is monitored whether or not the timing indicated by the time data generated by the third generation means exists within a certain period before and after the second delta time data received by the first reception means. A program for functioning as adjusting means for adjusting the output timing of control data by the output means in accordance with a comparison result between data and the second delta time data.
楽曲を構成する楽音の発音制御を指示する制御データおよび前記制御データによる制御タイミングを示す第１デルタタイムデータが対になった演奏データが記録されるとともに、前記演奏データの記録時に同時並行して再生された楽曲の音声波形を示す第１音声波形に対して、音声波形の中期的な変動要素を示す第１指標と音声波形の前記中期より長い期間となる長期的な変動要素を示す第２指標とを比較することにより検出される当該第１音声波形の変化を示す管理イベントデータおよび前記管理イベントデータの発生タイミングを示す第２デルタタイムデータとの対が楽曲の進行に沿って記録された第１楽曲データを受信する第１受信手段と、
前記第１受信手段が受信した制御データと対になっている前記第１デルタタイムデータが示す制御タイミングに従って当該制御データを出力する出力手段と、
順次再生される、前記同時並行して再生された楽曲と同じ楽曲の音声データを第２楽曲データとして受信する第２受信手段と、
前記第２楽曲データの再生に伴って当該第２楽曲データの音声波形を示す第２音声波形の前記第１指標を生成する第１生成手段と、
前記第２楽曲データの再生に伴って前記第２音声波形の前記第２指標を生成する第２生成手段と、
前記第１生成手段により生成された第１指標と前記第２生成手段により生成された第２指標とを比較することにより前記第２音声波形の変化を検出し、該変化を示す前記発生タイミングに対応する時間データを、前記第２楽曲データの再生に伴って開始された計時により生成する第３生成手段と、
前記第３生成手段が生成した時間データと前記第１受信手段が受信した前記第２デルタタイムデータとに対し回帰分析を行うことにより得られる分析結果に基づき、前記出力手段による制御データの出力タイミングを調整する調整手段と
して機能させるためのプログラム。 Performance data is recorded that is paired with control data for instructing the sound generation control of the musical sound constituting the music and the first delta time data indicating the control timing based on the control data, and at the same time when the performance data is recorded. The first index indicating the mid-term fluctuation element of the audio waveform and the long-term fluctuation element that is longer than the middle period of the audio waveform with respect to the first voice waveform indicating the voice waveform of the reproduced music and a pair of the second delta time data indicating a generation timing of management event data and the management event data indicating the change of the first speech waveform detected by comparing the second index is along the traveling effortless songs First receiving means for receiving the recorded first music data;
Output means for outputting the control data in accordance with the control timing indicated by the first delta time data paired with the control data received by the first receiving means;
Second receiving means for sequentially receiving, as second music data, audio data of the same music as the music played in parallel ;
A first generating means for generating the first indicator of the second speech waveform showing a speech waveform of the second musical piece data along with the reproduction of the second musical data,
A second generating means for generating a pre-Symbol second indication of the second speech waveform with the reproduction of the second musical data,
A change in the second speech waveform is detected by comparing the first index generated by the first generation means and the second index generated by the second generation means, and at the generation timing indicating the change. the corresponding time data, and the third generating unit that generates Ri by the timing initiated with the reproduction of the second musical data,
The output timing of the control data by the output means based on the analysis result obtained by performing regression analysis on the time data generated by the third generation means and the second delta time data received by the first reception means A program to make it function as an adjustment means to adjust.
前記第２生成手段は、前記第２音声波形が有する周波数成分のうち前記一の周波数より低い周波数である他の周波数より低い周波数成分のみを含む音声波形を示すデータを前記第２指標として生成する請求項７又は８に記載のプログラム。 The first generation means generates data indicating a speech waveform including only a frequency component lower than one frequency among frequency components of the second speech waveform as the first index,
The second generation means generates, as the second index, data indicating a speech waveform including only a frequency component lower than another frequency that is lower than the one frequency among frequency components of the second speech waveform. The program according to claim 7 or 8.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007031101A JP4207082B2 (en) | 2007-02-09 | 2007-02-09 | REPRODUCTION DEVICE, REPRODUCTION METHOD, AND PROGRAM |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007031101A JP4207082B2 (en) | 2007-02-09 | 2007-02-09 | REPRODUCTION DEVICE, REPRODUCTION METHOD, AND PROGRAM |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002242482A Division JP3969249B2 (en) | 2002-08-22 | 2002-08-22 | Apparatus and method for synchronous reproduction of audio data and performance data |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2007122085A JP2007122085A (en) | 2007-05-17 |
| JP2007122085A5 JP2007122085A5 (en) | 2008-05-22 |
| JP4207082B2 true JP4207082B2 (en) | 2009-01-14 |
Family
ID=38145908
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007031101A Expired - Fee Related JP4207082B2 (en) | 2007-02-09 | 2007-02-09 | REPRODUCTION DEVICE, REPRODUCTION METHOD, AND PROGRAM |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4207082B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4714230B2 (en) * | 2008-02-27 | 2011-06-29 | 株式会社コナミデジタルエンタテインメント | Audio processing apparatus, audio processing method, and program |
-
2007
- 2007-02-09 JP JP2007031101A patent/JP4207082B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2007122085A (en) | 2007-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3915585B2 (en) | DATA GENERATION METHOD, PROGRAM, RECORDING MEDIUM, AND DATA GENERATION DEVICE | |
| JP2007133035A (en) | Digital sound recording device, digital sound recording method, and program and storage medium thereof | |
| JP5103980B2 (en) | Processing system, audio reproducing apparatus, and program | |
| JP2007199306A (en) | Beat extracting device and method | |
| US7683251B2 (en) | Method and apparatus for playing in synchronism with a digital audio file an automated musical instrument | |
| JP2008209786A (en) | Playback apparatus and automatic musical instrument | |
| JP3925349B2 (en) | Apparatus and method for synchronous reproduction of audio data and performance data | |
| JP3969249B2 (en) | Apparatus and method for synchronous reproduction of audio data and performance data | |
| JP4207082B2 (en) | REPRODUCTION DEVICE, REPRODUCTION METHOD, AND PROGRAM | |
| JP7367835B2 (en) | Recording/playback device, control method and control program for the recording/playback device, and electronic musical instrument | |
| US7507900B2 (en) | Method and apparatus for playing in synchronism with a DVD an automated musical instrument | |
| JP4063048B2 (en) | Apparatus and method for synchronous reproduction of audio data and performance data | |
| JP5109426B2 (en) | Electronic musical instruments and programs | |
| JP4542805B2 (en) | Variable speed reproduction method and apparatus, and program | |
| JP4048917B2 (en) | Apparatus and method for synchronous reproduction of audio data and performance data | |
| JP3915517B2 (en) | Multimedia system, playback apparatus and playback recording apparatus | |
| JP3804536B2 (en) | Musical sound reproduction recording apparatus, recording apparatus and recording method | |
| WO2024034117A1 (en) | Audio data processing device, audio data processing method, and program | |
| US20210297778A1 (en) | Audio interface apparatus and recording system | |
| JP2002050943A (en) | Studio sound recording device and method | |
| JP3879684B2 (en) | Song data conversion apparatus and song data conversion program | |
| JP6681240B2 (en) | Electronic musical instrument system, music reproduction control device, and electronic musical instrument | |
| JP3867579B2 (en) | Multimedia system and playback apparatus | |
| JPH10307581A (en) | Waveform data compressing device and method | |
| Dofat | Introduction to Digital Audio |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070209 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080408 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080523 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080527 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080724 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080924 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081007 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111031 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111031 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121031 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121031 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131031 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |