JP4207082B2 - REPRODUCTION DEVICE, REPRODUCTION METHOD, AND PROGRAM - Google Patents
REPRODUCTION DEVICE, REPRODUCTION METHOD, AND PROGRAM Download PDFInfo
- Publication number
- JP4207082B2 JP4207082B2 JP2007031101A JP2007031101A JP4207082B2 JP 4207082 B2 JP4207082 B2 JP 4207082B2 JP 2007031101 A JP2007031101 A JP 2007031101A JP 2007031101 A JP2007031101 A JP 2007031101A JP 4207082 B2 JP4207082 B2 JP 4207082B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- music
- indicating
- generation
- timing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Electrophonic Musical Instruments (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
Description
本発明は、オーディオデータの再生に同期して、楽曲の演奏制御に関する情報を含む演奏データの再生を行う装置および方法に関する。 The present invention relates to an apparatus and method for reproducing performance data including information related to music performance control in synchronization with reproduction of audio data.
楽曲を再生するための手段として、音楽CD(Compact Disc)などの記憶媒体から音声データを読み出し、読み出された音声データから音声を生成して出力する装置がある。また、楽曲を再生するための他の手段として、FD(Floppy(登録商標) Disk)などの記憶媒体から楽曲の演奏制御に関する情報を含むデータを読み出し、読み出されたデータを用いて音源装置の発音を制御することにより自動演奏を行う装置がある。楽曲の演奏制御に関する情報を含むデータとしては、MIDI(Musical Instrument Digital Interface)規格に従って作成されたMIDIデータがある。 As means for reproducing music, there is an apparatus that reads audio data from a storage medium such as a music CD (Compact Disc) and generates and outputs audio from the read audio data. Further, as another means for reproducing the music, data including information related to performance control of the music is read from a storage medium such as FD (Floppy (registered trademark) Disk), and the read data is used for the sound source device. Some devices perform automatic performance by controlling pronunciation. As data including information related to music performance control, there is MIDI data created according to the MIDI (Musical Instrument Digital Interface) standard.
最近では、音楽CDに記録される音声データの再生に対し、MIDIデータによる自動演奏を同期させる方法が提案されている。その中の1つとして、音楽CDに記録されているタイムコードを用いる方法がある(例えば、特許文献1および特許文献2参照)。以下、この方法について説明する。
Recently, a method has been proposed in which automatic performance using MIDI data is synchronized with reproduction of audio data recorded on a music CD. One of them is a method using a time code recorded on a music CD (see, for example,
まず、音楽CD再生装置により音楽CDの音声データおよびタイムコードが再生される。そして、音声データは音として出力され、タイムコードは記録装置に供給される。ここで、タイムコードは、あるまとまった単位の音声データに対応付けられたデータであり、各タイムコードは、楽曲の開始時点から当該タイムコードに対応した音声データの再生タイミングまでの経過時間を表している。また、音楽CDの再生に合わせて、楽器の演奏が行われ、楽器から記録装置にMIDIデータが順次供給される。記録装置は、楽器からMIDIデータを受け取ると、MIDIデータをその受信のタイミングを示す時間情報とともに記録媒体に記録する。また、記録装置は、タイムコードを音楽CD再生装置から受け取ると、これをその受信タイミングを示す時間情報とともに記録媒体に記録する。その結果、記録媒体には、タイムコードとMIDIデータとが混在したファイルが作成される。このファイルにおいて、各タイムコードとMIDIデータは、楽曲再生開始時刻から各々の再生時刻までの経過時間を表す時間情報を伴っている。 First, audio data and a time code of a music CD are reproduced by the music CD reproducing device. The audio data is output as sound, and the time code is supplied to the recording device. Here, the time code is data associated with a certain unit of audio data, and each time code represents an elapsed time from the start of the music to the reproduction timing of the audio data corresponding to the time code. ing. The musical instrument is played in accordance with the reproduction of the music CD, and MIDI data is sequentially supplied from the musical instrument to the recording device. When the recording device receives the MIDI data from the musical instrument, the recording device records the MIDI data on a recording medium together with time information indicating the reception timing. Further, when the recording device receives the time code from the music CD reproducing device, the recording device records it on the recording medium together with time information indicating the reception timing. As a result, a file in which time code and MIDI data are mixed is created on the recording medium. In this file, each time code and MIDI data is accompanied by time information indicating the elapsed time from the music playback start time to each playback time.
このようにしてMIDIデータおよびタイムコードが記録媒体に記録されると、以後、同一楽曲の音声データが音楽CDから再生されるとき、これに同期させて記録媒体からMIDIデータを読み出し、自動演奏を行うことができる。その動作は次の通りである。 When the MIDI data and the time code are recorded on the recording medium in this way, when the audio data of the same music is subsequently reproduced from the music CD, the MIDI data is read from the recording medium in synchronism with this and the automatic performance is performed. It can be carried out. The operation is as follows.
まず、音楽CD再生装置により音楽CDから音声データとタイムコードが再生される。そして、音声データは、音として出力され、タイムコードはMIDIデータの再生装置に供給される。それと同時に再生装置は、ファイルに記録されているMIDIデータを、ともに記録されている時間情報に従って読み出し、MIDIデータによる自動演奏が可能な楽器に順次送信する。その際、再生装置は音楽CD再生装置から受信するタイムコードと、MIDIデータとともにファイルから読み出されるタイムコードとに基づき、音楽CDの音声データの再生とMIDIデータの再生の時間的ずれを調整する。その結果、音楽CDの音声データとMIDIデータの同期再生が実現される。 First, audio data and time code are reproduced from the music CD by the music CD reproducing device. The audio data is output as sound, and the time code is supplied to a MIDI data reproducing apparatus. At the same time, the playback device reads the MIDI data recorded in the file in accordance with the time information recorded together and sequentially transmits it to the musical instrument capable of automatic performance using the MIDI data. At that time, the playback device adjusts the time lag between the playback of the audio data of the music CD and the playback of the MIDI data based on the time code received from the music CD playback device and the time code read from the file together with the MIDI data. As a result, the synchronized playback of the audio data of the music CD and the MIDI data is realized.
しかしながら、同じ楽曲であっても異なるタイムコードが付された音楽CDに関しては、音楽CDのタイムコードを用いる方法により、音楽CDの音声データとMIDIデータの同期再生を実現することはできない。 However, for music CDs with different time codes even for the same music, synchronized playback of audio data and MIDI data of the music CD cannot be realized by a method using the time code of the music CD.
現在、同じ楽曲について、異なる版の音楽CDが数多くある。音楽CDには通常、楽曲のマスタデータに対しリバーブ等の音響効果を加えるなどの編集が施された音声データが記録されている。そのような異なる版の音楽CDにおいては、楽曲の開始までのオフセット時間が異なる場合がある。また、編集後の音声データを記録する際に用いられるクロックの速度はマスタデータが記録された際に用いられたクロックの速度と厳密に一致しない場合がある。その結果、異なる編集の施された音声データを記録する、異なる版の音楽CDには、わずかに時間間隔の異なるタイムコードが付されている場合がある。そのような場合において、従来のタイムコードを用いる技術により作成された同期演奏用のMIDIデータを、同じ楽曲の異なる版の音楽CDに対し用いると、楽曲の先頭において音楽CDの楽曲とMIDIデータによる演奏がずれたり、楽曲の先頭では音楽CDの楽曲とMIDIデータによる演奏の同期がとれていても、時間の経過に伴い、徐々に音楽CDの楽曲とMIDIデータによる演奏がずれてきたりする。 Currently, there are many different versions of music CDs for the same song. Music CDs usually store audio data that has been edited such as adding reverberation or other acoustic effects to the master data of the music. In such different versions of music CDs, the offset time until the beginning of the music may be different. Also, the clock speed used when recording the edited audio data may not exactly match the clock speed used when the master data is recorded. As a result, time codes having slightly different time intervals may be attached to different versions of music CDs that record differently edited audio data. In such a case, if MIDI data for synchronized performance created by a technique using a conventional time code is used for a music CD of a different version of the same music piece, the music CD and the MIDI data are used at the beginning of the music piece. Even if the performance is out of sync or the performance of the music CD and the MIDI data is synchronized at the beginning of the music, the music CD and the performance of the MIDI data are gradually shifted over time.
従って、従来のタイムコードを用いる技術によれば、同じ楽曲の音声データを記録する音楽CDであっても、それぞれの音楽CDの版に対して付されているタイムコードの時間間隔のバリエーションに応じて、異なる同期演奏用のMIDIデータを準備しなければならないという問題があった。 Therefore, according to the conventional technology using time codes, even for music CDs that record audio data of the same music, according to variations in time intervals of time codes attached to the respective music CD versions. Therefore, there is a problem that MIDI data for different synchronized performances must be prepared.
上述した状況に鑑み、本発明は、同じ楽曲の音声データであっても、記録時に用いられたクロックの速度が互いに異なる等の理由により互いに異なる時間間隔で記録された複数の版の音声データに対し、同期再生が可能なMIDIデータ等の演奏データの記録装置、再生装置、記録方法、再生方法、およびプログラムを提供することを目的とする。 In view of the above-described situation, the present invention can be applied to a plurality of versions of audio data recorded at different time intervals because of different clock speeds used for recording, even if the audio data is the same music. On the other hand, an object of the present invention is to provide a recording device, a reproducing device, a recording method, a reproducing method, and a program for performance data such as MIDI data that can be synchronized and reproduced.
以上説明した課題を解決するため、本発明は、楽曲の音声波形を示す音声データを受信する第1受信手段と、演奏の制御を指示する制御データを受信する第2受信手段と、前記音声データの所定期間の変化傾向を示す第1指標を生成する第1生成手段と、前記音声データの前記所定期間より長い期間の変化傾向を示す第2指標を生成する第2生成手段と、前記制御データと前記制御データの受信タイミングを示す第1時間データとからなる演奏データを記録するとともに、前記第1指標と前記第2指標とを比較して、前記音声データの急激な変化を検出し、前記急激な変化のタイミングを示す第2時間データを記録する記録手段と、を備えることを特徴とする記録装置を提供する。 In order to solve the problems described above, the present invention provides first receiving means for receiving sound data indicating a sound waveform of music, second receiving means for receiving control data for instructing performance control, and the sound data. First generation means for generating a first index indicating a change tendency of a predetermined period of time, second generation means for generating a second index indicating a change tendency of the audio data for a period longer than the predetermined period, and the control data And the first time data indicating the reception timing of the control data are recorded, and the first index and the second index are compared to detect a sudden change in the audio data, There is provided a recording apparatus comprising: recording means for recording second time data indicating the timing of abrupt change.
また、本発明は、演奏の制御を指示する制御データおよび該演奏の制御の実行タイミングを指示する第1時間データからなる演奏データと、音声波形の急激な変化のタイミングを示す第2時間データとを受信する第1受信手段と、楽曲の音声波形を示す音声データを受信する第2受信手段と、前記音声データの所定期間の変化傾向を示す第1指標を生成する第1生成手段と、前記音声データの前記所定期間より長い期間の変化傾向を示す第2指標を生成する第2生成手段と、前記第1指標と前記第2指標とを比較して、前記音声データの急激な変化を検出し、前記急激な変化のタイミングを示す第3時間データを生成する第3生成手段と、前記第2時間データおよび前記第3時間データの示す時間情報に基づき、前記第1時間データを調整する調整手段と、前記調整手段により調整された前記第1時間データに従うタイミングで、前記制御データの送信を行う送信手段とを備えることを特徴とする再生装置を提供する。 The present invention also provides performance data comprising control data for instructing performance control and first time data for instructing execution timing of the performance control, and second time data indicating the timing of a sudden change in the sound waveform; First receiving means for receiving the sound, second receiving means for receiving the sound data indicating the sound waveform of the music, first generating means for generating a first index indicating a change tendency of the sound data over a predetermined period, The second generation means for generating a second index indicating a change tendency of the audio data for a period longer than the predetermined period is compared with the first index and the second index to detect a sudden change in the audio data. And adjusting the first time data on the basis of the second time data and the time information indicated by the third time data, the third generating means for generating the third time data indicating the timing of the rapid change. And adjusting means, at a timing according to the first hour data adjusted by said adjustment means, to provide a reproducing apparatus, characterized in that it comprises a transmission unit that transmits the control data.
また、本発明は、楽曲の音声波形を示す音声データを受信する第1受信過程と、演奏の制御を指示する制御データを受信する第2受信過程と、前記音声データの所定期間の変化傾向を示す第1指標を生成する第1生成過程と、前記音声データの前記所定期間より長い期間の変化傾向を示す第2指標を生成する第2生成過程と、前記制御データと前記制御データの受信タイミングを示す第1時間データとからなる演奏データを記録するとともに、前記第1指標と前記第2指標とを比較して、前記音声データの急激な変化を検出し、前記急激な変化のタイミングを示す第2時間データを記録する記録過程とを備えることを特徴とする記録方法を提供する。 Further, the present invention relates to a first reception process for receiving audio data indicating the audio waveform of a song, a second reception process for receiving control data for instructing performance control, and a change tendency of the audio data over a predetermined period. A first generation process for generating a first index to be shown, a second generation process for generating a second index indicating a change tendency of the audio data over a period longer than the predetermined period, and reception timing of the control data and the control data The performance data including the first time data indicating the first time data is recorded, the first index is compared with the second index, a sudden change in the audio data is detected, and the timing of the sudden change is indicated. And a recording process for recording the second time data.
また、本発明は、演奏の制御を指示する制御データおよび該演奏の制御の実行タイミングを指示する第1時間データからなる演奏データと、音声波形の急激な変化のタイミングを示す第2時間データとを受信する第1受信過程と、楽曲の音声波形を示す音声データを受信する第2受信過程と、前記音声データの所定期間の変化傾向を示す第1指標を生成する第1生成過程と、前記音声データの前記所定期間より長い期間の変化傾向を示す第2指標を生成する第2生成過程と、前記第1指標と前記第2指標とを比較して、前記音声データの急激な変化を検出し、前記急激な変化のタイミングを示す第3時間データを生成する第3生成過程と、前記第2時間データおよび前記第3時間データの示す時間情報に基づき、前記第1時間データを調整する調整過程と、前記調整手段により調整された前記第1時間データに従うタイミングで、前記制御データの送信を行う送信過程とを備えることを特徴とする再生方法を提供する。 The present invention also provides performance data comprising control data for instructing performance control and first time data for instructing execution timing of the performance control, and second time data indicating the timing of a sudden change in the sound waveform; A first reception process for receiving a sound, a second reception process for receiving sound data indicating a sound waveform of a song, a first generation process for generating a first index indicating a change tendency of the sound data over a predetermined period, and A second generation process for generating a second index indicating a change tendency of audio data over a period longer than the predetermined period is compared with the first index and the second index, and a sudden change in the audio data is detected. And adjusting the first time data based on a third generation process for generating third time data indicating the timing of the sudden change, and time information indicated by the second time data and the third time data. And adjustment process, the timing according to the adjusted first hour data by adjusting means, to provide a reproducing method characterized by comprising a transmission process for transmitting the control data.
また、本発明は、これらの記録方法および再生方法を用いる処理をコンピュータに実行させるプログラムを提供する。 The present invention also provides a program for causing a computer to execute processing using these recording methods and reproducing methods.
また、本発明は、演奏の制御を指示する制御データおよび該演奏の制御の実行タイミングを指示する第1時間データからなる演奏データと、音声波形の急激な変化のタイミングを示す第2時間データが記録された記録媒体を提供する。 The present invention also includes performance data comprising control data for instructing performance control, first time data for instructing execution timing of the performance control, and second time data indicating the timing of abrupt change in the sound waveform. A recorded recording medium is provided.
かかる構成による装置、方法、プログラム、および記録媒体を用いると、演奏データの記録時と再生時のそれぞれにおいて、楽曲の音声波形が急激に変化するタイミングで時間調整用の時間データが生成され、記録時に生成された時間データと、再生時に生成される時間データとの比較により、制御データの送信タイミングが調整される。その結果、音声データと制御データとの同期再生が実現される。 When the apparatus, method, program, and recording medium having such a configuration are used, time data for time adjustment is generated and recorded at the timing when the sound waveform of the music changes suddenly at the time of recording and playback of the performance data. The transmission timing of the control data is adjusted by comparing the time data generated sometimes and the time data generated during reproduction. As a result, synchronized reproduction of audio data and control data is realized.
また、本発明にかかる記録装置は、前記音声データの再生タイミングを示すタイムコードを受信する第3受信手段を備え、前記記録手段は、前記タイムコードが示す時間情報に基づいて、前記第1時間データおよび前記第2時間データを生成する構成としてもよい。
また、本発明にかかる再生装置は、前記音声データの再生タイミングを示すタイムコードを受信する第3受信手段を備え、前記第3生成手段は、前記タイムコードが示す時間情報に基づいて前記第3時間データを生成し、前記送信手段は、前記タイムコードが示す時間情報に基づいて前記制御データの送信を行う構成としてもよい。
The recording apparatus according to the present invention further includes third receiving means for receiving a time code indicating the reproduction timing of the audio data, and the recording means is configured to receive the first time based on time information indicated by the time code. The data and the second time data may be generated.
The playback apparatus according to the present invention further includes third receiving means for receiving a time code indicating the playback timing of the audio data, and the third generating means is configured to receive the third code based on time information indicated by the time code. Time data may be generated, and the transmission unit may transmit the control data based on time information indicated by the time code.
かかる構成による記録装置および再生装置を用いると、再生速度にバイアスを持つ再生装置により再生される音声データに対しても、タイムコードに従った計時が行われるため、制御データの同期再生が正しく行われる。 When the recording device and the playback device having such a configuration are used, the time data according to the time code is also measured for the audio data played back by the playback device having a bias in the playback speed. Is called.
また、本発明にかかる記録装置において、前記第1生成手段は、前記音声データが表す音声波形に対し、第1周波数以下の周波数帯の成分を取り出すフィルタ処理を施すことにより、前記第1指標を生成し、前記第2生成手段は、前記音声データが表す音声波形に対し、前記第1周波数よりも低い第2周波数以下の周波数帯の成分を取り出すフィルタ処理を施すことにより、前記第2指標を生成する構成としてもよい。
また、本発明にかかる再生装置において、前記第1生成手段は前記音声データが表す音声波形に対し、第1周波数以下の周波数帯の成分を取り出すフィルタ処理を施すことにより、前記第1指標を生成し、前記第2生成手段は前記音声データが表す音声波形に対し、前記第1周波数よりも低い第2周波数以下の周波数帯の成分を取り出すフィルタ処理を施すことにより、前記第2指標を生成する構成としてもよい。
Further, in the recording apparatus according to the present invention, the first generation unit performs a filtering process for extracting a component in a frequency band equal to or lower than a first frequency on the voice waveform represented by the voice data, thereby obtaining the first index. And the second generation means performs a filtering process to extract a component of a frequency band equal to or lower than a second frequency lower than the first frequency, on the voice waveform represented by the voice data, thereby obtaining the second index. It is good also as composition to generate.
In the playback apparatus according to the present invention, the first generation unit generates the first index by performing a filtering process for extracting a component in a frequency band equal to or lower than the first frequency on the voice waveform represented by the voice data. Then, the second generation means generates the second index by performing a filtering process for extracting a component in a frequency band equal to or lower than the second frequency lower than the first frequency with respect to the voice waveform represented by the voice data. It is good also as a structure.
かかる構成による記録装置および再生装置を用いると、好適な時間間隔および精度を有する時間調整用の時間データが得られる。 When the recording apparatus and reproducing apparatus having such a configuration are used, time data for time adjustment having a suitable time interval and accuracy can be obtained.
また、本発明にかかる記録装置において、前記記録手段は、前記急激な変化を検出したタイミングから前記音声データにおける過去の一定期間に急激な変化が検出されていない場合にのみ、前記第2時間データを記録する構成としてもよい。
また、本発明にかかる再生装置において、前記第3生成手段は、前記急激な変化を検出したタイミングから前記音声データにおける過去の一定期間に急激な変化が検出されていない場合にのみ、前記第3時間データを生成する構成としてもよい。
Further, in the recording apparatus according to the present invention, the recording means is arranged such that the second time data only when a sudden change is not detected in a certain period in the past from the timing at which the sudden change is detected. May be recorded.
Further, in the playback apparatus according to the present invention, the third generation means is configured so that the third generation means is provided only when a sudden change is not detected in the audio data for a certain period in the past from the timing when the sudden change is detected. It is good also as a structure which produces | generates time data.
かかる構成による記録装置および再生装置を用いると、音声波形が頻繁に急激な変化を示す場合であっても、時間調整用の時間データの時間間隔が適度に保たれ、隣接する時間データ間における混同を生じない。 When the recording device and the playback device having such a configuration are used, even when the voice waveform frequently shows abrupt changes, the time interval of the time data for time adjustment is kept moderate, and confusion between adjacent time data is obtained. Does not occur.
また、本発明にかかる再生装置において、前記調整手段は、前記第2時間データと前記第3時間データとに対し回帰分析を行うことにより得られる回帰直線もしくは回帰曲線が示す値に基づき、前記演奏データの再生タイミングを調整する構成としてもよい。 Further, in the playback device according to the present invention, the adjusting means may perform the performance based on a value indicated by a regression line or a regression curve obtained by performing regression analysis on the second time data and the third time data. A configuration may be employed in which the data reproduction timing is adjusted.
かかる構成による再生装置を用いると、時間調整用の時間データにおける誤差が全体として調整されるため、同期再生における制御データの送信タイミングの精度が高まる。 When the reproduction apparatus having such a configuration is used, the error in the time data for time adjustment is adjusted as a whole, so that the accuracy of the transmission timing of the control data in the synchronous reproduction is increased.
以上示したように、本発明によれば、異なる周波数のクロックに基づいて記録された等の理由により、同じ楽曲であってもわずかに異なる速度で再生される、異なる版の音声データのいずれに対しても、正しいタイミングで演奏データの同期再生を行うことができる。従って、同じ楽曲の異なる版に対し異なる演奏データを準備する必要がなく、データの作成および管理が簡便化される。 As described above, according to the present invention, any one of different versions of audio data that is reproduced at a slightly different speed even if the same music is recorded due to reasons such as being recorded based on clocks of different frequencies. On the other hand, the performance data can be synchronously reproduced at the correct timing. Therefore, it is not necessary to prepare different performance data for different versions of the same music piece, and the creation and management of data is simplified.
[1]第1実施形態
[1.1]構成、機能、およびデータフォーマット
[1.1.1]全体構成
図1は、本発明の第1実施形態に係る同期記録再生装置SSの構成を示す図である。同期記録再生装置SSは、音楽CDドライブ1、FDドライブ2、自動演奏ピアノ部3、発音部4、操作表示部5およびコントローラ部6により構成されている。
[1] First Embodiment [1.1] Configuration, Function, and Data Format [1.1.1] Overall Configuration FIG. 1 shows the configuration of a synchronous recording / reproducing apparatus SS according to the first embodiment of the present invention. FIG. The synchronous recording / reproducing apparatus SS includes a
音楽CDドライブ1、FDドライブ2、自動演奏ピアノ部3、発音部4および操作表示部5はそれぞれ通信線によりコントローラ部6と接続されている。また、自動演奏ピアノ部3と発音部4は、通信線により直接接続されている。
The
[1.1.2]音楽CDドライブ
音楽CDに記録されているオーディオデータは、音声情報を示す音声データと、音声データの再生のタイミングを示すタイムコードを含んでいる。音楽CDドライブ1は、コントローラ部6からの指示に従って、装填された音楽CDからオーディオデータを読み出し、読み出したオーディオデータに含まれる音声データを順次出力する装置である。音楽CDドライブ1は通信線により、コントローラ部6の通信インタフェース65と接続されている。
[1.1.2] Music CD Drive The audio data recorded on the music CD includes audio data indicating audio information and a time code indicating the reproduction timing of the audio data. The
音楽CDドライブ1から出力される音声データは、サンプリング周波数44100Hz、量子化ビット数16の左右2チャンネルからなるデジタル音声データである。なお、音楽CDドライブ1から出力されるデータには、タイムコードは含まれていない。音楽CDドライブ1の構成は、音声データをデジタル出力可能な一般的な音楽CDドライブと同様であるため、その説明は省略する。
The audio data output from the
[1.1.3]FDドライブ
FDドライブ2は、SMF(Standard MIDI File)をFDに記録し、またFDに記録されているSMFを読み取り、読み取ったSMFを送信する装置である。FDドライブ2は通信線により、コントローラ部6の通信インタフェース65と接続されている。なお、FDドライブ2の構成は、一般的なFDドライブと同様であるため、その説明は省略する。
[1.1.3] FD Drive The FD drive 2 is a device that records SMF (Standard MIDI File) on the FD, reads the SMF recorded on the FD, and transmits the read SMF. The FD drive 2 is connected to the
[1.1.4]MIDIイベントおよびSMF
SMFは、MIDI規格に従った演奏制御データであるMIDIイベントと、各MIDIイベントの実行タイミングを示すデータであるデルタタイムを含むファイルである。図2および図3を用いて、MIDIイベントおよびSMFのフォーマットを説明する。
[1.1.4] MIDI events and SMF
The SMF is a file including a MIDI event that is performance control data according to the MIDI standard, and a delta time that is data indicating the execution timing of each MIDI event. The MIDI event and SMF format will be described with reference to FIGS.
図2にはMIDIイベントの例として、ノートオンイベント、ノートオフイベント、およびシステムエクスクルーシブイベントが示されている。ノートオンイベントは楽音の発音を指示するためのMIDIイベントで、発音を示す9nH(nはチャンネル番号、Hは16進数を示す、以下同様)、音高を示すノートナンバ、および発音の強さ(もしくは打鍵の速さ)を示すベロシティから成る。同様に、ノートオフイベントは楽音の消音を指示するためのMIDIイベントで、消音を示す8nH、音高を示すノートナンバ、および消音時の強さ(もしくは鍵を離す速さ)を示すベロシティから成る。一方、システムエクスクルーシブイベントは製品やソフトウェアの製造者が自由に定めるフォーマットのデータを送受信もしくは記録するためのMIDIイベントで、システムエクスクルーシブイベントの開始を示すF0H、データ長、データ、およびシステムエクスクルーシブイベントの終了を示すF7Hから成る。このように、MIDIイベントは時間情報を持たず、リアルタイムに楽音の発音、消音、およびその他の制御を行う目的で利用される。 FIG. 2 shows a note-on event, a note-off event, and a system exclusive event as examples of the MIDI event. The note-on event is a MIDI event for instructing the pronunciation of a musical sound. The note-on event is 9 nH (n is a channel number, H is a hexadecimal number, and so on), the note number is a pitch, and the strength of the sound ( Or velocity indicating the speed of keystroke). Similarly, the note-off event is a MIDI event for instructing the muting of a musical sound, and is composed of 8nH indicating muting, a note number indicating pitch, and a velocity indicating the strength at the time of muting (or the speed at which the key is released). . On the other hand, the system exclusive event is a MIDI event for transmitting / receiving or recording data in a format freely determined by the manufacturer of the product or software. F0H indicating the start of the system exclusive event, data length, data, and the end of the system exclusive event It consists of F7H which shows. As described above, the MIDI event does not have time information and is used for the purpose of performing tone generation, muting, and other control in real time.
図3にはSMFのフォーマットの概略が示されている。SMFはヘッダチャンクとトラックチャンクから成る。ヘッダチャンクには、トラックチャンクに含まれるデータのフォーマットや時間単位等に関する制御データが含まれている。トラックチャンクには、MIDIイベントと、各MIDIイベントの実行タイミングを示すデルタタイムが含まれている。 FIG. 3 shows an outline of the SMF format. The SMF consists of a header chunk and a track chunk. The header chunk includes control data related to the format and time unit of data included in the track chunk. The track chunk includes a MIDI event and a delta time indicating the execution timing of each MIDI event.
SMFにおいて、デルタタイムとしては、直前のMIDIイベントに対する相対的な時間をクロックと呼ばれる時間単位で表現する方法と、楽曲の先頭の時点からの絶対的な時間を時間、分、秒およびフレームと呼ばれる時間単位の組み合わせで表現する方法がある。以下の説明においては、説明を容易にするため、デルタタイムは、基準となる時点からの絶対的な時間とし、その単位を秒で表すこととする。
なお、本明細書においては、MIDIデータとはMIDI規格に従って作成されるデータの総称である。
In SMF, the delta time is a method of expressing the relative time for the immediately preceding MIDI event in units of time called a clock, and the absolute time from the beginning of the music is called hours, minutes, seconds and frames. There is a method of expressing by a combination of time units. In the following description, for ease of explanation, the delta time is an absolute time from the reference time point, and its unit is expressed in seconds.
In this specification, MIDI data is a generic name for data created in accordance with the MIDI standard.
[1.1.5]自動演奏ピアノ部
自動演奏ピアノ部3は、同期記録再生装置SSのユーザによる鍵操作およびペダル操作に応じて、音響的なピアノ音および電子的な楽音合成によるピアノ音を出力する楽音発生装置である。また、自動演奏ピアノ部3はユーザによる鍵操作およびペダル操作に応じてMIDIイベントを生成し、生成したMIDIイベントを送信する。さらに、自動演奏ピアノ部3はMIDIイベントを受信して、受信したMIDIイベントに応じて、音響的なピアノ音および電子的な楽音合成によるピアノ音による自動演奏を行う。
[1.1.5] Automatic Performance Piano Unit The automatic
自動演奏ピアノ部3は、ピアノ31、キーセンサ32と、ペダルセンサ33、MIDIイベント制御回路34、音源35、および駆動部36から構成されている。
The automatic
キーセンサ32およびペダルセンサ33は、それぞれピアノ31の複数の鍵および複数のペダルの各々に配設され、それぞれ鍵およびペダルの位置を検出する。キーセンサ32およびペダルセンサ33は、検出された位置情報を、それぞれの鍵およびペダルに対応した識別番号と検出の時間情報と共に、MIDIイベント制御回路34に送信する。
The
MIDIイベント制御回路34は、キーセンサ32およびペダルセンサ33から、それぞれの鍵およびペダルの位置情報を、鍵およびペダルの識別情報、および時間情報と共に受信し、これらの情報から即時にノートオンイベントやノートオフイベント等のMIDIイベントを生成し、生成したMIDIイベントをコントローラ部6および音源35に出力する回路である。さらに、MIDIイベント制御回路34は、コントローラ部6からMIDIイベントを受信し、受信したMIDIイベントを音源35もしくは駆動部36に転送する機能も持つ。なお、MIDIイベント制御回路34が、コントローラ部6から受信するMIDIイベントを音源35と駆動部36のいずれに転送するかは、コントローラ部6の指示による。
The MIDI
音源35は、MIDIイベント制御回路34からMIDIイベントを受信し、受信したMIDIイベントに基づいて、各種楽器の音情報を左右2チャンネルのデジタル音声データとして出力する装置である。音源35は受信したMIDIイベントによって指示された音高のデジタル音声データを電子的に合成し、発音部4のミキサ41に送信する。
The
駆動部36は、ピアノ31の各鍵および各ペダルに配設され、それらを駆動するソレノイド群およびそれらのソレノイド群を制御する制御回路から構成される。駆動部36の制御回路は、MIDIイベント制御回路からMIDIイベントを受信すると、対応する鍵もしくはペダルに配設されたソレノイドへ供給する電流量を調節し、ソレノイドが発生する磁力を制御することにより、MIDIイベントに応じた鍵もしくはペダルの動作を実現する。
The
[1.1.6]発音部
発音部4は、自動演奏ピアノ部3およびコントローラ部6から音声データを受信し、受信した音声データを音に変換して出力する装置である。発音部4は、ミキサ41、D/Aコンバータ42、アンプ43、およびスピーカ44から構成されている。
[1.1.6] Sound Generation Unit The
ミキサ41は左右2チャンネルからなるデジタル音声データを複数受信し、それらを左右1組のデジタル音声データに変換するデジタルステレオミキサである。ミキサ41は自動演奏ピアノ部3の音源35からデジタル音声データを受信すると同時に、音楽CDドライブ1により音楽CDから読み出されたデジタル音声データを、コントローラ部6を介して受信する。ミキサ41は受信したこれらのデジタル音声データを算術平均し、左右1組のデジタル音声データとしてD/Aコンバータ42に送信する。
The mixer 41 is a digital stereo mixer that receives a plurality of digital audio data consisting of left and right channels and converts them into a set of left and right digital audio data. The mixer 41 receives the digital audio data from the
D/Aコンバータ42は、ミキサ41からデジタル音声データを受信し、受信したデジタル音声データをアナログ音声信号に変換し、アンプ43に出力する。アンプ43は、D/Aコンバータ42から入力されるアナログ音声信号を増幅し、スピーカ44に出力する。スピーカ44は、アンプ43から入力される増幅されたアナログ音声信号を音に変換する。その結果、音楽CDに記録された音声データおよび音源35が生成する音声データは、ステレオの音として発音部4から出力される。
The D /
[1.1.7]操作表示部
操作表示部5は、同期記録再生装置SSのユーザが同期記録再生装置SSの各種操作を行う際に用いるユーザインタフェースである。
操作表示部5はユーザが同期記録再生装置SSに指示を与える際に押下するキーパッド、ユーザが同期記録再生装置SSの状態を確認するための液晶ディスプレイ等を有している。ユーザによりキーパッドが押下されると、操作表示部5は押下されたキーパッドに対応する信号をコントローラ部6に出力する。また、操作表示部5はコントローラ部6から文字や図形の情報を含むビットマップデータを受信すると、受信したビットマップデータに基づき液晶ディスプレイに文字や図形を表示する。
[1.1.7] Operation Display Unit The
The
[1.1.8]コントローラ部
コントローラ部6は、同期記録再生装置SSの全体を制御する装置である。コントローラ部6はROM(Read Only Memory)61、CPU(Central Processing Unit)62、DSP(Digital Signal Processor)63、RAM(Random Access Memory)64、および通信インタフェース65から構成されている。また、これらの構成要素はバスにより相互に接続されている。
[1.1.8] Controller Unit The
ROM61は各種の制御用プログラムを格納する不揮発性のメモリである。ROM61が格納する制御用プログラムには、一般的な制御処理を行うプログラムに加え、後述するSMFの記録動作および再生動作における処理をCPU62に実行させるプログラムが含まれている。CPU62は汎用的な処理を実行可能なマイクロプロセッサであり、ROM61から制御用プログラムを読み込み、読み込んだ制御用プログラムに従った制御処理を行う。DSP63はデジタル音声データを高速に処理可能なマイクロプロセッサであり、CPU62の制御に従い、音楽CDドライブ1やFDドライブ2からコントローラ部6が受信するデジタル音声データに対し、後述する管理用イベント生成処理において必要とされるフィルタ処理等の処理を施し、その結果得られるデータをCPU62に送信する。RAM64は揮発性メモリであり、CPU62およびDSP63が利用するデータを一時的に格納する。通信インタフェース65は各種フォーマットのデジタルデータを送受信可能なインタフェースであり、音楽CDドライブ1、FDドライブ2、自動演奏ピアノ部3、発音部4、および操作表示部5との間で送受信されるデジタルデータに対し必要なフォーマット変換を行い、それらの各装置とコントローラ部6との間のデータの中継を行う。
The
[1.2]動作
続いて、同期記録再生装置SSの動作を説明する。
[1.2.1]記録動作
まず、同期記録再生装置SSのユーザが市販の音楽CDの再生に合わせてピアノを演奏し、その演奏の情報をMIDIデータとしてFDに記録する際の同期記録再生装置SSにおける動作を説明する。なお、以下に説明する記録動作において用いられる音楽CDを、後述する再生動作において用いられる音楽CDと区別するために、音楽CD−Aと呼ぶ。
[1.2] Operation Next, the operation of the synchronous recording / reproducing apparatus SS will be described.
[1.2.1] Recording Operation First, the user of the synchronous recording / reproducing apparatus SS performs the piano in accordance with the reproduction of the commercially available music CD, and the synchronous recording / reproducing when the performance information is recorded on the FD as MIDI data. The operation in the device SS will be described. Note that a music CD used in a recording operation described below is referred to as a music CD-A in order to distinguish it from a music CD used in a reproduction operation described later.
[1.2.1.1]記録の開始操作
ユーザは、音楽CD−Aを音楽CDドライブ1に、また空のFDをFDドライブ2にセットする。続いて、ユーザは演奏データの記録開始に対応する操作表示部5のキーパッドを押下する。操作表示部5は押下されたキーパッドに対応する信号をコントローラ部6に出力する。
[1.2.1.1] Recording start operation The user sets the music CD-A in the
コントローラ部6のCPU62は操作表示部5から演奏データの記録開始に対応する信号を受信すると、音楽CDドライブ1に音楽CDの再生命令を送信する。この再生命令に応じて、音楽CDドライブ1は音楽CD−Aに記録されている音声データをコントローラ部6に順次送信する。コントローラ部6は音楽CDドライブ1から、1/44100秒ごとに左右1組の音声データを受信する。以下、左右1組のデータの値を(R(n),L(n))と表し、この1組のデータの値、もしくは後述する管理用イベント生成処理においてこの1組のデータから生成される各データの値を「サンプル値」と呼ぶ。R(n)およびL(n)はそれぞれ右チャンネルのデータおよび左チャンネルのデータの値を示し、−32768〜32767のいずれかの整数である。nは音声データの順序を表す整数で、先頭のデータから順に0、1、2、・・・と増加する。
When the
[1.2.1.2]音声データの発音部への送信
CPU62は音楽CDドライブ1からサンプル値を受信すると、その時点を0秒として計時を開始する。それと同時に、CPU62は受信したサンプル値を順次、発音部4に送信する。発音部4はコントローラ部6からサンプル値を受信すると、これを順次、音に変換し出力する。その結果、ユーザは音楽CD−Aに記録されている楽曲を聴くことができる。
[1.2.1.2] Transmission of Audio Data to Sound Generation Unit When the
[1.2.1.3]管理用イベントの生成
CPU62は受信したサンプル値を発音部4に送信すると同時に、受信したサンプル値を順次、RAM64に記録する。CPU62は所定数のサンプル値をRAM64に記録すると、DSP63に対し、以下に説明する管理用イベント生成処理を行う、実行命令を送信する。CPU62がDSP63に対し管理用イベント生成処理の実行命令を送信するまでにRAM64に記録されるサンプル値の数は、以下に説明する処理において用いられるフィルタの特性に依存する。フィルタにおいて用いられる遅延器の遅延時間が長ければ、その数は大きくなる。以下の説明においては、例として、1秒間分のサンプル値、すなわち44100個のサンプル値がRAM64に記録された時点で、CPU62は管理用イベント生成処理の実行命令を送信するものとする。
[1.2.1.3] Generation of Management
管理用イベント生成処理とは、RAM64に記録される音声データの示す音声波形に対し、ある周波数以下の周波数帯の成分を取り出すフィルタ処理と、その周波数より低い周波数以下の周波数帯の成分を取り出すフィルタ処理とを行い、それら2つのフィルタ処理により得られる値の比較判定を行うことにより、管理用イベントを生成する処理である。なお管理用イベントとは、後述するタイミング調整処理において用いられる時間情報を作成するためのフラグである。
以下、図4を参照しながら、管理用イベント生成処理を説明する。
The management event generating process is a filter process for extracting a component in a frequency band below a certain frequency from a sound waveform indicated by the sound data recorded in the
Hereinafter, the management event generation process will be described with reference to FIG.
DSP63はCPU62より管理用イベント生成処理の実行命令を受信すると、RAM64に記録されているサンプル値の先頭から44100個、すなわち(R(0),L(0))〜(R(44099)、L(44099))を読み出す(ステップS1)。以下、44100個の一連のサンプル値を「未加工音声データ」と呼び、未加工音声データを区別する必要がある場合には、(R(n),L(n))を末尾とする未加工音声データを「未加工音声データ(n)」のように表す。すなわち、ステップS1において最初にDSP63により読み出される未加工音声データは、未加工音声データ(44099)である。
When the
続いて、DSP63は読み出した未加工音声データの各サンプル値の左右の値を相加平均することにより、ステレオのデータをモノラルのデータに変換する(ステップS2)。このモノラルへの変換処理は、このステップより後の処理のDSP63への負荷を軽減するための処理である。
Subsequently, the
続いて、DSP63はモノラルに変換された一連のサンプル値について、絶対値を求める(ステップS3)。このステップにおける処理は、各サンプル値のパワーの代替値を求めるための処理である。絶対値はパワーを示す二乗値よりも値が小さく処理が容易であるため、本実施形態においては、各サンプル値の二乗値の代替値として絶対値が用いられる。従って、DSP63の処理能力が高い場合、このステップにおいて各サンプル値の絶対値の代わりに二乗値を算出してもよい。
Subsequently, the
続いて、DSP63はステップS3において絶対値に変換された一連のサンプル値に対し、さらにローパスフィルタを用いたフィルタ処理を行う(ステップS4)。ステップS1〜ステップS4の処理の結果得られる値を以下、「中期指標」と呼び、(R(n),L(n))に対応する中期指標を「中期指標(n)」と呼ぶ。以下、例として、ステップS4において用いられるローパスフィルタの周波数は100Hzとする。中期指標(n)は、一連のサンプル値が示す音声波形のnにおける中期的な変化の傾向を示す。すなわち、一連のサンプル値が示す音声波形は短期的に上下に変化するが、ローパスフィルタによるフィルタ処理を施された一連のサンプル値は、先行する複数のサンプル値により値の変化が抑制される。その結果、一連の中期指標が示す音声波形からは短期的な変動要素が取り除かれ、中期的および長期的な変動要素のみが残る。ステップS4の処理により、中期指標(n)を末尾とする一連の中期指標、すなわち・・・中期指標(n−2)、中期指標(n−1)、中期指標(n)が作成される。DSP63はこれらの中期指標をRAM64に記録する(ステップS5)。
Subsequently, the
続いて、DSP63はステップS4において得られる一連の中期指標に対し、くし形フィルタを用いたフィルタ処理を行う(ステップS6)。このステップにおける処理は、一連の中期指標が示す音声波形から、さらに、一定周波数以下の低周波数帯の成分を取り出すための処理である。このステップはステップS4で用いるローパスフィルタの周波数よりも低い周波数のローパスフィルタを用いる処理と同様であるが、くし形フィルタはローパスフィルタと比較して、通常、DSP63への負荷が小さいため、本実施形態においてはローパスフィルタがくし形フィルタで代用されている。
Subsequently, the
図5は、ステップS6において利用可能なくし形フィルタの一例について、その構成を示している。図5において、四角形で示される処理は遅延処理を示し、z-kにおけるkは、その遅延処理における遅延時間が(サンプリング周期×k)であることを意味する。前述のとおり、音楽CDのサンプリング周波数は44100Hzであるため、サンプリング周期は1/44100秒である。一方、三角形で示される処理は乗算処理を示し、三角形の中に示される値が乗算の係数を示す。以下、例として、k=22050とし、その結果、ステップS6のフィルタ処理により、1Hzより高い周波数帯の成分がおおよそ取り除かれる。すなわち、ステップS6の処理の結果得られる一連の値が示す音声波形は、一連の中期指標が示す音声波形から中期的な変動要素を取り除き、長期的な変動要素のみを取り出したものとなる。 FIG. 5 shows the configuration of an example of a comb filter that can be used in step S6. In FIG. 5, processing indicated by a rectangle indicates delay processing, and k in z−k means that the delay time in the delay processing is (sampling period × k). As described above, since the sampling frequency of the music CD is 44100 Hz, the sampling period is 1/444100 seconds. On the other hand, processing indicated by a triangle indicates multiplication processing, and a value indicated in the triangle indicates a multiplication coefficient. Hereinafter, as an example, k = 222050 is set, and as a result, components in a frequency band higher than 1 Hz are roughly removed by the filtering process in step S6. In other words, the speech waveform indicated by the series of values obtained as a result of the processing in step S6 is obtained by removing only the long-term variation element from the speech waveform indicated by the series of medium-term indicators by removing the medium-term variation factor.
続いて、DSP63は、ステップS6のフィルタ処理により得られる一連の値のそれぞれに対し、正の定数hを乗ずる(ステップS7)。このhによる乗算処理は、次のステップS8における比較判定処理において肯定的な結果が得られる頻度を調整する処理であり、一般的にhの値が小さいと比較判定処理における肯定的な結果が得られる時間間隔が狭くなる。この時間間隔は、広すぎると以下のステップS11における管理用イベントの生成の時間間隔が広くなり、その結果、後述するタイミング調整処理における精度が低くなる。一方、比較判定処理における肯定的な結果が得られる時間間隔が狭すぎると、以下のステップS10の処理により次々とそれらの肯定的な結果がキャンセルされてしまうため、やはり管理用イベントの生成の時間間隔が広くなり、その結果、タイミング調整処理における精度が低くなる。従って、hの値としては、適度の頻度で管理用イベントが生成される値が経験的に用いられる。
Subsequently, the
ステップS7の処理の結果得られる値を以下、「長期指標」と呼び、(R(n),L(n))に対応する長期指標を「長期指標(n)」と呼ぶ。ステップS7の処理により、長期指標(n)を末尾とする一連の長期指標、すなわち・・・長期指標(n−2)、長期指標(n−1)、長期指標(n)が作成される。DSP63はこれらの長期指標をRAM64に記録する(ステップS8)。
The value obtained as a result of the processing in step S7 is hereinafter referred to as “long-term index”, and the long-term index corresponding to (R (n), L (n)) is referred to as “long-term index (n)”. Through the processing in step S7, a series of long-term indicators ending with the long-term indicator (n), that is, a long-term indicator (n-2), a long-term indicator (n-1), and a long-term indicator (n) are created. The
続いて、DSP63は、RAM64から、中期指標(n)と長期指標(n)を読み出し、中期指標(n)が長期指標(n)以上であるか否かの比較判定を行う(ステップS9)。ステップS9において最初にDSP63により読み出される中期指標および長期指標は、中期指標(44099)および長期指標(44099)である。この比較判定処理は、未加工音声データが示す音声波形が、(R(n),L(n))のサンプル値に対応する時点において、中期的に大きく変動したことを示す。すなわち、楽曲の音声波形において、1Hz〜100Hzの周波数帯に含まれる音のボリュームが急速に大きくなると、中期指標の値が長期指標の値を上回り、ステップS9における比較判定処理からは肯定的な結果(以下、「Yes」と呼ぶ)が得られる。
Subsequently, the
ステップS9の比較判定処理によりYesが得られると、DSP63はその時点の時刻をRAM64に記録する。同時にDSP63はRAM64から、過去に行われたステップS9における比較判定処理でYesが得られた時刻の記録を読み出し、過去の期間τにYesが得られた記録があるか否かを判定する(ステップS10)。このステップにおける判定処理は、短い時間間隔でステップS9における比較判定処理の結果がYesとなる場合、次のステップS11において、同じく短い時間間隔で管理用イベントを生成することを防ぐための処理である。もし短い時間間隔で管理用イベントが生成されると、後述するタイミング調整処理において、記録されている管理用イベントと、新たに得られる音声データにより生成される管理用イベントとを正しく対応づけることが困難となる。ステップS10の処理により、期間τ以下の時間間隔で近接して管理用イベントが生成されることが回避される。τの値としては、生成される管理用イベントが適度の時間間隔となる値が経験的に用いられる。なお、ステップS10における最初の判定処理においては、先行するステップS9がないため、判定結果はNoとなる。
When Yes is obtained by the comparison determination process in step S <b> 9, the
ステップS10における判定処理により否定的な結果(以下、「No」と呼ぶ)が得られた場合、DSP63は上記の一連の処理の結果、未加工音声データの示す音声波形が、(R(n),L(n))に対応する時点で所定の条件を満たしたことを示す管理用イベントをCPU62に送信する(ステップS11)。
When a negative result (hereinafter referred to as “No”) is obtained in the determination process in step S10, the
ステップS9における比較判定の結果がNoであった場合、ステップS10における判定の結果がYesであった場合、およびステップS11の処理を終了した場合、DSP63はCPU62が音楽CDドライブ1から新たなサンプル値、すなわち(R(n+1),L(n+1))を受信し、そのサンプル値をRAM64に記録するまで待機する。新たなサンプル値がRAM64に記録されると(ステップS12)、DSP63は処理をステップS1に戻し、新たにRAM64に記録されたサンプル値を末尾とする一連のサンプル値、すなわち未加工音声データ(n+1)に対し、上述したステップS1以下の処理を行う。
If the comparison determination result in step S9 is No, if the determination result in step S10 is Yes, and if the processing in step S11 is terminated, the
以上のステップS1〜ステップS12の処理は、nの値を1ずつ増加させながら、ユーザが演奏データの記録終了の指示を行うまで続けられる。以上が管理用イベント生成処理の説明である。図6は、実際の音声データに対し、管理用イベント生成処理を行った場合の管理用イベント生成の様子を示す図である。なお、この図の作成においては、ステップS4のローフィルタとして、1段のIIR(Infinite Impluse Response)フィルタが用いられている。また、ステップS7における定数hとしては4を、またステップS10における期間τとしては0.55秒が用いられている。 The processes in steps S1 to S12 are continued until the user gives an instruction to end recording of performance data while increasing the value of n by 1. The above is the description of the management event generation process. FIG. 6 is a diagram showing a state of management event generation when management event generation processing is performed on actual audio data. In the creation of this figure, a one-stage IIR (Infinite Impulse Response) filter is used as the low filter in step S4. Further, 4 is used as the constant h in step S7, and 0.55 seconds is used as the period τ in step S10.
図6において、第1の管理用イベントが生成される時点Aのすぐ後に、中期指標が長期指標を上回る時点としてBおよびCがあるが、管理用イベントはAにおいてのみ生成される。なぜなら、BおよびCはAから所定の期間、すなわち0.55秒を経過していないため、ステップS10の判定の結果がYesとなり、ステップS11の処理が行われないためである。 In FIG. 6, B and C are the time points when the medium-term index exceeds the long-term index immediately after the time point A when the first management event is generated, but the management event is generated only in A. This is because B and C have not passed a predetermined period from A, that is, 0.55 seconds, so that the result of determination in step S10 is Yes and the process in step S11 is not performed.
[1.2.1.4]MIDIイベントの生成
上述したDSP63による管理用イベント生成処理が行われる一方で、ユーザはピアノ31を用いた演奏を開始する。すなわち、ユーザは発音部4から出力される音楽CD−Aの楽曲を聴きながら、その楽曲に合わせてピアノ31の打鍵およびペダル操作を行う。
[1.2.1.4] Generation of MIDI Event While the management event generation process by the
ユーザのピアノ31を用いた演奏の情報は、キーセンサ32およびペダルセンサ33にて鍵およびペダルの動きとして検出され、MIDIイベント制御回路34にてMIDIイベントに変換された後、コントローラ部6のCPU62に送信される。
Information on performance using the user's
[1.2.1.5]イベントのSMFへの記録
上述したように、CPU62は音楽CD−Aの再生の間、DSP63から管理用イベントを、自動演奏ピアノ部3のMIDIイベント制御回路34からMIDIイベントを受信する。図7は、管理用イベントの生成とMIDIイベントの生成の時間的な関係を示す模式図である。CPU62は計時を開始してから、すなわち音楽CDドライブ1から最初のサンプル値を受信した時点から、0.13秒、0.81秒、1.45秒・・・の時間が経過した時点で管理用イベントを受信する。また、CPU62は計時を開始してから、0.49秒、1.23秒、2.18秒・・・の時間が経過した時点でMIDIイベントを受信する。
[1.2.1.5] Recording Event to SMF As described above, the
CPU62は管理用イベントを受信すると、管理用イベントを示すシステムエクスクルーシブイベントを生成し、生成したシステムエクスクルーシブイベントに対し、管理用イベントの受信時点における経過時間を示すデルタタイムを付して、RAM64に記録する。同様に、CPU62はMIDIイベントを受信すると、受信したMIDIイベントに対し、MIDIイベントの受信時点における経過時間を示すデルタタイムを付して、RAM64に記録する。
When the
音楽CD−Aの楽曲の再生が終了し、ピアノ31を用いたユーザによる演奏も終了すると、ユーザは演奏データの記録終了に対応する操作表示部5のキーパッドを押下する。操作表示部5は押下されたキーパッドに対応する信号をコントローラ部6に送信する。CPU62は、操作表示部5から演奏データの記録終了を示す信号を受信すると、音楽CDドライブ1に音楽CDの再生停止命令を送信する。この再生停止命令に応じて、音楽CDドライブ1は音楽CD−Aの再生を停止する。
When the reproduction of the music CD-A is finished and the performance by the user using the
続いて、CPU62は、RAM64に記録した管理用イベントを示すシステムエクスクルーシブイベントおよびMIDIイベントを、対応するデルタタイムと共に読み出し、それらのデータを組み合わせ、SMFのトラックチャンクを生成する。さらに、CPU62は作成したトラックチャンクに対し、これに応じたヘッダチャンクを付加し、SMFを生成する。図8は、CPU62が生成するSMFの概略を示す図である。CPU62は、SMFの生成を完了すると、生成したSMFを書込命令と共にFDドライブ2に送信する。FDドライブ2はCPU62から書込命令およびSMFを受信すると、SMFをセットされているFDに書き込む。
Subsequently, the
[1.2.2]再生動作
続いて、上述した方法によって記録されたSMFを再生し、音楽CDの音声データとSMFのMIDIデータを同期させる際の動作を説明する。以下の再生動作において用いられる音楽CDは、上述した記録動作において用いられた音楽CD−Aと同じ楽曲を含んでいるが、版が異なっており、音楽CDに含まれる楽曲の演奏速度がわずかに異なっている。また、この音楽CDに含まれる音声データは、マスタデータに対する音響効果等の編集が加えられているため、音楽CD−Aに含まれる音声データと、その内容にわずかの差異があり、音声データの示す音声波形のレベルも異なっている。従って、以下に説明する再生動作において用いられる音楽CDを音楽CD−Aと区別するため、音楽CD−Bと呼ぶ。
[1.2.2] Reproduction Operation Next, an operation for reproducing the SMF recorded by the above-described method and synchronizing the audio data of the music CD and the MIDI data of the SMF will be described. The music CD used in the following playback operation includes the same music as the music CD-A used in the recording operation described above, but the version is different and the performance speed of the music included in the music CD is slightly lower. Is different. Further, since the audio data included in the music CD is edited such as the acoustic effect on the master data, there is a slight difference in the content from the audio data included in the music CD-A. The level of the voice waveform shown is also different. Therefore, in order to distinguish the music CD used in the reproduction operation described below from the music CD-A, it is called a music CD-B.
[1.2.2.1]再生の開始操作
ユーザは、音楽CD−Bを音楽CDドライブ1に、またSMFの記録されたFDをFDドライブ2にセットする。続いて、ユーザは演奏データの再生開始に対応する操作表示部5のキーパッドを押下する。操作表示部5は押下されたキーパッドに対応する信号をコントローラ部6に出力する。
[1.2.2.1] Playback start operation The user sets the music CD-B in the
CPU62は操作表示部5から演奏データの再生開始を指示する信号を受信すると、まずFDドライブ2に対しSMFの送信命令を送信する。FDドライブ2はこのSMFの送信命令に応じて、FDからSMFを読み出し、読み出したSMFをコントローラ部6に送信する。CPU62はFDドライブ2からSMFを受信し、受信したSMFをRAM64に記録する。
When the
続いて、CPU62は音楽CDドライブ1に音楽CDの再生命令を送信する。この再生命令に応じて、音楽CDドライブ1は音楽CD−Bに記録されている音声データをコントローラ部6に順次送信する。コントローラ部6は音楽CDドライブ1から、1/44100秒ごとに左右1組のデータを受信する。ここでCPU62が音楽CDドライブ1から受信するデータの値を(r(n),l(n))と表す。なお、r(n)およびl(n)の値の範囲、nおよび以下で用いる「サンプル値」の定義は、R(n)およびL(n)におけるものと同様である。
Subsequently, the
[1.2.2.2]音声データの発音部への送信
CPU62は音楽CDドライブ1からサンプル値、すなわち(r(0),l(0))、(r(1),l(1))、(r(2),l(2))、・・・を受信すると、受信したサンプル値を発音部4に送信する。発音部4はコントローラ部6からサンプル値を受信すると、これを音に変換し出力する。その結果、ユーザは音楽CD−Bに記録されている楽曲を聴くことができる。
[1.2.2.2] Transmission of Audio Data to Sound Generation
[1.2.2.3]管理用イベントの生成
CPU62は受信したサンプル値を発音部4に送信すると同時に、受信したサンプル値を順次、RAM64に記録する。CPU62は所定数のサンプル値をRAM64に記録すると、DSP63に対し、管理用イベント生成処理の実行命令を送信する。DSP63はこの実行命令を受信すると、RAM64に順次記録される音楽CD−Bの一連のサンプル値に対し、図4を用いて説明した管理用イベント生成処理を行う。その結果、DSP63は図4のステップS10の判定結果がNoとなるタイミングで、順次、CPU62に対し管理用イベントを送信する。
[1.2.2.3] Generation of Management
[1.2.2.4]MIDIイベントの再生
一方、CPU62は音楽CDドライブ1から最初のサンプル値、すなわち(r(0),l(0))を受信すると、その時点を0秒とし計時を開始する。この計時による経過時間を「時間T」と呼ぶ。同時に、CPU62はRAM64からSMFを読み出し、その時点の時間Tと、SMFに含まれるデルタタイムを順次比較する。時間Tとデルタタイムが一致した場合、もしそのデルタタイムに対応するイベントがMIDIイベントである場合、CPU62はそのMIDIイベントを自動演奏ピアノ部3に送信する。
[1.2.2.4] Playback of MIDI Event On the other hand, when the
自動演奏ピアノ部3において、MIDIイベント制御回路34はMIDIイベントをCPU62から受信すると、受信したMIDIイベントを音源35もしくは駆動部36に送信する。音源35にMIDIイベントが送信される場合、音源35は受信されるMIDIイベントに従い、楽器の音を示す音声データを順次、発音部4に送信する。発音部4は、既に再生されている音楽CD−Bの楽曲の音と共に、音源35から受信される楽器音による演奏をスピーカ44から出力する。一方、駆動部36にMIDIイベントが送信される場合、駆動部36は受信されるMIDIイベントに従い、ピアノ31の鍵およびペダルを動かす。いずれの場合においても、ユーザは音楽CD−Bに記録された楽曲と、SMFに記録された演奏情報による楽器音による演奏とを同時に聴くことができる。
In the automatic
しかしながら、既述のとおり、音楽CD−Bに記録されている楽曲は、音楽CD−Aに記録されている楽曲とわずかに異なる速度で録音されているため楽曲の再生が進むに従い、MIDIイベントによる演奏と楽曲はずれていく。図9はSMFに記録されているMIDIイベントおよび管理用イベントと、音楽CD−Bが再生される際に生成される管理用イベントおよびタイミング調整処理を施した後のMIDIイベントの時間的関係を示す図である。この図の例では、音楽CD−Bに音声データが記録された際に用いられたクロック周波数が、音楽CD−Aに音声データが記録された際に用いられたクロック周波数よりもやや大きかったため、その結果、同じ音楽CDドライブ1により再生した場合、音楽CD−Bに記録された楽曲が音楽CD−Aに記録された楽曲よりも速く演奏されている。従って、SMFに記録されているデルタタイムに従いMIDIイベントを自動演奏ピアノ部3に送信すると、自動演奏ピアノ部3による自動演奏は音楽CD−Bの楽曲に対し遅れてしまう。そのようなMIDIイベントによる演奏と音楽CDの再生における時間的ずれを調整するため、CPU62はSMFに記録されているMIDIイベントに対し、以下に説明するタイミング調整処理を行う。
However, as described above, the music recorded on the music CD-B is recorded at a slightly different speed from the music recorded on the music CD-A. The performance and music are going off. FIG. 9 shows the temporal relationship between the MIDI event and the management event recorded in the SMF, the management event generated when the music CD-B is played back, and the MIDI event after performing the timing adjustment process. FIG. In the example of this figure, the clock frequency used when the audio data is recorded on the music CD-B is slightly higher than the clock frequency used when the audio data is recorded on the music CD-A. As a result, when the
タイミング調整処理とは、音楽CD−Bの音声データに基づき生成される管理用イベントの生成のタイミングと、SMFに記録されている管理用イベントのデルタタイムとを用いて、MIDIイベントのデルタタイムを調整する処理である。以下、SMFに記録されている管理用イベントを「管理用イベントA」、音楽CD−Bの音声データに基づき生成される管理用イベントを「管理用イベントB」と呼ぶ。 The timing adjustment process uses the timing of generating a management event generated based on the audio data of the music CD-B and the delta time of the management event recorded in the SMF to calculate the delta time of the MIDI event. It is a process to adjust. Hereinafter, the management event recorded in the SMF is referred to as “management event A”, and the management event generated based on the audio data of the music CD-B is referred to as “management event B”.
CPU62はDSP63から管理用イベントBを受信すると、その受信のタイミングをRAM64に記録する。一方、CPU62は、時間Tとデルタタイムが一致し、そのデルタタイムに対応するイベントが管理用イベントである場合、そのデルタタイムの示す時間の前後一定の期間に管理用イベントBが受信されるか否かの監視を行う。以下の説明では例として、CPU62は管理用イベントAのデルタタイムの前0.2秒および後0.2秒の間、管理用イベントBの受信を監視するものとする。すなわち、CPU62は管理用イベントAのデルタタイムの示す時間の前0.2秒の間にRAM64に管理用イベントBの受信の記録があるか否かを確認する。続いて、CPU62は管理用イベントAのデルタタイムの示す時間から0.2秒が経過するまで、管理用イベントBが受信されないか、監視する。管理用イベントAのデルタタイムの示す時間の前後に管理用イベントBが受信された場合、CPU62はそれらの管理用イベントAと管理用イベントBは音楽CD−Aおよび音楽CD−Bの音声データの対応する部分から生成された管理用イベントであると判断する。そして、CPU62は、SMFのまだ実行されていないMIDIイベントおよび管理用イベントのデルタタイムに対し、(管理用イベントBの受信時間/管理用イベントAのデルタタイム)を乗ずる。これは管理用イベントBの受信時間を基準とし、SMFにおけるデルタタイムを調整する処理である。CPU62はこのデルタタイムの調整処理を楽曲の終わりまで繰り返す。
When the
図10はタイミング調整処理の様子を示すデータ例である。このデータ例によれば、まず0.13秒の時点で第1の管理用イベントAのデルタタイムと時間Tが一致する。従ってCPU62はその時間より前の0.2秒間に管理用イベントBが受信されているかを確認する。この場合、0.11秒の時点で第1の管理用イベントBが受信されているので、CPU62はこれらの管理用イベントが対応したものであると判断する。
FIG. 10 is an example of data showing the timing adjustment process. According to this data example, first, the delta time of the first management event A coincides with the time T at 0.13 seconds. Therefore, the
続いて、CPU62は管理用イベントAのデルタタイム0.13秒と、管理用イベントBの受信タイミングである0.11秒を用いて、まだ処理のされていないMIDIイベントおよび管理用イベントAのデルタタイムに(0.11/0.13)を乗ずる。その結果、1回目の調整後のデルタタイムは第1のMIDIイベント:0.41秒、第2の管理イベント:0.69秒、第2のMIDIイベント:1.04秒・・・となる。
その後、0.41秒の時点で第1のMIDIイベントのデルタタイムと時間Tが一致するので、CPU62はこの第1のMIDIイベントを自動演奏ピアノ部3に送信する。
Subsequently, the
Thereafter, since the delta time of the first MIDI event coincides with the time T at 0.41 seconds, the
その後、0.69秒の時点で、第2の管理用イベントAのデルタタイムと時間Tが一致するので、CPU62はその時間より前の0.2秒間に管理用イベントBが受信されているかを確認する。この場合、0.75秒の時点で第2の管理用イベントBが受信されているので、CPU62はこれらの管理用イベントが対応したものであると判断する。その結果、第1の管理用イベントAの場合と同様に、CPU62はまだ処理のされていないMIDIイベントおよび管理用イベントAのデルタタイムに(0.75/0.69)を乗ずる。その結果、2回目の調整後のデルタタイムは、第2のMIDIイベント:1.14秒、第3の管理イベント:1.34秒、第3のMIDIイベント:2.02秒・・・となる。
その後、1.14秒の時点で第2のMIDIイベントのデルタタイムと時間Tが一致するので、CPU62はこの第2のMIDIイベントを自動演奏ピアノ部3に送信する。
After that, since the delta time of the second management event A coincides with the time T at 0.69 seconds, the
Thereafter, since the delta time of the second MIDI event coincides with the time T at 1.14 seconds, the
以下、同様の処理が楽曲の最後まで繰り返されるが、図10のデータ例の場合、第4の管理用イベントAは、デルタタイムの示すタイミングの前0.2秒および後0.2秒の間に管理用イベントBがないため、無視される。同様に、第8の管理用イベントBは生成のタイミングの前0.2秒および後0.2秒の間に管理用イベントAがないため、無視される。 Hereinafter, the same processing is repeated until the end of the music, but in the case of the data example of FIG. 10, the fourth management event A is between 0.2 seconds before and 0.2 seconds after the timing indicated by the delta time. Is ignored because there is no management event B. Similarly, the eighth management event B is ignored because there is no management event A between 0.2 seconds before and 0.2 seconds after the generation timing.
以上のようにタイミング調整処理が施されたデルタタイムに従い、MIDIイベントが自動演奏ピアノ部3に送信される結果、図9の下段に示すように、音楽CD−Bの楽曲の再生に対し、ほぼ正しいタイミングでMIDIイベントの再生が行われる。
As a result of transmitting the MIDI event to the automatic
なお、上述した例とは逆に、音楽CD−Bに記録された楽曲が音楽CD−Aに記録された楽曲よりも遅く演奏される場合においても、同様の処理によりMIDIイベントの再生のタイミングが調整される。従って、その説明は省略する。 Contrary to the above-described example, when the music recorded on the music CD-B is played later than the music recorded on the music CD-A, the timing of reproduction of the MIDI event is similar to the above processing. Adjusted. Therefore, the description is omitted.
[2]第2実施形態
本発明の第2実施形態おいては、音楽CDに記録された音声データと、SMFに記録されたMIDIイベントの再生の同期調整に、音楽CDに記録されているタイムコードが利用される。また、タイミング調整処理を行うにあたり、まず音楽CDの音声データに対する管理用イベント生成処理を楽曲の最後まで終えた後、回帰分析を用いて求められる値により、タイミング調整処理が行われる。
[2] Second Embodiment In the second embodiment of the present invention, the time recorded on the music CD is used for the synchronization adjustment of the reproduction of the audio data recorded on the music CD and the MIDI event recorded on the SMF. Code is used. Further, in performing the timing adjustment process, first, after completing the management event generation process for the audio data of the music CD to the end of the music piece, the timing adjustment process is performed based on values obtained by using regression analysis.
[2.1]音楽CDドライブ
第2実施形態における全体構成、各構成部の機能、およびMIDIデータにおけるデータフォーマットは、音楽CDドライブ1の機能を除いて、第1実施形態におけるものと同様であるため、音楽CDドライブ1の機能についてのみ説明し、他の説明は省略する。
第2実施形態において、音楽CDドライブ1は、音楽CDに記録されている音声データと共に、タイムコードをコントローラ部6に送信する。その他の点は、第1実施形態における音楽CDドライブ1と同様である。
[2.1] Music CD Drive The overall configuration, functions of each component, and data format in MIDI data in the second embodiment are the same as those in the first embodiment except for the function of the
In the second embodiment, the
[2.2]動作
第2実施形態における同期記録再生装置SSの動作については、以下の3点が第1実施形態と異なる。
(1)演奏データの記録動作において、SMFに記録される管理用イベントおよびMIDIイベントのデルタタイムとして、それらのイベントの受信時点に対応するタイムコードが記録される。
(2)演奏データの再生動作において、音楽CDの音声データがまず最後まで再生され、その音声データに対する管理用イベント生成処理が行われる。その結果得られる管理用イベントと、SMFに記録されている管理用イベントの時間情報に関し、回帰直線が求められ、その回帰直線に基づきMIDIイベントに対応するデルタタイムが調整される。このタイミング調整処理が終了した後、再度音楽CDの再生が行われ、その再生に対し、MIDIイベントが同期再生される。
(3)演奏データの再生動作において、MIDIイベントは音楽CDドライブ1から送信されるタイムクロックに基づいて自動演奏ピアノ部3に送信される。
[2.2] Operation Regarding the operation of the synchronous recording / reproducing apparatus SS in the second embodiment, the following three points are different from those in the first embodiment.
(1) In the performance data recording operation, a time code corresponding to the reception time of these events is recorded as the delta time of the management event and the MIDI event recorded in the SMF.
(2) In the performance data reproduction operation, the audio data of the music CD is first reproduced to the end, and a management event generation process is performed on the audio data. A regression line is obtained for the management event obtained as a result and the time information of the management event recorded in the SMF, and the delta time corresponding to the MIDI event is adjusted based on the regression line. After this timing adjustment process is completed, the music CD is played again, and the MIDI event is played back synchronously with the playback.
(3) In the performance data reproduction operation, the MIDI event is transmitted to the automatic
第2実施形態における他の動作は、第1実施形態におけるものと同様であるので、その詳細な説明は省略する。なお、以下の説明において、第1実施形態と同様に記録動作においては音楽CD−Aが、再生動作においては音楽CD−Bが用いられるものとする。また、タイムコードの表現形式には、時間、分、秒、およびフレームが用いられるが、SMFに記録されるデルタタイムと同様に、以下の説明においては簡易化のため、タイムコードの示す時間情報を秒で表す。 Since other operations in the second embodiment are the same as those in the first embodiment, a detailed description thereof will be omitted. In the following description, it is assumed that the music CD-A is used in the recording operation and the music CD-B is used in the reproduction operation, as in the first embodiment. The time code expression format uses hours, minutes, seconds, and frames. Similar to the delta time recorded in the SMF, in the following description, time information indicated by the time code is used for simplification. Is expressed in seconds.
[2.2.1]記録動作
第2実施形態の同期記録再生装置SSにおいて、ユーザが操作表示部5を用いて演奏データの記録開始の指示を行うと、音楽CD−Aの音声データが、タイムコードと共に音楽CDドライブ1からコントローラ部6に順次送信される。
[2.2.1] Recording Operation In the synchronous recording / reproducing apparatus SS of the second embodiment, when the user gives an instruction to start recording performance data using the
コントローラ部6において、CPU62は受信した音声データのサンプル値を順次発音部4に送信する。その結果、発音部4からは音楽CD−Aの楽曲が音として出力される。その一方で、CPU62は受信したサンプル値をタイムコードとともに順次RAM64に記録する。
In the
CPU62は所定数のサンプル値をRAM64に記録すると、DSP63に対し、管理用イベント生成処理の実行命令を送信する。DSP63はこの実行命令を受信すると、RAM64に順次記録される音楽CD−Aの一連のサンプル値に対し、管理用イベント生成処理を行う。第2実施形態における管理用イベント生成処理は、図4を用いて説明した第1実施形態における管理用イベント生成処理と同じである。その結果、DSP63は図4のステップS10の判定結果がNoとなるタイミングで、順次、CPU62に対し管理用イベントを送信する。CPU62は管理用イベントを受信すると、管理用イベントを示すシステムエクスクルーシブイベントを生成する。続いて、CPU62は管理用イベントの受信の直前にし、音楽CDドライブ1から受信したタイムコードの示す時間をデルタタイムの形式に変換した後、そのデルタタイムを、管理用イベントを示すシステムエクスクルーシブイベントに対応付けて、RAM64に記録する。
When the
一方、ユーザは発音部4から音として出力される音楽CD−Aの楽曲を聴きながら、ピアノ31を用いた演奏を行う。ユーザの演奏の情報は、MIDIイベントとしてMIDIイベント制御回路34からCPU62に送信される。CPU62は、MIDIイベント制御回路34からMIDIイベントを受信すると、その直前に音楽CDドライブ1から受信したタイムコードの示す時間をデルタタイムの形式に変換し、そのデルタタイムをMIDIイベントと対応付けて、RAM64に記録する。
On the other hand, the user performs a performance using the
その後、ユーザにより演奏データの記録終了の指示がなされると、音楽CDドライブ1は音楽CD−Aの再生を停止する。また、CPU62はRAM64に記録した管理用イベントを示すシステムエクスクルーシブイベントおよびMIDIイベントを、対応するデルタタイムと共に読み出し、それらのデータを組み合わせ、図9に示したものと同様のSMFを生成する。ただし、第2実施形態におけるSMFのデルタタイムは音楽CD−Aのタイムコードに基づいており、CPU62の計時によるものではない。このように生成されたSMFはFDドライブ2に送信され、FDドライブ2によりセットされているFDに書き込まれる。
Thereafter, when the user gives an instruction to end recording of performance data, the
[2.2.2]再生動作
続いて、上述した方法によって記録されたSMFを再生し、音楽CD−Bの音声データとSMFのMIDIデータを同期させる際の動作を説明する。
ユーザが操作表示部5を用いて演奏データの再生開始の指示を行うと、まずFDドライブ2からFDに記録されているSMFがCPU62に送信され、CPU62は受信したSMFをRAM64に記録する。続いて、音楽CDドライブ1は音楽CD−Bの再生を開始し、音楽CD−Bに記録されている音声データとタイムコードがコントローラ部6に順次送信される。CPU62は、音声データをタイムコードと共にRAM64に記録する。ただし、CPU62は受信した音声データを発音部4には送信せず、従ってユーザには音楽CD−Bの楽曲は聴こえない。
[2.2.2] Reproduction Operation Next, an operation when reproducing the SMF recorded by the above-described method and synchronizing the audio data of the music CD-B and the MIDI data of the SMF will be described.
When the user gives an instruction to start playing performance data using the
CPU62は所定数のサンプル値をRAM64に記録すると、DSP63に対し、管理用イベント生成処理の実行命令を送信する。DSP63はこの実行命令を受信すると、RAM64に順次記録される音楽CD−Bの一連のサンプル値に対し、管理用イベント生成処理を行う。その結果、DSP63は図4のステップS10の判定結果がNoとなるタイミングで、順次、CPU62に対し管理用イベントを送信する。CPU62は管理用イベントを受信すると、その直前に受信したタイムコードの示す時間をデルタタイムの形式に変換した後、そのデルタタイムをRAM64に記録する。以下、SMFに記録されている管理用イベントを「管理用イベントA」、SMFに記録されているデルタタイムを「デルタタイムA」、音楽CD−Bの音声データにより生成される管理用イベントを「管理用イベントB」、音楽CD−Bのタイムコードに従い、管理用イベントBの受信に対し記録されるデルタタイムを「デルタタイムB」と呼ぶ。
When the
音楽CD−Bの再生が楽曲の最後に至ると、音楽CDドライブ1は音楽CD−Bの再生を終了する。続いて、CPU62はデルタタイムAとデルタタイムBをRAM64から読み出し、第1実施形態におけるタイミング調整処理と同様のデルタタイムの調整処理を行う。図11は第2実施形態におけるデルタタイムの調整の様子を示すデータ例である。図11において、デルタタイムおよび管理用イベントBの受信のタイミングは音楽CD−Bのタイムコードに基づいている点が第1実施形態と異なる。また、MIDIイベントに対するデルタタイムの調整はこの段階では行われない。他の点は第1実施形態におけるタイミング調整処理と同様であるため、その説明は省略する。このデルタタイムの調整処理により、デルタタイムAとデルタタイムBの対応付けがなされる。以下、第n組目のデルタタイムAの値をA(n)、デルタタイムBの値をB(n)と表す。また、それらの組を(A(n),B(n))のように表す。従って、(A(1),B(1))=(0.13,0.11)、(A(2),B(2))=(0.81,0.75)、(A(3),B(3))=(1.45,1.36)・・・、となる。
When the reproduction of the music CD-B reaches the end of the music, the
続いて、CPU62はこれらの(A(n),B(n))に対し、最小二乗法による回帰直線を求める。なお、回帰直線の代わりに回帰曲線や、その他の近似曲線を求めてもよい。実際には楽曲全体の音声データについて得られる(A(n),B(n))に対し回帰直線が求められるが、以下、説明のため、図11から得られる9組のデータを用いて回帰直線を求めることとする。
Subsequently, the
図12は9組の(A(n),B(n))と、それに対する回帰直線をグラフで表したものである。回帰直線を示す式は、B=0.9414A−0.006となる。この式は、音楽CD−Bのタイムコードを基準とした場合、音楽CD−Bの音声データの開始時点に対しSMFの演奏データの開始時点が0.006秒遅れており、また演奏の速度が5.86%遅いことを示す。従って、CPU62は、算出したこの回帰直線の式のAに対し、SMFに記録されているMIDIイベントのデルタタイムの値を代入することにより、各デルタタイムに対するタイミング調整を行う。図13にこのタイミング調整を行う前のデルタタイムと、調整を行った後のデルタタイムを示す。このCPU62のタイミング調整は、SMFの各イベントのデルタタイムを全体として5.86%だけ減少させ、さらに0.006秒だけ前倒しにすることを意味する。CPU62はタイミング調整を終えたデルタタイムで、SMFのMIDIイベントに対するデルタタイムを更新する。
FIG. 12 is a graph showing nine sets of (A (n), B (n)) and the regression line corresponding thereto. The equation indicating the regression line is B = 0.9414A−0.006. This formula is based on the time code of the music CD-B, and the start time of the SMF performance data is delayed by 0.006 seconds with respect to the start time of the audio data of the music CD-B, and the performance speed is 5.86% slower. Therefore, the
CPU62は、このタイミングの調整処理を終えると、音楽CDドライブ1に対し、再度、音楽CD−Bの再生命令を送信する。この再生命令に応じ、音楽CDドライブ1は音楽CD−Bの再生を開始し、音楽CD−Bに記録されている音声データとタイムコードがコントローラ部6に順次送信される。CPU62は受信した音声データを順次発音部4に送信し、発音部4からは音楽CD−Bの楽曲が音として出力される。
When the timing adjustment processing is completed, the
CPU62は受信した音声データを順次発音部4に送信すると同時に、MIDIイベントのデルタタイムの示す時間情報と、音楽CDドライブ1から送信されてくる音楽CD−Bのタイムコードの示す時間情報を順次比較し、それらが一致すると、一致したデルタタイムに対応するMIDIイベントを自動演奏ピアノ部3に送信する。自動演奏ピアノ部3はMIDIイベントを受信すると、音源35から電子的に合成した楽音の音声データを発音部4に送信するか、もしくは駆動部36によりピアノ31の鍵およびペダルを動かすことにより、MIDIイベントに応じた自動演奏を行う。その結果、ユーザは音楽CD−Bに記録された楽曲と、SMFに記録された演奏情報による演奏とを同時に聴くことができる。
The
[3]変形例
上述した第1実施形態および第2実施形態は、それぞれ本発明の実施形態の例示であり、上記実施形態に対しては、本発明の趣旨から逸脱しない範囲で様々な変形を加えることができる。以下、変形例を示す。
[3] Modified Examples The first embodiment and the second embodiment described above are examples of the embodiments of the present invention, and various modifications can be made to the above embodiments without departing from the spirit of the present invention. Can be added. Hereinafter, a modification is shown.
[3.1]第1変形例
第1変形例においては、同期記録再生装置SSの各構成部は同じ装置の中に配置されておらず、グループごとに分離して配置されている。
例えば、以下のそれぞれのグループに分離配置することが可能である。
(1)音楽CDドライブ1
(2)FDドライブ2
(3)自動演奏ピアノ部3
(4)ミキサ41およびD/Aコンバータ42
(5)アンプ43
(6)スピーカ44
(7)操作表示部5およびコントローラ部6
さらに、コントローラ部6は、記録動作のみを行う装置と再生動作のみを行う装置とに別々に構成されていてもよい。
[3.1] First Modification In the first modification, the components of the synchronous recording / reproducing apparatus SS are not arranged in the same apparatus, but are arranged separately for each group.
For example, it is possible to separately arrange in the following groups.
(1)
(2)
(3) Automatic
(4) Mixer 41 and D /
(5)
(6)
(7)
Furthermore, the
これらの構成部のグループ間は、オーディオケーブル、MIDIケーブル、オーディオ用光ケーブル、USB(Universal Serial Bus)ケーブル、および専用の制御用ケーブル等で接続される。また、FDドライブ2、アンプ43、スピーカ44等は市販のものを利用してもよい。
第1変形例によれば、同期記録再生装置SSの配置の柔軟性が高まると同時に、ユーザは同期記録再生装置SSの全てを新たに準備することなく、必要な構成部のみを準備することにより、必要なコストを低減できる。
The groups of these components are connected by an audio cable, a MIDI cable, an audio optical cable, a USB (Universal Serial Bus) cable, a dedicated control cable, and the like. Commercially
According to the first modified example, the flexibility of the arrangement of the synchronous recording / reproducing apparatus SS is increased, and at the same time, the user does not prepare all of the synchronous recording / reproducing apparatus SS and prepares only necessary components. Can reduce the necessary cost.
[3.2]第2変形例
第2変形例においては、同期記録再生装置SSにおいて音楽CDドライブ1およびFDドライブ2はない。その一方で、通信インタフェースはLAN(Local Area Network)に接続可能な機能を有し、外部の通信機器とLANおよびWANを介して接続されている。さらに、コントローラ部6はHD(Hard Disk)を有している。
[3.2] Second Modification In the second modification, there is no
コントローラ部6は、LANを介して他の通信機器から、音声データとタイムコードを含むデジタルオーディオデータを受信し、受信したオーディオデータをHDに記録する。同様に、コントローラ部6は、LANを介して他の通信機器から、オーディオデータに対応して作成されたSMFを受信し、受信したSMFをHDに記録する。
The
コントローラ部6は音楽CDドライブ1から音楽CDの音声データおよびタイムコードを受信する代わりに、HDからデジタルオーディオデータを読み出す。また、コントローラ部6はFDドライブ2に対しSMFの書込および読出を行う代わりに、HDに対し同様の動作を行う。
第2変形例によれば、ユーザはデジタルオーディオデータおよびSMFを、LANを介して地理的に離れた通信機器との間で送受信することができる。なお、LANはインターネット等の広域通信網と接続されていてもよい。
The
According to the second modification, the user can transmit / receive digital audio data and SMF to / from a geographically distant communication device via the LAN. The LAN may be connected to a wide area communication network such as the Internet.
なお、同じ楽曲の異なる版においては、楽曲の録音レベルが異なる場合があるが、本発明において演奏データの再生タイミングの調整に用いられる管理用イベントは、楽曲の録音レベルに関わりなく同じタイミングで生成される。なぜなら、管理用イベントの生成に用いられる2つの指標は録音レベルに対し共に比例して変化するため、その大小関係は変わらないためである。従って、録音レベルが異なる版の音声データに対しても、本発明の技術によれば、正しいタイミングで演奏データの同期再生が実現される。 Note that the recording level of music may differ between different versions of the same music, but in the present invention, the management event used for adjusting the playback timing of performance data is generated at the same timing regardless of the music recording level. Is done. This is because the two indices used to generate the management event change in proportion to the recording level, so the magnitude relationship does not change. Therefore, according to the technique of the present invention, synchronized reproduction of performance data can be realized at the correct timing even for audio data of different recording levels.
1・・・音楽CDドライブ、2・・・FDドライブ、3・・・自動演奏ピアノ部、4・・・発音部、5・・・操作表示部、6・・・コントローラ部、31・・・ピアノ、32・・・キーセンサ、33・・・ペダルセンサ、34・・・MIDIイベント制御回路、35・・・音源、36・・・駆動部、41・・・ミキサ、42・・・D/Aコンバータ、43・・・アンプ、44・・・スピーカ、61・・・ROM、62・・・CPU、63・・・DSP、64・・・RAM、65・・・通信インタフェース。
DESCRIPTION OF
Claims (9)
前記第1受信手段が受信した制御データと対になっている前記第1デルタタイムデータが示す制御タイミングに従って当該制御データを出力する出力手段と、
順次再生される、前記同時並行して再生された楽曲と同じ楽曲の音声データを第2楽曲データとして受信する第2受信手段と、
前記第2楽曲データの再生に伴って当該第2楽曲データの音声波形を示す第2音声波形の前記第1指標を生成する第1生成手段と、
前記第2楽曲データの再生に伴って前記第2音声波形の前記第2指標を生成する第2生成手段と、
前記第1生成手段により生成された第1指標と前記第2生成手段により生成された第2指標とを比較することにより前記第2音声波形の変化を検出し、該変化を示す前記発生タイミングに対応する時間データを、前記第2楽曲データの再生に伴って開始された計時により生成する第3生成手段と、
前記第1受信手段が受信した前記第2デルタタイムデータの前後一定期間内に前記第3生成手段が生成した時間データが示すタイミングが存在するか否かを監視し、存在する場合には前記時間データと前記第2デルタタイムデータとの比較結果に従い、前記出力手段による制御データの出力タイミングを調整する調整手段と
を備えることを特徴とする再生装置。 The performance data is recorded as a pair of control data for instructing the sound generation control of the musical sound constituting the music and the first delta time data indicating the control timing based on the control data, and at the same time when the performance data is recorded. A first index indicating a mid-term fluctuation element of the voice waveform and a second long-term fluctuation element indicating a longer period than the middle period of the voice waveform with respect to the first voice waveform indicating the voice waveform of the reproduced music. a pair of the second delta time data indicating a generation timing of management event data and the management event data indicating the change of the first speech waveform to be detected is recorded along with the progress of easier songs by comparing the index First receiving means for receiving the first music data;
Output means for outputting the control data in accordance with the control timing indicated by the first delta time data paired with the control data received by the first receiving means;
Second receiving means for sequentially receiving, as second music data, audio data of the same music as the music played in parallel ;
A first generating means for generating the first indicator of the second speech waveform showing a speech waveform of the second musical piece data along with the reproduction of the second musical data,
A second generating unit that generates the second indication of the second speech waveform with the reproduction of the second musical data,
A change in the second speech waveform is detected by comparing the first index generated by the first generation means and the second index generated by the second generation means, and at the generation timing indicating the change. the corresponding time data, and the third generating unit that generates Ri by the timing initiated with the reproduction of the second musical data,
It is monitored whether or not the timing indicated by the time data generated by the third generation means exists within a certain period before and after the second delta time data received by the first reception means. And a adjusting unit that adjusts an output timing of the control data by the output unit according to a comparison result between the data and the second delta time data.
前記第1受信手段が受信した制御データと対になっている前記第1デルタタイムデータが示す制御タイミングに従って当該制御データを出力する出力手段と、
順次再生される、前記同時並行して再生された楽曲と同じ楽曲の音声データを第2楽曲データとして受信する第2受信手段と、
前記第2楽曲データの再生に伴って当該第2楽曲データの音声波形を示す第2音声波形の前記第1指標を生成する第1生成手段と、
前記第2楽曲データの再生に伴って前記第2音声波形の前記第2指標を生成する第2生成手段と、
前記第1生成手段により生成された第1指標と前記第2生成手段により生成された第2指標とを比較することにより前記第2音声波形の変化を検出し、該変化を示す前記発生タイミングに対応する時間データを、前記第2楽曲データの再生に伴って開始された計時により生成する第3生成手段と、
前記第3生成手段が生成した時間データと前記第1受信手段が受信した前記第2デルタタイムデータとに対し回帰分析を行うことにより得られる分析結果に基づき、前記出力手段による制御データの出力タイミングを調整する調整手段と
を備えることを特徴とする再生装置。 The performance data is recorded as a pair of control data for instructing the sound generation control of the musical sound constituting the music and the first delta time data indicating the control timing based on the control data, and at the same time when the performance data is recorded. A first index indicating a mid-term fluctuation element of the voice waveform and a second long-term fluctuation element indicating a longer period than the middle period of the voice waveform with respect to the first voice waveform indicating the voice waveform of the reproduced music. a pair of the second delta time data indicating a generation timing of management event data and the management event data indicating the change of the first speech waveform to be detected is recorded along with the progress of easier songs by comparing the index First receiving means for receiving the first music data;
Output means for outputting the control data in accordance with the control timing indicated by the first delta time data paired with the control data received by the first receiving means;
Second receiving means for sequentially receiving, as second music data, audio data of the same music as the music played in parallel ;
A first generating means for generating the first indicator of the second speech waveform showing a speech waveform of the second musical piece data along with the reproduction of the second musical data,
A second generating unit that generates the second indication of the second speech waveform with the reproduction of the second musical data,
A change in the second speech waveform is detected by comparing the first index generated by the first generation means and the second index generated by the second generation means, and at the generation timing indicating the change. the corresponding time data, and the third generating unit that generates Ri by the timing initiated with the reproduction of the second musical data,
The output timing of the control data by the output means based on the analysis result obtained by performing regression analysis on the time data generated by the third generation means and the second delta time data received by the first reception means A playback device comprising: an adjusting means for adjusting the sound.
前記第2生成手段は、前記第2音声波形が有する周波数成分のうち前記一の周波数より低い周波数である他の周波数より低い周波数成分のみを含む音声波形を示すデータを前記第2指標として生成する請求項1又は2に記載の再生装置。 The first generation means generates data indicating a speech waveform including only a frequency component lower than one frequency among frequency components of the second speech waveform as the first index,
The second generation means generates, as the second index, data indicating a speech waveform including only a frequency component lower than another frequency that is lower than the one frequency among frequency components of the second speech waveform. The reproducing apparatus according to claim 1 or 2.
前記第1受信過程で受信された制御データと対になっている前記第1デルタタイムデータが示す制御タイミングに従って当該制御データを出力する出力過程と、
順次再生される、前記同時並行して再生された楽曲と同じ楽曲の音声データを第2楽曲データとして受信する第2受信過程と、
前記第2楽曲データの再生に伴って当該第2楽曲データの音声波形を示す第2音声波形の前記第1指標を生成する第1生成過程と、
前記第2楽曲データの再生に伴って前記第2音声波形の前記第2指標を生成する第2生成過程と、
前記第1生成過程で生成された第1指標と前記第2生成過程で生成された第2指標とを比較することにより前記第2音声波形の変化を検出し、該変化を示す前記発生タイミングに対応する時間データを、前記第2楽曲データの再生に伴って開始された計時により生成する第3生成過程と、
前記第1受信過程で受信された前記第2デルタタイムデータの前後一定期間内に前記第3生成過程で生成された時間データが示すタイミングが存在するか否かを監視し、存在する場合には前記時間データと前記第2デルタタイムデータとの比較結果に従い、前記出力過程による制御データの出力タイミングを調整する調整過程と
を備えることを特徴とする再生方法。 The performance data is recorded as a pair of control data for instructing the sound generation control of the musical sound constituting the music and the first delta time data indicating the control timing based on the control data, and at the same time when the performance data is recorded. A first index indicating a mid-term fluctuation element of the voice waveform and a second long-term fluctuation element indicating a longer period than the middle period of the voice waveform with respect to the first voice waveform indicating the voice waveform of the reproduced music. a pair of the second delta time data indicating a generation timing of management event data and the management event data indicating the change of the first speech waveform to be detected is recorded along with the progress of easier songs by comparing the index A first receiving process for receiving the first music data;
An output step of outputting the control data according to the control timing of the first delta time data that is a control data paired received by the first reception process shown,
A second reception step of receiving, as second music data, audio data of the same music as the music reproduced in parallel, which are sequentially reproduced;
A first generation step of generating the first indicator of the second speech waveform showing a speech waveform of the second musical piece data along with the reproduction of the second musical data,
A second generation step of generating a pre-Symbol second indication of the second speech waveform with the reproduction of the second musical data,
A change in the second speech waveform is detected by comparing the first index generated in the first generation process with the second index generated in the second generation process, and at the generation timing indicating the change. the corresponding time data, and a third generation step that generates Ri by the timing initiated with the reproduction of the second musical data,
Monitoring whether or not the timing indicated by the time data generated in the third generation process exists within a certain period before and after the second delta time data received in the first reception process; And adjusting the output timing of the control data according to the output process according to a comparison result between the time data and the second delta time data.
前記第1受信過程で受信された制御データと対になっている前記第1デルタタイムデータが示す制御タイミングに従って当該制御データを出力する出力過程と、
順次再生される、前記同時並行して再生された楽曲と同じ楽曲の音声データを第2楽曲データとして受信する第2受信過程と、
前記第2楽曲データの再生に伴って当該第2楽曲データの音声波形を示す第2音声波形の前記第1指標を生成する第1生成過程と、
前記第2楽曲データの再生に伴って前記第2音声波形の前記第2指標を生成する第2生成過程と、
前記第1生成過程で生成された第1指標と前記第2生成過程で生成された第2指標とを比較することにより前記第2音声波形の変化を検出し、該変化を示す前記発生タイミングに対応する時間データを、前記第2楽曲データの再生に伴って開始された計時により生成する第3生成過程と、
前記第3生成過程で生成された時間データと前記第1受信過程で受信された前記第2デルタタイムデータとに対し回帰分析を行うことにより得られる分析結果に基づき、前記出力過程による制御データの出力タイミングを調整する調整過程と
を備えることを特徴とする再生方法。 The performance data is recorded as a pair of control data for instructing the sound generation control of the musical sound constituting the music and the first delta time data indicating the control timing based on the control data, and at the same time when the performance data is recorded. A first index indicating a mid-term fluctuation element of the voice waveform and a second long-term fluctuation element indicating a longer period than the middle period of the voice waveform with respect to the first voice waveform indicating the voice waveform of the reproduced music. a pair of the second delta time data indicating a generation timing of management event data and the management event data indicating the change of the first speech waveform to be detected is recorded along with the progress of easier songs by comparing the index A first receiving process for receiving the first music data;
An output process of outputting the control data according to the control timing indicated by the first delta time data paired with the control data received in the first reception process;
A second reception step of receiving, as second music data, audio data of the same music as the music reproduced in parallel, which are sequentially reproduced;
A first generation step of generating the first indicator of the second speech waveform showing a speech waveform of the second musical piece data along with the reproduction of the second musical data,
A second generation step of generating a pre-Symbol second indication of the second speech waveform with the reproduction of the second musical data,
A change in the second speech waveform is detected by comparing the first index generated in the first generation process with the second index generated in the second generation process, and at the generation timing indicating the change. the corresponding time data, and a third generation step that generates Ri by the timing initiated with the reproduction of the second musical data,
Based on the analysis result obtained by performing regression analysis on the time data generated in the third generation process and the second delta time data received in the first reception process , An adjustment process for adjusting the output timing.
前記第2生成過程において、前記第2音声波形が有する周波数成分のうち前記一の周波数より低い周波数である他の周波数より低い周波数成分のみを含む音声波形を示すデータを前記第2指標として生成する請求項4又は5に記載の再生方法。 In the first generation process, data indicating a speech waveform including only a frequency component lower than one frequency among frequency components of the second speech waveform is generated as the first index,
In the second generation process, data indicating a speech waveform including only a frequency component lower than another frequency that is lower than the one frequency among frequency components of the second speech waveform is generated as the second index. The reproduction method according to claim 4 or 5.
楽曲を構成する楽音の発音制御を指示する制御データおよび前記制御データによる制御タイミングを示す第1デルタタイムデータが対になった演奏データが記録されるとともに、前記演奏データの記録時に同時並行して再生された楽曲の音声波形を示す第1音声波形に対して、音声波形の中期的な変動要素を示す第1指標と音声波形の前記中期より長い期間となる長期的な変動要素を示す第2指標とを比較することにより検出される当該第1音声波形の変化を示す管理イベントデータおよび前記管理イベントデータの発生タイミングを示す第2デルタタイムデータとの対が楽曲の進行に沿って記録された第1楽曲データを受信する第1受信手段と、
前記第1受信手段が受信した制御データと対になっている前記第1デルタタイムデータが示す制御タイミングに従って当該制御データを出力する出力手段と、
順次再生される、前記同時並行して再生された楽曲と同じ楽曲の音声データを第2楽曲データとして受信する第2受信手段と、
前記第2楽曲データの再生に伴って当該第2楽曲データの音声波形を示す第2音声波形の前記第1指標を生成する第1生成手段と、
前記第2楽曲データの再生に伴って前記第2音声波形の前記第2指標を生成する第2生成手段と、
前記第1生成手段により生成された第1指標と第2生成手段により生成された前記第2指標とを比較することにより前記第2音声波形の変化を検出し、該変化を示す前記発生タイミングに対応する時間データを、前記第2楽曲データの再生に伴って開始された計時により生成する第3生成手段と、
前記第1受信手段が受信した前記第2デルタタイムデータの前後一定期間内に前記第3生成手段が生成した時間データが示すタイミングが存在するか否かを監視し、存在する場合には前記時間データと前記第2デルタタイムデータとの比較結果に従い、前記出力手段による制御データの出力タイミングを調整する調整手段と
して機能させるためのプログラム。 Performance data is recorded that is paired with control data for instructing the sound generation control of the musical sound constituting the music and the first delta time data indicating the control timing by the control data, and at the same time when the performance data is recorded. The first index indicating the mid-term fluctuation element of the audio waveform and the long-term fluctuation element that is longer than the middle period of the audio waveform with respect to the first voice waveform indicating the voice waveform of the reproduced music and a pair of the second delta time data indicating a generation timing of management event data and the management event data indicating the change of the first speech waveform detected by comparing the second index is along the traveling effortless songs First receiving means for receiving the recorded first music data;
Output means for outputting the control data in accordance with the control timing indicated by the first delta time data paired with the control data received by the first receiving means;
Second receiving means for sequentially receiving, as second music data, audio data of the same music as the music played in parallel ;
A first generating means for generating the first indicator of the second speech waveform showing a speech waveform of the second musical piece data along with the reproduction of the second musical data,
A second generating means for generating a pre-Symbol second indication of the second speech waveform with the reproduction of the second musical data,
A change in the second speech waveform is detected by comparing the first index generated by the first generation means and the second index generated by the second generation means, and at the generation timing indicating the change. the corresponding time data, and the third generating unit that generates Ri by the timing initiated with the reproduction of the second musical data,
It is monitored whether or not the timing indicated by the time data generated by the third generation means exists within a certain period before and after the second delta time data received by the first reception means. A program for functioning as adjusting means for adjusting the output timing of control data by the output means in accordance with a comparison result between data and the second delta time data.
楽曲を構成する楽音の発音制御を指示する制御データおよび前記制御データによる制御タイミングを示す第1デルタタイムデータが対になった演奏データが記録されるとともに、前記演奏データの記録時に同時並行して再生された楽曲の音声波形を示す第1音声波形に対して、音声波形の中期的な変動要素を示す第1指標と音声波形の前記中期より長い期間となる長期的な変動要素を示す第2指標とを比較することにより検出される当該第1音声波形の変化を示す管理イベントデータおよび前記管理イベントデータの発生タイミングを示す第2デルタタイムデータとの対が楽曲の進行に沿って記録された第1楽曲データを受信する第1受信手段と、
前記第1受信手段が受信した制御データと対になっている前記第1デルタタイムデータが示す制御タイミングに従って当該制御データを出力する出力手段と、
順次再生される、前記同時並行して再生された楽曲と同じ楽曲の音声データを第2楽曲データとして受信する第2受信手段と、
前記第2楽曲データの再生に伴って当該第2楽曲データの音声波形を示す第2音声波形の前記第1指標を生成する第1生成手段と、
前記第2楽曲データの再生に伴って前記第2音声波形の前記第2指標を生成する第2生成手段と、
前記第1生成手段により生成された第1指標と前記第2生成手段により生成された第2指標とを比較することにより前記第2音声波形の変化を検出し、該変化を示す前記発生タイミングに対応する時間データを、前記第2楽曲データの再生に伴って開始された計時により生成する第3生成手段と、
前記第3生成手段が生成した時間データと前記第1受信手段が受信した前記第2デルタタイムデータとに対し回帰分析を行うことにより得られる分析結果に基づき、前記出力手段による制御データの出力タイミングを調整する調整手段と
して機能させるためのプログラム。 Performance data is recorded that is paired with control data for instructing the sound generation control of the musical sound constituting the music and the first delta time data indicating the control timing based on the control data, and at the same time when the performance data is recorded. The first index indicating the mid-term fluctuation element of the audio waveform and the long-term fluctuation element that is longer than the middle period of the audio waveform with respect to the first voice waveform indicating the voice waveform of the reproduced music and a pair of the second delta time data indicating a generation timing of management event data and the management event data indicating the change of the first speech waveform detected by comparing the second index is along the traveling effortless songs First receiving means for receiving the recorded first music data;
Output means for outputting the control data in accordance with the control timing indicated by the first delta time data paired with the control data received by the first receiving means;
Second receiving means for sequentially receiving, as second music data, audio data of the same music as the music played in parallel ;
A first generating means for generating the first indicator of the second speech waveform showing a speech waveform of the second musical piece data along with the reproduction of the second musical data,
A second generating means for generating a pre-Symbol second indication of the second speech waveform with the reproduction of the second musical data,
A change in the second speech waveform is detected by comparing the first index generated by the first generation means and the second index generated by the second generation means, and at the generation timing indicating the change. the corresponding time data, and the third generating unit that generates Ri by the timing initiated with the reproduction of the second musical data,
The output timing of the control data by the output means based on the analysis result obtained by performing regression analysis on the time data generated by the third generation means and the second delta time data received by the first reception means A program to make it function as an adjustment means to adjust.
前記第2生成手段は、前記第2音声波形が有する周波数成分のうち前記一の周波数より低い周波数である他の周波数より低い周波数成分のみを含む音声波形を示すデータを前記第2指標として生成する請求項7又は8に記載のプログラム。 The first generation means generates data indicating a speech waveform including only a frequency component lower than one frequency among frequency components of the second speech waveform as the first index,
The second generation means generates, as the second index, data indicating a speech waveform including only a frequency component lower than another frequency that is lower than the one frequency among frequency components of the second speech waveform. The program according to claim 7 or 8.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007031101A JP4207082B2 (en) | 2007-02-09 | 2007-02-09 | REPRODUCTION DEVICE, REPRODUCTION METHOD, AND PROGRAM |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007031101A JP4207082B2 (en) | 2007-02-09 | 2007-02-09 | REPRODUCTION DEVICE, REPRODUCTION METHOD, AND PROGRAM |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002242482A Division JP3969249B2 (en) | 2002-08-22 | 2002-08-22 | Apparatus and method for synchronous reproduction of audio data and performance data |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2007122085A JP2007122085A (en) | 2007-05-17 |
JP2007122085A5 JP2007122085A5 (en) | 2008-05-22 |
JP4207082B2 true JP4207082B2 (en) | 2009-01-14 |
Family
ID=38145908
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007031101A Expired - Fee Related JP4207082B2 (en) | 2007-02-09 | 2007-02-09 | REPRODUCTION DEVICE, REPRODUCTION METHOD, AND PROGRAM |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4207082B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4714230B2 (en) * | 2008-02-27 | 2011-06-29 | 株式会社コナミデジタルエンタテインメント | Audio processing apparatus, audio processing method, and program |
-
2007
- 2007-02-09 JP JP2007031101A patent/JP4207082B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2007122085A (en) | 2007-05-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3915585B2 (en) | DATA GENERATION METHOD, PROGRAM, RECORDING MEDIUM, AND DATA GENERATION DEVICE | |
JP2007133035A (en) | Digital sound recording device, digital sound recording method, and program and storage medium thereof | |
JP5103980B2 (en) | Processing system, audio reproducing apparatus, and program | |
JP2007199306A (en) | Beat extracting device and method | |
US7683251B2 (en) | Method and apparatus for playing in synchronism with a digital audio file an automated musical instrument | |
JP2008209786A (en) | Playback apparatus and automatic musical instrument | |
JP3925349B2 (en) | Apparatus and method for synchronous reproduction of audio data and performance data | |
JP3969249B2 (en) | Apparatus and method for synchronous reproduction of audio data and performance data | |
JP4207082B2 (en) | REPRODUCTION DEVICE, REPRODUCTION METHOD, AND PROGRAM | |
JP7367835B2 (en) | Recording/playback device, control method and control program for the recording/playback device, and electronic musical instrument | |
US7507900B2 (en) | Method and apparatus for playing in synchronism with a DVD an automated musical instrument | |
JP4063048B2 (en) | Apparatus and method for synchronous reproduction of audio data and performance data | |
JP5109426B2 (en) | Electronic musical instruments and programs | |
JP4542805B2 (en) | Variable speed reproduction method and apparatus, and program | |
JP4048917B2 (en) | Apparatus and method for synchronous reproduction of audio data and performance data | |
JP3915517B2 (en) | Multimedia system, playback apparatus and playback recording apparatus | |
JP3804536B2 (en) | Musical sound reproduction recording apparatus, recording apparatus and recording method | |
WO2024034117A1 (en) | Audio data processing device, audio data processing method, and program | |
US20210297778A1 (en) | Audio interface apparatus and recording system | |
JP2002050943A (en) | Studio sound recording device and method | |
JP3879684B2 (en) | Song data conversion apparatus and song data conversion program | |
JP6681240B2 (en) | Electronic musical instrument system, music reproduction control device, and electronic musical instrument | |
JP3867579B2 (en) | Multimedia system and playback apparatus | |
JPH10307581A (en) | Waveform data compressing device and method | |
Dofat | Introduction to Digital Audio |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070209 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080408 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080523 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080527 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080724 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080924 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081007 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111031 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111031 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121031 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121031 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131031 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |