JP4403658B2 - 楽曲データ出力装置及び楽曲データ出力方法 - Google Patents

楽曲データ出力装置及び楽曲データ出力方法 Download PDF

Info

Publication number
JP4403658B2
JP4403658B2 JP2001010620A JP2001010620A JP4403658B2 JP 4403658 B2 JP4403658 B2 JP 4403658B2 JP 2001010620 A JP2001010620 A JP 2001010620A JP 2001010620 A JP2001010620 A JP 2001010620A JP 4403658 B2 JP4403658 B2 JP 4403658B2
Authority
JP
Japan
Prior art keywords
music
time
data
performance
event data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001010620A
Other languages
English (en)
Other versions
JP2002215143A (ja
Inventor
佳弘 椎谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2001010620A priority Critical patent/JP4403658B2/ja
Priority to US10/043,828 priority patent/US6600097B2/en
Priority to EP02001341A priority patent/EP1233403B1/en
Priority to DE60223433T priority patent/DE60223433T2/de
Publication of JP2002215143A publication Critical patent/JP2002215143A/ja
Application granted granted Critical
Publication of JP4403658B2 publication Critical patent/JP4403658B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/0033Recording/reproducing or transmission of music for electrophonic musical instruments
    • G10H1/0041Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
    • G10H1/0058Transmission between separate instruments or between individual components of a musical system
    • G10H1/0066Transmission between separate instruments or between individual components of a musical system using a MIDI interface
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/011Files or data streams containing coded musical information, e.g. for transmission
    • G10H2240/031File merging MIDI, i.e. merging or mixing a MIDI-like file or stream with a non-MIDI file or stream, e.g. audio or video
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/325Synchronizing two or more audio tracks or files according to musical features or musical timings

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Auxiliary Devices For Music (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、例えばコンパクトディスク(CD)に収録されたオーディオデータと、MIDI(Musical Instrument Digital Interface)データのような異なるフォーマットで記述された楽曲データとを同期して出力するデータ出力装置及び楽曲データ出力方法に関する。
【0002】
【従来の技術】
従来より、音楽CDが広く販売されており、音楽CDをCDプレーヤで再生することにより、ユーザはさまざまな楽曲を鑑賞することができる。また、楽曲を再生するためのデータとしては、上記音楽CDに記録されるオーディオデータ以外にも、MIDIデータが用いられている。MIDIデータは、電子音源による楽曲演奏を行うだけではなく、例えば自動ピアノによる楽曲の自動演奏を制御するデータとしても使用される。自動ピアノとは、一般的なアコースティックピアノと同様のハンマアクション機構を備えたピアノに、各鍵を動作させるためのソレノイド等を搭載したピアノである。このような自動ピアノでは、ソレノイドを適宜選択駆動することにより、鍵を動作させてハンマアクション機構による打弦を実行して楽音を発生させることができる。このような自動ピアノにおいて、MIDIデータは、どの鍵に対応するソレノイドをどのタイミングで駆動するかといった制御を行うために使用されている。またMIDIデータは、各鍵に対応する発光体を搭載した演奏支援機能付きピアノにおける演奏支援制御にも用いられる。演奏支援機能とは、各鍵に対応して設けられた発光体を適宜選択発光させることにより、演奏者に次のどの鍵を押下すべきかを指示する機能である。このような演奏支援機能付きのピアノにおいてもMIDIデータは、どの鍵に対応する発光体をどのタイミングで発光させるかといった制御を行うために使用される。
このようにMIDIデータを用いることにより、単なる楽曲の再生だけではなく、様々な楽曲演奏に関する制御を行うことができ、音楽CDの再生に同期してMIDIデータを用いた自動演奏や演奏支援機能などを利用することもできる。このように同期制御を行えば、音楽CDを用いたCDプレーヤによる楽曲再生音に加え、自動演奏といったアコースティックピアノの楽音が加わるといった上質の楽曲演奏を実現することができる。また演奏支援機能を同期制御すれば、演奏者はCDプレーヤの楽曲再生に合せた演奏支援を受けることができる。
【0003】
【発明が解決しようとする課題】
ところで、上記のような音楽CDの再生と、MIDIデータを用いた制御処理とを同期させる場合、ユーザは音楽CDの再生する曲を選択すると共に、その曲のMIDIデータを用意し、両者の処理開始を同時に指示するといった煩雑な作業を行わなくてはならない。
そこで、音楽CDのフォーマットで記録された楽曲のオーディオデータに加え、このオーディオデータとの同期読み出しが可能なMIDIデータを記録した専用のメディアを用いる方法が提案されている。この方法では、上記専用のメディアに記録されたオーディオデータ及びMIDIデータを専用の同期読み出し装置などで同期して読み出し、音楽CDフォーマットのオーディオデータの再生とMIDIデータによる演奏に関連する制御を同期して実行することができるようになっている。
しかしながら、上記の手法では、音楽CDフォーマットのオーディオデータと、このオーディオデータとの同期読み出し可能なMIDIデータを記録した専用のメディアを用意する必要があり、一般に広く市販されている音楽CDを利用してMIDIデータとの同期を自動的に行うことはできなかった。
本発明は以上のような事情を鑑みて為されたものであり、あるフォーマットのデータとして記録媒体に記録されているオーディオデータの出力に同期して、他のフォーマットのオーディオデータとして記録されている演奏データを自動的に読み出して出力することが可能な楽曲データ出力装置及び楽曲データ出力方法を提供することを目的としている。
【0004】
【課題を解決するための手段】
上述した課題を解決する為に、本発明の楽曲データ出力装置は、1以上の楽曲が、第1のフォーマットに従ったオーディオデータであって、演奏の経過を絶対時間系により表現した制御情報を含むオーディオデータとして記録された記録媒体から、利用者の指示に応じた楽曲のオーディオデータを読み出して出力する出力装置によるオーディオデータの出力に同期して、第2のフォーマットに従った楽曲の演奏データであって、複数のイベントデータと、あるイベントデータを実行すべき時間を、当該あるイベントデータの前のイベントデータを実行すべき時間との間隔であるステップタイムを用いて相対時間系の第1の時間で表現し、当該楽曲の前記オーディオデータによる演奏の経過の実時間を、前記ステップタイムの累積により絶対時間系の第2の時間で表現するタイミングデータとを含む演奏データを出力する楽曲データ出力装置であって、前記第2のフォーマットに従った楽曲の演奏データを記憶する記憶手段と、利用者の指示に応じて前記出力装置が出力するオーディオデータに対応する楽曲を前記制御情報に基づいて特定する楽曲特定手段と、前記記憶手段に記憶され、前記楽曲特定手段により特定された楽曲に対応する演奏データに含まれる前記複数のイベントデータの一部である特定のイベントデータを実行すべき時間と、当該楽曲の前記オーディオデータによる演奏の経過を示す絶対時間系とを対応付けたテーブルを生成する生成手段と、前記記憶手段から、前記楽曲特定手段によって特定された楽曲に対応する演奏データを読み出し、読み出した演奏データを前記出力装置によるオーディオデータの出力に同期して出力する出力手段とを具備し、前記出力手段は、前記生成手段により生成されたテーブルによる対応付けに基づいて、前記特定のイベントデータを実行すべき時間のうちの前記制御情報が示す時間の直前の時間を起点とし、当該起点の後続のイベントデータを実行すべき実時間である第3の時間を、当該イベントデータに対応する前記ステップタイムを絶対時間系に変換して加算することを繰り返すことにより繰り返し算出し、当該第3の時間が前記制御情報が示す時間に達しているか否かを判別することにより実行すべき前記イベントデータを特定して出力することを特徴としている。
【0005】
【発明の実施の形態】
A.第1実施形態
A−1.第1実施形態の構成
図1に、本発明の第1の実施形態に係る楽曲データ出力方法を実現する自動ピアノ演奏システム100を示す。
図示するように自動ピアノ演奏システム100は、CDプレーヤ3と、アンプ6と、スピーカ7と、自動ピアノ4と、表示部8と、コントローラ装置1(楽曲データ出力装置)とを備え、コントローラ装置1は、フロッピーディスクドライブ(FDD)装置5と、ハードディスクドライブ(HDD)装置2とを内蔵している。
【0006】
CDプレーヤ3は、一般に市販されている音楽CD9、即ちCD-DA(CD-Digital Audio)形式でオーディオデータを記録した音楽CD9がセットされると、このオーディオデータを読み取り、読み取ったオーディオデータに基づいてアナログ楽音信号を生成する。CDプレーヤ3に生成された楽音信号はアンプ6へ出力され、音量を調整された後にスピーカ7から楽曲として出力され、この結果、楽曲が再生される。またCDプレーヤ3は、コントローラ装置1からの要求に応じて音楽CD9のTOC(Table of Contents)やサブコーディングのQチャンネル(以下、Qサブコード)を読み取り、コントローラ装置1に出力する。なお、TOC及びQサブコードについては、後述する。
【0007】
FDD装置5は、フロッピーディスク10に記録された情報を読み取り、コントローラ装置1へ送信したり、逆にコントローラ装置1から送信された情報をフロッピーディスク10に記録したりする為の装置である。本システムにおいてFDD装置5は主に、FDD装置5にセットされたフロッピーディスク10に記録されたMIDIデータ等を、コントローラ装置1の内蔵するHDD装置2に格納されている音楽CD特定用データテーブルへ追加または更新する場合に用いられる。なお、音楽CD特定用データテーブルについての詳細は、後述する。なお、本実施形態においてFDD装置5はコントローラ装置1に内蔵されているが、コントローラ装置1と別体であっても良い。
【0008】
次に図2を参照して自動ピアノ4の構成について説明する。
自動ピアノ4は、鍵14と、ハンマ15と、アクションメカニズム16と、弦17とを備えている。演奏者が鍵14を操作すると、鍵14の運動に連動してアクションメカニズム16によってハンマシャンク及びハンマ15に運動が伝達され、ハンマ15によって打弦されることで弦17が振動し、楽音を発生するような構成となっている。これ以外にも自動ピアノ4は一般的なアコースティックピアノと同様の構成を有しており、アコースティックピアノと同様の構成についての詳細な説明は省略する。
【0009】
自動ピアノ4は上記の構成に加えて更に、ソレノイド18と、再生前処理部19と、モーションコントローラ20と、サーボコントローラ21とを備えている。再生前処理部19はコントローラ装置1から供給されたMIDIデータに基づいて、鍵14の軌道データを生成すると共に、軌道データを用いて鍵14の原速度指示値を生成し、モーションコントローラ20に出力する。モーションコントローラ20は再生前処理部19から供給された原速度指示値に基づいて、特定時刻における鍵14の位置に対応した速度指示値を生成してサーボコントローラ21へと出力する。サーボコントローラ21は、モーションコントローラ20から供給された速度指示値に応じた励磁電流をソレノイド18に供給する。ソレノイド18に励磁電流が供給されると、ソレノイド18のプランジャが上昇し、鍵14の後端を押し上げる。これにより鍵14が動作し、鍵14の運動に連動してハンマ15が弦17を打弦することにより楽音が発生する。このような楽音発生をMIDIデータに基づいて制御することにより、自動演奏を行うことができるようになっている。なおサーボコントローラ21は、上記のようにソレノイド18へ励磁電流を供給する際に、ソレノイド18から供給されるフィードバック信号たる出力速度とモーションコントローラ20から供給された速度指示値とを比較し、両者が一致するようにサーボ制御を行う。
【0010】
図1に戻り、コントローラ装置1はCPU(Central Processing Unit)、ROM(Read Only Memory)及びRAM(Random Access Memory)等を有しており、ROMに格納されている制御プログラム群をCPUが実行することにより、音楽CD9に記録されたオーディオデータを読み出すCDプレーヤ3の楽曲再生と同期して、当該楽曲に対応したMIDIデータを自動ピアノ4に出力するように構成されている。
【0011】
このようにCDプレーヤ3の楽曲再生に同期してMIDIデータを出力するといった制御を行うためには、まずCDプレーヤ3にセットされた音楽CD9がどのような楽曲が収録された音楽CDであるかを特定し、更にどの楽曲の再生が指示されたかを特定する必要がある。また、CDプレーヤ3による楽曲再生に同期してMIDIデータを自動ピアノ4に出力する場合には、特定した楽曲に対応したMIDIデータを構成する各イベントデータ(ノートオン等)をどのタイミングで出力するかといった情報が必要となる。
【0012】
このためコントローラ装置1は、CDプレーヤ3にセットされた音楽CD9を特定する処理を行うと共に、特定した音楽CD9の各楽曲に対応したMIDIデータの各イベントデータと、各イベントデータの出力タイミングとを関連付けて記憶するタイミングマップテーブルを作成する。
以下、このような音楽CD9の特定方法と、タイミングマップテーブルの作成手法とについて説明する。
【0013】
A−2.音楽CDの特定方法
コントローラ装置1は、まずCDプレーヤ3にセットされた一般の音楽CD9を自動的に特定し、音楽CD9に記録されたオーディオデータに対応したMIDIデータを検索してHDD装置2に読み込む。続いて音楽CD9に記録されたオーディオデータとMIDIデータとを同期演奏させる為のタイミングマップテーブルを生成し、生成したタイミングマップテーブルを参照することにより、利用者の操作による音楽CD9の再生演奏に同期した自動演奏を自動ピアノ4に行わせるのである。
【0014】
まず、CDプレーヤ3にセットされた一般の音楽CD9を特定する方法について説明する。
一般に市販されている音楽CD9には、CDプレーヤ3を制御する為の制御情報であるサブコーディング(サブコード)が記録されている。サブコードは、P,Q,R,S,T,U,V,Wチャンネルから成り、その内P及びQチャンネル(以下、サブコードのQチャンネルを特にQサブコードと呼ぶ)はCDプレーヤ3の制御や表示の目的で使用されている。一方、残りのR〜Wチャンネルは、ユーザーズビットと呼ばれる空きチャンネルとなっており、静止画やカラオケの歌詞を記録するなど様々な応用例があるが、本発明の趣旨とは異なる為、詳細な説明は省略する。
【0015】
さてサブコードのPチャンネル及びQサブコードは音楽CD内に記録された楽曲の頭出しやプログラム演奏に使用される。Pチャンネルは各楽章間でのラフな頭出しに使用されるのに対し、Qサブコードはより細かな制御を可能にする為にデータの位置情報などが記録されている(図3のT1参照)。通常、CDプレーヤの制御には主としてQサブコードの情報が使用される。
【0016】
また音楽CD9のディスク最内周にあるリードイン部分のQサブコードにはTOC(Table Of Contents)と呼ばれる索引情報が記録されており、ここには各楽章の開始される演奏実時間等の情報が含まれている(図3のT2参照)。CDプレーヤ3はTOCの内容を予め読み込んでおき、特定楽章の再生が指示された場合にTOCの内容を参照することで素早く目的位置を探し出し、ピックアップを移動することが可能となっているのである。ここで言うピックアップは、CDプレーヤ3に備わり、音楽CD9に記録されたオーディオデータを読み取る為の装置である。上記説明のようにTOCは、音楽CD9に記録されているオーディオデータの楽曲構成を表す情報であるから、音楽CD9に対してほぼユニークな情報と考えられる。
【0017】
本実施形態では、図4に示すデータ構造を持つ音楽CD特定用データテーブルT3がHDD装置2に予め格納されており、コントローラ装置1がこれを参照することでCDプレーヤ3にセットされた音楽CD9を特定することができるようになっている。
図4に示すように、音楽CD特定用データテーブルT3には、多数の市販されている音楽CD9毎に、TOCのビット列情報TOC、音楽CD名(例えば、アルバムタイトル名等)、及び音楽CD9に収録されている全楽曲に各々対応する全MIDIデータが記憶されている。
【0018】
このような音楽CD特定用データテーブルT3を用いて音楽CDを特定する方法について説明する。
まずCDプレーヤ3に音楽CD9がセットされた場合、コントローラ装置1はCDプレーヤ3に対しセットされた音楽CD9のTOCを供給するように要求する。
コントローラ装置1はCDプレーヤ3から供給されたTOCのビット列に一致するビット列情報を、上記音楽CD特定用データテーブルT3から検索する。CDプレーヤ3から供給されたTOCビット列と一致するビット列情報が音楽CD特定用データテーブルT3の中から検索された場合には、一致したビット列情報に対応付けて記憶されている楽曲のMIDIデータを全て読み出す。
以上がCDプレーヤ3にセットされた音楽CD9から読み取ったTOCに基づいて、セットされた音楽CD9を特定し、特定された音楽CD9に収録されている全楽曲のMIDIデータを入手するための方法の説明である。
【0019】
また上記説明では、音楽CD9の特定をTOCビット列に基づいて行なったが、対応する音楽CD9との一意性が保証されるならば、TOCビット列に予め定められた前処理を施して得られたデータに基づいて特定を行なっても良い。一例としては、TOCのビット列パターンに対してFFT(Fast Fourier Transform)等の演算を用いた正規化処理等が考えられる。
【0020】
A−3.同期演奏の為のタイミングマップテーブルの作成方法
上述の音楽CDの特定方法により、CDプレーヤ3にセットされた一般の音楽CD9の特定及び、音楽CD9に収録されている楽曲に対応したMIDIデータの読み込みが完了すると、コントローラ装置1は続いて音楽CD9に記録されたオーディオデータとMIDIデータとを同期演奏させる為のタイミングマップテーブルを生成する。
【0021】
ここで、オーディオデータとMIDIデータとを同期演奏させる為のタイミングマップテーブルの一例を図5に示す。同図に示すようにタイミングマップテーブルT4は、楽曲のMIDIデータを構成するイベントデータを特定する為の識別符号毎(i)に、演奏実時間(時分)と、当該時間において再生される音楽CD9のフレーム番号とが対応付けられて記憶されている。ここで演奏実時間とは、楽曲の開始時間からMIDIイベントデータを実行する時間までの経過時間を示している。
【0022】
一般に、MIDIシーケンサによるタイミングコントロール方法はステップタイムが用いられ、そのコントロール方法は2通りある。1つは前のMIDIイベントとの間隔(デルタタイム)をタイミングとする方法で、もう1つは小節線に対するインターバルの大きさによって表現する方法である。このようにMIDIデータでは、イベントデータを実行するタイミングがステップタイムを用いた相対時間系で表現されている。ここでは、ステップタイムとしてデルタタイムを採用した場合に上記タイミングマップテーブルT4を作成する方法について、図6を参照しながら説明する。
【0023】
最初に注目している楽曲に対応するMIDIイベントデータを先頭部分から順次読み込み、同時に識別符号iを付与する。この識別符号は、注目している楽曲の中でのMIDIイベントを特定可能であるような一意な符号であれば良い。従って例えば、注目している楽曲のMIDIイベントに対して、先頭から順次、1、2、…、のように付与していくようにすれば良い。
【0024】
次に読み込んだMIDIデータに示されるテンポデータ及びクロック数の値に基づいて、次のMIDIイベントに対応する前記演奏実時間を算出する。
例えば、図6に示すようなMIDIデータからタイミングマップテーブルT4を作成する場合には、イベントデータ(i=1)の演奏実時間は0分0秒となり、イベントデータ(i=2)の演奏実時間は、相対時間系で表されたΔt1を絶対時間系に変換した時間である。従って、Δt1を当該MIDIデータに示されるこの時点でのテンポ及びクロックに基づいて絶対時間に変換し、当該変換後の時間がイベントデータ(i=2)の演奏実時間となる。また、イベントデータ(i=3)の演奏実時間は、イベントデータ(i=2)を実行した後、相対時間系で表されたΔt2が経過した時点となる。従って、イベントデータ(i=3)の演奏実時間は、イベントデータ(i=2)の演奏実時間に、Δt2を絶対時間系に変換した時間を加算した時間となる。更に、イベントデータ(i=4)の演奏実時間も同様に、イベントデータ(i=3)の演奏実時間に、Δt3を絶対時間系に変換した時間を加算した時間となる。
このようにして算出された演奏実時間を、図5に示すタイミングマップテーブルT4の経過時間(分)MIN(i)、及び経過時間(秒)SEC(i)にそれぞれセットする。
この手順を注目楽曲の全MIDIイベントデータに対して繰り返すことで、図5に図示したタイミングマップテーブルT4の内、フレーム番号を除く部分の生成が完了するのである。
【0025】
続いて図3に示す音楽CD9のQサブコードの時間情報から、楽章内経過時間MINの値およびSECの値を読み取る(T1)。そしてタイミングマップテーブルT4における演奏実時間が上記読み取った楽章内経過時間と一致するようなMIDIイベントデータiの識別符号を検索し、音楽CD9から読み取ったフレーム番号FRAMEの値を、当該MIDIイベントデータの識別符号iの演奏実時間に対応するオーディオデータの記録位置を表すフレーム番号FRAME(i)の値として順にセットしていく。この時に、同一演奏実時間を持つ複数のフレーム番号が存在する場合は、より小さなフレーム番号の値をフレーム番号FRAME(i)の値としてセットするようにする。
以上説明した手順を対象音楽CD9の全楽曲に対して繰り返すことで、音楽CD9のオーディオデータ時間情報と各MIDIイベントとの対応付けをする為の、タイミングマップテーブルT4が完成するのである。
【0026】
A−4.第1実施形態の動作
次に図7及び図8に示すフローチャートを参照して、本第1実施形態の動作について説明する。
なお以下に説明する各処理は、コントローラ装置1内に具備されたCPUがROM内に格納された各種プログラムに従って実行するようになっている。
【0027】
まずCDプレーヤ3に音楽CD9がセットされるとすぐに、音楽CD9最内周にあるリードインにピックアップが移動し、サーボ、信号処理等を確立する。続いてCDプレーヤ3がセットされた音楽CD9のTOCのデータを読み取り、これがコントローラ装置1に出力されるようになっている。これにより、CDプレーヤ3に音楽CD9がセットされると、コントローラ装置1は、セットされた音楽CD9のTOCを取得することができる(ステップS101)。
【0028】
この後、音楽CD特定処理及びタイミングマップ生成処理を行うこととなるが、これらの処理中に利用者がCDプレーヤ3の操作を行うことを防止する為、CDプレーヤ3の外部からの操作をロックするように、コントローラ装置1からCDプレーヤ3に対して制御指示を出す(ステップS102)。
【0029】
続いて制御を音楽CD特定処理(ステップS200)へと移行し、TOCに基づいた音楽CD9の特定処理及び音楽CD9に収録されている各楽曲に対応したMIDIデータの読み込み処理を行う。この処理は、上述した音楽CDの特定方法で説明した通りである。
【0030】
音楽CD特定処理が終了した後、音楽CD特定処理での音楽CD9の特定が成功したか否かの判定を行う(ステップS103)。この判定は例えば音楽CD特定処理において、音楽CD特定の成功または失敗に応じた値をそれぞれ戻り値として返すようにしておくことにより判定が可能である。
【0031】
ステップS103において、音楽CD特定処理が失敗したと判定された場合、例えば「目的のデータが見つかりませんでした。FDD装置にデータフロッピーディスクをセットして再度やり直して下さい」のようなメッセージを表示部8に表示するエラー処理を実行する(ステップS104)。こうして利用者に対し、追加用音楽CD特定用データテーブルが記録されたフロッピーディスク10をFDD装置5にセットし、HDD装置2に記録された音楽CD特定用データテーブルT3へデータ追加の為の操作を促すのである。エラー処理が完了すると、制御は再び音楽CD特定処理(ステップS200)へと移行する。
【0032】
一方、ステップS103において音楽CD特定処理が成功したと判定された場合には、MIDIイベントデータのタイミングマップ生成処理を行う(ステップS300)。ここでの処理手順の詳細は上述した同期演奏の為のタイミングマップテーブル作成方法の通りである。
以上で音楽CDオーディオデータとMIDIイベントデータとの同期演奏の為の準備が整ったので、コントローラ装置1からCDプレーヤ3の操作ロックを解除するよう制御指示を送信して(ステップS105)、音楽CD9とMIDIイベントデータとの同期演奏処理(ステップS400)へと制御を移行する。
【0033】
図8のフローチャートに示すように、ステップS400の同期演奏処理ではまず、コントローラ装置1は、利用者によってCDプレーヤ3に何らかの操作が為されたか否かを判別する。何も操作が検知されない場合には操作が検知されるまで待機する(ステップS401及びS407)。
【0034】
このシステムでは、CDプレーヤ3は何らかの操作が行なわれた場合に、その操作内容を示す信号をコントローラ装置1に出力するように構成されており、コントローラ装置1はこのような信号を受け取った場合に、CDプレーヤ3が操作されたことを検知することができる。
【0035】
そしてCDプレーヤ3が操作されたと検知するとコントローラ装置1は、検知されたCDプレーヤ3への操作が「再生停止」であるか否かを判別する(ステップS402)。ここで前記操作が「再生停止」であった場合は、コントローラ装置1から自動ピアノ4へのMIDIリアルタイムメッセージの「ストップ」を送信して自動演奏を停止させ(ステップS408)、処理を終了する。この時CDプレーヤ3は、利用者からの直接操作により、再生を停止している。
【0036】
更に、検知されたCDプレーヤ3への操作が「再生一時停止」であるか否かを判別する(ステップS403)。ここで前記操作が「再生一時停止」であった場合も同様に、コントローラ装置1から自動ピアノ4の自動演奏を停止させ(ステップS408)、処理を終了する。この時CDプレーヤ3は、利用者からの直接操作により、再生を一時停止している。
なお、上記のようなMIDI演奏停止指示には、MIDIリアルタイムメッセージの「スタート」、「ストップ」等が用いられるが、各々音楽CDの「再生開始」、「再生停止」に相当する。
【0037】
CDプレーヤ3で検知された操作が以上説明した2つのケースに該当しない場合は、利用者によって指定楽曲の再生指示が為された訳であるから、CDプレーヤ3はTOC及びQサブコードに基づいて、指定された楽曲の先頭或いは指定の再生開始位置へCDプレーヤ3のピックアップを移動させ、曲の頭出しを完了する。
本実施形態では、CDプレーヤ3は、コントローラ装置1からの指示があるまで再生を開始しないように構成されており、CDプレーヤ3は、上記のように曲の頭出しを完了した状態でコントローラ装置1からの指示があるまで待機する。
【0038】
一方、コントローラ装置1は、音楽CD9の曲の頭出し完了時点でのQサブコード情報をCDプレーヤ3から取得し、このQサブコードによって特定される楽曲及び演奏実時間に対応するMIDIイベントデータの識別符号iをタイミングマップテーブルT4から検索する(ステップS404)。
【0039】
このようにCDプレーヤ3による再生位置に対応したイベントデータを特定すると、コントローラ装置1は自動ピアノ4に対して、特定したイベントデータからMIDIデータの送信を開始し(ステップS405)、同時にCDプレーヤ3に対して再生開始を指示する(ステップS406)。
例えば、楽曲の先頭からの演奏であった場合には、音楽CD9について楽曲の曲頭の頭出しが完了した時点でのQサブコード情報により特定される楽曲の先頭のイベントデータをCDプレーヤ3による音楽CD9の再生開始と同時に出力し、その後は、先頭のイベントデータに続くイベントデータを、順次出力する。
【0040】
また、ある楽曲の途中からの演奏が指定された場合には、音楽CD9について当該再生指定開始位置への頭出しが完了した時点でのQサブコード情報に基づいて楽曲の特定を行い、前記Qサブコード情報に含まれる演奏実時間に基づいてタイミングマップテーブルT4を参照し、演奏実時間に対応するイベントデータを特定する。そして、特定したイベントデータの出力を、CDプレーヤ3による音楽CD9の再生開始と同時に行い、その後は、特定したイベントデータに続くイベントデータを順次出力する。
これにより、CDプレーヤ3による音楽CD9の再生と、自動ピアノ4による自動演奏が同時に開始される。
【0041】
上述したように、コントローラ装置1から自動ピアノ4に出力されるMIDIデータは、CDプレーヤ3が再生する楽曲に対応したものであり、最初に出力されるイベントデータは、CDプレーヤ3による楽曲再生位置に対応したものであるため、CDプレーヤ3による楽曲再生に同期した自動ピアノ4による自動演奏を実現することができるのである。このようなCDプレーヤ3と自動ピアノ4による同期演奏が行なわれている間、コントローラ装置1は、利用者による制御操作の有無を検知し(ステップS401)、操作が検知された場合はステップS402以降と同様の処理を継続する。
【0042】
一方、ステップS401において操作が検知されなかった場合は、CDプレーヤ3の再生が終了したか否かを判定し(ステップS407)、演奏終了と判定された場合は同期演奏処理を終了し(ステップS408)、そうでなかった場合はステップS401へと制御を移行し、以降は上記と同様の処理を継続するのである。
【0043】
本実施形態では、CDプレーヤ3で音楽CD9に収録された、ある楽曲の再生を行う場合、当該楽曲に対応するMIDIデータがHDD装置2に用意されていれば、利用者はCDプレーヤ3を操作して上記ある楽曲の再生を開始するように指示するだけで、当該楽曲に対応するMIDIデータがHDD装置2から自動的に読み出され、CDプレーヤ3の楽曲再生に同期してこのMIDIデータを自動ピアノ4に出力して自動演奏を行うことができる。従って、MIDIデータとCD-DA形式のオーディオ信号の両者を記録する特殊なCDを用意したり、利用者が予めCDプレーヤ3を用いて再生する楽曲に対応するMIDIデータをMIDIシーケンサ等に用意しておき、CDプレーヤ3とMIDIシーケンサとを同時に動作させると言った煩雑な操作を行うことなく、CDに記録された楽曲の再生と、MIDIデータを利用した自動ピアノ4による自動演奏とを同期させることができるのである。
【0044】
また、利用者がCDプレーヤ3に対し、楽曲の頭からではなく途中からの再生を指示した場合にも、コントローラ装置1がタイミングマップテープルT4を参照することにより、CDプレーヤ3による途中再生に同期した自動演奏を実現することもできる。
【0045】
B.第2実施形態
次に図9は、本発明の第2実施形態に係る楽曲データ出力方法を実現する自動ピアノ演奏システム100´の構成を示す。同図に示すように、本実施形態に係る楽曲データ出力方法を実現する自動ピアノ演奏システム100´は、コントローラ装置1がネットワークインタフェース11を内蔵しており、インターネットなどのネットワーク12を介してコンテンツサーバ13に接続が可能な点で、第1実施形態と相違している。また、本実施形態では、音楽CDを特定する等の為に参照される音楽CD特定用データテーブルT3は、コントローラ装置1が内蔵しているHDD装置2にではなく、コンテンツサーバ13の記憶装置に格納されており、上述した音楽CD特定処理はコンテンツサーバ13によって行なわれるようになっている。
以下、上述した第1実施形態と同様にCDプレーヤ3と自動ピアノ4による同期演奏を行う場合の、上記構成のコントローラ装置1の動作について図10に示すシーケンスフローチャートを参照しながら説明する。
【0046】
音楽CD9がCDプレーヤ3にセットされ、TOCが読み込まれると、上記第1実施形態と同様にコントローラ装置1はTOCを取得し(ステップS101´)、以下説明する処理が終了するまでの間、利用者によるCDプレーヤ3への操作を防止する為に、CD操作ロックの制御指示をCDプレーヤ3へと送出する(ステップS102´)。
【0047】
TOC受信後にコンテンツサーバ13は、TOCに基づいて音楽CD特定処理を実行して音楽CD9の特定を行う(ステップS200´)。なお、ステップS200´での処理は第1実施形態におけるステップS200(図7参照)の処理と同様である。
続いてコントローラ装置1は、ネットワークインタフェース11からネットワーク12を介してコンテンツサーバ13へと接続し、回線を確立する(ステップS501)。
【0048】
回線確立後、CDプレーヤ3にセットされた音楽CD9から取得したTOCがコントローラ装置1からコンテンツサーバ13へ送信され、以降コントローラ装置1は、コンテンツサーバ13上での処理が完了するまでの間待機状態となる(ステップS502)。
【0049】
ステップS503においてステップ音楽CDの特定に失敗したと判定された場合は、エラー処理(S504)を実行した後、回線を切断し(S506)、コンテンツサーバ13での処理を終了する。エラー処理としては例えば、エラーメッセージをコントローラ装置1に送信し、コントローラ装置1の表示部8に表示させる等の処理がある。
【0050】
一方ステップS503において、音楽CD9の特定に成功したと判定された場合は、特定された音楽CD9に対応する楽曲のMIDIデータがコンテンツサーバ13からコントローラ装置1へと送信される(ステップS505)。
コントローラ装置1への上記音楽CD特定用データテーブルT3の転送が完了すると、コンテンツサーバ13は回線を切断し(ステップS506)、処理を終了する。
【0051】
さて、以上でコンテンツサーバ13上での処理は全て完了したので、コントローラ装置1での処理が再開する。まずコンテンツサーバ13から、音楽CD特定用データテーブルT3の転送が為されたか否かの判定が行なわれる(ステップS507)
ここで音楽CD特定用データテーブルT3の転送が為されなかったと判定された場合は、コンテンツサーバ13において音楽CD9の特定に失敗した、または音楽CD特定用データテーブルT3の転送に失敗したと考えられるから、エラー処理へと移行する(S508)。エラー処理としては例えば、エラーメッセージをコントローラ装置1の表示部8に表示する等の処理がある。エラー処理終了後は、一旦コントローラ装置1での処理を終了し、上記で説明した処理が、再びステップS101´から再開される。
【0052】
一方ステップS507において、音楽CD特定用データテーブルT3の転送が成功したと判定された場合には、引き続き第1実施形態における、図7に示すフローチャートのステップS300ないしS400に該当する処理手順を実行することにより、音楽CD9の再生に同期した自動演奏を自動ピアノ4に行なわせるのである(ステップS300´ないしS400´)。
【0053】
本実施形態では、CDプレーヤ3にセットした音楽CD9に記録された楽曲に対応するMIDIデータがコンテンツサーバ13から供給されるので、コントローラ装置1はHDD装置2等に多数のMIDIデータを保持する必要が無い。従って、必要なMIDIデータのみをコンテンツサーバ13からダウンロードしてCDプレーヤ3との同期演奏に用いることができる。
【0054】
また本実施形態では、ネットワーク経由でMIDIデータ等のやり取りを行うことが可能であるから、データ記録媒体(メディア)は不要となり、データ提供者及び利用者に取って、データの授受に伴う提供コストが軽減される。
またコンテンツサーバ13による音楽CD特定処理でのエラー処理において、検索できなかったMIDIデータについての音楽CD情報を、利用者からコンテンツサーバ13に通知するようにすれば、コンテンツサーバ13を保有するデータ提供者は利用者の需要を知ることもできるようになり、新たなMIDIデータを提供する際の参考とすることが可能となる。コントローラ装置1からコンテンツサーバ13への音楽CD情報の通知方法としては例えば、音楽CD9の商品コードを入力させる方法が簡便である。また上記処理を追加することにより逆に、利用者にとっても自分の要望をデータ提供者に伝達可能となるから、必要なデータが将来入手可能になる可能性が拓ける。
【0055】
なお上記説明において、コンテンツサーバ13は、特定された音楽CD9内の楽曲に対応するMIDIデータを含む音楽CD特定用データテーブルT3を記憶していたが、これに代えて図11に示すような、各MIDIデータに対応するタイミングマップテーブルを新たに含んだ音楽CD特定用データテーブルT6を併せて記憶しておくようにしても良い。そして、コンテンツサーバ13が音楽CD特定処理(ステップS200´)によって特定したMIDIデータに加えて、MIDIデータに対応するタイミングマップテーブルをコントローラ装置1に対して送信するようにしても良い(ステップS505)。このようにすることで、コントローラ装置1におけるタイミングマップテーブル作成処理(S300)が省略でき、コントローラ装置1の処理負担および処理時間を軽減させることが可能となる。
【0056】
C.第3実施形態
次に、本発明の第3実施形態について説明する。上記各実施形態では、HDD装置2に格納された音楽CD特定用データテーブルT3を参照し、CDプレーヤ3にセットした音楽CD9の再生に同期してMIDIデータを自動ピアノ4に出力することにより、音楽CD9の再生と自動ピアノ4による自動演奏とを同期させていた。これに対し、本実施形態では、演奏者がCDプレーヤ3による楽曲の再生に合わせて行なった演奏内容に基づいてMIDIデータを作成し、このMIDIデータを、上記のような同期演奏に利用できるように記憶させることができるようになっている。
【0057】
なお本実施形態に係る自動ピアノ演奏システムの構成は、第1実施形態における自動ピアノ4(図2参照)に代えて、図12に示す自動ピアノ4´を用いており、以下、第1実施形態と相違する自動ピアノ4´の構成や、コントローラ装置1等の動作について説明することとする。
【0058】
C−1.第3実施形態の構成
図12に示すように、自動ピアノ4´は、第1実施形態における自動ピアノ4の構成要素に加え、センサ22と、算出部23と、処理部24とを備えている。センサ22はハンマ15の運動を検出して出力信号を算出部23へ送出し、出力信号に基づいて算出部23が、ハンマ15の運動に関する物理量(位置、速度、加速度等)を連続的に算出(変換)する。続いて算出(変換)結果を処理部24が処理することにより、ハンマ15における打弦速度や、打弦タイミング、押鍵タイミング等のような演奏に関する情報を取得し、取得した情報に基づいて演奏データを生成する。
【0059】
利用者が自動ピアノ4´を演奏する場合、利用者が鍵14に対して為した演奏操作により、ハンマ15が運動する。このハンマ15の運動をセンサ22が検出し、算出部23へ出力する。算出部23は、センサ22から供給された出力信号からハンマ15の運動に関する物理量(位置や速度、加速度など)を算出(変換)する。処理部24は、算出部23から供給された算出結果を処理し、ハンマ15による打弦速度や、打弦タイミング、押鍵タイミング等のような演奏に関する情報を取得し、これらの取得した情報から演奏データ(MIDIデータ)を生成してコントローラ装置1へと出力するような構成となっている。なお、上記説明において、ハンマ15の運動を検出するセンサ22に代えて、鍵14の押鍵運動を検出するセンサを用いるように構成しても良い。
【0060】
C−2.第3実施形態の動作
次に本実施形態の構成における自動ピアノ演奏装置の動作について説明する。まず利用者は、演奏する楽曲を記録している音楽CD9をCDプレーヤ3にセットし、演奏する楽曲の再生を指示すると共に、CDプレーヤ3による楽曲の再生に合わせて自動ピアノ4´を用いて当該楽曲の演奏を行う。演奏が行なわれると、その演奏内容に応じて、センサ22、算出部23及び処理部24で演算処理されることによってリアルタイムでMIDIデータが生成され、コントローラ装置1に出力される。コントローラ装置1はMIDIシーケンサのリアルタイム入力機能を利用し、処理部24からリアルタイムで供給されるMIDIデータをHDD装置2に記録する。
【0061】
またコントローラ装置1は、上述したようにMIDIデータの記録処理を行うと共に、CDプレーヤ3から、現在再生中の楽曲が当該音楽CDの何番目に収録された楽曲であるかを示す情報を、音楽CD9のQサブコードを参照することにより取得する。
【0062】
CDプレーヤ3による楽曲再生及び演奏者による自動ピアノ4´の演奏が終了すると、コントローラ装置1はCDプレーヤ3にセットされている音楽CD9のTOCを取得し、図4に示すように、当該TOCのビット列に対応付けて、CDタイトル名、及び上記のように演奏者の演奏によって生成されたMIDIデータを記憶した音楽CD特定用データテーブルT3を作成する。ここで、CDタイトル名については利用者が適宜入力できるようにしておけば良い。
【0063】
そして、CDプレーヤ3による楽曲再生処理終了、或いは利用者の指示による再生終了指示がCDプレーヤ3で検知されると、コントローラ装置1におけるMIDIデータ記録処理も終了する。
また、音楽CD9にはオーディオデータが記録されているが、再生時に利用者には演奏されなかった曲(楽章)については、対応して生成されたMIDIイベントデータは存在しないので、図4の対応するMIDIデータフィールドは空白としておく等すれば良い。
このように作成した音楽CD特定用データテーブルT3を用いれば、上述した第1実施形態と同様にCDプレーヤ3による楽曲再生と、利用者自身が演奏することにより作成したMIDIデータによる自動演奏とを同期させることができる。
【0064】
D.変形例
以上、本発明の実施形態について説明したが、この実施形態はあくまでも例示であり、本発明の趣旨から逸脱しない範囲で様々な変形が可能である。変形例としては、例えば以下のようなものが考えられる。
【0065】
<変形例1>
なお上記第1実施形態においては、同期演奏に必要なMIDIデータ及び、TOCから音楽CD9を特定するのに必要な音楽CD特定用データテーブルT3は、HDD装置2に記録されていたが、これらはFDD装置5にセットされたフロッピーディスク10に記録されていても良い。また、音楽CD特定用データテーブルT3を記録したCD-ROM(Compact Disc-ROM)やMO(Magneto-Optical disk)といった外部記録媒体を読み取るドライブ装置をコントローラ装置1に接続可能とし、各ドライブ装置からコントローラ装置1に前記データを供給するようにしても良い。
【0066】
<変形例2>
上記第1及び第2実施形態においては、タイミングマップテーブルT4を作成する場合に、対象とする楽曲の全イベントデータに対して、対応するオーディオデータの記録されたフレーム位置をマッピングしていた。
しかしマッピングは、必ずしも全イベントデータについて行なわなくとも良く、代表的なイベントデータについてだけ予めマッピングを行なっておいても良い。代表的なイベントとしては例えば、楽曲中の各小節線に相当するイベントデータ等がある。
【0067】
本変形例では上記第1実施形態における、再生される音楽CD9から読み取ったQサブコードに基づいて、Qサブコードの示す演奏実時間の直前のイベントデータをタイミングマップテーブルから特定する。更に第1実施形態における同期演奏の為のタイミングマップテーブルの作成方法と同様に、前記特定されたイベントデータを起点として、前記Qサブコードの示す演奏実時間と一致するまでの間、MIDIメッセージの演奏実時間を累積しながら次々とイベントデータを読み込んでいくのである(ステップS405に相当)。例えば、図13に示したように、CDプレーヤ3が音楽CD9から読み取ってコントローラ装置1に送信してきたQサブコードの示す演奏実時間が「2分8秒」であったとする。一方、図示のように、タイミングマップテーブルに登録されているイベントデータの中で、「2分8秒」の直前の演奏実時間を持つものは、演奏実時間が「2分5秒」(Tnとする)で特定されるMIDIイベントデータ(n)である。この場合、特定されたMIDIイベントデータ(n)を起点として、当該起点となるイベントデータを実行すべき時間とステップタイムとに基づいて、後続のイベントデータを実行すべき実時間を求める。即ち、相対時間系で表されたΔtnを絶対時間に変換し、起点となるイベントデータの演奏実時間(2分5秒)に当該絶対時間を加算した時間が「2分8秒」に達しているか否かを判別する。ここで、「2分8秒」に達していない場合には、更にΔtn+1を絶対時間に変換した時間を加算し、当該加算時間が「2分8秒」に達しているか否かを判別する。このように起点となるイベントデータの演奏実時間と、MIDIデータ中のステップタイムデータとから起点となるイベントデータの後続のイベントデータを実行する演奏実時間を算出し、当該算出した演奏実時間が「2分8秒」に達するまでこの処理を続けるのである。そして図示の例では、2分5秒にΔtn…Δtn+3(絶対時間)を加算した時間が「2分8秒」に一致することになり、この結果、「2分8秒」において実行すべきイベントデータがイベントデータ(n+3)であると特定できるのである。
【0068】
こうしてQサブコードの示す演奏実時間とが一致するイベントデータを特定すると、当該イベントデータから順次MIDIデータの送信を開始すると共に、CDプレーヤ3に対してコントローラ装置1が一時停止解除の制御指示を送信することにより(ステップS406〜S407)、音楽CD9の再生と、対応するMIDIメッセージによる自動ピアノ4の自動演奏とを同期させて行なわせることが可能である。
【0069】
以上の説明のように本変形例においては、最小限のタイミングマップテーブルを作成しておくだけで、上記第1ないし第2実施形態と同様の効果が得られるので、タイミングマップテーブル作成時におけるコントローラ装置1の負担及び作成にかかる待ち時間を軽減できるので好ましい。
また本変形例においては更に、タイミングマップテーブルを事前に作成せず、上記と同様に、Qフレームから読み取った演奏実時間に実行すべきイベントデータを、MIDIデータを先頭から逐次読み込んで各イベントデータを実行すべき実時間を算出することにより特定しても良い。
【0070】
<変形例3>
上記第2実施形態においては、CDプレーヤ3に読み取られ、ネットワーク12を介してコンテンツサーバ13に送信された音楽CD9のTOCに基づいて、コンテンツサーバ13が音楽CD9の特定を行い、各楽曲に対応するMIDIデータをネットワーク12を介してコントローラ装置1へと送信している。
そして、これを受信することにより、コントローラ装置1が、CDプレーヤ3にセットされた音楽CD9のTOCにより特定されるMIDIデータを取得していた。
【0071】
このような方法以外にも、次のようにして音楽CD9の特定及びMIDIデータの取得を行なっても良い。
即ち、まずHDD装置2内に予め記録されているデータを用いて、コントローラ装置1が音楽CD特定処理を行う。音楽CDの特定に失敗した場合、コントローラ装置1は次に、セットされたフロッピーディスク10に対して情報の検索を試みる。音楽CDの特定が失敗、或いはフロッピーディスク10がセットされていない、というような場合、コントローラ装置1は更に、ネットワーク12を介してコンテンツサーバ13へ接続し、音楽CD9のTOCをコンテンツサーバ13へと送信して、コンテンツサーバ13がコントローラ装置1から受信したTOCに基づいて音楽CD特定処理を行い、各楽曲に対応するMIDIデータを再びネットワーク12を介してコントローラ装置1へと送信させるのである。
【0072】
以上の説明のようにすれば利用者は、本発明におけるコントローラ装置1が予め保持するデータ及びコンテンツサーバ13の保持するデータに基づいた音楽CD特定処理及び対応するMIDIデータ取得処理をシームレス(見かけ上連続的に)に実行させることができる。
また、ネットワーク接続を行う構成の場合は、コンテンツサーバ13上で音楽CD特定処理を実行させる為、コントローラ装置1の負荷を軽減できる。
【0073】
<変形例4>
上記第2実施形態における構成では、ネットワーク12上において音楽CD特定処理及びMIDIデータを供給するコンテンツサーバ13は予め定められた特定の1つのサーバである構成となっていたが、検索対象となるコンテンツサーバ13を、利用者が任意のコンテンツサーバ群から選択可能な構成としても良いのである。
【0074】
具体的には例えば、コントローラ装置1がネットワーク12に接続する時にまず、予め設定された複数の接続先をメニュー形式で表示部8に表示し、利用者に接続先を選択させることで直接接続先の指定が可能な構成とするのである。
以上の説明のようにすることで利用者にとって、より多くの利用可能なMIDIデータの検索及び入手が可能となり、本発明の有用性が向上する。
【0075】
<変形例5>
上記第1ないし第2実施形態及び各変形例においては、自動ピアノ4により音楽CD9との同期演奏を行う構成となっていたが、自動ピアノ4以外にもMIDIデータに応じて演奏が可能な機器を用いた構成としても良い。また、この機器の動作に遅延がある場合は、オーディオデータの出力に対して演奏データの出力を先行させて、これを補償するようにしても良い。
【0076】
<変形例6>
上記第1ないし第2実施形態および各変形例においては、オーディオデータに対応する楽曲の特定をCDのTOC等によって行うようにしたが、これに限らず、例えば、オーディオデータを各曲ごとに所定時間再生し、この再生されたオーディオデータのピッチを検出することによって音符列を作成し、この音符列に基づき、対応する楽曲を特定するようにしても良い。
【0077】
<変形例7>
上記各実施形態および各変形例において、コントローラ装置1が実行していた処理をコンピュータに実行させるプログラムを、コンピュータが読み取り可能な記録媒体により提供するようにしても良い。
このようにすれば利用者は、コンピュータに前記プログラムをインストールすることにより、コントローラ装置1が実行していた処理をコンピュータに実行させ、利用することが可能となる。
【0078】
【発明の効果】
以上説明したように本発明によれば、あるフォーマットのデータとして記録媒体に記録されているオーディオデータの出力に同期して、他のフォーマットのオーディオデータとして記録されている演奏データを自動的に読み出して出力することが可能な楽曲データ出力装置及び楽曲データ出力方法を提供することができる。
【図面の簡単な説明】
【図1】 本発明の第1の実施形態に係る自動ピアノ演奏装置の構成を示す構成図である。
【図2】 前記第1の実施形態における自動ピアノの構成を示す構成図である。
【図3】 CD−DA(CD-Digital Audio)の制御情報などを記録したTOC(Table of Contents)のデータ部分およびQサブコードのデータ部分の構造を示す図である。
【図4】 前記第1の実施形態における音楽CD特定用データテーブルのデータ構成を示す図である。
【図5】 前記第1の実施形態におけるタイミングマップテーブルのデータ構造を示す図である。
【図6】 前記第1の実施形態におけるMIDIイベントデータと、演奏実時間との関係を示す模式図である。
【図7】 前記第1の実施形態における動作手順を示すフローチャートである。
【図8】 前記第1実施形態における同期演奏処理の処理手順を示すフローチャートである。
【図9】 本発明の第2の実施形態に係る自動ピアノ演奏装置の構成を示す構成図である。
【図10】 前記第2の実施形態におけるコントローラ装置及びコンテンツサーバ間のやりとりを説明するシーケンス図である。
【図11】 前記第2の実施形態において、タイミングマップテーブルを含んだ音楽CD特定用データテーブルのデータ構造を示す図である。
【図12】 本発明の第3の実施形態における自動ピアノの構成を示す構成図である。
【図13】 本発明の変形例2において、Qサブコードの示す演奏実時間及びタイミングマップテーブルの代表イベントの演奏実時間に基づいて、イベントの特定を行う方法を説明する為の図である。
【符号の説明】
1…コントローラ装置、2…HDD装置(外部記録手段)、3…CDプレーヤ、4、4´…自動ピアノ、5…FDD装置、6…アンプ、7…スピーカ、8…表示部、9…音楽CD(記録媒体)、10…フロッピーディスク(磁気記録媒体)、11…ネットワークインタフェース、12…ネットワーク、13…コンテンツサーバ、14…鍵、15…ハンマ、16…アクションメカニズム、17…弦、18…ソレノイド(駆動手段)、19…再生前処理部、20…モーションコントローラ、21…サーボコントローラ、22…センサ(検出手段)、23…算出部、24…処理部、100、100´…自動ピアノ演奏装置。

Claims (5)

  1. 1以上の楽曲が、第1のフォーマットに従ったオーディオデータであって、演奏の経過を絶対時間系により表現した制御情報を含むオーディオデータとして記録された記録媒体から、利用者の指示に応じた楽曲のオーディオデータを読み出して出力する出力装置によるオーディオデータの出力に同期して、第2のフォーマットに従った楽曲の演奏データであって、複数のイベントデータと、あるイベントデータを実行すべき時間を、当該あるイベントデータの前のイベントデータを実行すべき時間との間隔であるステップタイムを用いて相対時間系の第1の時間で表現し、当該楽曲の前記オーディオデータによる演奏の経過の実時間を、前記ステップタイムの累積により絶対時間系の第2の時間で表現するタイミングデータとを含む演奏データを出力する楽曲データ出力装置であって、
    前記第2のフォーマットに従った楽曲の演奏データを記憶する記憶手段と、
    利用者の指示に応じて前記出力装置が出力するオーディオデータに対応する楽曲を前記制御情報に基づいて特定する楽曲特定手段と、
    前記記憶手段に記憶され、前記楽曲特定手段により特定された楽曲に対応する演奏データに含まれる前記複数のイベントデータの一部である特定のイベントデータを実行すべき時間と、当該楽曲の前記オーディオデータによる演奏の経過を示す絶対時間系とを対応付けたテーブルを生成する生成手段と、
    前記記憶手段から、前記楽曲特定手段によって特定された楽曲に対応する演奏データを読み出し、読み出した演奏データを前記出力装置によるオーディオデータの出力に同期して出力する出力手段とを具備し、
    前記出力手段は、
    前記生成手段により生成されたテーブルによる対応付けに基づいて、前記特定のイベントデータを実行すべき時間のうちの前記制御情報が示す時間の直前の時間を起点とし、当該起点の後続のイベントデータを実行すべき実時間である第3の時間を、当該イベントデータに対応する前記ステップタイムを絶対時間系に変換して加算することを繰り返すことにより繰り返し算出し、当該第3の時間が前記制御情報が示す時間に達しているか否かを判別することにより実行すべき前記イベントデータを特定して出力する
    ことを特徴とする楽曲データ出力装置。
  2. 請求項1に記載の楽曲データ出力装置において、
    前記第1のフォーマットはCD−DA(CD-Digital Audio)形式であり、
    前記制御情報は、TOC(Table of Contents)及びサブコーディングのQチャンネル(Qサブコード)を含むことを特徴とする楽曲データ出力装置。
  3. 1以上の楽曲が、第1のフォーマットに従ったオーディオデータであって、演奏の経過を絶対時間系により表現した制御情報を含むオーディオデータとして記録された記録媒体から、利用者の指示に応じた楽曲に対応するオーディオデータを読み出して出力する出力装置によるオーディオデータの出力に同期して、第2のフォーマットに従った楽曲の演奏データであって、複数のイベントデータと、あるイベントデータを実行すべき時間を、当該あるイベントデータの前のイベントデータを実行すべき時間との間隔であるステップタイムを用いて相対時間系の第1の時間で表現し、当該楽曲の前記オーディオデータによる演奏の経過の実時間を、前記ステップタイムの累積により絶対時間系の第2の時間で表現するタイミングデータとを含む演奏データを出力する楽曲データ出力方法であって、
    利用者の指示に応じて前記出力装置が出力するオーディオデータに対応する楽曲を前記制御情報に基づいて特定する楽曲特定ステップと、
    記憶手段に記憶された演奏データであって、前記楽曲特定ステップで特定された楽曲に対応する演奏データに含まれる前記複数のイベントデータの一部である特定のイベントデータを実行すべき時間と、当該楽曲の前記オーディオデータによる演奏の経過を示す絶対時間系とを対応付けたテーブルを生成する生成ステップと、
    前記記憶手段から、前記楽曲特定ステップで特定された楽曲に対応する演奏データを読み出し、読み出した演奏データを前記出力装置によるオーディオデータの出力に同期して出力する出力ステップとを具備し、
    前記出力ステップにおいて、
    前記生成ステップで生成されたテーブルによる対応付けに基づいて、前記特定のイベントデータを実行すべき時間のうちの前記制御情報が示す時間の直前の時間を起点とし、当該起点の後続のイベントデータを実行すべき実時間である第3の時間を、当該イベントデータに対応する前記ステップタイムを絶対時間系に変換して加算することを繰り返すことにより繰り返し算出し、当該第3の時間が前記制御情報が示す時間に達しているか否かを判別することにより実行すべき前記イベントデータを特定して出力する
    ことを特徴とする楽曲データ出力方法。
  4. コンピュータを、1以上の楽曲が、第1のフォーマットに従ったオーディオデータであって、演奏の経過を絶対時間系により表現した制御情報を含むオーディオデータとして記録された記録媒体から、利用者の指示に応じた楽曲のオーディオデータを読み出して出力する出力装置によるオーディオデータの出力に同期して、第2のフォーマットに従った楽曲の演奏データであって、複数のイベントデータと、あるイベントデータを実行すべき時間を、当該あるイベントデータの前のイベントデータを実行すべき時間との間隔であるステップタイムを用いて相対時間系の第1の時間で表現し、当該楽曲の前記オーディオデータによる演奏の経過の実時間を、前記ステップタイムの累積により絶対時間系の第2の時間で表現するタイミングデータとを含む演奏データを出力する楽曲データ出力する手段として機能させる為のプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
    利用者の指示に応じて前記出力装置が出力するオーディオデータに対応する楽曲を前記制御情報に基づいて特定する楽曲特定手段と、
    記憶手段に記憶された演奏データであって、前記楽曲特定手段により特定された楽曲に対応する演奏データに含まれる前記複数のイベントデータの一部である特定のイベントデータを実行すべき時間と、当該楽曲の前記オーディオデータによる演奏の経過を示す絶対時間系とを対応付けたテーブルを生成する生成手段と、
    前記記憶手段から、前記楽曲特定手段によって特定された楽曲に対応する演奏データを読み出し、読み出した演奏データを前記出力装置によるオーディオデータの出力に同期して出力する出力手段であって、前記生成手段により生成されたテーブルによる対応付けに基づいて、前記特定のイベントデータを実行すべき時間のうちの前記制御情報が示す時間の直前の時間を起点とし、当該起点の後続のイベントデータを実行すべき実時間である第3の時間を、当該イベントデータに対応する前記ステップタイムを絶対時間系に変換して加算することを繰り返すことにより繰り返し算出し、当該第3の時間が前記制御情報が示す時間に達しているか否かを判別することにより実行すべき前記イベントデータを特定して出力する出力手段として機能させる為のプログラムを記録したコンピュータ読み取り可能な記録媒体。
  5. コンピュータを、1以上の楽曲が、第1のフォーマットに従ったオーディオデータであって、演奏の経過を絶対時間系により表現した制御情報を含むオーディオデータとして記録された記録媒体から、利用者の指示に応じた楽曲のオーディオデータを読み出して出力する出力装置によるオーディオデータの出力に同期して、第2のフォーマットに従った楽曲の演奏データであって、複数のイベントデータと、あるイベントデータを実行すべき時間を、当該あるイベントデータの前のイベントデータを実行すべき時間との間隔であるステップタイムを用いて相対時間系の第1の時間で表現し、当該楽曲の前記オーディオデータによる演奏の経過の実時間を、前記ステップタイムの累積により絶対時間系の第2の時間で表現するタイミングデータとを含む演奏データを出力する手段として機能させる為のプログラムであって、
    利用者の指示に応じて前記出力装置が出力するオーディオデータに対応する楽曲を前記制御情報に基づいて特定する楽曲特定手段と、
    前記記憶手段に記憶され、前記楽曲特定手段により特定された楽曲に対応する演奏データに含まれる前記複数のイベントデータの一部である特定のイベントデータを実行すべき時間と、当該楽曲の前記オーディオデータによる演奏の経過を示す絶対時間系とを対応付けたテーブルを生成する生成手段と、
    前記第2のフォーマットに従った楽曲の演奏データを記憶する記憶手段から、前記楽曲特定手段によって特定された楽曲に対応する演奏データを読み出し、読み出した演奏データを前記出力装置によるオーディオデータの出力に同期して出力する出力手段であって、前記生成手段により生成されたテーブルによる対応付けに基づいて、前記特定のイベントデータを実行すべき時間のうちの前記制御情報が示す時間の直前の時間を起点とし、当該起点の後続のイベントデータを実行すべき実時間である第3の時間を、当該イベントデータに対応する前記ステップタイムを絶対時間系に変換して加算することを繰り返すことにより繰り返し算出し、当該第3の時間が前記制御情報が示す時間に達しているか否かを判別することにより実行すべき前記イベントデータを特定して出力する出力手段として機能させる為のプログラム。
JP2001010620A 2001-01-18 2001-01-18 楽曲データ出力装置及び楽曲データ出力方法 Expired - Fee Related JP4403658B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2001010620A JP4403658B2 (ja) 2001-01-18 2001-01-18 楽曲データ出力装置及び楽曲データ出力方法
US10/043,828 US6600097B2 (en) 2001-01-18 2002-01-11 Data synchronizer for supplying music data coded synchronously with music dat codes differently defined therefrom, method used therein and ensemble system using the same
EP02001341A EP1233403B1 (en) 2001-01-18 2002-01-18 Synchronizer for supplying music data coded synchronously with music data codes differently defined therefrom
DE60223433T DE60223433T2 (de) 2001-01-18 2002-01-18 Synchronisiereinrichtung zum Liefern von Musikdaten, die gleichzeitig mit abweichend definierten Musikdatenkoden kodiert werden

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001010620A JP4403658B2 (ja) 2001-01-18 2001-01-18 楽曲データ出力装置及び楽曲データ出力方法

Publications (2)

Publication Number Publication Date
JP2002215143A JP2002215143A (ja) 2002-07-31
JP4403658B2 true JP4403658B2 (ja) 2010-01-27

Family

ID=18877902

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001010620A Expired - Fee Related JP4403658B2 (ja) 2001-01-18 2001-01-18 楽曲データ出力装置及び楽曲データ出力方法

Country Status (4)

Country Link
US (1) US6600097B2 (ja)
EP (1) EP1233403B1 (ja)
JP (1) JP4403658B2 (ja)
DE (1) DE60223433T2 (ja)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002358080A (ja) * 2001-05-31 2002-12-13 Kawai Musical Instr Mfg Co Ltd 演奏制御方法、演奏制御装置及び楽音発生装置
US6737571B2 (en) * 2001-11-30 2004-05-18 Yamaha Corporation Music recorder and music player for ensemble on the basis of different sorts of music data
JP3823855B2 (ja) * 2002-03-18 2006-09-20 ヤマハ株式会社 記録装置、再生装置、記録方法、再生方法及び同期再生システム
JP3835324B2 (ja) * 2002-03-25 2006-10-18 ヤマハ株式会社 楽曲再生装置
US7863513B2 (en) 2002-08-22 2011-01-04 Yamaha Corporation Synchronous playback system for reproducing music in good ensemble and recorder and player for the ensemble
US7183481B2 (en) * 2002-09-30 2007-02-27 Danger, Inc. Apparatus and method for embedding content within a MIDI data stream
US20040154460A1 (en) * 2003-02-07 2004-08-12 Nokia Corporation Method and apparatus for enabling music error recovery over lossy channels
US7412459B1 (en) * 2003-03-25 2008-08-12 Microsoft Corporation Dynamic mobile CD music attributes database
US7653344B1 (en) * 2004-01-09 2010-01-26 Neosonik Wireless digital audio/video playback system
US7794370B2 (en) * 2004-06-29 2010-09-14 Joseph A Tackett Exercise unit and system utilizing MIDI signals
JP5345780B2 (ja) * 2004-09-09 2013-11-20 ソニー コンピュータ エンタテインメント ヨーロッパ リミテッド データ処理
JP4639795B2 (ja) * 2004-12-22 2011-02-23 ヤマハ株式会社 楽器の演奏駆動装置、鍵盤楽器の演奏駆動システム及び鍵盤楽器。
US7767901B2 (en) * 2005-04-15 2010-08-03 Contois Music Technology, Llc Control of musical instrument playback from remote management station
US7507900B2 (en) * 2005-09-02 2009-03-24 Qrs Music Technologies, Inc. Method and apparatus for playing in synchronism with a DVD an automated musical instrument
US7683251B2 (en) * 2005-09-02 2010-03-23 Qrs Music Technologies, Inc. Method and apparatus for playing in synchronism with a digital audio file an automated musical instrument
US7612277B2 (en) * 2005-09-02 2009-11-03 Qrs Music Technologies, Inc. Method and apparatus for playing in synchronism with a CD an automated musical instrument
JP4595791B2 (ja) * 2005-11-18 2010-12-08 ヤマハ株式会社 カラオケ練習装置およびプログラム
JP4492570B2 (ja) * 2006-03-23 2010-06-30 ヤマハ株式会社 電子音楽装置に対するサービス提供システム
JP4757704B2 (ja) * 2006-05-01 2011-08-24 任天堂株式会社 音楽再生プログラム、音楽再生装置、音楽再生方法及び音楽再生システム
US20080082624A1 (en) * 2006-09-28 2008-04-03 Phison Electronics Corp. Portable storage device with audio auto-playback function and operation procedure thereof
JP4595948B2 (ja) * 2007-02-09 2010-12-08 ヤマハ株式会社 データ再生装置、データ再生方法およびプログラム
JP4595947B2 (ja) * 2007-02-09 2010-12-08 ヤマハ株式会社 データ再生装置、データ再生方法およびプログラム
JP5168968B2 (ja) * 2007-03-23 2013-03-27 ヤマハ株式会社 鍵駆動装置付き電子鍵盤楽器
JP4998033B2 (ja) * 2007-03-23 2012-08-15 ヤマハ株式会社 鍵駆動装置付き電子鍵盤楽器
JP5103980B2 (ja) * 2007-03-28 2012-12-19 ヤマハ株式会社 処理システム、音声再生装置及びプログラム
JP4930144B2 (ja) * 2007-03-28 2012-05-16 ヤマハ株式会社 外部機器識別手段を備えた楽器
JP5119932B2 (ja) * 2008-01-11 2013-01-16 ヤマハ株式会社 鍵盤楽器、ピアノおよび自動演奏ピアノ
WO2009108437A1 (en) 2008-02-27 2009-09-03 Steinway Musical Instruments, Inc. Pianos playable in acoustic and silent modes
US9492834B1 (en) 2009-10-15 2016-11-15 Richard A Bishel Robotic nozzle
JP5338312B2 (ja) * 2008-12-26 2013-11-13 ヤマハ株式会社 自動演奏同期装置、自動演奏鍵盤楽器およびプログラム
US8541673B2 (en) 2009-04-24 2013-09-24 Steinway Musical Instruments, Inc. Hammer stoppers for pianos having acoustic and silent modes
US8148620B2 (en) * 2009-04-24 2012-04-03 Steinway Musical Instruments, Inc. Hammer stoppers and use thereof in pianos playable in acoustic and silent modes
JP2011145541A (ja) * 2010-01-15 2011-07-28 Yamaha Corp 再生装置、楽音信号出力装置、再生システム及びプログラム
RU2502119C1 (ru) * 2011-04-06 2013-12-20 Касио Компьютер Ко., Лтд. Музыкальный звукогенерирующий инструмент и машиночитаемый носитель
JP5799977B2 (ja) * 2012-07-18 2015-10-28 ヤマハ株式会社 音符列解析装置
JP6459162B2 (ja) * 2013-09-20 2019-01-30 カシオ計算機株式会社 演奏データとオーディオデータの同期装置、方法、およびプログラム
JP6439239B2 (ja) * 2013-09-20 2018-12-19 カシオ計算機株式会社 演奏データファイル検索方法、システム、プログラム、端末装置、およびサーバ装置
WO2017221407A1 (ja) * 2016-06-24 2017-12-28 ヤマハ株式会社 同期設定装置、配信システム、同期設定方法、及びプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5054360A (en) * 1990-11-01 1991-10-08 International Business Machines Corporation Method and apparatus for simultaneous output of digital audio and midi synthesized music
JP3149093B2 (ja) * 1991-11-21 2001-03-26 カシオ計算機株式会社 自動演奏装置
JPH05297867A (ja) 1992-04-16 1993-11-12 Pioneer Electron Corp 同期演奏装置
US5890017A (en) * 1996-11-20 1999-03-30 International Business Machines Corporation Application-independent audio stream mixer
JP3196715B2 (ja) * 1997-10-22 2001-08-06 ヤマハ株式会社 楽音情報の通信装置、通信方法、制御装置、制御方法及びプログラムを記録した媒体
JP2000181449A (ja) * 1998-12-15 2000-06-30 Sony Corp 情報処理装置および方法、並びに提供媒体
JP2001195063A (ja) * 2000-01-12 2001-07-19 Yamaha Corp 演奏支援装置
IT1316734B1 (it) * 2000-07-07 2003-05-12 Korg Italy S P A Dispositivo elettronico avvalentesi di piu' sequecers capaci difunzionare in maniera indipendente o coordinata

Also Published As

Publication number Publication date
EP1233403A3 (en) 2004-02-11
US20020092411A1 (en) 2002-07-18
EP1233403A2 (en) 2002-08-21
US6600097B2 (en) 2003-07-29
EP1233403B1 (en) 2007-11-14
JP2002215143A (ja) 2002-07-31
DE60223433D1 (de) 2007-12-27
DE60223433T2 (de) 2008-09-04

Similar Documents

Publication Publication Date Title
JP4403658B2 (ja) 楽曲データ出力装置及び楽曲データ出力方法
JP3503958B2 (ja) オムニバスカラオケ演奏装置
JP5103980B2 (ja) 処理システム、音声再生装置及びプログラム
US7622664B2 (en) Performance control system, performance control apparatus, performance control method, program for implementing the method, and storage medium storing the program
JPH056172A (ja) 拍検出装置及びそれを用いた同期制御装置
JP3835324B2 (ja) 楽曲再生装置
JP3885587B2 (ja) 演奏制御装置及び演奏制御用プログラム、並びに記録媒体
JP3823855B2 (ja) 記録装置、再生装置、記録方法、再生方法及び同期再生システム
JP2000029462A (ja) 情報処理装置および情報処理方法、並びに提供媒体
JP4596966B2 (ja) 電子楽器
JP2004233698A (ja) 音楽支援装置、音楽支援サーバ、音楽支援方法およびプログラム
JP3750533B2 (ja) 波形データ録音装置および録音波形データ再生装置
JPH1031495A (ja) カラオケ装置
JP5109426B2 (ja) 電子楽器及びプログラム
JP3915517B2 (ja) マルチメディアシステム、再生装置及び再生記録装置
JP2000029472A (ja) カラオケ装置
JP5338312B2 (ja) 自動演奏同期装置、自動演奏鍵盤楽器およびプログラム
JPH1115481A (ja) カラオケ装置
JP3804536B2 (ja) 楽音再生記録装置、記録装置及び記録方法
JP3867579B2 (ja) マルチメディアシステム及び再生装置
JP4143561B2 (ja) 音楽再生装置
JP2005070472A (ja) 記録媒体再生装置、データベースサーバ、記録媒体再生方法およびプログラム
JP2982563B2 (ja) Midi編集装置
JP4048917B2 (ja) 音声データと演奏データの同期再生を行うための装置および方法
JP2008233800A (ja) 自動演奏装置、再生装置、再生システム及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071120

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090303

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090501

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090602

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090828

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20090909

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091013

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091026

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121113

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121113

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131113

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees