JP3867579B2 - マルチメディアシステム及び再生装置 - Google Patents
マルチメディアシステム及び再生装置 Download PDFInfo
- Publication number
- JP3867579B2 JP3867579B2 JP2002006634A JP2002006634A JP3867579B2 JP 3867579 B2 JP3867579 B2 JP 3867579B2 JP 2002006634 A JP2002006634 A JP 2002006634A JP 2002006634 A JP2002006634 A JP 2002006634A JP 3867579 B2 JP3867579 B2 JP 3867579B2
- Authority
- JP
- Japan
- Prior art keywords
- time
- data
- event
- timing
- controller
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Electrophonic Musical Instruments (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、映像データの再生若しくは映像データの記録に同期して、楽曲データの再生若しくは記録を行うマルチメディアシステム、再生装置及び記録装置に関する。
【０００２】
【発明が解決しようとする課題】
近年、ピアノ演奏等の楽器演奏を嗜好するユーザ達の間では、コンサート会場等の風景に応じた映像データを記録したビデオテープ（以下、ＶＴ）等をビデオカメラによって再生し、液晶ディスプレイ等のモニタにコンサート会場等の映像を表示させると共に、ユーザが該モニタに表示される映像を見ながら自動ピアノ等を演奏し、演奏に応じた楽曲データ（例えば、ＭＩＤＩ（Musical Instruments Digital Interface）規格に準拠したデータ）をフロッピーディスク（以下、ＦＤ）等の記憶媒体に記録し、後に両データを同期再生することで演奏の妙を楽しみたいとの要望がある。また、ビデオカメラによって演奏風景をＶＴに記録しながら、該自動ピアノの演奏に応じた楽曲データをＦＤにし、後に両データを同期再生することで演奏の妙を楽しみたいとの要望等もある。
しかしながら、かかる要望に応えるマルチメディアシステムは、未だ提供されていないのが現状である。
【０００３】
本発明は、以上説明した事情を鑑みてなされたものであり、映像データの再生若しくは映像データの記録に同期して、楽曲データの再生若しくは記録を行うことが可能なマルチメディアシステム、再生装置及び記録装置を提供することを目的とする。
【０００４】
【課題を解決するための手段】
この発明は、映像データと当該映像データの記録開始からの経過時間を表す一連の映像用タイムコードとオーディオデータとを含む記録情報を第１の記憶媒体から読み出し、当該記録情報中の映像データを再生するマスター装置と、前記マスター装置による前記映像データの再生に同期して第２の記憶媒体に記録されている楽曲データの再生を行うスレーブ装置とを具備するマルチメディアシステムであって、前記マスター装置は、前記記録情報中の映像データを再生すると共に、前記記録情報中のオーディオデータを前記スレーブ装置に出力し、前記スレーブ装置は、前記記録情報中の映像用タイムコードを取得し、当該映像用タイムコードを楽音用タイムコードに変換するタイムコード変換手段と、クロックをカウントすることにより計時を行う計時手段と、前記計時手段による計時結果に基づいて、前記第２の記憶媒体に記録されている楽曲の演奏制御を指示する複数のイベントと各イベントの実行タイミングを指定するタイミングデータとを含む楽曲データ中のタイミングデータによって定まる時刻に前記イベントを出力するイベント出力手段と、与えられたイベントを自動演奏手段に供給するコントローラと、前記イベント出力手段から出力されるイベントを前記コントローラに与えるタイミングを調整するタイミング調整手段であって、前記タイムコード変換手段から出力される楽音用タイムコードに対応した時刻と前記計時手段の計時結果に対応した時刻との時間差に基づいて前記タイミングを調整するタイミング調整手段とを具備し、前記コントローラは、前記マスター装置から出力されてくる前記オーディオデータを記憶手段に記憶する手段と、前記第２の記憶媒体に記録されている基準ピッチに関する情報を取得する一方、前記自動演奏手段の基準ピッチを検出し、両者の基準ピッチの音程差を求める手段と、前記タイミング調整手段によって調整されたタイミングで与えられたイベントを前記自動演奏手段に供給すると共に、前記記憶手段に記憶されたオーディオデータを、求められた音程差に応じた読み出し速度で読み出し、読み出したオーディオデータを音として出力するための制御を行う手段とを具備することを特徴とする。
【０００５】
かかる構成によれば、第２の記憶媒体から読み出されたイベントが自動演奏に用いられるタイミングが、タイムコード変換手段から出力される楽音用タイムコードに対応した時刻と計時手段の計時結果に対応した時刻との時間差に基づいて調整される。この調整により、マスター装置による映像データの再生とスレーブ装置による楽曲データの再生の時間的なずれが抑えられる。
【０００６】
前記スレーブ装置は、楽器の操作状態を検出する検出手段から該操作状態を取得し、取得した該操作状態に応じて楽曲の演奏制御を指示するイベントを生成するイベント生成手段と、前記イベント生成手段によって前記イベントが生成された場合、前記計時手段による計時結果に対応した時刻に基づいて当該イベントの実行タイミングを指定するタイミングデータを生成するタイミングデータ生成手段と、前記記録情報に含まれるオーディオデータの基準ピッチを取得する取得手段と、前記イベント生成手段によって生成された複数のイベントと、前記タイミングデータ調整手段によって調整されたタイミングデータとを含む前記楽曲データと、前記取得手段によって取得された基準ピッチに関する情報とを前記第２の記憶媒体に書き込む書き込み手段とを具備するようにしてもよい。
【０００７】
かかる構成によれば、第２の記憶媒体に書き込まれる演奏制御を指示するイベントの実行タイミングを指定するタイミングデータが、タイムコード変換手段から出力される楽音用タイムコードに対応した時刻と計時手段の計時結果に対応した時刻との時間差に基づいて調整される。この調整により、マスター装置による映像データの再生とスレーブ装置による楽曲データの記録の時間的なずれが抑えられる。
【０００８】
前記スレーブ装置は、楽器の操作状態を検出する検出手段から該操作状態を取得し、取得した該操作状態に応じて楽曲の演奏制御を指示するイベントを生成するイベント生成手段と、前記タイムコード変換手段から出力される楽音用タイムコードに対応した時刻と前記計時手段による計時結果に対応した時刻との時間差に基づいて、前記計時結果に対応した時刻を調整する計時時刻調整手段と、前記イベント生成手段によって前記イベントが生成された場合、前記計時時刻調整手段によって調整された時刻に基づいて当該イベントの実行タイミングを指定するタイミングデータを生成するタイミングデータ生成手段と、前記記録情報に含まれるオーディオデータの基準ピッチを取得する取得手段と、前記イベント生成手段によって生成されたイベントと、前記タイミングデータ生成手段によって生成されたタイミングデータとを含む楽曲データと、前記取得手段によって取得された基準ピッチに関する情報とを前記第２の記憶媒体に書き込む書き込み手段とを具備するようにしてもよい。
【０００９】
かかる構成によれば、第２の記憶媒体に書き込まれる演奏制御を指示するイベントの実行タイミングを指定するタイミングデータが、タイムコード変換手段から出力される楽音用タイムコードに対応した時刻と計時手段の計時結果に対応した時刻との時間差に基づいて調整される。この調整により、マスター装置による映像データの再生とスレーブ装置による楽曲データの記録の時間的なずれが抑えられる。
【００１０】
【発明の実施の形態】
Ａ．第１の実施形態
図１はこの発明の第１実施形態であるマルチメディアシステム６００の構成を示すブロック図である。
本実施形態に係るマルチメディアシステム６００は、以下に詳述するが、同期を保った状態でＶＴに格納されている映像データ、オーディオデータの再生と、ＦＤに対するユーザの演奏に基づくＭＩＤＩデータの記録とが可能なシステムである。
【００１１】
図１において、ビデオカメラ１００は、記録部１１０と、再生部１２０と、操作部１３０とを具備している。
記録部１１０は、操作部１３０を介して入力される指示に従って演奏風景や種々の演奏音（ユーザと一緒に演奏しているヴァイオリン演奏音等）等を当該ビデオカメラ１００に装着したＶＴに記録する役割を担っている。かかる記録部１１０は、映像風景を映像データとしてＶＴの映像トラックに記録する録画手段１１１と、演奏音をオーディオデータとしてＶＴの楽音トラックに記録する録音手段１１２と、ＶＴに対して映像データの記録開始からの経過時間を表す一連の映像用タイムコード（例えば、ＲＣタイムコード等）を付加するタイムコード付加手段１１３とを具備している。
【００１２】
再生部１２０は、操作部１３０を介して入力される指示に従ってＶＴに既に記録されている映像データやオーディオデータなどの記録情報を再生する役割を担っている。再生部１２０は、操作部１３０を介して再生指示を受け取ると、ＶＴの映像トラックに記録されている映像データを読み出し、これをＬＣＤ（Liquid Crystal Display）、ＣＲＴ（Cathode Ray Tube）等のモニタ１２１に供給し、映像として表示させると共に、ＶＴの楽音トラックに記録されているオーディオデータを読み出し、後述するコントローラ３へ供給する。さらに、再生部１２０は、映像データ及びオーディオデータの読み出しに応じてＶＴに付加されている映像用タイムコードを読み出し、これをタイムコード変換器２００へ送出する。なお、本実施形態においては、この映像用タイムコードを出力するビデオカメラ１００がマスターとして機能し、当該ビデオカメラ１００からタイムコード変換器２００を介して楽音用タイムコードを受け取る種々の装置（ＦＤ記録装置８等）がスレーブとして機能する。
【００１３】
タイムコード変換器２００は、例えばケーブル等によってビデオカメラ１００に接続され、該ビデオカメラ１００から順次供給される映像用タイムコードを楽音用タイムコード（ＭＩＤＩタイムコード；以下、適宜、ＭＴＣという）に変換し、変換後のＭＴＣをコントローラ３へ供給する。
【００１４】
コントローラ３は、操作部４を介して与えられる指示に従って、このシステム全体の制御を行う。コントローラ３によって行われる各種の制御のうち本発明と最も関連が深いのは、ビデオカメラ１００による映像データの再生に同期してユーザによるピアノ演奏音等を記録（以下、同期記録という）する場合の記録制御である。このコントローラ３は、タイムコード変換器２００からＭＴＣを受け取る度に、そのタイムコードをＦＤ記録装置８に送る。また、コントローラ３は、ＭＩＤＩイベント生成回路１４からＭＩＤＩイベント等（後述）を受け取ると、このＭＩＤＩイベント等をＦＤ記録装置８に送る。さらに、コントローラ３は、ビデオカメラ１００から供給されるオーディオデータに基づいてアナログオーディオ信号を生成してミキサ５に送る。なお、これらの手段については後述する。
【００１５】
自動ピアノ１０は、ユーザによる鍵操作に応じて打弦により機械的なピアノ音を発生する楽音発生機構を備えるほか、ユーザによる鍵操作を検出し、検出結果に応じて電子的なピアノ音を発生する楽音発生機構も備えている。かかる自動ピアノ１０は、ピアノ１１と、キーセンサ１２と、ペダルセンサ１３と、ＭＩＤＩイベント生成回路１４と、ピアノ音源１５とを有している。
キーセンサ１２及びペダルセンサ１３は、それぞれピアノ１１に配設された複数の鍵及び複数のペダル（ソステヌートペダル等）の各々に対応して設けられ、鍵及びペダルを押したときの強さ、深さなどを検出し、検出した鍵若しくはペダルを特定するキー番号若しくはペダル番号、ベロシティー情報（押鍵強度等に対応したデータ）等を含む検出結果をＭＩＤＩイベント生成回路１４に供給する。
【００１６】
ＭＩＤＩイベント生成回路１４は、コントローラ３による制御の下、キーセンサ１２及びペダルセンサ１３から供給される検出結果に基づいてＭＩＤＩイベントを生成する。ここで、ＭＩＤＩイベントは、発音又は消音すべき旨を示すノートオン・ノートオフ情報と、発音すべき音の高さを示すノートナンバ情報と、発音の強弱を示すベロシティ情報等によって構成されている。ＭＩＤＩイベント生成回路１４は、上記検出結果に基づいて、例えば「ドの音（ノートナンバ）を強さ１０（ベロシティ）で発音（ノートオン）せよ」といった演奏制御を指示するイベントの一種であるＭＩＤＩイベントを生成し、かかるＭＩＤＩイベントをコントローラ３及びピアノ音源１５に供給する。
【００１７】
ピアノ音源１５は、ＭＩＤＩイベント生成回路１４から供給されるイベントにより指示されたピアノ音のアナログオーディオ信号を電子的に生成する装置である。このピアノ音源１５により生成されたアナログオーディオ信号は、ミキサ５へ出力される。
ミキサ５は、コントローラ３、ピアノ音源１５から出力される各アナログ信号を混合して出力する装置である。このミキサ５の出力信号は、アンプ６によって増幅され、スピーカ７から音として出力される。
【００１８】
ＦＤ記録装置８は、モニタ１２１に表示される映像、すなわちビデオカメラ１００による映像データの再生に併せてユーザが自動ピアノ１０を演奏したときの演奏音をＦＤに記録する装置であり、コントローラ３による制御の下、該コントローラ３から供給されるビデオカメラ１００によって再生されているＶＴを識別するための識別情報（Ｖ−ＩＤ）、ＭＩＤＩイベント等を含むＳＭＦ(Standard MIDI File)を作成する機能を有している。ここで、ＳＭＦは、図２に示すように、ヘッダチャンクＨＴとトラックチャンクＴＴによって構成されている。ヘッダチャンクＨＴには、ＳＭＦの基本的な情報（チャンクタイプ等）が格納されるほか、Ｖ−ＩＤなどの同期記録の際に再生されたＶＴを識別するための識別情報が格納される。トラックチャンクＴＴには、ＭＩＤＩデータが格納される。ＭＩＤＩデータは、同図に示すように、演奏制御等を指示するイベントと、先行するイベントと後発のイベントとの発生時間間隔を示すデルタタイムからなる時系列の楽曲データである。ここで、ＭＩＤＩデータを構成するイベントは、ＭＩＤＩイベント生成回路１４において生成されるＭＩＤＩイベントや、コントローラ３において生成されるSysExイベント、メタイベントによって構成されている。
【００１９】
かかるＳＭＦの作成・記録を行うＦＤ記録装置８は、コントローラ３から同期記録の開始指令を受け取ると、計時手段（後述）を用いて時刻の計時を開始する。そして、ＦＤ記録装置８は、コントローラ３からイベントを受け取る毎に、計時手段によって計時された時刻等を参照してデルタタイムを求め、イベントとデルタタイムからなるＭＩＤＩデータを順次作成する。ここで、本実施形態に係るＦＤ記録装置８は、ビデオカメラ１００による映像データの再生に同期して自動ピアノ１０の演奏音を記録すべく、上記計時手段によって計時された時刻とコントローラ３から供給されるＭＴＣに示される時刻との間に生じたずれに応じて先行するイベントと後発のイベントとの発生時間間隔を示すデルタタイムの値を適宜調整する機能を備えている。以下、かかる種々の機能を備えたＦＤ記録装置８の構成について、図３を参照しながら説明する。
【００２０】
図３は、ＦＤ記録装置８に設けられた制御回路の構成を説明するためのブロック図である。この図３に示された制御回路は、上述したＳＭＦを作成し、これをＦＤに記録する機能と、計時手段２２０によって計時された時刻とコントローラ３から供給されるＭＴＣに示される時刻との間に生じたずれを補正する機能とを営むものである。
クロック生成手段２１０は、コントローラ３内に設けられ、水晶振動子とアンプとにより構成された発振回路（いずれも図示略）を備えている。このコントローラ３内に設けられたクロック生成手段２１０は、発振回路から出力される発振信号を適宜分周してタイミング制御用の各種のクロック（本発明に特に関連の深いクロックは、テンポクロックＣＴである）を発生する手段である。クロック発生手段２１０は、このように生成したテンポクロックＣＴを制御回路の計時手段２２０に順次供給する。
【００２１】
計時手段２２０は、加算器２２１及び経過時間レジスタ２２２によって構成され、この加算器２２１及び経過時間レジスタ２２２によりテンポクロックＣＴが与えられるたびに「＋１」の加算を行う累算器が構成される。加算器２２１は、経過時間レジスタ２２２の格納データと固定値「＋１」とを加算して出力する。経過時間レジスタ２２２には、同期記録が開始されたとき初期値「０」が書き込まれ、以後、当該経過時間レジスタ２２２にテンポクロックＣＴが与えられる度に、加算器２２１の出力データ、すなわち当該時点における経過時間レジスタ２２２の格納データと「＋１」との加算結果が書き込まれる。この経過時間レジスタ２２２の出力データＮは、同期記録開始以後の経過時間を表す経過時間データとして利用される。
【００２２】
ＳＭＦ作成・書き込み制御手段２５０は、コントローラ３による制御の下、ＳＭＦを作成する機能や作成したＳＭＦをＦＤ記録装置８に装着されたＦＤに書き込む機能などを備えている。このＳＭＦ作成・書き込み制御手段２５０は、ＭＩＤＩイベント生成回路１４等によって生成された種々のイベント（ＭＩＤＩイベント等）をコントローラ３から受け取ると、デルタタイム生成手段２４０にデルタタイムを生成すべき指令を送る。
【００２３】
デルタタイム生成手段２４０は、デルタタイムを生成すべき指令を受け取ると、デルタタイムを生成し（詳細は後述）、これをＳＭＦ作成・書き込み制御手段２５０に返す。ＳＭＦ作成・書き込み制御手段２５０は、デルタタイム生成手段２４０から受け取ったデルタタイムとコントローラ３から受け取ったイベントによって構成されたＭＩＤＩデータをトラックチャンクＴＴ（図２参照）に格納する一方、コントローラ３から供給される再生されたＶＴを識別するための識別情報（Ｖ−ＩＤ）をヘッダチャンクＨＴ（図２参照）に格納してＳＭＦを作成し、これをＦＤ記録装置２に装着されたＦＤに書き込む。
【００２４】
デルタタイム生成手段２４０は、前回経過時間レジスタ２４１と、補正値レジスタ２４２とを備え、ＳＭＦ作成・書き込み制御手段２５０からの指令に基づき、デルタタイムを生成する。
前回経過時間レジスタ２４１には、前回、ＳＭＦ作成・書き込み制御手段２５０からデルタタイムを生成すべき指令を受け取ったときに計時手段２２０から取得した経過時間データ（便宜上、Ｎｆと記す）が保持される。この前回経過時間レジスタ２４１には、同期記録が開始されたとき、初期値「０」が書き込まれる。
【００２５】
補正値レジスタ２４２には、デルタタイム調整手段２３０において生成されるデルタタイムの補正値Ｒが保持される。詳しくは後述するが、本実施形態においては、この補正値Ｒを適宜設定することで、計時手段２２０によって計時された時刻とコントローラ３から供給されるタイムコードに示される時刻との間に生じたずれを補正する。この補正値レジスタ２４２には、同期記録が開始されたとき、初期値「０」が書き込まれる。
【００２６】
デルタタイム生成手段２４０は、ＳＭＦ作成・書き込み制御手段２５０からデルタタイムを生成すべき指示を受け取ると、計時手段２２０から経過時間レジスタ２２２に格納されている現時点における経過時間データＮを取得した後、前回経過時間レジスタ２４１に保持されている経過時間データＮｆ（前回、ＳＭＦ作成・書き込み制御手段２５０からデルタタイムを生成すべき指示を受け取ったときに計時手段２２０から取得した経過時間）を読み出し、経過時間データＮから経過時間データＮｆを減算する。そして、デルタタイム生成手段２４０は、補正値レジスタ２４２に保持されているデルタタイムの補正値Ｒを読み出し、この補正値Ｒと上記減算結果Ｎ−Ｎｆとを加算し、加算結果Ｎ−Ｎｆ＋Ｒを調整後のデルタタイムとして、ＳＭＦ作成・書き込み制御手段２５０に返す。そして、デルタタイム生成手段２４０は、前回経過時間レジスタ２４１に格納されている経過時間データを、今回新たに計時手段２２０から取得した経過時間データへ更新する。
【００２７】
デルタタイム調整手段２３０は、ＶＴの再生と同期して記録を行うべく、計時手段２２０によって計時された時刻とコントローラ３から供給されるＭＴＣに示される時刻との間に生じたずれに応じて、先行するイベントと後発のイベントとの発生時間間隔を示すデルタタイムの値を適宜調整する。
【００２８】
図４は、デルタタイム調整手段２３０によって実行されるデルタタイム調整処理を示すフローチャートである。デルタタイム調整手段２３０は、ステップＳ１において、コントローラ３から「０」より大きなＭＴＣが与えられると、これを第１の記録時間データＴＣＤとし、ステップＳ２に進む。デルタタイム調整手段２３０は、ステップＳ２に進むと、計時手段２２０から当該時点における経過時間データＮを取得し、取得した経過時間データＮにテンポクロックＣＴの周期τを乗算し、第２の記録時間データＴＦＤ（＝Ｎ＊τ）を求める。この第２の記録時間データＴＦＤは、同期記録を開始してから現在に至るまでの経過時間を表している。次に、デルタタイム調整手段２３０は、第１の記録時間データＴＣＤと第２の記録時間データＴＦＤの差分の絶対値｜ＴＣＤ−ＴＦＤ｜が予め設定された所定の許容範囲Δに収まっているか否かを判断する（ステップＳ３）。デルタタイム調整手段２３０は、第１の記録時間データＴＣＤと第２の記録時間データＴＦＤとの差分の絶対値が所定の許容範囲Δに収まっていると判断すると（ステップＳ３；ＹＥＳ）、デルタタイムの補正値Ｒとして補正値レジスタ２４４に「０」を書き込み（ステップＳ４）、デルタタイム調整処理を終了する。
【００２９】
一方、デルタタイム調整手段２３０は、第１の記録時間データＴＣＤと第２の記録時間データＴＦＤの差分の絶対値｜ＴＣＤ−ＴＦＤ｜が所定の許容範囲Δを越えていると判断すると、第１の記録時間データＴＣＤが第２の記録時間データＴＦＤよりも大きいかどうかを判断する（ステップＳ５）。第１の記録時間データＴＣＤが第２の記録時間データＴＦＤよりも大きい場合、計時手段２２０によって計時されている時刻は、コントローラ３から供給されるＭＴＣに示される時刻よりも遅れているといえる。デルタタイム調整手段２３０は、第１の記録時間データＴＣＤが第２の記録時間データＴＦＤよりも大きいと判断すると（ステップＳ５；ＹＥＳ）、かかる時刻ずれをデルタタイムを減少させることで補正すべく、第２の記録時間データＴＦＤと第１の記録時間データＴＣＤの差分を求め、求めた差分ＴＦＤ−ＴＣＤ（＜０）をテンポクロックＣＴの周期τによって除算し、この除算結果（ＴＦＤ−ＴＣＤ）／τを、デルタタイムの補正値Ｒとして図３に示す補正値レジスタ２４４に書き込み（ステップＳ６）、デルタタイム調整処理を終了する。なお、この場合、補正値レジスタ２４４に書き込まれるデルタタイムの補正値Ｒは負の値となる。
【００３０】
一方、第１の記録時間データＴＣＤが第２の記録時間データＴＦＤよりも小さい場合、計時手段２２０によって計時されている時刻は、コントローラ３から供給されるＭＴＣに示される時刻よりも進んでいるといえる。デルタタイム調整手段２３０は、第１の記録時間データＴＣＤが第２の記録時間データＴＦＤよりも小さいと判断すると（ステップＳ５；ＮＯ）、かかる時刻ずれをデルタタイムを増加させることで補正すべく、第２の記録時間データＴＦＤと第１の記録時間データＴＣＤとの差分を求め、求めた差分ＴＦＤ−ＴＣＤ（＞０）をテンポクロックＣＴの周期τによって除算し、この除算結果（ＴＦＤ−ＴＣＤ）／τを、デルタタイムの補正値Ｒとして図３に示す補正値レジスタ２４４に書き込み（ステップＳ７）、デルタタイム調整処理を終了する。なお、この場合、補正値レジスタ２４４に書き込まれるデルタタイムの補正値Ｒは正の値となる。
以上が本実施形態に係るマルチメディアシステム６００の詳細である。以下、図５を参照しながら、マルチメディアシステム６００の動作について詳細に説明する。
【００３１】
図５は本実施形態に係るマルチメディアシステム６００の動作を示すタイムチャートである。さらに詳述すると、図５には、あるＶＴに格納された映像データの再生に同期してユーザのピアノ演奏等に応じた楽曲データの記録を行う場合を例に、ＶＴからタイムコード変換器２００を介して出力される楽音用タイムコード（ＭＴＣ）、ＶＴから読み出される映像データ、ＶＴから読み出されるオーディオデータ、コントローラ３から出力されるオーディオデータ、ＦＤ記録装置８の計時手段２２０による計時時刻、及びＭＩＤＩイベント生成回路１４において生成されるＭＩＤＩイベントＭＥ−ｎ（ｎ＝１、２、〜）が時系列的に示されている。この図５において、ｐ［ｋ］（ｋ＝０、０．２５、０．５、〜）及びａ［ｋ］（ｋ＝０、０．２５、０．５、〜）は、それぞれ映像データの再生開始時刻を０秒とした場合に、ｋ秒からｋ＋１秒の区間内の部分の映像データ及びオーディオデータである。また、ｒ［ｋ］（ｋ＝０、０．２５、０．５、〜）は、映像データの再生開始時刻を０秒とした場合に、ｋ秒経過した時点における計時手段２２０による計時時刻である。ここで、上記楽音用タイムコード（ＭＴＣ）は、本来１ｓｅｃ／３０程度の間隔でタイムコード変換器２００から出力されるが、以下の説明では、便宜上、１ｓｅｃ／４(＝２５０ｍｓｅｃ）の間隔でタイムコード変換器２００からＭＴＣが出力される場合を想定する。
【００３２】
同期記録を行う際、ユーザは、まず操作部４を操作してＦＤに対する記録を待機すべき旨の指令（以下、ポーズ指令という）を入力する。コントローラ３は、操作部４を介してかかるポーズ指令を受け取ると、該ポーズ指令をＦＤ記録装置８に転送する。その後、ユーザは、ビデオカメラ１１０に再生すべきＶＴを装着し、ビデオカメラ１１０の操作部１３０を操作して映像データ等の再生を開始すべき指令を入力する。かかる指令が入力されると、ビデオカメラ１００の再生部１２０は、ＶＴの映像トラックに記録されている映像データｐ［０］を読み出し、これをモニタ１２１に供給すると共に、ＶＴの楽音トラックに記録されているオーディオデータａ［０］を読み出し、コントローラ３へ供給する。さらに、再生部１２０は、映像データ及びオーディオデータの読み出しに応じてＶＴに付加されている映像用タイムコード「０」を読み出し、これをタイムコード変換器２００へ送出する。
【００３３】
モニタ１２１は、ビデオカメラ１００から受け取った映像データｐ［０］に従って映像の表示を開始する。一方、コントローラ３は、ビデオカメラ１００からオーディオデータａ［０］を受け取ると共に、タイムコード変換器２００を介して楽音用タイムコード（ＭＴＣ）「０」を受け取ると、オーディオデータａ［０］からアナログオーディオ信号を生成してミキサ５に出力し、音として出力させると共に、ＭＴＣ「０」及びポーズ状態を解除すべき指令（以下、ポーズ解除指令という）をＦＤ記録装置８に送る。
【００３４】
ＦＤ記録装置８は、コントローラ３からポーズ解除指令を受け取ると、直ちに計時手段２２０を利用して時刻の計時を開始する。しかし、ＦＤ記録装置８内のデルタタイム調整手段２３０では、このＭＴＣ「０」を利用したデルタタイムの調整は行われない。
その後、さらに２５０ｍｓｅｃが経過すると、ビデオカメラ１００からタイムコード変換器２００を介してＭＴＣ「０．２５」が出力される。このとき、デルタタイム調整手段２３０では、「０」より大きなＭＴＣが供給されたことから、上述したデルタタイムの調整が行われる。
【００３５】
このように、ビデオカメラ１００に映像データ等の再生を開始すべき指令が入力されると、直ちに映像データの再生とＦＤ記録装置８による演奏音の記録が開始される。そして、さらに２５０ｍｓｅｃ経過すると、デルタタイム調整手段２３０は、計時手段２２０によって計時された時刻とコントローラ３から供給されるＭＴＣに示される時刻との間に生じたずれに応じて図４に示すデルタタイム調整処理を開始する。そして、以後は、ＭＴＣがコントローラ３から供給される度に、デルタタイム調整手段２３０は上述したデルタタイムの調整を行う。その後、例えば図５に示すように計時手段２２０による計時時刻ｒ［１．０］、ｒ［１．５］、ｒ［２．０］においてＭＩＤＩイベントＭＥ−１、−２、−３が生成され、各ＭＩＤＩイベントに対応するデルタタイムが生成されると、これらがＳＭＦ作成・書き込み制御手段２５０に供給される。
【００３６】
ＳＭＦ作成・書き込み制御手段２５０は、ＭＩＤＩイベントＭＥ−１、−２、−３及び各ＭＩＤＩイベントに対応するデルタタイムを受け取ると、各ＭＩＤＩイベント及び各デルタタイムを含むＭＩＤＩデータをＳＭＦのトラックチャンクＴＴに格納する。その後、操作部４を介して同期記録を終了すべき指令が入力されると、コントローラ３は、再生されたＶＴを識別するための識別情報（Ｖ−ＩＤ）をＳＭＦ作成・書き込み制御手段２５０ヘ供給する。ＳＭＦ作成・書き込み制御手段２５０は、該識別情報（Ｖ−ＩＤ）をヘッダチャンクＨＴ（図２参照）に格納し、該ヘッダチャンクＨＴ及びトラックチャンクＴＴによって構成されたＳＭＦをＦＤ記録装置８に装着されたＦＤに書き込み、処理を終了する。
以上の説明から明らかなように、本実施形態の特徴は、ＶＴからタイムコード変換器２００を介して出力されるＭＴＣに基づいて同期記録の時間管理を行う点にある。なお、ＦＤに記録されたＭＩＤＩデータと、対応するＶＴに格納されている映像データとを同期して再生するマルチメディアシステムの構成、動作等については、第２の実施形態において詳細を明らかにする。
【００３７】
以上説明したように、本実施形態に係るマルチメディアシステム６００によれば、ＶＴの再生に同期してＦＤにＭＩＤＩデータを記録することが可能となる。
【００３８】
なお、上述した第１の実施形態では、ＶＴの再生に同期してＦＤにＭＩＤＩデータを記録する場合を例に説明したが、ＶＴの再生ではなく、ＶＴに対する映像データ等の記録に同期してＦＤにＭＩＤＩデータを記録することも可能である。この場合、ビデオカメラ１００の記録部１１０は、ＶＴに映像データ、オーディオデータ、映像用タイムコードを含む記録情報を記録すると共に、該映像用タイムコードを順次タイムコード変換器２００に供給する。タイムコード変換器２００は、順次供給される映像用タイムコードを楽音用タイムコード（ＭＴＣ）に変換し、変換後のＭＴＣをコントローラ３へ供給する。なお、ＶＴに対する映像データ等の記録に同期してＦＤに楽曲データを記録する場合のＭＴＣの出力タイミング、ＦＤに対する楽曲データの記録開始タイミング等については、上述した第１の実施形態とほぼ同様に説明することができるため、省略する。このように、ＶＴに対する映像データ等の記録に同期してＦＤに楽曲データを記録することにより、例えばライブ録画／録音、プロモーション、ショー用の映像付コンテンツを容易に作成することができる。
【００３９】
なお、上述した第１の実施形態では、自動ピアノ１０を例に説明したが、例えば弦振動を検出する検出機構を備えた電子バイオリン、操作子（ピストン等）の操作状態等を検出する検出機構を備えた電子トランペット等のあらゆる電子楽器に適用可能である。また、電子楽器のみならず、自然楽器（例えば、バイオリン）であっても、かかる自然楽器の操作状態を検出する機構（例えば、弦振動を検出する検出機構等）を設けることで、上記電子楽器と同様に本発明を適用することができる。また、これら電子楽器等のほか、音楽製作ソフト等がインストールされているＰＣ（Personal Computer）など、ユーザの操作状態を検出し、検出結果に応じてＭＩＤＩイベントの生成を指示することができる様々な電子機器に適用可能である。すなわち、特許請求の範囲に記載の「楽器」とは、ユーザの操作状態を検出し、検出結果に応じてＭＩＤＩイベントの生成を指示することができる様々な機器をいう。
【００４０】
また、上述した第１の実施形態では、ＭＩＤＩデータを記憶する記憶媒体としてＦＤを例に説明したが、例えばＭＯ（Magneto Optical disk）、メモリースティック等あらゆる記憶媒体に適用可能である。ここで、本発明は、例えばビデオカメラ、ＦＤ記録装置、コントローラなど、図１に示す全ての構成要素を含んだ自動ピアノを製造し販売するという態様でも実施され得る。このような自動ピアノによれば、ユーザは、ＶＴに記録された映像データの再生に同期して演奏データ（例えば、ユーザが自動ピアノを演奏することにより得られる演奏データ等）をＦＤに記録することができる。
【００４１】
＜変形例１＞
上述した第１の実施形態では、ＶＴからタイムコード変換器２００を介して出力されるＭＴＣに基づいてデルタタイムを調整することで、計時手段２２０によって計時された時刻と該ＭＴＣに示される時刻との間に生じたずれを抑制した。これに対し、変形例１では、ＶＴからタイムコード変換器２００を介して出力されるＭＴＣに基づいて経過時間レジスタ２２２内の経過時間データＮを調整することで、計時手段２２０によって計時された時刻とコントローラ３から供給されるＭＴＣに示される時刻との間に生じたずれを抑制する。
【００４２】
図６は、変形例１に係るＦＤ記録装置８に設けられた制御回路の構成を説明するためのブロック図であり、図７は、経過時間調整手段２３０’によって実行される経過時間調整処理を示すフローチャートである。なお、図６に示す制御回路は、デルタタイム調整手段２３０の代わりに経過時間調整手段２３０’が設けられている点及び補正値レジスタ２４２が除かれている点を除けば、図３に示す制御回路と同様であるため、対応する部分には同一符号を付し、説明を省略する。また、図７に示す経過時間調整処理は、ステップＳ４が除かれている点及びステップＳ６、ステップＳ７の代わりにそれぞれステップＳ６’、ステップＳ７’が設けられている点を除けば、図４に示すデルタタイム調整処理と同様であるため、対応するステップには同一符号を付し、説明を省略する。
【００４３】
経過時間調整手段２３０’は、計時手段２２０によって計時された時刻とコントローラ３から供給されるＭＴＣに示される時刻との間に生じたずれに応じて経過時間レジスタ２２２内の経過時間データＮを調整する手段である。
経過時間調整手段２３０’は、コントローラ３から「０」より大きなＭＴＣが与えられ、ステップＳ１→ステップＳ２→ステップＳ３と進むと（図７参照）、第１の記録時間データＴＣＤと第２の記録時間データＴＦＤの差分の絶対値｜ＴＣＤ−ＴＦＤ｜が予め設定された所定の許容範囲Δに収まっているか否かを判断する（ステップＳ３）。経過時間調整手段２３０’は、第１の記録時間データＴＣＤと第２の記録時間データＴＦＤとの差分の絶対値が所定の許容範囲Δに収まっていると判断すると（ステップＳ３；ＹＥＳ）、経過時間レジスタ２２２内の経過時間データＮを調整することなく、経過時間調整処理を終了する。
【００４４】
一方、経過時間調整手段２３０’は、第１の記録時間データＴＣＤと第２の記録時間データＴＦＤの差分の絶対値｜ＴＣＤ−ＴＦＤ｜が所定の許容範囲Δを越えていると判断すると、第１の記録時間データＴＣＤが第２の記録時間データＴＦＤよりも大きいかどうかを判断する（ステップＳ５）。第１の記録時間データＴＣＤが第２の記録時間データＴＦＤよりも大きい場合、計時手段２２０によって計時されている時刻は、コントローラ３から供給されるＭＴＣに示される時刻よりも遅れているといえる。経過時間調整手段２３０’は、第１の記録時間データＴＣＤが第２の記録時間データＴＦＤよりも大きいと判断すると（ステップＳ５；ＹＥＳ）、第１の記録時間データＴＣＤと第２の記録時間データＴＦＤの差分の絶対値｜ＴＣＤ−ＴＦＤ｜（＞０）をテンポクロックＣＴの周期τによって除算し、この除算結果｜ＴＣＤ−ＴＦＤ｜／τを、経過時間レジスタ２２２内の経過時間データＮに加算し、加算後の経過時間データＮを経過時間レジスタ２２２に書き込み（ステップＳ６’）、経過時間調整処理を終了する。
【００４５】
一方、第１の記録時間データＴＣＤが第２の記録時間データよりも小さい場合、計時手段２２０によって計時されている時刻は、コントローラ３から供給されるＭＴＣに示される時刻よりも進んでいるといえる。デルタタイム調整手段２３０は、第１の記録時間データＴＣＤが第２の記録時間データＴＦＤよりも小さいと判断すると（ステップＳ５；ＮＯ）、第１の記録時間データＴＣＤと第２の記録時間データＴＦＤの差分の絶対値｜ＴＣＤ−ＴＦＤ｜（＞０）をテンポクロックＣＴの周期τによって除算し、この除算結果｜ＴＣＤ−ＴＦＤ｜／τを、経過時間レジスタ２２２内の経過時間データＮから減算し、減算後の経過時間データＮを経過時間レジスタ２２２に書き込み（ステップＳ７’）、経過時間調整処理を終了する。
以上説明した本変形例においても上記第１の実施形態と同様の効果が得られる。
【００４６】
Ｂ．第２の実施形態
図８は、第２の実施形態に係るマルチメディアシステム７００の構成を示す図である。本実施形態に係るマルチメディアシステム７００は、ＶＴの再生に同期してＭＩＤＩデータを記録する機能を備えるほか、記録されたＭＩＤＩデータと対応するＶＴに格納されている映像データ等を同期して再生する機能を備えている。なお、図８に示すマルチメディアシステム７００は、ＦＤ再生装置８ａが設けられている点及び自動ピアノ１０の代わりに自動ピアノ２０が設けられている点を除けば、図１に示すマルチメディアシステム６００とほぼ同様である。従って、対応する部分には同一符号を付し、上記第１の実施形態と重複する部分については説明を割愛する。
【００４７】
コントローラ３は、第１の実施形態において説明した機能を具備するほか、ＶＴとＦＤの同期再生のための制御を行う機能を備えている。この同期再生の指示が操作部４から与えられた場合、コントローラ３は、この指示に従って、ＭＩＤＩデータの再生指示をＦＤ再生装置８ａに送る。ここで、コントローラ３は、ＦＤに記憶されたＭＩＤＩデータを楽曲の先頭から再生すべき指令である場合には、楽曲の先頭から５００ｍｓｅｃ経過後のＭＩＤＩデータから読み出しを開始すべき指令をＦＤ再生装置８ａに送る。なお、これらの手段については後述する。また、コントローラ３は、ビデオカメラ１００からタイムコード変換器２００を介して楽音用タイムコード（ＭＴＣ）が供給される都度、そのＭＴＣをＦＤ再生装置８ａに送る。
【００４８】
自動ピアノ２０は、第１の実施形態において説明した自動ピアノ１０としての機能を備えるほか、ＦＤからコントローラ３によって読み出されるＭＩＤＩデータに従って自動演奏を行う機能を備えている。かかる自動ピアノ２０は、自動ピアノ１０の各構成要素（ピアノ１１等）を備えるほか、ピアノ電子回路１６と、駆動ソレノイド群１７とを備えている。
ここで、アンサンブル音源１８により自動演奏を行う場合、コントローラ３は、ＦＤ再生装置８ａから受け取ったイベントをアンサンブル音源１８に送る。また、ピアノ音源１５またはピアノ１１により自動演奏を行う場合、コントローラ３は、ＦＤ再生装置８ａから受け取ったイベントをピアノ電子回路１６に送る。いずれの手段により自動演奏を行うかは、操作部４からの指示に従って決定される。
【００４９】
前述したようにアンサンブル音源１８により生成されたデジタル楽音信号は、コントローラ３によってアナログ楽音信号に変換され、ミキサ５に送られる。なお、本実施形態に係るミキサ５は、アナログ信号を受け取るアナログ入力ポートとデジタル信号を受け取るデジタル入力ポートの両方を有しており、これらのポートを介して入力される全ての信号をミキシングして出力することができる。従って、アンサンブル音源１８から出力されるデジタル楽音信号をコントローラ３を経由することなくミキサ５に直接供給してもよい。
【００５０】
ピアノ電子回路１６は、コントローラ３からイベントを受け取り、自動演奏のための制御を行う回路である。このピアノ電子回路１６は、２通りの方法のうちいずれかにより自動演奏の制御を行う。まず、第１の方法では、コントローラ３から受け取ったイベントをピアノ音源１５に送る。前述したように、ピアノ音源１５は、イベントにより指示されたピアノ音のアナログオーディオ信号を電子的に生成する装置である。第２の方法では、ピアノ電子回路１６は、コントローラ３から受け取ったイベントに従って駆動ソレノイド群１７に対する通電制御を行う。この駆動ソレノイド群１７は、ピアノ１１に設けられた複数の鍵に各々対応した複数のソレノイドと、複数のペダルに各々対応した複数のソレノイドとからなる。ピアノ電子回路１６は、ある鍵の押下を指示するイベントをコントローラ３から受け取った場合、その鍵に対応したソレノイドに駆動電流を流し、鍵を押下させるのに必要な磁力をソレノイドにより発生する。離鍵を指示するイベントを受け取った場合も同様である。第１の方法、第２の方法のいずれによりイベントを取り扱うかの指示は、操作部４からコントローラ３に与えられ、コントローラ３はこの指示をピアノ電子回路１６に送る。ピアノ電子回路１６は、受け取った指示に従う。
【００５１】
コントローラ３によってイベントが出力されてから自動演奏音が発生されるまでには遅延があり、その遅延時間はいずれの手段により自動演奏を行うかによって異なる。自動ピアノにより自動演奏を行う場合、コントローラ３がイベントを出力してから自動演奏音が発生するまでに、例えば５００ｍｓｅｃの時間を要する。そこで、本実施形態では、同期再生の指示が操作部４から与えられ、かつ、自動演奏のための手段として自動ピアノ２０が選択されている場合には、次のようにしてＶＴおよびＦＤの同期再生を行う。まず、ＦＤの再生を待機すべき旨の指令（すなわち、ポーズ指令）がコントローラ３からＦＤ再生装置８ａに送られる。そして、映像データ等の再生すべき指令（すなわち、同期再生を開始すべき指令）がビデオカメラ１００に入力されると、ビデオカメラ１００からタイムコード変換器２００を介してコントローラ３へＭＴＣの供給が開始される。コントローラ３は、前述したように、この時点から５００ｍｓｅｃ経過後のＭＩＤＩデータから読み出しを開始すべき指令をＦＤ再生装置８ａに送る。このように、ＦＤに格納されている楽曲データの先頭から読み出しを開始するのではなく、５００ｍｓｅｃ経過後のＭＩＤＩデータから読み出しを開始することにより、以後、ＶＴ内の映像データ等の再生と、ＦＤ内のＭＩＤＩデータの再生との同期が保たれる。
【００５２】
ＦＤ再生装置８ａは、コントローラ３からの指令に従い、ＦＤからＭＩＤＩデータを順次読み出してコントローラ３に供給する。このＭＩＤＩデータは、例えばＦＤ記録装置８によりＶＴの再生に同期して記録されたＭＩＤＩデータである（図５参照）。ＦＤ再生装置８ａは、あるイベントをＦＤから読み出してコントローラ３に送った後は、そのイベントの後のデルタタイムによって示される時間だけ待機し、後続のイベントの読み出しを行う、という処理を繰り返す。これがＦＤ再生装置８ａの基本的な動作である。ＦＤ再生装置８ａは、以上説明したＭＩＤＩデータをＦＤから読み出す機能（すなわち、シーケンサとしての機能）の他に、この読み出し動作をビデオカメラ１００による映像データ等の再生に同期させるタイミング調整機能を有している。以下、かかる種々の機能を備えたＦＤ再生装置８ａの構成について、図９を参照しながら説明する。
【００５３】
図９は、ＦＤ再生装置８ａに設けられた制御回路の構成を示すブロック図である。この図９に示された回路は、シーケンサとしての機能とタイミング調整機能とを営むものである。
イベントバッファ３０２は、ＦＤから読み出されたイベントを格納するバッファである。ここで、１つのデルタタイムの後に２以上の連続したイベントが続くことがあり得る。そのような場合、連続した全てのイベントがＦＤから読み出され、イベントバッファ３０２に格納される。デルタタイムレジスタ３０３は、ＦＤから読み出されたデルタタイムを格納するレジスタである。既に説明したように、このデルタタイムは、相前後した２つのイベント間の経過時間を指定するものである。
【００５４】
加算器３１１およびレジスタ３１２は、累算器を構成している。この累算器は、ＦＤから順次読み出されてレジスタ３０３に格納される一連のデルタタイムの累算値を求めるものである。さらに詳述すると、現時点におけるデルタタイムの累算値は、レジスタ３１２によって保持されるようになっている。また、加算器３１１は、このレジスタ３１２に格納された累算値とレジスタ３０３に格納されているデルタタイムとを加算して、加算結果Ｍを出力する。このＭは、イベントバッファ３０２に格納された１または複数のイベントをコントローラ３に転送する目標時刻に相当する数値である。従って、以下ではこのＭを目標時刻データと呼ぶ。この目標時刻データＭにより指定された時刻になると、イベント転送制御手段３３０からレジスタ３０３および３１２に書き込みクロックが供給される。この結果、加算器３１１の出力データ、すなわち、それまでレジスタ３１２に格納されていた累算値とレジスタ３０３に格納されていたデルタタイムとを加えた値が新たな累算値としてレジスタ３１２に格納される。また、このときＦＤから読み出された新たなデルタタイムがレジスタ３０３に格納されるのである。なお、イベント転送制御手段３３０については後述する。
【００５５】
加算器３２１およびレジスタ３２２は、テンポクロックＣＴ’が与えられる度に「＋１」の累算を行う累算器を構成している。加算器３２１は、レジスタ３２２の格納データと固定値「＋１」とを加算して出力する。レジスタ３２２は、ＦＤからのＭＩＤＩデータの再生が開始されるとき、初期値が書き込まれる。この初期値は、テンポクロックの周期をτ’とした場合、５００ｍｓｅｃ／τ’となる。以後、レジスタ３２２には、テンポクロックＣＴ’が与えられる度に、加算器３２１の出力データ、すなわち、その時点におけるレジスタ３２２の格納データと「＋１」との加算結果が書き込まれる。このレジスタ３２２の出力データＮ’は、ＭＩＤＩデータの再生開始以後の経過時間を表す経過時間データとして利用される。
【００５６】
イベント転送制御手段３３０は、経過時間データＮ’が目標時刻データＭに到達したとき、イベントバッファ２０２内の１または複数のイベントを読み出して取り込むべき旨の転送指示をコントローラ３に送る。また、このときイベント転送制御手段３３０は、上述したように書き込みクロックをレジスタ３０３および３１２に供給する。前述したように、本実施形態においては、楽曲データの先頭から５００ｍｓｅｃ経過後のＭＩＤＩデータから読み出しが開始される。従って、イベント転送制御手段３３０は、ＦＤからのＭＩＤＩデータの生成が開始されるとき、目標時刻データＭが５００ｍｓｅｃ／τ’に到達するまでイベント及びデルタタイムの読み出しと、デルタタイムの累算とを繰り返し実行する。
【００５７】
タイミング調整手段３４１は、ＭＩＤＩデータのイベントのコントローラ３への出力動作をＶＴからの映像データ等の再生に同期化させるためのタイミング調整を行う回路である。さらに詳述すると、タイミング調整手段３４１は、コントローラ３から「０」より大きなＭＴＣが与えられると、当該ＭＴＣを第１の再生時間データＴＣＤ’とし、さらにその時点における経過時間データＮ’にテンポクロックＣＴ’の周期τ’を乗算し、その乗算結果から５００ｍｓｅｃを差し引き、第２の再生時間データＴＦＤ’＝Ｎ＊τ’−５００ｍｓｅｃを求める。
【００５８】
そして、タイミング調整手段３４１は、これらの再生時間データＴＣＤ’及びＴＦＤ’を比較し、比較結果に基づいて次の処理を行う。
ａ．ＴＣＤ’とＴＦＤ’との差が所定の許容範囲内に収まっている場合
この場合、タイミング調整手段３４１は、何もしない。
【００５９】
ｂ．ＴＣＤ’＞ＴＦＤ’であり、両者の差が許容範囲を越えている場合
この場合、ＦＤから読み出されたイベントによって現在演奏されている楽曲中の箇所は、ＶＴの再生によって映像が表示されている箇所よりも時間差ＴＣＤ’−ＴＦＤ’だけ遅れた箇所であるといえる。そこで、タイミング調整手段３４１は、時間差ＴＣＤ’−ＴＦＤ’をテンポクロックＣＴ’の周期τ’によって除算し、この除算結果（ＴＣＤ’−ＴＦＤ’）／τ’をレジスタ３０３内のデルタタイムから減算し、減算後のデルタタイムをレジスタ３０３に書き込む。なお、この減算後のデルタタイムは、常に正の値をとるように制御される。すなわち、除算結果（ＴＣＤ−ＴＦＤ）／τが大きい場合、レジスタ３０３内のデルタタイムから除算結果（ＴＣＤ−ＴＦＤ）／τをそのまま減算したのでは、減算後のデルタタイムは負の値になってしまう。そこで、レジスタ３０３内のデルタタイムから該除算結果（ＴＣＤ−ＴＦＤ）／τを減算した結果（すなわち、減算後のデルタタイム）が負の値をとる場合には、該デルタタイムが正の値をとり得るよう、例えば除算結果（ＴＣＤ−ＴＦＤ）／τを２分割し、分割した一方の除算結果（ＴＣＤ−ＴＦＤ）／（τ＊２）を当該時点においてレジスタ３０３に格納されているデルタタイムから減算し、さらに、残りの除算結果（ＴＣＤ−ＴＦＤ）／（τ＊２）をその後にレジスタ３０３に格納される後続のデルタタイムから減算するように制御する。かかる処理を実行することで、デルタタイムの値は常に正の値となる。このように、除算結果（ＴＣＤ−ＴＦＤ）／τが大きく、レジスタ３０３内のデルタタイムから除算結果（ＴＣＤ−ＴＦＤ）／τをそのまま減算したのでは、減算後のデルタタイムは負の値になってしまう場合には、複数回に分けて（すなわち、連続する複数のデルタタイムの値を適宜変更することで）生じたずれを吸収するようにすれば良い。
これにより以後暫くの間、ＦＤからのイベント読み出しによる自動演奏とＶＴからの映像データ等の読み出しによる映像表示とが同期状態を保つこととなる。
【００６０】
ｃ．ＴＣＤ’＜ＴＦＤ’であり、両者の差が許容範囲を越えている場合
この場合、ＦＤから読み出されたイベントによって現在演奏されている楽曲中の箇所は、ＶＴの再生によって映像が表示されている箇所よりも時間差ＴＦＤ’−ＴＣＤ’だけ進んだ箇所であるといえる。そこで、タイミング調整手段３４１は、時間差ＴＦＤ’−ＴＣＤ’をテンポクロックＣＴ’の周期τ’によって除算し、この除算結果（ＴＦＤ’−ＴＣＤ’）／τ’をレジスタ３０３内のデルタタイムに加算し、加算後のデルタタイムをレジスタ３０３に書き込む。
以上が本実施形態に係るマルチメディアシステム７００の詳細である。以下、図１０を参照しながら、マルチメディアシステム７００の動作について詳細に説明する。
【００６１】
図１０は本実施形態に係るマルチメディアシステム７００の動作を示すタイムチャートである。さらに詳述すると、図１０には、ある映像及び楽曲の先頭からＶＴおよびＦＤの同期再生を行う場合を例に、ＶＴからタイムコード変換器２００を介して出力される楽音用タイムコード（ＭＴＣ）、ＶＴから読み出される映像データ、ＶＴから読み出されるオーディオデータ、コントローラ３から出力されるオーディオデータ、ＦＤから読み出されるＭＩＤＩデータおよびピアノ１１から発生される音が時系列的に示されている。この図１０において、ｐ［ｋ］（ｋ＝０、０．２５、０．５、〜）及びａ［ｋ］（ｋ＝０、０．２５、０．５、〜）は、それぞれ映像データの再生開始時刻を０秒とした場合に、ｋ秒からｋ＋１秒の区間内の部分の映像データ及びオーディオデータである。また、ｍ［ｋ］（ｋ＝０、０．２５、０．５、〜）は、楽曲の開始時刻を０秒とした場合に、ｋ秒からｋ＋１秒の区間内の部分の演奏制御に用いられるＭＩＤＩデータである。ここで、上記楽音用タイムコード（ＭＴＣ）は、本来１ｓｅｃ／３０程度の間隔でタイムコード変換器２００から出力されるが、以下の説明では、便宜上、１ｓｅｃ／４(＝２５０ｍｓｅｃ）の間隔でタイムコード変換器２００からＭＴＣが出力される場合を想定する。
【００６２】
駆動ソレノイド群１７およびピアノ１１を利用して自動演奏を行う場合、まずポーズ指令がコントローラ３からＦＤ再生装置８ａに送られる。その後、ユーザがビデオカメラ１００の操作部１３０等を操作して同期再生を開始すべき指令を入力すると、ビデオカメラ１００からタイムコード変換器２００を介してＭＴＣの供給が開始される。コントローラ３は、タイムコード変換器２００を介してＭＴＣを受け取ると、この時点から５００ｍｓｅｃ経過後のＭＩＤＩデータから読み出しを開始すべき指令をＦＤ再生装置８ａに送る。ＦＤ再生装置８ａは、コントローラ３から該指令を受け取ると、直ちにＦＤから楽曲の先頭から５００ｍｓｅｃ経過後のＭＩＤＩデータＭＩＤＩデータを読み出す動作を開始する。この結果、ＭＩＤＩデータｍ［０．５］、ｍ［０．７５］、〜がＦＤから順次読み出され、ＭＩＤＩデータ中のイベントがコントローラ３に転送される。この動作においては、ＭＩＤＩデータ中のデルタタイムに基づいて、ＭＩＤＩデータ中のイベントの転送タイミングの制御が行われる。なお、このデルタタイムに基づく転送タイミングの制御は既に説明した通りである。
【００６３】
コントローラ３がタイムコード変換器２００から受け取ったＭＴＣ「０」は、ＦＤ再生装置８ａに送られる。しかし、ＦＤ再生装置８ａ内のタイミング調整手段３４１では、このＭＴＣ「０」を利用したデルタタイムの調整は行われない。その後、さらに２５０ｍｓｅｃが経過すると、コントローラ３からＭＴＣ「０．２５」が出力される。このときタイミング調整手段３４１では、「０」より大きなＭＴＣが供給されたことから、上述したデルタタイムの調整が行われる。そして、以後は、ＭＴＣがコントローラ３から供給される度に、上述したデルタタイムの調整が行われる。
【００６４】
ＶＴの再生指示が発生すると、直ちに映像データに対応したオーケストラ等の映像及びオーディオデータに対応した歌唱、演奏等が開始される。そして、さらに５００ｍｓｅｃが経過すると、ＭＩＤＩデータに対応した演奏が開始される。そして、さらに２５０ｍｓｅｃが経過すると、タイミング調整手段３４１によりタイミング調整が行われたＭＩＤＩデータに対応した演奏が開始される。従って、映像データｐ［ｋ］、オーディオデータａ［ｋ］およびＭＩＤＩデータｍ［ｋ］のうち同期を保った状態で再生されるのは、映像及び楽曲の先頭から７５０ｍｓｅｃだけ経過した時点以降のもの、すなわち、ｐ［０．７５］以降の映像データと、ａ［０．７５］以降のオーディオデータと、ｍ［０．７５］以降のＭＩＤＩデータである。この結果、図５を参照して説明した計時手段２２０による計時時刻ｒ［１．０］、ｒ［１．５］、ｒ［２．０］において生成されたＭＩＤＩイベントを含むＭＩＤＩデータｍ［１．０］、ｍ［１．５］、ｍ［２．０］と、対応するオーディオデータａ［１．０］、ａ［１．５］、ａ［２．０］及び映像データｐ［１．０］、ｐ［１．５］、ｐ［２．０］は同期を保った状態で再生される。
【００６５】
以上の説明から明らかなように、本実施形態に係る楽音再生記録装置７００によれば、ＶＴの再生に同期してＭＩＤＩデータを記録するほか、記録されたＭＩＤＩデータと対応するＶＴに格納されている楽曲データを同期して再生することができる。
【００６６】
なお、以上説明した同期再生に先だって、コントローラ３がビデオカメラ１００からＶＴの識別情報（Ｖ−ＩＤ）を受け取ると共に、ＦＤ再生装置８ａからＦＤに記録されているＳＭＦのヘッダチャンクＨＴに格納されているＶＴの識別情報（Ｖ−ＩＤ）を受け取り、両者の識別情報が一致しない場合には、ＦＤに記録されているＭＩＤＩデータの再生（すなわち、自動演奏）を停止するようにしても良い。かかる構成を採用することで、映像に一致しない自動演奏が行われ、ユーザに不快感を与えてしまうといった問題を未然に防止することができる。
【００６７】
また、上述した第２の実施形態では、ＶＴに記録された映像データ、オーディオデータ等とＦＤに記録されたＭＩＤＩデータとを同期して再生する場合を例に説明したが、ＶＴの再生ではなく、ＶＴに対する映像データ等の記録に同期してＦＤに格納されているＭＩＤＩデータの再生を行うことも可能である。この場合、ビデオカメラ１００の記録部１１０は、当該ビデオカメラ１００に装着されたＶＴに映像データ、オーディオデータ、映像用タイムコードを含む記録情報を記録すると共に、該映像用タイムコードを順次タイムコード変換器２００に供給する。タイムコード変換器２００は、順次供給される映像用タイムコードを楽音用タイムコード（ＭＴＣ）に変換し、変換後のＭＴＣをコントローラ３へ供給する。なお、ＶＴに対する映像データ等の記録に同期してＦＤに格納されているＭＩＤＩデータを再生する場合のＭＴＣの出力タイミング、ＭＩＤＩデータの読み出しタイミング等については、上述した第２の実施形態とほぼ同様に説明することができるため、省略する。このように、ＶＴに対する映像データ、オーディオデータ等の記録に同期してＦＤに格納されているＭＩＤＩデータを再生するようにしても良い。
【００６８】
ここで、本発明は、例えばビデオカメラ、ＦＤ記録装置、ＦＤ再生装置、コントローラなど、図８に示す全ての構成要素を含んだ自動ピアノを製造し販売するという態様でも実施され得る。このような自動ピアノによれば、ユーザは、ＶＴに記録された映像データ、オーディオデータ等の再生に同期してＭＩＤＩデータ（ユーザが自動ピアノを演奏することにより得られるＭＩＤＩデータ等）をＦＤに記録することができると共に、ＦＤに記録された該ＭＩＤＩデータに基づく自動演奏に同期させてＶＴに記録されたオーディオデータ、映像データの再生を行うことができる。
【００６９】
Ｃ．第３の実施形態
図１１は、第３の実施形態に係るマルチメディアシステム８００の構成を示す図である。本実施形態に係るマルチメディアシステム８００は、ＨＤ（Hard Disk）を備えている点を除けば、上述した第２の実施形態に係るマルチメディアシステム７００とほぼ同様である。従って、対応する部分には同一符号を付し、上述した第２の実施形態と重複する部分については、説明を省略する。
【００７０】
さて、上記第２の実施形態において説明したように、マルチメディアシステム７００を利用すれば、ＶＴに記録された映像データ、オーディオデータ等の再生に同期してＭＩＤＩデータ（ユーザが自動ピアノを演奏することにより得られる楽曲等）をＦＤに記録し、さらに当該ＦＤに記録された該ＭＩＤＩデータに基づく自動演奏に同期させてＶＴに記録されたオーディオデータ、映像データの再生を行わせることができる。しかしながら、該ＶＴに記録されているオーディオデータの基準ピッチ（具体的には、基準となる音「Ａ（ラ）」等の周波数）が例えば４４３Ｈｚであり、自動演奏の際に用いられるピアノ１１（生ピアノ）の基準ピッチが例えば４４８Ｈｚであった場合、ＶＴに記録されているオーディオデータの再生に同期してピアノ１１による自動演奏を行ったとしても、かかる基準ピッチのずれにより、うなりが発生し、ユーザに不快感を与えてしまうおそれがある。
【００７１】
そこで、本実施形態に係るマルチメディアシステム８００は、ピアノ１１の基準ピッチ（上記の例では、４４８Ｈｚ）にオーディオデータの基準ピッチを合わせる制御を自動で行い、かかる制御により、ＶＴに記録されているオーディオデータの再生に同期してピアノ１１による自動演奏を行ったとしても、うなりのない心地良い響きをユーザに与えることを可能とする。
【００７２】
図１１に示すＨＤは、再生すべきＶＴに記録されているオーディオデータを記憶するための外部記憶装置である。なお、図１１では、ＨＤを例示しているが、かかるＨＤの代わりにＲＡＭ等の記憶手段を用いることも可能である。
コントローラ３は、上記各実施形態において説明した機能を具備するほか、以下に示すオーディオデータ記録処理及び後述するピッチ制御・再生処理を実行する機能を備えている。
【００７３】
図１２は、オーディオデータ記録処理を示すフローチャートである。
コントローラ３は、ビデオカメラ１００に再生すべき映像データ、オーディオデータ等の記録されたＶＴが装着され、ＦＤ記録装置８に記録用のＦＤが装着されたことを検出すると（ステップＳａ１）、ビデオカメラ１００に対し、装着されたＶＴに記録されているオーディオデータを転送すべき指令を送る。ビデオカメラ１００は、かかる指令に従ってＶＴに記録されているオーディオデータを読み出し、これをコントローラ３へ返す。コントローラ３は、ビデオカメラ１００から該オーディオデータを受け取ると、ＨＤに転送する（ステップＳａ２）。
【００７４】
そして、ステップＳａ３に進むと、コントローラ３は、操作部４等から該オーディオデータの基準ピッチを求める指示が送られてきたかどうかを判断する。ここで、操作部４等からオーディオデータの基準ピッチを求める指示が送られてこない場合（ステップＳａ３；ＮＯ）、コントローラ３は、以下に示すステップＳａ４〜Ｓａ８をスキップし、ステップＳａ９に進む。一方、操作部４等からオーディオデータの基準ピッチを求める指示が送られてきたことを検出すると（ステップＳａ３；ＹＥＳ）、コントローラ３は、ステップＳａ４に進み、オーディオデータを高速フーリエ変換（ＦＦＴ；Fast Fourier Transform）し、各周波数毎の音圧（ＳＰＬ；Sound Pressure Level）を求める。
【００７５】
ここで、図１３は、オーディオデータから得られる信号波形を例示した図であり、横軸には周波数を示し、縦軸には音圧を示している。ここで、図１３に示す信号成分のうち、本実施形態において解析が必要な周波数成分は、基準ピッチとなり得る周波数成分（例えば、４４０Ｈｚ付近の周波数成分）である。従って、予めバンドパスフィルタ等を利用して、４４０Ｈｚ付近の周波数成分（例えば、図１３に示す（４４０±α）Ｈｚ）のみを抽出するようにしても良い。
【００７６】
さて、コントローラ３は、図１３に示す４４０Ｈｚ付近の各周波数の音圧をスキャンしていき（ステップＳａ５）、予め設定された所定値（図１３に示す、閾値Ｓ）以上の音圧が検出されるか否かを判断する（ステップＳａ６）。コントローラ３は、所定値以上の音圧が検出されない場合（ステップＳａ６；ＮＯ）、再びステップＳａ４に戻って、オーディオデータの周波数解析をやり直す。一方、所定値以上の音圧が検出されると（ステップＳａ６；ＹＥＳ）、コントローラ３は、ステップＳａ７に進み、所定値以上の音圧が検出された周波数（図１３では、４４３Ｈｚ）をオーディオデータの基準ピッチとして認識し、この基準ピッチに対応するイベントを生成してＦＤ記録装置８に送り、さらに該オーディオデータを識別するための識別情報（Ｖ−ＩＤ）をＦＤ記録装置８に通知する（ステップＳａ８）。
【００７７】
ＦＤ記録装置８は、かかるイベント及び通知を受け取ると、図１４に示すようにＦＤの所定の記憶エリアに該オーディオデータを識別するための識別情報（Ｖ−ＩＤ）及び該基準ピッチを表すイベントを格納する。その後、ユーザがビデオカメラ１００の操作部１３０等を操作してＶＴの再生と同期してＭＩＤＩデータ（例えば、ユーザが自動ピアノを演奏することにより得られるＭＩＤＩデータ等）をＦＤに記録すべき指令がコントローラ３に通知されると（ステップＳａ９）、コントローラ３は、上述した第１の実施形態において説明した同期記録のための制御を行い（ステップＳａ１０）、処理を終了する。一方、ステップＳａ９において、ＶＴの再生と同期してＭＩＤＩデータをＦＤに記録すべき指令がコントローラ３に通知されない場合、コントローラは同期記録のための制御を行うことなく処理を終了する。
【００７８】
以上がオーディオデータ記録処理に関する詳細である。なお、本実施形態では、上記のようにオーディオデータの基準ピッチを自動検出する場合について説明したが、オーディオデータの基準ピッチを自動検出するのではなく、例えばユーザが自身の音感を利用して該オーディオデータの基準ピッチを判断し、操作部４等を操作（すなわち、マニュアル操作）することにより、判断して決定した基準ピッチをＦＤに記録するようにしても良い。
【００７９】
このようにＶＴに記録されたオーディオデータがＨＤ格納され、ＭＩＤＩデータがＦＤに記録された後、ＨＤに記録されたオーディオデータの再生に同期してＦＤに記録されたＭＩＤＩデータに基づくピアノ自動演奏を行う場合、コントローラ３は、以下に示すピッチ制御・再生処理を実行する。
【００８０】
図１５は、ピッチ制御・再生処理を示すフローチャートである。
操作部４等からＨＤに記録されたオーディオデータとＦＤに記録されたＭＩＤＩデータとを同期して再生すべき指示がコントローラ３に送られると、コントローラ３は、ＦＤ再生装置８ａに対し、ＦＤからオーディオデータの基準ピッチを読み出すべき指示を送る（ステップＳｂ１）。ＦＤ再生装置８ａは、かかる指示に従ってＦＤから基準ピッチ（例えば、４４３Ｈｚ）に対応するイベントを読み出し、これをコントローラへ返す。コントローラ３は、該イベントを受け取ると、ピアノ１１の基準ピッチを検出すべく、例えば図示せぬ表示部にピアノの基準ピッチを検出するために必要な音（「Ａ（ラ）」）を鳴らすべき文字メッセージ（例えば、「ユーザＺさん、「ラ」の音を鳴らしてください！」）等を表示させる。その後、ユーザがピアノ１１の特定の鍵を押下し、ピアノ１１から基準ピッチを検出するために必要な「ラ」の音が発音されると、コントローラ３は、図示せぬマイクロフォン等を介してピアノ１１から発音された音を楽音データとして受け取り、ピアノ１１の基準ピッチ（例えば、４４８Ｈｚ）を検出する（ステップＳｂ２）。
【００８１】
なお、ピアノ１１の基準ピッチを検出する方法として、上記のように表示部（図示略）にピアノの基準ピッチを検出するために必要な音（「Ａ（ラ）」）を鳴らすべき文字メッセージ等を表示させるほか、例えばピアノの基準ピッチを検出するために必要な音を鳴らすべき旨の指令をピアノ電子回路１６に送り、駆動ソレノイド群１７を利用してかかる音を自動で（すなわち、ユーザにピアノ１１の特定の鍵を押下させることなく）鳴らすように制御しても良い。また、ピアノ１１の基準ピッチについては、前述したように、例えば該楽音データを高速フーリエ変換し、各周波数毎の音圧を求め、予め設定された所定値以上の音圧が検出された周波数を検知することで、ピアノ１１の基準ピッチを検出することが可能である。
【００８２】
さて、コントローラ３は、このようにしてピアノ１１の基準ピッチを検出すると、検出したピアノ１１の基準ピッチとオーディオデータの基準ピッチとを比較し、基準ピッチのずれ（音程差）を求める（ステップＳｂ３）。ここでは、検出したピアノ１１の基準ピッチが４４８Ｈｚであり、オーディオデータの基準ピッチが４４３Ｈｚであるため、コントローラ３は、両基準ピッチのずれからオーディオデータの基準ピッチを５Ｈｚ（＝４４８Ｈｚ−４４３Ｈｚ）上げるべきであると判断し、かかる判断結果に基づきＨＤに記憶されたオーディオデータの読み出し速度決定する（ステップＳｂ４）。
ここで、図１６は、各読み出し速度でオーディオデータを読み出したときに得られる信号波形を例示した図である。より詳細には、図１６のＡに示す信号波形は、所定の読み出し速度Ｖｂで読み出したときに得られる信号波形であり、図１６のＢ及びＣに示す信号波形は、それぞれ該読み出し速度Ｖｂよりも速い読み出し速度Ｖｆ（＞Ｖｂ）及び遅い読み出し速度Ｖｓ（＜Ｖｂ）で読み出したときに得られる信号波形である。
【００８３】
ここで、所定の読み出し速度Ｖｂで読み出されたときに基準ピッチが４４３Ｈｚの音が発音されると仮定すると、図１６のＢに示すように、読み出し速度Ｖｆでオーディオデータが読み出された場合には、基準ピッチが４４３Ｈｚよりも高い音（例えば、基準ピッチが４４８Ｈｚの音）が発音され、一方図１６のＣに示すように、読み出し速度Ｖｓでオーディオデータが読み出された場合には、基準ピッチが４４３Ｈｚよりも低い音（例えば、基準ピッチが４４０Ｈｚの音）が発音される。
従って、コントローラ３は、両基準ピッチのずれからオーディオデータの基準ピッチを５Ｈｚ（＝４４８Ｈｚ−４４３Ｈｚ）上げるべきであると判断すると、かかる判断結果に基づきＨＤに記憶されたオーディオデータの読み出し速度を、４４３Ｈｚの音を発音させる場合の読み出し速度よりも速い速度に決定する。なお、オーディオデータの基準ピッチを下げる場合については、上記と同様に説明することができるため、説明を割愛する。
そして、コントローラ３は、決定した読み出し速度でオーディオデータをＨＤから読み出し、読み出したオーディオデータからアナログオーディオ信号を生成してミキサ５に順次供給する一方（ステップＳｂ５）、該オーディオデータの読み出し速度に基づいてＦＤからＦＤ再生装置８ａを介してＭＩＤＩデータを順次読み出し（ステップＳｂ６）、読み出したＭＩＤＩデータを順次ピアノ電子回路１６へ供給する（ステップＳｂ７）。
【００８４】
ピアノ電子回路１６は、コントローラ３から順次供給されるＭＩＤＩデータに含まれるイベントに応じて駆動ソレノイド群１７に対する通電制御を行い、ピアノ１１の鍵、ペダル等を駆動する。これにより、ＭＩＤＩデータに基づくピアノ１１の自動演奏が行われる。コントローラ３は、ステップＳｂ８に進むと、１曲分のオーディオデータの再生及びＭＩＤＩデータの再生が終了したか否かを判断する。１曲分のオーディオデータの再生及びＭＩＤＩデータの再生が終了していないと判断すると（ステップＳｂ８；ＮＯ）、コントローラ３は、ステップＳｂ５に戻り、ステップＳｂ５→ステップＳｂ６→ステップＳｂ７といった一連の処理を繰り返し実行する。そして、コントローラ３は、１曲分のオーディオデータの再生及びＭＩＤＩデータの再生が終了したと判断すると（ステップＳｂ８；ＹＥＳ）、以上説明したピッチ制御・再生処理を終了する。
【００８５】
以上説明したように、本実施形態にかかるマルチメディアシステム８００によれば、ＨＤに記録されたオーディオデータの再生に同期してＦＤに記録されたＭＩＤＩデータに基づくピアノ自動演奏を行う場合、オーディオデータの基準ピッチ（例えば、４４３Ｈｚ）がピアノ１１の基準ピッチ（例えば、４４８Ｈｚ）と一致するように、オーディオデータの基準ピッチが制御される。これにより、該オーディオデータの再生に同期してピアノ１１による自動演奏を行ったとしても、うなりのない心地良い響きをユーザに与えることが可能となる。
【００８６】
なお、以上説明した本実施形態では、オーディオデータを格納する手段としてＨＤを例示したが、該ＨＤの代わりにＲＡＭ等、種々の記憶手段を用いても良い。このように、ＨＤの代わりにＲＡＭ等を用いた場合には、例えば当該時点において再生すべき箇所よりも少し前の箇所に対応したオーディオデータを先読みし、これをＲＡＭ等の記憶手段に格納するように制御すれば、オーディオデータを記憶する記憶手段としてメモリ容量の小さな記憶手段を用いることができる。
【００８７】
【発明の効果】
以上説明したように本発明によれば、映像データの再生若しくは映像データの記録に同期して、楽曲データの再生若しくは記録を行うことができる。
【図面の簡単な説明】
【図１】 第１の実施形態におけるマルチメディアシステムの構成を示すブロック図である。
【図２】 同実施形態に係るＳＭＦを示す図である。
【図３】 同実施形態に係るＦＤ記録装置の制御回路の構成を示すブロック図である。
【図４】 同実施形態に係るデルタタイム調整処理を示すフローチャートである。
【図５】 同実施形態に係るマルチメディアシステムの動作を示すタイムチャートである。
【図６】 同実施形態における変形例１に係るＦＤ記録装置の制御回路の構成を示すブロック図である。
【図７】 同変形例に係る経過時間調整処理を示すフローチャートである。
【図８】 第２の実施形態におけるマルチメディアシステムの構成を示すブロック図である。
【図９】 同実施形態に係るＦＤ再生装置の制御回路の構成を示すブロック図である。
【図１０】 同実施形態に係るマルチメディアシステムの動作を示すタイムチャートである。
【図１１】 第３の実施形態におけるマルチメディアシステムの構成を示すブロック図である。
【図１２】 同実施形態に係るオーディオデータ記録処理を示すフローチャートである。
【図１３】 同実施形態に係るオーディオデータから得られる信号波形を例示した図である。
【図１４】 同実施形態に係るＦＤの記憶状態を説明するための図である。
【図１５】 同実施形態に係るピッチ制御・再生処理を示すフローチャートである。
【図１６】 同実施形態に係る各読み出し速度でオーディオデータを読み出したときに得られる信号波形を例示した図である。
【符号の説明】
３・・・コントローラ、４・・・操作部、５・・・ミキサ、６・・・アンプ、７・・・スピーカ、８・・・ＦＤ記録装置、８ａ・・・ＦＤ再生装置、１０、２０・・・自動ピアノ、１１・・・ピアノ、１２・・・キーセンサ、１３・・・ペダルセンサ、１４・・・ＭＩＤＩイベント生成回路、１５・・・ピアノ音源、１６・・・ピアノ電子回路、１７・・・駆動ソレノイド群、１８・・・アンサンブル音源、１００・・・ビデオカメラ、２００・・・タイムコード変換器、２１０・・・クロック生成手段、２２０・・・計時手段、２３０・・・デルタタイム調整手段、２３０’・・・経過時間調整手段、２４０・・・デルタタイム生成手段、２５０・・・ＳＭＦ作成・書き込み制御手段、３３０・・・イベント転送制御手段、３４１・・・タイミング調整手段。
【発明の属する技術分野】
本発明は、映像データの再生若しくは映像データの記録に同期して、楽曲データの再生若しくは記録を行うマルチメディアシステム、再生装置及び記録装置に関する。
【０００２】
【発明が解決しようとする課題】
近年、ピアノ演奏等の楽器演奏を嗜好するユーザ達の間では、コンサート会場等の風景に応じた映像データを記録したビデオテープ（以下、ＶＴ）等をビデオカメラによって再生し、液晶ディスプレイ等のモニタにコンサート会場等の映像を表示させると共に、ユーザが該モニタに表示される映像を見ながら自動ピアノ等を演奏し、演奏に応じた楽曲データ（例えば、ＭＩＤＩ（Musical Instruments Digital Interface）規格に準拠したデータ）をフロッピーディスク（以下、ＦＤ）等の記憶媒体に記録し、後に両データを同期再生することで演奏の妙を楽しみたいとの要望がある。また、ビデオカメラによって演奏風景をＶＴに記録しながら、該自動ピアノの演奏に応じた楽曲データをＦＤにし、後に両データを同期再生することで演奏の妙を楽しみたいとの要望等もある。
しかしながら、かかる要望に応えるマルチメディアシステムは、未だ提供されていないのが現状である。
【０００３】
本発明は、以上説明した事情を鑑みてなされたものであり、映像データの再生若しくは映像データの記録に同期して、楽曲データの再生若しくは記録を行うことが可能なマルチメディアシステム、再生装置及び記録装置を提供することを目的とする。
【０００４】
【課題を解決するための手段】
この発明は、映像データと当該映像データの記録開始からの経過時間を表す一連の映像用タイムコードとオーディオデータとを含む記録情報を第１の記憶媒体から読み出し、当該記録情報中の映像データを再生するマスター装置と、前記マスター装置による前記映像データの再生に同期して第２の記憶媒体に記録されている楽曲データの再生を行うスレーブ装置とを具備するマルチメディアシステムであって、前記マスター装置は、前記記録情報中の映像データを再生すると共に、前記記録情報中のオーディオデータを前記スレーブ装置に出力し、前記スレーブ装置は、前記記録情報中の映像用タイムコードを取得し、当該映像用タイムコードを楽音用タイムコードに変換するタイムコード変換手段と、クロックをカウントすることにより計時を行う計時手段と、前記計時手段による計時結果に基づいて、前記第２の記憶媒体に記録されている楽曲の演奏制御を指示する複数のイベントと各イベントの実行タイミングを指定するタイミングデータとを含む楽曲データ中のタイミングデータによって定まる時刻に前記イベントを出力するイベント出力手段と、与えられたイベントを自動演奏手段に供給するコントローラと、前記イベント出力手段から出力されるイベントを前記コントローラに与えるタイミングを調整するタイミング調整手段であって、前記タイムコード変換手段から出力される楽音用タイムコードに対応した時刻と前記計時手段の計時結果に対応した時刻との時間差に基づいて前記タイミングを調整するタイミング調整手段とを具備し、前記コントローラは、前記マスター装置から出力されてくる前記オーディオデータを記憶手段に記憶する手段と、前記第２の記憶媒体に記録されている基準ピッチに関する情報を取得する一方、前記自動演奏手段の基準ピッチを検出し、両者の基準ピッチの音程差を求める手段と、前記タイミング調整手段によって調整されたタイミングで与えられたイベントを前記自動演奏手段に供給すると共に、前記記憶手段に記憶されたオーディオデータを、求められた音程差に応じた読み出し速度で読み出し、読み出したオーディオデータを音として出力するための制御を行う手段とを具備することを特徴とする。
【０００５】
かかる構成によれば、第２の記憶媒体から読み出されたイベントが自動演奏に用いられるタイミングが、タイムコード変換手段から出力される楽音用タイムコードに対応した時刻と計時手段の計時結果に対応した時刻との時間差に基づいて調整される。この調整により、マスター装置による映像データの再生とスレーブ装置による楽曲データの再生の時間的なずれが抑えられる。
【０００６】
前記スレーブ装置は、楽器の操作状態を検出する検出手段から該操作状態を取得し、取得した該操作状態に応じて楽曲の演奏制御を指示するイベントを生成するイベント生成手段と、前記イベント生成手段によって前記イベントが生成された場合、前記計時手段による計時結果に対応した時刻に基づいて当該イベントの実行タイミングを指定するタイミングデータを生成するタイミングデータ生成手段と、前記記録情報に含まれるオーディオデータの基準ピッチを取得する取得手段と、前記イベント生成手段によって生成された複数のイベントと、前記タイミングデータ調整手段によって調整されたタイミングデータとを含む前記楽曲データと、前記取得手段によって取得された基準ピッチに関する情報とを前記第２の記憶媒体に書き込む書き込み手段とを具備するようにしてもよい。
【０００７】
かかる構成によれば、第２の記憶媒体に書き込まれる演奏制御を指示するイベントの実行タイミングを指定するタイミングデータが、タイムコード変換手段から出力される楽音用タイムコードに対応した時刻と計時手段の計時結果に対応した時刻との時間差に基づいて調整される。この調整により、マスター装置による映像データの再生とスレーブ装置による楽曲データの記録の時間的なずれが抑えられる。
【０００８】
前記スレーブ装置は、楽器の操作状態を検出する検出手段から該操作状態を取得し、取得した該操作状態に応じて楽曲の演奏制御を指示するイベントを生成するイベント生成手段と、前記タイムコード変換手段から出力される楽音用タイムコードに対応した時刻と前記計時手段による計時結果に対応した時刻との時間差に基づいて、前記計時結果に対応した時刻を調整する計時時刻調整手段と、前記イベント生成手段によって前記イベントが生成された場合、前記計時時刻調整手段によって調整された時刻に基づいて当該イベントの実行タイミングを指定するタイミングデータを生成するタイミングデータ生成手段と、前記記録情報に含まれるオーディオデータの基準ピッチを取得する取得手段と、前記イベント生成手段によって生成されたイベントと、前記タイミングデータ生成手段によって生成されたタイミングデータとを含む楽曲データと、前記取得手段によって取得された基準ピッチに関する情報とを前記第２の記憶媒体に書き込む書き込み手段とを具備するようにしてもよい。
【０００９】
かかる構成によれば、第２の記憶媒体に書き込まれる演奏制御を指示するイベントの実行タイミングを指定するタイミングデータが、タイムコード変換手段から出力される楽音用タイムコードに対応した時刻と計時手段の計時結果に対応した時刻との時間差に基づいて調整される。この調整により、マスター装置による映像データの再生とスレーブ装置による楽曲データの記録の時間的なずれが抑えられる。
【００１０】
【発明の実施の形態】
Ａ．第１の実施形態
図１はこの発明の第１実施形態であるマルチメディアシステム６００の構成を示すブロック図である。
本実施形態に係るマルチメディアシステム６００は、以下に詳述するが、同期を保った状態でＶＴに格納されている映像データ、オーディオデータの再生と、ＦＤに対するユーザの演奏に基づくＭＩＤＩデータの記録とが可能なシステムである。
【００１１】
図１において、ビデオカメラ１００は、記録部１１０と、再生部１２０と、操作部１３０とを具備している。
記録部１１０は、操作部１３０を介して入力される指示に従って演奏風景や種々の演奏音（ユーザと一緒に演奏しているヴァイオリン演奏音等）等を当該ビデオカメラ１００に装着したＶＴに記録する役割を担っている。かかる記録部１１０は、映像風景を映像データとしてＶＴの映像トラックに記録する録画手段１１１と、演奏音をオーディオデータとしてＶＴの楽音トラックに記録する録音手段１１２と、ＶＴに対して映像データの記録開始からの経過時間を表す一連の映像用タイムコード（例えば、ＲＣタイムコード等）を付加するタイムコード付加手段１１３とを具備している。
【００１２】
再生部１２０は、操作部１３０を介して入力される指示に従ってＶＴに既に記録されている映像データやオーディオデータなどの記録情報を再生する役割を担っている。再生部１２０は、操作部１３０を介して再生指示を受け取ると、ＶＴの映像トラックに記録されている映像データを読み出し、これをＬＣＤ（Liquid Crystal Display）、ＣＲＴ（Cathode Ray Tube）等のモニタ１２１に供給し、映像として表示させると共に、ＶＴの楽音トラックに記録されているオーディオデータを読み出し、後述するコントローラ３へ供給する。さらに、再生部１２０は、映像データ及びオーディオデータの読み出しに応じてＶＴに付加されている映像用タイムコードを読み出し、これをタイムコード変換器２００へ送出する。なお、本実施形態においては、この映像用タイムコードを出力するビデオカメラ１００がマスターとして機能し、当該ビデオカメラ１００からタイムコード変換器２００を介して楽音用タイムコードを受け取る種々の装置（ＦＤ記録装置８等）がスレーブとして機能する。
【００１３】
タイムコード変換器２００は、例えばケーブル等によってビデオカメラ１００に接続され、該ビデオカメラ１００から順次供給される映像用タイムコードを楽音用タイムコード（ＭＩＤＩタイムコード；以下、適宜、ＭＴＣという）に変換し、変換後のＭＴＣをコントローラ３へ供給する。
【００１４】
コントローラ３は、操作部４を介して与えられる指示に従って、このシステム全体の制御を行う。コントローラ３によって行われる各種の制御のうち本発明と最も関連が深いのは、ビデオカメラ１００による映像データの再生に同期してユーザによるピアノ演奏音等を記録（以下、同期記録という）する場合の記録制御である。このコントローラ３は、タイムコード変換器２００からＭＴＣを受け取る度に、そのタイムコードをＦＤ記録装置８に送る。また、コントローラ３は、ＭＩＤＩイベント生成回路１４からＭＩＤＩイベント等（後述）を受け取ると、このＭＩＤＩイベント等をＦＤ記録装置８に送る。さらに、コントローラ３は、ビデオカメラ１００から供給されるオーディオデータに基づいてアナログオーディオ信号を生成してミキサ５に送る。なお、これらの手段については後述する。
【００１５】
自動ピアノ１０は、ユーザによる鍵操作に応じて打弦により機械的なピアノ音を発生する楽音発生機構を備えるほか、ユーザによる鍵操作を検出し、検出結果に応じて電子的なピアノ音を発生する楽音発生機構も備えている。かかる自動ピアノ１０は、ピアノ１１と、キーセンサ１２と、ペダルセンサ１３と、ＭＩＤＩイベント生成回路１４と、ピアノ音源１５とを有している。
キーセンサ１２及びペダルセンサ１３は、それぞれピアノ１１に配設された複数の鍵及び複数のペダル（ソステヌートペダル等）の各々に対応して設けられ、鍵及びペダルを押したときの強さ、深さなどを検出し、検出した鍵若しくはペダルを特定するキー番号若しくはペダル番号、ベロシティー情報（押鍵強度等に対応したデータ）等を含む検出結果をＭＩＤＩイベント生成回路１４に供給する。
【００１６】
ＭＩＤＩイベント生成回路１４は、コントローラ３による制御の下、キーセンサ１２及びペダルセンサ１３から供給される検出結果に基づいてＭＩＤＩイベントを生成する。ここで、ＭＩＤＩイベントは、発音又は消音すべき旨を示すノートオン・ノートオフ情報と、発音すべき音の高さを示すノートナンバ情報と、発音の強弱を示すベロシティ情報等によって構成されている。ＭＩＤＩイベント生成回路１４は、上記検出結果に基づいて、例えば「ドの音（ノートナンバ）を強さ１０（ベロシティ）で発音（ノートオン）せよ」といった演奏制御を指示するイベントの一種であるＭＩＤＩイベントを生成し、かかるＭＩＤＩイベントをコントローラ３及びピアノ音源１５に供給する。
【００１７】
ピアノ音源１５は、ＭＩＤＩイベント生成回路１４から供給されるイベントにより指示されたピアノ音のアナログオーディオ信号を電子的に生成する装置である。このピアノ音源１５により生成されたアナログオーディオ信号は、ミキサ５へ出力される。
ミキサ５は、コントローラ３、ピアノ音源１５から出力される各アナログ信号を混合して出力する装置である。このミキサ５の出力信号は、アンプ６によって増幅され、スピーカ７から音として出力される。
【００１８】
ＦＤ記録装置８は、モニタ１２１に表示される映像、すなわちビデオカメラ１００による映像データの再生に併せてユーザが自動ピアノ１０を演奏したときの演奏音をＦＤに記録する装置であり、コントローラ３による制御の下、該コントローラ３から供給されるビデオカメラ１００によって再生されているＶＴを識別するための識別情報（Ｖ−ＩＤ）、ＭＩＤＩイベント等を含むＳＭＦ(Standard MIDI File)を作成する機能を有している。ここで、ＳＭＦは、図２に示すように、ヘッダチャンクＨＴとトラックチャンクＴＴによって構成されている。ヘッダチャンクＨＴには、ＳＭＦの基本的な情報（チャンクタイプ等）が格納されるほか、Ｖ−ＩＤなどの同期記録の際に再生されたＶＴを識別するための識別情報が格納される。トラックチャンクＴＴには、ＭＩＤＩデータが格納される。ＭＩＤＩデータは、同図に示すように、演奏制御等を指示するイベントと、先行するイベントと後発のイベントとの発生時間間隔を示すデルタタイムからなる時系列の楽曲データである。ここで、ＭＩＤＩデータを構成するイベントは、ＭＩＤＩイベント生成回路１４において生成されるＭＩＤＩイベントや、コントローラ３において生成されるSysExイベント、メタイベントによって構成されている。
【００１９】
かかるＳＭＦの作成・記録を行うＦＤ記録装置８は、コントローラ３から同期記録の開始指令を受け取ると、計時手段（後述）を用いて時刻の計時を開始する。そして、ＦＤ記録装置８は、コントローラ３からイベントを受け取る毎に、計時手段によって計時された時刻等を参照してデルタタイムを求め、イベントとデルタタイムからなるＭＩＤＩデータを順次作成する。ここで、本実施形態に係るＦＤ記録装置８は、ビデオカメラ１００による映像データの再生に同期して自動ピアノ１０の演奏音を記録すべく、上記計時手段によって計時された時刻とコントローラ３から供給されるＭＴＣに示される時刻との間に生じたずれに応じて先行するイベントと後発のイベントとの発生時間間隔を示すデルタタイムの値を適宜調整する機能を備えている。以下、かかる種々の機能を備えたＦＤ記録装置８の構成について、図３を参照しながら説明する。
【００２０】
図３は、ＦＤ記録装置８に設けられた制御回路の構成を説明するためのブロック図である。この図３に示された制御回路は、上述したＳＭＦを作成し、これをＦＤに記録する機能と、計時手段２２０によって計時された時刻とコントローラ３から供給されるＭＴＣに示される時刻との間に生じたずれを補正する機能とを営むものである。
クロック生成手段２１０は、コントローラ３内に設けられ、水晶振動子とアンプとにより構成された発振回路（いずれも図示略）を備えている。このコントローラ３内に設けられたクロック生成手段２１０は、発振回路から出力される発振信号を適宜分周してタイミング制御用の各種のクロック（本発明に特に関連の深いクロックは、テンポクロックＣＴである）を発生する手段である。クロック発生手段２１０は、このように生成したテンポクロックＣＴを制御回路の計時手段２２０に順次供給する。
【００２１】
計時手段２２０は、加算器２２１及び経過時間レジスタ２２２によって構成され、この加算器２２１及び経過時間レジスタ２２２によりテンポクロックＣＴが与えられるたびに「＋１」の加算を行う累算器が構成される。加算器２２１は、経過時間レジスタ２２２の格納データと固定値「＋１」とを加算して出力する。経過時間レジスタ２２２には、同期記録が開始されたとき初期値「０」が書き込まれ、以後、当該経過時間レジスタ２２２にテンポクロックＣＴが与えられる度に、加算器２２１の出力データ、すなわち当該時点における経過時間レジスタ２２２の格納データと「＋１」との加算結果が書き込まれる。この経過時間レジスタ２２２の出力データＮは、同期記録開始以後の経過時間を表す経過時間データとして利用される。
【００２２】
ＳＭＦ作成・書き込み制御手段２５０は、コントローラ３による制御の下、ＳＭＦを作成する機能や作成したＳＭＦをＦＤ記録装置８に装着されたＦＤに書き込む機能などを備えている。このＳＭＦ作成・書き込み制御手段２５０は、ＭＩＤＩイベント生成回路１４等によって生成された種々のイベント（ＭＩＤＩイベント等）をコントローラ３から受け取ると、デルタタイム生成手段２４０にデルタタイムを生成すべき指令を送る。
【００２３】
デルタタイム生成手段２４０は、デルタタイムを生成すべき指令を受け取ると、デルタタイムを生成し（詳細は後述）、これをＳＭＦ作成・書き込み制御手段２５０に返す。ＳＭＦ作成・書き込み制御手段２５０は、デルタタイム生成手段２４０から受け取ったデルタタイムとコントローラ３から受け取ったイベントによって構成されたＭＩＤＩデータをトラックチャンクＴＴ（図２参照）に格納する一方、コントローラ３から供給される再生されたＶＴを識別するための識別情報（Ｖ−ＩＤ）をヘッダチャンクＨＴ（図２参照）に格納してＳＭＦを作成し、これをＦＤ記録装置２に装着されたＦＤに書き込む。
【００２４】
デルタタイム生成手段２４０は、前回経過時間レジスタ２４１と、補正値レジスタ２４２とを備え、ＳＭＦ作成・書き込み制御手段２５０からの指令に基づき、デルタタイムを生成する。
前回経過時間レジスタ２４１には、前回、ＳＭＦ作成・書き込み制御手段２５０からデルタタイムを生成すべき指令を受け取ったときに計時手段２２０から取得した経過時間データ（便宜上、Ｎｆと記す）が保持される。この前回経過時間レジスタ２４１には、同期記録が開始されたとき、初期値「０」が書き込まれる。
【００２５】
補正値レジスタ２４２には、デルタタイム調整手段２３０において生成されるデルタタイムの補正値Ｒが保持される。詳しくは後述するが、本実施形態においては、この補正値Ｒを適宜設定することで、計時手段２２０によって計時された時刻とコントローラ３から供給されるタイムコードに示される時刻との間に生じたずれを補正する。この補正値レジスタ２４２には、同期記録が開始されたとき、初期値「０」が書き込まれる。
【００２６】
デルタタイム生成手段２４０は、ＳＭＦ作成・書き込み制御手段２５０からデルタタイムを生成すべき指示を受け取ると、計時手段２２０から経過時間レジスタ２２２に格納されている現時点における経過時間データＮを取得した後、前回経過時間レジスタ２４１に保持されている経過時間データＮｆ（前回、ＳＭＦ作成・書き込み制御手段２５０からデルタタイムを生成すべき指示を受け取ったときに計時手段２２０から取得した経過時間）を読み出し、経過時間データＮから経過時間データＮｆを減算する。そして、デルタタイム生成手段２４０は、補正値レジスタ２４２に保持されているデルタタイムの補正値Ｒを読み出し、この補正値Ｒと上記減算結果Ｎ−Ｎｆとを加算し、加算結果Ｎ−Ｎｆ＋Ｒを調整後のデルタタイムとして、ＳＭＦ作成・書き込み制御手段２５０に返す。そして、デルタタイム生成手段２４０は、前回経過時間レジスタ２４１に格納されている経過時間データを、今回新たに計時手段２２０から取得した経過時間データへ更新する。
【００２７】
デルタタイム調整手段２３０は、ＶＴの再生と同期して記録を行うべく、計時手段２２０によって計時された時刻とコントローラ３から供給されるＭＴＣに示される時刻との間に生じたずれに応じて、先行するイベントと後発のイベントとの発生時間間隔を示すデルタタイムの値を適宜調整する。
【００２８】
図４は、デルタタイム調整手段２３０によって実行されるデルタタイム調整処理を示すフローチャートである。デルタタイム調整手段２３０は、ステップＳ１において、コントローラ３から「０」より大きなＭＴＣが与えられると、これを第１の記録時間データＴＣＤとし、ステップＳ２に進む。デルタタイム調整手段２３０は、ステップＳ２に進むと、計時手段２２０から当該時点における経過時間データＮを取得し、取得した経過時間データＮにテンポクロックＣＴの周期τを乗算し、第２の記録時間データＴＦＤ（＝Ｎ＊τ）を求める。この第２の記録時間データＴＦＤは、同期記録を開始してから現在に至るまでの経過時間を表している。次に、デルタタイム調整手段２３０は、第１の記録時間データＴＣＤと第２の記録時間データＴＦＤの差分の絶対値｜ＴＣＤ−ＴＦＤ｜が予め設定された所定の許容範囲Δに収まっているか否かを判断する（ステップＳ３）。デルタタイム調整手段２３０は、第１の記録時間データＴＣＤと第２の記録時間データＴＦＤとの差分の絶対値が所定の許容範囲Δに収まっていると判断すると（ステップＳ３；ＹＥＳ）、デルタタイムの補正値Ｒとして補正値レジスタ２４４に「０」を書き込み（ステップＳ４）、デルタタイム調整処理を終了する。
【００２９】
一方、デルタタイム調整手段２３０は、第１の記録時間データＴＣＤと第２の記録時間データＴＦＤの差分の絶対値｜ＴＣＤ−ＴＦＤ｜が所定の許容範囲Δを越えていると判断すると、第１の記録時間データＴＣＤが第２の記録時間データＴＦＤよりも大きいかどうかを判断する（ステップＳ５）。第１の記録時間データＴＣＤが第２の記録時間データＴＦＤよりも大きい場合、計時手段２２０によって計時されている時刻は、コントローラ３から供給されるＭＴＣに示される時刻よりも遅れているといえる。デルタタイム調整手段２３０は、第１の記録時間データＴＣＤが第２の記録時間データＴＦＤよりも大きいと判断すると（ステップＳ５；ＹＥＳ）、かかる時刻ずれをデルタタイムを減少させることで補正すべく、第２の記録時間データＴＦＤと第１の記録時間データＴＣＤの差分を求め、求めた差分ＴＦＤ−ＴＣＤ（＜０）をテンポクロックＣＴの周期τによって除算し、この除算結果（ＴＦＤ−ＴＣＤ）／τを、デルタタイムの補正値Ｒとして図３に示す補正値レジスタ２４４に書き込み（ステップＳ６）、デルタタイム調整処理を終了する。なお、この場合、補正値レジスタ２４４に書き込まれるデルタタイムの補正値Ｒは負の値となる。
【００３０】
一方、第１の記録時間データＴＣＤが第２の記録時間データＴＦＤよりも小さい場合、計時手段２２０によって計時されている時刻は、コントローラ３から供給されるＭＴＣに示される時刻よりも進んでいるといえる。デルタタイム調整手段２３０は、第１の記録時間データＴＣＤが第２の記録時間データＴＦＤよりも小さいと判断すると（ステップＳ５；ＮＯ）、かかる時刻ずれをデルタタイムを増加させることで補正すべく、第２の記録時間データＴＦＤと第１の記録時間データＴＣＤとの差分を求め、求めた差分ＴＦＤ−ＴＣＤ（＞０）をテンポクロックＣＴの周期τによって除算し、この除算結果（ＴＦＤ−ＴＣＤ）／τを、デルタタイムの補正値Ｒとして図３に示す補正値レジスタ２４４に書き込み（ステップＳ７）、デルタタイム調整処理を終了する。なお、この場合、補正値レジスタ２４４に書き込まれるデルタタイムの補正値Ｒは正の値となる。
以上が本実施形態に係るマルチメディアシステム６００の詳細である。以下、図５を参照しながら、マルチメディアシステム６００の動作について詳細に説明する。
【００３１】
図５は本実施形態に係るマルチメディアシステム６００の動作を示すタイムチャートである。さらに詳述すると、図５には、あるＶＴに格納された映像データの再生に同期してユーザのピアノ演奏等に応じた楽曲データの記録を行う場合を例に、ＶＴからタイムコード変換器２００を介して出力される楽音用タイムコード（ＭＴＣ）、ＶＴから読み出される映像データ、ＶＴから読み出されるオーディオデータ、コントローラ３から出力されるオーディオデータ、ＦＤ記録装置８の計時手段２２０による計時時刻、及びＭＩＤＩイベント生成回路１４において生成されるＭＩＤＩイベントＭＥ−ｎ（ｎ＝１、２、〜）が時系列的に示されている。この図５において、ｐ［ｋ］（ｋ＝０、０．２５、０．５、〜）及びａ［ｋ］（ｋ＝０、０．２５、０．５、〜）は、それぞれ映像データの再生開始時刻を０秒とした場合に、ｋ秒からｋ＋１秒の区間内の部分の映像データ及びオーディオデータである。また、ｒ［ｋ］（ｋ＝０、０．２５、０．５、〜）は、映像データの再生開始時刻を０秒とした場合に、ｋ秒経過した時点における計時手段２２０による計時時刻である。ここで、上記楽音用タイムコード（ＭＴＣ）は、本来１ｓｅｃ／３０程度の間隔でタイムコード変換器２００から出力されるが、以下の説明では、便宜上、１ｓｅｃ／４(＝２５０ｍｓｅｃ）の間隔でタイムコード変換器２００からＭＴＣが出力される場合を想定する。
【００３２】
同期記録を行う際、ユーザは、まず操作部４を操作してＦＤに対する記録を待機すべき旨の指令（以下、ポーズ指令という）を入力する。コントローラ３は、操作部４を介してかかるポーズ指令を受け取ると、該ポーズ指令をＦＤ記録装置８に転送する。その後、ユーザは、ビデオカメラ１１０に再生すべきＶＴを装着し、ビデオカメラ１１０の操作部１３０を操作して映像データ等の再生を開始すべき指令を入力する。かかる指令が入力されると、ビデオカメラ１００の再生部１２０は、ＶＴの映像トラックに記録されている映像データｐ［０］を読み出し、これをモニタ１２１に供給すると共に、ＶＴの楽音トラックに記録されているオーディオデータａ［０］を読み出し、コントローラ３へ供給する。さらに、再生部１２０は、映像データ及びオーディオデータの読み出しに応じてＶＴに付加されている映像用タイムコード「０」を読み出し、これをタイムコード変換器２００へ送出する。
【００３３】
モニタ１２１は、ビデオカメラ１００から受け取った映像データｐ［０］に従って映像の表示を開始する。一方、コントローラ３は、ビデオカメラ１００からオーディオデータａ［０］を受け取ると共に、タイムコード変換器２００を介して楽音用タイムコード（ＭＴＣ）「０」を受け取ると、オーディオデータａ［０］からアナログオーディオ信号を生成してミキサ５に出力し、音として出力させると共に、ＭＴＣ「０」及びポーズ状態を解除すべき指令（以下、ポーズ解除指令という）をＦＤ記録装置８に送る。
【００３４】
ＦＤ記録装置８は、コントローラ３からポーズ解除指令を受け取ると、直ちに計時手段２２０を利用して時刻の計時を開始する。しかし、ＦＤ記録装置８内のデルタタイム調整手段２３０では、このＭＴＣ「０」を利用したデルタタイムの調整は行われない。
その後、さらに２５０ｍｓｅｃが経過すると、ビデオカメラ１００からタイムコード変換器２００を介してＭＴＣ「０．２５」が出力される。このとき、デルタタイム調整手段２３０では、「０」より大きなＭＴＣが供給されたことから、上述したデルタタイムの調整が行われる。
【００３５】
このように、ビデオカメラ１００に映像データ等の再生を開始すべき指令が入力されると、直ちに映像データの再生とＦＤ記録装置８による演奏音の記録が開始される。そして、さらに２５０ｍｓｅｃ経過すると、デルタタイム調整手段２３０は、計時手段２２０によって計時された時刻とコントローラ３から供給されるＭＴＣに示される時刻との間に生じたずれに応じて図４に示すデルタタイム調整処理を開始する。そして、以後は、ＭＴＣがコントローラ３から供給される度に、デルタタイム調整手段２３０は上述したデルタタイムの調整を行う。その後、例えば図５に示すように計時手段２２０による計時時刻ｒ［１．０］、ｒ［１．５］、ｒ［２．０］においてＭＩＤＩイベントＭＥ−１、−２、−３が生成され、各ＭＩＤＩイベントに対応するデルタタイムが生成されると、これらがＳＭＦ作成・書き込み制御手段２５０に供給される。
【００３６】
ＳＭＦ作成・書き込み制御手段２５０は、ＭＩＤＩイベントＭＥ−１、−２、−３及び各ＭＩＤＩイベントに対応するデルタタイムを受け取ると、各ＭＩＤＩイベント及び各デルタタイムを含むＭＩＤＩデータをＳＭＦのトラックチャンクＴＴに格納する。その後、操作部４を介して同期記録を終了すべき指令が入力されると、コントローラ３は、再生されたＶＴを識別するための識別情報（Ｖ−ＩＤ）をＳＭＦ作成・書き込み制御手段２５０ヘ供給する。ＳＭＦ作成・書き込み制御手段２５０は、該識別情報（Ｖ−ＩＤ）をヘッダチャンクＨＴ（図２参照）に格納し、該ヘッダチャンクＨＴ及びトラックチャンクＴＴによって構成されたＳＭＦをＦＤ記録装置８に装着されたＦＤに書き込み、処理を終了する。
以上の説明から明らかなように、本実施形態の特徴は、ＶＴからタイムコード変換器２００を介して出力されるＭＴＣに基づいて同期記録の時間管理を行う点にある。なお、ＦＤに記録されたＭＩＤＩデータと、対応するＶＴに格納されている映像データとを同期して再生するマルチメディアシステムの構成、動作等については、第２の実施形態において詳細を明らかにする。
【００３７】
以上説明したように、本実施形態に係るマルチメディアシステム６００によれば、ＶＴの再生に同期してＦＤにＭＩＤＩデータを記録することが可能となる。
【００３８】
なお、上述した第１の実施形態では、ＶＴの再生に同期してＦＤにＭＩＤＩデータを記録する場合を例に説明したが、ＶＴの再生ではなく、ＶＴに対する映像データ等の記録に同期してＦＤにＭＩＤＩデータを記録することも可能である。この場合、ビデオカメラ１００の記録部１１０は、ＶＴに映像データ、オーディオデータ、映像用タイムコードを含む記録情報を記録すると共に、該映像用タイムコードを順次タイムコード変換器２００に供給する。タイムコード変換器２００は、順次供給される映像用タイムコードを楽音用タイムコード（ＭＴＣ）に変換し、変換後のＭＴＣをコントローラ３へ供給する。なお、ＶＴに対する映像データ等の記録に同期してＦＤに楽曲データを記録する場合のＭＴＣの出力タイミング、ＦＤに対する楽曲データの記録開始タイミング等については、上述した第１の実施形態とほぼ同様に説明することができるため、省略する。このように、ＶＴに対する映像データ等の記録に同期してＦＤに楽曲データを記録することにより、例えばライブ録画／録音、プロモーション、ショー用の映像付コンテンツを容易に作成することができる。
【００３９】
なお、上述した第１の実施形態では、自動ピアノ１０を例に説明したが、例えば弦振動を検出する検出機構を備えた電子バイオリン、操作子（ピストン等）の操作状態等を検出する検出機構を備えた電子トランペット等のあらゆる電子楽器に適用可能である。また、電子楽器のみならず、自然楽器（例えば、バイオリン）であっても、かかる自然楽器の操作状態を検出する機構（例えば、弦振動を検出する検出機構等）を設けることで、上記電子楽器と同様に本発明を適用することができる。また、これら電子楽器等のほか、音楽製作ソフト等がインストールされているＰＣ（Personal Computer）など、ユーザの操作状態を検出し、検出結果に応じてＭＩＤＩイベントの生成を指示することができる様々な電子機器に適用可能である。すなわち、特許請求の範囲に記載の「楽器」とは、ユーザの操作状態を検出し、検出結果に応じてＭＩＤＩイベントの生成を指示することができる様々な機器をいう。
【００４０】
また、上述した第１の実施形態では、ＭＩＤＩデータを記憶する記憶媒体としてＦＤを例に説明したが、例えばＭＯ（Magneto Optical disk）、メモリースティック等あらゆる記憶媒体に適用可能である。ここで、本発明は、例えばビデオカメラ、ＦＤ記録装置、コントローラなど、図１に示す全ての構成要素を含んだ自動ピアノを製造し販売するという態様でも実施され得る。このような自動ピアノによれば、ユーザは、ＶＴに記録された映像データの再生に同期して演奏データ（例えば、ユーザが自動ピアノを演奏することにより得られる演奏データ等）をＦＤに記録することができる。
【００４１】
＜変形例１＞
上述した第１の実施形態では、ＶＴからタイムコード変換器２００を介して出力されるＭＴＣに基づいてデルタタイムを調整することで、計時手段２２０によって計時された時刻と該ＭＴＣに示される時刻との間に生じたずれを抑制した。これに対し、変形例１では、ＶＴからタイムコード変換器２００を介して出力されるＭＴＣに基づいて経過時間レジスタ２２２内の経過時間データＮを調整することで、計時手段２２０によって計時された時刻とコントローラ３から供給されるＭＴＣに示される時刻との間に生じたずれを抑制する。
【００４２】
図６は、変形例１に係るＦＤ記録装置８に設けられた制御回路の構成を説明するためのブロック図であり、図７は、経過時間調整手段２３０’によって実行される経過時間調整処理を示すフローチャートである。なお、図６に示す制御回路は、デルタタイム調整手段２３０の代わりに経過時間調整手段２３０’が設けられている点及び補正値レジスタ２４２が除かれている点を除けば、図３に示す制御回路と同様であるため、対応する部分には同一符号を付し、説明を省略する。また、図７に示す経過時間調整処理は、ステップＳ４が除かれている点及びステップＳ６、ステップＳ７の代わりにそれぞれステップＳ６’、ステップＳ７’が設けられている点を除けば、図４に示すデルタタイム調整処理と同様であるため、対応するステップには同一符号を付し、説明を省略する。
【００４３】
経過時間調整手段２３０’は、計時手段２２０によって計時された時刻とコントローラ３から供給されるＭＴＣに示される時刻との間に生じたずれに応じて経過時間レジスタ２２２内の経過時間データＮを調整する手段である。
経過時間調整手段２３０’は、コントローラ３から「０」より大きなＭＴＣが与えられ、ステップＳ１→ステップＳ２→ステップＳ３と進むと（図７参照）、第１の記録時間データＴＣＤと第２の記録時間データＴＦＤの差分の絶対値｜ＴＣＤ−ＴＦＤ｜が予め設定された所定の許容範囲Δに収まっているか否かを判断する（ステップＳ３）。経過時間調整手段２３０’は、第１の記録時間データＴＣＤと第２の記録時間データＴＦＤとの差分の絶対値が所定の許容範囲Δに収まっていると判断すると（ステップＳ３；ＹＥＳ）、経過時間レジスタ２２２内の経過時間データＮを調整することなく、経過時間調整処理を終了する。
【００４４】
一方、経過時間調整手段２３０’は、第１の記録時間データＴＣＤと第２の記録時間データＴＦＤの差分の絶対値｜ＴＣＤ−ＴＦＤ｜が所定の許容範囲Δを越えていると判断すると、第１の記録時間データＴＣＤが第２の記録時間データＴＦＤよりも大きいかどうかを判断する（ステップＳ５）。第１の記録時間データＴＣＤが第２の記録時間データＴＦＤよりも大きい場合、計時手段２２０によって計時されている時刻は、コントローラ３から供給されるＭＴＣに示される時刻よりも遅れているといえる。経過時間調整手段２３０’は、第１の記録時間データＴＣＤが第２の記録時間データＴＦＤよりも大きいと判断すると（ステップＳ５；ＹＥＳ）、第１の記録時間データＴＣＤと第２の記録時間データＴＦＤの差分の絶対値｜ＴＣＤ−ＴＦＤ｜（＞０）をテンポクロックＣＴの周期τによって除算し、この除算結果｜ＴＣＤ−ＴＦＤ｜／τを、経過時間レジスタ２２２内の経過時間データＮに加算し、加算後の経過時間データＮを経過時間レジスタ２２２に書き込み（ステップＳ６’）、経過時間調整処理を終了する。
【００４５】
一方、第１の記録時間データＴＣＤが第２の記録時間データよりも小さい場合、計時手段２２０によって計時されている時刻は、コントローラ３から供給されるＭＴＣに示される時刻よりも進んでいるといえる。デルタタイム調整手段２３０は、第１の記録時間データＴＣＤが第２の記録時間データＴＦＤよりも小さいと判断すると（ステップＳ５；ＮＯ）、第１の記録時間データＴＣＤと第２の記録時間データＴＦＤの差分の絶対値｜ＴＣＤ−ＴＦＤ｜（＞０）をテンポクロックＣＴの周期τによって除算し、この除算結果｜ＴＣＤ−ＴＦＤ｜／τを、経過時間レジスタ２２２内の経過時間データＮから減算し、減算後の経過時間データＮを経過時間レジスタ２２２に書き込み（ステップＳ７’）、経過時間調整処理を終了する。
以上説明した本変形例においても上記第１の実施形態と同様の効果が得られる。
【００４６】
Ｂ．第２の実施形態
図８は、第２の実施形態に係るマルチメディアシステム７００の構成を示す図である。本実施形態に係るマルチメディアシステム７００は、ＶＴの再生に同期してＭＩＤＩデータを記録する機能を備えるほか、記録されたＭＩＤＩデータと対応するＶＴに格納されている映像データ等を同期して再生する機能を備えている。なお、図８に示すマルチメディアシステム７００は、ＦＤ再生装置８ａが設けられている点及び自動ピアノ１０の代わりに自動ピアノ２０が設けられている点を除けば、図１に示すマルチメディアシステム６００とほぼ同様である。従って、対応する部分には同一符号を付し、上記第１の実施形態と重複する部分については説明を割愛する。
【００４７】
コントローラ３は、第１の実施形態において説明した機能を具備するほか、ＶＴとＦＤの同期再生のための制御を行う機能を備えている。この同期再生の指示が操作部４から与えられた場合、コントローラ３は、この指示に従って、ＭＩＤＩデータの再生指示をＦＤ再生装置８ａに送る。ここで、コントローラ３は、ＦＤに記憶されたＭＩＤＩデータを楽曲の先頭から再生すべき指令である場合には、楽曲の先頭から５００ｍｓｅｃ経過後のＭＩＤＩデータから読み出しを開始すべき指令をＦＤ再生装置８ａに送る。なお、これらの手段については後述する。また、コントローラ３は、ビデオカメラ１００からタイムコード変換器２００を介して楽音用タイムコード（ＭＴＣ）が供給される都度、そのＭＴＣをＦＤ再生装置８ａに送る。
【００４８】
自動ピアノ２０は、第１の実施形態において説明した自動ピアノ１０としての機能を備えるほか、ＦＤからコントローラ３によって読み出されるＭＩＤＩデータに従って自動演奏を行う機能を備えている。かかる自動ピアノ２０は、自動ピアノ１０の各構成要素（ピアノ１１等）を備えるほか、ピアノ電子回路１６と、駆動ソレノイド群１７とを備えている。
ここで、アンサンブル音源１８により自動演奏を行う場合、コントローラ３は、ＦＤ再生装置８ａから受け取ったイベントをアンサンブル音源１８に送る。また、ピアノ音源１５またはピアノ１１により自動演奏を行う場合、コントローラ３は、ＦＤ再生装置８ａから受け取ったイベントをピアノ電子回路１６に送る。いずれの手段により自動演奏を行うかは、操作部４からの指示に従って決定される。
【００４９】
前述したようにアンサンブル音源１８により生成されたデジタル楽音信号は、コントローラ３によってアナログ楽音信号に変換され、ミキサ５に送られる。なお、本実施形態に係るミキサ５は、アナログ信号を受け取るアナログ入力ポートとデジタル信号を受け取るデジタル入力ポートの両方を有しており、これらのポートを介して入力される全ての信号をミキシングして出力することができる。従って、アンサンブル音源１８から出力されるデジタル楽音信号をコントローラ３を経由することなくミキサ５に直接供給してもよい。
【００５０】
ピアノ電子回路１６は、コントローラ３からイベントを受け取り、自動演奏のための制御を行う回路である。このピアノ電子回路１６は、２通りの方法のうちいずれかにより自動演奏の制御を行う。まず、第１の方法では、コントローラ３から受け取ったイベントをピアノ音源１５に送る。前述したように、ピアノ音源１５は、イベントにより指示されたピアノ音のアナログオーディオ信号を電子的に生成する装置である。第２の方法では、ピアノ電子回路１６は、コントローラ３から受け取ったイベントに従って駆動ソレノイド群１７に対する通電制御を行う。この駆動ソレノイド群１７は、ピアノ１１に設けられた複数の鍵に各々対応した複数のソレノイドと、複数のペダルに各々対応した複数のソレノイドとからなる。ピアノ電子回路１６は、ある鍵の押下を指示するイベントをコントローラ３から受け取った場合、その鍵に対応したソレノイドに駆動電流を流し、鍵を押下させるのに必要な磁力をソレノイドにより発生する。離鍵を指示するイベントを受け取った場合も同様である。第１の方法、第２の方法のいずれによりイベントを取り扱うかの指示は、操作部４からコントローラ３に与えられ、コントローラ３はこの指示をピアノ電子回路１６に送る。ピアノ電子回路１６は、受け取った指示に従う。
【００５１】
コントローラ３によってイベントが出力されてから自動演奏音が発生されるまでには遅延があり、その遅延時間はいずれの手段により自動演奏を行うかによって異なる。自動ピアノにより自動演奏を行う場合、コントローラ３がイベントを出力してから自動演奏音が発生するまでに、例えば５００ｍｓｅｃの時間を要する。そこで、本実施形態では、同期再生の指示が操作部４から与えられ、かつ、自動演奏のための手段として自動ピアノ２０が選択されている場合には、次のようにしてＶＴおよびＦＤの同期再生を行う。まず、ＦＤの再生を待機すべき旨の指令（すなわち、ポーズ指令）がコントローラ３からＦＤ再生装置８ａに送られる。そして、映像データ等の再生すべき指令（すなわち、同期再生を開始すべき指令）がビデオカメラ１００に入力されると、ビデオカメラ１００からタイムコード変換器２００を介してコントローラ３へＭＴＣの供給が開始される。コントローラ３は、前述したように、この時点から５００ｍｓｅｃ経過後のＭＩＤＩデータから読み出しを開始すべき指令をＦＤ再生装置８ａに送る。このように、ＦＤに格納されている楽曲データの先頭から読み出しを開始するのではなく、５００ｍｓｅｃ経過後のＭＩＤＩデータから読み出しを開始することにより、以後、ＶＴ内の映像データ等の再生と、ＦＤ内のＭＩＤＩデータの再生との同期が保たれる。
【００５２】
ＦＤ再生装置８ａは、コントローラ３からの指令に従い、ＦＤからＭＩＤＩデータを順次読み出してコントローラ３に供給する。このＭＩＤＩデータは、例えばＦＤ記録装置８によりＶＴの再生に同期して記録されたＭＩＤＩデータである（図５参照）。ＦＤ再生装置８ａは、あるイベントをＦＤから読み出してコントローラ３に送った後は、そのイベントの後のデルタタイムによって示される時間だけ待機し、後続のイベントの読み出しを行う、という処理を繰り返す。これがＦＤ再生装置８ａの基本的な動作である。ＦＤ再生装置８ａは、以上説明したＭＩＤＩデータをＦＤから読み出す機能（すなわち、シーケンサとしての機能）の他に、この読み出し動作をビデオカメラ１００による映像データ等の再生に同期させるタイミング調整機能を有している。以下、かかる種々の機能を備えたＦＤ再生装置８ａの構成について、図９を参照しながら説明する。
【００５３】
図９は、ＦＤ再生装置８ａに設けられた制御回路の構成を示すブロック図である。この図９に示された回路は、シーケンサとしての機能とタイミング調整機能とを営むものである。
イベントバッファ３０２は、ＦＤから読み出されたイベントを格納するバッファである。ここで、１つのデルタタイムの後に２以上の連続したイベントが続くことがあり得る。そのような場合、連続した全てのイベントがＦＤから読み出され、イベントバッファ３０２に格納される。デルタタイムレジスタ３０３は、ＦＤから読み出されたデルタタイムを格納するレジスタである。既に説明したように、このデルタタイムは、相前後した２つのイベント間の経過時間を指定するものである。
【００５４】
加算器３１１およびレジスタ３１２は、累算器を構成している。この累算器は、ＦＤから順次読み出されてレジスタ３０３に格納される一連のデルタタイムの累算値を求めるものである。さらに詳述すると、現時点におけるデルタタイムの累算値は、レジスタ３１２によって保持されるようになっている。また、加算器３１１は、このレジスタ３１２に格納された累算値とレジスタ３０３に格納されているデルタタイムとを加算して、加算結果Ｍを出力する。このＭは、イベントバッファ３０２に格納された１または複数のイベントをコントローラ３に転送する目標時刻に相当する数値である。従って、以下ではこのＭを目標時刻データと呼ぶ。この目標時刻データＭにより指定された時刻になると、イベント転送制御手段３３０からレジスタ３０３および３１２に書き込みクロックが供給される。この結果、加算器３１１の出力データ、すなわち、それまでレジスタ３１２に格納されていた累算値とレジスタ３０３に格納されていたデルタタイムとを加えた値が新たな累算値としてレジスタ３１２に格納される。また、このときＦＤから読み出された新たなデルタタイムがレジスタ３０３に格納されるのである。なお、イベント転送制御手段３３０については後述する。
【００５５】
加算器３２１およびレジスタ３２２は、テンポクロックＣＴ’が与えられる度に「＋１」の累算を行う累算器を構成している。加算器３２１は、レジスタ３２２の格納データと固定値「＋１」とを加算して出力する。レジスタ３２２は、ＦＤからのＭＩＤＩデータの再生が開始されるとき、初期値が書き込まれる。この初期値は、テンポクロックの周期をτ’とした場合、５００ｍｓｅｃ／τ’となる。以後、レジスタ３２２には、テンポクロックＣＴ’が与えられる度に、加算器３２１の出力データ、すなわち、その時点におけるレジスタ３２２の格納データと「＋１」との加算結果が書き込まれる。このレジスタ３２２の出力データＮ’は、ＭＩＤＩデータの再生開始以後の経過時間を表す経過時間データとして利用される。
【００５６】
イベント転送制御手段３３０は、経過時間データＮ’が目標時刻データＭに到達したとき、イベントバッファ２０２内の１または複数のイベントを読み出して取り込むべき旨の転送指示をコントローラ３に送る。また、このときイベント転送制御手段３３０は、上述したように書き込みクロックをレジスタ３０３および３１２に供給する。前述したように、本実施形態においては、楽曲データの先頭から５００ｍｓｅｃ経過後のＭＩＤＩデータから読み出しが開始される。従って、イベント転送制御手段３３０は、ＦＤからのＭＩＤＩデータの生成が開始されるとき、目標時刻データＭが５００ｍｓｅｃ／τ’に到達するまでイベント及びデルタタイムの読み出しと、デルタタイムの累算とを繰り返し実行する。
【００５７】
タイミング調整手段３４１は、ＭＩＤＩデータのイベントのコントローラ３への出力動作をＶＴからの映像データ等の再生に同期化させるためのタイミング調整を行う回路である。さらに詳述すると、タイミング調整手段３４１は、コントローラ３から「０」より大きなＭＴＣが与えられると、当該ＭＴＣを第１の再生時間データＴＣＤ’とし、さらにその時点における経過時間データＮ’にテンポクロックＣＴ’の周期τ’を乗算し、その乗算結果から５００ｍｓｅｃを差し引き、第２の再生時間データＴＦＤ’＝Ｎ＊τ’−５００ｍｓｅｃを求める。
【００５８】
そして、タイミング調整手段３４１は、これらの再生時間データＴＣＤ’及びＴＦＤ’を比較し、比較結果に基づいて次の処理を行う。
ａ．ＴＣＤ’とＴＦＤ’との差が所定の許容範囲内に収まっている場合
この場合、タイミング調整手段３４１は、何もしない。
【００５９】
ｂ．ＴＣＤ’＞ＴＦＤ’であり、両者の差が許容範囲を越えている場合
この場合、ＦＤから読み出されたイベントによって現在演奏されている楽曲中の箇所は、ＶＴの再生によって映像が表示されている箇所よりも時間差ＴＣＤ’−ＴＦＤ’だけ遅れた箇所であるといえる。そこで、タイミング調整手段３４１は、時間差ＴＣＤ’−ＴＦＤ’をテンポクロックＣＴ’の周期τ’によって除算し、この除算結果（ＴＣＤ’−ＴＦＤ’）／τ’をレジスタ３０３内のデルタタイムから減算し、減算後のデルタタイムをレジスタ３０３に書き込む。なお、この減算後のデルタタイムは、常に正の値をとるように制御される。すなわち、除算結果（ＴＣＤ−ＴＦＤ）／τが大きい場合、レジスタ３０３内のデルタタイムから除算結果（ＴＣＤ−ＴＦＤ）／τをそのまま減算したのでは、減算後のデルタタイムは負の値になってしまう。そこで、レジスタ３０３内のデルタタイムから該除算結果（ＴＣＤ−ＴＦＤ）／τを減算した結果（すなわち、減算後のデルタタイム）が負の値をとる場合には、該デルタタイムが正の値をとり得るよう、例えば除算結果（ＴＣＤ−ＴＦＤ）／τを２分割し、分割した一方の除算結果（ＴＣＤ−ＴＦＤ）／（τ＊２）を当該時点においてレジスタ３０３に格納されているデルタタイムから減算し、さらに、残りの除算結果（ＴＣＤ−ＴＦＤ）／（τ＊２）をその後にレジスタ３０３に格納される後続のデルタタイムから減算するように制御する。かかる処理を実行することで、デルタタイムの値は常に正の値となる。このように、除算結果（ＴＣＤ−ＴＦＤ）／τが大きく、レジスタ３０３内のデルタタイムから除算結果（ＴＣＤ−ＴＦＤ）／τをそのまま減算したのでは、減算後のデルタタイムは負の値になってしまう場合には、複数回に分けて（すなわち、連続する複数のデルタタイムの値を適宜変更することで）生じたずれを吸収するようにすれば良い。
これにより以後暫くの間、ＦＤからのイベント読み出しによる自動演奏とＶＴからの映像データ等の読み出しによる映像表示とが同期状態を保つこととなる。
【００６０】
ｃ．ＴＣＤ’＜ＴＦＤ’であり、両者の差が許容範囲を越えている場合
この場合、ＦＤから読み出されたイベントによって現在演奏されている楽曲中の箇所は、ＶＴの再生によって映像が表示されている箇所よりも時間差ＴＦＤ’−ＴＣＤ’だけ進んだ箇所であるといえる。そこで、タイミング調整手段３４１は、時間差ＴＦＤ’−ＴＣＤ’をテンポクロックＣＴ’の周期τ’によって除算し、この除算結果（ＴＦＤ’−ＴＣＤ’）／τ’をレジスタ３０３内のデルタタイムに加算し、加算後のデルタタイムをレジスタ３０３に書き込む。
以上が本実施形態に係るマルチメディアシステム７００の詳細である。以下、図１０を参照しながら、マルチメディアシステム７００の動作について詳細に説明する。
【００６１】
図１０は本実施形態に係るマルチメディアシステム７００の動作を示すタイムチャートである。さらに詳述すると、図１０には、ある映像及び楽曲の先頭からＶＴおよびＦＤの同期再生を行う場合を例に、ＶＴからタイムコード変換器２００を介して出力される楽音用タイムコード（ＭＴＣ）、ＶＴから読み出される映像データ、ＶＴから読み出されるオーディオデータ、コントローラ３から出力されるオーディオデータ、ＦＤから読み出されるＭＩＤＩデータおよびピアノ１１から発生される音が時系列的に示されている。この図１０において、ｐ［ｋ］（ｋ＝０、０．２５、０．５、〜）及びａ［ｋ］（ｋ＝０、０．２５、０．５、〜）は、それぞれ映像データの再生開始時刻を０秒とした場合に、ｋ秒からｋ＋１秒の区間内の部分の映像データ及びオーディオデータである。また、ｍ［ｋ］（ｋ＝０、０．２５、０．５、〜）は、楽曲の開始時刻を０秒とした場合に、ｋ秒からｋ＋１秒の区間内の部分の演奏制御に用いられるＭＩＤＩデータである。ここで、上記楽音用タイムコード（ＭＴＣ）は、本来１ｓｅｃ／３０程度の間隔でタイムコード変換器２００から出力されるが、以下の説明では、便宜上、１ｓｅｃ／４(＝２５０ｍｓｅｃ）の間隔でタイムコード変換器２００からＭＴＣが出力される場合を想定する。
【００６２】
駆動ソレノイド群１７およびピアノ１１を利用して自動演奏を行う場合、まずポーズ指令がコントローラ３からＦＤ再生装置８ａに送られる。その後、ユーザがビデオカメラ１００の操作部１３０等を操作して同期再生を開始すべき指令を入力すると、ビデオカメラ１００からタイムコード変換器２００を介してＭＴＣの供給が開始される。コントローラ３は、タイムコード変換器２００を介してＭＴＣを受け取ると、この時点から５００ｍｓｅｃ経過後のＭＩＤＩデータから読み出しを開始すべき指令をＦＤ再生装置８ａに送る。ＦＤ再生装置８ａは、コントローラ３から該指令を受け取ると、直ちにＦＤから楽曲の先頭から５００ｍｓｅｃ経過後のＭＩＤＩデータＭＩＤＩデータを読み出す動作を開始する。この結果、ＭＩＤＩデータｍ［０．５］、ｍ［０．７５］、〜がＦＤから順次読み出され、ＭＩＤＩデータ中のイベントがコントローラ３に転送される。この動作においては、ＭＩＤＩデータ中のデルタタイムに基づいて、ＭＩＤＩデータ中のイベントの転送タイミングの制御が行われる。なお、このデルタタイムに基づく転送タイミングの制御は既に説明した通りである。
【００６３】
コントローラ３がタイムコード変換器２００から受け取ったＭＴＣ「０」は、ＦＤ再生装置８ａに送られる。しかし、ＦＤ再生装置８ａ内のタイミング調整手段３４１では、このＭＴＣ「０」を利用したデルタタイムの調整は行われない。その後、さらに２５０ｍｓｅｃが経過すると、コントローラ３からＭＴＣ「０．２５」が出力される。このときタイミング調整手段３４１では、「０」より大きなＭＴＣが供給されたことから、上述したデルタタイムの調整が行われる。そして、以後は、ＭＴＣがコントローラ３から供給される度に、上述したデルタタイムの調整が行われる。
【００６４】
ＶＴの再生指示が発生すると、直ちに映像データに対応したオーケストラ等の映像及びオーディオデータに対応した歌唱、演奏等が開始される。そして、さらに５００ｍｓｅｃが経過すると、ＭＩＤＩデータに対応した演奏が開始される。そして、さらに２５０ｍｓｅｃが経過すると、タイミング調整手段３４１によりタイミング調整が行われたＭＩＤＩデータに対応した演奏が開始される。従って、映像データｐ［ｋ］、オーディオデータａ［ｋ］およびＭＩＤＩデータｍ［ｋ］のうち同期を保った状態で再生されるのは、映像及び楽曲の先頭から７５０ｍｓｅｃだけ経過した時点以降のもの、すなわち、ｐ［０．７５］以降の映像データと、ａ［０．７５］以降のオーディオデータと、ｍ［０．７５］以降のＭＩＤＩデータである。この結果、図５を参照して説明した計時手段２２０による計時時刻ｒ［１．０］、ｒ［１．５］、ｒ［２．０］において生成されたＭＩＤＩイベントを含むＭＩＤＩデータｍ［１．０］、ｍ［１．５］、ｍ［２．０］と、対応するオーディオデータａ［１．０］、ａ［１．５］、ａ［２．０］及び映像データｐ［１．０］、ｐ［１．５］、ｐ［２．０］は同期を保った状態で再生される。
【００６５】
以上の説明から明らかなように、本実施形態に係る楽音再生記録装置７００によれば、ＶＴの再生に同期してＭＩＤＩデータを記録するほか、記録されたＭＩＤＩデータと対応するＶＴに格納されている楽曲データを同期して再生することができる。
【００６６】
なお、以上説明した同期再生に先だって、コントローラ３がビデオカメラ１００からＶＴの識別情報（Ｖ−ＩＤ）を受け取ると共に、ＦＤ再生装置８ａからＦＤに記録されているＳＭＦのヘッダチャンクＨＴに格納されているＶＴの識別情報（Ｖ−ＩＤ）を受け取り、両者の識別情報が一致しない場合には、ＦＤに記録されているＭＩＤＩデータの再生（すなわち、自動演奏）を停止するようにしても良い。かかる構成を採用することで、映像に一致しない自動演奏が行われ、ユーザに不快感を与えてしまうといった問題を未然に防止することができる。
【００６７】
また、上述した第２の実施形態では、ＶＴに記録された映像データ、オーディオデータ等とＦＤに記録されたＭＩＤＩデータとを同期して再生する場合を例に説明したが、ＶＴの再生ではなく、ＶＴに対する映像データ等の記録に同期してＦＤに格納されているＭＩＤＩデータの再生を行うことも可能である。この場合、ビデオカメラ１００の記録部１１０は、当該ビデオカメラ１００に装着されたＶＴに映像データ、オーディオデータ、映像用タイムコードを含む記録情報を記録すると共に、該映像用タイムコードを順次タイムコード変換器２００に供給する。タイムコード変換器２００は、順次供給される映像用タイムコードを楽音用タイムコード（ＭＴＣ）に変換し、変換後のＭＴＣをコントローラ３へ供給する。なお、ＶＴに対する映像データ等の記録に同期してＦＤに格納されているＭＩＤＩデータを再生する場合のＭＴＣの出力タイミング、ＭＩＤＩデータの読み出しタイミング等については、上述した第２の実施形態とほぼ同様に説明することができるため、省略する。このように、ＶＴに対する映像データ、オーディオデータ等の記録に同期してＦＤに格納されているＭＩＤＩデータを再生するようにしても良い。
【００６８】
ここで、本発明は、例えばビデオカメラ、ＦＤ記録装置、ＦＤ再生装置、コントローラなど、図８に示す全ての構成要素を含んだ自動ピアノを製造し販売するという態様でも実施され得る。このような自動ピアノによれば、ユーザは、ＶＴに記録された映像データ、オーディオデータ等の再生に同期してＭＩＤＩデータ（ユーザが自動ピアノを演奏することにより得られるＭＩＤＩデータ等）をＦＤに記録することができると共に、ＦＤに記録された該ＭＩＤＩデータに基づく自動演奏に同期させてＶＴに記録されたオーディオデータ、映像データの再生を行うことができる。
【００６９】
Ｃ．第３の実施形態
図１１は、第３の実施形態に係るマルチメディアシステム８００の構成を示す図である。本実施形態に係るマルチメディアシステム８００は、ＨＤ（Hard Disk）を備えている点を除けば、上述した第２の実施形態に係るマルチメディアシステム７００とほぼ同様である。従って、対応する部分には同一符号を付し、上述した第２の実施形態と重複する部分については、説明を省略する。
【００７０】
さて、上記第２の実施形態において説明したように、マルチメディアシステム７００を利用すれば、ＶＴに記録された映像データ、オーディオデータ等の再生に同期してＭＩＤＩデータ（ユーザが自動ピアノを演奏することにより得られる楽曲等）をＦＤに記録し、さらに当該ＦＤに記録された該ＭＩＤＩデータに基づく自動演奏に同期させてＶＴに記録されたオーディオデータ、映像データの再生を行わせることができる。しかしながら、該ＶＴに記録されているオーディオデータの基準ピッチ（具体的には、基準となる音「Ａ（ラ）」等の周波数）が例えば４４３Ｈｚであり、自動演奏の際に用いられるピアノ１１（生ピアノ）の基準ピッチが例えば４４８Ｈｚであった場合、ＶＴに記録されているオーディオデータの再生に同期してピアノ１１による自動演奏を行ったとしても、かかる基準ピッチのずれにより、うなりが発生し、ユーザに不快感を与えてしまうおそれがある。
【００７１】
そこで、本実施形態に係るマルチメディアシステム８００は、ピアノ１１の基準ピッチ（上記の例では、４４８Ｈｚ）にオーディオデータの基準ピッチを合わせる制御を自動で行い、かかる制御により、ＶＴに記録されているオーディオデータの再生に同期してピアノ１１による自動演奏を行ったとしても、うなりのない心地良い響きをユーザに与えることを可能とする。
【００７２】
図１１に示すＨＤは、再生すべきＶＴに記録されているオーディオデータを記憶するための外部記憶装置である。なお、図１１では、ＨＤを例示しているが、かかるＨＤの代わりにＲＡＭ等の記憶手段を用いることも可能である。
コントローラ３は、上記各実施形態において説明した機能を具備するほか、以下に示すオーディオデータ記録処理及び後述するピッチ制御・再生処理を実行する機能を備えている。
【００７３】
図１２は、オーディオデータ記録処理を示すフローチャートである。
コントローラ３は、ビデオカメラ１００に再生すべき映像データ、オーディオデータ等の記録されたＶＴが装着され、ＦＤ記録装置８に記録用のＦＤが装着されたことを検出すると（ステップＳａ１）、ビデオカメラ１００に対し、装着されたＶＴに記録されているオーディオデータを転送すべき指令を送る。ビデオカメラ１００は、かかる指令に従ってＶＴに記録されているオーディオデータを読み出し、これをコントローラ３へ返す。コントローラ３は、ビデオカメラ１００から該オーディオデータを受け取ると、ＨＤに転送する（ステップＳａ２）。
【００７４】
そして、ステップＳａ３に進むと、コントローラ３は、操作部４等から該オーディオデータの基準ピッチを求める指示が送られてきたかどうかを判断する。ここで、操作部４等からオーディオデータの基準ピッチを求める指示が送られてこない場合（ステップＳａ３；ＮＯ）、コントローラ３は、以下に示すステップＳａ４〜Ｓａ８をスキップし、ステップＳａ９に進む。一方、操作部４等からオーディオデータの基準ピッチを求める指示が送られてきたことを検出すると（ステップＳａ３；ＹＥＳ）、コントローラ３は、ステップＳａ４に進み、オーディオデータを高速フーリエ変換（ＦＦＴ；Fast Fourier Transform）し、各周波数毎の音圧（ＳＰＬ；Sound Pressure Level）を求める。
【００７５】
ここで、図１３は、オーディオデータから得られる信号波形を例示した図であり、横軸には周波数を示し、縦軸には音圧を示している。ここで、図１３に示す信号成分のうち、本実施形態において解析が必要な周波数成分は、基準ピッチとなり得る周波数成分（例えば、４４０Ｈｚ付近の周波数成分）である。従って、予めバンドパスフィルタ等を利用して、４４０Ｈｚ付近の周波数成分（例えば、図１３に示す（４４０±α）Ｈｚ）のみを抽出するようにしても良い。
【００７６】
さて、コントローラ３は、図１３に示す４４０Ｈｚ付近の各周波数の音圧をスキャンしていき（ステップＳａ５）、予め設定された所定値（図１３に示す、閾値Ｓ）以上の音圧が検出されるか否かを判断する（ステップＳａ６）。コントローラ３は、所定値以上の音圧が検出されない場合（ステップＳａ６；ＮＯ）、再びステップＳａ４に戻って、オーディオデータの周波数解析をやり直す。一方、所定値以上の音圧が検出されると（ステップＳａ６；ＹＥＳ）、コントローラ３は、ステップＳａ７に進み、所定値以上の音圧が検出された周波数（図１３では、４４３Ｈｚ）をオーディオデータの基準ピッチとして認識し、この基準ピッチに対応するイベントを生成してＦＤ記録装置８に送り、さらに該オーディオデータを識別するための識別情報（Ｖ−ＩＤ）をＦＤ記録装置８に通知する（ステップＳａ８）。
【００７７】
ＦＤ記録装置８は、かかるイベント及び通知を受け取ると、図１４に示すようにＦＤの所定の記憶エリアに該オーディオデータを識別するための識別情報（Ｖ−ＩＤ）及び該基準ピッチを表すイベントを格納する。その後、ユーザがビデオカメラ１００の操作部１３０等を操作してＶＴの再生と同期してＭＩＤＩデータ（例えば、ユーザが自動ピアノを演奏することにより得られるＭＩＤＩデータ等）をＦＤに記録すべき指令がコントローラ３に通知されると（ステップＳａ９）、コントローラ３は、上述した第１の実施形態において説明した同期記録のための制御を行い（ステップＳａ１０）、処理を終了する。一方、ステップＳａ９において、ＶＴの再生と同期してＭＩＤＩデータをＦＤに記録すべき指令がコントローラ３に通知されない場合、コントローラは同期記録のための制御を行うことなく処理を終了する。
【００７８】
以上がオーディオデータ記録処理に関する詳細である。なお、本実施形態では、上記のようにオーディオデータの基準ピッチを自動検出する場合について説明したが、オーディオデータの基準ピッチを自動検出するのではなく、例えばユーザが自身の音感を利用して該オーディオデータの基準ピッチを判断し、操作部４等を操作（すなわち、マニュアル操作）することにより、判断して決定した基準ピッチをＦＤに記録するようにしても良い。
【００７９】
このようにＶＴに記録されたオーディオデータがＨＤ格納され、ＭＩＤＩデータがＦＤに記録された後、ＨＤに記録されたオーディオデータの再生に同期してＦＤに記録されたＭＩＤＩデータに基づくピアノ自動演奏を行う場合、コントローラ３は、以下に示すピッチ制御・再生処理を実行する。
【００８０】
図１５は、ピッチ制御・再生処理を示すフローチャートである。
操作部４等からＨＤに記録されたオーディオデータとＦＤに記録されたＭＩＤＩデータとを同期して再生すべき指示がコントローラ３に送られると、コントローラ３は、ＦＤ再生装置８ａに対し、ＦＤからオーディオデータの基準ピッチを読み出すべき指示を送る（ステップＳｂ１）。ＦＤ再生装置８ａは、かかる指示に従ってＦＤから基準ピッチ（例えば、４４３Ｈｚ）に対応するイベントを読み出し、これをコントローラへ返す。コントローラ３は、該イベントを受け取ると、ピアノ１１の基準ピッチを検出すべく、例えば図示せぬ表示部にピアノの基準ピッチを検出するために必要な音（「Ａ（ラ）」）を鳴らすべき文字メッセージ（例えば、「ユーザＺさん、「ラ」の音を鳴らしてください！」）等を表示させる。その後、ユーザがピアノ１１の特定の鍵を押下し、ピアノ１１から基準ピッチを検出するために必要な「ラ」の音が発音されると、コントローラ３は、図示せぬマイクロフォン等を介してピアノ１１から発音された音を楽音データとして受け取り、ピアノ１１の基準ピッチ（例えば、４４８Ｈｚ）を検出する（ステップＳｂ２）。
【００８１】
なお、ピアノ１１の基準ピッチを検出する方法として、上記のように表示部（図示略）にピアノの基準ピッチを検出するために必要な音（「Ａ（ラ）」）を鳴らすべき文字メッセージ等を表示させるほか、例えばピアノの基準ピッチを検出するために必要な音を鳴らすべき旨の指令をピアノ電子回路１６に送り、駆動ソレノイド群１７を利用してかかる音を自動で（すなわち、ユーザにピアノ１１の特定の鍵を押下させることなく）鳴らすように制御しても良い。また、ピアノ１１の基準ピッチについては、前述したように、例えば該楽音データを高速フーリエ変換し、各周波数毎の音圧を求め、予め設定された所定値以上の音圧が検出された周波数を検知することで、ピアノ１１の基準ピッチを検出することが可能である。
【００８２】
さて、コントローラ３は、このようにしてピアノ１１の基準ピッチを検出すると、検出したピアノ１１の基準ピッチとオーディオデータの基準ピッチとを比較し、基準ピッチのずれ（音程差）を求める（ステップＳｂ３）。ここでは、検出したピアノ１１の基準ピッチが４４８Ｈｚであり、オーディオデータの基準ピッチが４４３Ｈｚであるため、コントローラ３は、両基準ピッチのずれからオーディオデータの基準ピッチを５Ｈｚ（＝４４８Ｈｚ−４４３Ｈｚ）上げるべきであると判断し、かかる判断結果に基づきＨＤに記憶されたオーディオデータの読み出し速度決定する（ステップＳｂ４）。
ここで、図１６は、各読み出し速度でオーディオデータを読み出したときに得られる信号波形を例示した図である。より詳細には、図１６のＡに示す信号波形は、所定の読み出し速度Ｖｂで読み出したときに得られる信号波形であり、図１６のＢ及びＣに示す信号波形は、それぞれ該読み出し速度Ｖｂよりも速い読み出し速度Ｖｆ（＞Ｖｂ）及び遅い読み出し速度Ｖｓ（＜Ｖｂ）で読み出したときに得られる信号波形である。
【００８３】
ここで、所定の読み出し速度Ｖｂで読み出されたときに基準ピッチが４４３Ｈｚの音が発音されると仮定すると、図１６のＢに示すように、読み出し速度Ｖｆでオーディオデータが読み出された場合には、基準ピッチが４４３Ｈｚよりも高い音（例えば、基準ピッチが４４８Ｈｚの音）が発音され、一方図１６のＣに示すように、読み出し速度Ｖｓでオーディオデータが読み出された場合には、基準ピッチが４４３Ｈｚよりも低い音（例えば、基準ピッチが４４０Ｈｚの音）が発音される。
従って、コントローラ３は、両基準ピッチのずれからオーディオデータの基準ピッチを５Ｈｚ（＝４４８Ｈｚ−４４３Ｈｚ）上げるべきであると判断すると、かかる判断結果に基づきＨＤに記憶されたオーディオデータの読み出し速度を、４４３Ｈｚの音を発音させる場合の読み出し速度よりも速い速度に決定する。なお、オーディオデータの基準ピッチを下げる場合については、上記と同様に説明することができるため、説明を割愛する。
そして、コントローラ３は、決定した読み出し速度でオーディオデータをＨＤから読み出し、読み出したオーディオデータからアナログオーディオ信号を生成してミキサ５に順次供給する一方（ステップＳｂ５）、該オーディオデータの読み出し速度に基づいてＦＤからＦＤ再生装置８ａを介してＭＩＤＩデータを順次読み出し（ステップＳｂ６）、読み出したＭＩＤＩデータを順次ピアノ電子回路１６へ供給する（ステップＳｂ７）。
【００８４】
ピアノ電子回路１６は、コントローラ３から順次供給されるＭＩＤＩデータに含まれるイベントに応じて駆動ソレノイド群１７に対する通電制御を行い、ピアノ１１の鍵、ペダル等を駆動する。これにより、ＭＩＤＩデータに基づくピアノ１１の自動演奏が行われる。コントローラ３は、ステップＳｂ８に進むと、１曲分のオーディオデータの再生及びＭＩＤＩデータの再生が終了したか否かを判断する。１曲分のオーディオデータの再生及びＭＩＤＩデータの再生が終了していないと判断すると（ステップＳｂ８；ＮＯ）、コントローラ３は、ステップＳｂ５に戻り、ステップＳｂ５→ステップＳｂ６→ステップＳｂ７といった一連の処理を繰り返し実行する。そして、コントローラ３は、１曲分のオーディオデータの再生及びＭＩＤＩデータの再生が終了したと判断すると（ステップＳｂ８；ＹＥＳ）、以上説明したピッチ制御・再生処理を終了する。
【００８５】
以上説明したように、本実施形態にかかるマルチメディアシステム８００によれば、ＨＤに記録されたオーディオデータの再生に同期してＦＤに記録されたＭＩＤＩデータに基づくピアノ自動演奏を行う場合、オーディオデータの基準ピッチ（例えば、４４３Ｈｚ）がピアノ１１の基準ピッチ（例えば、４４８Ｈｚ）と一致するように、オーディオデータの基準ピッチが制御される。これにより、該オーディオデータの再生に同期してピアノ１１による自動演奏を行ったとしても、うなりのない心地良い響きをユーザに与えることが可能となる。
【００８６】
なお、以上説明した本実施形態では、オーディオデータを格納する手段としてＨＤを例示したが、該ＨＤの代わりにＲＡＭ等、種々の記憶手段を用いても良い。このように、ＨＤの代わりにＲＡＭ等を用いた場合には、例えば当該時点において再生すべき箇所よりも少し前の箇所に対応したオーディオデータを先読みし、これをＲＡＭ等の記憶手段に格納するように制御すれば、オーディオデータを記憶する記憶手段としてメモリ容量の小さな記憶手段を用いることができる。
【００８７】
【発明の効果】
以上説明したように本発明によれば、映像データの再生若しくは映像データの記録に同期して、楽曲データの再生若しくは記録を行うことができる。
【図面の簡単な説明】
【図１】 第１の実施形態におけるマルチメディアシステムの構成を示すブロック図である。
【図２】 同実施形態に係るＳＭＦを示す図である。
【図３】 同実施形態に係るＦＤ記録装置の制御回路の構成を示すブロック図である。
【図４】 同実施形態に係るデルタタイム調整処理を示すフローチャートである。
【図５】 同実施形態に係るマルチメディアシステムの動作を示すタイムチャートである。
【図６】 同実施形態における変形例１に係るＦＤ記録装置の制御回路の構成を示すブロック図である。
【図７】 同変形例に係る経過時間調整処理を示すフローチャートである。
【図８】 第２の実施形態におけるマルチメディアシステムの構成を示すブロック図である。
【図９】 同実施形態に係るＦＤ再生装置の制御回路の構成を示すブロック図である。
【図１０】 同実施形態に係るマルチメディアシステムの動作を示すタイムチャートである。
【図１１】 第３の実施形態におけるマルチメディアシステムの構成を示すブロック図である。
【図１２】 同実施形態に係るオーディオデータ記録処理を示すフローチャートである。
【図１３】 同実施形態に係るオーディオデータから得られる信号波形を例示した図である。
【図１４】 同実施形態に係るＦＤの記憶状態を説明するための図である。
【図１５】 同実施形態に係るピッチ制御・再生処理を示すフローチャートである。
【図１６】 同実施形態に係る各読み出し速度でオーディオデータを読み出したときに得られる信号波形を例示した図である。
【符号の説明】
３・・・コントローラ、４・・・操作部、５・・・ミキサ、６・・・アンプ、７・・・スピーカ、８・・・ＦＤ記録装置、８ａ・・・ＦＤ再生装置、１０、２０・・・自動ピアノ、１１・・・ピアノ、１２・・・キーセンサ、１３・・・ペダルセンサ、１４・・・ＭＩＤＩイベント生成回路、１５・・・ピアノ音源、１６・・・ピアノ電子回路、１７・・・駆動ソレノイド群、１８・・・アンサンブル音源、１００・・・ビデオカメラ、２００・・・タイムコード変換器、２１０・・・クロック生成手段、２２０・・・計時手段、２３０・・・デルタタイム調整手段、２３０’・・・経過時間調整手段、２４０・・・デルタタイム生成手段、２５０・・・ＳＭＦ作成・書き込み制御手段、３３０・・・イベント転送制御手段、３４１・・・タイミング調整手段。
Claims (4)
- 映像データと当該映像データの記録開始からの経過時間を表す一連の映像用タイムコードとオーディオデータとを含む記録情報を第１の記憶媒体から読み出し、当該記録情報中の映像データを再生するマスター装置と、前記マスター装置による前記映像データの再生に同期して第２の記憶媒体に記録されている楽曲データの再生を行うスレーブ装置とを具備するマルチメディアシステムであって、
前記マスター装置は、前記記録情報中の映像データを再生すると共に、前記記録情報中のオーディオデータを前記スレーブ装置に出力し、
前記スレーブ装置は、
前記記録情報中の映像用タイムコードを取得し、当該映像用タイムコードを楽音用タイムコードに変換するタイムコード変換手段と、
クロックをカウントすることにより計時を行う計時手段と、
前記計時手段による計時結果に基づいて、前記第２の記憶媒体に記録されている楽曲の演奏制御を指示する複数のイベントと各イベントの実行タイミングを指定するタイミングデータとを含む楽曲データ中のタイミングデータによって定まる時刻に前記イベントを出力するイベント出力手段と、
与えられたイベントを自動演奏手段に供給するコントローラと、
前記イベント出力手段から出力されるイベントを前記コントローラに与えるタイミングを調整するタイミング調整手段であって、前記タイムコード変換手段から出力される楽音用タイムコードに対応した時刻と前記計時手段の計時結果に対応した時刻との時間差に基づいて前記タイミングを調整するタイミング調整手段とを具備し、
前記コントローラは、
前記マスター装置から出力されてくる前記オーディオデータを記憶手段に記憶する手段と、
前記第２の記憶媒体に記録されている基準ピッチに関する情報を取得する一方、前記自動演奏手段の基準ピッチを検出し、両者の基準ピッチの音程差を求める手段と、
前記タイミング調整手段によって調整されたタイミングで与えられたイベントを前記自動演奏手段に供給すると共に、前記記憶手段に記憶されたオーディオデータを、求められた音程差に応じた読み出し速度で読み出し、読み出したオーディオデータを音として出力するための制御を行う手段とを具備する
ことを特徴とするマルチメディアシステム。 - 前記スレーブ装置は、
楽器の操作状態を検出する検出手段から該操作状態を取得し、取得した該操作状態に応じて楽曲の演奏制御を指示するイベントを生成するイベント生成手段と、
前記イベント生成手段によって前記イベントが生成された場合、前記計時手段による計時結果に対応した時刻に基づいて当該イベントの実行タイミングを指定するタイミングデータを生成するタイミングデータ生成手段と、
前記記録情報に含まれるオーディオデータの基準ピッチを取得する取得手段と、
前記イベント生成手段によって生成された複数のイベントと、前記タイミングデータ調整手段によって調整されたタイミングデータとを含む前記楽曲データと、前記取得手段によって取得された基準ピッチに関する情報とを前記第２の記憶媒体に書き込む書き込み手段と
を具備することを特徴とする請求項１記載のマルチメディアシステム。 - 前記スレーブ装置は、
楽器の操作状態を検出する検出手段から該操作状態を取得し、取得した該操作状態に応じて楽曲の演奏制御を指示するイベントを生成するイベント生成手段と、
前記タイムコード変換手段から出力される楽音用タイムコードに対応した時刻と前記計時手段による計時結果に対応した時刻との時間差に基づいて、前記計時結果に対応した時刻を調整する計時時刻調整手段と、
前記イベント生成手段によって前記イベントが生成された場合、前記計時時刻調整手段によって調整された時刻に基づいて当該イベントの実行タイミングを指定するタイミングデータを生成するタイミングデータ生成手段と、
前記記録情報に含まれるオーディオデータの基準ピッチを取得する取得手段と、
前記イベント生成手段によって生成されたイベントと、前記タイミングデータ生成手段によって生成されたタイミングデータとを含む楽曲データと、前記取得手段によって取得された基準ピッチに関する情報とを前記第２の記憶媒体に書き込む書き込み手段と
を具備することを特徴とする請求項１記載のマルチメディアシステム。 - 映像データと当該映像データの記録開始からの経過時間を表す一連の映像用タイムコードとオーディオデータとを含む記録情報の再生に同期して記憶媒体に記録されている楽曲データの再生を行う再生装置であって、
前記記録情報中の映像用タイムコードを楽音用タイムコードに変換するタイムコード変換手段から楽音用タイムコードを受信する受信手段と、
クロックをカウントすることにより計時を行う計時手段と、
前記計時手段による計時結果に基づいて、前記記憶媒体に記録されている楽曲の演奏制御を指示する複数のイベントと各イベントの実行タイミングを指定するタイミングデータとを含む楽曲データ中のタイミングデータによって定まる時刻に前記イベントを出力するイベント出力手段と、
与えられたイベントを自動演奏手段に供給するコントローラと、
前記イベント出力手段から出力されるイベントを前記コントローラに与えるタイミングを調整するタイミング調整手段であって、前記受信手段によって受信される楽音用タイムコードに対応した時刻と前記計時手段の計時結果に対応した時刻との時間差に基づいて前記タイミングを調整するタイミング調整手段とを具備し、
前記コントローラは、
前記記録情報中の前記オーディオデータを記憶手段に記憶する手段と、
前記記憶媒体に記録されている基準ピッチに関する情報を取得する一方、前記自動演奏手段の基準ピッチを検出し、両者の基準ピッチの音程差を求める手段と、
前記タイミング調整手段によって調整されたタイミングで与えられたイベントを前記自動演奏手段に供給すると共に、前記記憶手段に記憶されたオーディオデータを、求められた音程差に応じた読み出し速度で読み出し、読み出したオーディオデータを音として出力するための制御を行う手段とを具備する
ことを特徴とする再生装置。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002006634A JP3867579B2 (ja) | 2002-01-15 | 2002-01-15 | マルチメディアシステム及び再生装置 |
| US10/339,854 US7897865B2 (en) | 2002-01-15 | 2003-01-10 | Multimedia platform for recording and/or reproducing music synchronously with visual images |
| EP03000880A EP1341153B1 (en) | 2002-01-15 | 2003-01-15 | Multimedia platform for recording and /or reproducing music synchronously with visual images |
| CNB03136683XA CN100339908C (zh) | 2002-01-15 | 2003-01-15 | 用于与可视图像同步记录和/或再现音乐的多媒体平台 |
| US11/860,443 US8378199B2 (en) | 2002-01-15 | 2007-09-24 | Multimedia platform for recording and/or reproducing music synchronously with visual images |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002006634A JP3867579B2 (ja) | 2002-01-15 | 2002-01-15 | マルチメディアシステム及び再生装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003208164A JP2003208164A (ja) | 2003-07-25 |
| JP3867579B2 true JP3867579B2 (ja) | 2007-01-10 |
Family
ID=27645346
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002006634A Expired - Fee Related JP3867579B2 (ja) | 2002-01-15 | 2002-01-15 | マルチメディアシステム及び再生装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3867579B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012093497A1 (ja) | 2011-01-07 | 2012-07-12 | ヤマハ株式会社 | 自動演奏装置 |
-
2002
- 2002-01-15 JP JP2002006634A patent/JP3867579B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012093497A1 (ja) | 2011-01-07 | 2012-07-12 | ヤマハ株式会社 | 自動演奏装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003208164A (ja) | 2003-07-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4403658B2 (ja) | 楽曲データ出力装置及び楽曲データ出力方法 | |
| US7897865B2 (en) | Multimedia platform for recording and/or reproducing music synchronously with visual images | |
| JP5103980B2 (ja) | 処理システム、音声再生装置及びプログラム | |
| JP5733321B2 (ja) | 自動演奏装置 | |
| JP3835324B2 (ja) | 楽曲再生装置 | |
| JP3885587B2 (ja) | 演奏制御装置及び演奏制御用プログラム、並びに記録媒体 | |
| JP2004233698A (ja) | 音楽支援装置、音楽支援サーバ、音楽支援方法およびプログラム | |
| JP4539594B2 (ja) | 再生録音装置 | |
| JP3915517B2 (ja) | マルチメディアシステム、再生装置及び再生記録装置 | |
| JP3867580B2 (ja) | 楽曲再生装置 | |
| JP4110807B2 (ja) | 同期調整装置および同期調整方法を実現するためのプログラム | |
| JP3867579B2 (ja) | マルチメディアシステム及び再生装置 | |
| JP2018040825A (ja) | 自動演奏装置、自動演奏方法、プログラムおよび電子楽器 | |
| JPH1031495A (ja) | カラオケ装置 | |
| JP2022191521A (ja) | 録音再生装置、録音再生装置の制御方法及び制御プログラム並びに電子楽器 | |
| JP2005274851A (ja) | 電子音楽装置および同装置に適用されるコンピュータプログラム | |
| JP3804536B2 (ja) | 楽音再生記録装置、記録装置及び記録方法 | |
| JP3925349B2 (ja) | 音声データと演奏データの同期再生を行うための装置および方法 | |
| JP5109426B2 (ja) | 電子楽器及びプログラム | |
| JP5338312B2 (ja) | 自動演奏同期装置、自動演奏鍵盤楽器およびプログラム | |
| JP5060341B2 (ja) | 同期再生装置、楽曲自動リミックスシステム、同期再生方法および同期再生プログラム | |
| JP2004302011A (ja) | 指揮棒の振りタイミングに同期させて演奏する装置 | |
| JP3969249B2 (ja) | 音声データと演奏データの同期再生を行うための装置および方法 | |
| KR102524870B1 (ko) | 미디 음악 기반의 안무 영상 콘텐츠 서비스 장치 및 방법과, 이를 기록한 컴퓨팅 장치에 의해 판독 가능한 기록매체 | |
| JP4905207B2 (ja) | 再生装置及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040805 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060421 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060516 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060718 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060919 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061002 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3867579 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313532 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101020 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101020 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111020 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111020 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121020 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121020 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131020 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |