JP3915517B2 - Multimedia system, playback apparatus and playback recording apparatus - Google Patents
Multimedia system, playback apparatus and playback recording apparatus Download PDFInfo
- Publication number
- JP3915517B2 JP3915517B2 JP2002007871A JP2002007871A JP3915517B2 JP 3915517 B2 JP3915517 B2 JP 3915517B2 JP 2002007871 A JP2002007871 A JP 2002007871A JP 2002007871 A JP2002007871 A JP 2002007871A JP 3915517 B2 JP3915517 B2 JP 3915517B2
- Authority
- JP
- Japan
- Prior art keywords
- time
- data
- music
- video
- recording
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Signal Processing For Digital Recording And Reproducing (AREA)
- Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
- Electrophonic Musical Instruments (AREA)
- Television Signal Processing For Recording (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、映像データの再生若しくは映像データの記録に同期して、楽曲データの再生若しくは記録等を行うマルチメディアシステム、再生装置及び再生記録装置に関する。
【０００２】
【発明が解決しようとする課題】
近年、ピアノ演奏等の楽器演奏を嗜好するユーザ達の間では、コンサート会場等の風景に応じた映像データを記録したビデオテープ（以下、ＶＴ）及び該映像に応じた楽曲データ（例えば、オーケストラ演奏に応じた楽曲データ等）を記録した光ディスク（以下、ＣＤ）を、それぞれビデオカメラ及びＣＤプレーヤ等によって同期再生する一方、ユーザは該映像データの再生によって表示される映像を見ながら、あるいは楽曲データの再生によって発音されるオーケストラ演奏音等を聴きながら自動ピアノ等を演奏し、演奏に応じた楽曲データ（例えば、ＭＩＤＩ（Musical Instruments Digital Interface）規格に準拠したデータ）をフロッピーディスク（以下、ＦＤ）等の記憶媒体に記録し、後にこれら全てのデータを同期再生することで演奏の妙を楽しみたいとの要望がある。また、ユーザは、上記ＣＤの再生により奏でられるオーケストラ演奏を聴きながら自動ピアノ等を演奏し、演奏に応じた楽曲データをＦＤ記録すると共に、かかる演奏風景をビデオカメラによって記録し、後にこれら全てのデータを同期再生することで演奏の妙を楽しみたいとの要望等もある。
しかしながら、かかる要望に応えるマルチメディアシステムは、未だ提供されていないのが現状である。
【０００３】
本発明は、以上説明した事情を鑑みてなされたものであり、映像データの再生若しくは映像データの記録に同期して、複数の楽曲データの再生若しくは記録を行うことが可能なマルチメディアシステム、再生装置及び再生記録装置を提供することを目的とする。
【０００４】
【課題を解決するための手段】
この発明は、映像データと当該映像データの記録開始からの経過時間を表す一連の映像用タイムコードとを含む記録情報を第１の記憶媒体から読み出し、当該記録情報中の映像データを再生するマスター装置と、前記マスター装置による前記映像データの再生に同期して記憶手段に格納されている第１の楽曲データの再生及び第２の記憶媒体に記録されている第２の楽曲データの再生を行うスレーブ装置とを具備するマルチメディアシステムであって、前記スレーブ装置は、前記記録情報中の映像用タイムコードを取得し、当該映像用タイムコードを楽音用タイムコードに変換するタイムコード変換手段と、クロックをカウントすることにより計時を行う計時手段と、前記計時手段による計時結果に基づいて、前記記憶手段に格納されている楽曲を表す第１のオーディオデータと当該楽曲の開始からの経過時間を表す一連のタイムコードとを含む第１の楽曲データ中のタイムコードによって定まる時刻に前記第１のオーディオデータを読み出し、音として出力するための制御を行うオーディオデータ再生制御手段と、前記計時手段による計時結果に基づいて、前記第２の記憶媒体に記録されている楽曲の演奏制御を指示する複数のイベントと、これらイベントのうち時間的に前後した２つのイベント間の時間差であるデルタタイムとを含む前記第２の楽曲データ中の、当該デルタタイムによって定まる時刻が到来する度に前記イベントを出力するイベント出力手段と、前記イベント出力手段から出力されてくる前記イベントを自動演奏手段に供給する自動演奏制御手段と、前記第１のオーディオデータの読み出しタイミングを、前記タイムコード変換手段から出力される楽音用タイムコードに対応した時刻と前記計時手段の計時結果に対応した時刻との時間差に基づいて調整する第１のタイミング調整手段と、前記イベントが前記イベント出力手段から前記自動演奏制御手段へ出力されるタイミングを、前記タイムコード変換手段から出力される楽音用タイムコードに対応した時刻と前記計時手段の計時結果に対応した時刻との時間差に基づいて調整する第２のタイミング調整手段であって、前記時間差が所定の許容範囲を超えている場合には、当該時間差に対応する時間を前記デルタタイムに加算又は減算することで、前記イベント出力手段によってイベントが出力される前記タイミングを調整する第２のタイミング調整手段とを具備することを特徴とする。
【０００５】
かかる構成によれば、記憶手段に格納さている第１のオーディオデータの読み出しタイミングが、前記タイムコード変換手段から出力される楽音用タイムコードに対応した時刻と前記計時手段の計時結果に対応した時刻との時間差に基づいて調整される一方、第２の記憶媒体から読み出されたイベントが自動演奏に用いられるタイミングが、前記楽音用タイムコードに対応した時刻と前記計時手段の計時結果に対応した時刻との時間差に基づいて調整される。この調整により、マスター装置による映像データの再生とスレーブ装置による第１の楽曲データの再生及び第２の記憶媒体に記録されている第２の楽曲データの再生の時間的なずれが抑えられる。
【０００６】
また、この発明は、映像データと当該映像データの記録開始からの経過時間を表す一連の映像用タイムコードとを含む記録情報を第１の記憶媒体から読み出し、当該記録情報中の映像データを再生するマスター装置と、前記マスター装置による前記映像データの再生に同期して記憶手段に格納されている第１の楽曲データの再生及び第２の楽曲データの記録を行うスレーブ装置とを具備するマルチメディアシステムであって、前記スレーブ装置は、前記記録情報中の映像用タイムコードを取得し、当該映像用タイムコードを楽音用タイムコードに変換するタイムコード変換手段と、クロックをカウントすることにより計時を行う計時手段と、前記計時手段による計時結果に基づいて、前記記憶手段に格納されている楽曲を表す第１のオーディオデータと当該楽曲の開始からの経過時間を表す一連のタイムコードとを含む第１の楽曲データ中のタイムコードによって定まる時刻に前記第１のオーディオデータを読み出し、音として出力するための制御を行うオーディオデータ再生制御手段と、前記第１のオーディオデータの読み出しタイミングを、前記タイムコード変換手段から出力される楽音用タイムコードに対応した時刻と前記計時手段の計時結果に対応した時刻との時間差に基づいて調整するタイミング調整手段と、楽器の操作状態を検出する検出手段から該操作状態を取得し、取得した該操作状態に応じて楽曲の演奏制御を指示するイベントを生成するイベント生成手段と、前記イベント生成手段によって前記イベントが生成された場合、前記計時手段による計時結果に対応した時刻に基づいて、時間的に前後した２つのイベント間の時間差であるデルタタイムによって各イベントの実行タイミングを指定するタイミングデータを生成するタイミングデータ生成手段と、前記タイムコード変換手段から出力される楽音用タイムコードに対応した時刻と、前記計時手段による計時結果に対応した時刻との時間差が所定の許容範囲を超えている場合には、当該時間差に対応する時間を前記デルタタイムに加算又は減算することで、前記タイミングデータを調整するタイミングデータ調整手段と、前記イベント生成手段によって生成された複数のイベントと前記タイミングデータ調整手段によって調整されたタイミングデータとを含む前記第２の楽曲データを第２の記憶媒体に書き込む書き込み手段とを具備することを特徴とする。
【０００７】
かかる構成によれば、第２の記憶媒体に書き込まれる演奏制御を指示するイベントの実行タイミングを指定するタイミングデータが、タイムコード変換手段出力される楽音用タイムコードに対応した時刻と計時手段の計時結果に対応した時刻との時間差に基づいて調整される。この調整により、マスター装置による映像データの再生とスレーブ装置による記憶手段に格納されている第１の楽曲データの再生及び第２の楽曲データの記録の時間的なずれが抑えられる。
【００１０】
【発明の実施の形態】
Ａ．第１の実施形態
図１はこの発明の第１の実施形態であるマルチメディアシステム６００の構成を示すブロック図である。
本実施形態に係るマルチメディアシステム６００は、以下に詳述するが、同期を保った状態でＶＴに格納されている映像データ、オーディオデータ（以下、ＶＴオーディオデータという）の再生と、ＣＤに格納されているオーディオデータ（以下、ＣＤオーディオデータという）の再生と、ＦＤに対するユーザの演奏に基づくＭＩＤＩデータの記録とが可能なシステムである。
【００１１】
図１において、ビデオカメラ１００は、記録部１１０と、再生部１２０と、操作部１３０とを具備している。
記録部１１０は、操作部１３０を介して入力される指示に従って演奏風景や種々の演奏音（ユーザと一緒に演奏しているヴァイオリン演奏音等）等を当該ビデオカメラ１００に装着したＶＴに記録する役割を担っている。かかる記録部１１０は、映像風景を映像データとしてＶＴの映像トラックに記録する録画手段１１１と、演奏音をＶＴオーディオデータとしてＶＴの楽音トラックに記録する録音手段１１２と、ＶＴに対して映像データの記録開始からの経過時間を表す一連の映像用タイムコード（例えば、ＲＣタイムコード等）を付加するタイムコード付加手段１１３とを具備している。
【００１２】
再生部１２０は、操作部１３０を介して入力される指示に従ってＶＴに既に記録されている映像データやＶＴオーディオデータなどの記録情報を再生する役割を担っている。再生部１２０は、操作部１３０を介して再生指示を受け取ると、ＶＴの映像トラックに記録されている映像データを読み出し、これをＬＣＤ（Liquid Crystal Display）、ＣＲＴ（Cathode Ray Tube）等のモニタ１２１に供給し、映像として表示させると共に、ＶＴの楽音トラックに記録されているＶＴオーディオデータを読み出し、後述するコントローラ３へ供給する。さらに、再生部１２０は、映像データ及びＶＴオーディオデータの読み出しに応じてＶＴに付加されている映像用タイムコードを読み出し、これをタイムコード変換器２００へ送出する。なお、本実施形態においては、この映像用タイムコードを出力するビデオカメラ１００がマスターとして機能し、当該ビデオカメラ１００からタイムコード変換器２００を介して楽音用タイムコードを受け取る種々の装置（ＦＤ記録装置８等）がスレーブとして機能する。
【００１３】
タイムコード変換器２００は、例えばケーブル等によってビデオカメラ１００に接続され、該ビデオカメラ１００から順次供給される映像用タイムコードを楽音用タイムコード（ＭＩＤＩタイムコード；以下、適宜、ＭＴＣという）に変換し、変換後のＭＴＣをコントローラ３へ供給する。
【００１４】
ＣＤ駆動装置１は、コントローラ３からの指令に従い、装着されたＣＤから楽曲データを読み出して出力する装置である。ＣＤ駆動装置１は、装着されたＣＤを通常再生する場合（すなわち、上述したようにＶＴ等と同期して再生しない場合）、ＣＤから読み出した楽曲データをＤＳＰ２に出力する。ＤＳＰ２は、ＣＤ駆動装置１から読み出された楽曲データ中のＣＤオーディオデータからアナログオーディオ信号を生成し、ミキサ５に送り、音として出力させる。一方、ＣＤ駆動装置１は、装着されたＣＤをＶＴ等と同期して再生する場合、コントローラ３による制御の下、当該再生に先立ってＣＤに格納されている楽曲データをＤＳＰ２、コントローラ３を介してハードディスク（以下、ＨＤ）に転送する。なお、詳細は後述することとし、説明を続ける。
【００１５】
さて、かかるＣＤ駆動装置１には、様々なＣＤが装着され得る。これらのＣＤのうち本発明と最も関連性の強いのは楽曲データであるＣＤオーディオデータを主要な記録データとするＣＤである。図２に示すように、楽曲データは、ある楽曲のオーケストラ演奏や歌唱に伴って発生したオーディオ信号の符号化データ列（ＣＤオーディオデータ）を含んでいる。また、この楽曲データにはタイムコード（以下、適宜、ＣＤタイムコードという）が離散的に挿入されている。これらのＣＤタイムコードは、楽曲の開始からの経過時間を示すコードである。このようなデータとは種類の異なったデータが記録されたＣＤもＣＤ駆動装置１に装着され得る。例えば、ＬチャネルデータとしてＣＤオーディオデータが記録され、Ｒチャネルデータとして自動演奏制御のためのＭＩＤＩデータが記録されたＣＤがＣＤ駆動装置１に装着され得る。また、逆にＲチャネルデータとしてＣＤオーディオデータが記録され、Ｌチャネルデータとして自動演奏制御のためのＭＩＤＩデータが記録されたＣＤがＣＤ駆動装置１に装着されることもある。
【００１６】
ＤＳＰ２は、上述したように、通常再生する場合、ＣＤ駆動装置１から読み出された楽曲データ中のＣＤオーディオデータからアナログオーディオ信号を生成し、ミキサ５に送り、音として出力させる一方、ＶＴ等と同期して再生する場合、ＣＤ駆動装置１から読み出された楽曲データをコントローラ３に出力する。また、ＤＳＰ２は、再生時にＣＤ駆動装置１によって読み出されたＣＤを識別するための識別情報（以下、適宜、Ｃ−ＩＤという）を該ＣＤ駆動装置１から取得し、これをコントローラ３へ送出する。なお、本実施形態では、ＤＳＰ２が再生時にＣＤ駆動装置１から選択されたＣＤを識別するための識別情報（Ｃ−ＩＤ）のみを取得する場合について説明するが、ＣＤを識別するための識別情報のみならず、かかるＣＤに記録されている複数の楽曲データのうち、再生すべき指示のあった楽曲データを識別するための識別情報を取得するようにしても良い。
【００１７】
一方、コントローラ３は、操作部４を介して与えられる指示に従って、このシステム全体の制御を行う。コントローラ３によって行われる各種の制御のうち本発明と最も関連が深いのは、ビデオカメラ１００による映像データの再生に同期して、ＣＤからＣＤ駆動装置１、ＤＳＰ２、コントローラ３を介してＨＤに転送されたＣＤオーディオデータを含む楽曲データの再生及びユーザによるピアノ演奏音を記録（以下、同期再生記録という）する場合の再生・記録制御である。このコントローラ３は、タイムコード変換器２００からＭＴＣを受け取る度に、そのタイムコード（ＭＴＣ）をＦＤ記録装置８に送ると共に、かかるＭＴＣに基づいてＨＤに格納されている再生すべきＣＤオーディオデータの読み出しを制御する（詳細は後述）。また、コントローラ３は、ＭＩＤＩイベント生成回路１４からＭＩＤＩイベント等（後述）を受け取ると、このＭＩＤＩイベント等をＦＤ記録装置８に送る。さらに、コントローラ３は、ビデオカメラ１００から供給されるＶＴオーディオデータに基づいてアナログオーディオ信号を生成してミキサ５に送る。
【００１８】
ここで、図３は、ＣＤオーディオデータの読み出しを制御するコントローラ３の機能を説明するためのブロック図である。
コントローラ３は、クロック生成手段２１０と、計時手段２１１と、経過時間調整手段２１２と、ＣＤオーディオデータ再生制御手段２１３とを備えている。クロック生成手段２１０は、水晶振動子とアンプとにより構成された発振回路（いずれも図示略）を備えている。このクロック生成手段２１０は、発振回路から出力される発信信号を適宜分周してタイミング制御用の各種のクロック（本発明に特に関連の深いクロックは、テンポクロックＣＴである）を発生する手段である。クロック発生手段２１０は、このように生成したテンポクロックＣＴを制御回路の計時手段２１１に順次供給する。
【００１９】
計時手段２１１は、加算器２１１ａ及び経過時間レジスタ２１１ｂによって構成され、この加算器２１１ａ及び経過時間レジスタ２１１ｂによりテンポクロックＣＴが与えられるたびに「＋１」の加算を行う累算器が構成される。加算器２１１ａ、経過時間レジスタ２１１ｂの格納データと固定値「＋１」とを加算して出力する。経過時間レジスタ２１１ｂには、同期記録が開始されたとき初期値「０」が書き込まれ、以後、当該経過時間レジスタ２１１ｂにテンポクロックＣＴが与えられる度に、加算器２１１ａの出力データ、すなわち当該時点における経過時間レジスタ２１１ｂの格納データと「＋１」との加算結果が書き込まれる。この経過時間レジスタ２１１ｂの出力データＮは、同期再生記録開始以後の経過時間を表す経過時間データとして利用される。
【００２０】
経過時間調整手段２１２は、計時手段２１１によって計時された時刻とタイムコード変換器２００から供給されるＭＴＣに示される時刻との間に生じたずれに応じて経過時間レジスタ２１１ｂ内の経過時間データＮを調整する処理（経過時間調整処理）を実行する手段である。ここで、図４は、経過時間調整処理を示すフローチャートである。
経過時間調整手段２１２は、ステップＳ１において、タイムコード変換器２００から「０」より大きなＭＴＣが与えられると、これを第１の記録時間データＴＣＤとし、ステップＳ２に進む。経過時間調整手段２１２は、ステップＳ２に進むと、計時手段２１１から当該時点における経過時間データＮを取得し、取得した経過時間データＮにテンポクロックＣＴの周期τを乗算し、第２の記録時間データＴＦＤ（＝Ｎ＊τ）を求める。この第２の記録時間データＴＦＤは、同期再生記録を開始してから現在に至るまでの経過時間を表している。次に、経過時間調整手段２１２は、第１の記録時間データＴＣＤと第２の記録時間データＴＦＤの差分の絶対値｜ＴＣＤ−ＴＦＤ｜が予め設定された所定の許容範囲Δに収まっているか否かを判断する（ステップＳ３）。
【００２１】
経過時間調整手段２１２は、第１の記録時間データＴＣＤと第２の記録時間データＴＦＤの差分の絶対値｜ＴＣＤ−ＴＦＤ｜が予め設定された所定の許容範囲Δに収まっているか否かを判断する（ステップＳ３）。経過時間調整手段２１２は、第１の記録時間データＴＣＤと第２の記録時間データＴＦＤとの差分の絶対値が所定の許容範囲Δに収まっていると判断すると（ステップＳ３；ＹＥＳ）、経過時間レジスタ２１１ｂ内の経過時間データＮを調整することなく、経過時間調整処理を終了する。
【００２２】
一方、経過時間調整手段２１２は、第１の記録時間データＴＣＤと第２の記録時間データＴＦＤの差分の絶対値｜ＴＣＤ−ＴＦＤ｜が所定の許容範囲Δを越えていると判断すると、第１の記録時間データＴＣＤが第２の記録時間データＴＦＤよりも大きいかどうかを判断する（ステップＳ５）。第１の記録時間データＴＣＤが第２の記録時間データＴＦＤよりも大きい場合、計時手段２１１によって計時されている時刻は、タイムコード変換器２００から供給されるＭＴＣに示される時刻よりも遅れているといえる。経過時間調整手段２１２は、第１の記録時間データＴＣＤが第２の記録時間データＴＦＤよりも大きいと判断すると（ステップＳ５；ＹＥＳ）、計時手段２１１によって計時されている時刻とＭＴＣに示される時刻の差分の絶対値｜ＴＣＤ−ＴＦＤ｜（＞０）をテンポクロックＣＴの周期τによって除算し、この除算結果｜ＴＣＤ−ＴＦＤ｜／τを、経過時間レジスタ２１１ｂ内の経過時間データＮに加算し、加算後の経過時間データＮを経過時間レジスタ２１１ｂに書き込み（ステップＳ６）、経過時間調整処理を終了する。
【００２３】
一方、第１の記録時間データＴＣＤが第２の記録時間データよりも小さい場合、計時手段２１１によって計時されている時刻は、タイムコード変換器２００から供給されるＭＴＣに示される時刻よりも進んでいるといえる。経過時間調整手段２１２は、第１の記録時間データＴＣＤが第２の記録時間データＴＦＤよりも小さいと判断すると（ステップＳ５；ＮＯ）、計時手段２１１によって計時されている時刻とＭＴＣに示される時刻の差分の絶対値｜ＴＣＤ−ＴＦＤ｜（＞０）をテンポクロックＣＴの周期τによって除算し、この除算結果｜ＴＣＤ−ＴＦＤ｜／τを、経過時間レジスタ２１１ｂ内の経過時間データＮから減算し、減算後の経過時間データＮを経過時間レジスタ２１１ｂに書き込み（ステップＳ７）、経過時間調整処理を終了する。
【００２４】
ＣＤオーディオデータ再生制御手段２１３は、ＨＤに格納されているＣＤオーディオデータを含む楽曲データの再生を制御する手段であり、ＨＤ読み出し制御手段２１３ａと、オーディオ信号生成手段２１３ｂとを備えている。
ＨＤ読み出し制御手段２１３ａは、ＨＤに格納されている楽曲データ中のＣＤタイムコードと経過時間レジスタ２１１ｂに格納されている経過時間データＮとを比較し、楽曲データ中のＣＤオーディオデータの読み出しを制御する。詳述すると、ＨＤ読み出し制御手段２１３ａは、経過時間データＮが楽曲データ中の各ＣＤタイムコードに示される時刻に到達する度、対応するＣＤオーディオデータの読み出し、これをオーディオ信号生成手段２１３ｂへ順次供給する。
オーディオ信号生成手段２１３ｂは、ＨＤ読み出し制御手段２１３ａから供給されるＣＤオーディオデータに基づいてアナログオーディオ信号を生成し、ミキサ５に送る。
以上の説明から明らかなように、ＨＤに格納されているＣＤオーディオデータの再生は、コントローラ３によりタイムコード変換器２００から出力される楽音用タイムコード（ＭＴＣ）に基づいて制御される。
【００２５】
再び図１に戻り、自動ピアノ１０は、ユーザによる鍵操作に応じて打弦により機械的なピアノ音を発生する楽音発生機構を備えるほか、ユーザによる鍵操作を検出し、検出結果に応じて電子的なピアノ音を発生する楽音発生機構も備えている。かかる自動ピアノ１０は、ピアノ１１と、キーセンサ１２と、ペダルセンサ１３と、ＭＩＤＩイベント生成回路１４と、ピアノ音源１５と、アンサンブル音源１８とを有している。なお、図１では、ピアノ音源１５等を利用して電子的な楽音を発音する自動ピアノ１０（いわゆる、消音型自動ピアノ）を例示しているが、その他にも後述する第２の実施形態に係る自動ピアノ２０（図１０参照）のように、鍵やペダルの操作指示に従って鍵やペダルを駆動する駆動ソレノイド群を利用し、打弦等による機械的な楽音を発音する自動ピアノなど、あらゆる自動ピアノに適用することができるのは勿論である。
キーセンサ１２及びペダルセンサ１３は、それぞれピアノ１１に配設された複数の鍵及び複数のペダル（ソステヌートペダル等）の各々に対応して設けられ、鍵及びペダルを押したときの強さ、深さなどを検出し、検出した鍵若しくはペダルを特定するキー番号若しくはペダル番号、ベロシティー情報（押鍵強度等に対応したデータ）等を含む検出結果をＭＩＤＩイベント生成回路１４に供給する。
【００２６】
ＭＩＤＩイベント生成回路１４は、コントローラ３による制御の下、キーセンサ１２及びペダルセンサ１３から供給される検出結果に基づいてＭＩＤＩイベントを生成する。ここで、ＭＩＤＩイベントは、発音又は消音すべき旨を示すノートオン・ノートオフ情報と、発音すべき音の高さを示すノートナンバ情報と、発音の強弱を示すベロシティ情報等によって構成されている。ＭＩＤＩイベント生成回路１４は、上記検出信号に基づいて、例えば「ドの音（ノートナンバ）を強さ１０（ベロシティ）で発音（ノートオン）せよ」といった演奏制御を指示するイベントの一種であるＭＩＤＩイベントを生成し、かかるＭＩＤＩイベントをコントローラ３及びピアノ音源１５に供給する。
【００２７】
ピアノ音源１５は、ＭＩＤＩイベント生成回路１４から供給されるイベントにより指示されたピアノ音のアナログオーディオ信号を電子的に生成する装置である。このピアノ音源１５により生成されたアナログオーディオ信号は、ミキサ５へ出力される。
アンサンブル音源１８は、コントローラ３からイベントを受け取り、そのイベントに従ってデジタル楽音信号を生成する装置である。このアンサンブル音源１８により生成されたデジタル楽音信号はコントローラ３によってアナログ楽音信号に変換され、ミキサ５に送られる。
ミキサ５は、コントローラ３、ピアノ音源１５、アンサンブル音源１８から出力される各アナログ信号を混合して出力する装置である。このミキサ５の出力信号は、アンプ６によって増幅され、スピーカ７から音として出力される。
【００２８】
ＦＤ記録装置８は、ビデオカメラ１００による映像データの再生及びコントローラ３等によるＣＤオーディオデータ等の再生に併せてユーザが自動ピアノ１０を演奏したときの演奏音をＦＤに記録する装置であり、コントローラ３による制御の下、再生されたＶＴを識別するための識別情報（Ｖ−ＩＤ）及び再生されたＣＤを識別するための識別情報（Ｃ−ＩＤ）、ＭＩＤＩイベント等を含むＳＭＦ(Standard MIDI File)を作成する機能を有している。ここで、ＳＭＦは、図５に示すように、ヘッダチャンクＨＴとトラックチャンクＴＴによって構成されている。ヘッダチャンクＨＴには、ＳＭＦの基本的な情報（チャンクタイプ等）が格納されるほか、Ｖ−ＩＤ、Ｃ−ＩＤなどの同期記録の際に再生されたＶＴ、ＣＤを識別するための識別情報が格納される。トラックチャンクＴＴには、ＭＩＤＩデータが格納される。ＭＩＤＩデータは、同図に示すように、演奏制御等を指示するイベントと、先行するイベントと後発のイベントとの発生時間間隔を示すデルタタイムからなる時系列の楽曲データである。ここで、ＭＩＤＩデータを構成するイベントは、ＭＩＤＩイベント生成回路１４において生成されるＭＩＤＩイベントや、コントローラ３において生成されるSysExイベント、メタイベントによって構成されている。
【００２９】
かかるＳＭＦの作成・記録を行うＦＤ記録装置８は、コントローラ３から同期記録の開始指令を受け取ると、後述する計時手段を用いて時刻の計時を開始する。そして、ＦＤ記録装置８は、コントローラ３からイベントを受け取る毎に、計時手段によって計時された時刻等を参照してデルタタイムを求め、イベントとデルタタイムからなるＭＩＤＩデータを順次作成する。ここで、本実施形態に係るＦＤ記録装置８は、ビデオカメラ１００による映像データの再生及びコントローラ３等によるＣＤオーディオデータの再生に同期して自動ピアノ１０の演奏音を記録すべく、計時手段によって計時された時刻とコントローラ３から供給されるＭＴＣに示される時刻との間に生じたずれに応じて、先行するイベントと後発のイベントとの発生時間間隔を示すデルタタイムの値を適宜調整する機能を備えている。以下、かかる種々の機能を備えたＦＤ記録装置８の構成について、図６を参照しながら説明する。
【００３０】
図６は、ＦＤ記録装置８に設けられた制御回路の構成を説明するためのブロック図である。この図６に示された制御回路は、上述したＳＭＦを作成し、これをＦＤに記録する機能と、計時手段２２０によって計時された時刻とタイムコード変換器２００からコントローラ３を介して供給されるＭＴＣに示される時刻との間に生じたずれを補正する機能とを営むものである。
【００３１】
計時手段２２０は、前述したコントローラ３の計時手段２１１（図３参照）と同様の構成を有しており、加算器２２１及び経過時間レジスタ２２２によりテンポクロックＣＴが与えられるたびに「＋１」の加算を行う累算器が構成される。加算器２２１は、経過時間レジスタ２２２の格納データと固定値「＋１」とを加算して出力する。経過時間レジスタ２２２には、同期再生記録が開始されたとき初期値「０」が書き込まれ、以後、当該経過時間レジスタ２２２にテンポクロックＣＴが与えられる度に、加算器２２１の出力データ、すなわち当該時点における経過時間レジスタ２２２の格納データと「＋１」との加算結果が書き込まれる。この経過時間レジスタ２２２の出力データＮは、同期記録開始以後の経過時間を表す経過時間データとして利用される。
【００３２】
ＳＭＦ作成・書き込み制御手段２５０は、コントローラ３による制御の下、ＳＭＦを作成する機能や作成したＳＭＦをＦＤ記録装置８に装着されたＦＤに書き込む機能などを備えている。このＳＭＦ作成・書き込み制御手段２５０は、ＭＩＤＩイベント生成回路１４等によって生成された種々のイベント（ＭＩＤＩイベント等）をコントローラ３から受け取ると、デルタタイム生成手段２４０にデルタタイムを生成すべき指令を送る。
【００３３】
デルタタイム生成手段２４０は、デルタタイムを生成すべき指令を受け取ると、デルタタイムを生成し（詳細は後述）、これをＳＭＦ作成・書き込み制御手段２５０に返す。ＳＭＦ作成・書き込み制御手段２５０は、デルタタイム生成手段２４０から受け取ったデルタタイムとコントローラ３から受け取ったイベントによって構成されたＭＩＤＩデータをトラックチャンクＴＴ（図５参照）に格納する一方、コントローラ３から供給される再生されたＶＴ識別するための識別情報（Ｖ−ＩＤ）及び再生されたＣＤを識別するための識別情報（Ｃ−ＩＤ）をヘッダチャンクＨＴ（図５参照）に格納してＳＭＦを作成し、これをＦＤ記録装置２に装着されたＦＤに書き込む。
【００３４】
デルタタイム生成手段２４０は、前回経過時間レジスタ２４１と、補正値レジスタ２４２とを備え、ＳＭＦ作成・書き込み制御手段２５０からの指令に基づき、デルタタイムを生成する。
前回経過時間レジスタ２４１には、前回、ＳＭＦ作成・書き込み制御手段２５０からデルタタイムを生成すべき指令を受け取ったときに計時手段２２０から取得した経過時間データ（便宜上、Ｎｆと記す）が保持される。この前回経過時間レジスタ２４１には、同期再生記録が開始されたとき、初期値「０」が書き込まれる。
【００３５】
補正値レジスタ２４２には、デルタタイム調整手段２３０において生成されるデルタタイムの補正値Ｒが保持される。詳しくは後述するが、本実施形態においては、この補正値Ｒを適宜設定することで、計時手段２２０によって計時された時刻とタイムコード変換器２００からコントローラ３を介して供給されるＭＴＣに示される時刻との間に生じたずれを補正する。この補正値レジスタ２４２には、同期記録が開始されたとき、初期値「０」が書き込まれる。
【００３６】
デルタタイム生成手段２４０は、ＳＭＦ作成・書き込み制御手段２５０からデルタタイムを生成すべき指示を受け取ると、計時手段２２０から経過時間レジスタ２２２に格納されている現時点における経過時間データＮを取得した後、前回経過時間レジスタ２４１に保持されている経過時間データＮｆ（前回、ＳＭＦ作成・書き込み制御手段２５０からデルタタイムを生成すべき指示を受け取ったときに計時手段２２０から取得した経過時間）を読み出し、経過時間データＮから経過時間データＮｆを減算する。そして、デルタタイム生成手段２４０は、補正値レジスタ２４２に保持されているデルタタイムの補正値Ｒを読み出し、この補正値Ｒと上記減算結果Ｎ−Ｎｆとを加算し、加算結果Ｎ−Ｎｆ＋Ｒを調整後のデルタタイムとして、ＳＭＦ作成・書き込み制御手段２５０に返す。そして、デルタタイム生成手段２４０は、前回経過時間レジスタ２４１に格納されている経過時間データを、今回新たに計時手段２２０から取得した経過時間データへ更新する。
【００３７】
デルタタイム調整手段２３０は、ＶＴの再生と同期して記録を行うべく、計時手段２２０によって計時された時刻とコントローラ３から供給されるＭＴＣに示される時刻との間に生じたずれに応じて、先行するイベントと後発のイベントとの発生時間間隔を示すデルタタイムの値を適宜調整する。
【００３８】
図７は、デルタタイム調整手段２３０によって実行されるデルタタイム調整処理を示すフローチャートである。デルタタイム調整手段２３０は、ステップＳａ１において、コントローラ３から「０」より大きなＭＴＣが与えられると、これを第１の記録時間データＴＣＤとし、ステップＳａ２に進む。デルタタイム調整手段２３０は、ステップＳａ２に進むと、計時手段２２０から当該時点における経過時間データＮを取得し、取得した経過時間データＮにテンポクロックＣＴの周期τを乗算し、第２の記録時間データＴＦＤ（＝Ｎ＊τ）を求める。この第２の記録時間データＴＦＤは、同期記録を開始してから現在に至るまでの経過時間を表している。次に、デルタタイム調整手段２３０は、第１の記録時間データＴＣＤと第２の記録時間データＴＦＤの差分の絶対値｜ＴＣＤ−ＴＦＤ｜が予め設定された所定の許容範囲Δに収まっているか否かを判断する（ステップＳａ３）。デルタタイム調整手段２３０は、第１の記録時間データＴＣＤと第２の記録時間データＴＦＤとの差分の絶対値が所定の許容範囲Δに収まっていると判断すると（ステップＳａ３；ＹＥＳ）、デルタタイムの補正値Ｒとして補正値レジスタ２４２に「０」を書き込み（ステップＳａ４）、デルタタイム調整処理を終了する。
【００３９】
一方、デルタタイム調整手段２３０は、第１の記録時間データＴＣＤと第２の記録時間データＴＦＤの差分の絶対値｜ＴＣＤ−ＴＦＤ｜が所定の許容範囲Δを越えていると判断すると、第１の記録時間データＴＣＤが第２の記録時間データＴＦＤよりも大きいかどうかを判断する（ステップＳａ５）。第１の記録時間データＴＣＤが第２の記録時間データＴＦＤよりも大きい場合、計時手段２２０によって計時されている時刻は、コントローラ３から供給されるＭＴＣに示される時刻よりも遅れているといえる。デルタタイム調整手段２３０は、第１の記録時間データＴＣＤが第２の記録時間データＴＦＤよりも大きいと判断すると（ステップＳａ５；ＹＥＳ）、かかる時刻ずれをデルタタイムを減少させることで補正すべく、第２の記録時間データＴＦＤと第１の記録時間データＴＣＤの差分を求め、求めた差分ＴＦＤ−ＴＣＤ（＜０）をテンポクロックＣＴの周期τによって除算し、この除算結果（ＴＦＤ−ＴＣＤ）／τを、デルタタイムの補正値Ｒとして図６に示す補正値レジスタ２４２に書き込み（ステップＳａ６）、デルタタイム調整処理を終了する。なお、この場合、補正値レジスタ２４２に書き込まれるデルタタイムの補正値Ｒは負の値となる。
【００４０】
一方、第１の記録時間データＴＣＤが第２の記録時間データＴＦＤよりも小さい場合、計時手段２２０によって計時されている時刻は、コントローラ３から供給されるＭＴＣに示される時刻よりも進んでいるといえる。デルタタイム調整手段２３０は、第１の記録時間データＴＣＤが第２の記録時間データＴＦＤよりも小さいと判断すると（ステップＳａ５；ＮＯ）、かかる時刻ずれをデルタタイムを増加させることで補正すべく、第２の記録時間データＴＦＤと第１の記録時間データＴＣＤとの差分を求め、求めた差分ＴＦＤ−ＴＣＤ（＞０）をテンポクロックＣＴの周期τによって除算し、この除算結果（ＴＦＤ−ＴＣＤ）／τを、デルタタイムの補正値Ｒとして図６に示す補正値レジスタ２４２に書き込み（ステップＳａ７）、デルタタイム調整処理を終了する。なお、この場合、補正値レジスタ２４２に書き込まれるデルタタイムの補正値Ｒは正の値となる。
以上が本実施形態に係るマルチメディアシステム６００の詳細である。以下、図８を参照しながら、マルチメディアシステム６００の動作について詳細に説明する。
【００４１】
図８は本実施形態に係るマルチメディアシステム６００の動作を示すタイムチャートである。さらに詳述すると、図８には、あるＶＴに格納された映像データ等の再生に同期して、ＣＤに格納されたＣＤオーディオデータの再生及びユーザのピアノ演奏等に応じた楽曲データの記録を行う場合を例に、ＶＴからタイムコード変換器２００を介して出力される楽音用タイムコード（ＭＴＣ）、ＶＴから読み出される映像データ、ＶＴから読み出され、コントローラ３から出力されるＶＴオーディオデータ、ＨＤから読み出され、コントローラ３から出力されるＣＤオーディオデータ、ＦＤ記録装置８の計時手段２２０による計時時刻、及びＭＩＤＩイベント生成回路１４において生成されるＭＩＤＩイベントＭＥ−ｎ（ｎ＝１、２、〜）が時系列的に示されている。この図８において、ｐ［ｋ］（ｋ＝０、０．２５、０．５、〜）、ｖａ［ｋ］（ｋ＝０、０．２５、０．５、〜）、ｃａ［ｋ］（ｋ＝０、０．２５、０．５、〜）は、それぞれ映像データの再生開始時刻を０秒とした場合に、ｋ秒からｋ＋１秒の区間内の部分の映像データ、ＶＴオーディオデータ、ＣＤオーディオデータである。また、また、ｒ［ｋ］（ｋ＝０、０．２５、０．５、〜）は、映像データの再生開始時刻を０秒とした場合に、ｋ秒経過した時点における計時手段２２０による計時時刻である。ここで、上記楽音用タイムコード（ＭＴＣ）は、本来１ｓｅｃ／３０程度の間隔でタイムコード変換器２００から出力されるが、以下の説明では、便宜上、１ｓｅｃ／４(＝２５０ｍｓｅｃ）の間隔でタイムコード変換器２００からＭＴＣが出力される場合を想定する。
【００４２】
同期再生記録を行う際、ユーザは、まず操作部４等を操作してＶＴの再生と同期して再生すべきＣＤの選択指示及びＦＤに対する記録を待機すべき旨の指令（以下、ポーズ指令という）を入力する。コントローラ３は、操作部４等を介して再生すべきＣＤの選択指示及びポーズ指令を受け取ると、ＣＤの選択指示に従って対応するＣＤに格納されている楽曲データを読み出すべき指示をＣＤ駆動装置１へ送る一方、ポーズ指令をＦＤ記録装置８に転送する。ＣＤ駆動装置１は、コントローラ３の指示に従って、対応するＣＤに格納されている楽曲データを読み出し、これをＤＳＰ２を介してコントローラ３へ送る。コントローラ３は、ＤＳＰ２を介して該楽曲データを受け取ると、これをＨＤに格納する。
【００４３】
その後、ユーザは、ビデオカメラ１１０に再生すべきＶＴを装着し、ビデオカメラ１１０の操作部１３０を操作して映像データ等の再生を開始すべき指令を入力する。かかる指令が入力されると、ビデオカメラ１００の再生部１２０は、ＶＴの映像トラックに記録されている映像データｐ［０］を読み出し、これをモニタ１２１に供給すると共に、ＶＴの楽音トラックに記録されているＶＴオーディオデータｖａ［０］を読み出し、コントローラ３へ供給する。さらに、再生部１２０は、映像データ及びＶＴオーディオデータの読み出しに応じてＶＴに付加されている映像用タイムコード「０」を読み出し、これをタイムコード変換器２００へ送出する。
【００４４】
モニタ１２１は、ビデオカメラ１００から受け取った映像データｐ［０］に従って映像の表示を開始する。一方、コントローラ３は、ビデオカメラ１００からＶＴオーディオデータｖａ［０］を受け取ると共に、タイムコード変換器２００を介して楽音用タイムコード（ＭＴＣ）「０」を受け取ると、ＭＴＣ「０」及びポーズ状態を解除すべき指令（以下、ポーズ解除指令という）をＦＤ記録装置８に送ると共に、ＶＴオーディオデータｖａ［０］からアナログオーディオ信号を生成してミキサ５に出力し、音として出力するための制御を開始し、さらにＭＴＣに基づいてＨＤに格納されているＣＤオーディオデータを含む楽曲データの読み出し制御を開始する。
【００４５】
詳述すると、コントローラ３は、タイムコード変換器２００からＭＴＣ「０」を受け取ると、直ちに計時手段２１１を利用して時刻の計時を開始する。しかし、コントローラ３の経過時間調整手段２１２では、このＭＴＣ「０」を利用した経過時間の調整は行われない。その後、さらに２５０ｍｓｅｃが経過すると、タイムコード変換器２００からＭＴＣ「０．２５」が出力される。このとき、経過時間調整手段２１２では、「０」より大きなＭＴＣが供給されたことから、上述した経過時間の調整が行われる。そして、以後は、ＭＴＣがタイムコード変換器２００から供給される度に、上述した経過時間の調整が行われる。一方、ＣＤオーディオデータ再生制御手段２１３は、この計時手段２１１の経過時間レジスタ２１１ｂに格納されている経過時間データＮとＨＤに格納されている楽曲データ中のＣＤタイムコードとを参照して、当該楽曲データ中のＣＤオーディオデータの読み出し、これを音として出力するための制御を行う。
【００４６】
この結果、ＶＴに格納された映像データの再生指示が発生すると、直ちに当該映像データに対応した映像表示と、ＣＤオーディオデータに対応した音の発生とが同時に開始される。そして、該再生指示が発生してから２５０ｍｓｅｃが経過すると、経過時間調整手段２１２による経過時間の調整が開始される。従って、映像データｐ［ｋ］、ＶＴオーディオデータｖａ［ｋ］及びＣＤオーディオデータｃａ［ｋ］のうち、同期を保った状態で再生されるのは、映像若しくは楽曲の先頭から２５０ｍｓｅｃだけ経過した時点以降のもの、すなわち、ｐ［０．２５］以降の映像データ、ｖａ［０．２５］以降のＶＴオーディオデータ及びｃａ［０．２５］以降のＣＤオーディオデータである。
【００４７】
一方、ＦＤ記録装置８は、コントローラ３からＭＴＣ「０」及びポーズ解除指令を受け取ると、直ちに計時手段２２０を利用して時刻の計時を開始する。しかし、ＦＤ記録装置８内のデルタタイム調整手段２３０では、このＭＴＣ「０」を利用したデルタタイムの調整は行われない。
その後、さらに２５０ｍｓｅｃが経過すると、タイムコード変換器２００からコントローラ３を介してＭＴＣ「０．２５」が出力される。このとき、デルタタイム調整手段２３０では、「０」より大きなＭＴＣが供給されたことから、上述したデルタタイムの調整が行われる。
【００４８】
このように、ＶＴに格納された映像データの再生指示が発生すると、直ちに映像データの再生とＦＤ記録装置８による演奏音の記録が開始される。そして、さらに２５０ｍｓｅｃ経過すると、デルタタイム調整手段２３０は、計時手段２２０によって計時された時刻とコントローラ３から供給されるＭＴＣに示される時刻との間に生じたずれに応じてデルタタイムの調整を開始する。そして、以後は、ＭＴＣがコントローラ３から供給される度に、デルタタイム調整手段２３０は上述したデルタタイムの調整を行う。その後、例えば図８に示すように計時手段２２０による計時時刻ｒ［１．０］、ｒ［１．５］、ｒ［２．０］においてＭＩＤＩイベントＭＥ−１、−２、−３が生成され、各ＭＩＤＩイベントに対応するデルタタイムが生成されると、これらがＳＭＦ作成・書き込み制御手段２５０に供給される。
【００４９】
ＳＭＦ作成・書き込み制御手段２５０は、ＭＩＤＩイベントＭＥ−１、−２、−３及び各ＭＩＤＩイベントに対応するデルタタイムを受け取ると、各ＭＩＤＩイベント及び各デルタタイムを含むＭＩＤＩデータをＳＭＦのトラックチャンクＴＴに格納する。その後、操作部４を介して同期記録を終了すべき指令が入力されると、コントローラ３は、再生されたＶＴを識別するための識別情報（Ｖ−ＩＤ）及び再生されたＣＤを識別するための識別情報（Ｃ−ＩＤ）をＳＭＦ作成・書き込み制御手段２５０ヘ供給する。ＳＭＦ作成・書き込み制御手段２５０は、該識別情報（Ｖ−ＩＤ）及び識別情報（Ｃ−ＩＤ）をヘッダチャンクＨＴ（図５参照）に格納し、該ヘッダチャンクＨＴ及びトラックチャンクＴＴによって構成されたＳＭＦをＦＤ記録装置８に装着されたＦＤに書き込み、処理を終了する。以上の説明から明らかなように、本実施形態の特徴は、タイムコード変換器２００から出力されるＭＴＣに基づいて同期再生記録の時間管理を行う点にある。なお、ＦＤに記録されたＭＩＤＩデータと、ＨＤに格納されているＣＤオーディオデータと、対応するＶＴに格納されている映像データとを同期して再生するマルチメディアシステムの構成、動作等については、第２の実施形態において詳細を明らかにする。
【００５０】
以上説明したように、本実施形態に係るマルチメディアシステム６００によれば、ＶＴの再生に同期して、ＣＤからＨＤへ転送されるＣＤオーディオデータの再生及びＦＤに対するＭＩＤＩデータの記録を行うことが可能となる。
【００５１】
なお、上述した第１の実施形態では、ＶＴの再生に同期して、ＣＤからＨＤへ転送されるＣＤオーディオデータの再生及びＦＤに対するＭＩＤＩデータの記録を行う場合について説明したが、ＶＴの再生ではなく、ＶＴに対する映像データ等の記録に同期して、ＣＤからＨＤへ転送されるＣＤオーディオデータの再生及びＦＤに対するＭＩＤＩデータの記録を行うことも可能である。この場合、ビデオカメラ１００の記録部１１０は、ＶＴに映像データ、ＶＴオーディオデータ、映像用タイムコードを含む記録情報を記録すると共に、該映像用タイムコードを順次タイムコード変換器２００に供給する。タイムコード変換器２００は、順次供給される映像用タイムコードを楽音用タイムコード（ＭＴＣ）に変換し、変換後のＭＴＣをコントローラ３へ供給する。なお、ＶＴに対する映像データ等の記録に同期して、ＣＤからＨＤへ転送されるＣＤオーディオデータを再生し、ＦＤに楽曲データを記録する場合のＭＴＣの出力タイミング、ＦＤに対する楽曲データの記録開始タイミング等については、上述した第１の実施形態とほぼ同様に説明することができるため、省略する。このように、ＶＴに対する映像データ等の記録に同期して、ＣＤからＨＤへ転送されるＣＤオーディオデータを再生し、ＦＤに楽曲データを記録することにより、例えばライブ録画／録音、プロモーション、ショー用の映像付コンテンツを容易に作成することができる。
【００５２】
また、上述した第１の実施形態では、自動ピアノ１０を例に説明したが、例えば弦振動を検出する検出機構を備えた電子バイオリン、操作子（ピストン等）の操作状態等を検出する検出機構を備えた電子トランペット等のあらゆる電子楽器に適用可能である。また、電子楽器のみならず、自然楽器（例えば、バイオリン）であっても、かかる自然楽器の操作状態を検出する機構（例えば、弦振動を検出する検出機構等）を設けることで、上記電子楽器と同様に本発明を適用することができる。また、これら電子楽器等のほか、音楽製作ソフト等がインストールされているＰＣ（Personal Computer）など、ユーザの操作状態を検出し、検出結果に応じてＭＩＤＩイベントの生成を指示することができる様々な電子機器に適用可能である。すなわち、特許請求の範囲に記載の「楽器」とは、ユーザの操作状態を検出し、検出結果に応じてＭＩＤＩイベントの生成を指示することができる様々な機器をいう。
【００５３】
また、上述した第１の実施形態では、ＣＤオーディオデータ等を格納する手段としてＨＤを例示したが、該ＨＤの代わりにＲＡＭ等、種々の記憶手段を用いても良い。このように、ＨＤの代わりにＲＡＭ等を用いた場合には、例えば当該時点において再生すべき箇所よりも少し前の箇所に対応したＣＤオーディオデータを先読みし、これをＲＡＭ等の記憶手段に格納するように制御すれば、ＣＤオーディオデータを記憶する記憶手段としてメモリ容量の小さな記憶手段を用いることができる。
また、上述した第１の実施形態では、ＭＩＤＩデータを記憶する記憶媒体としてＦＤを例に説明したが、例えばＭＯ（Magneto Optical disk）、メモリースティック等あらゆる記憶媒体に適用可能である。ここで、本発明は、例えばビデオカメラ、ＣＤ駆動装置、ＦＤ記録装置、コントローラなど、図１に示す全ての構成要素を含んだ自動ピアノを製造し販売するという態様でも実施され得る。このような自動ピアノによれば、ユーザは、ＶＴに記録された映像データの再生に同期して、ＣＤからＨＤへ転送されるＣＤオーディオデータの再生及びＦＤに対する演奏データ（例えば、ユーザが自動ピアノを演奏することにより得られる演奏データ等）の記録を行うことができる。
【００５４】
＜変形例１＞
上述した第１の実施形態に係るＦＤ記録装置８は、タイムコード変換器２００からコントローラ３を介して出力されるＭＴＣに基づいてデルタタイムを調整することで、計時手段２２０によって計時された時刻とコントローラ３から供給されるＭＴＣに示される時刻との間に生じたずれを抑制した。これに対し、変形例１では、ＶＴからタイムコード変換器２００を介して出力されるＭＴＣに基づいて経過時間レジスタ２２２内の経過時間データＮを調整することで、計時手段２２０によって計時された時刻とコントローラ３から供給されるＭＴＣに示される時刻との間に生じたずれを抑制する。
【００５５】
図９は、変形例１に係るＦＤ記録装置８に設けられた制御回路の構成を説明するためのブロック図であり、図９に示す経過時間調整手段２３０’は、図３に示すコントローラ３の経過時間調整手段２１２に対応する手段である。なお、図９に示す制御回路は、デルタタイム調整手段２３０の代わりに経過時間調整手段２３０’が設けられている点及び補正値レジスタ２４２が除かれている点を除けば、図６に示す制御回路と同様であるため、対応する部分には同一符号を付し、説明を省略する。
【００５６】
経過時間調整手段２３０’は、計時手段２２０によって計時された時刻とコントローラ３から供給されるＭＴＣに示される時刻との間に生じたずれに応じて経過時間レジスタ２２２内の経過時間データＮを調整する手段である。
経過時間調整手段２３０’は、コントローラ３から「０」より大きなＭＴＣが与えられると、コントローラ３の経過時間調整手段２１２と同様、前掲図４に示す経過時間調整処理を実行する。なお、経過時間調整処理については、上述した第１の実施形態において詳細を明らかにしたため、説明を割愛する。
以上説明した本変形例においても上記第１の実施形態と同様の効果が得られる。
【００５７】
Ｂ．第２の実施形態
図１０は、第２の実施形態に係るマルチメディアシステム７００の構成を示す図である。本実施形態に係るマルチメディアシステム７００は、ＶＴの再生に同期して、ＨＤに格納されているＣＤオーディオデータを再生すると共にＦＤに対してＭＩＤＩデータを記録する機能を備えるほか、このようにしてＦＤに記録されたＭＩＤＩデータと、ＨＤに格納されているＣＤオーディオデータと、対応するＶＴに格納されている映像データ等を同期して再生する機能を備えている。なお、図１０に示すマルチメディアシステム７００は、ＦＤ再生装置８ａが設けられている点及び自動ピアノ１０の代わりに自動ピアノ２０が設けられている点を除けば、図１に示すマルチメディアシステム６００とほぼ同様である。従って、対応する部分には同一符号を付し、上記第１の実施形態と重複する部分については説明を割愛する。
【００５８】
コントローラ３は、第１の実施形態において説明した機能を具備するほか、ＦＤとＨＤとＶＴの同期再生のための制御を行う機能を備えている。この同期再生の指示が操作部４等から与えられると、コントローラ３は、ＭＩＤＩデータの再生指示をＦＤ再生装置８ａに送る。ここで、例えばＦＤに記憶されたＭＩＤＩデータを楽曲の先頭から再生すべき場合、コントローラ３は、楽曲の先頭から５００ｍｓｅｃ経過後のＭＩＤＩデータから読み出しを開始すべき指令をＦＤ再生装置８ａに送る。なお、これらの手段については後述する。また、コントローラ３は、ビデオカメラ１００からタイムコード変換器２００を介して楽音用タイムコード（ＭＴＣ）が供給される都度、そのＭＴＣをＦＤ再生装置８ａに送る。
【００５９】
自動ピアノ２０は、自動ピアノで構成され、第１の実施形態において説明した自動ピアノ１０としての機能を備えるほか、ＦＤからＦＤ再生装置８ａによって読み出されるＭＩＤＩデータに従い、自動演奏を行う機能を備えている。かかる自動ピアノ２０は、自動ピアノ１０の各構成要素（ピアノ１１等）を備えるほか、ピアノ電子回路１６と、駆動ソレノイド群１７とを備えている。
ここで、アンサンブル音源１８により自動演奏を行う場合、コントローラ３は、ＦＤ再生装置８ａから受け取ったイベントをアンサンブル音源１８に送る。また、ピアノ音源１５またはピアノ１１により自動演奏を行う場合、コントローラ３は、ＦＤ再生装置８ａから受け取ったイベントをピアノ電子回路１６に送る。いずれの手段により自動演奏を行うかは、操作部４からの指示に従って決定される。
【００６０】
前述したようにアンサンブル音源１８により生成されたデジタル楽音信号は、コントローラ３によってアナログ楽音信号に変換され、ミキサ５に送られる。なお、本実施形態に係るミキサ５は、アナログ信号を受け取るアナログ入力ポートとデジタル信号を受け取るデジタル入力ポートの両方を有しており、これらのポートを介して入力される全ての信号をミキシングして出力することができる。従って、アンサンブル音源１８から出力されるデジタル楽音信号をコントローラ３を経由することなくミキサ５に直接供給してもよい。
【００６１】
ピアノ電子回路１６は、コントローラ３からイベントを受け取り、自動演奏のための制御を行う回路である。このピアノ電子回路１６は、２通りの方法のうちいずれかにより自動演奏の制御を行う。まず、第１の方法では、コントローラ３から受け取ったイベントをピアノ音源１５に送る。前述したように、ピアノ音源１５は、イベントにより指示されたピアノ音のアナログオーディオ信号を電子的に生成する装置である。第２の方法では、ピアノ電子回路１６は、コントローラ３から受け取ったイベントに従って駆動ソレノイド群１７に対する通電制御を行う。この駆動ソレノイド群１７は、ピアノ１１に設けられた複数の鍵に各々対応した複数のソレノイドと、複数のペダルに各々対応した複数のソレノイドとからなる。ピアノ電子回路１６は、ある鍵の押下を指示するイベントをコントローラ３から受け取った場合、その鍵に対応したソレノイドに駆動電流を流し、鍵を押下させるのに必要な磁力をソレノイドにより発生する。離鍵を指示するイベントを受け取った場合も同様である。第１の方法、第２の方法のいずれによりイベントを取り扱うかの指示は、操作部４からコントローラ３に与えられ、コントローラ３はこの指示をピアノ電子回路１６に送る。ピアノ電子回路１６は、受け取った指示に従う。
【００６２】
コントローラ３によってイベントが出力されてから自動演奏音が発生されるまでには遅延があり、その遅延時間はいずれの手段により自動演奏を行うかによって異なる。自動ピアノにより自動演奏を行う場合、コントローラ３がイベントを出力してから自動演奏音が発生するまでに、例えば５００ｍｓｅｃの時間を要する。そこで、本実施形態では、同期再生の指示が操作部４から与えられ、かつ、自動演奏のための手段として自動ピアノ２０が選択されている場合には、次のようにしてＶＴ、ＨＤおよびＦＤの同期再生を行う。まず、ＦＤの再生を待機すべき旨の指令（すなわち、ポーズ指令）がコントローラ３からＦＤ再生装置８ａに送られる。そして、映像データ等を再生すべき指令（すなわち、同期再生を開始すべき指令）がビデオカメラ１００に入力されると、ビデオカメラ１００からタイムコード変換器２００を介してコントローラ３へＭＴＣの供給が開始される。コントローラ３は、前述したように、この時点から５００ｍｓｅｃ経過後のＭＩＤＩデータから読み出しを開始すべき指令をＦＤ再生装置８ａに送る一方、ＨＤに格納されているＣＤオーディオデータの読み出し、再生を開始する。このように、ＦＤに格納されている楽曲データについては、楽曲の先頭から読み出しを開始するのではなく、５００ｍｓｅｃ経過後のＭＩＤＩデータから読み出しを開始することにより、以後、ＶＴ内の映像データ等の再生と、ＨＤ内のＣＤオーディオデータの再生と、ＦＤ内のＭＩＤＩデータの再生との同期が保たれる。
【００６３】
ＦＤ再生装置８ａは、コントローラ３からの指令に従い、ＦＤからＭＩＤＩデータを順次読み出してコントローラ３に供給する。このＭＩＤＩデータは、例えばＦＤ記録装置８によりＶＴ及びＨＤの再生に同期して記録されたＭＩＤＩデータである（図８参照）。ＦＤ再生装置８ａは、あるイベントをＦＤから読み出してコントローラ３に送った後は、そのイベントの後のデルタタイムによって示される時間だけ待機し、後続のイベントの読み出しを行う、という処理を繰り返す。これがＦＤ再生装置８ａの基本的な動作である。ＦＤ再生装置８ａは、以上説明したＭＩＤＩデータをＦＤから読み出す機能（すなわち、シーケンサとしての機能）の他に、この読み出し動作をビデオカメラ１００による映像データ等の再生及びＨＤに格納されているＣＤオーディオデータの再生に同期させるタイミング調整機能を有している。以下、かかる種々の機能を備えたＦＤ再生装置８ａの構成について、図１１を参照しながら説明する。
【００６４】
図１１は、ＦＤ再生装置８ａに設けられた制御回路の構成を示すブロック図である。この図１１に示された制御回路は、シーケンサとしての機能とタイミング調整機能とを営むものである。
イベントバッファ３０２は、ＦＤから読み出されたイベントを格納するバッファである。ここで、１つのデルタタイムの後に２以上の連続したイベントが続くことがあり得る。そのような場合、連続した全てのイベントがＦＤから読み出され、イベントバッファ３０２に格納される。デルタタイムレジスタ３０３は、ＦＤから読み出されたデルタタイムを格納するレジスタである。既に説明したように、このデルタタイムは、相前後した２つのイベント間の経過時間を指定するものである。
【００６５】
加算器３１１およびレジスタ３１２は、累算器を構成している。この累算器は、ＦＤから順次読み出されてレジスタ３０３に格納される一連のデルタタイムの累算値を求めるものである。さらに詳述すると、現時点におけるデルタタイムの累算値は、レジスタ３１２によって保持されるようになっている。また、加算器３１１は、このレジスタ３１２に格納された累算値とレジスタ３０３に格納されているデルタタイムとを加算して、加算結果Ｍを出力する。このＭは、イベントバッファ３０２に格納された１または複数のイベントをコントローラ３に転送する目標時刻に相当する数値である。従って、以下ではこのＭを目標時刻データと呼ぶ。この目標時刻データＭにより指定された時刻になると、イベント転送制御手段３３０からレジスタ３０３および３１２に書き込みクロックが供給される。この結果、加算器３１１の出力データ、すなわち、それまでレジスタ３１２に格納されていた累算値とレジスタ３０３に格納されていたデルタタイムとを加えた値が新たな累算値としてレジスタ３１２に格納される。また、このときＦＤから読み出された新たなデルタタイムがレジスタ３０３に格納されるのである。なお、イベント転送制御手段３３０については後述する。
【００６６】
加算器３２１およびレジスタ３２２は、コントローラ３のクロック生成手段２１０からテンポクロックＣＴ’が与えられる度に「＋１」の累算を行う累算器を構成している。加算器３２１は、レジスタ３２２の格納データと固定値「＋１」とを加算して出力する。レジスタ３２２は、ＦＤからのＭＩＤＩデータの再生が開始されるとき、初期値が書き込まれる。この初期値は、テンポクロックの周期をτ’とした場合、５００ｍｓｅｃ／τ’となる。以後、レジスタ３２２には、テンポクロックＣＴ’が与えられる度に、加算器３２１の出力データ、すなわち、その時点におけるレジスタ３２２の格納データと「＋１」との加算結果が書き込まれる。このレジスタ３２２の出力データＮ’は、ＭＩＤＩデータの再生開始以後の経過時間を表す経過時間データとして利用される。
【００６７】
イベント転送制御手段３３０は、経過時間データＮ’が目標時刻データＭに到達したとき、イベントバッファ２０２内の１または複数のイベントを読み出して取り込むべき旨の転送指示をコントローラ３に送る。また、このときイベント転送制御手段３３０は、上述したように書き込みクロックをレジスタ３０３および３１２に供給する。前述したように、本実施形態においては、楽曲データの先頭から５００ｍｓｅｃ経過後のＭＩＤＩデータから読み出しが開始される。従って、イベント転送制御手段３３０は、ＦＤからのＭＩＤＩデータの生成が開始されるとき、目標時刻データＭが５００ｍｓｅｃ／τ’に到達するまでイベント及びデルタタイムの読み出しと、デルタタイムの累算とを繰り返し実行する。
【００６８】
タイミング調整手段３４１は、ＭＩＤＩデータのイベントのコントローラ３への出力動作をＶＴからの映像データ等の再生に同期化させるためのタイミング調整を行う回路である。さらに詳述すると、タイミング調整手段３４１は、コントローラ３から「０」より大きなＭＴＣが与えられると、当該ＭＴＣを第１の再生時間データＴＣＤ’とし、さらにその時点における経過時間データＮ’にテンポクロックＣＴ’の周期τ’を乗算し、その乗算結果から５００ｍｓｅｃを差し引き、第２の再生時間データＴＦＤ’＝Ｎ＊τ’−５００ｍｓｅｃを求める。この第２の再生時間データＴＦＤ’は、現在の演奏箇所が楽曲の先頭から何秒後の箇所であるかを表している。
【００６９】
そして、タイミング調整手段３４１は、これらの再生時間データＴＣＤ’及びＴＦＤ’を比較し、比較結果に基づいて次の処理を行う。
ａ．ＴＣＤ’とＴＦＤ’との差が所定の許容範囲内に収まっている場合
この場合、タイミング調整手段３４１は、何もしない。
【００７０】
ｂ．ＴＣＤ’＞ＴＦＤ’であり、両者の差が許容範囲を越えている場合
この場合、ＦＤから読み出されたイベントによって現在演奏されている楽曲中の箇所は、ＶＴの再生によって映像が表示されている箇所よりも時間差ＴＣＤ’−ＴＦＤ’だけ遅れた箇所であるといえる。そこで、タイミング調整手段３４１は、時間差ＴＣＤ’−ＴＦＤ’をテンポクロックＣＴ’の周期τ’によって除算し、この除算結果（ＴＣＤ’−ＴＦＤ’）／τ’をレジスタ３０３内のデルタタイムから減算し、減算後のデルタタイムをレジスタ３０３に書き込む。これにより以後暫くの間、ＦＤからのイベント読み出しによる自動演奏とＶＴからの映像データ等の読み出しによる映像表示とＨＤからのＣＤオーディオデータの読み出しによる演奏が同期状態を保つこととなる。
【００７１】
ｃ．ＴＣＤ’＜ＴＦＤ’であり、両者の差が許容範囲を越えている場合
この場合、ＦＤから読み出されたイベントによって現在演奏されている楽曲中の箇所は、ＶＴの再生によって映像が表示されている箇所よりも時間差ＴＦＤ’−ＴＣＤ’だけ進んだ箇所であるといえる。そこで、タイミング調整手段３４１は、時間差ＴＦＤ’−ＴＣＤ’をテンポクロックＣＴ’の周期τ’によって除算し、この除算結果（ＴＦＤ’−ＴＣＤ’）／τ’をレジスタ３０３内のデルタタイムに加算し、加算後のデルタタイムをレジスタ３０３に書き込む。
以上が本実施形態に係るマルチメディアシステム７００の詳細である。以下、図１２を参照しながら、マルチメディアシステム７００の動作について詳細に説明する。
【００７２】
図１２は本実施形態に係るマルチメディアシステム７００の動作を示すタイムチャートである。さらに詳述すると、図１２には、ある映像及び楽曲の先頭からＶＴ、ＨＤ、ＦＤの同期再生を行う場合を例に、ＶＴからタイムコード変換器２００を介して出力される楽音用タイムコード（ＭＴＣ）、ＶＴから読み出される映像データ、ＶＴから読み出され、コントローラ３から出力されるＶＴオーディオデータ、ＨＤから読み出され、コントローラ３から出力されるＣＤオーディオデータ、ＦＤから読み出されるＭＩＤＩデータおよびピアノ１１から発生される音が時系列的に示されている。この図１２において、ｐ［ｋ］（ｋ＝０、０．２５、０．５、〜）、ｖａ［ｋ］（ｋ＝０、０．２５、０．５、〜）、ｃａ［ｋ］（ｋ＝０、０．２５、０．５、〜）は、それぞれ映像データの再生開始時刻を０秒とした場合に、ｋ秒からｋ＋１秒の区間内の部分の映像データ、ＶＴオーディオデータ、ＣＤオーディオデータである。また、ｍ［ｋ］（ｋ＝０、０．２５、０．５、〜）は、楽曲の開始時刻を０秒とした場合に、ｋ秒からｋ＋１秒の区間内の部分の演奏制御に用いられるＭＩＤＩデータである。ここで、上記楽音用タイムコード（ＭＴＣ）は、本来１ｓｅｃ／３０程度の間隔でタイムコード変換器２００から出力されるが、以下の説明では、便宜上、１ｓｅｃ／４(＝２５０ｍｓｅｃ）の間隔でタイムコード変換器２００からＭＴＣが出力される場合を想定する。
【００７３】
駆動ソレノイド群１７およびピアノ１１を利用して自動演奏を行う場合、まずポーズ指令がコントローラ３からＦＤ再生装置８ａに送られる。その後、ユーザがビデオカメラ１００の操作部１３０等を操作して同期再生を開始すべき指令を入力すると、ビデオカメラ１００からタイムコード変換器２００を介してＭＴＣの供給が開始される。コントローラ３は、タイムコード変換器２００を介してＭＴＣ「０」を受け取ると、後述するようにＨＤに格納されているＣＤオーディオデータを読み出す制御を開始すると共に、この時点から５００ｍｓｅｃ経過後のＭＩＤＩデータから読み出しを開始すべき指令をＦＤ再生装置８ａに送る。ＦＤ再生装置８ａは、コントローラ３から該指令を受け取ると、直ちにＦＤから楽曲の先頭から５００ｍｓｅｃ経過後のＭＩＤＩデータＭＩＤＩデータを読み出す動作を開始する。この結果、ＭＩＤＩデータｍ［０．５］、ｍ［０．７５］、〜がＦＤから順次読み出され、ＭＩＤＩデータ中のイベントがコントローラ３に転送される。この動作においては、ＭＩＤＩデータ中のデルタタイムに基づいて、ＭＩＤＩデータ中のイベントの転送タイミングの制御が行われる。なお、このデルタタイムに基づく転送タイミングの制御は既に説明した通りである。
【００７４】
コントローラ３がタイムコード変換器２００から受け取ったＭＴＣ「０」は、ＦＤ再生装置８ａに送られる。しかし、ＦＤ再生装置８ａ内のタイミング調整手段３４１では、このタイムコード「０」を利用したデルタタイムの調整は行われない。
その後、さらに２５０ｍｓｅｃが経過すると、コントローラ３からＭＴＣ「０．２５」が出力される。このときタイミング調整手段３４１では、「０」より大きなタイムコードが供給されたことから、上述したデルタタイムの調整が行われる。そして、以後は、ＭＴＣがコントローラ３から供給される度に、上述したデルタタイムの調整が行われる。
【００７５】
一方、コントローラ３は、タイムコード変換器２００からＭＴＣ「０」を受け取ると、直ちに計時手段２１１を利用して時刻の計時を開始する。しかし、コントローラ３の経過時間調整手段２１２では、このＭＴＣ「０」を利用した経過時間の調整は行われない。その後、さらに２５０ｍｓｅｃが経過すると、タイムコード変換器２００からＭＴＣ「０．２５」が出力される。このとき、経過時間調整手段２１２では、「０」より大きなＭＴＣが供給されたことから、上述した経過時間の調整が行われる。そして、以後は、ＭＴＣがタイムコード変換器２００から供給される度に、上述した経過時間の調整が行われる。一方、ＣＤオーディオデータ再生制御手段２１３は、この計時手段２１１の経過時間レジスタ２１１ｂに格納されている経過時間データＮとＨＤに格納されている楽曲データ中のＣＤタイムコードとを参照して、当該楽曲データ中のＣＤオーディオデータの読み出し、これを音として出力するための制御を行う。
【００７６】
この結果、ＶＴの再生指示が発生すると、直ちに映像データに対応したオーケストラ等の映像、ＶＴオーディオデータに対応した演奏、ＣＤオーディオデータに対応した演奏等が開始される。そして、さらに５００ｍｓｅｃが経過すると、ＭＩＤＩデータに対応した演奏が開始される。そして、さらに２５０ｍｓｅｃが経過すると、タイミング調整手段３４１によりタイミング調整が行われたＭＩＤＩデータに対応した演奏が開始される。従って、映像データｐ［ｋ］、ＶＴオーディオデータｖａ［ｋ］、ＣＤオーディオデータｃａ［ｋ］およびＭＩＤＩデータｍ［ｋ］のうち同期を保った状態で再生されるのは、映像及び楽曲の先頭から７５０ｍｓｅｃだけ経過した時点以降のもの、すなわち、ｐ［０．７５］以降の映像データと、ｖａ［０．７５］以降のＶＴオーディオデータと、ｃａ［０．７５］以降のＣＤオーディオデータと、ｍ［０．７５］以降のＭＩＤＩデータである。この結果、図８を参照して説明した計時手段２２０による計時時刻ｒ［１．０］、ｒ［１．５］、ｒ［２．０］において生成されたＭＩＤＩイベントを含むＭＩＤＩデータｍ［１．０］、ｍ［１．５］、ｍ［２．０］と、対応するＣＤオーディオデータｃａ［１．０］、ｃａ［１．５］、ｃａ［２．０］と、対応するＶＴオーディオデータｖａ［１．０］、ｖａ［１．５］、ｖａ［２．０］及び映像データｐ［１．０］、ｐ［１．５］、ｐ［２．０］は同期を保った状態で再生される。
【００７７】
以上の説明から明らかなように、本実施形態に係るマルチメディアシステム７００によれば、ＶＴ及びＣＤの再生に同期してＭＩＤＩデータを記録するほか、記録されたＭＩＤＩデータと、対応するＣＤオーディオデータ、ＶＴオーディオデータ、映像データ等とを同期して再生することができる。
【００７８】
なお、以上説明した同期再生に先だって、コントローラ３がビデオカメラ１００からＶＴの識別情報（Ｖ−ＩＤ）を受け取ると共に、ＦＤ再生装置８ａからＦＤに記録されているＳＭＦのヘッダチャンクＨＴに格納されているＶＴの識別情報（Ｖ−ＩＤ）を受け取り、両者の識別情報が一致しない場合には、ＦＤに記録されているＭＩＤＩデータの再生（すなわち、自動演奏）を停止するようにしても良い。かかる構成を採用することで、映像に一致しない自動演奏が行われ、ユーザに不快感を与えてしまうといった問題を未然に防止することができる。なお、以上の説明では、ＶＴの識別情報（Ｖ−ＩＤ）を例に説明したが、ＣＤの識別情報（Ｃ−ＩＤ）を利用してＭＩＤＩデータの再生を停止するか否かを判断しても良く、またこれら両者の識別情報を利用して該判断を行うようにしても良い。
【００７９】
また、上述した第２の実施形態では、ＶＴの再生に同期して、ＨＤに格納されているＣＤオーディオデータの再生及びＦＤに格納されているＭＩＤＩデータの再生を行う場合について説明したが、ＶＴの再生ではなく、ＶＴに対する映像データ等の記録に同期して、ＨＤに格納されているＣＤオーディオデータの再生及びＦＤに格納されているＭＩＤＩデータの再生を行うことも可能である。この場合、ビデオカメラ１００の記録部１１０は、ＶＴに映像データ、ＶＴオーディオデータ、映像用タイムコードを含む記録情報を記録すると共に、該映像用タイムコードを順次タイムコード変換器２００に供給する。タイムコード変換器２００は、順次供給される映像用タイムコードを楽音用タイムコード（ＭＴＣ）に変換し、変換後のＭＴＣをコントローラ３へ供給する。なお、ＶＴに対する映像データ等の記録に同期して、ＨＤに格納されているＣＤオーディオデータを再生し、ＦＤに格納されているＭＩＤＩデータを再生する場合のＭＴＣの出力タイミング、ＭＩＤＩデータの読み出しタイミング等については、上述した第２の実施形態とほぼ同様に説明することができるため、省略する。このように、ＶＴに対する映像データ、ＶＴオーディオデータ等の記録に同期して、ＨＤに格納されているＣＤオーディオデータを再生し、ＦＤに格納されているＭＩＤＩデータを再生するようにしても良い。
【００８０】
また、上述した第２の実施形態では、同期再生すべきＣＤオーディオデータが予めＨＤに格納されている場合を例に説明したが、ＣＤ駆動装置１に再生すべきＣＤオーディオデータを記録したＣＤが装着されていれば、当該ＣＤオーディオデータが予めＨＤに格納されていなくとも、同期再生させることが可能である。具体的には、ビデオカメラ１００の操作部１３０から再生すべきＶＴの選択指示が入力されると、コントローラ３は、ＶＴを識別するための識別情報（Ｖ−ＩＤ）をＦＤ再生装置８ａへ送る。ＦＤ再生装置８ａは、かかる識別情報（Ｖ−ＩＤ）を検索キーとして、ＦＤに書き込まれているＳＭＦのヘッダチャンクＨＴを参照する。
【００８１】
ＦＤ再生装置８ａは、該識別情報（Ｖ−ＩＤ）と一致する識別情報（Ｖ−ＩＤ）を発見すると、当該識別情報と対応付けて記録されているＣＤを識別するための識別情報（Ｃ−ＩＤ）を読み出し、これをコントローラ３へ返す。コントローラ３は、ＦＤ再生装置８ａから該識別情報（Ｃ−ＩＤ）を受け取ると、この識別情報（Ｃ−ＩＤ）と共に、対応するＣＤに格納されているＣＤオーディオデータを含む楽曲データを読み出すべき指示をＣＤ駆動装置１へ送る。ＣＤ駆動装置１は、コントローラ３の指示に従って、対応するＣＤに格納されている楽曲データを読み出し、これをＤＳＰ２を介してコントローラ３へ送る。コントローラ３は、ＤＳＰ２を介して該楽曲データを受け取ると、これをＨＤに格納する。なお、該楽曲データをＨＤに格納した後の動作については、上述した第２の実施形態と同様に説明することができるため、割愛する。
以上説明した処理を実行することで、再生すべきＣＤオーディオデータが予めＨＤに格納されていなくとも、ＶＴ、ＣＤ、ＦＤを同期再生させることが可能となる。
【００８２】
ここで、本発明は、例えばビデオカメラ、ＦＤ記録装置、ＦＤ再生装置、コントローラなど、図１０に示す全ての構成要素を含んだ自動ピアノを製造し販売するという態様でも実施され得る。このような自動ピアノによれば、ユーザは、ＶＴに記録された映像データ、ＶＴオーディオデータ等の再生に同期して、ＨＤに格納されるＣＤオーディオデータを再生すると共にＭＩＤＩデータ（ユーザが自動ピアノを演奏することにより得られるＭＩＤＩデータ等）をＦＤに記録することができ、さらに、ＦＤに記録された該ＭＩＤＩデータに基づく自動演奏に同期させて映像データ、ＶＴオーディオデータ、ＣＤオーディオデータを再生することができる。
【００８３】
Ｃ．第３の実施形態
さて、上記第２の実施形態において説明したように、マルチメディアシステム７００を利用すれば、ＶＴに記録された映像データ、ＶＴオーディオデータの再生に同期して、ＨＤに格納されるＣＤオーディオデータを再生し、ＭＩＤＩデータ（ユーザが自動ピアノを演奏することにより得られる楽曲等）をＦＤに記録することができる。また、かかるマルチメディアシステム７００を利用すれば、該ＦＤに記録されたＭＩＤＩデータに基づく自動演奏に同期して、ＶＴに記録された映像データ、ＶＴオーディオデータを再生し、ＨＤに格納されたＣＤオーディオデータを再生することができる。
【００８４】
ところで、このようにＨＤに格納されたＣＤオーディオデータの再生に同期して、ＦＤに記録されたＭＩＤＩデータを再生（詳細には、自動ピアノ２０による自動演奏）する場合、例えば該ＨＤに格納されたＣＤオーディオデータの基準ピッチ（具体的には、基準となる音「Ａ（ラ）」等の周波数）が４４３Ｈｚであり、自動演奏の際に用いられるピアノ１１（生ピアノ）の基準ピッチが４４８Ｈｚであったとすると、ＨＤに格納されたＣＤオーディオデータの再生に同期してピアノ１１による自動演奏を行ったとしても、かかる基準ピッチのずれにより、うなりが発生し、ユーザに不快感を与えてしまうおそれがある。
【００８５】
そこで、本実施形態に係るマルチメディアシステムは、ピアノ１１の基準ピッチ（上記の例では、４４８Ｈｚ）にＣＤオーディオデータの基準ピッチを合わせる制御を自動で行い、かかる制御により、ＨＤに格納されているＣＤオーディオデータの再生に同期してピアノ１１による自動演奏を行ったとしても、うなりのない心地良い響きをユーザに与えることを可能とする。
【００８６】
さて、本実施形態に係るコントローラ３は、上記第２の実施形態において説明した機能を具備するほか、以下に示すＣＤオーディオデータ記録処理及び後述するピッチ制御・再生処理を実行する機能を備えている。
【００８７】
図１３は、ＣＤオーディオデータ記録処理を示すフローチャートである。
コントローラ３は、ＣＤ駆動装置１に再生すべきＣＤオーディオデータを含む楽曲データを記録したＣＤが装着され、ＦＤ記録装置８に記録用のＦＤが装着されたことを検出すると（ステップＳｂ１）、ＣＤ駆動装置１に対し、装着されたＣＤに記録されている楽曲データを転送すべき指令を送る。ＣＤ駆動装置１は、かかる指令に従ってＣＤに記録されている楽曲データを読み出し、これをＤＳＰ２を介してコントローラ３へ返す。コントローラ３は、ＣＤ駆動装置１からＤＳＰ２を介してＣＤオーディオデータを含む楽曲データを受け取ると、これをＨＤに転送する（ステップＳｂ２）。
【００８８】
そして、ステップＳｂ３に進むと、コントローラ３は、操作部４等から該ＣＤオーディオデータの基準ピッチを求める指示が送られてきたかどうかを判断する。ここで、操作部４等からＣＤオーディオデータの基準ピッチを求める指示が送られてこない場合（ステップＳｂ３；ＮＯ）、コントローラ３は、以下に示すステップＳｂ４〜Ｓｂ８をスキップし、ステップＳｂ９に進む。一方、操作部４等からＣＤオーディオデータの基準ピッチを求める指示が送られてきたことを検出すると（ステップＳｂ３；ＹＥＳ）、コントローラ３は、ステップＳｂ４に進み、ＣＤオーディオデータを高速フーリエ変換（ＦＦＴ；Fast Fourier Transform）し、各周波数毎の音圧（ＳＰＬ；Sound Pressure Level）を求める。
【００８９】
ここで、図１４は、ＣＤオーディオデータから得られる信号波形を例示した図であり、横軸には周波数を示し、縦軸には音圧を示している。ここで、図１４に示す信号成分のうち、本実施形態において解析が必要な周波数成分は、基準ピッチとなり得る周波数成分（例えば、４４０Ｈｚ付近の周波数成分）である。従って、予めバンドパスフィルタ等を利用して、４４０Ｈｚ付近の周波数成分（例えば、図１４に示す（４４０±α）Ｈｚ）のみを抽出するようにしても良い。
【００９０】
さて、コントローラ３は、図１４に示す４４０Ｈｚ付近の各周波数の音圧をスキャンしていき（ステップＳｂ５）、予め設定された所定値（図１４に示す、閾値Ｓ）以上の音圧が検出されるか否かを判断する（ステップＳｂ６）。コントローラ３は、所定値以上の音圧が検出されない場合（ステップＳｂ６；ＮＯ）、再びステップＳｂ４に戻って、ＣＤオーディオデータの周波数解析をやり直す。一方、所定値以上の音圧が検出されると（ステップＳｂ６；ＹＥＳ）、コントローラ３は、ステップＳｂ７に進み、所定値以上の音圧が検出された周波数（図１４では、４４３Ｈｚ）をＣＤオーディオデータの基準ピッチとして認識し、この基準ピッチを表すイベントを生成してＦＤ記録装置８に送り、さらに該ＣＤオーディオデータを識別するための識別情報（Ｃ−ＩＤ）をＦＤ記録装置８に通知する（ステップＳｂ８）。
【００９１】
ＦＤ記録装置８は、かかるイベント及び通知を受け取ると、図１５に示すようにＦＤの所定の記憶エリアに該ＣＤオーディオデータを識別するための識別情報（Ｃ−ＩＤ）及び該基準ピッチに対応するイベントを格納する。その後、ユーザが操作部４等を操作してＣＤの再生と同期してＭＩＤＩデータ（例えば、ユーザが自動ピアノを演奏することにより得られるＭＩＤＩデータ等）をＦＤに記録すべき指令がコントローラ３に通知されると（ステップＳｂ９）、コントローラ３は、上述した第１の実施形態において説明した同期記録のための制御を行い（ステップＳｂ１０）、処理を終了する。一方、ステップＳｂ９において、ＣＤの再生と同期してＭＩＤＩデータをＦＤに記録すべき指令がコントローラ３に通知されない場合、コントローラ３は同期記録のための制御を行うことなく処理を終了する。
【００９２】
以上がＣＤオーディオデータ記録処理に関する詳細である。なお、本実施形態では、上記のようにＣＤオーディオデータの基準ピッチを自動検出する場合について説明したが、ＣＤオーディオデータの基準ピッチを自動検出するのではなく、例えばユーザが自身の音感を利用して該ＣＤオーディオデータの基準ピッチを判断し、操作部４等を操作（すなわち、マニュアル操作）することにより、判断して決定した基準ピッチをＦＤに記録するようにしても良い。
【００９３】
さて、このようにＣＤに記録されたＣＤオーディオデータがＨＤに格納され、ＭＩＤＩデータがＦＤに記録された後、ＨＤに記録されたＣＤオーディオデータの再生に同期してＦＤに記録された演奏データに基づくピアノ自動演奏を行う場合、コントローラ３は、以下に示すピッチ制御・再生処理を実行する。
【００９４】
図１６は、ピッチ制御・再生処理を示すフローチャートである。
操作部４等からＨＤに記録されたＣＤオーディオデータとＦＤに記録されたＭＩＤＩデータとを同期して再生すべき指示がコントローラ３に送られると、コントローラ３は、ＦＤ再生装置８ａに対し、ＦＤからＣＤオーディオデータの基準ピッチを読み出すべき指示を送る（ステップＳｃ１）。ＦＤ再生装置８ａは、かかる指示に従ってＦＤから基準ピッチ（例えば、４４３Ｈｚ）に対応するイベントを読み出し、これをコントローラ３へ返す。コントローラ３は、該イベントを受け取ると、ピアノ１１の基準ピッチを検出すべく、例えば図示せぬ表示部にピアノの基準ピッチを検出するために必要な音（「Ａ（ラ）」）を鳴らすべき文字メッセージ（例えば、「ユーザＺさん、「ラ」の音を鳴らしてください！」）等を表示させる。その後、ユーザがピアノ１１の特定の鍵を押下し、ピアノ１１から基準ピッチを検出するために必要な「ラ」の音が発音されると、コントローラ３は、図示せぬマイクロフォン等を介してピアノ１１から発音された音を楽音データとして受け取り、ピアノ１１の基準ピッチ（例えば、４４８Ｈｚ）を検出する（ステップＳｃ２）。
【００９５】
なお、ピアノ１１の基準ピッチを検出する方法として、上記のように表示部（図示略）にピアノの基準ピッチを検出するために必要な音（「Ａ（ラ）」）を鳴らすべき文字メッセージ等を表示させるほか、例えばピアノの基準ピッチを検出するために必要な音を鳴らすべき旨の指令をピアノ電子回路１６に送り、駆動ソレノイド群１７を利用することにより、かかる音を自動で（すなわち、ユーザにピアノ１１の特定の鍵を押下させることなく）鳴らすように制御しても良い。また、ピアノ１１の基準ピッチについては、前述したように、例えば該楽音データを高速フーリエ変換し、各周波数毎の音圧を求め、予め設定された所定値以上の音圧が検出された周波数を検知することで、ピアノ１１の基準ピッチを検出することが可能である。
【００９６】
さて、コントローラ３は、このようにしてピアノ１１の基準ピッチを検出すると、検出したピアノ１１の基準ピッチとＣＤオーディオデータの基準ピッチとを比較し、基準ピッチのずれ（音程差）を求める（ステップＳｃ３）。ここでは、検出したピアノ１１の基準ピッチが４４８Ｈｚであり、ＣＤオーディオデータの基準ピッチが４４３Ｈｚであるため、コントローラ３は、両基準ピッチのずれからＣＤオーディオデータの基準ピッチを５Ｈｚ（＝４４８Ｈｚ−４４３Ｈｚ）上げるべきであると判断し、かかる判断結果に基づきＨＤに記憶されたＣＤオーディオデータの読み出し速度決定する（ステップＳｃ４）。
ここで、図１７は、各読み出し速度でＣＤオーディオデータを読み出したときに得られる信号波形を例示した図である。より詳細には、図１７のＡに示す信号波形は、所定の読み出し速度Ｖｂで読み出したときに得られる信号波形であり、図１７のＢ及びＣに示す信号波形は、それぞれ該読み出し速度Ｖｂよりも速い読み出し速度Ｖｆ（＞Ｖｂ）及び遅い読み出し速度Ｖｓ（＜Ｖｂ）で読み出したときに得られる信号波形である。
【００９７】
ここで、所定の読み出し速度Ｖｂで読み出されたときに基準ピッチが４４３Ｈｚの音が発音されると仮定すると、図１７のＢに示すように、読み出し速度ＶｆでＣＤオーディオデータが読み出された場合には、基準ピッチが４４３Ｈｚよりも高い音（例えば、基準ピッチが４４８Ｈｚの音）が発音され、一方図１７のＣに示すように、読み出し速度ＶｓでＣＤオーディオデータが読み出された場合には、基準ピッチが４４３Ｈｚよりも低い音（例えば、基準ピッチが４４０Ｈｚの音）が発音される。
従って、コントローラ３は、両基準ピッチのずれからＣＤオーディオデータの基準ピッチを５Ｈｚ（＝４４８Ｈｚ−４４３Ｈｚ）上げるべきであると判断すると、かかる判断結果に基づきＨＤに記憶されたＣＤオーディオデータの読み出し速度を、４４３Ｈｚの音を発音させる場合の読み出し速度よりも速い速度に決定する。なお、ＣＤオーディオデータの基準ピッチを下げる場合については、上記と同様に説明することができるため、説明を割愛する。
【００９８】
そして、コントローラ３は、決定した読み出し速度でＣＤオーディオデータをＨＤから読み出し、読み出したＣＤオーディオデータからアナログオーディオ信号を生成してミキサ５に順次供給する一方（ステップＳｃ５）、該ＣＤオーディオデータの読み出し速度に基づいてＦＤからＦＤ再生装置８ａを介してＭＩＤＩデータを順次読み出し（ステップＳｃ６）、読み出したＭＩＤＩデータを順次ピアノ電子回路１６へ供給する（ステップＳｃ７）。
【００９９】
ピアノ電子回路１６は、コントローラ３から順次供給されるＭＩＤＩデータに含まれるイベントに応じて駆動ソレノイド群１７に対する通電制御を行い、ピアノ１１の鍵、ペダル等を駆動する。これにより、ＭＩＤＩデータに基づくピアノ１１の自動演奏が行われる。コントローラ３は、ステップＳｃ８に進むと、１曲分のＣＤオーディオデータの再生及びＭＩＤＩデータの再生が終了したか否かを判断する。１曲分のＣＤオーディオデータの再生及びＭＩＤＩデータの再生が終了していないと判断すると（ステップＳｃ８；ＮＯ）、コントローラ３は、ステップＳｃ５に戻り、ステップＳｃ５→ステップＳｃ６→ステップＳｃ７といった一連の処理を繰り返し実行する。そして、コントローラ３は、１曲分のＣＤオーディオデータの再生及びＭＩＤＩデータの再生が終了したと判断すると（ステップＳｃ８；ＹＥＳ）、以上説明したピッチ制御・再生処理を終了する。
【０１００】
以上説明したように、本実施形態に係るマルチメディアシステムによれば、ＨＤに記録されたＣＤオーディオデータの再生に同期してＦＤに記録されたＭＩＤＩデータに基づくピアノ自動演奏を行う場合、ＣＤオーディオデータの基準ピッチ（例えば、４４３Ｈｚ）がピアノ１１の基準ピッチ（例えば、４４８Ｈｚ）と一致するように、ＣＤオーディオデータの基準ピッチが制御される。これにより、該ＣＤオーディオデータの再生に同期してピアノ１１による自動演奏を行ったとしても、うなりのない心地良い響きをユーザに与えることが可能となる。
【０１０１】
＜変形例１＞
上述した第３の実施形態では、ＨＤに格納されたＣＤオーディオデータの再生に同期して、ＦＤに記録されたＭＩＤＩデータを再生する場合について説明したが、該ＣＤオーディオデータの代わりにＶＴオーディオデータをＨＤに格納し、このＨＤに格納されたＶＴオーディオデータの再生に同期して、ＦＤに記録されたＭＩＤＩデータを再生することも可能である。なお、かかる場合にコントローラ３等によって実行される処理については、上述した第３の実施形態とほぼ同様に説明することができるため、説明を割愛する。
【０１０２】
また、図１８に示すようにＨＤの所定の記憶エリアに再生すべきＣＤオーディオデータ及びＶＴオーディオデータを格納し、ＨＤに格納されたＣＤオーディオデータの再生及びＨＤに格納されたＶＴオーディオデータの再生に同期して、ＦＤに記録されたＭＩＤＩデータを再生しても良い。例えば、ＭＩＤＩデータの再生の際に利用するピアノ１１の基準ピッチが４４８Ｈｚであり、ＣＤオーディオデータの基準ピッチが例えば４４３Ｈｚ、ＶＴオーディオデータの基準ピッチが例えば４５０Ｈｚである場合、コントローラ３は、ピアノ１１の基準ピッチを基準としてＣＤオーディオデータの基準ピッチを５Ｈｚ（＝４４８Ｈｚ−４４３Ｈｚ）上げて再生するための制御を行う一方、ＶＴオーディオデータの基準ピッチを２Ｈｚ（＝４５０Ｈｚ−４４８Ｈｚ）下げて再生するための制御を行う。このように、ＨＤに複数種類のオーディオデータを格納し、これら全て（若しくは一部）のオーディオデータの再生に同期して、ＦＤに記録されたＭＩＤＩデータを再生するようにしても良い。
【０１０３】
【発明の効果】
以上説明したように本発明によれば、映像データの再生若しくは映像データの記録に同期して、複数の楽曲データの再生若しくは記録を行うことができる。
【図面の簡単な説明】
【図１】 第１の実施形態におけるマルチメディアシステムの構成を示すブロック図である。
【図２】 同実施形態に係るＣＤオーディオデータの構成を示す図である。
【図３】 同実施形態に係るコントローラの機能を説明するためのブロック図である。
【図４】 同実施形態に係る経過時間調整処理を示すフローチャートである。
【図５】 同実施形態に係るＳＭＦの構成を示す図である。
【図６】 同実施形態に係るＦＤ記録装置の制御回路の構成を示すブロック図である。
【図７】 同実施形態に係るデルタタイム調整処理を示すフローチャートである。
【図８】 同実施形態に係るマルチメディアシステムの動作を示すタイムチャートである。
【図９】 同実施形態における変形例１に係る経過時間調整処理を示すフローチャートである。
【図１０】 第２の実施形態におけるマルチメディアシステムの構成を示すブロック図である。
【図１１】 同実施形態に係るＦＤ記録装置の制御回路の構成を示すブロック図である。
【図１２】 同実施形態に係るマルチメディアシステムの動作を示すタイムチャートである。
【図１３】 第３の実施形態におけるＣＤオーディオデータ記録処理を示すフローチャートである。
【図１４】 同実施形態に係るＣＤオーディオデータから得られる信号波形を例示した図である。
【図１５】 同実施形態に係るＦＤの記憶状態を説明するための図である。
【図１６】 同実施形態に係るピッチ制御・再生処理を示すフローチャートである。
【図１７】 同実施形態に係る各読み出し速度でオーディオデータを読み出したときに得られる信号波形を例示した図である。
【図１８】 同実施形態における変形例１に係るＨＤの記憶状態を説明するための図である。
【符号の説明】
３・・・コントローラ、４・・・操作部、５・・・ミキサ、６・・・アンプ、７・・・スピーカ、８・・・ＦＤ記録装置、８ａ・・・ＦＤ再生装置、１０、２０・・・自動ピアノ、１１・・・ピアノ、１２・・・キーセンサ、１３・・・ペダルセンサ、１４・・・ＭＩＤＩイベント生成回路、１５・・・ピアノ音源、１６・・・ピアノ電子回路、１７・・・駆動ソレノイド群、１８・・・アンサンブル音源、１００・・・ビデオカメラ、２００・・・タイムコード変換器、２１０・・・クロック生成手段、２１１、２２０・・・計時手段、２１２・・・経過時間調整手段、２１３・・・ＣＤオーディオデータ再生制御手段、２１３ａ・・・ＨＤ読み出し制御手段、２１３ｂ・・・オーディオ信号生成手段、２３０・・・デルタタイム調整手段、２３０’・・・経過時間調整手段、２４０・・・デルタタイム生成手段、２５０・・・ＳＭＦ作成・書き込み制御手段、３３０・・・イベント転送制御手段、３４１・・・タイミング調整手段。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a multimedia system, a playback apparatus, and a playback recording apparatus that perform playback or recording of music data in synchronization with playback of video data or recording of video data.
[0002]
[Problems to be solved by the invention]
In recent years, among users who prefer musical instrument performance such as piano performance, a video tape (hereinafter referred to as VT) in which video data corresponding to the scenery of a concert venue or the like is recorded and music data corresponding to the video (for example, orchestra performance). Optical discs (hereinafter referred to as CDs) on which recorded music data, etc., are synchronized and reproduced by a video camera and a CD player, respectively, while the user watches the video displayed by the reproduction of the video data, or the music data Playing an automatic piano while listening to the orchestra performance sound generated by playing the music, and the music data (for example, data conforming to the MIDI (Musical Instruments Digital Interface) standard) according to the performance is a floppy disk (hereinafter referred to as FD) Record it on a storage medium, etc., and later play back all the data synchronously to ease the performance There is a request to want to do. In addition, the user plays an automatic piano or the like while listening to the orchestra performance performed by playing the CD, records the music data according to the performance by FD, and records the performance scene by a video camera. There are also requests to enjoy the magic of performance by synchronously playing back data.
However, at present, multimedia systems that meet such demands have not yet been provided.
[0003]
The present invention has been made in view of the above-described circumstances, and a multimedia system capable of reproducing or recording a plurality of music data in synchronization with the reproduction of video data or the recording of video data. An object of the present invention is to provide an apparatus and a playback / recording apparatus.
[0004]
[Means for Solving the Problems]
The present invention reads out recording information including video data and a series of video time codes indicating the elapsed time from the start of recording of the video data from a first storage medium, and reproduces the video data in the recording information. The first music data stored in the storage means and the second music data recorded in the second storage medium are reproduced in synchronization with the reproduction of the video data by the apparatus and the master device. A slave device, wherein the slave device acquires a video time code in the recorded information, and converts the video time code into a musical time code; Timekeeping means for counting time by counting clocks, and stored in the storage means based on the timekeeping result by the timekeeping means The first audio data is read at a time determined by the time code in the first music data including the first audio data representing the music and a series of time codes representing the elapsed time from the start of the music, and used as a sound. Audio data reproduction control means for performing control for output, and a plurality of events for instructing performance control of the music recorded in the second storage medium based on the time measurement result by the time measurement means; Delta time, which is the time difference between two of these events And including the above Second In the music data, Delta time The time determined by Every time it arrives Event output means for outputting the event, and the event output means Output from An automatic performance control means for supplying the event to the automatic performance means; a read timing of the first audio data; a time corresponding to a musical time code output from the time code conversion means; and a time measurement result of the time measurement means. First timing adjusting means for adjusting based on a time difference from the time corresponding to the event, and the event from the event output means to the automatic performance control means Output Second timing adjusting means for adjusting the timing based on a time difference between a time corresponding to the musical sound time code output from the time code converting means and a time corresponding to a time measurement result of the time measuring means. If the time difference exceeds a predetermined allowable range, the time corresponding to the time difference is added to or subtracted from the delta time, so that the event output means outputs the timing. Second timing adjusting means for adjusting; It is characterized by comprising.
[0005]
According to such a configuration, the read timing of the first audio data stored in the storage means is the time corresponding to the musical time code output from the time code converting means and the time corresponding to the time measurement result of the time measuring means. The timing at which the event read from the second storage medium is used for automatic performance corresponds to the time corresponding to the musical sound time code and the timing result of the timing means. It is adjusted based on the time difference from the time. By this adjustment, a time lag between the reproduction of the video data by the master device, the reproduction of the first music data by the slave device, and the reproduction of the second music data recorded on the second storage medium can be suppressed.
[0006]
The present invention also reads record information including video data and a series of video time codes representing the elapsed time from the start of recording of the video data from the first storage medium, and reproduces the video data in the recorded information. And a slave device for reproducing the first music data stored in the storage means and recording the second music data in synchronization with the reproduction of the video data by the master device In the system, the slave device acquires a time code for video in the recording information, time code conversion means for converting the video time code into a time code for music, and time counting by counting a clock. A first audio representing the music stored in the storage unit based on a timing unit to perform and a timing result by the timing unit Control is performed to read out the first audio data at a time determined by the time code in the first music data including the data and a series of time codes indicating the elapsed time from the start of the music, and output it as a sound. The audio data reproduction control means and the read timing of the first audio data are set to a time difference between the time corresponding to the musical sound time code output from the time code conversion means and the time corresponding to the time measurement result of the time measuring means. Timing adjusting means for adjusting based on, event generating means for acquiring the operation state from a detection means for detecting the operation state of the musical instrument, and generating an event for instructing performance control of the music according to the acquired operation state; When the event is generated by the event generation means, it corresponds to the time measurement result by the time measurement means. It was based on the time of day, Each delta time, which is the time difference between two events that fluctuate in time Timing data generating means for generating timing data for specifying the execution timing of the event, a time difference between the time corresponding to the musical sound time code output from the time code converting means and the time corresponding to the time measurement result by the time measuring means Is exceeding a predetermined allowable range, by adding or subtracting the time corresponding to the time difference to the delta time, Timing data adjusting means for adjusting the timing data, a plurality of events generated by the event generating means, and the second music data including timing data adjusted by the timing data adjusting means are stored in a second storage medium And a writing means for writing to.
[0007]
According to this configuration, the timing data specifying the execution timing of the event for instructing performance control written in the second storage medium includes the time corresponding to the time code for musical tone output from the time code converting means and the time measuring means. Adjustment is made based on the time difference from the time corresponding to the result. By this adjustment, a time lag between the reproduction of the video data by the master device and the reproduction of the first music data stored in the storage means by the slave device and the recording of the second music data is suppressed.
[0010]
DETAILED DESCRIPTION OF THE INVENTION
A. First embodiment
FIG. 1 is a block diagram showing a configuration of a multimedia system 600 according to the first embodiment of the present invention.
As will be described in detail below, the multimedia system 600 according to the present embodiment reproduces video data and audio data (hereinafter referred to as VT audio data) stored in a VT in a synchronized state, and stores it in a CD. This is a system capable of playing back audio data (hereinafter referred to as CD audio data) and recording MIDI data based on the user's performance on the FD.
[0011]
In FIG. 1, the video camera 100 includes a recording unit 110, a playback unit 120, and an
The recording unit 110 records a performance scene, various performance sounds (such as a violin performance sound performed with a user), and the like on a VT attached to the video camera 100 in accordance with instructions input via the
[0012]
The playback unit 120 plays a role of playing back recorded information such as video data and VT audio data already recorded on the VT according to an instruction input via the
[0013]
The time code converter 200 is connected to the video camera 100 by, for example, a cable and converts the video time code sequentially supplied from the video camera 100 into a musical sound time code (MIDI time code; hereinafter, referred to as MTC as appropriate). Then, the converted MTC is supplied to the
[0014]
The
[0015]
Various CDs can be mounted on the
[0016]
As described above, the
[0017]
On the other hand, the
[0018]
Here, FIG. 3 is a block diagram for explaining the function of the
The
[0019]
The time measuring means 211 includes an
[0020]
The elapsed time adjusting means 212 is based on the elapsed time data N stored in the elapsed
When the MTC larger than “0” is given from the time code converter 200 in step S1, the elapsed
[0021]
The elapsed time adjusting means 212 determines whether or not the absolute value | TCD−TFD | of the difference between the first recording time data TCD and the second recording time data TFD is within a predetermined allowable range Δ. (Step S3). When the elapsed time adjusting means 212 determines that the absolute value of the difference between the first recording time data TCD and the second recording time data TFD is within a predetermined allowable range Δ (step S3; YES), the elapsed time The elapsed time adjustment process is terminated without adjusting the elapsed time data N in the
[0022]
On the other hand, when the elapsed time adjusting means 212 determines that the absolute value | TCD−TFD | of the difference between the first recording time data TCD and the second recording time data TFD exceeds the predetermined allowable range Δ, It is determined whether or not the recording time data TCD is greater than the second recording time data TFD (step S5). When the first recording time data TCD is larger than the second recording time data TFD, the time measured by the
[0023]
On the other hand, when the first recording time data TCD is smaller than the second recording time data, the time measured by the
[0024]
The CD audio data
The HD read control means 213a compares the CD time code in the music data stored in the HD with the elapsed time data N stored in the elapsed
The audio
As is clear from the above description, the reproduction of the CD audio data stored in the HD is controlled by the
[0025]
Returning to FIG. 1 again, the automatic piano 10 includes a musical sound generating mechanism that generates a mechanical piano sound by striking in response to a key operation by the user, detects a key operation by the user, and electronically generates a sound according to the detection result. It also has a musical tone generation mechanism that generates typical piano sounds. The automatic piano 10 includes a piano 11, a
The
[0026]
The MIDI event generation circuit 14 generates a MIDI event based on the detection results supplied from the
[0027]
The
The
The mixer 5 is a device that mixes and outputs analog signals output from the
[0028]
The
[0029]
When the
[0030]
FIG. 6 is a block diagram for explaining a configuration of a control circuit provided in the
[0031]
The time measuring means 220 has the same configuration as the time measuring means 211 (see FIG. 3) of the
[0032]
The SMF creation / write control means 250 has a function of creating an SMF under the control of the
[0033]
When the delta
[0034]
The delta
The previous elapsed
[0035]
The
[0036]
When the delta
[0037]
The delta
[0038]
FIG. 7 is a flowchart showing the delta time adjustment process executed by the delta time adjustment means 230. In step Sa1, when MTC larger than “0” is given from the
[0039]
On the other hand, when the delta
[0040]
On the other hand, when the first recording time data TCD is smaller than the second recording time data TFD, the time measured by the time measuring means 220 is ahead of the time indicated by the MTC supplied from the
The above is the details of the multimedia system 600 according to the present embodiment. Hereinafter, the operation of the multimedia system 600 will be described in detail with reference to FIG.
[0041]
FIG. 8 is a time chart showing the operation of the multimedia system 600 according to the present embodiment. More specifically, FIG. 8 shows the reproduction of the CD audio data stored on the CD and the recording of the music data according to the user's piano performance in synchronization with the reproduction of the video data stored in a certain VT. As an example, the time code for musical sound (MTC) output from the VT via the time code converter 200, video data read from the VT, VT audio data read from the VT and output from the
[0042]
When performing synchronized playback recording, the user first operates the
[0043]
Thereafter, the user attaches a VT to be played back to the video camera 110 and operates the
[0044]
The
[0045]
Specifically, when receiving the MTC “0” from the time code converter 200, the
[0046]
As a result, when an instruction to reproduce the video data stored in the VT is generated, video display corresponding to the video data and sound generation corresponding to the CD audio data are started simultaneously. When 250 msec elapses after the reproduction instruction is generated, the elapsed
[0047]
On the other hand, when receiving the MTC “0” and the pause release command from the
Thereafter, when 250 msec further elapses, MTC “0.25” is output from the time code converter 200 via the
[0048]
As described above, when an instruction to reproduce the video data stored in the VT is generated, the reproduction of the video data and the recording of the performance sound by the
[0049]
When the SMF creation / write control means 250 receives the MIDI events ME-1, -2, -3 and the delta time corresponding to each MIDI event, the MIDI data including each MIDI event and each delta time is sent to the SMF track chunk TT. To store. Thereafter, when a command to end synchronous recording is input via the
[0050]
As described above, according to the multimedia system 600 according to the present embodiment, playback of CD audio data transferred from CD to HD and recording of MIDI data for FD can be performed in synchronization with playback of VT. It becomes possible.
[0051]
In the first embodiment described above, the case of reproducing CD audio data transferred from the CD to the HD and recording MIDI data on the FD in synchronization with the reproduction of the VT has been described. However, in the reproduction of the VT, Alternatively, it is possible to reproduce CD audio data transferred from the CD to the HD and record MIDI data to the FD in synchronization with recording of video data or the like for the VT. In this case, the recording unit 110 of the video camera 100 records the recording information including the video data, the VT audio data, and the video time code on the VT, and sequentially supplies the video time code to the time code converter 200. The time code converter 200 converts the sequentially supplied video time code into a musical sound time code (MTC), and supplies the converted MTC to the
[0052]
In the above-described first embodiment, the automatic piano 10 has been described as an example. However, for example, an electronic violin provided with a detection mechanism for detecting string vibration, a detection mechanism for detecting an operation state of an operation element (piston, etc.), and the like. It is applicable to all electronic musical instruments such as an electronic trumpet equipped with Further, not only an electronic musical instrument but also a natural musical instrument (for example, a violin) is provided with a mechanism for detecting the operation state of the natural musical instrument (for example, a detection mechanism for detecting string vibration). The present invention can be applied in the same manner as described above. In addition to these electronic musical instruments and the like, various operation modes such as a PC (Personal Computer) in which music production software and the like are installed can detect a user's operation state and instruct generation of a MIDI event according to the detection result. Applicable to electronic devices. That is, the “musical instrument” described in the claims refers to various devices that can detect a user operation state and instruct generation of a MIDI event according to a detection result.
[0053]
In the first embodiment described above, HD is exemplified as means for storing CD audio data and the like, but various storage means such as RAM may be used instead of HD. As described above, when a RAM or the like is used instead of the HD, for example, CD audio data corresponding to a location slightly before the location to be reproduced at that time is prefetched and stored in a storage means such as a RAM. If controlled in such a manner, a storage means having a small memory capacity can be used as the storage means for storing the CD audio data.
In the first embodiment described above, the FD is described as an example of a storage medium for storing MIDI data. However, the present invention can be applied to any storage medium such as an MO (Magneto Optical disk) or a memory stick. Here, the present invention can also be implemented in the form of manufacturing and selling an automatic piano including all the components shown in FIG. 1, such as a video camera, a CD drive device, an FD recording device, and a controller. According to such an automatic piano, the user can reproduce the CD audio data transferred from the CD to the HD and the performance data for the FD (for example, the user can play the automatic piano) in synchronization with the reproduction of the video data recorded on the VT. Performance data, etc. obtained by performing the performance can be recorded.
[0054]
<
The
[0055]
FIG. 9 is a block diagram for explaining a configuration of a control circuit provided in the
[0056]
The elapsed
The elapsed
Also in this modified example described above, the same effect as in the first embodiment can be obtained.
[0057]
B. Second embodiment
FIG. 10 is a diagram illustrating a configuration of a multimedia system 700 according to the second embodiment. The multimedia system 700 according to the present embodiment has a function of reproducing CD audio data stored in the HD and recording MIDI data on the FD in synchronization with the reproduction of the VT. It has a function of synchronizing and reproducing the MIDI data recorded on the FD, the CD audio data stored on the HD, and the video data stored on the corresponding VT. The multimedia system 700 shown in FIG. 10 is the same as the multimedia system 600 shown in FIG. 1 except that the
[0058]
In addition to the functions described in the first embodiment, the
[0059]
The automatic piano 20 is composed of an automatic piano and has the function of the automatic piano 10 described in the first embodiment, and also has a function of performing an automatic performance according to MIDI data read out from the FD by the
Here, when performing an automatic performance using the
[0060]
As described above, the digital musical tone signal generated by the
[0061]
The piano electronic circuit 16 is a circuit that receives an event from the
[0062]
There is a delay between the time when an event is output by the
[0063]
The
[0064]
FIG. 11 is a block diagram showing a configuration of a control circuit provided in the
The
[0065]
The
[0066]
The
[0067]
When the elapsed time data N ′ reaches the target time data M, the event transfer control means 330 sends to the controller 3 a transfer instruction indicating that one or more events in the event buffer 202 should be read and captured. At this time, the event transfer control means 330 supplies the write clock to the
[0068]
The
[0069]
Then, the
a. When the difference between TCD 'and TFD' is within the specified tolerance
In this case, the
[0070]
b. When TCD '>TFD' and the difference between the two exceeds the allowable range
In this case, it can be said that the part in the music currently being played by the event read from the FD is a part delayed by the time difference TCD′−TFD ′ from the part where the video is displayed by the reproduction of the VT. Therefore, the
[0071]
c. When TCD '<TFD' and the difference between the two exceeds the allowable range
In this case, it can be said that the part in the music currently being played by the event read from the FD is a part advanced by the time difference TFD′−TCD ′ from the part where the video is displayed by the reproduction of the VT. Therefore, the
The above is the details of the multimedia system 700 according to the present embodiment. Hereinafter, the operation of the multimedia system 700 will be described in detail with reference to FIG.
[0072]
FIG. 12 is a time chart showing the operation of the multimedia system 700 according to this embodiment. More specifically, FIG. 12 shows an example of a time code for musical sound output from the VT via the time code converter 200 (synchronized playback of VT, HD, FD from the beginning of a certain video and music). MTC), video data read from VT, VT audio data read from VT and output from
[0073]
When performing an automatic performance using the drive solenoid group 17 and the piano 11, a pause command is first sent from the
[0074]
The MTC “0” received by the
Thereafter, when 250 msec further elapses, MTC “0.25” is output from the
[0075]
On the other hand, when the
[0076]
As a result, when a VT playback instruction is generated, an orchestra video corresponding to video data, a performance corresponding to VT audio data, a performance corresponding to CD audio data, etc. are started immediately. When another 500 msec elapses, the performance corresponding to the MIDI data is started. When a further 250 msec elapses, a performance corresponding to the MIDI data whose timing is adjusted by the timing adjusting means 341 is started. Accordingly, among the video data p [k], the VT audio data va [k], the CD audio data ca [k], and the MIDI data m [k], playback is performed in a synchronized state in the beginning of the video and music. After 750 msec, that is, video data after p [0.75], VT audio data after va [0.75], CD audio data after ca [0.75], MIDI data after m [0.75]. As a result, the MIDI data m [1] including the MIDI event generated at the time measured r [1.0], r [1.5], r [2.0] by the time measuring means 220 described with reference to FIG. .0], m [1.5], m [2.0] and corresponding CD audio data ca [1.0], ca [1.5], ca [2.0] and corresponding VT audio. Data va [1.0], va [1.5], va [2.0] and video data p [1.0], p [1.5], p [2.0] are kept synchronized. It is played with.
[0077]
As is clear from the above description, according to the multimedia system 700 according to the present embodiment, in addition to recording MIDI data in synchronization with the playback of VT and CD, the recorded MIDI data and corresponding CD audio data are recorded. , VT audio data, video data, etc. can be reproduced synchronously.
[0078]
Prior to the synchronized playback described above, the
[0079]
In the second embodiment described above, the case where the CD audio data stored in the HD and the MIDI data stored in the FD are played back in synchronization with the playback of the VT has been described. It is also possible to reproduce the CD audio data stored in the HD and the MIDI data stored in the FD in synchronization with the recording of the video data or the like on the VT, instead of reproducing the video data. In this case, the recording unit 110 of the video camera 100 records the recording information including the video data, the VT audio data, and the video time code on the VT, and sequentially supplies the video time code to the time code converter 200. The time code converter 200 converts the sequentially supplied video time code into a musical sound time code (MTC), and supplies the converted MTC to the
[0080]
In the above-described second embodiment, the case where the CD audio data to be synchronized and reproduced is stored in the HD in advance has been described as an example. However, the CD in which the CD audio data to be reproduced is recorded on the
[0081]
When the
By executing the processing described above, it is possible to synchronously reproduce VT, CD, and FD even if the CD audio data to be reproduced is not previously stored in the HD.
[0082]
Here, the present invention can also be implemented in an embodiment in which an automatic piano including all the components shown in FIG. 10 such as a video camera, an FD recording device, an FD playback device, and a controller is manufactured and sold. According to such an automatic piano, the user reproduces the CD audio data stored in the HD in synchronism with the reproduction of the video data, VT audio data, etc. recorded on the VT, and MIDI data (the user automatically plays the piano). MIDI data, etc. obtained by playing the CD, etc.) can be recorded on the FD, and video data, VT audio data, and CD audio data are reproduced in synchronization with the automatic performance based on the MIDI data recorded on the FD. can do.
[0083]
C. Third embodiment
As described in the second embodiment, if the multimedia system 700 is used, the CD audio data stored in the HD is synchronized with the playback of the video data and VT audio data recorded in the VT. It can be played back and MIDI data (such as music obtained by the user playing an automatic piano) can be recorded on the FD. In addition, if the multimedia system 700 is used, the video data and VT audio data recorded in the VT are reproduced in synchronization with the automatic performance based on the MIDI data recorded in the FD, and the CD stored in the HD is stored. Audio data can be played back.
[0084]
By the way, when the MIDI data recorded on the FD is reproduced (specifically, automatic performance by the automatic piano 20) in synchronism with the reproduction of the CD audio data stored in the HD as described above, for example, it is stored in the HD. The reference pitch of the CD audio data (specifically, the frequency of the reference sound “A (La)”, etc.) is 443 Hz, and the reference pitch of the piano 11 (raw piano) used for automatic performance is 448 Hz. If this is the case, even if an automatic performance by the piano 11 is performed in synchronization with the reproduction of the CD audio data stored in the HD, a beat occurs due to such a deviation in the reference pitch, which causes discomfort to the user. There is a fear.
[0085]
Therefore, the multimedia system according to the present embodiment automatically performs control for adjusting the reference pitch of the CD audio data to the reference pitch of the piano 11 (448 Hz in the above example), and is stored in the HD by such control. Even if an automatic performance by the piano 11 is performed in synchronization with the reproduction of the CD audio data, it is possible to give the user a pleasant sound that does not beat.
[0086]
The
[0087]
FIG. 13 is a flowchart showing the CD audio data recording process.
When the
[0088]
In step Sb3, the
[0089]
Here, FIG. 14 is a diagram illustrating a signal waveform obtained from CD audio data, in which the horizontal axis indicates frequency and the vertical axis indicates sound pressure. Here, among the signal components shown in FIG. 14, the frequency component that needs to be analyzed in the present embodiment is a frequency component that can be a reference pitch (for example, a frequency component near 440 Hz). Therefore, only a frequency component around 440 Hz (for example, (440 ± α) Hz shown in FIG. 14) may be extracted in advance using a bandpass filter or the like.
[0090]
The
[0091]
Upon receiving such an event and notification, the
[0092]
The above is the details regarding the CD audio data recording process. In the present embodiment, the case where the reference pitch of the CD audio data is automatically detected as described above has been described. However, instead of automatically detecting the reference pitch of the CD audio data, for example, the user uses his / her own sound feeling. Thus, the reference pitch of the CD audio data may be determined, and the reference pitch determined and determined by operating the
[0093]
Now, the CD audio data recorded on the CD in this way is stored in the HD, the MIDI data is recorded on the FD, and then the performance data recorded on the FD in synchronization with the reproduction of the CD audio data recorded on the HD. When performing an automatic piano performance based on the above, the
[0094]
FIG. 16 is a flowchart showing pitch control / reproduction processing.
When an instruction to synchronize and reproduce the CD audio data recorded on the HD and the MIDI data recorded on the FD is sent from the
[0095]
In addition, as a method for detecting the reference pitch of the piano 11, as described above, a character message or the like to sound a sound ("A (La)") necessary for detecting the reference pitch of the piano on the display unit (not shown). In addition, for example, a command to play a sound necessary for detecting the reference pitch of the piano is sent to the piano electronic circuit 16 and the drive solenoid group 17 is used to automatically generate such a sound (ie, You may control to sound (without making a user press the specific key of the piano 11). As for the reference pitch of the piano 11, as described above, for example, the musical sound data is subjected to a fast Fourier transform to obtain a sound pressure for each frequency, and a frequency at which a sound pressure equal to or higher than a predetermined value is detected. By detecting, it is possible to detect the reference pitch of the piano 11.
[0096]
When the
Here, FIG. 17 is a diagram illustrating signal waveforms obtained when CD audio data is read at each reading speed. More specifically, the signal waveform shown in A of FIG. 17 is a signal waveform obtained when reading is performed at a predetermined reading speed Vb, and the signal waveforms shown in B and C of FIG. 2 is a signal waveform obtained when reading is performed at a fast reading speed Vf (> Vb) and a slow reading speed Vs (<Vb).
[0097]
Here, assuming that a sound having a reference pitch of 443 Hz is produced when read at a predetermined read speed Vb, CD audio data is read at the read speed Vf as shown in FIG. 17B. In this case, when a sound having a reference pitch higher than 443 Hz (for example, a sound having a reference pitch of 448 Hz) is generated, and CD audio data is read at a reading speed Vs as shown in FIG. Produces a sound whose reference pitch is lower than 443 Hz (for example, a sound whose reference pitch is 440 Hz).
Therefore, when the
[0098]
Then, the
[0099]
The piano electronic circuit 16 performs energization control on the drive solenoid group 17 in accordance with events included in the MIDI data sequentially supplied from the
[0100]
As described above, according to the multimedia system according to the present embodiment, when performing an automatic piano performance based on the MIDI data recorded on the FD in synchronization with the reproduction of the CD audio data recorded on the HD, The reference pitch of the CD audio data is controlled so that the reference pitch (eg, 443 Hz) of the data matches the reference pitch (eg, 448 Hz) of the piano 11. As a result, even if an automatic performance by the piano 11 is performed in synchronization with the reproduction of the CD audio data, it is possible to give the user a pleasant sound without beating.
[0101]
<
In the third embodiment described above, the case where MIDI data recorded on the FD is played back in synchronization with playback of the CD audio data stored in the HD has been described. However, VT audio data is used instead of the CD audio data. Can be stored in the HD, and MIDI data recorded in the FD can be played back in synchronization with playback of the VT audio data stored in the HD. Note that the processing executed by the
[0102]
Further, as shown in FIG. 18, CD audio data and VT audio data to be reproduced are stored in a predetermined storage area of the HD, the CD audio data stored in the HD and the VT audio data stored in the HD are reproduced. The MIDI data recorded on the FD may be reproduced in synchronization with the above. For example, when the reference pitch of the piano 11 used for reproduction of MIDI data is 448 Hz, the reference pitch of CD audio data is 443 Hz, and the reference pitch of VT audio data is 450 Hz, for example, the
[0103]
【The invention's effect】
As described above, according to the present invention, a plurality of music data can be reproduced or recorded in synchronization with the reproduction of the video data or the recording of the video data.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of a multimedia system according to a first embodiment.
FIG. 2 is a diagram showing a configuration of CD audio data according to the embodiment.
FIG. 3 is a block diagram for explaining functions of a controller according to the embodiment;
FIG. 4 is a flowchart showing elapsed time adjustment processing according to the embodiment;
FIG. 5 is a diagram showing a configuration of an SMF according to the same embodiment.
FIG. 6 is a block diagram showing a configuration of a control circuit of the FD recording apparatus according to the embodiment.
FIG. 7 is a flowchart showing delta time adjustment processing according to the embodiment;
FIG. 8 is a time chart showing the operation of the multimedia system according to the embodiment.
FIG. 9 is a flowchart showing an elapsed time adjustment process according to
FIG. 10 is a block diagram illustrating a configuration of a multimedia system according to a second embodiment.
FIG. 11 is a block diagram showing a configuration of a control circuit of the FD recording apparatus according to the embodiment.
FIG. 12 is a time chart showing the operation of the multimedia system according to the embodiment.
FIG. 13 is a flowchart showing a CD audio data recording process in the third embodiment.
FIG. 14 is a diagram illustrating a signal waveform obtained from CD audio data according to the embodiment;
FIG. 15 is a diagram for explaining a storage state of the FD according to the embodiment;
FIG. 16 is a flowchart showing pitch control / reproduction processing according to the embodiment;
FIG. 17 is a diagram illustrating signal waveforms obtained when audio data is read at each reading speed according to the embodiment;
FIG. 18 is a diagram for explaining an HD storage state according to
[Explanation of symbols]
DESCRIPTION OF
Claims (12)
前記スレーブ装置は、
前記記録情報中の映像用タイムコードを取得し、当該映像用タイムコードを楽音用タイムコードに変換するタイムコード変換手段と、
クロックをカウントすることにより計時を行う計時手段と、
前記計時手段による計時結果に基づいて、前記記憶手段に格納されている楽曲を表す第１のオーディオデータと当該楽曲の開始からの経過時間を表す一連のタイムコードとを含む第１の楽曲データ中のタイムコードによって定まる時刻に前記第１のオーディオデータを読み出し、音として出力するための制御を行うオーディオデータ再生制御手段と、
前記計時手段による計時結果に基づいて、前記第２の記憶媒体に記録されている楽曲の演奏制御を指示する複数のイベントと、これらイベントのうち時間的に前後した２つのイベント間の時間差であるデルタタイムとを含む前記第２の楽曲データ中の、当該デルタタイムによって定まる時刻が到来する度に前記イベントを出力するイベント出力手段と、
前記イベント出力手段から出力されてくる前記イベントを自動演奏手段に供給する自動演奏制御手段と、
前記第１のオーディオデータの読み出しタイミングを、前記タイムコード変換手段から出力される楽音用タイムコードに対応した時刻と前記計時手段の計時結果に対応した時刻との時間差に基づいて調整する第１のタイミング調整手段と、
前記イベントが前記イベント出力手段から前記自動演奏制御手段へ出力されるタイミングを、前記タイムコード変換手段から出力される楽音用タイムコードに対応した時刻と前記計時手段の計時結果に対応した時刻との時間差に基づいて調整する第２のタイミング調整手段であって、前記時間差が所定の許容範囲を超えている場合には、当該時間差に対応する時間を前記デルタタイムに加算又は減算することで、前記イベント出力手段によってイベントが出力される前記タイミングを調整する第２のタイミング調整手段と
を具備することを特徴とするマルチメディアシステム。A master device for reading recording information including video data and a series of video time codes representing elapsed time from the start of recording of the video data from the first storage medium, and reproducing the video data in the recording information; A slave device that performs reproduction of the first music data stored in the storage means and reproduction of the second music data recorded in the second storage medium in synchronization with the reproduction of the video data by the master device; A multimedia system comprising:
The slave device is
Time code conversion means for obtaining a video time code in the recorded information and converting the video time code into a music time code;
A time measuring means for measuring time by counting clocks;
In the first music data including the first audio data representing the music stored in the storage means and a series of time codes representing the elapsed time from the start of the music, based on the time measured by the time measuring means Audio data reproduction control means for performing control for reading out the first audio data at a time determined by the time code and outputting it as sound;
A time difference between a plurality of events instructing performance control of the music recorded in the second storage medium based on a time measurement result by the time measuring means and two events that are temporally before and after these events. Event output means for outputting the event each time a time determined by the delta time in the second music data including the delta time arrives;
Automatic performance control means for supplying the event output from the event output means to automatic performance means;
The first audio data read timing is adjusted based on the time difference between the time corresponding to the musical sound time code output from the time code conversion means and the time corresponding to the time measurement result of the time measurement means. Timing adjustment means;
The timing at which the event is output from the event output means to the automatic performance control means includes a time corresponding to the musical time code output from the time code conversion means and a time corresponding to the time measurement result of the time measuring means. Second timing adjustment means for adjusting based on the time difference, and when the time difference exceeds a predetermined allowable range, by adding or subtracting the time corresponding to the time difference to the delta time, And a second timing adjusting means for adjusting the timing at which the event is output by the event output means.
前記スレーブ装置は、前記マスター装置による前記映像データの再生と当該スレーブ装置による第１の楽曲データ及び第２の楽曲データとの同期再生に先立ち、前記第１の楽曲データを前記第３の記憶媒体から読み出し、前記記憶手段に格納する同期再生前処理実行手段をさらに具備することを特徴とする請求項１に記載のマルチメディアシステム。The first music data is music data recorded in a third storage medium,
The slave device transmits the first music data to the third storage medium prior to the reproduction of the video data by the master device and the synchronous reproduction of the first music data and the second music data by the slave device. The multimedia system according to claim 1, further comprising a synchronous reproduction pre-processing execution unit that reads from the storage unit and stores it in the storage unit.
前記スレーブ装置は、前記マスター装置による前記記録情報の記録に同期して、前記記憶手段に格納されている第１の楽曲データの再生及び前記第２の記憶媒体に記録されている第２の楽曲データの再生を行うことを特徴とする請求項１に記載のマルチメディアシステム。The master device records recording information including video data and a series of video time codes representing an elapsed time from the recording start of the video data on the first storage medium,
The slave device reproduces the first music data stored in the storage means and the second music recorded in the second storage medium in synchronization with the recording of the recording information by the master device. The multimedia system according to claim 1, wherein data is reproduced.
前記スレーブ装置は、
前記記録情報中の映像用タイムコードを取得し、当該映像用タイムコードを楽音用タイムコードに変換するタイムコード変換手段と、
クロックをカウントすることにより計時を行う計時手段と、
前記計時手段による計時結果に基づいて、前記記憶手段に格納されている楽曲を表す第１のオーディオデータと当該楽曲の開始からの経過時間を表す一連のタイムコードとを含む第１の楽曲データ中のタイムコードによって定まる時刻に前記第１のオーディオデータを読み出し、音として出力するための制御を行うオーディオデータ再生制御手段と、
前記第１のオーディオデータの読み出しタイミングを、前記タイムコード変換手段から出力される楽音用タイムコードに対応した時刻と前記計時手段の計時結果に対応した時刻との時間差に基づいて調整するタイミング調整手段と、
楽器の操作状態を検出する検出手段から該操作状態を取得し、取得した該操作状態に応じて楽曲の演奏制御を指示するイベントを生成するイベント生成手段と、
前記イベント生成手段によって前記イベントが生成された場合、前記計時手段による計時結果に対応した時刻に基づいて、時間的に前後した２つのイベント間の時間差であるデルタタイムによって各イベントの実行タイミングを指定するタイミングデータを生成するタイミングデータ生成手段と、
前記タイムコード変換手段から出力される楽音用タイムコードに対応した時刻と、前記計時手段による計時結果に対応した時刻との時間差が所定の許容範囲を超えている場合には、当該時間差に対応する時間を前記デルタタイムに加算又は減算することで、前記タイミングデータを調整するタイミングデータ調整手段と、
前記イベント生成手段によって生成された複数のイベントと前記タイミングデータ調整手段によって調整されたタイミングデータとを含む前記第２の楽曲データを第２の記憶媒体に書き込む書き込み手段と
を具備することを特徴とするマルチメディアシステム。A master device for reading recording information including video data and a series of video time codes representing an elapsed time from the start of recording of the video data from the first storage medium, and reproducing the video data in the recording information; A multimedia system comprising: a slave device that reproduces the first music data and records the second music data stored in the storage means in synchronization with the reproduction of the video data by the master device;
The slave device is
Time code conversion means for obtaining a video time code in the recorded information and converting the video time code into a music time code;
A time measuring means for measuring time by counting clocks;
In the first music data including the first audio data representing the music stored in the storage means and a series of time codes representing the elapsed time from the start of the music, based on the time measured by the time measuring means Audio data reproduction control means for performing control for reading out the first audio data at a time determined by the time code and outputting it as sound;
Timing adjustment means for adjusting the read timing of the first audio data based on the time difference between the time corresponding to the musical sound time code output from the time code conversion means and the time corresponding to the time measurement result of the time measurement means When,
Event generating means for acquiring the operation state from detection means for detecting the operation state of the musical instrument, and generating an event for instructing performance control of the music in accordance with the acquired operation state;
When the event is generated by the event generation means, the execution timing of each event is specified by a delta time that is a time difference between two events that are temporally changed based on the time corresponding to the time measurement result by the time measurement means. Timing data generating means for generating timing data to perform,
If the time difference between the time corresponding to the musical sound time code output from the time code conversion means and the time corresponding to the time measurement result by the time measurement means exceeds a predetermined allowable range, the time difference is handled. Timing data adjusting means for adjusting the timing data by adding or subtracting time to or from the delta time;
And writing means for writing the second music data including a plurality of events generated by the event generation means and the timing data adjusted by the timing data adjustment means to a second storage medium. Multimedia system.
前記スレーブ装置の前記タイムコード変換手段は、前記マスター装置から供給されてくる映像用タイムコードを取得し、当該映像用タイムコードを楽音用タイムコードに変換することを特徴とする請求項５〜７のいずれか１の請求項に記載のマルチメディアシステム。Said master device further records the recording information including the time code for a series of images representing the elapsed time from the start of recording video data and the video data in the first storage medium, the time codes for the video To the slave device,
8. The time code conversion means of the slave device acquires a video time code supplied from the master device, and converts the video time code into a music time code. The multimedia system according to claim 1.
前記記録情報中の映像用タイムコードを楽音用タイムコードに変換するタイムコード変換手段から楽音用タイムコードを受信する受信手段と、
クロックをカウントすることにより計時を行う計時手段と、
前記計時手段による計時結果に基づいて、前記記憶手段に格納されている楽曲を表す第１のオーディオデータと当該楽曲の開始からの経過時間を表す一連のタイムコードとを含む第１の楽曲データ中のタイムコードによって定まる時刻に前記第１のオーディオデータを読み出し、音として出力するための制御を行うオーディオデータ再生制御手段と、
前記計時手段による計時結果に基づいて、前記記憶媒体に記録されている楽曲の演奏制御を指示する複数のイベントと、これらイベントのうち時間的に前後した２つのイベントの間の時間差であるデルタタイムとを含む楽曲データ中のタイミングデータによって定まる時刻に前記イベントを出力するイベント出力手段と、
前記イベント出力手段から出力されてくる前記イベントを自動演奏手段に供給する自動演奏制御手段と、
前記第１のオーディオデータの読み出しタイミングを、前記受信手段によって受信される楽音用タイムコードに対応した時刻と前記計時手段の計時結果に対応した時刻との時間差に基づいて調整する第１のタイミング調整手段と、
前記イベントが前記イベント出力手段から前記自動演奏制御手段へ出力されるタイミングを、前記受信手段によって受信される楽音用タイムコードに対応した時刻と前記計時手段の計時結果に対応した時刻との時間差に基づいて調整する第２のタイミング調整手段であって、前記時間差が所定の許容範囲を超えている場合には、当該時間差に対応する時間を前記デルタタイムに加算又は減算することで、前記イベント出力手段によってイベントが出力される前記タイミングを調整する第２のタイミング調整手段と
を具備することを特徴とする再生装置。In reproduction of the first music data stored in the storage means and in the storage medium in synchronism with reproduction of the recorded information including the video data and a series of video time codes representing the elapsed time from the recording start of the video data A playback device for playing back recorded second music data,
Receiving means for receiving the time code for music from the time code converting means for converting the time code for video in the recorded information into the time code for music;
A time measuring means for measuring time by counting clocks;
In the first music data including the first audio data representing the music stored in the storage means and a series of time codes representing the elapsed time from the start of the music, based on the time measured by the time measuring means Audio data reproduction control means for performing control for reading out the first audio data at a time determined by the time code and outputting it as sound;
A delta time which is a time difference between a plurality of events instructing performance control of the music recorded in the storage medium based on a time measurement result by the time measuring means and two events which are temporally before and after these events. Event output means for outputting the event at a time determined by timing data in music data including:
Automatic performance control means for supplying the event output from the event output means to automatic performance means;
A first timing adjustment for adjusting a read timing of the first audio data based on a time difference between a time corresponding to a musical sound time code received by the receiving means and a time corresponding to a time measurement result of the time measuring means. Means,
The timing at which the event is output from the event output means to the automatic performance control means is the time difference between the time corresponding to the musical time code received by the receiving means and the time corresponding to the time measurement result of the time measuring means. Second timing adjusting means for adjusting based on the time difference, when the time difference exceeds a predetermined allowable range, adding or subtracting the time corresponding to the time difference to the delta time, the event output And a second timing adjusting means for adjusting the timing at which the event is output by the means.
前記記録情報中の映像用タイムコードを楽音用タイムコードに変換するタイムコード変換手段から楽音用タイムコードを受信する受信手段と、
クロックをカウントすることにより計時を行う計時手段と、
前記計時手段による計時結果に基づいて、前記記憶手段に格納されている楽曲を表す第１のオーディオデータと当該楽曲の開始からの経過時間を表す一連のタイムコードとを含む前記第１の楽曲データ中のタイムコードによって定まる時刻に前記第１のオーディオデータを読み出し、音として出力するための制御を行うオーディオデータ再生制御手段と、
前記第１のオーディオデータの読み出しタイミングを、前記受信手段によって受信される楽音用タイムコードに対応した時刻と前記計時手段の計時結果に対応した時刻との時間差に基づいて調整するタイミング調整手段と、
楽器の操作状態を検出する検出手段から該操作状態を取得し、取得した該操作状態に応じて楽曲の演奏制御を指示するイベントを生成するイベント生成手段と、
前記イベント生成手段によって前記イベントが生成された場合、前記計時手段による計時結果に対応した時刻に基づいて、時間的に前後した２つのイベント間の時間差であるデルタタイムによって各イベントの実行タイミングを指定するタイミングデータを生成するタイミングデータ生成手段と、
前記受信手段によって受信される楽音用タイムコードに対応した時刻と、前記計時手段による計時結果に対応した時刻との時間差が所定の許容範囲を超えている場合には、当該時間差に対応する時間を前記デルタタイムに加算又は減算することで、前記タイミングデータを調整するタイミングデータ調整手段と、
前記イベント生成手段によって生成された複数のイベントと前記タイミングデータ調整手段によって調整されたタイミングデータとを含む前記第２の楽曲データを記憶媒体に書き込む書き込み手段と
を具備することを特徴とする再生記録装置。Reproduction of the first music data stored in the storage means and second reproduction in synchronism with the reproduction of the recorded information including the video data and a series of video time codes representing the elapsed time from the recording start of the video data. A reproduction recording apparatus for recording music data,
Receiving means for receiving the time code for music from the time code converting means for converting the time code for video in the recorded information into the time code for music;
A time measuring means for measuring time by counting clocks;
The first music data including first audio data representing the music stored in the storage means and a series of time codes representing the elapsed time from the start of the music based on the time measured by the time measuring means. Audio data reproduction control means for performing control for reading out the first audio data at a time determined by the time code therein and outputting it as sound;
Timing adjusting means for adjusting the read timing of the first audio data based on the time difference between the time corresponding to the musical time code received by the receiving means and the time corresponding to the time measurement result of the time measuring means;
Event generating means for acquiring the operation state from detection means for detecting the operation state of the musical instrument, and generating an event for instructing performance control of the music in accordance with the acquired operation state;
When the event is generated by the event generation means, the execution timing of each event is specified by a delta time that is a time difference between two events that are temporally changed based on the time corresponding to the time measurement result by the time measurement means. Timing data generating means for generating timing data to perform,
When the time difference between the time corresponding to the musical sound time code received by the receiving means and the time corresponding to the time measurement result by the time measuring means exceeds a predetermined allowable range, the time corresponding to the time difference is set. Timing data adjusting means for adjusting the timing data by adding or subtracting to the delta time;
And a writing unit for writing the second music data including a plurality of events generated by the event generating unit and the timing data adjusted by the timing data adjusting unit to a storage medium. apparatus.
前記受信手段は、前記映像データと当該映像データの記録開始からの経過時間を表す一連の映像用タイムコードとを含む記録情報が記録される際に供給されてくる当該映像用タイムコードを楽音用タイムコードに変換するタイムコード変換手段から、前記楽音用タイムコードを受信することを特徴とする請求項１１に記載の再生記録装置。The playback / recording apparatus stores the first information stored in the storage unit in synchronization with recording of recording information including video data and a series of video time codes representing an elapsed time from the recording start of the video data . Further reproduction of the music data and recording of the second music data,
The reception means uses the video time code supplied when recording information including the video data and a series of video time codes indicating the elapsed time from the recording start of the video data to be recorded. 12. The playback / recording apparatus according to claim 11 , wherein the time code for music is received from a time code converting means for converting to a time code .
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002007871A JP3915517B2 (en) | 2002-01-16 | 2002-01-16 | Multimedia system, playback apparatus and playback recording apparatus |
| US10/339,854 US7897865B2 (en) | 2002-01-15 | 2003-01-10 | Multimedia platform for recording and/or reproducing music synchronously with visual images |
| CNB03136683XA CN100339908C (en) | 2002-01-15 | 2003-01-15 | Multi-medium platform for synchronous recording with visible image and/or reproducing music |
| EP03000880A EP1341153B1 (en) | 2002-01-15 | 2003-01-15 | Multimedia platform for recording and /or reproducing music synchronously with visual images |
| US11/860,443 US8378199B2 (en) | 2002-01-15 | 2007-09-24 | Multimedia platform for recording and/or reproducing music synchronously with visual images |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002007871A JP3915517B2 (en) | 2002-01-16 | 2002-01-16 | Multimedia system, playback apparatus and playback recording apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003208169A JP2003208169A (en) | 2003-07-25 |
| JP3915517B2 true JP3915517B2 (en) | 2007-05-16 |
Family
ID=27646277
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002007871A Expired - Fee Related JP3915517B2 (en) | 2002-01-15 | 2002-01-16 | Multimedia system, playback apparatus and playback recording apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3915517B2 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7332666B2 (en) | 2004-08-05 | 2008-02-19 | Yamaha Corporation | Performance control system, performance control apparatus, performance control method, program for implementing the method, and storage medium storing the program |
| IL165817A0 (en) | 2004-12-16 | 2006-01-15 | Samsung Electronics U K Ltd | Electronic music on hand portable and communication enabled devices |
| JP5119932B2 (en) * | 2008-01-11 | 2013-01-16 | ヤマハ株式会社 | Keyboard instruments, piano and auto-playing piano |
| DE102014115148A1 (en) * | 2014-10-17 | 2016-04-21 | Mikme Gmbh | Synchronous recording of audio via wireless data transmission |
-
2002
- 2002-01-16 JP JP2002007871A patent/JP3915517B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003208169A (en) | 2003-07-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4403658B2 (en) | Music data output device and music data output method | |
| EP1341153B1 (en) | Multimedia platform for recording and /or reproducing music synchronously with visual images | |
| JP5733321B2 (en) | Automatic performance device | |
| JP5103980B2 (en) | Processing system, audio reproducing apparatus, and program | |
| JP3835324B2 (en) | Music playback device | |
| JP3885587B2 (en) | Performance control apparatus, performance control program, and recording medium | |
| JP3823855B2 (en) | Recording apparatus, reproducing apparatus, recording method, reproducing method, and synchronous reproducing system | |
| JPWO2012095949A1 (en) | Performance system | |
| JP2009168911A (en) | Keyboard instrument, piano, and automatic player piano | |
| JP2004233698A (en) | Device, server and method to support music, and program | |
| JP4539594B2 (en) | Playback recording device | |
| JP3915517B2 (en) | Multimedia system, playback apparatus and playback recording apparatus | |
| JP3867580B2 (en) | Music playback device | |
| JP7367835B2 (en) | Recording/playback device, control method and control program for the recording/playback device, and electronic musical instrument | |
| JP4110807B2 (en) | Program for realizing synchronization adjustment apparatus and synchronization adjustment method | |
| JP3804536B2 (en) | Musical sound reproduction recording apparatus, recording apparatus and recording method | |
| JP3867579B2 (en) | Multimedia system and playback apparatus | |
| JP2004085609A (en) | Apparatus and method for performing synchronous reproduction of audio data and performance data | |
| JP5338312B2 (en) | Automatic performance synchronization device, automatic performance keyboard instrument and program | |
| JP3969249B2 (en) | Apparatus and method for synchronous reproduction of audio data and performance data | |
| JP4063048B2 (en) | Apparatus and method for synchronous reproduction of audio data and performance data | |
| JP2005107285A (en) | Musical piece reproducing apparatus | |
| JP4905207B2 (en) | Playback apparatus and program | |
| JP4158443B2 (en) | Playback control device and program | |
| EP1073055A2 (en) | Apparatus and method for reproducing audio information |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040805 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060421 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060516 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060718 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060919 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061025 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070116 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070129 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3915517 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313532 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110216 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120216 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130216 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140216 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |