JP3867579B2 - マルチメディアシステム及び再生装置 - Google Patents
マルチメディアシステム及び再生装置 Download PDFInfo
- Publication number
- JP3867579B2 JP3867579B2 JP2002006634A JP2002006634A JP3867579B2 JP 3867579 B2 JP3867579 B2 JP 3867579B2 JP 2002006634 A JP2002006634 A JP 2002006634A JP 2002006634 A JP2002006634 A JP 2002006634A JP 3867579 B2 JP3867579 B2 JP 3867579B2
- Authority
- JP
- Japan
- Prior art keywords
- time
- data
- event
- timing
- controller
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Electrophonic Musical Instruments (AREA)
Description
【発明の属する技術分野】
本発明は、映像データの再生若しくは映像データの記録に同期して、楽曲データの再生若しくは記録を行うマルチメディアシステム、再生装置及び記録装置に関する。
【0002】
【発明が解決しようとする課題】
近年、ピアノ演奏等の楽器演奏を嗜好するユーザ達の間では、コンサート会場等の風景に応じた映像データを記録したビデオテープ(以下、VT)等をビデオカメラによって再生し、液晶ディスプレイ等のモニタにコンサート会場等の映像を表示させると共に、ユーザが該モニタに表示される映像を見ながら自動ピアノ等を演奏し、演奏に応じた楽曲データ(例えば、MIDI(Musical Instruments Digital Interface)規格に準拠したデータ)をフロッピーディスク(以下、FD)等の記憶媒体に記録し、後に両データを同期再生することで演奏の妙を楽しみたいとの要望がある。また、ビデオカメラによって演奏風景をVTに記録しながら、該自動ピアノの演奏に応じた楽曲データをFDにし、後に両データを同期再生することで演奏の妙を楽しみたいとの要望等もある。
しかしながら、かかる要望に応えるマルチメディアシステムは、未だ提供されていないのが現状である。
【0003】
本発明は、以上説明した事情を鑑みてなされたものであり、映像データの再生若しくは映像データの記録に同期して、楽曲データの再生若しくは記録を行うことが可能なマルチメディアシステム、再生装置及び記録装置を提供することを目的とする。
【0004】
【課題を解決するための手段】
この発明は、映像データと当該映像データの記録開始からの経過時間を表す一連の映像用タイムコードとオーディオデータとを含む記録情報を第1の記憶媒体から読み出し、当該記録情報中の映像データを再生するマスター装置と、前記マスター装置による前記映像データの再生に同期して第2の記憶媒体に記録されている楽曲データの再生を行うスレーブ装置とを具備するマルチメディアシステムであって、前記マスター装置は、前記記録情報中の映像データを再生すると共に、前記記録情報中のオーディオデータを前記スレーブ装置に出力し、前記スレーブ装置は、前記記録情報中の映像用タイムコードを取得し、当該映像用タイムコードを楽音用タイムコードに変換するタイムコード変換手段と、クロックをカウントすることにより計時を行う計時手段と、前記計時手段による計時結果に基づいて、前記第2の記憶媒体に記録されている楽曲の演奏制御を指示する複数のイベントと各イベントの実行タイミングを指定するタイミングデータとを含む楽曲データ中のタイミングデータによって定まる時刻に前記イベントを出力するイベント出力手段と、与えられたイベントを自動演奏手段に供給するコントローラと、前記イベント出力手段から出力されるイベントを前記コントローラに与えるタイミングを調整するタイミング調整手段であって、前記タイムコード変換手段から出力される楽音用タイムコードに対応した時刻と前記計時手段の計時結果に対応した時刻との時間差に基づいて前記タイミングを調整するタイミング調整手段とを具備し、前記コントローラは、前記マスター装置から出力されてくる前記オーディオデータを記憶手段に記憶する手段と、前記第2の記憶媒体に記録されている基準ピッチに関する情報を取得する一方、前記自動演奏手段の基準ピッチを検出し、両者の基準ピッチの音程差を求める手段と、前記タイミング調整手段によって調整されたタイミングで与えられたイベントを前記自動演奏手段に供給すると共に、前記記憶手段に記憶されたオーディオデータを、求められた音程差に応じた読み出し速度で読み出し、読み出したオーディオデータを音として出力するための制御を行う手段とを具備することを特徴とする。
【0005】
かかる構成によれば、第2の記憶媒体から読み出されたイベントが自動演奏に用いられるタイミングが、タイムコード変換手段から出力される楽音用タイムコードに対応した時刻と計時手段の計時結果に対応した時刻との時間差に基づいて調整される。この調整により、マスター装置による映像データの再生とスレーブ装置による楽曲データの再生の時間的なずれが抑えられる。
【0006】
前記スレーブ装置は、楽器の操作状態を検出する検出手段から該操作状態を取得し、取得した該操作状態に応じて楽曲の演奏制御を指示するイベントを生成するイベント生成手段と、前記イベント生成手段によって前記イベントが生成された場合、前記計時手段による計時結果に対応した時刻に基づいて当該イベントの実行タイミングを指定するタイミングデータを生成するタイミングデータ生成手段と、前記記録情報に含まれるオーディオデータの基準ピッチを取得する取得手段と、前記イベント生成手段によって生成された複数のイベントと、前記タイミングデータ調整手段によって調整されたタイミングデータとを含む前記楽曲データと、前記取得手段によって取得された基準ピッチに関する情報とを前記第2の記憶媒体に書き込む書き込み手段とを具備するようにしてもよい。
【0007】
かかる構成によれば、第2の記憶媒体に書き込まれる演奏制御を指示するイベントの実行タイミングを指定するタイミングデータが、タイムコード変換手段から出力される楽音用タイムコードに対応した時刻と計時手段の計時結果に対応した時刻との時間差に基づいて調整される。この調整により、マスター装置による映像データの再生とスレーブ装置による楽曲データの記録の時間的なずれが抑えられる。
【0008】
前記スレーブ装置は、楽器の操作状態を検出する検出手段から該操作状態を取得し、取得した該操作状態に応じて楽曲の演奏制御を指示するイベントを生成するイベント生成手段と、前記タイムコード変換手段から出力される楽音用タイムコードに対応した時刻と前記計時手段による計時結果に対応した時刻との時間差に基づいて、前記計時結果に対応した時刻を調整する計時時刻調整手段と、前記イベント生成手段によって前記イベントが生成された場合、前記計時時刻調整手段によって調整された時刻に基づいて当該イベントの実行タイミングを指定するタイミングデータを生成するタイミングデータ生成手段と、前記記録情報に含まれるオーディオデータの基準ピッチを取得する取得手段と、前記イベント生成手段によって生成されたイベントと、前記タイミングデータ生成手段によって生成されたタイミングデータとを含む楽曲データと、前記取得手段によって取得された基準ピッチに関する情報とを前記第2の記憶媒体に書き込む書き込み手段とを具備するようにしてもよい。
【0009】
かかる構成によれば、第2の記憶媒体に書き込まれる演奏制御を指示するイベントの実行タイミングを指定するタイミングデータが、タイムコード変換手段から出力される楽音用タイムコードに対応した時刻と計時手段の計時結果に対応した時刻との時間差に基づいて調整される。この調整により、マスター装置による映像データの再生とスレーブ装置による楽曲データの記録の時間的なずれが抑えられる。
【0010】
【発明の実施の形態】
A.第1の実施形態
図1はこの発明の第1実施形態であるマルチメディアシステム600の構成を示すブロック図である。
本実施形態に係るマルチメディアシステム600は、以下に詳述するが、同期を保った状態でVTに格納されている映像データ、オーディオデータの再生と、FDに対するユーザの演奏に基づくMIDIデータの記録とが可能なシステムである。
【0011】
図1において、ビデオカメラ100は、記録部110と、再生部120と、操作部130とを具備している。
記録部110は、操作部130を介して入力される指示に従って演奏風景や種々の演奏音(ユーザと一緒に演奏しているヴァイオリン演奏音等)等を当該ビデオカメラ100に装着したVTに記録する役割を担っている。かかる記録部110は、映像風景を映像データとしてVTの映像トラックに記録する録画手段111と、演奏音をオーディオデータとしてVTの楽音トラックに記録する録音手段112と、VTに対して映像データの記録開始からの経過時間を表す一連の映像用タイムコード(例えば、RCタイムコード等)を付加するタイムコード付加手段113とを具備している。
【0012】
再生部120は、操作部130を介して入力される指示に従ってVTに既に記録されている映像データやオーディオデータなどの記録情報を再生する役割を担っている。再生部120は、操作部130を介して再生指示を受け取ると、VTの映像トラックに記録されている映像データを読み出し、これをLCD(Liquid Crystal Display)、CRT(Cathode Ray Tube)等のモニタ121に供給し、映像として表示させると共に、VTの楽音トラックに記録されているオーディオデータを読み出し、後述するコントローラ3へ供給する。さらに、再生部120は、映像データ及びオーディオデータの読み出しに応じてVTに付加されている映像用タイムコードを読み出し、これをタイムコード変換器200へ送出する。なお、本実施形態においては、この映像用タイムコードを出力するビデオカメラ100がマスターとして機能し、当該ビデオカメラ100からタイムコード変換器200を介して楽音用タイムコードを受け取る種々の装置(FD記録装置8等)がスレーブとして機能する。
【0013】
タイムコード変換器200は、例えばケーブル等によってビデオカメラ100に接続され、該ビデオカメラ100から順次供給される映像用タイムコードを楽音用タイムコード(MIDIタイムコード;以下、適宜、MTCという)に変換し、変換後のMTCをコントローラ3へ供給する。
【0014】
コントローラ3は、操作部4を介して与えられる指示に従って、このシステム全体の制御を行う。コントローラ3によって行われる各種の制御のうち本発明と最も関連が深いのは、ビデオカメラ100による映像データの再生に同期してユーザによるピアノ演奏音等を記録(以下、同期記録という)する場合の記録制御である。このコントローラ3は、タイムコード変換器200からMTCを受け取る度に、そのタイムコードをFD記録装置8に送る。また、コントローラ3は、MIDIイベント生成回路14からMIDIイベント等(後述)を受け取ると、このMIDIイベント等をFD記録装置8に送る。さらに、コントローラ3は、ビデオカメラ100から供給されるオーディオデータに基づいてアナログオーディオ信号を生成してミキサ5に送る。なお、これらの手段については後述する。
【0015】
自動ピアノ10は、ユーザによる鍵操作に応じて打弦により機械的なピアノ音を発生する楽音発生機構を備えるほか、ユーザによる鍵操作を検出し、検出結果に応じて電子的なピアノ音を発生する楽音発生機構も備えている。かかる自動ピアノ10は、ピアノ11と、キーセンサ12と、ペダルセンサ13と、MIDIイベント生成回路14と、ピアノ音源15とを有している。
キーセンサ12及びペダルセンサ13は、それぞれピアノ11に配設された複数の鍵及び複数のペダル(ソステヌートペダル等)の各々に対応して設けられ、鍵及びペダルを押したときの強さ、深さなどを検出し、検出した鍵若しくはペダルを特定するキー番号若しくはペダル番号、ベロシティー情報(押鍵強度等に対応したデータ)等を含む検出結果をMIDIイベント生成回路14に供給する。
【0016】
MIDIイベント生成回路14は、コントローラ3による制御の下、キーセンサ12及びペダルセンサ13から供給される検出結果に基づいてMIDIイベントを生成する。ここで、MIDIイベントは、発音又は消音すべき旨を示すノートオン・ノートオフ情報と、発音すべき音の高さを示すノートナンバ情報と、発音の強弱を示すベロシティ情報等によって構成されている。MIDIイベント生成回路14は、上記検出結果に基づいて、例えば「ドの音(ノートナンバ)を強さ10(ベロシティ)で発音(ノートオン)せよ」といった演奏制御を指示するイベントの一種であるMIDIイベントを生成し、かかるMIDIイベントをコントローラ3及びピアノ音源15に供給する。
【0017】
ピアノ音源15は、MIDIイベント生成回路14から供給されるイベントにより指示されたピアノ音のアナログオーディオ信号を電子的に生成する装置である。このピアノ音源15により生成されたアナログオーディオ信号は、ミキサ5へ出力される。
ミキサ5は、コントローラ3、ピアノ音源15から出力される各アナログ信号を混合して出力する装置である。このミキサ5の出力信号は、アンプ6によって増幅され、スピーカ7から音として出力される。
【0018】
FD記録装置8は、モニタ121に表示される映像、すなわちビデオカメラ100による映像データの再生に併せてユーザが自動ピアノ10を演奏したときの演奏音をFDに記録する装置であり、コントローラ3による制御の下、該コントローラ3から供給されるビデオカメラ100によって再生されているVTを識別するための識別情報(V−ID)、MIDIイベント等を含むSMF(Standard MIDI File)を作成する機能を有している。ここで、SMFは、図2に示すように、ヘッダチャンクHTとトラックチャンクTTによって構成されている。ヘッダチャンクHTには、SMFの基本的な情報(チャンクタイプ等)が格納されるほか、V−IDなどの同期記録の際に再生されたVTを識別するための識別情報が格納される。トラックチャンクTTには、MIDIデータが格納される。MIDIデータは、同図に示すように、演奏制御等を指示するイベントと、先行するイベントと後発のイベントとの発生時間間隔を示すデルタタイムからなる時系列の楽曲データである。ここで、MIDIデータを構成するイベントは、MIDIイベント生成回路14において生成されるMIDIイベントや、コントローラ3において生成されるSysExイベント、メタイベントによって構成されている。
【0019】
かかるSMFの作成・記録を行うFD記録装置8は、コントローラ3から同期記録の開始指令を受け取ると、計時手段(後述)を用いて時刻の計時を開始する。そして、FD記録装置8は、コントローラ3からイベントを受け取る毎に、計時手段によって計時された時刻等を参照してデルタタイムを求め、イベントとデルタタイムからなるMIDIデータを順次作成する。ここで、本実施形態に係るFD記録装置8は、ビデオカメラ100による映像データの再生に同期して自動ピアノ10の演奏音を記録すべく、上記計時手段によって計時された時刻とコントローラ3から供給されるMTCに示される時刻との間に生じたずれに応じて先行するイベントと後発のイベントとの発生時間間隔を示すデルタタイムの値を適宜調整する機能を備えている。以下、かかる種々の機能を備えたFD記録装置8の構成について、図3を参照しながら説明する。
【0020】
図3は、FD記録装置8に設けられた制御回路の構成を説明するためのブロック図である。この図3に示された制御回路は、上述したSMFを作成し、これをFDに記録する機能と、計時手段220によって計時された時刻とコントローラ3から供給されるMTCに示される時刻との間に生じたずれを補正する機能とを営むものである。
クロック生成手段210は、コントローラ3内に設けられ、水晶振動子とアンプとにより構成された発振回路(いずれも図示略)を備えている。このコントローラ3内に設けられたクロック生成手段210は、発振回路から出力される発振信号を適宜分周してタイミング制御用の各種のクロック(本発明に特に関連の深いクロックは、テンポクロックCTである)を発生する手段である。クロック発生手段210は、このように生成したテンポクロックCTを制御回路の計時手段220に順次供給する。
【0021】
計時手段220は、加算器221及び経過時間レジスタ222によって構成され、この加算器221及び経過時間レジスタ222によりテンポクロックCTが与えられるたびに「+1」の加算を行う累算器が構成される。加算器221は、経過時間レジスタ222の格納データと固定値「+1」とを加算して出力する。経過時間レジスタ222には、同期記録が開始されたとき初期値「0」が書き込まれ、以後、当該経過時間レジスタ222にテンポクロックCTが与えられる度に、加算器221の出力データ、すなわち当該時点における経過時間レジスタ222の格納データと「+1」との加算結果が書き込まれる。この経過時間レジスタ222の出力データNは、同期記録開始以後の経過時間を表す経過時間データとして利用される。
【0022】
SMF作成・書き込み制御手段250は、コントローラ3による制御の下、SMFを作成する機能や作成したSMFをFD記録装置8に装着されたFDに書き込む機能などを備えている。このSMF作成・書き込み制御手段250は、MIDIイベント生成回路14等によって生成された種々のイベント(MIDIイベント等)をコントローラ3から受け取ると、デルタタイム生成手段240にデルタタイムを生成すべき指令を送る。
【0023】
デルタタイム生成手段240は、デルタタイムを生成すべき指令を受け取ると、デルタタイムを生成し(詳細は後述)、これをSMF作成・書き込み制御手段250に返す。SMF作成・書き込み制御手段250は、デルタタイム生成手段240から受け取ったデルタタイムとコントローラ3から受け取ったイベントによって構成されたMIDIデータをトラックチャンクTT(図2参照)に格納する一方、コントローラ3から供給される再生されたVTを識別するための識別情報(V−ID)をヘッダチャンクHT(図2参照)に格納してSMFを作成し、これをFD記録装置2に装着されたFDに書き込む。
【0024】
デルタタイム生成手段240は、前回経過時間レジスタ241と、補正値レジスタ242とを備え、SMF作成・書き込み制御手段250からの指令に基づき、デルタタイムを生成する。
前回経過時間レジスタ241には、前回、SMF作成・書き込み制御手段250からデルタタイムを生成すべき指令を受け取ったときに計時手段220から取得した経過時間データ(便宜上、Nfと記す)が保持される。この前回経過時間レジスタ241には、同期記録が開始されたとき、初期値「0」が書き込まれる。
【0025】
補正値レジスタ242には、デルタタイム調整手段230において生成されるデルタタイムの補正値Rが保持される。詳しくは後述するが、本実施形態においては、この補正値Rを適宜設定することで、計時手段220によって計時された時刻とコントローラ3から供給されるタイムコードに示される時刻との間に生じたずれを補正する。この補正値レジスタ242には、同期記録が開始されたとき、初期値「0」が書き込まれる。
【0026】
デルタタイム生成手段240は、SMF作成・書き込み制御手段250からデルタタイムを生成すべき指示を受け取ると、計時手段220から経過時間レジスタ222に格納されている現時点における経過時間データNを取得した後、前回経過時間レジスタ241に保持されている経過時間データNf(前回、SMF作成・書き込み制御手段250からデルタタイムを生成すべき指示を受け取ったときに計時手段220から取得した経過時間)を読み出し、経過時間データNから経過時間データNfを減算する。そして、デルタタイム生成手段240は、補正値レジスタ242に保持されているデルタタイムの補正値Rを読み出し、この補正値Rと上記減算結果N−Nfとを加算し、加算結果N−Nf+Rを調整後のデルタタイムとして、SMF作成・書き込み制御手段250に返す。そして、デルタタイム生成手段240は、前回経過時間レジスタ241に格納されている経過時間データを、今回新たに計時手段220から取得した経過時間データへ更新する。
【0027】
デルタタイム調整手段230は、VTの再生と同期して記録を行うべく、計時手段220によって計時された時刻とコントローラ3から供給されるMTCに示される時刻との間に生じたずれに応じて、先行するイベントと後発のイベントとの発生時間間隔を示すデルタタイムの値を適宜調整する。
【0028】
図4は、デルタタイム調整手段230によって実行されるデルタタイム調整処理を示すフローチャートである。デルタタイム調整手段230は、ステップS1において、コントローラ3から「0」より大きなMTCが与えられると、これを第1の記録時間データTCDとし、ステップS2に進む。デルタタイム調整手段230は、ステップS2に進むと、計時手段220から当該時点における経過時間データNを取得し、取得した経過時間データNにテンポクロックCTの周期τを乗算し、第2の記録時間データTFD(=N*τ)を求める。この第2の記録時間データTFDは、同期記録を開始してから現在に至るまでの経過時間を表している。次に、デルタタイム調整手段230は、第1の記録時間データTCDと第2の記録時間データTFDの差分の絶対値|TCD−TFD|が予め設定された所定の許容範囲Δに収まっているか否かを判断する(ステップS3)。デルタタイム調整手段230は、第1の記録時間データTCDと第2の記録時間データTFDとの差分の絶対値が所定の許容範囲Δに収まっていると判断すると(ステップS3;YES)、デルタタイムの補正値Rとして補正値レジスタ244に「0」を書き込み(ステップS4)、デルタタイム調整処理を終了する。
【0029】
一方、デルタタイム調整手段230は、第1の記録時間データTCDと第2の記録時間データTFDの差分の絶対値|TCD−TFD|が所定の許容範囲Δを越えていると判断すると、第1の記録時間データTCDが第2の記録時間データTFDよりも大きいかどうかを判断する(ステップS5)。第1の記録時間データTCDが第2の記録時間データTFDよりも大きい場合、計時手段220によって計時されている時刻は、コントローラ3から供給されるMTCに示される時刻よりも遅れているといえる。デルタタイム調整手段230は、第1の記録時間データTCDが第2の記録時間データTFDよりも大きいと判断すると(ステップS5;YES)、かかる時刻ずれをデルタタイムを減少させることで補正すべく、第2の記録時間データTFDと第1の記録時間データTCDの差分を求め、求めた差分TFD−TCD(<0)をテンポクロックCTの周期τによって除算し、この除算結果(TFD−TCD)/τを、デルタタイムの補正値Rとして図3に示す補正値レジスタ244に書き込み(ステップS6)、デルタタイム調整処理を終了する。なお、この場合、補正値レジスタ244に書き込まれるデルタタイムの補正値Rは負の値となる。
【0030】
一方、第1の記録時間データTCDが第2の記録時間データTFDよりも小さい場合、計時手段220によって計時されている時刻は、コントローラ3から供給されるMTCに示される時刻よりも進んでいるといえる。デルタタイム調整手段230は、第1の記録時間データTCDが第2の記録時間データTFDよりも小さいと判断すると(ステップS5;NO)、かかる時刻ずれをデルタタイムを増加させることで補正すべく、第2の記録時間データTFDと第1の記録時間データTCDとの差分を求め、求めた差分TFD−TCD(>0)をテンポクロックCTの周期τによって除算し、この除算結果(TFD−TCD)/τを、デルタタイムの補正値Rとして図3に示す補正値レジスタ244に書き込み(ステップS7)、デルタタイム調整処理を終了する。なお、この場合、補正値レジスタ244に書き込まれるデルタタイムの補正値Rは正の値となる。
以上が本実施形態に係るマルチメディアシステム600の詳細である。以下、図5を参照しながら、マルチメディアシステム600の動作について詳細に説明する。
【0031】
図5は本実施形態に係るマルチメディアシステム600の動作を示すタイムチャートである。さらに詳述すると、図5には、あるVTに格納された映像データの再生に同期してユーザのピアノ演奏等に応じた楽曲データの記録を行う場合を例に、VTからタイムコード変換器200を介して出力される楽音用タイムコード(MTC)、VTから読み出される映像データ、VTから読み出されるオーディオデータ、コントローラ3から出力されるオーディオデータ、FD記録装置8の計時手段220による計時時刻、及びMIDIイベント生成回路14において生成されるMIDIイベントME−n(n=1、2、〜)が時系列的に示されている。この図5において、p[k](k=0、0.25、0.5、〜)及びa[k](k=0、0.25、0.5、〜)は、それぞれ映像データの再生開始時刻を0秒とした場合に、k秒からk+1秒の区間内の部分の映像データ及びオーディオデータである。また、r[k](k=0、0.25、0.5、〜)は、映像データの再生開始時刻を0秒とした場合に、k秒経過した時点における計時手段220による計時時刻である。ここで、上記楽音用タイムコード(MTC)は、本来1sec/30程度の間隔でタイムコード変換器200から出力されるが、以下の説明では、便宜上、1sec/4(=250msec)の間隔でタイムコード変換器200からMTCが出力される場合を想定する。
【0032】
同期記録を行う際、ユーザは、まず操作部4を操作してFDに対する記録を待機すべき旨の指令(以下、ポーズ指令という)を入力する。コントローラ3は、操作部4を介してかかるポーズ指令を受け取ると、該ポーズ指令をFD記録装置8に転送する。その後、ユーザは、ビデオカメラ110に再生すべきVTを装着し、ビデオカメラ110の操作部130を操作して映像データ等の再生を開始すべき指令を入力する。かかる指令が入力されると、ビデオカメラ100の再生部120は、VTの映像トラックに記録されている映像データp[0]を読み出し、これをモニタ121に供給すると共に、VTの楽音トラックに記録されているオーディオデータa[0]を読み出し、コントローラ3へ供給する。さらに、再生部120は、映像データ及びオーディオデータの読み出しに応じてVTに付加されている映像用タイムコード「0」を読み出し、これをタイムコード変換器200へ送出する。
【0033】
モニタ121は、ビデオカメラ100から受け取った映像データp[0]に従って映像の表示を開始する。一方、コントローラ3は、ビデオカメラ100からオーディオデータa[0]を受け取ると共に、タイムコード変換器200を介して楽音用タイムコード(MTC)「0」を受け取ると、オーディオデータa[0]からアナログオーディオ信号を生成してミキサ5に出力し、音として出力させると共に、MTC「0」及びポーズ状態を解除すべき指令(以下、ポーズ解除指令という)をFD記録装置8に送る。
【0034】
FD記録装置8は、コントローラ3からポーズ解除指令を受け取ると、直ちに計時手段220を利用して時刻の計時を開始する。しかし、FD記録装置8内のデルタタイム調整手段230では、このMTC「0」を利用したデルタタイムの調整は行われない。
その後、さらに250msecが経過すると、ビデオカメラ100からタイムコード変換器200を介してMTC「0.25」が出力される。このとき、デルタタイム調整手段230では、「0」より大きなMTCが供給されたことから、上述したデルタタイムの調整が行われる。
【0035】
このように、ビデオカメラ100に映像データ等の再生を開始すべき指令が入力されると、直ちに映像データの再生とFD記録装置8による演奏音の記録が開始される。そして、さらに250msec経過すると、デルタタイム調整手段230は、計時手段220によって計時された時刻とコントローラ3から供給されるMTCに示される時刻との間に生じたずれに応じて図4に示すデルタタイム調整処理を開始する。そして、以後は、MTCがコントローラ3から供給される度に、デルタタイム調整手段230は上述したデルタタイムの調整を行う。その後、例えば図5に示すように計時手段220による計時時刻r[1.0]、r[1.5]、r[2.0]においてMIDIイベントME−1、−2、−3が生成され、各MIDIイベントに対応するデルタタイムが生成されると、これらがSMF作成・書き込み制御手段250に供給される。
【0036】
SMF作成・書き込み制御手段250は、MIDIイベントME−1、−2、−3及び各MIDIイベントに対応するデルタタイムを受け取ると、各MIDIイベント及び各デルタタイムを含むMIDIデータをSMFのトラックチャンクTTに格納する。その後、操作部4を介して同期記録を終了すべき指令が入力されると、コントローラ3は、再生されたVTを識別するための識別情報(V−ID)をSMF作成・書き込み制御手段250ヘ供給する。SMF作成・書き込み制御手段250は、該識別情報(V−ID)をヘッダチャンクHT(図2参照)に格納し、該ヘッダチャンクHT及びトラックチャンクTTによって構成されたSMFをFD記録装置8に装着されたFDに書き込み、処理を終了する。
以上の説明から明らかなように、本実施形態の特徴は、VTからタイムコード変換器200を介して出力されるMTCに基づいて同期記録の時間管理を行う点にある。なお、FDに記録されたMIDIデータと、対応するVTに格納されている映像データとを同期して再生するマルチメディアシステムの構成、動作等については、第2の実施形態において詳細を明らかにする。
【0037】
以上説明したように、本実施形態に係るマルチメディアシステム600によれば、VTの再生に同期してFDにMIDIデータを記録することが可能となる。
【0038】
なお、上述した第1の実施形態では、VTの再生に同期してFDにMIDIデータを記録する場合を例に説明したが、VTの再生ではなく、VTに対する映像データ等の記録に同期してFDにMIDIデータを記録することも可能である。この場合、ビデオカメラ100の記録部110は、VTに映像データ、オーディオデータ、映像用タイムコードを含む記録情報を記録すると共に、該映像用タイムコードを順次タイムコード変換器200に供給する。タイムコード変換器200は、順次供給される映像用タイムコードを楽音用タイムコード(MTC)に変換し、変換後のMTCをコントローラ3へ供給する。なお、VTに対する映像データ等の記録に同期してFDに楽曲データを記録する場合のMTCの出力タイミング、FDに対する楽曲データの記録開始タイミング等については、上述した第1の実施形態とほぼ同様に説明することができるため、省略する。このように、VTに対する映像データ等の記録に同期してFDに楽曲データを記録することにより、例えばライブ録画/録音、プロモーション、ショー用の映像付コンテンツを容易に作成することができる。
【0039】
なお、上述した第1の実施形態では、自動ピアノ10を例に説明したが、例えば弦振動を検出する検出機構を備えた電子バイオリン、操作子(ピストン等)の操作状態等を検出する検出機構を備えた電子トランペット等のあらゆる電子楽器に適用可能である。また、電子楽器のみならず、自然楽器(例えば、バイオリン)であっても、かかる自然楽器の操作状態を検出する機構(例えば、弦振動を検出する検出機構等)を設けることで、上記電子楽器と同様に本発明を適用することができる。また、これら電子楽器等のほか、音楽製作ソフト等がインストールされているPC(Personal Computer)など、ユーザの操作状態を検出し、検出結果に応じてMIDIイベントの生成を指示することができる様々な電子機器に適用可能である。すなわち、特許請求の範囲に記載の「楽器」とは、ユーザの操作状態を検出し、検出結果に応じてMIDIイベントの生成を指示することができる様々な機器をいう。
【0040】
また、上述した第1の実施形態では、MIDIデータを記憶する記憶媒体としてFDを例に説明したが、例えばMO(Magneto Optical disk)、メモリースティック等あらゆる記憶媒体に適用可能である。ここで、本発明は、例えばビデオカメラ、FD記録装置、コントローラなど、図1に示す全ての構成要素を含んだ自動ピアノを製造し販売するという態様でも実施され得る。このような自動ピアノによれば、ユーザは、VTに記録された映像データの再生に同期して演奏データ(例えば、ユーザが自動ピアノを演奏することにより得られる演奏データ等)をFDに記録することができる。
【0041】
<変形例1>
上述した第1の実施形態では、VTからタイムコード変換器200を介して出力されるMTCに基づいてデルタタイムを調整することで、計時手段220によって計時された時刻と該MTCに示される時刻との間に生じたずれを抑制した。これに対し、変形例1では、VTからタイムコード変換器200を介して出力されるMTCに基づいて経過時間レジスタ222内の経過時間データNを調整することで、計時手段220によって計時された時刻とコントローラ3から供給されるMTCに示される時刻との間に生じたずれを抑制する。
【0042】
図6は、変形例1に係るFD記録装置8に設けられた制御回路の構成を説明するためのブロック図であり、図7は、経過時間調整手段230’によって実行される経過時間調整処理を示すフローチャートである。なお、図6に示す制御回路は、デルタタイム調整手段230の代わりに経過時間調整手段230’が設けられている点及び補正値レジスタ242が除かれている点を除けば、図3に示す制御回路と同様であるため、対応する部分には同一符号を付し、説明を省略する。また、図7に示す経過時間調整処理は、ステップS4が除かれている点及びステップS6、ステップS7の代わりにそれぞれステップS6’、ステップS7’が設けられている点を除けば、図4に示すデルタタイム調整処理と同様であるため、対応するステップには同一符号を付し、説明を省略する。
【0043】
経過時間調整手段230’は、計時手段220によって計時された時刻とコントローラ3から供給されるMTCに示される時刻との間に生じたずれに応じて経過時間レジスタ222内の経過時間データNを調整する手段である。
経過時間調整手段230’は、コントローラ3から「0」より大きなMTCが与えられ、ステップS1→ステップS2→ステップS3と進むと(図7参照)、第1の記録時間データTCDと第2の記録時間データTFDの差分の絶対値|TCD−TFD|が予め設定された所定の許容範囲Δに収まっているか否かを判断する(ステップS3)。経過時間調整手段230’は、第1の記録時間データTCDと第2の記録時間データTFDとの差分の絶対値が所定の許容範囲Δに収まっていると判断すると(ステップS3;YES)、経過時間レジスタ222内の経過時間データNを調整することなく、経過時間調整処理を終了する。
【0044】
一方、経過時間調整手段230’は、第1の記録時間データTCDと第2の記録時間データTFDの差分の絶対値|TCD−TFD|が所定の許容範囲Δを越えていると判断すると、第1の記録時間データTCDが第2の記録時間データTFDよりも大きいかどうかを判断する(ステップS5)。第1の記録時間データTCDが第2の記録時間データTFDよりも大きい場合、計時手段220によって計時されている時刻は、コントローラ3から供給されるMTCに示される時刻よりも遅れているといえる。経過時間調整手段230’は、第1の記録時間データTCDが第2の記録時間データTFDよりも大きいと判断すると(ステップS5;YES)、第1の記録時間データTCDと第2の記録時間データTFDの差分の絶対値|TCD−TFD|(>0)をテンポクロックCTの周期τによって除算し、この除算結果|TCD−TFD|/τを、経過時間レジスタ222内の経過時間データNに加算し、加算後の経過時間データNを経過時間レジスタ222に書き込み(ステップS6’)、経過時間調整処理を終了する。
【0045】
一方、第1の記録時間データTCDが第2の記録時間データよりも小さい場合、計時手段220によって計時されている時刻は、コントローラ3から供給されるMTCに示される時刻よりも進んでいるといえる。デルタタイム調整手段230は、第1の記録時間データTCDが第2の記録時間データTFDよりも小さいと判断すると(ステップS5;NO)、第1の記録時間データTCDと第2の記録時間データTFDの差分の絶対値|TCD−TFD|(>0)をテンポクロックCTの周期τによって除算し、この除算結果|TCD−TFD|/τを、経過時間レジスタ222内の経過時間データNから減算し、減算後の経過時間データNを経過時間レジスタ222に書き込み(ステップS7’)、経過時間調整処理を終了する。
以上説明した本変形例においても上記第1の実施形態と同様の効果が得られる。
【0046】
B.第2の実施形態
図8は、第2の実施形態に係るマルチメディアシステム700の構成を示す図である。本実施形態に係るマルチメディアシステム700は、VTの再生に同期してMIDIデータを記録する機能を備えるほか、記録されたMIDIデータと対応するVTに格納されている映像データ等を同期して再生する機能を備えている。なお、図8に示すマルチメディアシステム700は、FD再生装置8aが設けられている点及び自動ピアノ10の代わりに自動ピアノ20が設けられている点を除けば、図1に示すマルチメディアシステム600とほぼ同様である。従って、対応する部分には同一符号を付し、上記第1の実施形態と重複する部分については説明を割愛する。
【0047】
コントローラ3は、第1の実施形態において説明した機能を具備するほか、VTとFDの同期再生のための制御を行う機能を備えている。この同期再生の指示が操作部4から与えられた場合、コントローラ3は、この指示に従って、MIDIデータの再生指示をFD再生装置8aに送る。ここで、コントローラ3は、FDに記憶されたMIDIデータを楽曲の先頭から再生すべき指令である場合には、楽曲の先頭から500msec経過後のMIDIデータから読み出しを開始すべき指令をFD再生装置8aに送る。なお、これらの手段については後述する。また、コントローラ3は、ビデオカメラ100からタイムコード変換器200を介して楽音用タイムコード(MTC)が供給される都度、そのMTCをFD再生装置8aに送る。
【0048】
自動ピアノ20は、第1の実施形態において説明した自動ピアノ10としての機能を備えるほか、FDからコントローラ3によって読み出されるMIDIデータに従って自動演奏を行う機能を備えている。かかる自動ピアノ20は、自動ピアノ10の各構成要素(ピアノ11等)を備えるほか、ピアノ電子回路16と、駆動ソレノイド群17とを備えている。
ここで、アンサンブル音源18により自動演奏を行う場合、コントローラ3は、FD再生装置8aから受け取ったイベントをアンサンブル音源18に送る。また、ピアノ音源15またはピアノ11により自動演奏を行う場合、コントローラ3は、FD再生装置8aから受け取ったイベントをピアノ電子回路16に送る。いずれの手段により自動演奏を行うかは、操作部4からの指示に従って決定される。
【0049】
前述したようにアンサンブル音源18により生成されたデジタル楽音信号は、コントローラ3によってアナログ楽音信号に変換され、ミキサ5に送られる。なお、本実施形態に係るミキサ5は、アナログ信号を受け取るアナログ入力ポートとデジタル信号を受け取るデジタル入力ポートの両方を有しており、これらのポートを介して入力される全ての信号をミキシングして出力することができる。従って、アンサンブル音源18から出力されるデジタル楽音信号をコントローラ3を経由することなくミキサ5に直接供給してもよい。
【0050】
ピアノ電子回路16は、コントローラ3からイベントを受け取り、自動演奏のための制御を行う回路である。このピアノ電子回路16は、2通りの方法のうちいずれかにより自動演奏の制御を行う。まず、第1の方法では、コントローラ3から受け取ったイベントをピアノ音源15に送る。前述したように、ピアノ音源15は、イベントにより指示されたピアノ音のアナログオーディオ信号を電子的に生成する装置である。第2の方法では、ピアノ電子回路16は、コントローラ3から受け取ったイベントに従って駆動ソレノイド群17に対する通電制御を行う。この駆動ソレノイド群17は、ピアノ11に設けられた複数の鍵に各々対応した複数のソレノイドと、複数のペダルに各々対応した複数のソレノイドとからなる。ピアノ電子回路16は、ある鍵の押下を指示するイベントをコントローラ3から受け取った場合、その鍵に対応したソレノイドに駆動電流を流し、鍵を押下させるのに必要な磁力をソレノイドにより発生する。離鍵を指示するイベントを受け取った場合も同様である。第1の方法、第2の方法のいずれによりイベントを取り扱うかの指示は、操作部4からコントローラ3に与えられ、コントローラ3はこの指示をピアノ電子回路16に送る。ピアノ電子回路16は、受け取った指示に従う。
【0051】
コントローラ3によってイベントが出力されてから自動演奏音が発生されるまでには遅延があり、その遅延時間はいずれの手段により自動演奏を行うかによって異なる。自動ピアノにより自動演奏を行う場合、コントローラ3がイベントを出力してから自動演奏音が発生するまでに、例えば500msecの時間を要する。そこで、本実施形態では、同期再生の指示が操作部4から与えられ、かつ、自動演奏のための手段として自動ピアノ20が選択されている場合には、次のようにしてVTおよびFDの同期再生を行う。まず、FDの再生を待機すべき旨の指令(すなわち、ポーズ指令)がコントローラ3からFD再生装置8aに送られる。そして、映像データ等の再生すべき指令(すなわち、同期再生を開始すべき指令)がビデオカメラ100に入力されると、ビデオカメラ100からタイムコード変換器200を介してコントローラ3へMTCの供給が開始される。コントローラ3は、前述したように、この時点から500msec経過後のMIDIデータから読み出しを開始すべき指令をFD再生装置8aに送る。このように、FDに格納されている楽曲データの先頭から読み出しを開始するのではなく、500msec経過後のMIDIデータから読み出しを開始することにより、以後、VT内の映像データ等の再生と、FD内のMIDIデータの再生との同期が保たれる。
【0052】
FD再生装置8aは、コントローラ3からの指令に従い、FDからMIDIデータを順次読み出してコントローラ3に供給する。このMIDIデータは、例えばFD記録装置8によりVTの再生に同期して記録されたMIDIデータである(図5参照)。FD再生装置8aは、あるイベントをFDから読み出してコントローラ3に送った後は、そのイベントの後のデルタタイムによって示される時間だけ待機し、後続のイベントの読み出しを行う、という処理を繰り返す。これがFD再生装置8aの基本的な動作である。FD再生装置8aは、以上説明したMIDIデータをFDから読み出す機能(すなわち、シーケンサとしての機能)の他に、この読み出し動作をビデオカメラ100による映像データ等の再生に同期させるタイミング調整機能を有している。以下、かかる種々の機能を備えたFD再生装置8aの構成について、図9を参照しながら説明する。
【0053】
図9は、FD再生装置8aに設けられた制御回路の構成を示すブロック図である。この図9に示された回路は、シーケンサとしての機能とタイミング調整機能とを営むものである。
イベントバッファ302は、FDから読み出されたイベントを格納するバッファである。ここで、1つのデルタタイムの後に2以上の連続したイベントが続くことがあり得る。そのような場合、連続した全てのイベントがFDから読み出され、イベントバッファ302に格納される。デルタタイムレジスタ303は、FDから読み出されたデルタタイムを格納するレジスタである。既に説明したように、このデルタタイムは、相前後した2つのイベント間の経過時間を指定するものである。
【0054】
加算器311およびレジスタ312は、累算器を構成している。この累算器は、FDから順次読み出されてレジスタ303に格納される一連のデルタタイムの累算値を求めるものである。さらに詳述すると、現時点におけるデルタタイムの累算値は、レジスタ312によって保持されるようになっている。また、加算器311は、このレジスタ312に格納された累算値とレジスタ303に格納されているデルタタイムとを加算して、加算結果Mを出力する。このMは、イベントバッファ302に格納された1または複数のイベントをコントローラ3に転送する目標時刻に相当する数値である。従って、以下ではこのMを目標時刻データと呼ぶ。この目標時刻データMにより指定された時刻になると、イベント転送制御手段330からレジスタ303および312に書き込みクロックが供給される。この結果、加算器311の出力データ、すなわち、それまでレジスタ312に格納されていた累算値とレジスタ303に格納されていたデルタタイムとを加えた値が新たな累算値としてレジスタ312に格納される。また、このときFDから読み出された新たなデルタタイムがレジスタ303に格納されるのである。なお、イベント転送制御手段330については後述する。
【0055】
加算器321およびレジスタ322は、テンポクロックCT’が与えられる度に「+1」の累算を行う累算器を構成している。加算器321は、レジスタ322の格納データと固定値「+1」とを加算して出力する。レジスタ322は、FDからのMIDIデータの再生が開始されるとき、初期値が書き込まれる。この初期値は、テンポクロックの周期をτ’とした場合、500msec/τ’となる。以後、レジスタ322には、テンポクロックCT’が与えられる度に、加算器321の出力データ、すなわち、その時点におけるレジスタ322の格納データと「+1」との加算結果が書き込まれる。このレジスタ322の出力データN’は、MIDIデータの再生開始以後の経過時間を表す経過時間データとして利用される。
【0056】
イベント転送制御手段330は、経過時間データN’が目標時刻データMに到達したとき、イベントバッファ202内の1または複数のイベントを読み出して取り込むべき旨の転送指示をコントローラ3に送る。また、このときイベント転送制御手段330は、上述したように書き込みクロックをレジスタ303および312に供給する。前述したように、本実施形態においては、楽曲データの先頭から500msec経過後のMIDIデータから読み出しが開始される。従って、イベント転送制御手段330は、FDからのMIDIデータの生成が開始されるとき、目標時刻データMが500msec/τ’に到達するまでイベント及びデルタタイムの読み出しと、デルタタイムの累算とを繰り返し実行する。
【0057】
タイミング調整手段341は、MIDIデータのイベントのコントローラ3への出力動作をVTからの映像データ等の再生に同期化させるためのタイミング調整を行う回路である。さらに詳述すると、タイミング調整手段341は、コントローラ3から「0」より大きなMTCが与えられると、当該MTCを第1の再生時間データTCD’とし、さらにその時点における経過時間データN’にテンポクロックCT’の周期τ’を乗算し、その乗算結果から500msecを差し引き、第2の再生時間データTFD’=N*τ’−500msecを求める。
【0058】
そして、タイミング調整手段341は、これらの再生時間データTCD’及びTFD’を比較し、比較結果に基づいて次の処理を行う。
a.TCD’とTFD’との差が所定の許容範囲内に収まっている場合
この場合、タイミング調整手段341は、何もしない。
【0059】
b.TCD’>TFD’であり、両者の差が許容範囲を越えている場合
この場合、FDから読み出されたイベントによって現在演奏されている楽曲中の箇所は、VTの再生によって映像が表示されている箇所よりも時間差TCD’−TFD’だけ遅れた箇所であるといえる。そこで、タイミング調整手段341は、時間差TCD’−TFD’をテンポクロックCT’の周期τ’によって除算し、この除算結果(TCD’−TFD’)/τ’をレジスタ303内のデルタタイムから減算し、減算後のデルタタイムをレジスタ303に書き込む。なお、この減算後のデルタタイムは、常に正の値をとるように制御される。すなわち、除算結果(TCD−TFD)/τが大きい場合、レジスタ303内のデルタタイムから除算結果(TCD−TFD)/τをそのまま減算したのでは、減算後のデルタタイムは負の値になってしまう。そこで、レジスタ303内のデルタタイムから該除算結果(TCD−TFD)/τを減算した結果(すなわち、減算後のデルタタイム)が負の値をとる場合には、該デルタタイムが正の値をとり得るよう、例えば除算結果(TCD−TFD)/τを2分割し、分割した一方の除算結果(TCD−TFD)/(τ*2)を当該時点においてレジスタ303に格納されているデルタタイムから減算し、さらに、残りの除算結果(TCD−TFD)/(τ*2)をその後にレジスタ303に格納される後続のデルタタイムから減算するように制御する。かかる処理を実行することで、デルタタイムの値は常に正の値となる。このように、除算結果(TCD−TFD)/τが大きく、レジスタ303内のデルタタイムから除算結果(TCD−TFD)/τをそのまま減算したのでは、減算後のデルタタイムは負の値になってしまう場合には、複数回に分けて(すなわち、連続する複数のデルタタイムの値を適宜変更することで)生じたずれを吸収するようにすれば良い。
これにより以後暫くの間、FDからのイベント読み出しによる自動演奏とVTからの映像データ等の読み出しによる映像表示とが同期状態を保つこととなる。
【0060】
c.TCD’<TFD’であり、両者の差が許容範囲を越えている場合
この場合、FDから読み出されたイベントによって現在演奏されている楽曲中の箇所は、VTの再生によって映像が表示されている箇所よりも時間差TFD’−TCD’だけ進んだ箇所であるといえる。そこで、タイミング調整手段341は、時間差TFD’−TCD’をテンポクロックCT’の周期τ’によって除算し、この除算結果(TFD’−TCD’)/τ’をレジスタ303内のデルタタイムに加算し、加算後のデルタタイムをレジスタ303に書き込む。
以上が本実施形態に係るマルチメディアシステム700の詳細である。以下、図10を参照しながら、マルチメディアシステム700の動作について詳細に説明する。
【0061】
図10は本実施形態に係るマルチメディアシステム700の動作を示すタイムチャートである。さらに詳述すると、図10には、ある映像及び楽曲の先頭からVTおよびFDの同期再生を行う場合を例に、VTからタイムコード変換器200を介して出力される楽音用タイムコード(MTC)、VTから読み出される映像データ、VTから読み出されるオーディオデータ、コントローラ3から出力されるオーディオデータ、FDから読み出されるMIDIデータおよびピアノ11から発生される音が時系列的に示されている。この図10において、p[k](k=0、0.25、0.5、〜)及びa[k](k=0、0.25、0.5、〜)は、それぞれ映像データの再生開始時刻を0秒とした場合に、k秒からk+1秒の区間内の部分の映像データ及びオーディオデータである。また、m[k](k=0、0.25、0.5、〜)は、楽曲の開始時刻を0秒とした場合に、k秒からk+1秒の区間内の部分の演奏制御に用いられるMIDIデータである。ここで、上記楽音用タイムコード(MTC)は、本来1sec/30程度の間隔でタイムコード変換器200から出力されるが、以下の説明では、便宜上、1sec/4(=250msec)の間隔でタイムコード変換器200からMTCが出力される場合を想定する。
【0062】
駆動ソレノイド群17およびピアノ11を利用して自動演奏を行う場合、まずポーズ指令がコントローラ3からFD再生装置8aに送られる。その後、ユーザがビデオカメラ100の操作部130等を操作して同期再生を開始すべき指令を入力すると、ビデオカメラ100からタイムコード変換器200を介してMTCの供給が開始される。コントローラ3は、タイムコード変換器200を介してMTCを受け取ると、この時点から500msec経過後のMIDIデータから読み出しを開始すべき指令をFD再生装置8aに送る。FD再生装置8aは、コントローラ3から該指令を受け取ると、直ちにFDから楽曲の先頭から500msec経過後のMIDIデータMIDIデータを読み出す動作を開始する。この結果、MIDIデータm[0.5]、m[0.75]、〜がFDから順次読み出され、MIDIデータ中のイベントがコントローラ3に転送される。この動作においては、MIDIデータ中のデルタタイムに基づいて、MIDIデータ中のイベントの転送タイミングの制御が行われる。なお、このデルタタイムに基づく転送タイミングの制御は既に説明した通りである。
【0063】
コントローラ3がタイムコード変換器200から受け取ったMTC「0」は、FD再生装置8aに送られる。しかし、FD再生装置8a内のタイミング調整手段341では、このMTC「0」を利用したデルタタイムの調整は行われない。その後、さらに250msecが経過すると、コントローラ3からMTC「0.25」が出力される。このときタイミング調整手段341では、「0」より大きなMTCが供給されたことから、上述したデルタタイムの調整が行われる。そして、以後は、MTCがコントローラ3から供給される度に、上述したデルタタイムの調整が行われる。
【0064】
VTの再生指示が発生すると、直ちに映像データに対応したオーケストラ等の映像及びオーディオデータに対応した歌唱、演奏等が開始される。そして、さらに500msecが経過すると、MIDIデータに対応した演奏が開始される。そして、さらに250msecが経過すると、タイミング調整手段341によりタイミング調整が行われたMIDIデータに対応した演奏が開始される。従って、映像データp[k]、オーディオデータa[k]およびMIDIデータm[k]のうち同期を保った状態で再生されるのは、映像及び楽曲の先頭から750msecだけ経過した時点以降のもの、すなわち、p[0.75]以降の映像データと、a[0.75]以降のオーディオデータと、m[0.75]以降のMIDIデータである。この結果、図5を参照して説明した計時手段220による計時時刻r[1.0]、r[1.5]、r[2.0]において生成されたMIDIイベントを含むMIDIデータm[1.0]、m[1.5]、m[2.0]と、対応するオーディオデータa[1.0]、a[1.5]、a[2.0]及び映像データp[1.0]、p[1.5]、p[2.0]は同期を保った状態で再生される。
【0065】
以上の説明から明らかなように、本実施形態に係る楽音再生記録装置700によれば、VTの再生に同期してMIDIデータを記録するほか、記録されたMIDIデータと対応するVTに格納されている楽曲データを同期して再生することができる。
【0066】
なお、以上説明した同期再生に先だって、コントローラ3がビデオカメラ100からVTの識別情報(V−ID)を受け取ると共に、FD再生装置8aからFDに記録されているSMFのヘッダチャンクHTに格納されているVTの識別情報(V−ID)を受け取り、両者の識別情報が一致しない場合には、FDに記録されているMIDIデータの再生(すなわち、自動演奏)を停止するようにしても良い。かかる構成を採用することで、映像に一致しない自動演奏が行われ、ユーザに不快感を与えてしまうといった問題を未然に防止することができる。
【0067】
また、上述した第2の実施形態では、VTに記録された映像データ、オーディオデータ等とFDに記録されたMIDIデータとを同期して再生する場合を例に説明したが、VTの再生ではなく、VTに対する映像データ等の記録に同期してFDに格納されているMIDIデータの再生を行うことも可能である。この場合、ビデオカメラ100の記録部110は、当該ビデオカメラ100に装着されたVTに映像データ、オーディオデータ、映像用タイムコードを含む記録情報を記録すると共に、該映像用タイムコードを順次タイムコード変換器200に供給する。タイムコード変換器200は、順次供給される映像用タイムコードを楽音用タイムコード(MTC)に変換し、変換後のMTCをコントローラ3へ供給する。なお、VTに対する映像データ等の記録に同期してFDに格納されているMIDIデータを再生する場合のMTCの出力タイミング、MIDIデータの読み出しタイミング等については、上述した第2の実施形態とほぼ同様に説明することができるため、省略する。このように、VTに対する映像データ、オーディオデータ等の記録に同期してFDに格納されているMIDIデータを再生するようにしても良い。
【0068】
ここで、本発明は、例えばビデオカメラ、FD記録装置、FD再生装置、コントローラなど、図8に示す全ての構成要素を含んだ自動ピアノを製造し販売するという態様でも実施され得る。このような自動ピアノによれば、ユーザは、VTに記録された映像データ、オーディオデータ等の再生に同期してMIDIデータ(ユーザが自動ピアノを演奏することにより得られるMIDIデータ等)をFDに記録することができると共に、FDに記録された該MIDIデータに基づく自動演奏に同期させてVTに記録されたオーディオデータ、映像データの再生を行うことができる。
【0069】
C.第3の実施形態
図11は、第3の実施形態に係るマルチメディアシステム800の構成を示す図である。本実施形態に係るマルチメディアシステム800は、HD(Hard Disk)を備えている点を除けば、上述した第2の実施形態に係るマルチメディアシステム700とほぼ同様である。従って、対応する部分には同一符号を付し、上述した第2の実施形態と重複する部分については、説明を省略する。
【0070】
さて、上記第2の実施形態において説明したように、マルチメディアシステム700を利用すれば、VTに記録された映像データ、オーディオデータ等の再生に同期してMIDIデータ(ユーザが自動ピアノを演奏することにより得られる楽曲等)をFDに記録し、さらに当該FDに記録された該MIDIデータに基づく自動演奏に同期させてVTに記録されたオーディオデータ、映像データの再生を行わせることができる。しかしながら、該VTに記録されているオーディオデータの基準ピッチ(具体的には、基準となる音「A(ラ)」等の周波数)が例えば443Hzであり、自動演奏の際に用いられるピアノ11(生ピアノ)の基準ピッチが例えば448Hzであった場合、VTに記録されているオーディオデータの再生に同期してピアノ11による自動演奏を行ったとしても、かかる基準ピッチのずれにより、うなりが発生し、ユーザに不快感を与えてしまうおそれがある。
【0071】
そこで、本実施形態に係るマルチメディアシステム800は、ピアノ11の基準ピッチ(上記の例では、448Hz)にオーディオデータの基準ピッチを合わせる制御を自動で行い、かかる制御により、VTに記録されているオーディオデータの再生に同期してピアノ11による自動演奏を行ったとしても、うなりのない心地良い響きをユーザに与えることを可能とする。
【0072】
図11に示すHDは、再生すべきVTに記録されているオーディオデータを記憶するための外部記憶装置である。なお、図11では、HDを例示しているが、かかるHDの代わりにRAM等の記憶手段を用いることも可能である。
コントローラ3は、上記各実施形態において説明した機能を具備するほか、以下に示すオーディオデータ記録処理及び後述するピッチ制御・再生処理を実行する機能を備えている。
【0073】
図12は、オーディオデータ記録処理を示すフローチャートである。
コントローラ3は、ビデオカメラ100に再生すべき映像データ、オーディオデータ等の記録されたVTが装着され、FD記録装置8に記録用のFDが装着されたことを検出すると(ステップSa1)、ビデオカメラ100に対し、装着されたVTに記録されているオーディオデータを転送すべき指令を送る。ビデオカメラ100は、かかる指令に従ってVTに記録されているオーディオデータを読み出し、これをコントローラ3へ返す。コントローラ3は、ビデオカメラ100から該オーディオデータを受け取ると、HDに転送する(ステップSa2)。
【0074】
そして、ステップSa3に進むと、コントローラ3は、操作部4等から該オーディオデータの基準ピッチを求める指示が送られてきたかどうかを判断する。ここで、操作部4等からオーディオデータの基準ピッチを求める指示が送られてこない場合(ステップSa3;NO)、コントローラ3は、以下に示すステップSa4〜Sa8をスキップし、ステップSa9に進む。一方、操作部4等からオーディオデータの基準ピッチを求める指示が送られてきたことを検出すると(ステップSa3;YES)、コントローラ3は、ステップSa4に進み、オーディオデータを高速フーリエ変換(FFT;Fast Fourier Transform)し、各周波数毎の音圧(SPL;Sound Pressure Level)を求める。
【0075】
ここで、図13は、オーディオデータから得られる信号波形を例示した図であり、横軸には周波数を示し、縦軸には音圧を示している。ここで、図13に示す信号成分のうち、本実施形態において解析が必要な周波数成分は、基準ピッチとなり得る周波数成分(例えば、440Hz付近の周波数成分)である。従って、予めバンドパスフィルタ等を利用して、440Hz付近の周波数成分(例えば、図13に示す(440±α)Hz)のみを抽出するようにしても良い。
【0076】
さて、コントローラ3は、図13に示す440Hz付近の各周波数の音圧をスキャンしていき(ステップSa5)、予め設定された所定値(図13に示す、閾値S)以上の音圧が検出されるか否かを判断する(ステップSa6)。コントローラ3は、所定値以上の音圧が検出されない場合(ステップSa6;NO)、再びステップSa4に戻って、オーディオデータの周波数解析をやり直す。一方、所定値以上の音圧が検出されると(ステップSa6;YES)、コントローラ3は、ステップSa7に進み、所定値以上の音圧が検出された周波数(図13では、443Hz)をオーディオデータの基準ピッチとして認識し、この基準ピッチに対応するイベントを生成してFD記録装置8に送り、さらに該オーディオデータを識別するための識別情報(V−ID)をFD記録装置8に通知する(ステップSa8)。
【0077】
FD記録装置8は、かかるイベント及び通知を受け取ると、図14に示すようにFDの所定の記憶エリアに該オーディオデータを識別するための識別情報(V−ID)及び該基準ピッチを表すイベントを格納する。その後、ユーザがビデオカメラ100の操作部130等を操作してVTの再生と同期してMIDIデータ(例えば、ユーザが自動ピアノを演奏することにより得られるMIDIデータ等)をFDに記録すべき指令がコントローラ3に通知されると(ステップSa9)、コントローラ3は、上述した第1の実施形態において説明した同期記録のための制御を行い(ステップSa10)、処理を終了する。一方、ステップSa9において、VTの再生と同期してMIDIデータをFDに記録すべき指令がコントローラ3に通知されない場合、コントローラは同期記録のための制御を行うことなく処理を終了する。
【0078】
以上がオーディオデータ記録処理に関する詳細である。なお、本実施形態では、上記のようにオーディオデータの基準ピッチを自動検出する場合について説明したが、オーディオデータの基準ピッチを自動検出するのではなく、例えばユーザが自身の音感を利用して該オーディオデータの基準ピッチを判断し、操作部4等を操作(すなわち、マニュアル操作)することにより、判断して決定した基準ピッチをFDに記録するようにしても良い。
【0079】
このようにVTに記録されたオーディオデータがHD格納され、MIDIデータがFDに記録された後、HDに記録されたオーディオデータの再生に同期してFDに記録されたMIDIデータに基づくピアノ自動演奏を行う場合、コントローラ3は、以下に示すピッチ制御・再生処理を実行する。
【0080】
図15は、ピッチ制御・再生処理を示すフローチャートである。
操作部4等からHDに記録されたオーディオデータとFDに記録されたMIDIデータとを同期して再生すべき指示がコントローラ3に送られると、コントローラ3は、FD再生装置8aに対し、FDからオーディオデータの基準ピッチを読み出すべき指示を送る(ステップSb1)。FD再生装置8aは、かかる指示に従ってFDから基準ピッチ(例えば、443Hz)に対応するイベントを読み出し、これをコントローラへ返す。コントローラ3は、該イベントを受け取ると、ピアノ11の基準ピッチを検出すべく、例えば図示せぬ表示部にピアノの基準ピッチを検出するために必要な音(「A(ラ)」)を鳴らすべき文字メッセージ(例えば、「ユーザZさん、「ラ」の音を鳴らしてください!」)等を表示させる。その後、ユーザがピアノ11の特定の鍵を押下し、ピアノ11から基準ピッチを検出するために必要な「ラ」の音が発音されると、コントローラ3は、図示せぬマイクロフォン等を介してピアノ11から発音された音を楽音データとして受け取り、ピアノ11の基準ピッチ(例えば、448Hz)を検出する(ステップSb2)。
【0081】
なお、ピアノ11の基準ピッチを検出する方法として、上記のように表示部(図示略)にピアノの基準ピッチを検出するために必要な音(「A(ラ)」)を鳴らすべき文字メッセージ等を表示させるほか、例えばピアノの基準ピッチを検出するために必要な音を鳴らすべき旨の指令をピアノ電子回路16に送り、駆動ソレノイド群17を利用してかかる音を自動で(すなわち、ユーザにピアノ11の特定の鍵を押下させることなく)鳴らすように制御しても良い。また、ピアノ11の基準ピッチについては、前述したように、例えば該楽音データを高速フーリエ変換し、各周波数毎の音圧を求め、予め設定された所定値以上の音圧が検出された周波数を検知することで、ピアノ11の基準ピッチを検出することが可能である。
【0082】
さて、コントローラ3は、このようにしてピアノ11の基準ピッチを検出すると、検出したピアノ11の基準ピッチとオーディオデータの基準ピッチとを比較し、基準ピッチのずれ(音程差)を求める(ステップSb3)。ここでは、検出したピアノ11の基準ピッチが448Hzであり、オーディオデータの基準ピッチが443Hzであるため、コントローラ3は、両基準ピッチのずれからオーディオデータの基準ピッチを5Hz(=448Hz−443Hz)上げるべきであると判断し、かかる判断結果に基づきHDに記憶されたオーディオデータの読み出し速度決定する(ステップSb4)。
ここで、図16は、各読み出し速度でオーディオデータを読み出したときに得られる信号波形を例示した図である。より詳細には、図16のAに示す信号波形は、所定の読み出し速度Vbで読み出したときに得られる信号波形であり、図16のB及びCに示す信号波形は、それぞれ該読み出し速度Vbよりも速い読み出し速度Vf(>Vb)及び遅い読み出し速度Vs(<Vb)で読み出したときに得られる信号波形である。
【0083】
ここで、所定の読み出し速度Vbで読み出されたときに基準ピッチが443Hzの音が発音されると仮定すると、図16のBに示すように、読み出し速度Vfでオーディオデータが読み出された場合には、基準ピッチが443Hzよりも高い音(例えば、基準ピッチが448Hzの音)が発音され、一方図16のCに示すように、読み出し速度Vsでオーディオデータが読み出された場合には、基準ピッチが443Hzよりも低い音(例えば、基準ピッチが440Hzの音)が発音される。
従って、コントローラ3は、両基準ピッチのずれからオーディオデータの基準ピッチを5Hz(=448Hz−443Hz)上げるべきであると判断すると、かかる判断結果に基づきHDに記憶されたオーディオデータの読み出し速度を、443Hzの音を発音させる場合の読み出し速度よりも速い速度に決定する。なお、オーディオデータの基準ピッチを下げる場合については、上記と同様に説明することができるため、説明を割愛する。
そして、コントローラ3は、決定した読み出し速度でオーディオデータをHDから読み出し、読み出したオーディオデータからアナログオーディオ信号を生成してミキサ5に順次供給する一方(ステップSb5)、該オーディオデータの読み出し速度に基づいてFDからFD再生装置8aを介してMIDIデータを順次読み出し(ステップSb6)、読み出したMIDIデータを順次ピアノ電子回路16へ供給する(ステップSb7)。
【0084】
ピアノ電子回路16は、コントローラ3から順次供給されるMIDIデータに含まれるイベントに応じて駆動ソレノイド群17に対する通電制御を行い、ピアノ11の鍵、ペダル等を駆動する。これにより、MIDIデータに基づくピアノ11の自動演奏が行われる。コントローラ3は、ステップSb8に進むと、1曲分のオーディオデータの再生及びMIDIデータの再生が終了したか否かを判断する。1曲分のオーディオデータの再生及びMIDIデータの再生が終了していないと判断すると(ステップSb8;NO)、コントローラ3は、ステップSb5に戻り、ステップSb5→ステップSb6→ステップSb7といった一連の処理を繰り返し実行する。そして、コントローラ3は、1曲分のオーディオデータの再生及びMIDIデータの再生が終了したと判断すると(ステップSb8;YES)、以上説明したピッチ制御・再生処理を終了する。
【0085】
以上説明したように、本実施形態にかかるマルチメディアシステム800によれば、HDに記録されたオーディオデータの再生に同期してFDに記録されたMIDIデータに基づくピアノ自動演奏を行う場合、オーディオデータの基準ピッチ(例えば、443Hz)がピアノ11の基準ピッチ(例えば、448Hz)と一致するように、オーディオデータの基準ピッチが制御される。これにより、該オーディオデータの再生に同期してピアノ11による自動演奏を行ったとしても、うなりのない心地良い響きをユーザに与えることが可能となる。
【0086】
なお、以上説明した本実施形態では、オーディオデータを格納する手段としてHDを例示したが、該HDの代わりにRAM等、種々の記憶手段を用いても良い。このように、HDの代わりにRAM等を用いた場合には、例えば当該時点において再生すべき箇所よりも少し前の箇所に対応したオーディオデータを先読みし、これをRAM等の記憶手段に格納するように制御すれば、オーディオデータを記憶する記憶手段としてメモリ容量の小さな記憶手段を用いることができる。
【0087】
【発明の効果】
以上説明したように本発明によれば、映像データの再生若しくは映像データの記録に同期して、楽曲データの再生若しくは記録を行うことができる。
【図面の簡単な説明】
【図1】 第1の実施形態におけるマルチメディアシステムの構成を示すブロック図である。
【図2】 同実施形態に係るSMFを示す図である。
【図3】 同実施形態に係るFD記録装置の制御回路の構成を示すブロック図である。
【図4】 同実施形態に係るデルタタイム調整処理を示すフローチャートである。
【図5】 同実施形態に係るマルチメディアシステムの動作を示すタイムチャートである。
【図6】 同実施形態における変形例1に係るFD記録装置の制御回路の構成を示すブロック図である。
【図7】 同変形例に係る経過時間調整処理を示すフローチャートである。
【図8】 第2の実施形態におけるマルチメディアシステムの構成を示すブロック図である。
【図9】 同実施形態に係るFD再生装置の制御回路の構成を示すブロック図である。
【図10】 同実施形態に係るマルチメディアシステムの動作を示すタイムチャートである。
【図11】 第3の実施形態におけるマルチメディアシステムの構成を示すブロック図である。
【図12】 同実施形態に係るオーディオデータ記録処理を示すフローチャートである。
【図13】 同実施形態に係るオーディオデータから得られる信号波形を例示した図である。
【図14】 同実施形態に係るFDの記憶状態を説明するための図である。
【図15】 同実施形態に係るピッチ制御・再生処理を示すフローチャートである。
【図16】 同実施形態に係る各読み出し速度でオーディオデータを読み出したときに得られる信号波形を例示した図である。
【符号の説明】
3・・・コントローラ、4・・・操作部、5・・・ミキサ、6・・・アンプ、7・・・スピーカ、8・・・FD記録装置、8a・・・FD再生装置、10、20・・・自動ピアノ、11・・・ピアノ、12・・・キーセンサ、13・・・ペダルセンサ、14・・・MIDIイベント生成回路、15・・・ピアノ音源、16・・・ピアノ電子回路、17・・・駆動ソレノイド群、18・・・アンサンブル音源、100・・・ビデオカメラ、200・・・タイムコード変換器、210・・・クロック生成手段、220・・・計時手段、230・・・デルタタイム調整手段、230’・・・経過時間調整手段、240・・・デルタタイム生成手段、250・・・SMF作成・書き込み制御手段、330・・・イベント転送制御手段、341・・・タイミング調整手段。
Claims (4)
- 映像データと当該映像データの記録開始からの経過時間を表す一連の映像用タイムコードとオーディオデータとを含む記録情報を第1の記憶媒体から読み出し、当該記録情報中の映像データを再生するマスター装置と、前記マスター装置による前記映像データの再生に同期して第2の記憶媒体に記録されている楽曲データの再生を行うスレーブ装置とを具備するマルチメディアシステムであって、
前記マスター装置は、前記記録情報中の映像データを再生すると共に、前記記録情報中のオーディオデータを前記スレーブ装置に出力し、
前記スレーブ装置は、
前記記録情報中の映像用タイムコードを取得し、当該映像用タイムコードを楽音用タイムコードに変換するタイムコード変換手段と、
クロックをカウントすることにより計時を行う計時手段と、
前記計時手段による計時結果に基づいて、前記第2の記憶媒体に記録されている楽曲の演奏制御を指示する複数のイベントと各イベントの実行タイミングを指定するタイミングデータとを含む楽曲データ中のタイミングデータによって定まる時刻に前記イベントを出力するイベント出力手段と、
与えられたイベントを自動演奏手段に供給するコントローラと、
前記イベント出力手段から出力されるイベントを前記コントローラに与えるタイミングを調整するタイミング調整手段であって、前記タイムコード変換手段から出力される楽音用タイムコードに対応した時刻と前記計時手段の計時結果に対応した時刻との時間差に基づいて前記タイミングを調整するタイミング調整手段とを具備し、
前記コントローラは、
前記マスター装置から出力されてくる前記オーディオデータを記憶手段に記憶する手段と、
前記第2の記憶媒体に記録されている基準ピッチに関する情報を取得する一方、前記自動演奏手段の基準ピッチを検出し、両者の基準ピッチの音程差を求める手段と、
前記タイミング調整手段によって調整されたタイミングで与えられたイベントを前記自動演奏手段に供給すると共に、前記記憶手段に記憶されたオーディオデータを、求められた音程差に応じた読み出し速度で読み出し、読み出したオーディオデータを音として出力するための制御を行う手段とを具備する
ことを特徴とするマルチメディアシステム。 - 前記スレーブ装置は、
楽器の操作状態を検出する検出手段から該操作状態を取得し、取得した該操作状態に応じて楽曲の演奏制御を指示するイベントを生成するイベント生成手段と、
前記イベント生成手段によって前記イベントが生成された場合、前記計時手段による計時結果に対応した時刻に基づいて当該イベントの実行タイミングを指定するタイミングデータを生成するタイミングデータ生成手段と、
前記記録情報に含まれるオーディオデータの基準ピッチを取得する取得手段と、
前記イベント生成手段によって生成された複数のイベントと、前記タイミングデータ調整手段によって調整されたタイミングデータとを含む前記楽曲データと、前記取得手段によって取得された基準ピッチに関する情報とを前記第2の記憶媒体に書き込む書き込み手段と
を具備することを特徴とする請求項1記載のマルチメディアシステム。 - 前記スレーブ装置は、
楽器の操作状態を検出する検出手段から該操作状態を取得し、取得した該操作状態に応じて楽曲の演奏制御を指示するイベントを生成するイベント生成手段と、
前記タイムコード変換手段から出力される楽音用タイムコードに対応した時刻と前記計時手段による計時結果に対応した時刻との時間差に基づいて、前記計時結果に対応した時刻を調整する計時時刻調整手段と、
前記イベント生成手段によって前記イベントが生成された場合、前記計時時刻調整手段によって調整された時刻に基づいて当該イベントの実行タイミングを指定するタイミングデータを生成するタイミングデータ生成手段と、
前記記録情報に含まれるオーディオデータの基準ピッチを取得する取得手段と、
前記イベント生成手段によって生成されたイベントと、前記タイミングデータ生成手段によって生成されたタイミングデータとを含む楽曲データと、前記取得手段によって取得された基準ピッチに関する情報とを前記第2の記憶媒体に書き込む書き込み手段と
を具備することを特徴とする請求項1記載のマルチメディアシステム。 - 映像データと当該映像データの記録開始からの経過時間を表す一連の映像用タイムコードとオーディオデータとを含む記録情報の再生に同期して記憶媒体に記録されている楽曲データの再生を行う再生装置であって、
前記記録情報中の映像用タイムコードを楽音用タイムコードに変換するタイムコード変換手段から楽音用タイムコードを受信する受信手段と、
クロックをカウントすることにより計時を行う計時手段と、
前記計時手段による計時結果に基づいて、前記記憶媒体に記録されている楽曲の演奏制御を指示する複数のイベントと各イベントの実行タイミングを指定するタイミングデータとを含む楽曲データ中のタイミングデータによって定まる時刻に前記イベントを出力するイベント出力手段と、
与えられたイベントを自動演奏手段に供給するコントローラと、
前記イベント出力手段から出力されるイベントを前記コントローラに与えるタイミングを調整するタイミング調整手段であって、前記受信手段によって受信される楽音用タイムコードに対応した時刻と前記計時手段の計時結果に対応した時刻との時間差に基づいて前記タイミングを調整するタイミング調整手段とを具備し、
前記コントローラは、
前記記録情報中の前記オーディオデータを記憶手段に記憶する手段と、
前記記憶媒体に記録されている基準ピッチに関する情報を取得する一方、前記自動演奏手段の基準ピッチを検出し、両者の基準ピッチの音程差を求める手段と、
前記タイミング調整手段によって調整されたタイミングで与えられたイベントを前記自動演奏手段に供給すると共に、前記記憶手段に記憶されたオーディオデータを、求められた音程差に応じた読み出し速度で読み出し、読み出したオーディオデータを音として出力するための制御を行う手段とを具備する
ことを特徴とする再生装置。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002006634A JP3867579B2 (ja) | 2002-01-15 | 2002-01-15 | マルチメディアシステム及び再生装置 |
US10/339,854 US7897865B2 (en) | 2002-01-15 | 2003-01-10 | Multimedia platform for recording and/or reproducing music synchronously with visual images |
EP03000880A EP1341153B1 (en) | 2002-01-15 | 2003-01-15 | Multimedia platform for recording and /or reproducing music synchronously with visual images |
CNB03136683XA CN100339908C (zh) | 2002-01-15 | 2003-01-15 | 用于与可视图像同步记录和/或再现音乐的多媒体平台 |
US11/860,443 US8378199B2 (en) | 2002-01-15 | 2007-09-24 | Multimedia platform for recording and/or reproducing music synchronously with visual images |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002006634A JP3867579B2 (ja) | 2002-01-15 | 2002-01-15 | マルチメディアシステム及び再生装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003208164A JP2003208164A (ja) | 2003-07-25 |
JP3867579B2 true JP3867579B2 (ja) | 2007-01-10 |
Family
ID=27645346
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002006634A Expired - Fee Related JP3867579B2 (ja) | 2002-01-15 | 2002-01-15 | マルチメディアシステム及び再生装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3867579B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012093497A1 (ja) | 2011-01-07 | 2012-07-12 | ヤマハ株式会社 | 自動演奏装置 |
-
2002
- 2002-01-15 JP JP2002006634A patent/JP3867579B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012093497A1 (ja) | 2011-01-07 | 2012-07-12 | ヤマハ株式会社 | 自動演奏装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2003208164A (ja) | 2003-07-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4403658B2 (ja) | 楽曲データ出力装置及び楽曲データ出力方法 | |
US7897865B2 (en) | Multimedia platform for recording and/or reproducing music synchronously with visual images | |
JP5103980B2 (ja) | 処理システム、音声再生装置及びプログラム | |
JP5733321B2 (ja) | 自動演奏装置 | |
JP3835324B2 (ja) | 楽曲再生装置 | |
JP3885587B2 (ja) | 演奏制御装置及び演奏制御用プログラム、並びに記録媒体 | |
JP2004233698A (ja) | 音楽支援装置、音楽支援サーバ、音楽支援方法およびプログラム | |
JP4539594B2 (ja) | 再生録音装置 | |
JP3915517B2 (ja) | マルチメディアシステム、再生装置及び再生記録装置 | |
JP3867580B2 (ja) | 楽曲再生装置 | |
JP4110807B2 (ja) | 同期調整装置および同期調整方法を実現するためのプログラム | |
JP3867579B2 (ja) | マルチメディアシステム及び再生装置 | |
JP2018040825A (ja) | 自動演奏装置、自動演奏方法、プログラムおよび電子楽器 | |
JPH1031495A (ja) | カラオケ装置 | |
JP2022191521A (ja) | 録音再生装置、録音再生装置の制御方法及び制御プログラム並びに電子楽器 | |
JP2005274851A (ja) | 電子音楽装置および同装置に適用されるコンピュータプログラム | |
JP3804536B2 (ja) | 楽音再生記録装置、記録装置及び記録方法 | |
JP3925349B2 (ja) | 音声データと演奏データの同期再生を行うための装置および方法 | |
JP5109426B2 (ja) | 電子楽器及びプログラム | |
JP5338312B2 (ja) | 自動演奏同期装置、自動演奏鍵盤楽器およびプログラム | |
JP5060341B2 (ja) | 同期再生装置、楽曲自動リミックスシステム、同期再生方法および同期再生プログラム | |
JP2004302011A (ja) | 指揮棒の振りタイミングに同期させて演奏する装置 | |
JP3969249B2 (ja) | 音声データと演奏データの同期再生を行うための装置および方法 | |
KR102524870B1 (ko) | 미디 음악 기반의 안무 영상 콘텐츠 서비스 장치 및 방법과, 이를 기록한 컴퓨팅 장치에 의해 판독 가능한 기록매체 | |
JP4905207B2 (ja) | 再生装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040805 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060421 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060516 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060718 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060919 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061002 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 3867579 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313532 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101020 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101020 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111020 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111020 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121020 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121020 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131020 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |