JPH1195778A - 同期映像生成方法およびそれを用いたカラオケ装置 - Google Patents
同期映像生成方法およびそれを用いたカラオケ装置Info
- Publication number
- JPH1195778A JPH1195778A JP9255624A JP25562497A JPH1195778A JP H1195778 A JPH1195778 A JP H1195778A JP 9255624 A JP9255624 A JP 9255624A JP 25562497 A JP25562497 A JP 25562497A JP H1195778 A JPH1195778 A JP H1195778A
- Authority
- JP
- Japan
- Prior art keywords
- data
- video
- instantaneous
- audio
- music
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Electrophonic Musical Instruments (AREA)
- Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
- Processing Or Creating Images (AREA)
- Auxiliary Devices For Music (AREA)
Abstract
を表示する。 【解決手段】 歌手等の映像を生成するための形状デー
タを形状データ記憶部35に記憶し、歌手等の動きを生
成するための動作データを映像データ記憶部34に記憶
する。そして、物体映像生成部36は、形状データと動
作データに基づいて、映像の1フレーム分を形成する瞬
時映像データを生成し、その瞬時映像データを、楽曲の
再生と同期するように、所定の表示周期で出力する。さ
らに、楽曲の再生が基準テンポよりも遅いときには、補
間映像データを各瞬時映像データ間に挿入して出力し、
楽曲の再生が基準テンポよりも速いときには、一部の瞬
時映像データを間引きする。
Description
して動く映像を再生する同期映像生成方法およびそれを
用いたカラオケ装置に関し、さらに詳しくは、人間、動
物またはこれらの模倣物からなる物体の形状および動き
等を測定することによって得られたデータに基づいて、
前記物体を表す映像を生成し、その映像を音声の再生に
同期させながら表示する同期映像生成方法およびそれを
用いたカラオケ装置に関する。
を再生すると共に、再生する楽曲専用の背景画像を表示
するカラオケ装置は、一般に知られている。このような
カラオケ装置は、例えば、VCD(Video CD)またはL
D(Laser Disc)等を用いた記憶装置を有しており、こ
の記憶装置に、楽曲を再生するための音声データ、背景
画像および歌詞を表示するための画像データを記憶保持
している。ここで、前記音声データは、例えばPCM音
声データ等であり、前記画像データは、撮影された景色
に歌詞を合成することによって形成されたデータであ
る。そして、このカラオケ装置は、前記記憶装置から音
声データを読み出して楽曲を再生し、これと同時に、前
記記憶装置から画像データを読み出して背景画像を表示
する。
記憶装置は、VCDやLDといった比較的記憶容量の大
きい記憶媒体を用いている。しかしながら、カラオケで
使用される楽曲の数は膨大であり、特に画像データの容
量が格段に大きいため、前記記憶媒体をもってしても全
楽曲に対応する音声データおよび画像データを記憶でき
ないという不都合が生じた。また、カラオケで使用され
る楽曲は流行歌が多いため、新しい楽曲を頻繁に追加し
なければならないという問題が生じた。そこで、近年で
は、カラオケ装置に通信機能を備え、楽曲を再生するた
めの音声データおよび歌詞データを電話回線等を介して
伝送する、いわゆる通信カラオケ装置が広く普及してい
る。
再生するための音声データ等を電話回線を介して受け取
る構成であるため、再生できる楽曲の数は記憶装置の記
憶容量によって制限されない。従って、膨大な楽曲を再
生することができる。また、最新の楽曲を再生する必要
が生じても、電話回線を介してその楽曲の音声データを
受け取れば、当該最新の楽曲を再生することができる。
データは、楽曲を再生するための音声データと比較して
データ量が格段に大きいため、画像データを、音声デー
タ等と同様に電話回線等を介して伝送するのは時間的ま
たは経済的な不利益が大きい。このため、上述したよう
な通信カラオケ装置においても、背景画像の表示に関し
ては、従前のカラオケ装置と同様であり、即ち、VCD
またはLD等の記憶媒体に予め記憶された画像データに
基づいて背景画像を表示している。しかしながら、表示
可能な背景画像の種類は記憶媒体の記憶容量によって制
限されるため、再生する楽曲のすべてに異なった背景画
像を対応させることは困難である。従って、上述したよ
うなカラオケ装置では、再生される楽曲にふさわしいが
直接は関係のない背景画像を選択して表示するようにし
ている。
使用される楽曲のうち、特にリズミカルな楽曲の場合、
楽曲を歌っているときの歌手等の動作、例えば、振りま
たは踊りをカラオケ装置によって表示することが望まれ
る。
は、再生される楽曲の曲調に合った動きであるため、各
楽曲毎に異なる。この結果、このような歌手等の動作を
表示するための映像データを各楽曲毎に設けようとする
と、映像データの量が膨大になり、たとえデータ圧縮技
術を用いても、上述したようなカラオケ装置に設けられ
た記憶媒体の記憶容量を遙かに超えてしまう。従って、
歌手等の動作を表示するための画像データを各楽曲毎に
設けるのは困難であるという問題がある。
するには、歌手等の動作を表す映像データを、再生する
楽曲と正確に同期させる必要がある。ここで、楽曲の進
行に同期して変化する映像を表示できるカラオケ装置
は、例えば特開平7−199976号公報により知られ
ている。即ち、このカラオケ装置は、ポリゴンデータと
時間データとから構成される映像データを有しており、
この映像データに含まれる時間データに基づいて、映像
の表示と楽曲の再生とを同期させるものである。しかし
ながら、ポリゴンデータと時間データとからなる映像デ
ータを楽曲毎に設けようとすれば、映像データの総量は
膨大なものとなるため、映像データを各楽曲毎に設ける
のは依然困難である。
大であり、現在に至るまでに各楽曲を再生するための膨
大な音声データが、既に設置された各カラオケ装置、お
よび通信カラオケ装置に音声データを配信するためのセ
ンターホストコンピュータ等に蓄積されている。従っ
て、楽曲の再生に合わせて動作する歌手等を表示させる
カラオケ装置を実現するためには、これら蓄積された膨
大な楽曲に合わせて動作する歌手等を表示するための映
像データを追加する必要がある。このとき、映像データ
を追加するために、現在に至るまでに蓄積された膨大な
音声データを作成し直すのは、時間的または経済的な不
利益が大きいという問題がある。
ポ(速度)で楽曲を再生する必要がある。このため、カ
ラオケ装置は、通常、カラオケを行う者の好みに応じて
実際に再生する楽曲のテンポを基準テンポよりも遅くし
たり、速くしたりする機能を有する。従って、楽曲の再
生に合わせて動作する歌手等を表示させるカラオケ装置
を実現するためには、楽曲のテンポを変化させた場合で
も、表示されている歌手の映像を自然に、滑らかに動作
させる必要がある。
ため楽曲を途中から再生したり、楽曲の一部分を繰り返
し再生させたりする必要がある。このため、カラオケ装
置は、通常、楽曲を途中から再生する機能を有する。従
って、楽曲の再生に合わせて動作する歌手等を表示させ
るカラオケ装置を実現するためには、楽曲を途中から再
生したときには、その楽曲の再生部分に対応するように
歌手等の動作を表示し、楽曲の途中からでも歌手等の動
作をその楽曲に正確に同期させる必要がある。
たもので、本発明は、音声の再生に同期して動作し、か
つ、複数種類の音声がある場合には、各音声毎に異なっ
た動作をする映像を表示することができる同期映像生成
方法およびそれを用いたカラオケ装置を提供することを
目的としている。
れた既存の音声データを作成し直すことなく、この音声
データに基づいて再生される音声に同期して動作する映
像を表示することができる同期映像生成方法およびそれ
を用いたカラオケ装置を提供することを目的としてい
る。
させた場合でも、表示している映像を音声の再生に同期
させながら滑らかに動作させることができる同期映像生
成方法およびそれを用いたカラオケ装置を提供すること
を目的としている。
中から再生したときでも、その音声に正確に同期して動
作する映像を表示することができる同期映像生成方法お
よびそれを用いたカラオケ装置を提供することを目的と
している。
ために、請求項1の発明による同期映像生成方法は、音
声データに基づいて音声を再生する音声再生工程と、前
記音声再生工程によって再生される音声に対応した同期
信号を出力する同期信号出力工程と、人間、動物または
これらの模倣物からなる物体を表す映像を複数の構成要
素に分割し、これら各構成要素の形状を設定する形状デ
ータと、前記各構成要素の位置または動作を設定する動
作データとに基づいて、前記物体を動画として再生する
ための瞬時映像データを生成する瞬時映像生成工程と、
前記瞬時映像生成工程により生成された瞬時映像データ
を、前記同期信号出力工程により出力される同期信号に
同期させながら表示装置に表示させる表示工程とを備え
ている。
は、音声データに基づいて、例えば楽曲等の音声を再生
する。同期信号出力工程では、再生された音声に対応し
た同期信号を出力する。例えば、再生される音声が楽曲
の場合、この同期信号は、その楽曲の進行に対応した信
号である。瞬時映像生成工程では、形状データおよび動
作データに基づいて、人間、動物またはこれらの模倣物
からなる物体を表す映像を動画として再生するための瞬
時映像データを生成する。ここで、前記形状データは、
人間、動物またはこれらの模倣物からなる物体を表す映
像を複数の構成要素に分割し、これら各構成要素の形状
を設定するものである。例えば、前記物体が人間の場
合、前記形状データは、人間を胴体、頭、腕、脚等に分
割し、これらの形状を設定するものである。また、前記
動作データは、前記物体の各構成要素の位置または動作
を設定するものである。例えば、前記物体が人間の場
合、前記動作データは、胴体の位置、腕の角度、脚の移
動量等を設定するものである。さらに、瞬時映像データ
は、人間、動物またはこれらの模倣物からなる物体を表
す1フレーム分の映像を形成するデータである。表示工
程では、瞬時映像生成工程により生成された瞬時映像デ
ータを、同期信号出力工程により出力される同期信号に
同期させながら表示装置に表示する。これにより、音声
に同期して動く人間、動物等の映像を表示することがで
きる。
よれば、動作データを、前記音声データに基づく音声を
基準速度で再生し、その再生された音声に合わせて前記
物体を動かし、そのときの前記物体の各構成要素の位置
または動作を所定時間毎に測定することによって形成さ
れた複数の瞬時動作データから構成すると共に、前記瞬
時映像生成工程において、前記音声再生工程により再生
される音声が前記基準速度のときには、前記各瞬時動作
データにそれぞれ対応した瞬時映像データを生成し、前
記音声再生工程により再生される音声が前記基準速度よ
りも遅いときには、前記各瞬時動作データの間を補間す
る補間動作データを生成し、前記各瞬時動作データおよ
び前記補間動作データにそれぞれ対応した瞬時映像デー
タを生成する。
に、動作データは、基準速度で再生された音声に合わせ
て前記物体を動かし、そのときの前記物体の各構成要素
の位置または動作を動作に対して充分速く所定時間毎に
測定することによって形成された複数の瞬時動作データ
から構成されている。即ち、前記各瞬時動作データは、
基準速度で再生される音声に合わせて動作する物体の各
構成要素の瞬間的な位置等を所定時間毎に測定して配列
したデータである。従って、音声再生工程により再生さ
れる音声が基準速度のときには、配列されたすべての瞬
時動作データを、配列された順序で読み取って、読み取
った各瞬時動作データに基づいて瞬時映像データを前記
所定時間の間隔で順次生成すれば、音声に同期して動く
映像を再生することができる。
が基準速度よりも遅いときには、各瞬時動作データの間
を補間する補間動作データを生成し、この補間動作デー
タを各瞬時動作データ間に挿入する。ここで、補間動作
データは、複数配列された各瞬時動作データのうち、互
いに隣り合った各瞬時動作データ間の隔たりを補間する
データである。例えば、互いに隣り合った各瞬時動作デ
ータ間の平均値を補間動作データとして用いてもよい。
また、互いに隣り合った各瞬時動作データ間の隔たりが
少量の場合には、互いに隣り合った各瞬時動作データの
うち、時間的にみて前側または後側に位置する瞬時動作
データと同一のデータを補間動作データとして用いても
よい。そして、各瞬時動作データと各補間動作データを
順次読み取って、読み取った各瞬時動作データと各補間
動作データに基づいて瞬時映像データを前記所定時間の
間隔で順次生成すれば、基準速度よりも遅い速度で再生
される音声に同期して動く映像を再生することができる
と共に、映像の動きを滑らかにすることができる。
よれば、前記瞬時映像生成工程において、前記音声再生
工程により再生される音声が前記基準速度よりも速いと
きには、前記各瞬時動作データを間引きし、間引きされ
た各瞬時動作データにそれぞれ対応した瞬時映像データ
を生成する。
タを順次読み取って、読み取った各瞬時動作データに基
づいて瞬時映像データを前記所定時間の間隔で順次生成
すれば、基準速度よりも速い速度で再生される音声に同
期して動く映像を容易に再生することができる。
特徴は、前記動作データを、前記音声データに基づく音
声を基準速度で再生し、その再生された音声に合わせて
前記物体を動かし、そのときの前記物体の各構成要素の
位置または動作を、前記表示装置の表示周期の整数倍の
周期で測定することによって形成された複数の瞬時動作
データから構成したことにある。
期して動く映像の1フレームは、前記瞬時映像生成工程
によって生成される瞬時映像データによって形成されて
いる。そして、この瞬時映像データは、前記物体の動作
を測定したときの所定時間の間隔で、前記瞬時動作デー
タ等を順次変換することによって生成される。即ち、瞬
時映像データは、前記物体の動作を測定したときの測定
周期で生成される。この結果、音声の再生に同期して動
く映像の1フレームが表示される周期は、前記物体の動
作を測定したときの測定周期と一致する。従って、前記
物体の動作を測定したときの測定周期を、前記表示装置
の表示周期の整数倍の周期とすれば、音声の再生に同期
して動く映像の1フレームが表示される周期を、表示装
置の表示周期に合致させることができる。これにより、
表示装置に表示される映像の動きを滑らかにすることが
できる。
特徴は、前記動作データを、前記音声データに基づく音
声を基準速度で再生し、その再生された音声に合わせて
前記物体を動かし、そのときの前記物体の各構成要素の
位置または動作を、前記同期信号出力工程により出力さ
れる同期信号の周期よりも短い周期で測定することによ
って形成された複数の瞬時動作データから構成したこと
にある。
期して動く映像の1フレームが表示される周期は、前記
物体の動作を測定したときの測定周期と一致する。従っ
て、前記物体の動作を測定するときの測定周期を前記同
期信号の周期よりも短くすれば、音声の再生に同期して
動く映像の1フレームが表示される周期を、音声の再生
と映像の表示との間で同期をとる周期よりも短くするこ
とができる。これにより、音声の再生速度を変化させ、
前記同期信号の周期を変化させても、音声の再生と映像
の表示との間の同期を正確にとることができる。
期して動く映像の1フレームが表示される周期を、音声
の再生と映像の表示との間の同期周期よりも短くする
と、音声の再生と映像の表示との間で同期をとる間に、
複数フレームの画像が表示される。このように、音声の
再生と映像の表示との間で同期をとる間に、複数フレー
ムの画像が表示されると、音声の再生速度が変化したと
き、フレームの挿入または間引きをすることによって、
音声の再生と映像の表示との同期を容易にかつ正確にと
ることができる。即ち、音声の再生速度が遅くなり、音
声の再生と映像の表示との間で同期をとる間隔が長くな
ったときには、補間動作データを適宜挿入することによ
って、音声の再生と映像の表示との間の同期を容易にか
つ正確にとることができる。一方、音声の再生速度が速
くなり、音声の再生と映像の表示との間で同期をとる間
隔が短くなったときには、瞬時映像データを適宜間引く
ことによって、音声の再生と映像の表示との間の同期を
容易にかつ正確にとることができる。
特徴は、前記同期信号出力手段により出力される同期信
号に、音声データの再生位置を認識するための符号を付
したことにある。
間間隔でクロックパルスを出力することによって形成さ
れている。従って、一定の時間間隔で出力される各クロ
ックパルスに、それぞれ異なった符号を付すことによ
り、音声データの再生位置を認識することができ、音声
データの再生位置に対応した映像を表示することができ
る。従って、楽曲等の音声を途中から再生したときで
も、その音声に正確に同期して動作する映像を表示する
ことができる。
声データを記憶する音声データ記憶手段と、前記音声デ
ータ記憶手段に記憶された音声データに基づいて音声を
再生する音声再生手段と、前記音声再生手段によって再
生される音声に対応した同期信号を出力する同期信号出
力手段と、人間、動物またはこれらの模倣物からなる物
体を表す映像を複数の構成要素に分割し、これら各構成
要素の形状を設定する形状データを記憶する形状データ
記憶手段と、前記物体の前記各構成要素の位置または動
作を設定する動作データを記憶する動作データ記憶手段
と、前記形状データ記憶手段に記憶された形状データ
と、前記動作データ記憶手段に記憶された動作データと
に基づいて、前記物体を動画として再生するための瞬時
映像データを生成する瞬時映像生成手段と、前記瞬時映
像生成手段により生成された瞬時映像データを、前記同
期信号出力手段により出力される同期信号に同期させな
がら表示装置に表示させる表示手段とを備えている。
音声データ記憶手段に記憶された音声データに基づいて
音声を再生する。そして、形状データ記憶手段に記憶さ
れた形状データと動作データ記憶手段に記憶された動作
データとに基づいて前記物体を動画として再生するため
の瞬時映像データを生成し、この瞬時映像データを、再
生された音声に同期するように表示する。これにより、
音声の再生に同期して動く映像を表示することができ
る。
に、形状データは形状データ記憶手段に、動作データは
動作データ記憶手段にそれぞれ別々に記憶されている。
これにより、音声データ、形状データおよび動作データ
をそれぞれ独立して取り扱うことができる。例えば、音
声データおよび動作データは楽曲毎に異なるものとし、
形状データは各楽曲共通にすることができる。また、形
状データのみを変更したり、既存の音声データに、動作
データと形状データを追加することも可能である。
部から伝送された音声データおよび動作データを受け取
り、受け取った音声データを前記音声データ記憶手段に
記憶し、受け取った動作データを動作データ記憶手段に
記憶するデータ受取手段を有している。
ータ、動作データおよび形状データのうち、音声データ
および動作データを外部から受け取る。そして、外部か
ら受け取った音声データに基づいて音声を再生し、外部
から受け取った動作データおよび既にカラオケ装置に記
憶されている形状データに基づいて映像を表示する。こ
のように、比較的データ量の少ない音声データと動作デ
ータのみを外部から受け取ることにより、外部からカラ
オケ装置に向けて伝送するデータの量を少なくすること
ができる。
音声再生手段により再生される音声の再生速度を変更す
る再生速度変更手段を設け、同期信号出力手段におい
て、再生速度変更手段により変更された再生速度で再生
される音声に対応した同期信号を出力するものである。
の再生速度が変更すると、変更された再生速度に対応す
るように同期信号の周期も変化する。これにより、同期
信号に同期して動作する映像の動作速度も、再生速度に
対応するように変化する。従って、音声の再生速度を変
更しても、音声の再生と映像の表示との同期をとること
ができる。
データに基づく音声を基準速度で再生し、その再生され
た音声に合わせて前記物体を動かし、そのときの物体の
各構成要素の位置または動作を所定時間毎に測定するこ
とによって形成された複数の瞬時動作データから構成す
ると共に、瞬時映像生成手段において、音声再生手段に
より再生される音声が基準速度のときには、各瞬時動作
データにそれぞれ対応した瞬時映像データを生成し、音
声再生手段により再生される音声が基準速度よりも遅い
ときには、各瞬時動作データの間を補間する補間動作デ
ータを生成し、各瞬時動作データおよび補間動作データ
にそれぞれ対応した瞬時映像データを生成するものであ
る。
声再生手段により再生される音声が基準速度よりも遅い
ときでも、表示される映像の動きを滑らかにすることが
できる。
おいて、音声再生手段により再生される音声が基準速度
よりも速いときには、各瞬時動作データを間引きし、間
引きされた各瞬時動作データにそれぞれ対応した瞬時映
像データを生成するものである。
準速度よりも速い速度で再生される音声に同期して動く
映像を容易に再生することができる。
を、音声データに基づく音声を基準速度で再生し、その
再生された音声に合わせて物体を動かし、そのときの物
体の各構成要素の位置または動作を、表示装置の表示周
期の整数倍の周期で測定することによって形成された複
数の瞬時動作データから構成したことにある。
示される映像の動きを滑らかにすることができる。
を、音声データに基づく音声を基準速度で再生し、その
再生された音声に合わせて物体を動かし、そのときの物
体の各構成要素の位置または動作を、同期信号出力手段
により出力される同期信号の周期よりも短い周期で測定
することによって形成された複数の瞬時動作データから
構成したことにある。
声の再生速度を変化させ、前記同期信号の周期を変化さ
せても、音声の再生と映像の表示との間の同期を正確に
とることができる。
手段により出力される同期信号に、音声データの再生位
置を認識するための符号を付したことにある。
期信号に付した符号に基づいて音声データの再生位置を
認識することができ、音声データの再生位置に対応した
画像を表示することができる。従って、楽曲等の音声を
途中から再生したときでも、その音声に正確に同期して
動作する映像を表示することができる。
に、形状の異なる複数の物体を形成するための複数の形
状データを記憶し、音声データに含まれる選択データま
たは外部からの入力により、各形状データを選択し、瞬
時映像生成手段は、選択された形状データと、動作デー
タ記憶手段に記憶された動作データとに基づいて、物体
を動画として再生するための瞬時映像データを生成する
構成としたものである。
形状データを選択する選択データを含ませておけば、こ
の選択データに基づいて形状データを選択することがで
き、選択された形状データに基づいて物体の形状を設定
することができる。また、形状データを外部からの入力
によって選択する構成としてもよい。これにより、例え
ば、動物、人間、男性、女性等、形状の異なる複数の物
体を形成することができる。
ないし図15に従って説明する。なお、本実施形態で
は、本発明による同期映像生成方法を用いたカラオケ装
置として、図1に示す通信カラオケ装置100を例に挙
げて説明する。
て説明する。
0は、音声によって構成される楽曲を再生すると共に、
楽曲の歌詞を表す歌詞画像を生成するカラオケ演奏部1
0と、楽曲の再生に同期して動作する歌手等の物体映像
を生成する映像再生部30と、楽曲の再生時に背景画像
を生成する背景画像生成部40と、歌詞画像、物体映像
および背景画像を合成する合成部50とを備えている。
そして、カラオケ演奏部10には、センターホストコン
ピュータ200が電話回線を介して接続されている。さ
らに、カラオケ演奏部10には、楽曲の音声とマイク8
0から入力される音声とを合成するミキサアンプ60が
接続され、このミキサアンプ60にはスピーカ70およ
びマイク80が接続されている。また、合成部50に
は、この合成部50から出力される映像・画像を表示す
る表示装置としてのモニタ90が接続されている。
PU(Central Processing Unit)11、RAM(Rando
m Access Memory)12、ROM(Read Only Memory)
13、CD−ROM読取部14、インタフェース回路1
5を介して接続された音声データ記憶手段としての楽曲
データ記憶部16、入力部17、歌詞画像生成部18、
音源部19およびFIFO(First In First Out)回路
20を備えている。そして、これらはバス22を介して
相互に接続されている。
奏部10の総合的な制御を行うと共に、歌謡曲、ポップ
ス等の楽曲(伴奏部分)の自動演奏を行うものである。
具体的に説明すると、音声用CPU11は、例えば、M
IDI規格に沿って構成されたMIDIデータに基づい
て楽曲の自動演奏を行う機能を有している。さらに、こ
の音声用CPU11は、タイマを有しており、MIDI
クロックに基づいて後述する同期信号を生成する機能を
も有している。また、RAM12は、音声用CPU11
が制御処理を行うときに作業エリアとして利用されると
共に、各種データを一時的に蓄積するために利用され
る。また、ROM13には、カラオケ演奏部10の動作
を定める制御プログラム等が記憶されている。
から後述する楽曲データや映像データ等読み出すもので
ある。ここで、CD−ROMは外部から装着することが
でき、そのCD−ROMには、後述する楽曲データや映
像データ等が記憶されている。CD−ROM読取部14
から読み出された楽曲データは、楽曲データ記憶部16
に転送される。また、CD−ROM読取部14から読み
出された楽曲データが、RAM12に転送され、即座に
音声用CPU11および音源部19によって再生される
場合もある。一方、楽曲データ記憶部16は、例えば、
ハードディスクにより構成されており、楽曲データを例
えば2000曲程度記憶している。また、楽曲データ記
憶部16は書き換え可能であり、センターホストコンピ
ュータ200からモデム21を介して受信された楽曲デ
ータや、CD−ROM読取部14から転送された楽曲デ
ータを追加して記憶することができる。
曲を再生する際のテンポの設定、楽曲の調の設定、視点
情報および光源情報等の設定、楽曲の早送り・巻き戻し
等、通信カラオケ装置100を制御するための指示を入
力するものである。また、歌詞画像生成部18は、例え
ば、OSD(On Screen Display)回路等によって構成
されており、楽曲の再生と同時にモニタ90に表示する
歌詞画像を生成するものである。さらに詳しく説明する
と、楽曲データには、後述するように、楽曲を再生する
ための音声データと楽曲の歌詞画像を生成するための歌
詞データが含まれている。歌詞画像生成部18は、この
楽曲データに含まれる歌詞データに基づいて歌詞画像を
生成する。
データに基づいて音声を合成するものである。例えば、
前記楽曲データは、MIDI規格に沿った自動演奏用の
MIDIデータであり、音源部19は、このMIDIデ
ータに基づいて楽音等を発生させるシンセサイザー等に
よって構成されている。一方、FIFO回路20は、映
像再生部30のバスラインとのバッファとして機能する
と共に、音声用CPU11から出力される同期信号を映
像再生部30に出力するものである。
タ200に電話回線を介して接続されており、センター
ホストコンピュータ200から電話回線を介して伝送さ
れるデータの受信、復調を行うものである。ここで、セ
ンターホストコンピュータ200には、多数の楽曲デー
タと、これら各楽曲データに対応した多数の映像データ
が蓄積されている。そして、通信カラオケ装置100の
楽曲データ記憶部16またはCD−ROM読取部14に
セットされたCD−ROMに記憶されていない楽曲、例
えば、最新の流行歌等を再生する必要が生じたときに
は、センターホストコンピュータ200から通信カラオ
ケ装置100に向けて当該楽曲データ等が伝送される。
このとき、モデム21は、センターホストコンピュータ
200から伝送される楽曲データ等を受信し、受信した
データを復調した後、RAM12または楽曲データ記憶
部16に転送する。
1、ROM32、インタフェース回路33を介して接続
された動作データ記憶手段としての映像データ記憶部3
4、形状データ記憶手段としての形状データ記憶部35
および瞬時映像生成手段としての物体映像生成部36を
備えている。そして、これらはバス37を介して相互に
接続されている。なお、バス37はカラオケ演奏部10
のバス22との間でFIFO回路20を介し、相互にデ
ータの転送を行うことができるようになっている。
30の総合的な制御を行うものである。また、ROM3
2には、映像再生部30の動作を定める制御プログラム
および後述する同期映像生成処理を行うための制御プロ
グラム等が記憶されている。
ディスクにより構成されており、映像データを記憶して
いる。また、映像データ記憶部34は書き換え可能であ
り、センターホストコンピュータ200からモデム21
を介して受信された映像データや、CD−ROM読取部
14から転送された映像データを追加して記憶したり、
更新することができる。一方、形状データ記憶部35
は、後述する形状データを記憶するものであり、RA
M、ROMまたはハードディスク等によって構成されて
いる。
路等によって構成され、映像データ記憶部34等に記憶
された映像データに含まれる動作データと、形状データ
記憶部35に記憶された形状データとに基づいて、楽曲
に合わせて踊る歌手等の動く物体を映像(動画)として
再生するための瞬時映像データを生成するものである。
さらに具体的に説明すると、当該通信カラオケ装置10
0では、図15に示すように、楽曲の再生と同時に、楽
曲の歌詞を表す歌詞画像Im1と、背景画像Im2と、
楽曲に合わせて踊る歌手の映像Im3をモニタ90に表
示する。物体映像生成部36は、これら各画像および映
像のうち、楽曲に合わせて踊る歌手の映像Im3を表示
するための瞬時映像データを生成する。ここで、瞬時映
像データは、映像Im3の1フレーム分を形成するデー
タである。
用メモリ36Aと、表示用メモリ36Bとが設けられて
いる。物体映像生成部36は、映像データ記憶部34お
よび形状データ記憶部35からそれぞれ動作データおよ
び形状データを受信し、これら動作データおよび形状デ
ータを作成用メモリ36Aに展開し、この作成用メモリ
36A内で瞬時映像データを生成する。その後、物体映
像生成部36は、この瞬時映像データを、作成用メモリ
36Aから表示用メモリ36Bに転送する。ここで、表
示用メモリ36Bは、画像1フレームに一対一に対応し
た、いわゆるビデオメモリである。従って、作成用メモ
リ36Aから表示用メモリ36Bに瞬時映像データを転
送することによって、表示用メモリ36B内には、歌手
等の物体を表す1フレーム分の映像が形成される。そし
て、表示用メモリ36B内に形成された映像は、合成部
50に出力され、合成部50において歌詞画像および背
景画像と合成されて、モニタ90に表示される。
装置等により構成されており、モニタ90に表示する背
景画像Im2を生成するものである。具体的に説明する
と、背景画像生成部40は、LD(Laser Disc)に記録
された背景画像を形成するための画像データを読み出
し、この画像データに基づいて背景画像を生成し、生成
された背景画像を合成部50に出力する。
Ray Tube)ディスプレイまたは液晶ディスプレイ等によ
り構成されている。
よれば、カラオケを行うときには、まず、入力部17を
操作して、楽曲の選択、テンポの設定等を行い、楽曲の
演奏を開始すべき指示を入力する。これにより、カラオ
ケ演奏部10の楽曲データ記憶部16に記憶された楽曲
データの中から、選択された楽曲に対応する楽曲データ
が抽出される。また、選択された楽曲に対応する楽曲デ
ータが楽曲データ記憶部16に存在しない場合には、C
D−ROM読取部14に装着されたCD−ROM内から
楽曲データが抽出される。さらに、選択された楽曲に対
応する楽曲データが楽曲データ記憶部16にも、CD−
ROM内にも存在しない場合には、選択された楽曲に対
応する楽曲データの伝送を、センターホストコンピュー
タ200に要求する。これにより、その楽曲データが、
センターホストコンピュータ200からモデム21を介
して受信される。
−ROM内から抽出され、またはセンターホストコンピ
ュータ200から伝送された楽曲データには、楽曲を再
生するための音声データと歌詞画像を生成するための歌
詞データが含まれている。従って、楽曲データは、音声
データと歌詞データに分離され、音声データはRAM1
2に、歌詞データは歌詞画像生成部18にそれぞれ転送
される。
に転送された音声データに基づいて自動演奏を行う。こ
れにより、音源部19によって合成された音声がミキサ
アンプ60を介してスピーカ70に出力され、楽曲が演
奏される。これと並行して、歌詞画像生成部18は、歌
詞データに基づいて歌詞画像を生成し、合成部50に出
力する。また、このとき、音声用CPU11は楽曲の演
奏に対応した同期信号を映像再生部30に向けて出力す
る。
の映像データ記憶部34に記憶された映像データの中か
ら、選択された楽曲に対応する映像データが抽出され
る。また、選択された楽曲に対応する映像データが映像
データ記憶部34に存在しない場合には、CD−ROM
読取部14に装着されたCD−ROM内から映像データ
が抽出される。さらに、選択された楽曲に対応する映像
データが映像データ記憶部34にも、CD−ROM内に
も存在しない場合には、選択された楽曲に対応する映像
データの伝送を、センターホストコンピュータ200に
要求する。これにより、その映像データが、センターホ
ストコンピュータ200からモデム21を介して受信さ
れる。
−ROM内から抽出され、またはセンターホストコンピ
ュータ200から伝送された映像データから動作データ
が抽出され、この動作データが、形状データ記憶部35
に記憶された形状データと共に、物体映像生成部36の
作成用メモリ36Aに転送される。そして、物体映像生
成部36により、歌手等の物体を表す映像の1フレーム
分の画像を形成する瞬時映像データが生成され、合成部
50に出力される。このとき、物体映像生成部36は、
音声用CPU11から映像再生部30に向けて出力され
た同期信号に同期するように瞬時映像データを出力す
る。
40から合成部50に向けて、選択された楽曲に対応す
る背景画像が出力される。そして、歌詞画像生成部18
から出力された歌詞画像、物体映像生成部36から出力
された歌手等を表す映像および背景画像生成部40から
出力された背景画像は、合成部50により合成され、モ
ニタ90に表示される。
されると共に、楽曲の再生に同期して踊る歌手等の映像
が、歌詞画像および背景画像と共にモニタ90に表示さ
れる。
する。
楽曲データは、ヘッダHm、対応する楽曲を特定するた
めの番号である曲番号Nm、楽曲を再生する際の速度を
示すテンポデータTm、楽曲に対応する背景画像を指定
するための番号である背景データBmおよび複数の演奏
データPm等から構成されている。
Sdと時間データTsdからなるブロックと、歌詞デー
タWdおよび時間データTwdからなるブロックとから
構成されている。音声データSdは、楽曲を再生するた
めのデータであり、例えば、MIDIデータ等によって
構成されている。より具体的に説明すると、音声データ
Sdは、音を鳴らす旨の指令、音を止める旨の指令、ど
の音を鳴らすかを指定する旨の指令等を含んでいる。音
声データSdの隣に配列された時間データTsdは、音
声データに基づく指令を実行する時間(タイミング)を
制御するのに用いられるデータである。一方、歌詞デー
タWdは、歌詞画像を生成するためのデータである。歌
詞データWdの隣に配列された時間データTwdは、歌
詞画像を生成する時間(タイミング)を制御するのに用
いられるデータである。
いる。映像データは、ヘッダHp、対応する楽曲を特定
するための番号である曲番号Np、動作データのデータ
数Dpおよび複数の動作データMp等から構成されてい
る。
する。上述したように、動作データおよび形状データ
は、楽曲の再生に同期して踊る歌手等の映像を形成する
ための瞬時映像データを生成するのに用いられるデータ
である。
模倣物からなる物体を表す映像を複数の構成要素に分割
し、これら各構成要素の位置および回転を設定するデー
タである。また、動作データは、図3に示すように、映
像データ中に複数配列されており、個々の動作データ
(瞬時動作データ)は、1フレーム分の映像の動き(位
置および回転)を設定するものである。なお、上述した
ように、動作データは、映像データの一部に含まれ、各
楽曲毎に個別に設定されている。また、映像データは、
センターホストコンピュータから電話回線で受け取るこ
とができる。
は、人間、動物またはこれらの模倣物からなる物体を表
す映像を複数の構成要素に分割し、これら各構成要素の
位置または動作を設定するデータである。
た人間モデルを仮想的に定義し、この人間モデルを腰、
胸、頭、腕および脚等の各構成要素に分割する。この分
割した各構成要素を「レベル」と呼ぶ。例えば、図5に
示すように、人間モデルはレベル1〜レベル17に分割
され、そのうちレベルL1は人間モデルの腰に相当し、
レベルL5は人間モデルの頭に相当する。そして、レベ
ル1はX軸方向、Y軸方向およびZ軸方向に移動するこ
とができると共に、X軸方向の軸、Y軸方向の軸および
Z軸方向の軸をそれぞれ中心として回転することができ
る。各レベル2〜17は、連結部Rでそれぞれ連結され
ており、連結部Rを基準にX軸方向の軸、Y軸方向の軸
およびZ軸方向の軸を中心として回転することができ
る。動作データは、このような各レベルの位置および回
転を記録したものである。
ている。図4に示すように、動作データは、レベル1〜
レベル17の各動作データによって構成されており、レ
ベル1の動作データは、位置座標(X,Y,Z)および回
転角度(Xr,Yr,Zr)によって構成され、レベル2
〜レベル17の各動作データは回転角度(Xr,Yr,Z
r)のみによって構成されている。
る。即ち、楽曲を、その楽曲に予め設定された基準テン
ポTmで再生する。そして、その再生された楽曲に合わ
せて人間が実際に踊り(ダンス、振り)を行う。さら
に、踊りを行っている人間の各構成要素の位置、回転等
を所定の測定周期、例えば1/15秒の周期で測定し、
前記レベル1〜17の各座標に関するデータを採取す
る。これにより、1/15秒毎に動作データが作成され
る。なお、この測定周期は後述する表示周期と同一であ
る。
のようなフレーム毎に完全な画像データを用意するもの
と比較してデータ量が少ない。従って、動作データを各
楽曲毎に個別に設定することができ、センターホストコ
ンピュータ200から通信カラオケ装置100に向けて
短時間で伝送することができる。
れらの模倣物からなる物体を表す映像を複数の構成要素
に分割し、これら各構成要素の形状を設定するデータで
ある。形状データは、形状データ記憶部35に記憶され
ている。そして、形状データは、動作データと異なり、
各楽曲毎に個別に設定されていない。即ち、形状データ
は、主として複数の楽曲で共通して用いられる。なお、
形状データは、表示する映像の種類に応じて複数種類設
けられている。例えば、複数種類の形状データを変更す
ることにより、歌手の映像を動物の映像に変更して表示
することができる。
にそれぞれ設定されている。ここで、図6は、レベルL
1の形状データの構成を示している。図6に示すよう
に、形状データは、頂点座標A1〜A8からなる頂点座
標データと、ポリゴンデータP1〜P6からなるポリゴ
ンリンクデータとから構成されている。頂点座標データ
は、図7に示すように、レベルL1の各頂点座標A1〜
A8を定めることにより、レベルL1の立体形状を設定
するものである。また、ポリゴンリンクデータは、レベ
ルL1の各面の質感や特性を定めるものである。具体的
に説明すると、ポリゴンリンクデータを構成する各ポリ
ゴンデータP1〜P6は、それぞれサーフェスデータと
頂点番号とから構成されている。サーフェスデータは、
表面の色、アンビエント、透明度、その表面に画像(テ
クスチャー)を張り付けるか否かを指示するデータ等を
有している。頂点座標は、各表面を形成する頂点を示す
データである。レベルL1の形状データはこのように構
成されるが、レベルL2〜L17の各形状データも、同
様に構成されている。また、形状データには、各レベル
のつながりの関係を示す情報およびその位置、即ち、図
5で示すような連結部Rの座標を含んでいる。
オケ演奏部10によって再生される楽曲と、映像再生部
30によって生成され、モニタ90に表示される歌手等
の映像の同期について説明する。
に設けられた自動演奏機能によって行われる。上述した
ように、音声用CPU11は、音声データに基づいてM
IDI規格に従った自動演奏を行う。このとき、自動演
奏の基本的な時間制御はMIDIクロックによって行わ
れる。
れており、楽曲データ中にテンポデータTmとして記述
されている。この基準テンポは、楽曲毎に異なり、例え
ば、リズム感のあるロック等の楽曲の場合には、比較的
速い基準テンポが設定されている。また、バラード等の
ゆっくりした楽曲の場合には、比較的遅い基準テンポが
設定されている。従って、楽曲の再生は、通常、基準テ
ンポで行われる。しかしながら、入力部17によってテ
ンポの変更を入力されたときには、入力されたテンポに
従って、楽曲を基準テンポよりも遅いテンポまたは基準
テンポよりも速いテンポで再生する。
像用CPU31および物体映像生成部36によって行わ
れる。上述したように、物体映像生成部36は、動作デ
ータと形状データとに基づいて映像の1フレームを形成
する瞬時映像データを生成する。即ち、物体映像生成部
36は、作成用メモリ36A内で瞬時映像データを次々
に生成し、生成した瞬時映像データを表示用メモリ36
Bに所定の表示周期で転送する。これにより、所定の表
示周期で変化する映像が合成部50を介してモニタ90
に表示される。
タを測定したときに用いた測定周期と同一であり、例え
ば、1/15秒である。即ち、動作データは、上述した
ように、楽曲を基準テンポTmで再生し、その再生され
た楽曲に合わせて人間が実際に踊り(ダンス、振り)を
行い、その踊っている人間の各構成要素の位置、回転等
を所定の測定周期、例えば1/15秒周期で測定するこ
とによって生成される。従って、このように生成された
動作データを用い、かつ、前記所定の測定周期と同一の
表示周期で瞬時映像データを表示することにより、測定
時の人間の動きをそのまま再現し、自然にかつ滑らかに
動く映像を再生することができる。
ータを表示する表示周期、即ち、動作データを測定する
測定周期は、モニタ90が1フレームを表示する表示周
期の整数倍となるように設定されている。即ち、モニタ
90は、CRTディスプレイまたは液晶ディスプレイに
よって構成されており、1フレームの画像を一定の表示
周期、例えばNTSC方式であれば、2フィールドから
なる1フレームを1/30秒周期で表示する。この場
合、物体映像生成部36が瞬時映像データを表示する表
示周期は、例えば、モニタ90が1フレームを表示する
表示周期の2倍の周期、即ち、1/15秒である。従っ
て、同一の画像が2フィールドにわたって表示されるこ
とになる。
同期は、音声用CPU11から映像用CPU31に出力
される同期信号と、後述する再生フレームテーブルTs
に基づいて行われる。同期信号は、音声用CPU11に
よりMIDIクロックに基づいて生成される。MIDI
クロックは、例えば、楽曲の4分音符当たり24のクロ
ックパルスを出力する信号であり、楽曲のテンポに対応
している。そして、同期信号は、このMIDIクロック
を分周した信号であり、例えば、楽曲の8分音符当たり
1のクロックパルスを出力する信号である。
ルスには、図9に示すように、楽曲の再生位置を認識す
るための識別符号が付される。この識別符号は、楽曲の
先頭から末尾に向けて1,2,3,…と1ずつ増加する。
8に示すように、同期信号を構成する各クロックパルス
と映像を構成する各フレームとの時間的な対応関係を記
述したテーブルである。即ち、物体映像生成部36から
出力される瞬時映像データは、1/15秒周期で変化
し、モニタ90に表示される映像の1フレーム分を形成
する。ここで、モニタ90に表示される映像の各フレー
ム(以下、これを「再生フレーム」という)を、図9に
示すように、所定の再生周期t(1/15秒周期)で再
生順に配列し、各再生フレームにF1〜F11等のフレ
ーム番号を付ける。そして、再生する楽曲の基準テンポ
に基づいて同期信号の周期を算定し、これに基づいて、
同期信号を構成する各クロックパルスに付された識別番
号が、再生順に配列された各再生フレームF1〜F11
等のうち、いずれの再生フレームに一致するかを算定す
る。その結果を記述したものが、再生フレームテーブル
Tsである。なお、この再生フレームテーブルTsは、
楽曲の再生が開始される直前に作成される。
期が、上述した同期信号および再生フレームテーブルT
sに基づいてどのようにして行われるかについて、図8
ないし図11に従って説明する。
ように、楽曲の再生開始と同時に、第1番目の再生フレ
ームF1を表示し、それ以降、楽曲の再生と並列して各
再生フレームF2〜F11等を再生順通りに表示する。
即ち、楽曲の再生と並列して、物体映像生成部36によ
って各再生フレームを形成するための瞬時映像データを
生成し、生成した瞬時画像データを再生周期t毎に合成
部50に出力する。合成部50は、モニタ90の表示周
期に同期させて合成された画像データをモニタ90に出
力する。
用いられる動作データ(瞬時動作データ)は、基準テン
ポで再生した楽曲に合わせて踊る人間の動きを測定する
ことによって生成されている。従って、楽曲を基準テン
ポで再生するときには、楽曲の再生開始時点と、映像の
表示開始時点を一致させ、楽曲の再生と映像の表示とを
並列して行えば、楽曲の再生と映像の表示は同期する。
しかしながら、楽曲の再生テンポが再生中に変更された
場合や、楽曲を一度停止して再び再生する場合等に備え
て、楽曲の再生と各再生フレームの表示との時間的な対
応関係を常に認識しておく必要がある。そこで、通信カ
ラオケ装置100は、楽曲の再生と各再生フレームの表
示との時間的な対応関係を、同期信号および再生フレー
ムテーブルTsに基づいて常に認識している。即ち、図
8に示す再生フレームテーブルTsによれば、同期信号
のクロックパルス1は再生フレームF1に対応し、クロ
ックパルス2は再生フレームF4に対応している。さら
に、クロックパルス3は再生フレームF7に対応し、ク
ロックパルス4は再生フレームF11に対応している。
従って、楽曲を基準テンポで再生するときには、各クロ
ックパルスの出力と、再生フレームテーブルTsに記述
された再生フレームの表示とが時間的に一致し、かつ、
各クロックパルスと再生フレームの対応関係が、再生フ
レームテーブルの記述に合致しているか確認しながら、
映像の表示を行う。
10に示すように、再生フレームF1〜F8等の間に補
間フレームG1,G2等を挿入する。即ち、楽曲の再生
が基準テンポより遅いときでも、各再生フレームの生成
・表示は、所定の表示周期tに同期して行われるため、
各再生フレームをそのまま再生順に表示したのでは、各
再生フレームの表示が楽曲の再生よりも早くなり、楽曲
の再生と映像の表示との同期がとれなくなる。そこで、
各クロックパルスの出力と、再生フレームテーブルTs
に記述された再生フレームの表示とが時間的に一致し、
かつ、各クロックパルスと再生フレームの対応関係が、
再生フレームテーブルの記述に合致するように、再生フ
レームF1〜F8等の間に補間フレームG1,G2等を
挿入する。そして、再生フレームF1〜F8等および補
間フレームG1,G2を順次表示する。
る瞬時画像データを生成するのに用いられる動作データ
(以下、これを「補間動作データ」という)は、補間フ
レームを挿入する位置の直前に配置された再生フレーム
に対応する瞬時画像データの動作データ(以下、これを
「直前動作データ」という)と、補間フレームを挿入す
る位置の直後に配置された再生フレームに対応する瞬時
画像データの動作データ(以下、これを「直後動作デー
タ」という)とに基づいて算定される。さらに詳しく説
明すると、映像の動きが激しく、直前動作データと直後
動作データとの値の差が大きいときには、直前動作デー
タと直後動作データとの平均値が、補間動作データとし
て用いられる。映像の動きが緩やかで、直前動作データ
と直後動作データとの値の差が小さいときには、直前動
作データと直後動作データのうち、いずれか一方の値
が、補間動作データとして用いられる。これにより、楽
曲が基準テンポよりも遅い速度で再生されても、楽曲の
再生と映像の表示との同期を容易にとることができると
共に、表示される映像を滑らかに動作させることができ
る。
11に示すように、各再生フレームF1〜F13等のう
ち、一部の再生フレームF3,F6,F9,F10,F
13等を抜き取り、各再生フレームを間引きする。即
ち、楽曲の再生が基準テンポより速いときでも、各再生
フレームの生成・表示は、所定の表示周期tに同期して
行われるため、各再生フレームをそのまま再生順に表示
したのでは、各再生フレームの表示が楽曲の再生よりも
遅くなり、楽曲の再生と映像の表示との同期がとれなく
なる。そこで、各クロックパルスの出力と、再生フレー
ムテーブルTsに記述された再生フレームの表示とが時
間的に一致し、かつ、各クロックパルスと再生フレーム
の対応関係が、再生フレームテーブルの記述に合致する
ように、各再生フレームを間引きしながら、各再生フレ
ームの表示を行う。これにより、楽曲が基準テンポより
も速い速度で再生されても、楽曲の再生と映像の表示と
の同期を容易にとることができる。
フローチャートに沿って説明する。同期映像生成処理
は、上述したような楽曲の再生と映像の表示との同期を
行う処理であり、映像再生部30のROM32に記憶さ
れた制御プログラムに従って映像用CPU31および物
体映像生成部36によって実行される。
が、入力部17により、再生すべき楽曲を選択し、楽曲
の再生を開始する旨の指令を入力すると、カラオケ演奏
部10の音声用CPU11は、選択された楽曲に対応す
る楽曲データを楽曲データ記憶部16等からRAM12
に転送する。そして、音声用CPU11は、楽曲データ
からテンポデータを抽出し、このテンポデータに基づい
て選択された楽曲の基準テンポを認識し、その基準テン
ポのデータを映像用CPU31に出力する。さらに、音
声用CPU11は、入力部17から入力されたテンポ変
更の指令等を認識し、これら指令に従って楽曲再生に関
する設定を行う。
が楽曲再生に関する設定を行っている間に、映像再生部
30の映像用CPU31は、選択された楽曲に対応する
映像データを映像データ記憶部34等から物体映像生成
部36に転送すると共に、形状データを形状データ記憶
部35から物体映像生成部36に転送する。さらに、映
像用CPU31は、音声用CPU11から受け取った基
準テンポを、物体映像生成部36に出力する。続いて、
物体映像生成部36において、以下に説明する同期画像
生成処理のプログラムがスタートする。
ータ記憶部34等から転送される映像データ、形状デー
タ記憶部35から出力される形状データおよび映像用C
PU31から出力される基準テンポのデータを、物体映
像生成部36が受信したか否か判定する。いずれのデー
タも受信しないときには、いずれかのデータを受信する
までステップ1を繰り返す。
ステップ1からステップ2を経てステップ5に移行す
る。そして、ステップ5では、受信した形状データを物
体映像生成部36の作成用メモリ36Aに展開し、再び
ステップ1に戻る。また、ステップ1で映像データを受
信したときには、ステップ1からステップ2および3を
経てステップ5に移行する。そして、ステップ5では、
映像データ中から動作データを抽出し、その動作データ
を物体映像生成部36の作成用メモリ36Aに展開し、
再びステップ1に戻る。このとき、各動作データにはフ
レーム番号を付し、フレーム番号によってランダムアク
セス可能に記憶しておく。最終的に、フレーム番号は1
からデータ数Dpまでとなる。さらに、ステップ1で基
準テンポのデータを受信したときには、ステップ1から
ステップ2および3を経てステップ4に移行する。そし
て、ステップ4で「YES」と判定し、受信した基準テ
ンポのデータを物体映像生成部36に設けられたメモリ
に記憶してから、ステップ6に移行する。一方、ステッ
プ1で、形状データ、映像データおよび基準データ以外
のデータを受信したときには、ステップ1からステップ
2および3を経てステップ4に移行し、ステップ4で
「NO」と判定し、ステップ1に戻る。
信し、形状データの受信が完了したか否かを判定する。
その結果、形状データの受信を完了していないときに
は、ステップ1に戻って形状データの受信を待ち、形状
データの受信を完了したときには、ステップ7に移行す
る。
る映像データ(動作データ)をすべて受信し、映像デー
タの受信を完了したか、即ち、データ数Dp分の動作デ
ータを受信したか否かを判定する。その結果、映像デー
タの受信を完了していないときには、ステップ1に戻っ
て映像データの受信を待ち、映像データの受信を完了し
たときには、ステップ8に移行する。
映像の視点位置と光源位置をデフォルト(初期設定)の
位置に設定する。ここで、物体映像生成部36は、視点
位置、即ち、物体の映像をモニタ90に表示するとき
に、物体をどの角度、どの距離から見た状態で表示する
かを設定することができ、例えば、歌手等の映像を前か
らだけでなく、横や後ろから見た状態で表示することが
できる。なお、視点位置をデフォルトの位置に設定する
と、前から見た歌手等の映像が表示される。また、物体
映像生成部36は、光源位置、即ち、映像をモニタ90
に表示するときに、映像にどの角度からライトを当てた
状態で表示するかを設定することができ、例えば、左
上、右上、正面等からライトを当てた状態で歌手等の映
像を表示することができる。なお、光源位置をデフォル
トの位置に設定すると、左上からライトを当てた歌手等
の映像が表示される。
準テンポのデータおよびデータ数Dp、即ち動作データ
Mpの数に基づいて、図8に示すような再生フレームテ
ーブルTsをその1曲分について作成する。
の再生位置を認識する。即ち、通常、楽曲は、その先頭
から再生されるが、利用者が入力部17を操作して、楽
曲の再生位置を指定した場合には、その指定された位置
から楽曲を再生することができる。即ち、利用者が楽曲
の再生位置を指定した場合には、その指定された再生位
置を示すデータが物体映像生成部36に入力される。こ
こで、同期信号を構成する各クロックパルスには、再生
位置を認識するための識別符号が付されている。従っ
て、指定された再生位置を示すデータに基づいて、指定
された再生位置に対応するクロックパルスの識別符号を
認識することにより、指定された位置から楽曲が再生す
ることができる。
を受信したか否か判定する。即ち、利用者が入力部17
を操作して、楽曲の再生を開始する旨の指示を入力する
と、その指示は物体映像生成部36に送信される。そし
て、その指示を物体映像生成部36が受信すると、ステ
ップ11で「YES」と判定し、ステップ12に移行す
る。これにより、カラオケ演奏部10では、ステップ1
0で指定された再生位置から楽曲の再生が開始され、映
像再生部30では、ステップ10で指定された再生位置
から映像の生成が開始される。一方、楽曲の再生を開始
する旨の指示を受信しないときには、ステップ11で
「NO」と判定し、楽曲の再生を開始する旨の指示を受
信するまでステップ11を繰り返す。
を受信したか否か判定する。即ち、利用者が入力部17
を操作して、楽曲の再生を終了(中止)する旨の指示を
入力すると、その指示は物体映像生成部36に送信され
る。そして、その指示を物体映像生成部36が受信する
と、ステップ12で「YES」と判定し、楽曲の再生を
終了すると共に、同期画像生成処理を終了する。一方、
楽曲の再生を終了する旨の指示を受信しないときには、
ステップ12で「NO」と判定し、ステップ13に移行
する。
点情報または光源情報を受信したか否かを判定する。即
ち、通信カラオケ装置100は、視点位置を設定するた
めの情報である視点情報と、光源位置を設定するための
情報である光源情報を利用者の指示に従って設定、変更
する機能を有している。そして、利用者が入力部17を
操作して視点情報または光源情報を入力すると、このス
テップ13またはステップ14で、「YES」と判定さ
れ、ステップ15に移行し、ステップ15で、各情報が
物体映像生成部36に設けられたメモリに記憶される。
像生成部36の作成用メモリ36Aに展開した形状デー
タおよび動作データに基づいて再生フレームを生成す
る。即ち、形状データおよび動作データに基づいて再生
フレームを形成するための瞬時映像データを生成する。
そして、再生フレームを生成してから1/15秒間経過
するまでステップ17を繰り返し、その後、ステップ1
8で、音声用CPU11から出力された同期信号のクロ
ックパルスを受信したか否かを判定する。
を受信したときには、ステップ22に移行し、ステップ
22で、同期信号のクロックパルスを受信した時点にお
いて、次に表示しようとしている再生フレームが同期フ
レームか否かを判定する。ここで、「同期フレーム」と
は、再生フレームテーブルTsに記述されたフレーム番
号に相当する再生フレームを意味する。即ち、上述した
ように、再生フレームテーブルTsは、楽曲を基準テン
ポで再生し、かつ、これと同時に、各再生フレームを所
定の表示周期(例えば、1/15秒周期)で表示したと
き、同期信号を構成する各クロックパルスと時間的に一
致する再生フレームを記述したものである。従って、同
期信号の各クロックパルスを受信したときには、再生フ
レームテーブルTsに記述されたフレーム番号に相当す
る再生フレームを表示するようにすれば、楽曲の再生と
映像の表示との同期をとることができる。この意味で、
再生フレームテーブルに記述されたフレーム番号に相当
する再生フレームを「同期フレーム」という。例えば、
図8に示す再生フレームテーブルによれば、同期フレー
ムは、再生フレームF1,F4,F7,F11等であ
る。なお、図9ないし図11では、枠内に斜線を付した
再生フレームが、同期フレームである。
信号のクロックパルスを受信した時点において、次に表
示しようとしている映像の再生フレームが同期フレーム
であるときには、その同期フレームを表示すべく、図1
4中のステップ24に移行する。
号のクロックパルスを受信した時点において、次に表示
しようとしている映像の再生フレームが同期フレームで
ないときには、ステップ23に移行し、ステップ23
で、その再生フレームを破棄する。そして、その破棄し
た再生フレームの代わりに、その再生フレームからみて
時間的に後側に配列されている各同期フレームのうち、
一番近い同期フレームを表示すべく、その同期フレーム
を形成する瞬時動作データを使用して生成する。そし
て、その同期フレームを表示すべく、図14中のステッ
プ24に移行する。
信号のクロックパルスを受信した時点において、次に表
示しようとしている再生フレームが同期フレームでない
といった事態は、楽曲の再生が基準テンポよりも速いと
きに起こる。即ち、図9に示すように、楽曲の再生が基
準テンポのときには、再生順に配列された各再生フレー
ムがそのままの順序で表示されれば、各クロックパルス
の出力と同期フレームの表示とは時間的に一致し、楽曲
の再生と映像の表示との同期はとれる。このため、ステ
ップ18で同期信号のクロックパルスを受信した時点に
おいて、次に表示しようとしている映像の再生フレーム
は、常に同期フレームである。言い換えれば、同期信号
を構成する各クロックパルスが出力される時間間隔は、
同期フレームが配置された時間間隔と等しい。一方、図
11に示すように、楽曲の再生が基準テンポよりも速い
ときには、同期信号を構成する各クロックパルスが出力
される時間間隔が、各同期フレームが配置された時間間
隔よりも短くなる。従って、ステップ22の判定の結
果、同期信号のクロックパルスを受信した時点におい
て、次に表示しようとしている再生フレームが同期フレ
ームでないといった事態が生じる。この場合には、次に
表示しようとしている再生フレームを間引きする。即
ち、次に表示しようとしている再生フレームを破棄し、
破棄した再生フレームの代わりに、その破棄した再生フ
レームからみて時間的に後側に配列されている各同期フ
レームのうち一番近い同期フレームを表示するようにす
る。これにより、楽曲の再生が基準テンポよりも速くて
も、各クロックパルスの出力と各同期フレームの表示と
を時間的に一致させることができ、楽曲の再生と映像の
表示との同期をとることができる。即ち、表示される映
像の動きは、楽曲の再生が速められた分、速くなる。
ムを生成してから1/15秒間経過した時点において、
ステップ18で同期信号のクロックパルスを受信しなか
った場合には、ステップ19に移行し、ステップ19
で、次に表示しようとしている再生フレームが同期フレ
ームか否かを判定する。そして、ステップ19の判定の
結果、次に表示しようとしている再生フレームが同期フ
レームでないときには、その再生フレームを表示すべ
く、図14中のステップ24に移行する。
示しようとしている再生フレームが同期フレームの場合
には、ステップ20に移行し、補間フレームを生成し、
ステップ21で、次に表示しようとしている同期フレー
ムの直前に、生成した補間フレームを挿入する。そし
て、挿入した補間フレームを表示すべく、図14中のス
テップ24に移行する。
信号のクロックパルスを受信していないにも拘わらず、
次に表示しようとしている再生フレームが同期フレーム
であるといった事態は、楽曲の再生が基準テンポよりも
遅いときに起こる。即ち、図10に示すように、楽曲の
再生が基準テンポよりも遅いときには、同期信号を構成
する各クロックパルスが出力される時間間隔が、各同期
フレームが配置された時間間隔よりも長くなる。従っ
て、ステップ19の判定の結果、同期信号のクロックパ
ルスを受信していないにも拘わらず、次に表示しようと
している再生フレームが同期フレームであるといった事
態が生じる。この場合には、各同期フレームの間に補間
フレームを挿入し、各クロックパルスの出力と、各同期
フレームの表示とが一致するように調整する。これによ
り、楽曲の再生が基準テンポよりも遅くても、楽曲の再
生と映像の表示との同期をとることができる。即ち、表
示される映像の動きは、楽曲の再生が遅くなった分だ
け、遅くなる。
る瞬時映像データの動作データおよび視点情報に基づい
てポリゴンの表示座標系での座標を計算する。ここで、
ステップ13で入力された視点情報に従って、表示すべ
き映像の視点位置が算定される。
および視点情報に基づいてテクスチャの張り付けを行
う。これにより、視点位置によって変化する表面の模様
や質感がポリゴンの各表面に付加される。
報に基づいてポリゴンのシェーディングを行う。これに
より、光源の向きによって形成される影等が各ポリゴン
に付加される。
作成用メモリ36Aに生成された瞬時映像データを表示
用メモリ36Bに転送する。これにより、瞬時映像デー
タによって形成された映像が、合成部50を介してモニ
タ90に表示される。
2で、楽曲の再生を終了する旨の指示を受信するまで、
ステップ13〜ステップ27の処理を繰り返し実行す
る。これにより、楽曲が再生されると共に、モニタ90
には、図15に示すように、楽曲に合わせて踊る歌手等
の映像が表示される。
装置100によれば、楽曲の再生に合わせて踊る歌手等
の映像をモニタ90に表示することができる。特に、歌
手等の映像を形成する瞬時映像データを生成するときに
用いられる動作データと形状データをそれぞれ分離して
記憶する構成としたから、比較的データ量の少ない動作
データを各楽曲毎に設け、形状データを各楽曲共通にす
れば、各楽曲毎に固有の動作をする映像を少ないデータ
量で容易に生成することができる。
少ないため、楽曲データと同様に、センターホストコン
ピュータ200から電話回線を介して伝送することがで
きる。これにより、最新の楽曲等、通信カラオケ装置1
00内に記憶されていない楽曲を再生するときには、楽
曲データと共に、その楽曲に対応する動作データをセン
ターホストコンピュータ200から受け取ることができ
る。従って、最新の楽曲等を即座に再生できると共に、
その楽曲に施された最新の踊り、振り付け等を楽曲に同
期させながら、即座に表示することができる。
れ分離して記憶する構成としたから、表示する映像の種
類に応じて複数種類の形状データを設ければ、形状デー
タの種類を変更することによって、楽曲に合わせて踊る
映像の様子を大幅に変化させることができる。例えば、
男性の映像を形成する形状データと、女性の映像を形成
する形状データとの2種類の形状データを設ければ、動
作データを変更することなく、1つの楽曲について、男
性が踊る映像と女性が踊る映像との2種類の映像を選択
して、あるいは合成して同時に表示することができる。
100によれば、楽曲データと動作データとが完全に分
離しているため、既存の楽曲データに動作データを容易
に後付することができる。例えば、既存の楽曲データを
再生し、その再生された楽曲に合わせて人間が踊り、そ
の人間の動きを測定して動作データを生成するだけで、
既存の楽曲データに対応した動作データを生成すること
ができる。そして、このようにして生成された動作デー
タを、例えば、センターホストコンピュータ200から
通信カラオケ装置100に伝送すれば、既存の楽曲デー
タに対応する動作データを容易に追加することができ
る。従って、既存の楽曲データを作成し直す必要がな
く、既存の楽曲データを有効に利用することができる。
100によれば、基準テンポで再生された楽曲に合わせ
て踊る人間の動作を所定の測定周期で測定することによ
り、動作データを生成し、この動作データを用いて生成
された瞬時映像データを、前記測定周期と同一の表示周
期で表示する構成としたから、楽曲を基準テンポで再生
したとき、楽曲の再生と映像の表示との同期を容易にと
ることができ、かつ、楽曲に合わせて踊る歌手等の映像
を正確に再現できる。
いときには、補間フレームを、各同期フレームの間に挿
入する構成としたから、楽曲の再生が基準テンポよりも
遅くても、楽曲の再生と映像の表示とを同期させること
ができ、かつ、表示される映像を滑らかに動かすことが
できる。また、楽曲の再生が基準テンポよりも速いとき
には、一部を再生フレームを間引きする構成としたか
ら、楽曲の再生が基準テンポよりも速いときでも、楽曲
の再生と映像の表示とを容易の同期させることができ
る。
100によれば、各再生フレームの表示周期、即ち、各
瞬時映像データの表示周期を、モニタ90が1フレーム
の画像を表示する表示周期の整数倍となるように設定し
たから、物体映像生成部36によって生成された各瞬時
映像データによって形成される映像を、モニタ90の表
示周期に合わせて表示することができる。従って、物体
映像生成部36によって生成された各瞬時映像データに
よって形成される映像をすべてモニタ90に表示するこ
とができ、モニタ90に表示される映像の動きを滑らか
にすることができる。
フレームを表示する表示周期は、同期信号の周期よりも
短い。ここで、楽曲のテンポは、通常、1分間あたりの
4分音符の数で表す。テンポが速い楽曲でも、1分間あ
たりの4分音符の数はせいぜい240程度である。一
方、同期信号の周期は、楽曲の8分音符あたりに1クロ
ックパルスが出力される周期であるから、1分間あたり
の4分音符の数が240の楽曲を再生すると、同期信号
の周期は、1/8秒となる。これに対し、各再生フレー
ムを表示する表示周期は、例えば1/15秒である。従
って、各再生フレームを表示する表示周期は、同期信号
の周期よりも短い。
示周期が、同期信号の周期よりも短いと、同期信号を構
成する各クロックパルスが出力される間に、複数の再生
フレームを表示することができる。例えば、図9に示す
ように、クロックパルス1が出力されてから、次のクロ
ックパルス2が出力されるまでの間に、4つの再生フレ
ームF1〜F4を表示することができる。このように、
同期信号を構成する各クロックパルスが出力される間
に、複数の再生フレームを表示することができると、楽
曲のテンポが基準テンポよりも速くなったときでも、図
11のように、一部の再生フレームを間引きすることに
よって、楽曲の再生と映像の表示との同期を容易にかつ
正確にとることができる。一方、楽曲のテンポが基準テ
ンポよりも遅くなったときでも、図10に示すように、
各再生フレーム間に補間フレームを挿入することによ
り、各クロックパルスの出力と各同期フレームの表示と
を時間的に正確に一致させることができ、楽曲の再生と
映像の表示との同期を容易にかつ正確にとることができ
る。
100によれば、同期信号を構成する各クロックパルス
に、楽曲の再生位置を認識するための識別符号を付した
から、楽曲の再生位置を常に認識することができ、楽曲
の途中からの再生や、楽曲の早送り、巻き戻し等を容易
に行うことができる。
状データ記憶部35に複数種類記憶されており、楽曲の
タイプ(曲調や歌手が男性か女性か等)によって選択す
ることができる。例えば、楽曲データにどの形状データ
を使用するかを示す選択データを記述しておくことによ
り、その楽曲に標準的な歌手が自動的に選択できる。ま
た、形状データを入力部17からの入力によって選択で
きる構成とすることにより、利用者の好みに応じた歌手
等を選択することができる。さらに、複数の歌手を選択
すれば、モニタ90内に同一の動作をする複数の歌手を
同時に並べて表示することができる。
同期フレームの直前に挿入するが、本発明はこれに限ら
ず、同期フレームではない各再生フレームの間や、同期
フレームの直後に挿入してもよい。また、楽曲のテンポ
が基準テンポよりも大幅に遅いときには、複数の補間フ
レームを連続的に挿入する必要が生じる。この場合に
は、各補間フレームの挿入位置を分散させるようにす
る。これにより、表示される物体の動きをより滑らかに
することができる。同様に、楽曲のテンポが基準テンポ
よりも大幅に速いときには、複数の再生フレームを連続
的に間引きする必要が生じる。この場合には、間引きす
る各再生フレームを分散させるようにする。これによ
り、表示される物体の動きをより滑らかにすることがで
きる。また、各補間フレームの挿入位置を分散させる処
理、または、各再生フレームを分散的に間引きする処理
は、楽曲の再生中に演算して求めてもよく、楽曲の再生
前のテンポ設定時等に演算して求めてもよい。
15秒としたが、本発明はこれに限らず、動作データの
データ量、画像作成処理の所要時間等の条件がよけれ
ば、動きをより滑らかに再生するために、表示周期を1
/15秒よりも短い時間としてもよい。例えば、前記実
施形態におけるモニタ90の表示周期は、1フレームが
2フィールドからなるので、1フィールド1/60秒で
ある。従って、表示周期を1/60秒としてもよい。
像再生部30内の形状データ記憶部35に記憶するよう
にしたが、本発明はこれに限るものではない。例えば、
形状データをRAM12内に記憶してもよい。また、前
記実施形態では、動作データを映像データ記憶部34に
記憶するようにしたが、例えば、動作データを楽曲デー
タと共に楽曲データ記憶部16に記憶してもよい。即
ち、形状データ、動作データ、楽曲データを、それぞれ
独立したファイルとして扱うことができ、それぞれのデ
ータに個別にアクセスでき、個別に追加、変更、削除等
ができれば、前記各データをそれぞれ別々の記憶装置に
記憶しなくてもよい。
映像を表示する場合を例に挙げたが、本発明はこれに限
らず、動物や、人間または動物の模倣物を表示してもよ
い。例えば、犬や猫といった動物のキャラクターが人間
のように踊る映像を表示するようにしてもよい。
状データ記憶部35に記憶するものとして述べたが、本
発明はこれに限らず、形状データをCD−ROM等を用
いて追加、変更することができる構成としてもよい。ま
た、センターホストコンピュータ200から形状データ
を受信し、適宜、追加、変更、削除できる構成としても
よい。この場合、形状データ自体は、比較的データ量が
小さいため、センターホストコンピュータ200から通
信カラオケ装置100に向けて短時間で伝送することが
できる。そこで、通信カラオケ装置100が利用されな
い時間に、形状データの伝送を適宜行うようにすればよ
い。
方法を通信カラオケ装置に適用した場合を例に挙げて説
明したが、本発明はこれに限らず、エアロビクスの音楽
とエアロビクスのインストラクターの映像とを同期させ
る装置や、アナウンサーの声と手話の映像を同期させる
装置等にも適用できる。
よれば、人間、動物またはこれらの模倣物からなる物体
を表す映像を複数の構成要素に分割し、これら各構成要
素の形状を設定する形状データと、前記各構成要素の位
置または動作を設定する動作データとに基づいて、前記
物体を動画として再生するための瞬時映像データを生成
し、この瞬時映像データを、音声の再生に同期して出力
される同期信号に同期させながら表示する構成としたか
ら、音声の再生に同期して動作し、かつ、複数種類の音
声がある場合には、各音声毎に異なった動作をする映像
を表示することができる。
音声データに基づく音声を基準速度で再生し、その再生
された音声に合わせて物体を動かし、そのときの物体の
各構成要素の位置または動作を所定時間毎に測定するこ
とによって形成された複数の瞬時動作データから構成す
ると共に、音声の再生速度が基準速度のときには、各瞬
時動作データにそれぞれ対応した瞬時映像データを生成
し、音声の再生速度が基準速度よりも遅いときには、各
瞬時動作データの間を補間する補間動作データを生成
し、各瞬時動作データおよび補間動作データにそれぞれ
対応した瞬時映像データを生成する構成としたから、音
声の再生速度を遅くした場合でも、表示している映像を
音声の再生に同期させながら滑らかに動作させることが
できる。
が基準速度よりも速いときには、各瞬時動作データを間
引きし、間引きされた各瞬時動作データにそれぞれ対応
した瞬時映像データを生成する構成としたから、音声の
再生速度を速くした場合でも、音声の再生に同期して動
く映像を容易に表示させることができる。
音声データに基づく音声を基準速度で再生し、その再生
された音声に合わせて物体を動かし、そのときの物体の
各構成要素の位置または動作を、表示装置の表示周期の
整数倍の周期で測定することによって形成された複数の
瞬時動作データから構成したから、音声の再生に同期し
て動く映像の1フレームが表示される周期を、表示装置
の表示周期に合致させることができ、表示装置に表示さ
れる映像の動きを滑らかにすることができる。
音声データに基づく音声を基準速度で再生し、その再生
された音声に合わせて物体を動かし、そのときの物体の
各構成要素の位置または動作を、同期信号の周期よりも
短い周期で測定することによって形成された複数の瞬時
動作データから構成したから、音声の再生に同期して動
く映像の1フレームが表示される周期を、音声の再生と
映像の表示との間の同期周期よりも短くすることができ
る。これにより、音声の再生速度を変化させ、前記同期
信号の周期を変化させても、音声の再生と映像の表示と
の間の同期を容易にかつ正確にとることができる。
段により出力される同期信号に、音声データの再生位置
を認識するための符号を付す構成としたから、音声デー
タの再生位置を認識することができ、音声データの再生
位置に対応した映像を表示することができる。従って、
楽曲等の音声を途中から再生したときでも、その音声に
正確に同期して動作する映像を表示することができる。
ば、音声データを音声データ記憶手段に、形状データを
形状データ記憶手段に、動作データを動作データ記憶手
段にそれぞれ別々に記憶する構成としたため、音声デー
タ、形状データおよび動作データをそれぞれ独立して取
り扱うことができる。これにより、例えば、音声データ
および動作データは楽曲毎に異なるものとし、形状デー
タは各楽曲共通にすることができる。また、既存の音声
データに、動作データと形状データを追加することがで
きる。従って、現在に至るまでに蓄積された既存の音声
データを作成し直すことなく、動作データおよび形状デ
ータを後付けすることができる。
れた音声データおよび動作データを受け取り、受け取っ
た音声データを前記音声データ記憶手段に記憶し、受け
取った動作データを動作データ記憶手段に記憶するデー
タ受取手段を有する構成としたから、比較的データ量の
少ない音声データと動作データのみを外部から受け取る
ことができ、外部からカラオケ装置に向けて伝送するデ
ータの量を少なくすることができる。従って、楽曲の再
生に合わせて動作する歌手等を表示させる通信カラオケ
装置を実現することができる。例えば、いわゆるセンタ
ーホストコンピュータから当該通信カラオケ装置に向け
て、最新の楽曲に関する音声データと動作データを配信
すれば、最新の楽曲を即座に再生することができるだけ
でなく、その楽曲を歌う歌手等の振りをも即座に表示さ
せることができる。
に、音声再生手段により再生される音声の再生速度を変
更する再生速度変更手段を設け、同期信号出力手段にお
いて、再生速度変更手段により変更された再生速度で再
生される音声に対応した同期信号を出力する構成とした
から、音声の再生速度を変更しても、音声の再生と映像
の表示との同期をとることができる。
を、音声データに基づく音声を基準速度で再生し、その
再生された音声に合わせて前記物体を動かし、そのとき
の物体の各構成要素の位置または動作を所定時間毎に測
定することによって形成された複数の瞬時動作データか
ら構成すると共に、瞬時映像生成手段において、音声再
生手段により再生される音声が基準速度のときには、各
瞬時動作データにそれぞれ対応した瞬時映像データを生
成し、音声再生手段により再生される音声が基準速度よ
りも遅いときには、各瞬時動作データの間を補間する補
間動作データを生成し、各瞬時動作データおよび補間動
作データにそれぞれ対応した瞬時映像データを生成する
構成としたから、請求項2の発明と同様に、音声再生手
段により再生される音声が基準速度よりも遅いときで
も、表示される映像の動きを滑らかにすることができ
る。
手段において、音声再生手段により再生される音声が基
準速度よりも速いときには、各瞬時動作データを間引き
し、間引きされた各瞬時動作データにそれぞれ対応した
瞬時映像データを生成する構成としたから、請求項3の
発明と同様に、基準速度よりも速い速度で再生される音
声に同期して動く画像を容易に再生することができる。
を、音声データに基づく音声を基準速度で再生し、その
再生された音声に合わせて物体を動かし、そのときの物
体の各構成要素の位置または動作を、表示装置の表示周
期の整数倍の周期で測定することによって形成された複
数の瞬時動作データから構成したから、請求項4の発明
と同様に、表示される映像の動きを滑らかにすることが
できる。
を、音声データに基づく音声を基準速度で再生し、その
再生された音声に合わせて物体を動かし、そのときの物
体の各構成要素の位置または動作を、同期信号出力手段
により出力される同期信号の周期よりも短い周期で測定
することによって形成された複数の瞬時動作データから
構成したから、請求項5の発明と同様に、音声の再生速
度を変化させ、前記同期信号の周期を変化させても、音
声の再生と映像の表示との間の同期を正確にとることが
できる。
手段により出力される同期信号に、音声データの再生位
置を認識するための符号を付する構成としたから、請求
項6の発明と同様に、同期信号に付した符号に基づいて
音声データの再生位置を認識することができ、音声デー
タの再生位置に対応した映像を表示することができる。
従って、楽曲等の音声を途中から再生したときでも、そ
の音声に正確に同期して動作する映像を表示することが
できる。
憶手段に、形状の異なる複数の物体を形成するための複
数の形状データを記憶し、音声データに含まれる選択デ
ータまたは外部からの入力により、各形状データを選択
し、瞬時映像生成手段は、選択された形状データと、動
作データ記憶手段に記憶された動作データとに基づい
て、物体を動画として再生するための瞬時映像データを
生成する構成としたから、楽曲に応じて、または利用者
の好みに応じて、表示する物体の形状等を設定、変更す
ることができる。
すブロック図である。
を示す説明図である。
を示す説明図である。
を示す説明図である。
説明図である。
を示す説明図である。
要素を示す斜視図である。
ブルを示す説明図である。
再生されているときに、MIDIクロック、同期信号お
よび再生フレームが同期している状態を示すタイムチャ
ートである。
遅いテンポで楽曲が再生されているときに、MIDIク
ロック、同期信号および再生フレームが同期している状
態を示すタイムチャートである。
速いテンポで楽曲が再生されているときに、MIDIク
ロック、同期信号および再生フレームが同期している状
態を示すタイムチャートである。
同期映像生成処理を示すフローチャートである。
チャートである。
チャートである。
モニタに表示された映像を示す説明図である。
段) 12 RAM 16 楽曲データ記憶部(音声データ記憶手段) 17 入力部(再生速度変更手段) 19 音源部(音声再生手段) 21 モデム(データ受取手段) 30 映像再生部 31 映像用CPU 32 ROM 34 映像データ記憶部(動作データ記憶手段) 35 形状データ記憶部(形状データ記憶手段) 36 物体映像生成部(瞬時映像生成手段、表示手段) 50 合成部 60 ミキサアンプ 70 スピーカ 90 モニタ(表示装置) 100 通信カラオケ装置
Claims (15)
- 【請求項1】 音声データに基づいて音声を再生する音
声再生工程と、 前記音声再生工程によって再生される音声に対応した同
期信号を出力する同期信号出力工程と、 人間、動物またはこれらの模倣物からなる物体を表す映
像を複数の構成要素に分割し、これら各構成要素の形状
を設定する形状データと、前記各構成要素の位置または
動作を設定する動作データとに基づいて、前記物体を動
画として再生するための瞬時映像データを生成する瞬時
映像生成工程と、 前記瞬時映像生成工程により生成された瞬時映像データ
を、前記同期信号出力工程により出力される同期信号に
同期させながら表示装置に表示させる表示工程と、を備
えてなる同期映像生成方法。 - 【請求項2】 前記動作データは、前記音声データに基
づく音声を基準速度で再生し、その再生された音声に合
わせて前記物体を動かし、そのときの前記物体の各構成
要素の位置または動作を所定時間毎に測定することによ
って形成された複数の瞬時動作データからなり、 前記瞬時映像生成工程は、前記音声再生工程により再生
される音声が前記基準速度のときには、前記各瞬時動作
データにそれぞれ対応した瞬時映像データを生成し、前
記音声再生工程により再生される音声が前記基準速度よ
りも遅いときには、前記各瞬時動作データの間を補間す
る補間動作データを生成し、前記各瞬時動作データおよ
び前記補間動作データにそれぞれ対応した瞬時映像デー
タを生成してなる請求項1に記載の同期映像生成方法。 - 【請求項3】 前記瞬時映像生成工程は、前記音声再生
工程により再生される音声が前記基準速度よりも速いと
きには、前記各瞬時動作データを間引きし、間引きされ
た各瞬時動作データにそれぞれ対応した瞬時映像データ
を生成してなる請求項2に記載の同期映像生成方法。 - 【請求項4】 前記動作データは、前記音声データに基
づく音声を基準速度で再生し、その再生された音声に合
わせて前記物体を動かし、そのときの前記物体の各構成
要素の位置または動作を、前記表示装置の表示周期の整
数倍の周期で測定することによって形成された複数の瞬
時動作データからなる請求項1ないし3のいずれかに記
載の同期映像生成方法。 - 【請求項5】 前記動作データは、前記音声データに基
づく音声を基準速度で再生し、その再生された音声に合
わせて前記物体を動かし、そのときの前記物体の各構成
要素の位置または動作を、前記同期信号出力工程により
出力される同期信号の周期よりも短い周期で測定するこ
とによって形成された複数の瞬時動作データからなる請
求項1ないし4のいずれかに記載の同期映像生成方法。 - 【請求項6】 前記同期信号出力工程により出力される
同期信号には、音声データの再生位置を認識するための
符号を付してなる請求項1ないし5のいずれかに記載の
同期映像生成方法。 - 【請求項7】 音声データを記憶する音声データ記憶手
段と、 前記音声データ記憶手段に記憶された音声データに基づ
いて音声を再生する音声再生手段と、 前記音声再生手段によって再生される音声に対応した同
期信号を出力する同期信号出力手段と、 人間、動物またはこれらの模倣物からなる物体を表す映
像を複数の構成要素に分割し、これら各構成要素の形状
を設定する形状データを記憶する形状データ記憶手段
と、 前記物体の前記各構成要素の位置または動作を設定する
動作データを記憶する動作データ記憶手段と、 前記形状データ記憶手段に記憶された形状データと、前
記動作データ記憶手段に記憶された動作データとに基づ
いて、前記物体を動画として再生するための瞬時映像デ
ータを生成する瞬時映像生成手段と、 前記瞬時映像生成手段により生成された瞬時映像データ
を、前記同期信号出力手段により出力される同期信号に
同期させながら表示装置に表示させる表示手段と、を備
えてなるカラオケ装置。 - 【請求項8】 外部から伝送された音声データおよび動
作データを受け取り、受け取った音声データを前記音声
データ記憶手段に記憶し、受け取った動作データを動作
データ記憶手段に記憶するデータ受取手段を設けてなる
請求項7に記載のカラオケ装置。 - 【請求項9】 前記音声再生手段により再生される音声
の再生速度を変更する再生速度変更手段を設け、前記同
期信号出力手段は、前記再生速度変更手段により変更さ
れた再生速度で再生される音声に対応した同期信号を出
力してなる請求項7または8に記載のカラオケ装置。 - 【請求項10】 前記動作データは、前記音声データに
基づく音声を基準速度で再生し、その再生された音声に
合わせて前記物体を動かし、そのときの前記物体の各構
成要素の位置または動作を所定時間毎に測定することに
よって形成された複数の瞬時動作データからなり、 前記瞬時映像生成手段は、前記音声再生手段により再生
される音声が前記基準速度のときには、前記各瞬時動作
データにそれぞれ対応した瞬時映像データを生成し、前
記音声再生手段により再生される音声が前記基準速度よ
りも遅いときには、前記各瞬時動作データの間を補間す
る補間動作データを生成し、前記各瞬時動作データおよ
び前記補間動作データにそれぞれ対応した瞬時映像デー
タを生成してなる請求項9に記載のカラオケ装置。 - 【請求項11】 前記瞬時映像生成手段は、前記音声再
生手段により再生される音声が前記基準速度よりも速い
ときには、前記各瞬時動作データを間引きし、間引きさ
れた各瞬時動作データにそれぞれ対応した瞬時映像デー
タを生成してなる請求項10に記載のカラオケ装置。 - 【請求項12】 前記動作データは、前記音声データに
基づく音声を基準速度で再生し、その再生された音声に
合わせて前記物体を動かし、そのときの前記物体の各構
成要素の位置または動作を、前記表示装置の表示周期の
整数倍の周期で測定することによって形成された複数の
瞬時動作データからなる請求項10ないし12のいずれ
かに記載のカラオケ装置。 - 【請求項13】 前記動作データは、前記音声データに
基づく音声を基準速度で再生し、その再生された音声に
合わせて前記物体を動かし、そのときの前記物体の各構
成要素の位置または動作を、前記同期信号出力手段によ
り出力される同期信号の周期よりも短い周期で測定する
ことによって形成された複数の瞬時動作データからなる
請求項10ないし13のいずれかに記載のカラオケ装
置。 - 【請求項14】 前記同期信号出力手段により出力され
る同期信号には、音声データの再生位置を認識するため
の符号を付してなる請求項10ないし14のいずれかに
記載のカラオケ装置。 - 【請求項15】 前記形状データ記憶手段には、形状の
異なる複数の物体を形成するための複数の形状データを
記憶し、前記音声データに含まれる選択データまたは外
部からの入力により前記各形状データを選択し、前記瞬
時映像生成手段は、選択された形状データと、前記動作
データ記憶手段に記憶された動作データとに基づいて、
前記物体を動画として再生するための瞬時映像データを
生成する構成としてなる請求項7ないし14のいずれか
に記載のカラオケ装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP25562497A JP3895014B2 (ja) | 1997-09-19 | 1997-09-19 | 映像再生装置およびカラオケ装置 |
TW087114414A TW372311B (en) | 1997-09-19 | 1998-08-31 | Synchronized image generation method and karaok apparatus using the method |
CNB981202756A CN1143262C (zh) | 1997-09-19 | 1998-09-19 | 同步图象生成方法以及使用该方法的卡拉ok装置 |
HK99103887A HK1018838A1 (en) | 1997-09-19 | 1999-09-07 | Method of generating image synchronized with soundand karaoke apparatus. |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP25562497A JP3895014B2 (ja) | 1997-09-19 | 1997-09-19 | 映像再生装置およびカラオケ装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH1195778A true JPH1195778A (ja) | 1999-04-09 |
JP3895014B2 JP3895014B2 (ja) | 2007-03-22 |
Family
ID=17281346
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP25562497A Expired - Fee Related JP3895014B2 (ja) | 1997-09-19 | 1997-09-19 | 映像再生装置およびカラオケ装置 |
Country Status (4)
Country | Link |
---|---|
JP (1) | JP3895014B2 (ja) |
CN (1) | CN1143262C (ja) |
HK (1) | HK1018838A1 (ja) |
TW (1) | TW372311B (ja) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001061446A1 (fr) * | 2000-02-18 | 2001-08-23 | Sharp Kabushiki Kaisha | Systeme et dispositif de commande de donnees de representation, et support d'enregistrement du programme de ce systeme |
US6898759B1 (en) | 1997-12-02 | 2005-05-24 | Yamaha Corporation | System of generating motion picture responsive to music |
CN100349137C (zh) * | 2002-11-18 | 2007-11-14 | 英保达股份有限公司 | 影音播放方法 |
JP2008176679A (ja) * | 2007-01-22 | 2008-07-31 | Brother Ind Ltd | 画像生成装置、画像生成プログラム、データ補間装置、およびデータ補間プログラム |
JP2008185762A (ja) * | 2007-01-30 | 2008-08-14 | Xing Inc | カラオケ装置 |
US7512319B2 (en) | 2000-06-16 | 2009-03-31 | Yamaha Corporation | Synchronous information reproduction apparatus |
JP2012233997A (ja) * | 2011-04-28 | 2012-11-29 | Yamaha Corp | カラオケ装置 |
JP2013097089A (ja) * | 2011-10-31 | 2013-05-20 | Casio Comput Co Ltd | 演奏動作表示装置、方法及びプログラム |
US8515250B2 (en) | 2008-07-17 | 2013-08-20 | Panasonic Corporation | Video recording device, video reproduction device, and method thereof |
JP2014056162A (ja) * | 2012-09-13 | 2014-03-27 | Casio Comput Co Ltd | 表示制御装置およびプログラム |
JP2020512786A (ja) * | 2017-03-30 | 2020-04-23 | グレースノート インコーポレイテッド | 音声を伴うビデオ提示の生成 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5655713B2 (ja) * | 2011-06-03 | 2015-01-21 | カシオ計算機株式会社 | 動画再生装置、動画再生方法及びプログラム |
-
1997
- 1997-09-19 JP JP25562497A patent/JP3895014B2/ja not_active Expired - Fee Related
-
1998
- 1998-08-31 TW TW087114414A patent/TW372311B/zh not_active IP Right Cessation
- 1998-09-19 CN CNB981202756A patent/CN1143262C/zh not_active Expired - Fee Related
-
1999
- 1999-09-07 HK HK99103887A patent/HK1018838A1/xx not_active IP Right Cessation
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6898759B1 (en) | 1997-12-02 | 2005-05-24 | Yamaha Corporation | System of generating motion picture responsive to music |
JP2001228947A (ja) * | 2000-02-18 | 2001-08-24 | Sharp Corp | 表現データ制御システム、および、それを構成する表現データ制御装置、並びに、そのプログラムが記録された記録媒体 |
WO2001061446A1 (fr) * | 2000-02-18 | 2001-08-23 | Sharp Kabushiki Kaisha | Systeme et dispositif de commande de donnees de representation, et support d'enregistrement du programme de ce systeme |
US7512319B2 (en) | 2000-06-16 | 2009-03-31 | Yamaha Corporation | Synchronous information reproduction apparatus |
CN100349137C (zh) * | 2002-11-18 | 2007-11-14 | 英保达股份有限公司 | 影音播放方法 |
JP2008176679A (ja) * | 2007-01-22 | 2008-07-31 | Brother Ind Ltd | 画像生成装置、画像生成プログラム、データ補間装置、およびデータ補間プログラム |
JP2008185762A (ja) * | 2007-01-30 | 2008-08-14 | Xing Inc | カラオケ装置 |
US8515250B2 (en) | 2008-07-17 | 2013-08-20 | Panasonic Corporation | Video recording device, video reproduction device, and method thereof |
JP2012233997A (ja) * | 2011-04-28 | 2012-11-29 | Yamaha Corp | カラオケ装置 |
JP2013097089A (ja) * | 2011-10-31 | 2013-05-20 | Casio Comput Co Ltd | 演奏動作表示装置、方法及びプログラム |
JP2014056162A (ja) * | 2012-09-13 | 2014-03-27 | Casio Comput Co Ltd | 表示制御装置およびプログラム |
JP2020512786A (ja) * | 2017-03-30 | 2020-04-23 | グレースノート インコーポレイテッド | 音声を伴うビデオ提示の生成 |
US11915722B2 (en) | 2017-03-30 | 2024-02-27 | Gracenote, Inc. | Generating a video presentation to accompany audio |
Also Published As
Publication number | Publication date |
---|---|
TW372311B (en) | 1999-10-21 |
CN1143262C (zh) | 2004-03-24 |
CN1212416A (zh) | 1999-03-31 |
JP3895014B2 (ja) | 2007-03-22 |
HK1018838A1 (en) | 2000-01-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3601350B2 (ja) | 演奏画像情報作成装置および再生装置 | |
US6331851B1 (en) | Graphic display apparatus, synchronous reproduction method, and AV synchronous reproduction apparatus | |
JP3632644B2 (ja) | ロボット、および、ロボットの動作パターン制御プログラム | |
US7221852B2 (en) | Motion picture playback apparatus and motion picture playback method | |
US6738059B1 (en) | Apparatus and methods for image processing using mixed display objects | |
JP3895014B2 (ja) | 映像再生装置およびカラオケ装置 | |
JPH06274188A (ja) | カラオケ装置 | |
US6646644B1 (en) | Tone and picture generator device | |
US20010055464A1 (en) | Synchronous information reproduction apparatus | |
JP4917446B2 (ja) | 画像生成装置、画像生成プログラム、データ補間装置、およびデータ補間プログラム | |
US7777124B2 (en) | Music reproducing program and music reproducing apparatus adjusting tempo based on number of streaming samples | |
KR20070098362A (ko) | 배경 음악을 동영상에 합성시키는 음성 합성 장치 및 방법 | |
JP4062324B2 (ja) | 動画再生装置及び動画再生方法 | |
JP3716812B2 (ja) | 動画再生装置及び動画再生方法 | |
JPH06110480A (ja) | カラオケ装置 | |
JPH11126066A (ja) | Av同期装置、及びav同期方法、並びにav同期プログラムを記録した記録媒体 | |
JP2007316842A (ja) | モーション画像生成プログラム | |
KR102524870B1 (ko) | 미디 음악 기반의 안무 영상 콘텐츠 서비스 장치 및 방법과, 이를 기록한 컴퓨팅 장치에 의해 판독 가능한 기록매체 | |
JP4329857B2 (ja) | 動画再生装置 | |
JPH06130981A (ja) | 音楽再生装置 | |
JP3192035B2 (ja) | カラオケ装置 | |
KR200214587Y1 (ko) | 에니메이션 속도 조절장치가 부착된 컴퓨터 음악반주기 | |
JP2862062B2 (ja) | カラオケ装置 | |
JP3551441B2 (ja) | カラオケ装置 | |
JPH08129394A (ja) | カラオケ装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060627 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060822 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061031 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061113 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061213 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101222 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101222 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111222 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121222 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |