JPH09288681A - 背景映像検索表示装置および背景映像検索方法 - Google Patents

Abstract

(57)【要約】 【課題】背景映像データベースの中から楽曲データの内
容に適した背景映像を自動的に選び出す。 【解決手段】外部記憶装置３に格納されている各背景映
像データに現れる事象に関連する語がキーワードとして
管理されており、演奏対象の楽曲データが通信回線を介
してダウンロードされると、その歌詞データからそこに
含まれる単語などのキーワードが抽出され、その抽出し
たキーワードに対応する背景映像データが、各背景映像
データに対応付けされたキーワードを参照して検索され
る。従って、歌詞データの内容に応じた背景映像を自動
的に選択できるようになり、楽曲データの内容に適した
背景映像の検索および表示を行うことができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、背景映像検索表
示装置および背景映像検索方法に関し、特に外部から入
力される楽曲データに対応する背景映像データを検索す
るための背景映像検索表示装置および背景映像検索方法
に関する。

【０００２】

【従来の技術】一般に、カラオケ演奏装置などの楽曲演
奏装置においては、演奏する楽曲に対応づけて、その楽
曲に対応するイメージが背景映像として表示される。初
期のシステムにおいては、楽曲データと、背景映像デー
タが予め１対１で対応づけられて光ディスク等の記憶媒
体に一緒に格納されており、演奏時に両者が同時に再生
されるという方法が採用されていた。

【０００３】しかし、この方法では、各楽曲毎に、その
曲データおよびテキストデータから構成される字幕用の
歌詞データと、背景映像データとを対応づけて楽曲デー
タを作成した上で、それを光ディスク等に格納して配布
することが必要とされる。一枚の光ディスクに格納でき
る楽曲データ数には限りがあり、また楽曲演奏装置に収
容可能な光ディスクの枚数にも限界があるので、次々に
発表される大量の新楽曲について、それをデータ化して
即座にユーザに供給することは困難であった。

【０００４】また、背景映像のデータサイズは非常に大
きいため、ユーザの要求する楽曲データを１枚の光ディ
スクなどに網羅して供給することは困難であった。その
ため、最近では、ホストで大量の楽曲データを管理し、
通信回線を介して、ユーザ側の演奏装置に必要なデータ
をダウンロードするという方式が用いられ始めている。
しかし、背景映像データについては現在の標準的な方法
では、これを通信するのに膨大な時間を要するため、背
景映像は、ユーザ側で光ディスク等を用いて管理してい
る。

【０００５】すべての楽曲データに対応する背景映像デ
ータをユーザ側で用意することは困難なため、小数の汎
用的な映像データのみを用意して、ひとつの映像データ
を複数の楽曲データに対応づけるという方式が用いられ
ている。対応づける方式としては、予め、映像データ
と、楽曲データの双方に、ポップス・演歌・民謡といっ
た大まかなジャンルを示すコードを付加しておき、楽曲
データが指定された際に、それに対応するジャンルのコ
ードを持つ映像データのうちの１つをランダムに選択す
るという方式が用いられている。

【０００６】

【発明が解決しようとする課題】上述のように、楽曲デ
ータと背景映像データとを１対１に対応づけて光ディス
ク等の記憶媒体に格納して配布する方式では、楽曲デー
タごとに最適の背景映像を表示できるという長所をもつ
が、光ディスクなどの記憶媒体の容量制限などの問題か
らユーザの希望する楽曲データを十分に供給できないと
いう欠点をもつ。また、楽曲データを通信回線を用いて
ダウンロードするという方式では、ユーザの希望する楽
曲データを提供することはある程度可能であるが、その
反面、楽曲データに対応する背景映像データについて
は、おおまかなジャンル分け属性しか付加されていない
ために、楽曲データの内容に対応した最適なものを選択
することが困難であった。

【０００７】この発明はこの様な点に鑑みてなされたも
ので、背景映像データベースの中から、楽曲データの内
容に適したものを自動的に選び出すことができる背景映
像検索表示装置および背景映像検索方法を提供すること
を目的とする。

【０００８】

【課題を解決するための手段】この発明による背景映像
検索表示装置は、複数の背景映像データを格納する記憶
手段と、この記憶手段の各背景映像データに対応づけて
その映像中に現れる事象に関連する語をキーワードとし
て管理する手段と、演奏対象の楽曲データを構成する歌
詞データおよび曲データを外部から入力する手段と、入
力した歌詞データからキーワードを抽出する手段と、抽
出したキーワードに対応する背景映像データを、前記記
憶されている各背景映像データに対応付けされたキーワ
ードを参照して検索する手段と、前記入力した楽曲デー
タの演奏時に、前記検索した背景映像データを表示する
手段とを具備することを特徴とする。

【０００９】この背景映像検索表示装置においては、記
憶手段に格納されている各背景映像データに現れる事象
に関連する語がキーワードとして管理されている。演奏
対象の楽曲データが通信回線などを介して外部から入力
されると、その歌詞データからそこに含まれる単語など
のキーワードが抽出され、その抽出したキーワードに対
応する背景映像データが、各背景映像データに対応付け
されたキーワードを参照して検索される。従って、歌詞
データの内容に応じた背景映像を自動的に選択できるよ
うになり、楽曲データの内容に適した背景映像の検索お
よび表示を行うことができる。また、歌詞の内容のみか
ら最適な背景映像データを選択できるため、楽曲データ
側に予めジャンル情報などを付加しておく必要が無くな
り、楽曲データ作成時の労力を低減することができる。

【００１０】また、この発明は、語句間の意味的な上下
関係あるいは関連関係を表わすシソーラス辞書を管理す
る手段と、前記シソーラス辞書を参照して、前記入力さ
れた歌詞データから抽出されたキーワードの上位語ある
いは関連語を導出し、これに対応する背景映像データ
を、前記記憶されている各背景映像データに対応づけら
れたキーワードを参照して検索する手段とをさらに具備
することを特徴とする。

【００１１】これにより、背景映像データに対応づけら
れているキーワードの中に、歌詞データから抽出された
単語などのキーワードと等しいものが含まれていない場
合でも、歌詞の内容と関連する背景映像データを選び出
すことができる。

【００１２】また、このシソーラス辞書は、背景映像デ
ータに対応づけて管理されているキーワードと独立して
管理することが好ましい。これにより、シソーラス辞書
と、背景映像データのキーワードとを、それぞれ別個に
修正および変更することが可能となる。

【００１３】

【発明の実施の形態】以下、図面を参照してこの発明の
実施形態について説明する。図１には、この発明の一実
施形態に係る背景映像検索表示装置の構成が示されてい
る。この背景映像検索表示装置は、通信回線を介してホ
スト装置に接続されており、ユーザが指定した演奏対象
の楽曲データ（曲データ、および歌詞データ）を通信回
線を介してホスト装置から受け取り、その楽曲データの
演奏時には、その楽曲データに対応する背景映像を背景
映像データベースの中から自動的に検索してそれを画面
表示するものであり、図示のように、音声出力装置１、
映像表示装置２、外部記憶装置３、制御装置４、メモリ
５、通信装置６、命令入力装置７から構成されている。
これら音声出力装置１、映像表示装置２、外部記憶装置
３、制御装置４、メモリ５、通信装置６、および命令入
力装置７は、バスを介して結合されている。

【００１４】音声出力装置１は、バスを介して制御装置
４から送られてきた音声データ（ここでは、曲データ）
を出力する装置であり、例えば、デジタル−アナログ変
換器、音声増幅装置およびスピーカなどから構成されて
いる。

【００１５】映像表示装置２は、映像および文字列を画
面上に表示する装置であり、例えば、ビデオメモリ（Ｖ
ＲＡＭ）とこのＶＲＡＭに格納されたビット情報をドッ
ト列として画面表示するためのコントローラおよびディ
スプレイなどから構成されている。楽曲データの演奏時
には、音声出力装置１による曲データの再生と同期し
て、歌詞を構成する文字列、および背景映像が、映像表
示装置２によって画面表示される。

【００１６】外部記憶装置３は、例えば、デジタルビデ
オディスク（ＤＶＤ）、およびＤＶＤドライブ装置など
から構成されており、ここには複数個の背景映像データ
がデータベース化されて格納されている。一つの背景映
像データは、図示のように、映像本体データ部とキーワ
ードデータ部とから構成されている。映像本体データ部
には、背景映像として表示される映像データが例えばＭ
ＰＥＧ２形式等で圧縮符号化されて格納されている。キ
ーワードデータ部には、対応する映像データ中に現れる
事象に関連する単語（一般名詞）が複数個格納されてい
る。

【００１７】さらに、外部記憶装置３中には、語彙シソ
ーラスデータが、歌詞データに含まれる単語についての
関連語、上位語などを類推するための辞書として格納さ
れている。語彙シソーラスデータは、表形式のデータで
あり、見出し語毎にその上位語あるいは関連語のＩＤ番
号が格納されている。ここでＩＤ番号としては、見出し
語の格納されているカラムの番号を用いている。なお上
位語・関連語を持たない語については、自身のＩＤ番号
が格納されている。語彙シソーラスデータの格納例を図
２に示す。ここでは、見出し語として、「春」、
「花」、「桜」、「秋」、「コスモス」、…が格納され
ており、「桜」に対応する上位語／関連語格納フィール
ドには、「花」のＩＤ番号が格納されている。

【００１８】制御装置４は、例えばＣＰＵから構成され
るもので、各ハードウェア装置とバスにより接続されて
おり、各装置の制御、装置間のデータの転送などの処理
を行なう。また、この制御装置４は、メモリ５に格納さ
れた背景映像検索プログラムを実行して、ホスト装置か
らダウンロードした楽曲データに対応する背景映像を外
部記憶装置３の中から検索する検索処理を実行する。こ
の検索処理では、楽曲データに含まれる歌詞データから
キーワードが抽出され、その抽出されたキーワードと、
各背景映像データのキーワードとに基づいて最適な背景
映像が選び出される。

【００１９】メモリ５は、例えばダイナミックＲＡＭな
どからなり、図３に示すように制御装置４が各種制御や
処理を実行するためのプログラムを格納するプログラム
部と、処理の際に必要なデータを格納するためのバッフ
ァ部からなっている。

【００２０】プログラム部には、前述の背景映像検索プ
ログラムを構成する、楽曲番号入力部４ａ、楽曲データ
入力部４ｂ、楽曲データ展開部４ｃ、歌詞コード解析部
４ｄ、背景映像データロード部４ｅ、および演奏実行部
４ｆが格納されている。また、バッファ部には、楽曲番
号入力バッファ４ｒ、楽曲データ入力バッファ４ｓ、曲
データ格納バッファ４ｔ、歌詞コードデータ格納バッフ
ァ４ｕ、タイミングテーブル格納バッファ４ｖ、キーワ
ード格納バッファ４ｗ、候補映像格納バッファ４ｘ、照
合単語数格納バッファ４ｙ、背景映像データ入力バッフ
ァ４ｚ、背景映像格納バッファ４ｐが設けられている。

【００２１】通信装置６は、例えばモデムからなり、公
衆電話回線等を介して外部のホスト計算機と通信を行な
い、データのやり取りをする装置である。命令入力装置
７は、例えば、赤外線受信装置からなり、携帯型の赤外
線送信装置から受け取った信号を処理して演奏すべき楽
曲の番号をユーザに入力させる装置である。

【００２２】次に、図４のフローチャートを参照して、
本実施形態における楽曲演奏処理全体の流れについて説
明する。楽曲番号がユーザにより入力されると、まず、
楽曲番号入力４ａが起動し、演奏すべき楽曲の番号が楽
曲番号入力バッファ４ｒ中に格納される（ステップ５
ａ）。ここで、各楽曲データにはあらかじめ固有の番号
が割り付けられている。

【００２３】次に楽曲データ入力部４ｂが起動する（ス
テップ５ｂ）。ここでは、通信装置６を介して、公衆電
話回線によって接続されているホストコンピュータとの
間で通信を行ない、ホストコンピュータの記憶装置中か
ら、楽曲番号に対応する楽曲データをダウンロードし、
楽曲データ入力バッファ４ｓに格納する。ここでダウン
ロードされるデータの形式を図６に示す。図６に示され
ているように、ひとつの楽曲データは、曲データ、歌詞
データ、および、歌詞と曲との時間的な対応関係を示す
タイミングテーブルを格納する部分からなっており、そ
れぞれのデータは圧縮されている。

【００２４】続いて、楽曲データ展開部４ｃが起動し
（ステップ５ｃ）、楽曲データ入力バッファ４ｓに圧縮
格納されているデータの展開が行なわれ、曲データ格納
バッファ４ｔ、歌詞コードデータ格納バッファ４ｕ、お
よびタイミングテーブル格納バッファ４ｖにそれぞれ該
当するデータが格納される。

【００２５】続くステップ５ｄでは、歌詞コード解析部
４ｄが起動し、歌詞コードデータ格納バッファ４ｕに格
納されている歌詞を表わす文字列データに対して形態素
解析を実行し、歌詞に含まれている一般名詞を抽出し、
このうち出現頻度の高いものから順に最大８個を、図７
に示されているように、出現頻度と対応づけてキーワー
ド格納バッファ４ｗに格納する。

【００２６】この後、背景映像データロード部４ｅが起
動する（ステップ５ｅ）。背景映像データロード部ｅの
処理の流れを図５を用いて詳しく述べる。ここでは、外
部記憶装置３中に格納されているｉ番目の背景映像デー
タに対応するキーワードデータ部のｊ番目のキーワード
をＰｉｃＷｏｒｄ［ｉ］［ｊ］、キーワード格納バッフ
ァ４ｗに格納されているｋ番目の単語をＲｉｆｆＷｏｒ
ｄ［ｋ］という変数を用いて示すことにする。

【００２７】ここでは、まず、ｉの値に０が格納される
（ステップ６ａ）。次に照合単語数格納バッファ４ｙの
値に０が格納され（ステップ６ｂ）、次にｊの値に０が
格納され（ステップ６ｃ）、さらにｋの値に０が格納さ
れる（ステップ６ｄ）。このあと、ＰｉｃＷｏｒｄ
［ｉ］［ｊ］とＲｉｆｆＷｏｒｄ［ｋ］が等しいか否か
の判定が行われる（ステップ６ｅ）。判定が成功、すな
わち、ＰｉｃＷｏｒｄ［ｉ］［ｊ］とＲｉｆｆＷｏｒｄ
［ｋ］が一致すれば、ステップ６ｆに、失敗すればステ
ップ６ｋに制御が移る。

【００２８】ステップ６ｆでは、照合単語数格納バッフ
ァ４ｙの値をインクリメントし、このあとｊの値をイン
クリメントし（ステップ６ｇ）、ｊの値が「ｉ番目の背
景映像データ中のキーワードデータ部に格納されている
キーワードの総数」以上か調べ（ステップ６ｈ）、ｊの
値がキーワード総数以上になるまで、ステップ６ｄから
の一連の処理が繰り返される。

【００２９】ｊの値がキーワード総数以上になると、照
合単語数格納バッファ４ｙの内容がそのときのｉの値と
共に候補映像格納バッファ４ｘ中に格納される（ステッ
プ６ｓ）。ここで、候補映像格納バッファ４ｘは、背景
映像データの番号（ｉ）に対応づけて照合単語数を格納
できる構造になっている。このバッファの構造を図８に
示す。

【００３０】次にｉの値をインクリメントし（ステップ
６ｉ）、ｉの値が「外部記憶装置中に格納されている背
景映像データの総数」以上か調べ（ステップ６ｊ）、ｉ
の値が背景映像データ総数以上であれば、ステップ６ｎ
に制御を移し、そうでなければ、ステップ６ｄからの一
連を処理が繰り返えされる。

【００３１】ステップ６ｋでは、ｋの値をインクリメン
トし、ｋの値が「キーワード格納バッファ４ｗに格納さ
れているキーワードの総数」以上か調べ（ステップ６
ｍ）、ｋの値が「キーワード格納バッファ４ｗに格納さ
れているキーワードの総数」以上になるまで、ステップ
６ｅからの一連の処理が繰り返えされる。ｋの値が「キ
ーワード格納バッファ４ｗに格納されているキーワード
の総数」以上になると、ステップ６ｇに移行する。

【００３２】このようにして、全ての背景映像データの
各々について、全てのキーワードと、歌詞データから抽
出した全ての単語とのつきあわせが順次行われ、一致す
る度に照合単語数の値がインクリメントされる。これに
より、図８で説明したような候補映像格納バッファ４ｘ
の内容が得られる。

【００３３】なお、図７で説明したように歌詞データか
ら抽出した単語にはその出現頻度を示す値が対応づけら
れているので、一致した時にインクリメントする照合単
語数の値には、対応する単語の出現頻度の値に合わせて
重みづけすることが好ましい。

【００３４】ステップ６ｎでは、候補映像格納バッファ
４ｘの内容を順に参照して、もっとも照合単語数の大き
な背景映像データの番号が特定される。さらに、ここで
得られた番号に対応する背景映像データの映像本体デー
タ部のデータが外部記憶装置３からロードされ、背景映
像データ入力バッファ４ｚに格納される（ステップ６
ｐ）。次に、背景映像データ入力バッファ４ｚに格納さ
れているデータの伸長処理が行われ、その結果が背景映
像格納バッファ４ｐに格納される（ステップ６ｑ）。

【００３５】以上が、背景映像データロード部４ｅの処
理の詳細である。図４において、続くステップ５ｆで
は、上記の処理で条件を満たす映像データが得られたか
判断する。これは、照合単語数が予め決められた所定値
以上か否かによって判断される。条件を満たす映像デー
タが得られた場合には、ステップ５ｈに制御を移し、得
られなかった場合には、図５に示される背景映像データ
ロード部４ｅの処理が再実行される（ステップ５ｇ）。
ただし、この段階では、図５のステップ６ｅにおいて単
語の照合を行なう際に、外部装置３に格納された語彙シ
ソーラスを参照してＲｉｆｆＷｏｒｄ［ｋ］の上位語あ
るいは関連語を再帰的に導出し、順にＰｉｃＷｏｒｄ
［ｉ］［ｊ］との照合が行われる。これにより、歌詞デ
ータから抽出された単語だけでなく、その上位語あるい
は関連語と各背景映像データのキーワードとの比較が行
われる。

【００３６】ステップ５ｇでの処理の後、制御はステッ
プ５ｈに移る。ステップ５ｈでは演奏実行部４ｆが起動
する。ここでは、上記の処理で格納されている背景映像
データを映像表示装置２上に表示するのと同時に、曲デ
ータの内容を音声出力装置１から再生させ、さらに、歌
詞コードデータおよびタイミングテーブルを参照して、
映像表示装置２上に、曲データに同期した歌詞文字列
を、背景映像に合成して表示する。

【００３７】以上のように、この実施形態においては、
外部記憶装置３に格納されている各背景映像データに現
れる事象に関連する語がキーワードとして管理されてお
り、演奏対象の楽曲データが通信回線を介してダウンロ
ードされると、その歌詞データからそこに含まれる単語
などのキーワードが抽出され、その抽出したキーワード
に対応する背景映像データが、各背景映像データに対応
付けされたキーワードを参照して検索される。従って、
歌詞データの内容に応じた背景映像を自動的に選択でき
るようになり、楽曲データの内容に適した背景映像の検
索および表示を行うことができる。また、歌詞の内容の
みから最適な背景映像データを選択できるため、楽曲デ
ータ側に予めジャンル情報などを付加しておく必要が無
くなり、楽曲データ作成時の労力を低減することができ
る。

【００３８】また、語彙シソーラスデータを用いて、歌
詞データから抽出されたキーワードの上位語あるいは関
連語を導出し、これと各背景映像データに対応付けされ
たキーワードとを比較しているので、背景映像データに
対応するキーワードの中に、歌詞データから抽出された
単語などのキーワードと等しいものが含まれていない場
合や、一致の度合いが低い場合でも、歌詞の内容と関連
する背景映像データを選び出すことができる。

【００３９】また、このシソーラスデータは、背景映像
データに対応づけて管理されているキーワードと独立し
て管理されているので、シソーラスデータと、背景映像
データのキーワードとを、それぞれ別個に修正および変
更することができる。

【００４０】

【発明の効果】以上のように、この発明によれば、歌詞
データの内容に応じて背景映像を検索する構成であるの
で、背景映像データベースの中から楽曲データの内容に
適した背景映像を自動的に選び出すことが可能となる。

【図面の簡単な説明】

【図１】この発明の一実施形態に係る背景映像検索表示
装置の構成を示すブロック図。

【図２】同実施形態の背景映像検索表示装置で管理され
ている語彙シソーラスデータの構造を示す図。

【図３】同実施形態の背景映像検索表示装置に設けられ
たメモリの構成を示す図。

【図４】同実施形態の背景映像検索表示装置における楽
曲演奏処理全体の手順を示すフローチャート。

【図５】同実施形態の背景映像検索表示装置で行われる
背景映像検索処理の具体的な手順を示すフローチャー
ト。

【図６】同実施形態の背景映像検索表示装置にダウンロ
ードされる楽曲データの構造を示す図。

【図７】同実施形態の背景映像検索表示装置における歌
詞データの解析結果を示す図。

【図８】同実施形態の背景映像検索表示装置に設けられ
た候補映像格納バッファの構造を示す図。

【符号の説明】 １…音声出力装置、２…映像表示装置、３…外部記憶装
置、４…制御装置、５…メモリ、６…通信装置、７…命
令入力装置、４ａ…楽曲番号入力部、４ｂ…楽曲データ
入力部、４ｃ…楽曲データ展開部、４ｄ…歌詞コード解
析部、４ｅ…背景映像データロード部、４ｆ…演奏実行
部、４ｒ…楽曲番号入力バッファ、４ｓ…楽曲データ入
力バッファ、４ｔ…曲データ格納バッファ、４ｕ…歌詞
コードデータ格納バッファ、４ｖ…タイミングテーブル
格納バッファ、４ｗ…キーワード格納バッファ、４ｘ…
候補映像格納バッファ、４ｙ…照合単語数格納バッフ
ァ、４ｚ…背景映像データ入力バッファ、４ｐ…背景映
像格納バッファ。

Claims (3)

【特許請求の範囲】
1. 【請求項１】 複数の背景映像データを格納する記憶手
   段と、 この記憶手段の各背景映像データに対応づけてその映像
   中に現れる事象に関連する語をキーワードとして管理す
   る手段と、 演奏対象の楽曲データを構成する歌詞データおよび曲デ
   ータを外部から入力する手段と、 入力した歌詞データからキーワードを抽出する手段と、 抽出したキーワードに対応する背景映像データを、前記
   記憶されている各背景映像データに対応付けされたキー
   ワードを参照して検索する手段と、 前記入力した楽曲データの演奏時に、前記検索した背景
   映像データを表示する手段とを具備することを特徴とす
   る背景映像検索表示装置。
2. 【請求項２】 語句間の意味的な上下関係あるいは関連
   関係を表わすシソーラス辞書を管理する手段と、 前記シソーラス辞書を参照して、前記入力された歌詞デ
   ータから抽出されたキーワードの上位語あるいは関連語
   を導出し、これに対応する背景映像データを、前記記憶
   されている各背景映像データに対応づけられたキーワー
   ドを参照して検索する手段とをさらに具備することを特
   徴とする請求項１記載の背景映像検索表示装置。
3. 【請求項３】 複数の背景映像データの中から演奏対象
   の楽曲データに対応する背景映像データを検索する背景
   映像データ検索方法において、 前記各背景映像データに対応づけてその映像中に現れる
   事象に関連する語をキーワードとして管理し、 前記演奏対象の楽曲データに含まれる歌詞データ歌詞デ
   ータからキーワードを抽出し、 抽出したキーワードに対応する背景映像データを、前記
   各背景映像データに対応づけされたキーワードを参照し
   て検索することを特徴とする背景映像データ検索方法。