[1.第1実施形態]
[1.1.カラオケシステムの構成]
図1は、本発明の実施形態にかかるカラオケシステム1がカラオケボックスに設置された様子を示している。また、図2は、カラオケシステム1の構成を示している。ただし、図1において、図2に示される赤外線受信器20a〜lは図の簡略化のため省略されている。カラオケシステム1は、カラオケ装置10、カラオケ装置10に対しユーザの指示を与えるためのコントローラ11、ユーザの声を拾音しその声を示す音信号をカラオケ装置10に出力すると同時に断続的に所定の周波数の超音波を発するとともに継続的に所定の波長の赤外線を照射する機能を備えたマイク12aおよびb、カラオケ装置10から出力される音信号を増幅するアンプ13、アンプ13から出力される音信号を音に変換し出力するスピーカ14LおよびR、撮像した画像を示す画像データを順次生成して出力するビデオカメラ15a〜d、ビデオカメラ15a〜dの位置および方向をモータ等により各々変化させるカメラ移動装置16a〜d、指定された色および明るさの光をユーザに照射する照明装置17a〜h、カラオケ装置10から出力される画像データに従い画像表示を行うディスプレイ18a〜d、超音波を受信し受信した超音波の波形を示す電気信号をカラオケ装置10に出力する超音波受信器19a〜d、そしてカラオケ装置10から出力されるデータをフラッシュメモリ等の記憶媒体に記憶するメディアドライブ21を備えている。また、カラオケ装置10はインターネット22に接続されている。
カラオケシステム1は、上記のようにマイク、スピーカ、ビデオカメラ、カメラ移動装置、照明装置、ディスプレイ、超音波受信器および赤外線受信器をそれぞれ複数備えているが、以下、複数の同種の構成部を区別する必要がない場合には、単にマイク12のように呼ぶ。また、カラオケシステム1が備えるマイク12等の数は例示であり、超音波受信器19の数が4以上である点、また赤外線受信器20が後述するようにユーザの身体の方向を特定可能な程度に多数である点を除き、自由に変更可能である。
マイク12aおよびbは、各々、超音波を発生する超音波発生器121aおよびbを備えており、上述したように断続的に超音波を発生するが、超音波発生器121aおよびbの発生する超音波の周波数は互いに異なり、いずれの超音波がマイク12aおよびbのいずれから発せされたものであるかの区別が可能となっている。超音波発生器121aおよびbは、カラオケルーム内においてマイク12aおよびbから発せられた超音波が超音波受信器19a〜dに到達するために要する時間よりも十分に長い時間間隔で、超音波の発生を繰り返す。より具体的には、例えば超音波発生器121aおよびbは、0.5秒間、超音波を発した後、1秒間は超音波を発せず、その後、同様の処理を繰り返す。これは、後述する位置方向算出部205の処理において、マイク12aおよびbからの距離が異なる超音波受信器19a〜dの各々が次々と受信する超音波のうち、いずれが同じタイミングでマイク12aおよびbから発せされたものであるかを容易に区別可能とするためである。
また、マイク12aおよびbは、各々、赤外線を発生する赤外線発生器122aおよびbを備えており、上述したように継続的に赤外線を照射するが、赤外線発生器122aおよびbの発生する赤外線の波長は互いに異なり、いずれの赤外線がマイク12aおよびbのいずれから発せされたものであるかの区別が可能となっている。図3は、マイク12に赤外線発生器122が配置されている様子を示す図である。赤外線発生器122は、マイク12の本体部とヘッド部の接合部にリング状に配置されており、その外周面には同じ波長の赤外線を照射可能な多数の赤外線発光ダイオード1221が配置されている。マイク12は、このようにリング状に配置された赤外線発光ダイオード1221から赤外線を様々な方向に照射することができる。ただし、マイク12から様々な方向に赤外線を照射可能であれば、赤外線発光ダイオード1221の配置方法はリング状である必要はない。
続いて、カラオケ装置10の構成を説明する。カラオケ装置10は記憶部101、入出力I/F(Interface)102および制御部103を備えている。記憶部101は、制御部103による各種処理を指示するプログラムを予め記憶し、また制御部103により生成されるデータを一時的に記憶する。さらに、記憶部101は予め、複数のカラオケデータ1001を記憶している。
以下、カラオケデータ1001の内容を説明する。図4は、カラオケデータ1001の構成を模式的に示している。図4においては、記憶部101に記憶されているカラオケデータ1001として、各々異なる楽曲に関する3つのカラオケデータ1001、すなわちカラオケデータ1001a〜cが例示されている。カラオケデータ1001は、カラオケ楽曲の自動演奏およびディスプレイ18に表示される画像生成に関連する各種処理を指示するデータである。カラオケデータ1001は、管理データ、シーケンスデータおよびソースデータ群を含んでいる。管理データは、カラオケデータを識別するための識別番号および楽曲名を示すデータである。
図4に示されるように、シーケンスデータは、カラオケ楽曲の自動演奏を指示するサウンドトラック、照明装置17の動作を指示する照明トラック、ビデオカメラ15およびカメラ移動装置16の動作を指示するカメラトラック、画像データの加工処理を指示するビジュアルトラックを含んでいる。
サウンドトラックは、カラオケ楽曲の自動演奏を指示する演奏制御データであり、例えばSMF(Standard MIDI File)形式のデータである。図5は、サウンドトラックの内容を例示している。ただし、図5においては、説明のため、SMFの表現形式を簡便化している。サウンドトラックは、互いに対応付けられたタイミングデータとイベントデータからなるタイミング付イベントデータを複数、含んでいる。タイミングデータは、楽曲におけるタイミングを示すデータである。この点はサウンドトラックに含まれるタイミングデータに限らず、以下に説明するいずれのトラックに含まれるタイミングデータに関しても同様である。一方、イベントデータはいずれのトラックに含まれるものであるかに応じてその内容が異なる。以下、それらのいくつかを例示するが、イベントデータの種類は以下に説明するものに限られないことは言うまでもない。
サウンドトラックに含まれるイベントデータは、楽音の発音に関する指示および発音される音に対する効果付加の指示を行うデータである。例えば、イベントデータ[1ch:ノートオン:D4:74]は、第1のチャンネルに割り当てられた音色の音高D4の楽音を、音強74で発音することを指示している。ここで、チャンネルとは楽曲に含まれる個々の演奏パートのことである。また、例えばイベントデータ[1ch:ディレイ:0.5秒]は、第1のチャンネルの音に対し0.5秒のディレイ効果を付加することを指示している。また、例えばイベントデータ[3ch:再生:S514.wav]は、第3のチャンネルとして、音データファイル「S514.wav」に格納される音データの再生を行うことを指示している。
照明トラックに含まれるイベントデータは、照明装置17の動作を指示するタイミング付イベントデータの集まりである。以下、イベントデータにより制御される照明装置17の動作は照明の色および強さであるものとして説明するが、例えばフォーカスの強さの変更等、他の動作の制御をイベントデータにより指示するようにしてもよい。図6は、照明トラックの内容を例示している。例えば、イベントデータ[照明1:色:赤]は、照明1に割り当てられた照明装置17に対し、照明の色として赤を選択することを指示している。本実施形態においては、照明1〜8の各々には照明装置17a〜hが割り当てられているものとする。また、例えば、イベントデータ[照明1:強さ:0→5:3.2秒]は、照明1、すなわち照明装置17aに対し、照明の強さを「0」で示される強さから「5」で示される強さに3.2秒間で変更することを指示している。以下の説明において、照明の強さを示す数値は「0」〜「9」のいずれかの整数値をとるものとし、大きな整数値はより強い照明を示すものとする。また、「0」は照明の消灯を示す。従って、例えば、イベントデータ[照明1:強さ:0]は、照明装置17aに対し照明の消灯を指示している。このように、変更に要する時間を指定しないイベントデータは、その変更を瞬時に行うことを指示している。
カメラトラックは、ビデオカメラ15およびカメラ移動装置16の動作を指示するタイミング付イベントデータの集まりである。以下、イベントデータにより制御されるビデオカメラ15の動作は撮像処理の開始・終了およびズームの強さの変更であるものとして説明するが、例えばフォーカスの強さの変更等、他の動作の制御をイベントデータにより指示するようにしてもよい。また、イベントデータにより制御されるカメラ移動装置16の動作はビデオカメラ15の位置変更および左右方向の方向変更であるものとして説明するが、例えば垂直方向の方向変更等、他の動作の制御をイベントデータにより指示するようにしてもよい。図7は、カメラトラックの内容を例示している。例えば、イベントデータ[カメラ1:位置:4]は、カメラ1に割り当てられたビデオカメラ15が取り付けられたカメラ移動装置16に対し、ビデオカメラ15の位置を「4」で示される位置に移動することを指示している。本実施形態においては、カメラ1〜4の各々にはビデオカメラ15a〜dが割り当てられているものとする。また、カメラ位置を示す数値は「1」〜「9」のいずれかの整数値をとるものとし、数値の増加に伴い、ビデオカメラ15の位置がユーザから見て右から左に変化するものとする。
また、例えば、イベントデータ[カメラ1:ズーム:7]は、カメラ1に割り当てられたビデオカメラ15、すなわちビデオカメラ15aに対し、ズームの倍率を「7」で示される倍率に変更することを指示している。ズームの倍率を示す数値は「1」〜「9」のいずれかの整数値をとるものとし、数値が大きい程、ズームの倍率が大きいことを示すものとする。また、例えば、イベントデータ[カメラ1:方向:3]はビデオカメラ15aが取り付けられたカメラ移動装置16、すなわちカメラ移動装置16aに対し、ビデオカメラ15aの撮像方向を「3」で示される方向に変更することを指示している。ビデオカメラ15の撮像方向を示す数値は「1」〜「9」のいずれかの整数値をとるものとし、数値の増加に伴い、ビデオカメラ15の撮像方向が右から左に変化するものとする。そして、カメラ位置を示す数値とカメラ方向を示す数値とが一致する場合、ビデオカメラ15はカラオケルームの中心付近を向くようになっている。従って、例えば、イベントデータ[カメラ1:位置:4→6:4.2秒]および[カメラ1:方向:4→6:4.2秒]が同じタイミングでカメラ移動装置16aに送信された場合、カメラ移動装置16aはこれらのイベントデータに従い、カメラ移動装置16aの位置を移動させるとともに撮像方向を変更する結果、カメラ移動装置16aはユーザから見て右から左に移動しつつ、常にカラオケルームの中心付近を向くことになる。また、イベントデータ[カメラ1:ON]および[カメラ1:OFF]はそれぞれ、カメラ移動装置16aの撮像処理の開始および終了を指示するイベントデータである。
ビジュアルトラックは、ディスプレイ18に表示されるべき画像を示す画像データの生成を指示するタイミング付イベントデータの集まりである。本実施形態においてディスプレイ18に表示される画像は、複数の表示レイヤをスーパーインポーズして得られる画像であり、表示レイヤは最背後から前面方向に向かい、背景レイヤ、第1レイヤ、第2レイヤ、・・・、第#レイヤ、歌詞レイヤの順に並んでいる。ただし、「#」は任意の自然数である。カラオケ装置10は、ビジュアルトラックに従い、各表示レイヤに関し指定されたソースの画像データに対し加工処理を施した後、それらを合成処理することにより、表示用の画像データを生成する。ただし、ディスプレイ18に実際に表示される画像は、後述するように、ビジュアルトラックに従って生成された画像データに対し、さらにガイダンス表示の画像データがスーパーインポーズされたものである。
図8は、ビジュアルトラックの内容を例示している。例えば、イベントデータ[背景レイヤ:ソース:S713.jpeg]は、背景レイヤに配置する画像データのソースとして、静止画データファイル「S713.jpeg」に格納される静止画データを用いることを指示している。以下、拡張子が「.jpeg」であるファイルは静止画データファイル、拡張子が「.mpeg」であるファイルは動画データファイルであるものとする。従って、例えばイベントデータ[背景レイヤ:ソース:S151.mpeg]は、背景レイヤに配置する画像データのソースとして、動画データファイル「S151.mpeg」に格納される動画データの再生により得られる画像データを順次用いることを指示している。同様に、イベントデータ[第1レイヤ:ソース:カメラ1]は、第1レイヤに配置する画像データのソースとして、カメラ1、すなわちビデオカメラ15aの撮像処理により生成される画像データを順次用いることを指示している。
また、例えば、イベントデータ[第1レイヤ:窓サイズ:7]、[第1レイヤ:窓形状:長方形]および[第1レイヤ:窓位置:(120,80)]は、各々、第1レイヤにサイズ「7」で示される窓を開き、その窓の形状を長方形に変更し、さらにその窓の代表点(例えば窓形状が長方形であれば対角線の交点等)がディスプレイ18の画面上の座標(120,80)に一致するように窓の位置を変更することを指示している。窓が開かれた場合、そのレイヤに配置された画像は窓の内側にのみ表示される。窓の外側は透過表示となるため、その部分には下位レイヤの画像が表示されることになる。
また、例えば、イベントデータ[第1レイヤ:フェードイン:3.6秒]は第1レイヤに配置されている画像データに対し3.6秒間かけてフェードイン処理を施すこと、またイベントデータ[背景レイヤ:色調:カラー→セピア:3.6秒]は背景レイヤに配置されている画像データに対し3.6秒間かけてカラーからセピア色への色調変更処理を施すことを指示している。これらの画像データの加工処理は例示であり、ビジュアルトラックには、ディゾルブ処理、モーフィング処理等、様々な加工処理を指示するイベントデータが含まれ得る。
イベントデータ[歌詞レイヤ:(32,140):「時」:黄:表示]は、歌詞レイヤ上の座標(32,140)で示される位置に、文字「時」を黄色で表示することを指示している。また、イベントデータ[歌詞レイヤ:(32,140):消去]は、歌詞レイヤ上の座標(32,140)で示される位置に表示されている文字を消去、すなわち非表示にすることを指示している。
上記のように、ビジュアルトラックにより指示される各表示レイヤにおける表示が合成されることにより、図9に示すような画像を示す画像データが生成されることになる。図9において、表示部分181は背景レイヤによる表示部分、表示部分182は第1レイヤによる表示部分、表示部分183は歌詞レイヤによる表示部分を示している。
カラオケデータ1001(図4参照)に含まれるソースデータ群は、上述したサウンドトラックに含まれるイベントデータにより再生指示がなされる音データおよび上述したビジュアルトラックに含まれるイベントデータにより表示指示がなされる静止画データもしくは再生指示がなされる動画データを格納する各種ファイルの集合である。
図2に戻り、カラオケ装置10の構成説明を続ける。入出力I/F102は、カラオケ装置10に含まれる記憶部101および制御部103がコントローラ11、マイク12、アンプ13、ビデオカメラ15、カメラ移動装置16、照明装置17、ディスプレイ18、超音波受信器19、メディアドライブ21およびインターネット22との間でアナログ信号およびデジタル信号の入出力を行うためのインタフェースである。また、入出力I/F102はA/D(Analog to Digital)コンバータおよびD/A(Digital to Analog)コンバータを備えており、必要に応じてアナログ信号とデジタル信号との間の変換を行う。
制御部103は、カラオケデータ1001に含まれるサウンドトラックに従い、カラオケ楽曲の演奏音を示す音データを生成するとともに、マイク12により拾音された音を示す音声データに各種加工処理を施し、その結果得られる音データをカラオケ楽曲の演奏音を示す音データに合成処理した後、アンプ13に出力する。また、制御部103は、カラオケデータ1001に含まれる照明トラックに従い、照明装置17の動作制御を行う。また、制御部103は、カラオケデータ1001に含まれるカメラトラックに従い、ビデオカメラ15およびカメラ移動装置16の動作制御を行う。また、制御部103は、カラオケデータ1001に含まれるビジュアルトラックに従い、ユーザの画像データ、カラオケデータ1001のソースデータ群に含まれる画像データ等に各種加工処理および合成処理を施し画像データを生成し、生成した画像データをディスプレイ18に出力する。さらに、制御部103は、加工処理および合成処理により生成した音データおよび画像データをビデオデータとして記憶部101に記憶させる。
制御部103の構成部は、音データの処理に関する音データブロック201、画像データの処理に関する画像データブロック202、ビデオカメラ15、カメラ移動装置16および照明装置17の動作制御に関する動作制御ブロック203、カラオケデータ1001に含まれるシーケンスデータに従い音データブロック201、画像データブロック202および動作制御ブロック203に対しイベントデータの送信を行うイベントデータ再生部204、超音波受信器19から入力される信号に従いマイク12の各々の位置を算出する位置方向算出部205に区分される。また、制御部103は発振器(図示略)を備えており、制御部103の構成部の処理は発振器により生成されるクロック信号に基づき同期がとられている。
音データブロック201は、イベントデータ再生部204から送信されるイベントデータに従い様々な楽音を示す音データを出力する音源部2011と、イベントデータ再生部204から送信されるイベントデータに従いカラオケデータ1001のソースデータ群に含まれる音データの再生を行う音データ再生部2012を備えている。また、音データブロック201は、イベントデータ再生部204から送信されるイベントデータに従い、マイク12により拾音された音を示す音データと音源部2011および音データ再生部2012から送信される音データの各々に各種エフェクト処理等の加工処理を施した後、それらを合成処理して得られる音データをアンプ13に対し出力する音データ加工処理部2013を備えている。
画像データブロック202は、イベントデータ再生部204から送信されるイベントデータに従いカラオケデータ1001のソースデータ群に含まれる動画データを再生する動画データ再生部2021と、イベントデータ再生部204から送信されるイベントデータに従い歌詞画面を示す画像データを順次生成する歌詞画面生成部2022と、イベントデータ再生部204から送信されるイベントデータおよび位置方向算出部205から送信されるマイク座標データ(後述)に従いユーザに対するガイダンスの表示画面を示す画像データを順次生成するガイダンス画面生成部2023と、イベントデータ再生部204から送信されるイベントデータに従い、動画データ再生部2021、歌詞画面生成部2022、ガイダンス画面生成部2023およびビデオカメラ15の各々から送信される画像データ、そしてカラオケデータ1001のソースデータ群に含まれる静止画データに各種エフェクト処理等の加工処理を施した後、それらを合成処理する画像データ加工処理部2024を備えている。画像の合成処理には、例えば、ある画像に別の画像をスーパーインポーズする処理や、ある画像から別の画像が透けて見えるように両画像を合成する処理が含まれる。画像データ加工処理部2024により生成された画像データはディスプレイ18に送信される。
ガイダンス画面生成部2023により生成される画像データにより示されるガイダンスとは、歌唱を行っているユーザに対し、以下に例示するような様々な情報を提供する表示である。
(a)現在、いずれのビデオカメラ15により撮像された画像がディスプレイ18の表示に用いられているか。
(b)ディスプレイ18の表示に用いられる画像の撮像を行うビデオカメラ15が変更される場合、いつのタイミングでその変更が行われるか。
(c)ディスプレイ18の表示に用いられる画像の撮像を行うビデオカメラ15が変更される場合、変更後のビデオカメラ15はいずれのビデオカメラ15であるか。
(d)ビデオカメラ15の各々の現在の位置はどこか。
(e)ビデオカメラ15の各々の現在の撮像方向はどの方向か。
(f)ビデオカメラ15の各々の現在のズーム倍率はどの程度か。
(g)ユーザの現在の位置はどこか。
(h)現在、照明装置17の各々がいずれの色で光を照射しているか。
(i)現在、照明装置17の各々がどの程度の強さで光を照射しているか。
(j)照明装置17が光の照射を開始もしくは停止する場合、いつのタイミングでその開始もしくは停止が行われるか。
(k)ビデオカメラ15により撮像された画像に対しディゾルブ処理等の各種加工処理が施される場合、いずれの種類の加工処理が行われるか。
(l)ビデオカメラ15により撮像された画像に対しディゾルブ処理等の各種加工処理が施される場合、どの時間帯に加工処理が行われるか。
具体的なガイダンスの表示例については、後述する動作説明において併せて説明する。また、上記以外にも、例えば照明装置17により照射される光の色や強さが徐々に変化する場合にどの時間帯にその変更が行われるか等、ガイダンスの内容としては様々なものが考えられる。
動作制御ブロック203は、イベントデータ再生部204から送信されるイベントデータに従い、ビデオカメラ15、カメラ移動装置16および照明装置17の各々の動作制御を行うカメラ動作制御部2031、移動動作制御部2032および照明動作制御部2033を備えている。
イベントデータ再生部204は、カラオケデータ1001のシーケンスデータに含まれるタイミングデータにより示されるタイミングで、各々のイベントデータを、その内容に応じて以下のように各構成部に送信する。
(a)サウンドトラックに含まれる楽音の発音を指示するイベントデータ→音源部2011。
(b)サウンドトラックに含まれる音データの再生を指示するイベントデータ→音データ再生部2012。
(c)サウンドトラックに含まれる音に対するエフェクト処理を指示するイベントデータ→音データ加工処理部2013。
(d)照明トラックに含まれるイベントデータ→照明動作制御部2033。
(e)カメラトラックに含まれるカメラ位置およびカメラの撮像方向に関するイベントデータ→移動動作制御部2032。
(f)カメラトラックに含まれるカメラのズーム倍率およびON/OFFに関するイベントデータ→カメラ動作制御部2031。
(g)ビジュアルトラックに含まれる動画データの再生を指示するイベントデータ→動画データ再生部2021。
(h)ビジュアルトラックに含まれる歌詞表示を指示するイベントデータ→歌詞画面生成部2022。
(i)ビジュアルトラックに含まれる歌詞表示を指示するイベントデータ以外のイベントデータ→画像データ加工処理部2024。
上記に加え、イベントデータ再生部204は、カラオケデータ1001のシーケンスデータに含まれるタイミングデータにより示されるタイミングよりも所定時間、例えば10秒間だけ早いタイミングで、以下のイベントデータをガイダンス画面生成部2023に送信する。
(イ)照明トラックに含まれるイベントデータ。
(ロ)カメラトラックに含まれるイベントデータ。
(ハ)ビジュアルトラックに含まれるイベントデータのうち、ソースとしていずれかのビデオカメラ15を指定するイベントデータ。
上記のように、イベントデータ再生部204はガイダンス画面生成部2023に対し、タイミングデータにより示されるタイミング、すなわち照明装置17の点灯・消灯やビデオカメラ15の切替等が実際に実行されるタイミングよりも早いタイミングでイベントデータを送信するので、ガイダンス画面生成部2023はそれらのイベントの発生を前もってユーザに知らせるガイダンス表示用の画像データを生成することができる。
位置方向算出部205は、カラオケルーム(図1参照)の上方に配置された超音波受信器19a〜dの各々から超音波を示す音データを受信する。超音波受信器19a〜dにより拾音される超音波は、マイク12aおよびbの各々に備えられた超音波発生器121aおよびbから断続的に発せられる超音波である。上述したように、超音波発生器121aおよびbの各々から発せられる超音波は互いに周波数が異なっており、位置方向算出部205は、超音波受信器19a〜dの各々から、2つの異なる周波数の超音波が混合した音を示す音データを受信する。そこで位置方向算出部205は、2つの各々の周波数に関し、一方の周波数を含み他方の周波数を含まない周波数帯の成分のみを通過させるバンドパスフィルタで超音波受信器19から受信した音データを濾波する。そのような濾波処理により得られる音データは、それぞれ、超音波発生器121aから発せられた超音波を示すデータおよび超音波発生器121bから発せられた超音波を示すデータである。
位置方向算出部205は、超音波受信器19a〜dの各々から受信した音データに関し、上記の濾波処理を行うことにより、以下のように8組のデータを生成する。
(a)超音波発生器121aから発せられ、超音波受信器19aにより受信された超音波を示すデータ(「超音波データaa」と呼ぶ)。
(b)超音波発生器121aから発せられ、超音波受信器19bにより受信された超音波を示すデータ(「超音波データab」と呼ぶ)。
(c)超音波発生器121aから発せられ、超音波受信器19cにより受信された超音波を示すデータ(「超音波データac」と呼ぶ)。
(d)超音波発生器121aから発せられ、超音波受信器19dにより受信された超音波を示すデータ(「超音波データad」と呼ぶ)。
(e)超音波発生器121bから発せられ、超音波受信器19aにより受信された超音波を示すデータ(「超音波データba」と呼ぶ)。
(f)超音波発生器121bから発せられ、超音波受信器19bにより受信された超音波を示すデータ(「超音波データbb」と呼ぶ)。
(g)超音波発生器121bから発せられ、超音波受信器19cにより受信された超音波を示すデータ(「超音波データbc」と呼ぶ)。
(h)超音波発生器121bから発せられ、超音波受信器19dにより受信された超音波を示すデータ(「超音波データbd」と呼ぶ)。
超音波データaa、ab、acおよびadは、同じ超音波を示すデータであるが、マイク12aに設けられた超音波発生器121aと、超音波受信器19a〜dの各々との距離が異なるため、超音波受信器19a〜dの各々がそれらを受信するタイミングが異なる。超音波データba、bb、bcおよびbdについても同様である。位置方向算出部205は、このタイミングの差異に基づき、マイク12aおよびbのカラオケルームにおける位置を算出する。マイク12aおよびbのカラオケルームにおける位置の算出方法は同じであるため、以下、マイク12aの位置を算出する場合を例として、その算出方法を例示する。
図10はカラオケルームを上方から見た図である。図10においては、超音波受信器19a〜dの各々の位置が点A(0,0,r)、点B(0,q,r)、点C(p,q,r)および点D(p,0、r)として示されている。また、マイク12aの位置が点X(x,y,z)として示されている。ここで、p、qおよびrはカラオケルームの幅、奥行きおよび高さを示す定数(メートル)である。一方、x、yおよびzはマイク12aの座標を示す変数(メートル)である。ここで、以下の方程式が成立する。ただし、t
A、t
B、t
Cおよびt
Dは、それぞれ点Xから発せられた音が点A〜Dの各々に達するまでに要する時間(秒)を示し、Sは空気中を音が伝播する速さ(メートル/秒)を示す。
ところで、既に述べたように、超音波発生器121は、例えば0.5秒間、超音波を発し続けた後、1秒間、超音波を発しない。従って、位置方向算出部205は、超音波受信器19a〜dのいずれからも超音波データを受け取らない期間が約1秒間続いた後、超音波受信器19a〜dの各々から約0.5秒間の超音波データaa〜adを受信する。そのように受信される超音波データは超音波発生器121aから発せられた同じ超音波を示すデータである。位置方向算出部205は、例えば超音波データaaの値の立ち上がりタイミング、すなわち超音波データaaの値がノイズ成分のレベルを上回る所定の値を下から上に横切って変化する先頭データの受信タイミングを基準とし、超音波データab〜adの各々の立ち上がりタイミングまでの時間(秒)をt1、t2およびt3として算出する。
例えば、点Xが図10に示される位置にある場合、以下の方程式が成立する。
式1〜式4を、式5〜式7に代入することにより、3つの式からなる3元2次連立方程式が得られる。ここで、x、yおよびzは正値をとるので、位置方向算出部205はこの連立方程式を解くことにより、x、yおよびzを一意に算出することができる。以上が、位置方向算出部205がマイク12の位置を算出する方法である。
位置方向算出部205は、上記のように算出したマイク12aおよびbの各々の位置を示す座標データXa(xa,ya,za)およびXb(xb,yb,zb)(以下、「マイク座標データ」と呼ぶ)をガイダンス画面生成部2023に順次送信する。マイク座標データは、ガイダンス画面生成部2023において、ユーザの位置を示す画像データの生成に用いられる。
ところで、位置方向算出部205がマイク12の位置を算出する方法は上記のものに限られない。例えば、マイク12の高さ方向の位置が無視できる程度に小さい場合には、二次元平面におけるマイク12の位置、すなわちxおよびyのみを求めるようにしてもよい。その場合、変数が2つとなるので、超音波受信器19の数は3つ以上であればよい。また、マイク12に超音波発生器121を設ける代わりに、図10の超音波受信器19a〜dの位置に超音波発生器121を配置し、マイク12にディスプレイ18を設け、位置方向算出部205はマイク12から超音波データを受信するように構成することにより、上記と類似の算出方法に従い位置方向算出部205がマイク12の位置を算出するようにしてもよい。
位置方向算出部205は、上記のように超音波受信器19から超音波を示す音データを受信する一方で、カラオケルーム(図1参照)の壁面の同じ高さに配置された赤外線受信器20a〜lのうち、赤外線を受信しているものの各々から、いずれの波長の赤外線を受信中であるかを示す受信通知データを十分に短い間隔、例えば10ミリ秒間隔で受信する。
図11は、図10と同様にカラオケルームを上方から見た図であるが、超音波受信器19の代わりに赤外線受信器20の配置位置を示している。図11において、点Xはマイク12aの位置を示し、点Xから延びている実線矢印はマイク12aを使用中のユーザの正面方向を示している。また、点Xから延びている点線は、マイク12aから照射される赤外線がカラオケルームの壁に届く範囲の境界を示している。すなわち、マイク12aの赤外線発生器122から照射される赤外線の一部は、ユーザの身体に遮られ、カラオケルームの壁まで届かない。従って、図11において点Xの周りに付された実線両側矢印で示される方向に向けて照射された赤外線のみがカラオケルームの壁に届く。その結果、この場合、赤外線受信器20a〜fは位置方向算出部205に対し受信通知データを送信するが、赤外線受信器20g〜lは受信通知データを送信しない。
位置方向算出部205は、上記のように、一部の赤外線受信器20から受信通知データを受信すると、算出したマイク12aの位置を示す座標データと、受信した受信通知データの送信元の赤外線受信器20の位置を示す座標データに基づき、ユーザの正面方向を推定する。すなわち、位置方向算出部205は、点Xから赤外線が届く範囲が点Xの周りに付された点線両側矢印で示される範囲であると仮定して、その範囲の中央方向、すなわち点Xから延びている点線矢印の方向にユーザが向いている、と推定する。位置方向算出部205は、推定した方向を示すデータ(以下、「ユーザ方向データ」と呼ぶ)をガイダンス画面生成部2023に順次送信する。ユーザ方向データは、ガイダンス画面生成部2023において、ユーザの方向を示す画像データの生成に用いられる。位置方向算出部205により推定されるユーザの方向は、図11に示されるように実際の方向との間に誤差を生じるが、赤外線受信器20の数を増やすことにより、その誤差を実用的な範囲まで小さくすることができる。
ところで、位置方向算出部205がユーザの方向を推定する方法は上記のものに限られない。例えば、マイク12に方位計を設け、方位計により計測される方位に基づき、ユーザの方向を推定するようにしてもよい。
また、上記のように、超音波によりマイク12の位置を特定し、赤外線によりユーザの方向を推定する代わりに、画像解析処理によりそれらを同時に行うことも考えられる。具体的には、例えばカラオケルームの天井に、床方向に撮像を行うビデオカメラを配置し、そのビデオカメラの撮像処理により得られる画像データから所定の条件を満たす画像を抽出する機能を備えた画像解析部をカラオケ装置10に設ける。画像解析部は、天井に配置されたビデオカメラから送信される画像データから、人間の頭部に相当する大きさのほぼ円形の画像を抽出し、その位置をユーザの位置として特定する。また、画像解析部は、同様にビデオカメラから送信される画像データから、マイクの色・形状に合致する画像を抽出し、その位置をマイク12の位置として特定する。その場合、例えばマイク12の色に特徴を持たせる等により、マイク12の画像抽出の精度を高めることができる。また、マイク12aおよびbの色を互いに異ならせることにより、画像解析部はいずれの画像がいずれのマイク12に対応するかを特定することができる。画像解析部は、そのように特定したユーザの位置からマイク12の位置に向かう方向を、ユーザの正面方向と推定し、ユーザの位置および方向を示すデータを順次、ガイダンス画面生成部2023に送信する。
また、画像解析処理によりユーザの位置および方向を特定もしくは推定する代わりに、加速度センサをマイク12に設けることにより、同様の結果を得ることもできる。その場合、マイク12は加速度センサにより検出される加速度およびその方向に基づき、初期位置からの移動方向および移動距離を推定する演算部を備えるようにする。ユーザは、カラオケシステム1を利用するにあたり、マイク12を持ってカラオケルームの所定位置に所定方向に向かって立ち、マイク12に対し所定のボタンを押下する等により、マイク12の演算部に対し初期位置の設定を行うと同時に、演算の開始を指示する。その後、ユーザの動きによりマイク12が移動すると、演算部はその移動方向および移動距離を推定し、初期位置にそれらを順次加算していくことにより、現在のマイク12の位置および方向を推定する。マイク12はそのように推定された位置および方向を示すデータを順次、ガイダンス画面生成部2023に送信する。
[1.2.カラオケシステムの動作]
以下、カラオケシステム1の動作を説明する。以下の説明において、同時に2名のユーザがカラオケシステム1を利用するものとするが、同時に利用可能なユーザの数はカラオケシステム1が備えるマイク12の数を上限として自由に変更可能である。
[1.2.1.ユーザによる選択操作]
図12は、ユーザがカラオケシステム1の利用を開始する際にディスプレイ18に表示される画面を例示している。ユーザがコントローラ11を用いてカラオケ装置10に対し動作開始の指示を行うと、カラオケ装置10はまず、図12(a)の画面をディスプレイ18に表示させ、ユーザに手動モードと自動モードのいずれかを選択するように促す。自動モードとは、カラオケ装置10が、ビデオカメラ15、カメラ移動装置16および照明装置17の制御処理と、画像データ加工処理部2024による画像データのソースとしていずれかのビデオカメラ15を選択する処理を、カラオケデータ1001に含まれるイベントデータに従い行うモードである。一方、手動モードとは、カラオケ装置10がそれらの処理を、ユーザによるコントローラ11を用いたカラオケ装置10に対する指示に従い行うモードである。
より具体的には、図12(a)の画面において、ユーザにより手動モードが選択された場合、イベントデータ再生部204がシーケンスデータに含まれるイベントデータをカラオケ装置10の各構成部に送信する際、照明トラックおよびカメラトラックに含まれるイベントデータを動作制御ブロック203に送信しない。また、イベントデータ再生部204は、ビジュアルトラックに含まれるイベントデータのうち、各表示レイヤのソースとしていずれかのビデオカメラ15を指定するイベントデータを画像データ加工処理部2024に送信しない。その代わり、動作制御ブロック203および画像データ加工処理部2024は、ユーザの操作に応じてコントローラ11から送信される指示データに従い、ビデオカメラ15等の制御処理や、加工処理に用いる画像データのソースの選択処理を行う。
ユーザの操作に応じてコントローラ11から送信される指示データには、カラオケ装置10に対し即時実行すべき処理を指示するもののほか、例えば「5秒後にカメラ1からカメラ4に切り替える」といった近い将来に行われるべき処理や、「5秒間で照明2の色を赤から青に変化させる」といった一定の処理時間を伴う処理を指示するものも含まれる。
ビデオカメラ15等の制御処理およびビデオカメラ15の選択処理以外の処理に関しては、手動モード、自動モードのいずれのモードにおいても、カラオケ装置10はイベントデータに従ってそれらの処理を行う。
図12(a)の画面においてユーザがコントローラ11を用いて、いずれかのモードを選択した後、「OK」ボタンを押下する操作を行うと、カラオケ装置10は図12(b)の画面をディスプレイ18に表示させ、ユーザにガイダンス表示の対象として、カメラおよび照明の各々につき、それらを選択するか否かの指示を促す。
図12(b)の画面においてユーザがコントローラ11を用いて、カメラ、照明の各々につき、ガイダンス表示を行うか否かを示すチェックを付ける操作もしくは外す操作をした後、「OK」ボタンを押下する操作を行うと、カラオケ装置10は図12(c)の画面をディスプレイ18に表示させ、ユーザにガイダンス表示の方法を選択するように促す。本実施形態においては、例として、ガイダンス表示の方法は「文字で表示」、「バーで表示」、「配置図で表示(1)」および「配置図で表示(2)」のいずれかを選択可能であるものとする。これらの方法が各々、どのような表示に対応するかは、以下の「ガイダンス表示の態様」において説明する。
[1.2.2.シーケンスデータの再生処理]
図12(c)の画面においてユーザがコントローラ11を用いて、いずれかの方法を選択する操作をした後、「OK」ボタンを押下する操作を行うと、カラオケ装置10は図12(d)の画面をディスプレイ18に表示させ、ユーザに楽曲を選択するように促す。カラオケ装置10は図12(d)の画面の表示にあたり、記憶部101に記憶されているカラオケデータ1001の各々に含まれる管理データから楽曲名を示すデータを読み出し、それらをリスト表示し、ユーザに選択可能とする。
図12(d)の画面においてユーザがコントローラ11を用いて、いずれかの楽曲を選択する操作をした後、「OK」ボタンを押下する操作を行うと、カラオケ装置10はまず、ユーザに選択された楽曲名に対応するカラオケデータ1001に含まれるシーケンスデータを記憶部101から読み出す。以下の処理において、カラオケ装置10は読み出したカラオケデータ1001に含まれるシーケンスデータおよびソースデータ群を用いる。
ユーザにより自動モードが選択されている場合、イベントデータ再生部204は、ガイダンス画面生成部2023に対し送信するイベントデータの先読み処理を行う。すなわち、イベントデータ再生部204は、サウンドトラックに従ったカラオケ楽曲の再生の開始タイミングを基準として、(イ)照明トラックに含まれるイベントデータ、(ロ)カメラトラックに含まれるイベントデータ、(ハ)ビジュアルトラックに含まれるイベントデータのうち、ソースとしていずれかのビデオカメラ15を指定するイベントデータ、のそれぞれを、対応付けられているタイミングデータに従ったタイミングよりも所定時間、例えば10秒間だけ早いタイミングで、ガイダンス画面生成部2023に順次送信する処理を開始する。その後、カラオケ楽曲の再生の開始タイミングになると、イベントデータ再生部204は、シーケンスデータに含まれるイベントデータを、対応付けられているタイミングデータに従ったタイミングで、イベントデータの種類に応じたガイダンス画面生成部2023以外の構成部に順次送信する処理を開始する。その結果、ガイダンス画面生成部2023はイベントデータ再生部204から、カラオケ楽曲の自動演奏よりも所定時間だけ早いタイミングで、ビデオカメラ15の切替タイミング等の情報を得ることができる。
一方、ユーザにより手動モードが選択されている場合、上述したように、イベントデータ再生部204は上記(イ)〜(ハ)のイベントデータをガイダンス画面生成部2023に送信せず、ガイダンス画面生成部2023はイベントデータ再生部204からそれらのイベントデータを受信する代わりに、コントローラ11からユーザによる同様の指示を受信する。従って、イベントデータ再生部204は、上記のガイダンス画面生成部2023に対するイベントデータの先読みおよび送信を行うことなく、シーケンスデータに含まれるイベントデータを、対応付けられているタイミングデータに従ったタイミングで、イベントデータの種類に応じたガイダンス画面生成部2023以外の構成部に順次送信する処理を開始する。
音データブロック201は、イベントデータ再生部204から送信されるイベントデータに従い、カラオケ楽曲の自動演奏を行うとともに、マイク12により拾音される音声を示す音声データおよびカラオケ楽曲の自動演奏を示す音データに加工処理を施し、それらを合成処理して生成した音データを順次、アンプ13に出力する。その際、入出力I/F102によりデジタル信号からアナログ信号への変換が行われる。アンプ13は入出力I/F102を介して音データブロック201から入力される音信号を増幅する。アンプ13により増幅された音信号はスピーカ14により発音される。そのように発音される音は、カラオケ楽曲の演奏音とユーザの歌唱音がエフェクト処理およびミキシング処理された音である。
また、動作制御ブロック203は、イベントデータ再生部204から送信されるイベントデータに従い、ビデオカメラ15に対し撮像処理のON/OFFやズーム倍率変更を指示する制御データを、カメラ移動装置16に対しビデオカメラ15の移動および撮像方向の変更を指示する制御データを、また照明装置17に対し照明の色および強さの変更を指示する制御データをそれぞれ送信する。その制御データに応じて、ビデオカメラ15、カメラ移動装置16および照明装置17は各々指定された動作を行う結果、ビデオカメラ15から画像データ加工処理部2024に送信される一連の画像データは変化に富んだものとなる。
また、画像データブロック202は、イベントデータ再生部204から送信されるイベントデータに従い以下のように画像データを生成し、生成した画像データをディスプレイ18に送信する。まず、動画データ再生部2021はイベントデータ再生部204から動画データの再生を指示するイベントデータを受信し、受信したイベントデータにより指示される動画データをソースデータ群から読み出し、読み出した動画データの再生により得られる画像データを順次、画像データ加工処理部2024に送信する。また、歌詞画面生成部2022はイベントデータ再生部204から歌詞表示を指示するイベントデータを受信し、受信したイベントデータに従い、指定された文字を指定された位置および態様で表示する画像データを生成し、生成した画像データを順次、画像データ加工処理部2024に送信する。また、ガイダンス画面生成部2023はイベントデータ再生部204からビデオカメラ15の選択処理やカメラ移動装置16によるビデオカメラ15の移動処理、照明装置17による照明の色等の変更処理などを指示するイベントデータを受信し、受信したイベントデータに従い、それらの処理の結果および近い将来に実行予定の処理を示す画像データを生成し、生成した画像データを順次、画像データ加工処理部2024に送信する。
画像データ加工処理部2024は、イベントデータ再生部204から受信したイベントデータに従い、ビデオカメラ15および動画データ再生部2021の各々から送信される画像データと、ソースデータ群に含まれる静止画データに対し加工処理を行うことにより、各表示レイヤの画像データを生成する。画像データ加工処理部2024は、生成した各表示レイヤの画像データを、背景レイヤ、第1レイヤ、第2レイヤ・・・の順にスーパーインポーズして、新たな画像データを生成する。さらに、画像データ加工処理部2024は、歌詞画面生成部2022から送信される歌詞レイヤの画像データおよびガイダンス画面生成部2023から送信されるガイダンス表示の画像データを、生成した画像データにスーパーインポーズすることにより、背景画像、ユーザの画像、歌詞およびガイダンスを含む画像データを生成する。画像データ加工処理部2024は、そのように生成した画像データを順次ディスプレイ18に送信する。
[1.2.3.ガイダンス表示の態様]
図13は、カラオケ装置10によりシーケンスデータの再生処理が行われている際にディスプレイ18に表示される画面を例示した図である。図12(c)の画面において、ユーザにより「文字で表示」が選択された場合には、図13(a)に示すようなガイダンス表示を含む画面が表示される。図13(a)の画面においては、歌詞表示の近傍に、その歌詞の発声タイミングにおいて撮像処理を行う予定のビデオカメラ15を文字により示す表示物1301と、同じく歌詞の発声タイミングにおいて照明装置17のいずれかにより照射される予定の光の色を文字により示す表示物1302が示される。
表示物1301および表示物1302は、ガイダンス画面生成部2023が画像データのソースを指定するイベントデータ、ビデオカメラ15の撮像処理のON/OFFを指示するイベントデータ、照明の色および強さを指定するイベントデータ、もしくはそれらのイベントデータの代わりにユーザの操作に応じてコントローラ11から送信される指示データに基づき生成したものである。
図13(a)の例によれば、歌唱を行っているユーザは、「時の流れは」の歌詞を歌い終わった後、自分を撮像するビデオカメラ15がビデオカメラ15a(カメラ1に対応)からビデオカメラ15c(カメラ3に対応)に切り替わると同時に、照明の色が変化することを、「時の流れは」の歌詞を歌っている間に予め知ることができる。
図12(c)の画面において、ユーザにより「バーで表示」が選択された場合には、図13(b)に示すようなガイダンス表示を含む画面が表示される。図13(b)の画面においては、歌詞表示の近傍に、その歌詞の発声タイミングにおいて撮像処理を行う予定のビデオカメラ15をバーにより示す表示物1311と、同じく歌詞の発声タイミングにおいて光の照射を行う予定の照明装置17をバーにより示す表示物1312が示される。また、図13(b)に示される表示物1313は、カラオケ楽曲における現在のタイミングを示す表示である。表示物1311において、バーの太さは、例えばビデオカメラ15のズーム倍率の大きさを示している。また、表示物1311に含まれるカメラ1のバーからカメラ3のバーに向けて引かれた斜め線は、その時間帯において、例えば、カメラ1から送信される画像データをフェードアウトさせつつ、カメラ3から送信される画像データをフェードインさせる処理、すなわちディゾルブ処理を行うことを示している。このような加工処理の種類は複数あるため、それらの種類をバーもしくは斜め線の色で区別したり、バーもしくは斜め線の近傍に文字で加工処理の種類を表示するようにしてもよい。表示物1312において、バーの太さは、例えば照明装置17の照射光の強さを示している。また、バーの色は、照明装置17の照射光の色を示している。
表示物1311、表示物1312および表示物1313は、ガイダンス画面生成部2023が画像データのソースを指示するイベントデータ、ビデオカメラ15のズーム倍率の変更や撮像処理のON/OFFを指示するイベントデータ、画像データに対する各種加工処理を指示するイベントデータ、照明の色や強さを指示するイベントデータ、もしくはそれらのイベントデータの代わりにユーザの操作に応じてコントローラ11から送信される指示データに基づき生成したものである。
図13(b)の例によれば、ユーザは、自分を撮影するビデオカメラ15の切替タイミングおよび照明の色の変更タイミングに加え、各ビデオカメラ15のズーム倍率や照明の強さの変化、複数のビデオカメラ15から送信される画像データを用いた加工処理の行われる時間帯等の詳細な情報を、歌唱中に予め知ることができる。
図12(c)の画面において、ユーザにより「配置図で表示(1)」が選択された場合には、図13(c)に示すようなガイダンス表示を含む画面が表示される。図13(c)の画面においては、歌詞表示の近傍に、その歌詞の発声タイミングにおいて撮像処理を行う予定であるビデオカメラ15、光の照射を行う予定である照明装置17、現在のユーザの位置および方向を示す表示物1321および表示物1322が示される。表示物1321および表示物1322に含まれる四角形は撮像処理を行うビデオカメラ15の位置を示している。ビデオカメラ15を示す四角形は、カメラ移動装置16による移動に伴い、表示物1321および表示物1322の中で移動する。表示物1321および表示物1322に含まれる円形は光の照射を行う照明装置17の位置を示すと同時に、円形表示の色により、照射される光の色を示している。また、表示物1321および表示物1322の中央付近に示される円形と三角形の結合図形は、ユーザの現在の位置および方向を示す図形であり、ユーザの動きに応じて常時、その表示位置および方向が変化する。
表示物1321および表示物1322は、ガイダンス画面生成部2023が画像データのソースを指示するイベントデータ、ビデオカメラ15の撮像処理のON/OFFを指示するイベントデータ、ビデオカメラ15の移動を指示するイベントデータ、照明の色や強さを指示するイベントデータ、もしくはそれらのイベントデータの代わりにユーザの操作に応じてコントローラ11から送信される指示データと、位置方向算出部205から送信されるマイク座標データおよびユーザ方向データに基づき生成したものである。
図13(c)の例によれば、ユーザは、どの位置に配置されたビデオカメラ15がどのタイミングで自分を撮像するか、またどの位置に配置された照明装置17がどのタイミングで、またどの色で光の照射を行うかを、歌唱中に予め、視覚的に容易に知ることができる。
図12(c)の画面において、ユーザにより「配置図で表示(2)」が選択された場合には、図13(d)に示すようなガイダンス表示を含む画面が表示される。図13(d)の画面においては、画面全体をカラオケルームを上方から見た様子に見立て、照明装置17の各々を示す表示物1331、ビデオカメラ15の各々を示す表示物1332、ユーザを示す表示物1333が対応する位置に示される。表示物1331は、その大きさおよび色により、対応する照明装置17が現在照射している光の強さおよび色を示す。また、表示物1331は、対応する照明装置17が近い将来に光の照射を終了する場合、その終了をユーザに対し予め通知するために、例えば点滅表示される。さらに、照明装置17が光の照射を終了するタイミングを正確にユーザに知らせるために、表示物1331の近傍に照射の終了タイミングまでの残余時間が「3!」「2!」「1!」のようにカウントダウン表示されるようにしてもよい。表示物1334はそのような表示を例示したものである。
また、近い将来に光の照射を開始する照明装置17がある場合、その照明装置17に対応する表示物1331が点滅表示される。ただし、近い将来にその照射を終了する照明装置17に対応する表示物1331と区別するために、近い将来に照射を開始する照明装置17に対応する表示物1331は、例えば中抜き(円形の輪郭のみ着色)で表示される。この場合も、表示物1331の近傍に照射の開始タイミングまでの残余時間が「3!」「2!」「1!」のようにカウントダウン表示されるようにしてもよい。
表示物1332は、その位置、方向および大きさにより、それぞれ、現在撮像処理を行っているビデオカメラ15の位置、撮像方向およびズーム倍率を示す。従って、カメラ移動装置16によりビデオカメラ15の位置や撮像方向が変更されると、それに伴い、画面における表示物1332の位置および方向も変化する。また、表示物1332は、照明装置17を示す表示物1331と同様に、対応するビデオカメラ15が近い将来に撮像処理を終了する場合、その終了をユーザに対し予め通知するために、例えば点滅表示される。その終了タイミングを正確にユーザに知らせるために、表示物1332の近傍に撮像処理の終了タイミングまでの残余時間をカウントダウン表示するようにしてもよい点も表示物1331の場合と同様である。
また、近い将来に撮像処理を開始するビデオカメラ15がある場合、表示物1331の場合と同様に、そのビデオカメラ15に対応する表示物1332が中抜きで点滅表示される。その開始タイミングを正確にユーザに知らせるために、表示物1332の近傍に撮像処理の開始タイミングまでの残余時間をカウントダウン表示するようにしてもよい点も表示物1331の場合と同様である。
表示物1333は、ユーザの現在の位置および方向を示す図形であり、ユーザの動きに応じて常時、その表示位置および方向が変化する。表示物1331〜表示物1334は、ガイダンス画面生成部2023が画像データのソースを指示するイベントデータ、ビデオカメラ15のズーム倍率の変更および撮像処理のON/OFFを指示するイベントデータ、ビデオカメラ15の移動および撮像方向の変更を指示するイベントデータ、照明の色や強さを指示するイベントデータ、もしくはそれらのイベントデータの代わりにユーザの操作に応じてコントローラ11から送信される指示データと、位置方向算出部205から送信されるマイク座標データおよびユーザ方向データに基づき生成したものである。
図13(d)の例によれば、ユーザは、現在の照明装置17およびビデオカメラ15の動作状況や、ビデオカメラ15の位置および撮像方向の詳細を視覚的に容易に知ることができるとともに、近い将来に動作を終了もしくは開始するビデオカメラ15および照明装置17がある場合、そのタイミングを歌唱中に予め知ることができる。
ガイダンス表示の態様としては、図13に示されるもの以外に様々なものが考えられる。例えば、照明装置17により照射される光の色が変化する場合において、図13(d)に示されるガイダンス表示において、現在の照明装置17の状態を示す表示物1331の近傍に、近い将来の照明装置17の状態を示す表示物を表示させるようにしてもよい。また、近い将来に処理を終了もしくは開始するビデオカメラ15等を示すために表示物を点滅表示させる代わりに、例えばその表示物の濃淡を変化させるようにしてもよい。
上記のように、カラオケシステム1によれば、ディスプレイ18にカラオケ楽曲の歌詞とともに、ビデオカメラ15、カメラ移動装置16および照明装置17の現在の状態および近い将来のそれらの状態を示すガイダンスが表示されるので、ユーザは歌唱中において、予めビデオカメラ15等の状態変化に応じた動作を予定することが可能となる。その結果、ユーザはビデオカメラ15の切替に適したタイミングでポーズを取るなど、従来技術によれば困難であった動作を容易に行うことができ、快適に歌唱および歌唱に伴う動作を楽しむことができる。また、ディスプレイ18には、ビデオカメラ15等の動作タイミングに同期して動作を行うユーザの映像が表示されるため、観る者にとっても好ましい。
ユーザは、カラオケ楽曲の演奏が終了すると、カラオケ装置10の音データ加工処理部2013により生成された音データおよび画像データ加工処理部2024により生成された画像データをビデオデータとして、メディアドライブ21を介してフラッシュメモリ等の記憶媒体に記憶させたり、インターネット22を介して希望するサーバ装置等に送信することができる。その結果、ユーザはカラオケシステム1により生成されたビデオデータを自宅等で繰り返し楽しんだり、友人に送信したりすることができる。
ところで、カラオケ装置10は、専用のハードウェアにより実現されてもよいし、汎用コンピュータにアプリケーションプログラムに従った処理を実行させることにより実現されてもよい。カラオケ装置10が汎用コンピュータにより実現される場合、制御部103の各構成部は、汎用コンピュータが備えるCPU(Central Processing Unit)およびCPUの制御下で動作するDSP(Digital Signal Processor)が、アプリケーションプログラムに含まれる各モジュールに従った処理を同時並行して行うことにより、汎用コンピュータの機能として実現される。
また、上述した実施形態においては、照明装置17の位置および方向は固定されているものとして説明したが、照明装置の位置および方向を変更可能とし、その変更を予め、ガイダンス表示によってユーザに通知するようにしてもよい。その表示方法は、ビデオカメラ15に関するものと同様のものが採用可能である。
また、上述した実施形態においては、ディスプレイ18により表示される画像データに、ガイダンス画面生成部2023により生成されるガイダンス表示の画像データをスーパーインポーズすることにより歌詞表示等とガイダンス表示を同時表示させるようにしているが、例えばディスプレイ18の近傍にビデオカメラ15や照明装置17の各々に対応するLED(Light Emitting Diode)を設け、それらを点灯、明滅、消灯等することにより、歌唱中のユーザに対し、ビデオカメラ15、カメラ移動装置16および照明装置17の動作を予め通知するようにしてもよい。
また、上述した実施形態においては、ディスプレイ18はカラオケルームの壁面に配置されているものとして説明したが、例えば小型液晶で構成されるディスプレイ18をマイク12に取り付けるようにしてもよい。
[2.第2実施形態]
上記の第1実施形態においては、カラオケシステム1は、カラオケ装置10と、カラオケ装置10に接続されるマイク12等の各種装置の組合せにより構成されている。しかしながら、本発明にかかるカラオケシステムの構成部のいずれを組み合わせて同じ筐体に配置するかは自由に変更可能である。図14は、本発明にかかるカラオケシステムを、図2で示したカラオケシステム1とは異なる配置により実現したカラオケシステム2の構成を示したブロック図である。以下、カラオケシステム2を本発明の第2実施形態として説明する。
ただし、カラオケシステム2の構成および動作は、カラオケシステム1のものと多くの点で共通しているので、以下、カラオケシステム2がカラオケシステム1と異なる点のみ説明する。図14において、カラオケシステム2の構成部のうち、カラオケシステム1と同様の構成部に関しては、同じ符合が付されている。また、図14においては図の簡略化のため、各構成部間の詳細なデータフローを示す矢印が省略され、また複数個からなる同種の構成部は1つのみ示されている。
カラオケシステム2は、カラオケシステム1のカラオケ装置10の代わりに、音データ処理装置31、画像データ処理装置32および中央管理装置33を備えている。音データ処理装置31は、カラオケシステム1における音データブロック201に含まれる構成部を含む制御部1031と、記憶部1011および入出力I/F1021を備えている。画像データ処理装置32は、カラオケシステム1における画像データブロック202に含まれる構成部と超音波受信器19、赤外線受信器20および位置方向算出部205を含む制御部1032と、記憶部1012および入出力I/F1022を備えている。中央管理装置33は、カラオケシステム1におけるイベントデータ再生部204を含む制御部1033と、記憶部1013および入出力I/F1023を備えている。
入出力I/F1021〜1023は、カラオケ装置10の入出力I/F102と同様に、他の装置との間でデータの入出力を行うためのインタフェースである。記憶部1011〜1013は、カラオケ装置10の記憶部101と同様に、制御部1031〜1033による各種処理を指示するプログラムを予め記憶し、また制御部1031〜1033により生成されるデータを一時的に記憶する。また、例えば中央管理装置33の記憶部1013は、予め、複数のカラオケデータ1001を記憶している。
また、カラオケシステム2におけるビデオカメラ15、カメラ移動装置16および照明装置17はそれぞれ、カメラ動作制御部2031、移動動作制御部2032および照明動作制御部2033を備えている。
カラオケシステム2において、ユーザがコントローラ11を用いてカラオケ楽曲の再生を指示すると、中央管理装置33はユーザにより選択された楽曲に対応するカラオケデータ1001に含まれるシーケンスデータに従い、イベントデータの内容に従い、音データ処理装置31、画像データ処理装置32、ビデオカメラ15、カメラ移動装置16および照明装置17の各々にイベントデータを送信する。また、中央管理装置33は、イベントデータの送信に先立ち、もしくは並行して、イベントデータにより指示される処理に要するソースデータを、音データ処理装置31もしくは画像データ処理装置32に送信する。ただし、中央管理装置33がソースデータを送信する代わりに、音データ処理装置31および画像データ処理装置32が、各々処理に必要なソースデータを予め記憶部1011および記憶部1012に記憶しておいてもよい。
音データ処理装置31は、中央管理装置33から受信したイベントデータに従い、音データの再生処理および加工処理を行い、生成した音データをアンプ13に出力する。また、音データ処理装置31は生成した音データを中央管理装置33に送信し、中央管理装置33は音データ処理装置31から送信された音データを記憶部1013に記憶する。
画像データ処理装置32は、中央管理装置33から受信したイベントデータに従い、画像データの再生処理および加工処理を行い、生成した画像データをディスプレイ18に送信する。また、画像データ処理装置32は生成した画像データを中央管理装置33に送信し、中央管理装置33は画像データ処理装置32から送信された画像データを記憶部1013に記憶する。
上記のように、記憶部1013に順次記憶された音データおよび画像データはビデオデータとして統合され、ユーザの指示により再生、送信、記憶媒体への保存等がなされる。
以上説明したカラオケシステム2によっても、第1実施形態におけるカラオケシステム1と同様に、ディスプレイ18に表示される画像には、歌詞画面生成部2022により生成される歌詞表示の画像に加え、ガイダンス画面生成部2023により生成されるガイダンス表示の画像が合成される結果、ユーザはカラオケ楽曲の歌詞とともに、ビデオカメラ15、カメラ移動装置16および照明装置17の現在の状態および近い将来のそれらの状態を、歌唱中に予め知ることができる。その結果、ユーザは、予めビデオカメラ15等の状態変化に応じた動作を予定することが可能となる。
ところで、音データ処理装置31、画像データ処理装置32および中央管理装置33は、専用のハードウェアにより実現されてもよいし、汎用コンピュータにアプリケーションプログラムに従った処理を実行させることにより実現されてもよい。音データ処理装置31、画像データ処理装置32および中央管理装置33が汎用コンピュータにより実現される場合、制御部1031、制御部1032および制御部1033の各構成部は、汎用コンピュータが備えるCPUおよびCPUの制御下で動作するDSPが、アプリケーションプログラムに含まれる各モジュールに従った処理を同時並行して行うことにより、汎用コンピュータの機能として実現される。
1・2…カラオケシステム、10…カラオケ装置、11…コントローラ、12…マイク、13…アンプ、14…スピーカ、15…ビデオカメラ、16…カメラ移動装置、17…照明装置、18…ディスプレイ、19…超音波受信器、20…赤外線受信器、21…メディアドライブ、22…インターネット、31…音データ処理装置、32…画像データ処理装置、33…中央管理装置、101・1011・1012・1013…記憶部、102・1021・1022・1023…入出力I/F、103・1031・1032・1033…制御部、121…超音波発生器、122…赤外線発生器、181…表示部分、182…表示部分、183…表示部分、201…音データブロック、202…画像データブロック、203…動作制御ブロック、204…イベントデータ再生部、205…位置方向算出部、1001…カラオケデータ、1221…赤外線発光ダイオード、2011…音源部、2012…音データ再生部、2013…音データ加工処理部、2021…動画データ再生部、2022…歌詞画面生成部、2023…ガイダンス画面生成部、2024…画像データ加工処理部、2031…カメラ動作制御部、2032…移動動作制御部、2033…照明動作制御部。