JP2006171215A

JP2006171215A - 楽曲演奏および歌詞表示に伴うガイダンス表示を行うためのデータ処理装置およびプログラム

Info

Publication number: JP2006171215A
Application number: JP2004361651A
Authority: JP
Inventors: Yukio Tada; 幸生多田
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2004-12-14
Filing date: 2004-12-14
Publication date: 2006-06-29
Anticipated expiration: 2024-12-14
Also published as: JP4380521B2

Abstract

【課題】カラオケ楽曲の演奏とともに撮像が行われるカラオケシステムにおいて、ユーザが、ビデオカメラ等の動作や状態に応じて適した動作を行うことを可能とする。
【解決手段】カラオケシステム１は、カラオケ楽曲の自動演奏および歌詞表示を行うとともに、カラオケデータ１００１に含まれるビデオカメラ等の動作を指示するシーケンスデータもしくはユーザの操作に応じてコントローラ１１がカラオケ装置１０に送信する指示データに従い、現在もしくは近未来のビデオカメラ１５等の動作もしくは状態をユーザに対し示すガイダンス表示を行う。
【選択図】図１

Description

本発明は、カラオケシステムにおけるデータ処理技術に関する。

カラオケ楽曲の演奏に伴い歌唱を行うユーザを撮像する技術がある。

例えば、特許文献１は、カラオケ楽曲の演奏データに対応して予め準備された時系列データであるカメラ制御データに従い、カラオケ楽曲の演奏に応じてズーミングおよびパンニングの動作を行うビデオカメラを備えたカラオケ装置を提案している。
特開２００２−３１１９６９号公報

特許文献１に記載の従来技術による場合、ユーザはビデオカメラの動作を予め知ることができないため、ビデオカメラの動作に応じてポーズを決める等の適した動作を行うことが困難であった。

上記の状況に鑑み、本発明は、カラオケ楽曲の演奏とともに撮像が行われるカラオケシステムにおいて、ユーザが、ビデオカメラ等の撮像関連装置の動作や状態に応じて適した動作を行うことを可能とする手段を提供することを目的とする。

上記課題を達成するために、本発明は、楽曲の演奏を指示する演奏指示データを出力する演奏指示データ出力手段と、歌詞の表示を指示する歌詞表示指示データを、前記楽曲の進行において当該歌詞が表示されるべきタイミングを示すタイミングデータに対応付けて記憶する歌詞表示指示データ記憶手段と、撮像装置、画像データの加工を行う加工装置、撮像装置の移動を行う移動装置および照明装置の少なくとも１により実行されるべき処理を指示する処理指示データを、前記楽曲の進行において当該処理が実行されるべきタイミングを示すタイミングデータに対応付けて記憶する処理指示データ記憶手段と、前記演奏指示データ出力手段による演奏指示データの出力と並行して、前記処理指示データを、当該処理指示データに対応付けられたタイミングデータに応じたタイミングで出力する処理指示データ出力手段と、前記演奏指示データ出力手段による演奏指示データの出力および前記処理指示データ出力手段による処理指示データの出力と並行して、前記歌詞表示指示データにより指示される歌詞を当該歌詞表示指示データに対応付けられたタイミングデータに応じたタイミングで表示するとともに、前記処理指示データ出力手段により出力される処理指示データに応じたガイダンスを当該処理指示データに対応付けられたタイミングデータに応じたタイミングで表示することを指示する表示指示データを出力する表示指示データ出力手段とを備えることを特徴とするデータ処理装置を提供する。

また、本発明は、楽曲の演奏を指示する演奏指示データを出力する演奏指示データ出力手段と、歌詞の表示を指示する歌詞表示指示データを、前記楽曲の進行において当該歌詞が表示されるべきタイミングを示すタイミングデータに対応付けて記憶する歌詞表示指示データ記憶手段と、撮像装置の位置、撮像装置の方向、撮像装置の処理、照明装置の位置、照明装置の方向、照明装置の処理および画像データの加工を行う加工装置の処理のうち、少なくとも１に関する現在の状態もしくは所定期間内に予定されている状態の変化を示す状態データを受け取る状態データ入力手段と、前記演奏指示データ出力手段による演奏指示データの出力と並行して、前記歌詞表示指示データにより指示される歌詞を当該歌詞表示指示データに対応付けられたタイミングデータに応じたタイミングで表示するとともに、前記状態データ入力手段により受け取られる状態データに応じたガイダンスを表示することを指示する表示指示データを出力する表示指示データ出力手段とを備えることを特徴とするデータ処理装置を提供する。

上記いずれの構成のデータ処理装置によっても、当該データ処理装置により表示指示データを受け取る表示手段は、カラオケ楽曲の歌詞表示を行うとともに、撮像装置、加工装置、移動装置もしくは照明装置の現在の状態および近未来に実行される処理をユーザに対し通知するガイダンス表示を同時に行うため、ユーザはそれらの装置の動作に応じて、好ましい画像データが生成されるために必要な振る舞いを行うことができる。

また、好ましい態様において、前記表示指示データ出力手段は、前記表示指示データとして、特定の処理を実行中もしくは所定期間内に特定の処理を実行予定の撮像装置もしくは照明装置を示す、文字、図形、記号もしくはこれらの結合もしくはこれらと色彩との結合の表示またはランプの点灯による表示を指示するデータを出力するように構成されていてもよい。

かかる構成のデータ処理装置によれば、表示手段により、処理を実行中もしくは近未来に実行予定の装置がユーザに通知されるため、ユーザは、例えば撮像処理中の撮像装置に身体を向ける等の適した振る舞いを行うことができる。

また、他の好ましい態様において、前記表示指示データ出力手段は、前記表示指示データとして、撮像装置、加工装置、移動装置もしくは照明装置の現在の状態もしくは所定時間後に予定されている状態に応じて、異なる態様の表示を指示するデータを出力するように構成されていてもよい。

かかる構成のデータ処理装置によれば、表示手段により、撮像装置等の現在もしくは将来の状態の詳細が表示態様によりユーザに通知されるため、ユーザは、例えば加工装置により実行中の加工処理の種類に応じて適した振る舞いを行うことができる。

また、他の好ましい態様において、前記データ処理装置はユーザの位置を示す位置データを受け取る位置データ入力手段を備え、前記表示指示データ出力手段は、前記表示指示データとして、前記歌詞と前記ガイダンスに加え、前記位置データにより示される位置の同時表示を指示するデータを出力するように構成されていてもよい。

かかる構成のデータ処理装置によれば、表示手段により、ユーザの現在位置が表示される結果、ユーザは自分の位置を撮像装置等の位置との関係で容易に把握でき、撮像装置等の動作に応じた振る舞いをより容易に行うことができる。

また、他の好ましい態様において、前記データ処理装置はユーザの画像データを受け取る画像データ入力手段を備え、前記表示指示データ出力手段は、前記表示指示データとして、前記歌詞と前記ガイダンスに加え、前記画像データにより示される画像の同時表示を指示するデータを出力するように構成されていてもよい。

かかる構成のデータ処理装置によれば、表示手段によりユーザの現在の画像が表示される結果、ユーザは自分の振る舞いの結果得られる画像を確認しつつ、自分の振る舞いを修正等することができる。

また、本発明は、上記のデータ処理装置により行われる処理をコンピュータに実行させるプログラムを提供する。

［１．第１実施形態］
［１．１．カラオケシステムの構成］
図１は、本発明の実施形態にかかるカラオケシステム１がカラオケボックスに設置された様子を示している。また、図２は、カラオケシステム１の構成を示している。ただし、図１において、図２に示される赤外線受信器２０ａ〜ｌは図の簡略化のため省略されている。カラオケシステム１は、カラオケ装置１０、カラオケ装置１０に対しユーザの指示を与えるためのコントローラ１１、ユーザの声を拾音しその声を示す音信号をカラオケ装置１０に出力すると同時に断続的に所定の周波数の超音波を発するとともに継続的に所定の波長の赤外線を照射する機能を備えたマイク１２ａおよびｂ、カラオケ装置１０から出力される音信号を増幅するアンプ１３、アンプ１３から出力される音信号を音に変換し出力するスピーカ１４ＬおよびＲ、撮像した画像を示す画像データを順次生成して出力するビデオカメラ１５ａ〜ｄ、ビデオカメラ１５ａ〜ｄの位置および方向をモータ等により各々変化させるカメラ移動装置１６ａ〜ｄ、指定された色および明るさの光をユーザに照射する照明装置１７ａ〜ｈ、カラオケ装置１０から出力される画像データに従い画像表示を行うディスプレイ１８ａ〜ｄ、超音波を受信し受信した超音波の波形を示す電気信号をカラオケ装置１０に出力する超音波受信器１９ａ〜ｄ、そしてカラオケ装置１０から出力されるデータをフラッシュメモリ等の記憶媒体に記憶するメディアドライブ２１を備えている。また、カラオケ装置１０はインターネット２２に接続されている。

カラオケシステム１は、上記のようにマイク、スピーカ、ビデオカメラ、カメラ移動装置、照明装置、ディスプレイ、超音波受信器および赤外線受信器をそれぞれ複数備えているが、以下、複数の同種の構成部を区別する必要がない場合には、単にマイク１２のように呼ぶ。また、カラオケシステム１が備えるマイク１２等の数は例示であり、超音波受信器１９の数が４以上である点、また赤外線受信器２０が後述するようにユーザの身体の方向を特定可能な程度に多数である点を除き、自由に変更可能である。

マイク１２ａおよびｂは、各々、超音波を発生する超音波発生器１２１ａおよびｂを備えており、上述したように断続的に超音波を発生するが、超音波発生器１２１ａおよびｂの発生する超音波の周波数は互いに異なり、いずれの超音波がマイク１２ａおよびｂのいずれから発せされたものであるかの区別が可能となっている。超音波発生器１２１ａおよびｂは、カラオケルーム内においてマイク１２ａおよびｂから発せられた超音波が超音波受信器１９ａ〜ｄに到達するために要する時間よりも十分に長い時間間隔で、超音波の発生を繰り返す。より具体的には、例えば超音波発生器１２１ａおよびｂは、０．５秒間、超音波を発した後、１秒間は超音波を発せず、その後、同様の処理を繰り返す。これは、後述する位置方向算出部２０５の処理において、マイク１２ａおよびｂからの距離が異なる超音波受信器１９ａ〜ｄの各々が次々と受信する超音波のうち、いずれが同じタイミングでマイク１２ａおよびｂから発せされたものであるかを容易に区別可能とするためである。

また、マイク１２ａおよびｂは、各々、赤外線を発生する赤外線発生器１２２ａおよびｂを備えており、上述したように継続的に赤外線を照射するが、赤外線発生器１２２ａおよびｂの発生する赤外線の波長は互いに異なり、いずれの赤外線がマイク１２ａおよびｂのいずれから発せされたものであるかの区別が可能となっている。図３は、マイク１２に赤外線発生器１２２が配置されている様子を示す図である。赤外線発生器１２２は、マイク１２の本体部とヘッド部の接合部にリング状に配置されており、その外周面には同じ波長の赤外線を照射可能な多数の赤外線発光ダイオード１２２１が配置されている。マイク１２は、このようにリング状に配置された赤外線発光ダイオード１２２１から赤外線を様々な方向に照射することができる。ただし、マイク１２から様々な方向に赤外線を照射可能であれば、赤外線発光ダイオード１２２１の配置方法はリング状である必要はない。

続いて、カラオケ装置１０の構成を説明する。カラオケ装置１０は記憶部１０１、入出力Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１０２および制御部１０３を備えている。記憶部１０１は、制御部１０３による各種処理を指示するプログラムを予め記憶し、また制御部１０３により生成されるデータを一時的に記憶する。さらに、記憶部１０１は予め、複数のカラオケデータ１００１を記憶している。

以下、カラオケデータ１００１の内容を説明する。図４は、カラオケデータ１００１の構成を模式的に示している。図４においては、記憶部１０１に記憶されているカラオケデータ１００１として、各々異なる楽曲に関する３つのカラオケデータ１００１、すなわちカラオケデータ１００１ａ〜ｃが例示されている。カラオケデータ１００１は、カラオケ楽曲の自動演奏およびディスプレイ１８に表示される画像生成に関連する各種処理を指示するデータである。カラオケデータ１００１は、管理データ、シーケンスデータおよびソースデータ群を含んでいる。管理データは、カラオケデータを識別するための識別番号および楽曲名を示すデータである。

図４に示されるように、シーケンスデータは、カラオケ楽曲の自動演奏を指示するサウンドトラック、照明装置１７の動作を指示する照明トラック、ビデオカメラ１５およびカメラ移動装置１６の動作を指示するカメラトラック、画像データの加工処理を指示するビジュアルトラックを含んでいる。

サウンドトラックは、カラオケ楽曲の自動演奏を指示する演奏制御データであり、例えばＳＭＦ（ＳｔａｎｄａｒｄＭＩＤＩＦｉｌｅ）形式のデータである。図５は、サウンドトラックの内容を例示している。ただし、図５においては、説明のため、ＳＭＦの表現形式を簡便化している。サウンドトラックは、互いに対応付けられたタイミングデータとイベントデータからなるタイミング付イベントデータを複数、含んでいる。タイミングデータは、楽曲におけるタイミングを示すデータである。この点はサウンドトラックに含まれるタイミングデータに限らず、以下に説明するいずれのトラックに含まれるタイミングデータに関しても同様である。一方、イベントデータはいずれのトラックに含まれるものであるかに応じてその内容が異なる。以下、それらのいくつかを例示するが、イベントデータの種類は以下に説明するものに限られないことは言うまでもない。

サウンドトラックに含まれるイベントデータは、楽音の発音に関する指示および発音される音に対する効果付加の指示を行うデータである。例えば、イベントデータ［１ｃｈ：ノートオン：Ｄ４：７４］は、第１のチャンネルに割り当てられた音色の音高Ｄ４の楽音を、音強７４で発音することを指示している。ここで、チャンネルとは楽曲に含まれる個々の演奏パートのことである。また、例えばイベントデータ［１ｃｈ：ディレイ：０．５秒］は、第１のチャンネルの音に対し０．５秒のディレイ効果を付加することを指示している。また、例えばイベントデータ［３ｃｈ：再生：Ｓ５１４．ｗａｖ］は、第３のチャンネルとして、音データファイル「Ｓ５１４．ｗａｖ」に格納される音データの再生を行うことを指示している。

照明トラックに含まれるイベントデータは、照明装置１７の動作を指示するタイミング付イベントデータの集まりである。以下、イベントデータにより制御される照明装置１７の動作は照明の色および強さであるものとして説明するが、例えばフォーカスの強さの変更等、他の動作の制御をイベントデータにより指示するようにしてもよい。図６は、照明トラックの内容を例示している。例えば、イベントデータ［照明１：色：赤］は、照明１に割り当てられた照明装置１７に対し、照明の色として赤を選択することを指示している。本実施形態においては、照明１〜８の各々には照明装置１７ａ〜ｈが割り当てられているものとする。また、例えば、イベントデータ［照明１：強さ：０→５：３．２秒］は、照明１、すなわち照明装置１７ａに対し、照明の強さを「０」で示される強さから「５」で示される強さに３．２秒間で変更することを指示している。以下の説明において、照明の強さを示す数値は「０」〜「９」のいずれかの整数値をとるものとし、大きな整数値はより強い照明を示すものとする。また、「０」は照明の消灯を示す。従って、例えば、イベントデータ［照明１：強さ：０］は、照明装置１７ａに対し照明の消灯を指示している。このように、変更に要する時間を指定しないイベントデータは、その変更を瞬時に行うことを指示している。

カメラトラックは、ビデオカメラ１５およびカメラ移動装置１６の動作を指示するタイミング付イベントデータの集まりである。以下、イベントデータにより制御されるビデオカメラ１５の動作は撮像処理の開始・終了およびズームの強さの変更であるものとして説明するが、例えばフォーカスの強さの変更等、他の動作の制御をイベントデータにより指示するようにしてもよい。また、イベントデータにより制御されるカメラ移動装置１６の動作はビデオカメラ１５の位置変更および左右方向の方向変更であるものとして説明するが、例えば垂直方向の方向変更等、他の動作の制御をイベントデータにより指示するようにしてもよい。図７は、カメラトラックの内容を例示している。例えば、イベントデータ［カメラ１：位置：４］は、カメラ１に割り当てられたビデオカメラ１５が取り付けられたカメラ移動装置１６に対し、ビデオカメラ１５の位置を「４」で示される位置に移動することを指示している。本実施形態においては、カメラ１〜４の各々にはビデオカメラ１５ａ〜ｄが割り当てられているものとする。また、カメラ位置を示す数値は「１」〜「９」のいずれかの整数値をとるものとし、数値の増加に伴い、ビデオカメラ１５の位置がユーザから見て右から左に変化するものとする。

また、例えば、イベントデータ［カメラ１：ズーム：７］は、カメラ１に割り当てられたビデオカメラ１５、すなわちビデオカメラ１５ａに対し、ズームの倍率を「７」で示される倍率に変更することを指示している。ズームの倍率を示す数値は「１」〜「９」のいずれかの整数値をとるものとし、数値が大きい程、ズームの倍率が大きいことを示すものとする。また、例えば、イベントデータ［カメラ１：方向：３］はビデオカメラ１５ａが取り付けられたカメラ移動装置１６、すなわちカメラ移動装置１６ａに対し、ビデオカメラ１５ａの撮像方向を「３」で示される方向に変更することを指示している。ビデオカメラ１５の撮像方向を示す数値は「１」〜「９」のいずれかの整数値をとるものとし、数値の増加に伴い、ビデオカメラ１５の撮像方向が右から左に変化するものとする。そして、カメラ位置を示す数値とカメラ方向を示す数値とが一致する場合、ビデオカメラ１５はカラオケルームの中心付近を向くようになっている。従って、例えば、イベントデータ［カメラ１：位置：４→６：４．２秒］および［カメラ１：方向：４→６：４．２秒］が同じタイミングでカメラ移動装置１６ａに送信された場合、カメラ移動装置１６ａはこれらのイベントデータに従い、カメラ移動装置１６ａの位置を移動させるとともに撮像方向を変更する結果、カメラ移動装置１６ａはユーザから見て右から左に移動しつつ、常にカラオケルームの中心付近を向くことになる。また、イベントデータ［カメラ１：ＯＮ］および［カメラ１：ＯＦＦ］はそれぞれ、カメラ移動装置１６ａの撮像処理の開始および終了を指示するイベントデータである。

ビジュアルトラックは、ディスプレイ１８に表示されるべき画像を示す画像データの生成を指示するタイミング付イベントデータの集まりである。本実施形態においてディスプレイ１８に表示される画像は、複数の表示レイヤをスーパーインポーズして得られる画像であり、表示レイヤは最背後から前面方向に向かい、背景レイヤ、第１レイヤ、第２レイヤ、・・・、第＃レイヤ、歌詞レイヤの順に並んでいる。ただし、「＃」は任意の自然数である。カラオケ装置１０は、ビジュアルトラックに従い、各表示レイヤに関し指定されたソースの画像データに対し加工処理を施した後、それらを合成処理することにより、表示用の画像データを生成する。ただし、ディスプレイ１８に実際に表示される画像は、後述するように、ビジュアルトラックに従って生成された画像データに対し、さらにガイダンス表示の画像データがスーパーインポーズされたものである。

図８は、ビジュアルトラックの内容を例示している。例えば、イベントデータ［背景レイヤ：ソース：Ｓ７１３．ｊｐｅｇ］は、背景レイヤに配置する画像データのソースとして、静止画データファイル「Ｓ７１３．ｊｐｅｇ」に格納される静止画データを用いることを指示している。以下、拡張子が「．ｊｐｅｇ」であるファイルは静止画データファイル、拡張子が「．ｍｐｅｇ」であるファイルは動画データファイルであるものとする。従って、例えばイベントデータ［背景レイヤ：ソース：Ｓ１５１．ｍｐｅｇ］は、背景レイヤに配置する画像データのソースとして、動画データファイル「Ｓ１５１．ｍｐｅｇ」に格納される動画データの再生により得られる画像データを順次用いることを指示している。同様に、イベントデータ［第１レイヤ：ソース：カメラ１］は、第１レイヤに配置する画像データのソースとして、カメラ１、すなわちビデオカメラ１５ａの撮像処理により生成される画像データを順次用いることを指示している。

また、例えば、イベントデータ［第１レイヤ：窓サイズ：７］、［第１レイヤ：窓形状：長方形］および［第１レイヤ：窓位置：（１２０，８０）］は、各々、第１レイヤにサイズ「７」で示される窓を開き、その窓の形状を長方形に変更し、さらにその窓の代表点（例えば窓形状が長方形であれば対角線の交点等）がディスプレイ１８の画面上の座標（１２０，８０）に一致するように窓の位置を変更することを指示している。窓が開かれた場合、そのレイヤに配置された画像は窓の内側にのみ表示される。窓の外側は透過表示となるため、その部分には下位レイヤの画像が表示されることになる。

また、例えば、イベントデータ［第１レイヤ：フェードイン：３．６秒］は第１レイヤに配置されている画像データに対し３．６秒間かけてフェードイン処理を施すこと、またイベントデータ［背景レイヤ：色調：カラー→セピア：３．６秒］は背景レイヤに配置されている画像データに対し３．６秒間かけてカラーからセピア色への色調変更処理を施すことを指示している。これらの画像データの加工処理は例示であり、ビジュアルトラックには、ディゾルブ処理、モーフィング処理等、様々な加工処理を指示するイベントデータが含まれ得る。

イベントデータ［歌詞レイヤ：（３２，１４０）：「時」：黄：表示］は、歌詞レイヤ上の座標（３２，１４０）で示される位置に、文字「時」を黄色で表示することを指示している。また、イベントデータ［歌詞レイヤ：（３２，１４０）：消去］は、歌詞レイヤ上の座標（３２，１４０）で示される位置に表示されている文字を消去、すなわち非表示にすることを指示している。

上記のように、ビジュアルトラックにより指示される各表示レイヤにおける表示が合成されることにより、図９に示すような画像を示す画像データが生成されることになる。図９において、表示部分１８１は背景レイヤによる表示部分、表示部分１８２は第１レイヤによる表示部分、表示部分１８３は歌詞レイヤによる表示部分を示している。

カラオケデータ１００１（図４参照）に含まれるソースデータ群は、上述したサウンドトラックに含まれるイベントデータにより再生指示がなされる音データおよび上述したビジュアルトラックに含まれるイベントデータにより表示指示がなされる静止画データもしくは再生指示がなされる動画データを格納する各種ファイルの集合である。

図２に戻り、カラオケ装置１０の構成説明を続ける。入出力Ｉ／Ｆ１０２は、カラオケ装置１０に含まれる記憶部１０１および制御部１０３がコントローラ１１、マイク１２、アンプ１３、ビデオカメラ１５、カメラ移動装置１６、照明装置１７、ディスプレイ１８、超音波受信器１９、メディアドライブ２１およびインターネット２２との間でアナログ信号およびデジタル信号の入出力を行うためのインタフェースである。また、入出力Ｉ／Ｆ１０２はＡ／Ｄ（ＡｎａｌｏｇｔｏＤｉｇｉｔａｌ）コンバータおよびＤ／Ａ（ＤｉｇｉｔａｌｔｏＡｎａｌｏｇ）コンバータを備えており、必要に応じてアナログ信号とデジタル信号との間の変換を行う。

制御部１０３は、カラオケデータ１００１に含まれるサウンドトラックに従い、カラオケ楽曲の演奏音を示す音データを生成するとともに、マイク１２により拾音された音を示す音声データに各種加工処理を施し、その結果得られる音データをカラオケ楽曲の演奏音を示す音データに合成処理した後、アンプ１３に出力する。また、制御部１０３は、カラオケデータ１００１に含まれる照明トラックに従い、照明装置１７の動作制御を行う。また、制御部１０３は、カラオケデータ１００１に含まれるカメラトラックに従い、ビデオカメラ１５およびカメラ移動装置１６の動作制御を行う。また、制御部１０３は、カラオケデータ１００１に含まれるビジュアルトラックに従い、ユーザの画像データ、カラオケデータ１００１のソースデータ群に含まれる画像データ等に各種加工処理および合成処理を施し画像データを生成し、生成した画像データをディスプレイ１８に出力する。さらに、制御部１０３は、加工処理および合成処理により生成した音データおよび画像データをビデオデータとして記憶部１０１に記憶させる。

制御部１０３の構成部は、音データの処理に関する音データブロック２０１、画像データの処理に関する画像データブロック２０２、ビデオカメラ１５、カメラ移動装置１６および照明装置１７の動作制御に関する動作制御ブロック２０３、カラオケデータ１００１に含まれるシーケンスデータに従い音データブロック２０１、画像データブロック２０２および動作制御ブロック２０３に対しイベントデータの送信を行うイベントデータ再生部２０４、超音波受信器１９から入力される信号に従いマイク１２の各々の位置を算出する位置方向算出部２０５に区分される。また、制御部１０３は発振器（図示略）を備えており、制御部１０３の構成部の処理は発振器により生成されるクロック信号に基づき同期がとられている。

音データブロック２０１は、イベントデータ再生部２０４から送信されるイベントデータに従い様々な楽音を示す音データを出力する音源部２０１１と、イベントデータ再生部２０４から送信されるイベントデータに従いカラオケデータ１００１のソースデータ群に含まれる音データの再生を行う音データ再生部２０１２を備えている。また、音データブロック２０１は、イベントデータ再生部２０４から送信されるイベントデータに従い、マイク１２により拾音された音を示す音データと音源部２０１１および音データ再生部２０１２から送信される音データの各々に各種エフェクト処理等の加工処理を施した後、それらを合成処理して得られる音データをアンプ１３に対し出力する音データ加工処理部２０１３を備えている。

画像データブロック２０２は、イベントデータ再生部２０４から送信されるイベントデータに従いカラオケデータ１００１のソースデータ群に含まれる動画データを再生する動画データ再生部２０２１と、イベントデータ再生部２０４から送信されるイベントデータに従い歌詞画面を示す画像データを順次生成する歌詞画面生成部２０２２と、イベントデータ再生部２０４から送信されるイベントデータおよび位置方向算出部２０５から送信されるマイク座標データ（後述）に従いユーザに対するガイダンスの表示画面を示す画像データを順次生成するガイダンス画面生成部２０２３と、イベントデータ再生部２０４から送信されるイベントデータに従い、動画データ再生部２０２１、歌詞画面生成部２０２２、ガイダンス画面生成部２０２３およびビデオカメラ１５の各々から送信される画像データ、そしてカラオケデータ１００１のソースデータ群に含まれる静止画データに各種エフェクト処理等の加工処理を施した後、それらを合成処理する画像データ加工処理部２０２４を備えている。画像の合成処理には、例えば、ある画像に別の画像をスーパーインポーズする処理や、ある画像から別の画像が透けて見えるように両画像を合成する処理が含まれる。画像データ加工処理部２０２４により生成された画像データはディスプレイ１８に送信される。

ガイダンス画面生成部２０２３により生成される画像データにより示されるガイダンスとは、歌唱を行っているユーザに対し、以下に例示するような様々な情報を提供する表示である。
（ａ）現在、いずれのビデオカメラ１５により撮像された画像がディスプレイ１８の表示に用いられているか。
（ｂ）ディスプレイ１８の表示に用いられる画像の撮像を行うビデオカメラ１５が変更される場合、いつのタイミングでその変更が行われるか。
（ｃ）ディスプレイ１８の表示に用いられる画像の撮像を行うビデオカメラ１５が変更される場合、変更後のビデオカメラ１５はいずれのビデオカメラ１５であるか。
（ｄ）ビデオカメラ１５の各々の現在の位置はどこか。
（ｅ）ビデオカメラ１５の各々の現在の撮像方向はどの方向か。
（ｆ）ビデオカメラ１５の各々の現在のズーム倍率はどの程度か。
（ｇ）ユーザの現在の位置はどこか。
（ｈ）現在、照明装置１７の各々がいずれの色で光を照射しているか。
（ｉ）現在、照明装置１７の各々がどの程度の強さで光を照射しているか。
（ｊ）照明装置１７が光の照射を開始もしくは停止する場合、いつのタイミングでその開始もしくは停止が行われるか。
（ｋ）ビデオカメラ１５により撮像された画像に対しディゾルブ処理等の各種加工処理が施される場合、いずれの種類の加工処理が行われるか。
（ｌ）ビデオカメラ１５により撮像された画像に対しディゾルブ処理等の各種加工処理が施される場合、どの時間帯に加工処理が行われるか。

具体的なガイダンスの表示例については、後述する動作説明において併せて説明する。また、上記以外にも、例えば照明装置１７により照射される光の色や強さが徐々に変化する場合にどの時間帯にその変更が行われるか等、ガイダンスの内容としては様々なものが考えられる。

動作制御ブロック２０３は、イベントデータ再生部２０４から送信されるイベントデータに従い、ビデオカメラ１５、カメラ移動装置１６および照明装置１７の各々の動作制御を行うカメラ動作制御部２０３１、移動動作制御部２０３２および照明動作制御部２０３３を備えている。

イベントデータ再生部２０４は、カラオケデータ１００１のシーケンスデータに含まれるタイミングデータにより示されるタイミングで、各々のイベントデータを、その内容に応じて以下のように各構成部に送信する。

（ａ）サウンドトラックに含まれる楽音の発音を指示するイベントデータ→音源部２０１１。
（ｂ）サウンドトラックに含まれる音データの再生を指示するイベントデータ→音データ再生部２０１２。
（ｃ）サウンドトラックに含まれる音に対するエフェクト処理を指示するイベントデータ→音データ加工処理部２０１３。
（ｄ）照明トラックに含まれるイベントデータ→照明動作制御部２０３３。
（ｅ）カメラトラックに含まれるカメラ位置およびカメラの撮像方向に関するイベントデータ→移動動作制御部２０３２。
（ｆ）カメラトラックに含まれるカメラのズーム倍率およびＯＮ／ＯＦＦに関するイベントデータ→カメラ動作制御部２０３１。
（ｇ）ビジュアルトラックに含まれる動画データの再生を指示するイベントデータ→動画データ再生部２０２１。
（ｈ）ビジュアルトラックに含まれる歌詞表示を指示するイベントデータ→歌詞画面生成部２０２２。
（ｉ）ビジュアルトラックに含まれる歌詞表示を指示するイベントデータ以外のイベントデータ→画像データ加工処理部２０２４。

上記に加え、イベントデータ再生部２０４は、カラオケデータ１００１のシーケンスデータに含まれるタイミングデータにより示されるタイミングよりも所定時間、例えば１０秒間だけ早いタイミングで、以下のイベントデータをガイダンス画面生成部２０２３に送信する。
（イ）照明トラックに含まれるイベントデータ。
（ロ）カメラトラックに含まれるイベントデータ。
（ハ）ビジュアルトラックに含まれるイベントデータのうち、ソースとしていずれかのビデオカメラ１５を指定するイベントデータ。

上記のように、イベントデータ再生部２０４はガイダンス画面生成部２０２３に対し、タイミングデータにより示されるタイミング、すなわち照明装置１７の点灯・消灯やビデオカメラ１５の切替等が実際に実行されるタイミングよりも早いタイミングでイベントデータを送信するので、ガイダンス画面生成部２０２３はそれらのイベントの発生を前もってユーザに知らせるガイダンス表示用の画像データを生成することができる。

位置方向算出部２０５は、カラオケルーム（図１参照）の上方に配置された超音波受信器１９ａ〜ｄの各々から超音波を示す音データを受信する。超音波受信器１９ａ〜ｄにより拾音される超音波は、マイク１２ａおよびｂの各々に備えられた超音波発生器１２１ａおよびｂから断続的に発せられる超音波である。上述したように、超音波発生器１２１ａおよびｂの各々から発せられる超音波は互いに周波数が異なっており、位置方向算出部２０５は、超音波受信器１９ａ〜ｄの各々から、２つの異なる周波数の超音波が混合した音を示す音データを受信する。そこで位置方向算出部２０５は、２つの各々の周波数に関し、一方の周波数を含み他方の周波数を含まない周波数帯の成分のみを通過させるバンドパスフィルタで超音波受信器１９から受信した音データを濾波する。そのような濾波処理により得られる音データは、それぞれ、超音波発生器１２１ａから発せられた超音波を示すデータおよび超音波発生器１２１ｂから発せられた超音波を示すデータである。

位置方向算出部２０５は、超音波受信器１９ａ〜ｄの各々から受信した音データに関し、上記の濾波処理を行うことにより、以下のように８組のデータを生成する。
（ａ）超音波発生器１２１ａから発せられ、超音波受信器１９ａにより受信された超音波を示すデータ（「超音波データａａ」と呼ぶ）。
（ｂ）超音波発生器１２１ａから発せられ、超音波受信器１９ｂにより受信された超音波を示すデータ（「超音波データａｂ」と呼ぶ）。
（ｃ）超音波発生器１２１ａから発せられ、超音波受信器１９ｃにより受信された超音波を示すデータ（「超音波データａｃ」と呼ぶ）。
（ｄ）超音波発生器１２１ａから発せられ、超音波受信器１９ｄにより受信された超音波を示すデータ（「超音波データａｄ」と呼ぶ）。
（ｅ）超音波発生器１２１ｂから発せられ、超音波受信器１９ａにより受信された超音波を示すデータ（「超音波データｂａ」と呼ぶ）。
（ｆ）超音波発生器１２１ｂから発せられ、超音波受信器１９ｂにより受信された超音波を示すデータ（「超音波データｂｂ」と呼ぶ）。
（ｇ）超音波発生器１２１ｂから発せられ、超音波受信器１９ｃにより受信された超音波を示すデータ（「超音波データｂｃ」と呼ぶ）。
（ｈ）超音波発生器１２１ｂから発せられ、超音波受信器１９ｄにより受信された超音波を示すデータ（「超音波データｂｄ」と呼ぶ）。

超音波データａａ、ａｂ、ａｃおよびａｄは、同じ超音波を示すデータであるが、マイク１２ａに設けられた超音波発生器１２１ａと、超音波受信器１９ａ〜ｄの各々との距離が異なるため、超音波受信器１９ａ〜ｄの各々がそれらを受信するタイミングが異なる。超音波データｂａ、ｂｂ、ｂｃおよびｂｄについても同様である。位置方向算出部２０５は、このタイミングの差異に基づき、マイク１２ａおよびｂのカラオケルームにおける位置を算出する。マイク１２ａおよびｂのカラオケルームにおける位置の算出方法は同じであるため、以下、マイク１２ａの位置を算出する場合を例として、その算出方法を例示する。

図１０はカラオケルームを上方から見た図である。図１０においては、超音波受信器１９ａ〜ｄの各々の位置が点Ａ（０，０，ｒ）、点Ｂ（０，ｑ，ｒ）、点Ｃ（ｐ，ｑ，ｒ）および点Ｄ（ｐ，０、ｒ）として示されている。また、マイク１２ａの位置が点Ｘ（ｘ，ｙ，ｚ）として示されている。ここで、ｐ、ｑおよびｒはカラオケルームの幅、奥行きおよび高さを示す定数（メートル）である。一方、ｘ、ｙおよびｚはマイク１２ａの座標を示す変数（メートル）である。ここで、以下の方程式が成立する。ただし、ｔ_A、ｔ_B、ｔ_Cおよびｔ_Dは、それぞれ点Ｘから発せられた音が点Ａ〜Ｄの各々に達するまでに要する時間（秒）を示し、Ｓは空気中を音が伝播する速さ（メートル／秒）を示す。

ところで、既に述べたように、超音波発生器１２１は、例えば０．５秒間、超音波を発し続けた後、１秒間、超音波を発しない。従って、位置方向算出部２０５は、超音波受信器１９ａ〜ｄのいずれからも超音波データを受け取らない期間が約１秒間続いた後、超音波受信器１９ａ〜ｄの各々から約０．５秒間の超音波データａａ〜ａｄを受信する。そのように受信される超音波データは超音波発生器１２１ａから発せられた同じ超音波を示すデータである。位置方向算出部２０５は、例えば超音波データａａの値の立ち上がりタイミング、すなわち超音波データａａの値がノイズ成分のレベルを上回る所定の値を下から上に横切って変化する先頭データの受信タイミングを基準とし、超音波データａｂ〜ａｄの各々の立ち上がりタイミングまでの時間（秒）をｔ₁、ｔ₂およびｔ₃として算出する。

例えば、点Ｘが図１０に示される位置にある場合、以下の方程式が成立する。

式１〜式４を、式５〜式７に代入することにより、３つの式からなる３元２次連立方程式が得られる。ここで、ｘ、ｙおよびｚは正値をとるので、位置方向算出部２０５はこの連立方程式を解くことにより、ｘ、ｙおよびｚを一意に算出することができる。以上が、位置方向算出部２０５がマイク１２の位置を算出する方法である。

位置方向算出部２０５は、上記のように算出したマイク１２ａおよびｂの各々の位置を示す座標データＸ_a（ｘ_a，ｙ_a，ｚ_a）およびＸ_b（ｘ_b，ｙ_b，ｚ_b）（以下、「マイク座標データ」と呼ぶ）をガイダンス画面生成部２０２３に順次送信する。マイク座標データは、ガイダンス画面生成部２０２３において、ユーザの位置を示す画像データの生成に用いられる。

ところで、位置方向算出部２０５がマイク１２の位置を算出する方法は上記のものに限られない。例えば、マイク１２の高さ方向の位置が無視できる程度に小さい場合には、二次元平面におけるマイク１２の位置、すなわちｘおよびｙのみを求めるようにしてもよい。その場合、変数が２つとなるので、超音波受信器１９の数は３つ以上であればよい。また、マイク１２に超音波発生器１２１を設ける代わりに、図１０の超音波受信器１９ａ〜ｄの位置に超音波発生器１２１を配置し、マイク１２にディスプレイ１８を設け、位置方向算出部２０５はマイク１２から超音波データを受信するように構成することにより、上記と類似の算出方法に従い位置方向算出部２０５がマイク１２の位置を算出するようにしてもよい。

位置方向算出部２０５は、上記のように超音波受信器１９から超音波を示す音データを受信する一方で、カラオケルーム（図１参照）の壁面の同じ高さに配置された赤外線受信器２０ａ〜ｌのうち、赤外線を受信しているものの各々から、いずれの波長の赤外線を受信中であるかを示す受信通知データを十分に短い間隔、例えば１０ミリ秒間隔で受信する。

図１１は、図１０と同様にカラオケルームを上方から見た図であるが、超音波受信器１９の代わりに赤外線受信器２０の配置位置を示している。図１１において、点Ｘはマイク１２ａの位置を示し、点Ｘから延びている実線矢印はマイク１２ａを使用中のユーザの正面方向を示している。また、点Ｘから延びている点線は、マイク１２ａから照射される赤外線がカラオケルームの壁に届く範囲の境界を示している。すなわち、マイク１２ａの赤外線発生器１２２から照射される赤外線の一部は、ユーザの身体に遮られ、カラオケルームの壁まで届かない。従って、図１１において点Ｘの周りに付された実線両側矢印で示される方向に向けて照射された赤外線のみがカラオケルームの壁に届く。その結果、この場合、赤外線受信器２０ａ〜ｆは位置方向算出部２０５に対し受信通知データを送信するが、赤外線受信器２０ｇ〜ｌは受信通知データを送信しない。

位置方向算出部２０５は、上記のように、一部の赤外線受信器２０から受信通知データを受信すると、算出したマイク１２ａの位置を示す座標データと、受信した受信通知データの送信元の赤外線受信器２０の位置を示す座標データに基づき、ユーザの正面方向を推定する。すなわち、位置方向算出部２０５は、点Ｘから赤外線が届く範囲が点Ｘの周りに付された点線両側矢印で示される範囲であると仮定して、その範囲の中央方向、すなわち点Ｘから延びている点線矢印の方向にユーザが向いている、と推定する。位置方向算出部２０５は、推定した方向を示すデータ（以下、「ユーザ方向データ」と呼ぶ）をガイダンス画面生成部２０２３に順次送信する。ユーザ方向データは、ガイダンス画面生成部２０２３において、ユーザの方向を示す画像データの生成に用いられる。位置方向算出部２０５により推定されるユーザの方向は、図１１に示されるように実際の方向との間に誤差を生じるが、赤外線受信器２０の数を増やすことにより、その誤差を実用的な範囲まで小さくすることができる。

ところで、位置方向算出部２０５がユーザの方向を推定する方法は上記のものに限られない。例えば、マイク１２に方位計を設け、方位計により計測される方位に基づき、ユーザの方向を推定するようにしてもよい。

また、上記のように、超音波によりマイク１２の位置を特定し、赤外線によりユーザの方向を推定する代わりに、画像解析処理によりそれらを同時に行うことも考えられる。具体的には、例えばカラオケルームの天井に、床方向に撮像を行うビデオカメラを配置し、そのビデオカメラの撮像処理により得られる画像データから所定の条件を満たす画像を抽出する機能を備えた画像解析部をカラオケ装置１０に設ける。画像解析部は、天井に配置されたビデオカメラから送信される画像データから、人間の頭部に相当する大きさのほぼ円形の画像を抽出し、その位置をユーザの位置として特定する。また、画像解析部は、同様にビデオカメラから送信される画像データから、マイクの色・形状に合致する画像を抽出し、その位置をマイク１２の位置として特定する。その場合、例えばマイク１２の色に特徴を持たせる等により、マイク１２の画像抽出の精度を高めることができる。また、マイク１２ａおよびｂの色を互いに異ならせることにより、画像解析部はいずれの画像がいずれのマイク１２に対応するかを特定することができる。画像解析部は、そのように特定したユーザの位置からマイク１２の位置に向かう方向を、ユーザの正面方向と推定し、ユーザの位置および方向を示すデータを順次、ガイダンス画面生成部２０２３に送信する。

また、画像解析処理によりユーザの位置および方向を特定もしくは推定する代わりに、加速度センサをマイク１２に設けることにより、同様の結果を得ることもできる。その場合、マイク１２は加速度センサにより検出される加速度およびその方向に基づき、初期位置からの移動方向および移動距離を推定する演算部を備えるようにする。ユーザは、カラオケシステム１を利用するにあたり、マイク１２を持ってカラオケルームの所定位置に所定方向に向かって立ち、マイク１２に対し所定のボタンを押下する等により、マイク１２の演算部に対し初期位置の設定を行うと同時に、演算の開始を指示する。その後、ユーザの動きによりマイク１２が移動すると、演算部はその移動方向および移動距離を推定し、初期位置にそれらを順次加算していくことにより、現在のマイク１２の位置および方向を推定する。マイク１２はそのように推定された位置および方向を示すデータを順次、ガイダンス画面生成部２０２３に送信する。

［１．２．カラオケシステムの動作］
以下、カラオケシステム１の動作を説明する。以下の説明において、同時に２名のユーザがカラオケシステム１を利用するものとするが、同時に利用可能なユーザの数はカラオケシステム１が備えるマイク１２の数を上限として自由に変更可能である。

［１．２．１．ユーザによる選択操作］
図１２は、ユーザがカラオケシステム１の利用を開始する際にディスプレイ１８に表示される画面を例示している。ユーザがコントローラ１１を用いてカラオケ装置１０に対し動作開始の指示を行うと、カラオケ装置１０はまず、図１２（ａ）の画面をディスプレイ１８に表示させ、ユーザに手動モードと自動モードのいずれかを選択するように促す。自動モードとは、カラオケ装置１０が、ビデオカメラ１５、カメラ移動装置１６および照明装置１７の制御処理と、画像データ加工処理部２０２４による画像データのソースとしていずれかのビデオカメラ１５を選択する処理を、カラオケデータ１００１に含まれるイベントデータに従い行うモードである。一方、手動モードとは、カラオケ装置１０がそれらの処理を、ユーザによるコントローラ１１を用いたカラオケ装置１０に対する指示に従い行うモードである。

より具体的には、図１２（ａ）の画面において、ユーザにより手動モードが選択された場合、イベントデータ再生部２０４がシーケンスデータに含まれるイベントデータをカラオケ装置１０の各構成部に送信する際、照明トラックおよびカメラトラックに含まれるイベントデータを動作制御ブロック２０３に送信しない。また、イベントデータ再生部２０４は、ビジュアルトラックに含まれるイベントデータのうち、各表示レイヤのソースとしていずれかのビデオカメラ１５を指定するイベントデータを画像データ加工処理部２０２４に送信しない。その代わり、動作制御ブロック２０３および画像データ加工処理部２０２４は、ユーザの操作に応じてコントローラ１１から送信される指示データに従い、ビデオカメラ１５等の制御処理や、加工処理に用いる画像データのソースの選択処理を行う。

ユーザの操作に応じてコントローラ１１から送信される指示データには、カラオケ装置１０に対し即時実行すべき処理を指示するもののほか、例えば「５秒後にカメラ１からカメラ４に切り替える」といった近い将来に行われるべき処理や、「５秒間で照明２の色を赤から青に変化させる」といった一定の処理時間を伴う処理を指示するものも含まれる。

ビデオカメラ１５等の制御処理およびビデオカメラ１５の選択処理以外の処理に関しては、手動モード、自動モードのいずれのモードにおいても、カラオケ装置１０はイベントデータに従ってそれらの処理を行う。

図１２（ａ）の画面においてユーザがコントローラ１１を用いて、いずれかのモードを選択した後、「ＯＫ」ボタンを押下する操作を行うと、カラオケ装置１０は図１２（ｂ）の画面をディスプレイ１８に表示させ、ユーザにガイダンス表示の対象として、カメラおよび照明の各々につき、それらを選択するか否かの指示を促す。

図１２（ｂ）の画面においてユーザがコントローラ１１を用いて、カメラ、照明の各々につき、ガイダンス表示を行うか否かを示すチェックを付ける操作もしくは外す操作をした後、「ＯＫ」ボタンを押下する操作を行うと、カラオケ装置１０は図１２（ｃ）の画面をディスプレイ１８に表示させ、ユーザにガイダンス表示の方法を選択するように促す。本実施形態においては、例として、ガイダンス表示の方法は「文字で表示」、「バーで表示」、「配置図で表示（１）」および「配置図で表示（２）」のいずれかを選択可能であるものとする。これらの方法が各々、どのような表示に対応するかは、以下の「ガイダンス表示の態様」において説明する。

［１．２．２．シーケンスデータの再生処理］
図１２（ｃ）の画面においてユーザがコントローラ１１を用いて、いずれかの方法を選択する操作をした後、「ＯＫ」ボタンを押下する操作を行うと、カラオケ装置１０は図１２（ｄ）の画面をディスプレイ１８に表示させ、ユーザに楽曲を選択するように促す。カラオケ装置１０は図１２（ｄ）の画面の表示にあたり、記憶部１０１に記憶されているカラオケデータ１００１の各々に含まれる管理データから楽曲名を示すデータを読み出し、それらをリスト表示し、ユーザに選択可能とする。

図１２（ｄ）の画面においてユーザがコントローラ１１を用いて、いずれかの楽曲を選択する操作をした後、「ＯＫ」ボタンを押下する操作を行うと、カラオケ装置１０はまず、ユーザに選択された楽曲名に対応するカラオケデータ１００１に含まれるシーケンスデータを記憶部１０１から読み出す。以下の処理において、カラオケ装置１０は読み出したカラオケデータ１００１に含まれるシーケンスデータおよびソースデータ群を用いる。

ユーザにより自動モードが選択されている場合、イベントデータ再生部２０４は、ガイダンス画面生成部２０２３に対し送信するイベントデータの先読み処理を行う。すなわち、イベントデータ再生部２０４は、サウンドトラックに従ったカラオケ楽曲の再生の開始タイミングを基準として、（イ）照明トラックに含まれるイベントデータ、（ロ）カメラトラックに含まれるイベントデータ、（ハ）ビジュアルトラックに含まれるイベントデータのうち、ソースとしていずれかのビデオカメラ１５を指定するイベントデータ、のそれぞれを、対応付けられているタイミングデータに従ったタイミングよりも所定時間、例えば１０秒間だけ早いタイミングで、ガイダンス画面生成部２０２３に順次送信する処理を開始する。その後、カラオケ楽曲の再生の開始タイミングになると、イベントデータ再生部２０４は、シーケンスデータに含まれるイベントデータを、対応付けられているタイミングデータに従ったタイミングで、イベントデータの種類に応じたガイダンス画面生成部２０２３以外の構成部に順次送信する処理を開始する。その結果、ガイダンス画面生成部２０２３はイベントデータ再生部２０４から、カラオケ楽曲の自動演奏よりも所定時間だけ早いタイミングで、ビデオカメラ１５の切替タイミング等の情報を得ることができる。

一方、ユーザにより手動モードが選択されている場合、上述したように、イベントデータ再生部２０４は上記（イ）〜（ハ）のイベントデータをガイダンス画面生成部２０２３に送信せず、ガイダンス画面生成部２０２３はイベントデータ再生部２０４からそれらのイベントデータを受信する代わりに、コントローラ１１からユーザによる同様の指示を受信する。従って、イベントデータ再生部２０４は、上記のガイダンス画面生成部２０２３に対するイベントデータの先読みおよび送信を行うことなく、シーケンスデータに含まれるイベントデータを、対応付けられているタイミングデータに従ったタイミングで、イベントデータの種類に応じたガイダンス画面生成部２０２３以外の構成部に順次送信する処理を開始する。

音データブロック２０１は、イベントデータ再生部２０４から送信されるイベントデータに従い、カラオケ楽曲の自動演奏を行うとともに、マイク１２により拾音される音声を示す音声データおよびカラオケ楽曲の自動演奏を示す音データに加工処理を施し、それらを合成処理して生成した音データを順次、アンプ１３に出力する。その際、入出力Ｉ／Ｆ１０２によりデジタル信号からアナログ信号への変換が行われる。アンプ１３は入出力Ｉ／Ｆ１０２を介して音データブロック２０１から入力される音信号を増幅する。アンプ１３により増幅された音信号はスピーカ１４により発音される。そのように発音される音は、カラオケ楽曲の演奏音とユーザの歌唱音がエフェクト処理およびミキシング処理された音である。

また、動作制御ブロック２０３は、イベントデータ再生部２０４から送信されるイベントデータに従い、ビデオカメラ１５に対し撮像処理のＯＮ／ＯＦＦやズーム倍率変更を指示する制御データを、カメラ移動装置１６に対しビデオカメラ１５の移動および撮像方向の変更を指示する制御データを、また照明装置１７に対し照明の色および強さの変更を指示する制御データをそれぞれ送信する。その制御データに応じて、ビデオカメラ１５、カメラ移動装置１６および照明装置１７は各々指定された動作を行う結果、ビデオカメラ１５から画像データ加工処理部２０２４に送信される一連の画像データは変化に富んだものとなる。

また、画像データブロック２０２は、イベントデータ再生部２０４から送信されるイベントデータに従い以下のように画像データを生成し、生成した画像データをディスプレイ１８に送信する。まず、動画データ再生部２０２１はイベントデータ再生部２０４から動画データの再生を指示するイベントデータを受信し、受信したイベントデータにより指示される動画データをソースデータ群から読み出し、読み出した動画データの再生により得られる画像データを順次、画像データ加工処理部２０２４に送信する。また、歌詞画面生成部２０２２はイベントデータ再生部２０４から歌詞表示を指示するイベントデータを受信し、受信したイベントデータに従い、指定された文字を指定された位置および態様で表示する画像データを生成し、生成した画像データを順次、画像データ加工処理部２０２４に送信する。また、ガイダンス画面生成部２０２３はイベントデータ再生部２０４からビデオカメラ１５の選択処理やカメラ移動装置１６によるビデオカメラ１５の移動処理、照明装置１７による照明の色等の変更処理などを指示するイベントデータを受信し、受信したイベントデータに従い、それらの処理の結果および近い将来に実行予定の処理を示す画像データを生成し、生成した画像データを順次、画像データ加工処理部２０２４に送信する。

画像データ加工処理部２０２４は、イベントデータ再生部２０４から受信したイベントデータに従い、ビデオカメラ１５および動画データ再生部２０２１の各々から送信される画像データと、ソースデータ群に含まれる静止画データに対し加工処理を行うことにより、各表示レイヤの画像データを生成する。画像データ加工処理部２０２４は、生成した各表示レイヤの画像データを、背景レイヤ、第１レイヤ、第２レイヤ・・・の順にスーパーインポーズして、新たな画像データを生成する。さらに、画像データ加工処理部２０２４は、歌詞画面生成部２０２２から送信される歌詞レイヤの画像データおよびガイダンス画面生成部２０２３から送信されるガイダンス表示の画像データを、生成した画像データにスーパーインポーズすることにより、背景画像、ユーザの画像、歌詞およびガイダンスを含む画像データを生成する。画像データ加工処理部２０２４は、そのように生成した画像データを順次ディスプレイ１８に送信する。

［１．２．３．ガイダンス表示の態様］
図１３は、カラオケ装置１０によりシーケンスデータの再生処理が行われている際にディスプレイ１８に表示される画面を例示した図である。図１２（ｃ）の画面において、ユーザにより「文字で表示」が選択された場合には、図１３（ａ）に示すようなガイダンス表示を含む画面が表示される。図１３（ａ）の画面においては、歌詞表示の近傍に、その歌詞の発声タイミングにおいて撮像処理を行う予定のビデオカメラ１５を文字により示す表示物１３０１と、同じく歌詞の発声タイミングにおいて照明装置１７のいずれかにより照射される予定の光の色を文字により示す表示物１３０２が示される。

表示物１３０１および表示物１３０２は、ガイダンス画面生成部２０２３が画像データのソースを指定するイベントデータ、ビデオカメラ１５の撮像処理のＯＮ／ＯＦＦを指示するイベントデータ、照明の色および強さを指定するイベントデータ、もしくはそれらのイベントデータの代わりにユーザの操作に応じてコントローラ１１から送信される指示データに基づき生成したものである。

図１３（ａ）の例によれば、歌唱を行っているユーザは、「時の流れは」の歌詞を歌い終わった後、自分を撮像するビデオカメラ１５がビデオカメラ１５ａ（カメラ１に対応）からビデオカメラ１５ｃ（カメラ３に対応）に切り替わると同時に、照明の色が変化することを、「時の流れは」の歌詞を歌っている間に予め知ることができる。

図１２（ｃ）の画面において、ユーザにより「バーで表示」が選択された場合には、図１３（ｂ）に示すようなガイダンス表示を含む画面が表示される。図１３（ｂ）の画面においては、歌詞表示の近傍に、その歌詞の発声タイミングにおいて撮像処理を行う予定のビデオカメラ１５をバーにより示す表示物１３１１と、同じく歌詞の発声タイミングにおいて光の照射を行う予定の照明装置１７をバーにより示す表示物１３１２が示される。また、図１３（ｂ）に示される表示物１３１３は、カラオケ楽曲における現在のタイミングを示す表示である。表示物１３１１において、バーの太さは、例えばビデオカメラ１５のズーム倍率の大きさを示している。また、表示物１３１１に含まれるカメラ１のバーからカメラ３のバーに向けて引かれた斜め線は、その時間帯において、例えば、カメラ１から送信される画像データをフェードアウトさせつつ、カメラ３から送信される画像データをフェードインさせる処理、すなわちディゾルブ処理を行うことを示している。このような加工処理の種類は複数あるため、それらの種類をバーもしくは斜め線の色で区別したり、バーもしくは斜め線の近傍に文字で加工処理の種類を表示するようにしてもよい。表示物１３１２において、バーの太さは、例えば照明装置１７の照射光の強さを示している。また、バーの色は、照明装置１７の照射光の色を示している。

表示物１３１１、表示物１３１２および表示物１３１３は、ガイダンス画面生成部２０２３が画像データのソースを指示するイベントデータ、ビデオカメラ１５のズーム倍率の変更や撮像処理のＯＮ／ＯＦＦを指示するイベントデータ、画像データに対する各種加工処理を指示するイベントデータ、照明の色や強さを指示するイベントデータ、もしくはそれらのイベントデータの代わりにユーザの操作に応じてコントローラ１１から送信される指示データに基づき生成したものである。

図１３（ｂ）の例によれば、ユーザは、自分を撮影するビデオカメラ１５の切替タイミングおよび照明の色の変更タイミングに加え、各ビデオカメラ１５のズーム倍率や照明の強さの変化、複数のビデオカメラ１５から送信される画像データを用いた加工処理の行われる時間帯等の詳細な情報を、歌唱中に予め知ることができる。

図１２（ｃ）の画面において、ユーザにより「配置図で表示（１）」が選択された場合には、図１３（ｃ）に示すようなガイダンス表示を含む画面が表示される。図１３（ｃ）の画面においては、歌詞表示の近傍に、その歌詞の発声タイミングにおいて撮像処理を行う予定であるビデオカメラ１５、光の照射を行う予定である照明装置１７、現在のユーザの位置および方向を示す表示物１３２１および表示物１３２２が示される。表示物１３２１および表示物１３２２に含まれる四角形は撮像処理を行うビデオカメラ１５の位置を示している。ビデオカメラ１５を示す四角形は、カメラ移動装置１６による移動に伴い、表示物１３２１および表示物１３２２の中で移動する。表示物１３２１および表示物１３２２に含まれる円形は光の照射を行う照明装置１７の位置を示すと同時に、円形表示の色により、照射される光の色を示している。また、表示物１３２１および表示物１３２２の中央付近に示される円形と三角形の結合図形は、ユーザの現在の位置および方向を示す図形であり、ユーザの動きに応じて常時、その表示位置および方向が変化する。

表示物１３２１および表示物１３２２は、ガイダンス画面生成部２０２３が画像データのソースを指示するイベントデータ、ビデオカメラ１５の撮像処理のＯＮ／ＯＦＦを指示するイベントデータ、ビデオカメラ１５の移動を指示するイベントデータ、照明の色や強さを指示するイベントデータ、もしくはそれらのイベントデータの代わりにユーザの操作に応じてコントローラ１１から送信される指示データと、位置方向算出部２０５から送信されるマイク座標データおよびユーザ方向データに基づき生成したものである。

図１３（ｃ）の例によれば、ユーザは、どの位置に配置されたビデオカメラ１５がどのタイミングで自分を撮像するか、またどの位置に配置された照明装置１７がどのタイミングで、またどの色で光の照射を行うかを、歌唱中に予め、視覚的に容易に知ることができる。

図１２（ｃ）の画面において、ユーザにより「配置図で表示（２）」が選択された場合には、図１３（ｄ）に示すようなガイダンス表示を含む画面が表示される。図１３（ｄ）の画面においては、画面全体をカラオケルームを上方から見た様子に見立て、照明装置１７の各々を示す表示物１３３１、ビデオカメラ１５の各々を示す表示物１３３２、ユーザを示す表示物１３３３が対応する位置に示される。表示物１３３１は、その大きさおよび色により、対応する照明装置１７が現在照射している光の強さおよび色を示す。また、表示物１３３１は、対応する照明装置１７が近い将来に光の照射を終了する場合、その終了をユーザに対し予め通知するために、例えば点滅表示される。さらに、照明装置１７が光の照射を終了するタイミングを正確にユーザに知らせるために、表示物１３３１の近傍に照射の終了タイミングまでの残余時間が「３！」「２！」「１！」のようにカウントダウン表示されるようにしてもよい。表示物１３３４はそのような表示を例示したものである。

また、近い将来に光の照射を開始する照明装置１７がある場合、その照明装置１７に対応する表示物１３３１が点滅表示される。ただし、近い将来にその照射を終了する照明装置１７に対応する表示物１３３１と区別するために、近い将来に照射を開始する照明装置１７に対応する表示物１３３１は、例えば中抜き（円形の輪郭のみ着色）で表示される。この場合も、表示物１３３１の近傍に照射の開始タイミングまでの残余時間が「３！」「２！」「１！」のようにカウントダウン表示されるようにしてもよい。

表示物１３３２は、その位置、方向および大きさにより、それぞれ、現在撮像処理を行っているビデオカメラ１５の位置、撮像方向およびズーム倍率を示す。従って、カメラ移動装置１６によりビデオカメラ１５の位置や撮像方向が変更されると、それに伴い、画面における表示物１３３２の位置および方向も変化する。また、表示物１３３２は、照明装置１７を示す表示物１３３１と同様に、対応するビデオカメラ１５が近い将来に撮像処理を終了する場合、その終了をユーザに対し予め通知するために、例えば点滅表示される。その終了タイミングを正確にユーザに知らせるために、表示物１３３２の近傍に撮像処理の終了タイミングまでの残余時間をカウントダウン表示するようにしてもよい点も表示物１３３１の場合と同様である。

また、近い将来に撮像処理を開始するビデオカメラ１５がある場合、表示物１３３１の場合と同様に、そのビデオカメラ１５に対応する表示物１３３２が中抜きで点滅表示される。その開始タイミングを正確にユーザに知らせるために、表示物１３３２の近傍に撮像処理の開始タイミングまでの残余時間をカウントダウン表示するようにしてもよい点も表示物１３３１の場合と同様である。

表示物１３３３は、ユーザの現在の位置および方向を示す図形であり、ユーザの動きに応じて常時、その表示位置および方向が変化する。表示物１３３１〜表示物１３３４は、ガイダンス画面生成部２０２３が画像データのソースを指示するイベントデータ、ビデオカメラ１５のズーム倍率の変更および撮像処理のＯＮ／ＯＦＦを指示するイベントデータ、ビデオカメラ１５の移動および撮像方向の変更を指示するイベントデータ、照明の色や強さを指示するイベントデータ、もしくはそれらのイベントデータの代わりにユーザの操作に応じてコントローラ１１から送信される指示データと、位置方向算出部２０５から送信されるマイク座標データおよびユーザ方向データに基づき生成したものである。

図１３（ｄ）の例によれば、ユーザは、現在の照明装置１７およびビデオカメラ１５の動作状況や、ビデオカメラ１５の位置および撮像方向の詳細を視覚的に容易に知ることができるとともに、近い将来に動作を終了もしくは開始するビデオカメラ１５および照明装置１７がある場合、そのタイミングを歌唱中に予め知ることができる。

ガイダンス表示の態様としては、図１３に示されるもの以外に様々なものが考えられる。例えば、照明装置１７により照射される光の色が変化する場合において、図１３（ｄ）に示されるガイダンス表示において、現在の照明装置１７の状態を示す表示物１３３１の近傍に、近い将来の照明装置１７の状態を示す表示物を表示させるようにしてもよい。また、近い将来に処理を終了もしくは開始するビデオカメラ１５等を示すために表示物を点滅表示させる代わりに、例えばその表示物の濃淡を変化させるようにしてもよい。

上記のように、カラオケシステム１によれば、ディスプレイ１８にカラオケ楽曲の歌詞とともに、ビデオカメラ１５、カメラ移動装置１６および照明装置１７の現在の状態および近い将来のそれらの状態を示すガイダンスが表示されるので、ユーザは歌唱中において、予めビデオカメラ１５等の状態変化に応じた動作を予定することが可能となる。その結果、ユーザはビデオカメラ１５の切替に適したタイミングでポーズを取るなど、従来技術によれば困難であった動作を容易に行うことができ、快適に歌唱および歌唱に伴う動作を楽しむことができる。また、ディスプレイ１８には、ビデオカメラ１５等の動作タイミングに同期して動作を行うユーザの映像が表示されるため、観る者にとっても好ましい。

ユーザは、カラオケ楽曲の演奏が終了すると、カラオケ装置１０の音データ加工処理部２０１３により生成された音データおよび画像データ加工処理部２０２４により生成された画像データをビデオデータとして、メディアドライブ２１を介してフラッシュメモリ等の記憶媒体に記憶させたり、インターネット２２を介して希望するサーバ装置等に送信することができる。その結果、ユーザはカラオケシステム１により生成されたビデオデータを自宅等で繰り返し楽しんだり、友人に送信したりすることができる。

ところで、カラオケ装置１０は、専用のハードウェアにより実現されてもよいし、汎用コンピュータにアプリケーションプログラムに従った処理を実行させることにより実現されてもよい。カラオケ装置１０が汎用コンピュータにより実現される場合、制御部１０３の各構成部は、汎用コンピュータが備えるＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）およびＣＰＵの制御下で動作するＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）が、アプリケーションプログラムに含まれる各モジュールに従った処理を同時並行して行うことにより、汎用コンピュータの機能として実現される。

また、上述した実施形態においては、照明装置１７の位置および方向は固定されているものとして説明したが、照明装置の位置および方向を変更可能とし、その変更を予め、ガイダンス表示によってユーザに通知するようにしてもよい。その表示方法は、ビデオカメラ１５に関するものと同様のものが採用可能である。

また、上述した実施形態においては、ディスプレイ１８により表示される画像データに、ガイダンス画面生成部２０２３により生成されるガイダンス表示の画像データをスーパーインポーズすることにより歌詞表示等とガイダンス表示を同時表示させるようにしているが、例えばディスプレイ１８の近傍にビデオカメラ１５や照明装置１７の各々に対応するＬＥＤ（ＬｉｇｈｔＥｍｉｔｔｉｎｇＤｉｏｄｅ）を設け、それらを点灯、明滅、消灯等することにより、歌唱中のユーザに対し、ビデオカメラ１５、カメラ移動装置１６および照明装置１７の動作を予め通知するようにしてもよい。

また、上述した実施形態においては、ディスプレイ１８はカラオケルームの壁面に配置されているものとして説明したが、例えば小型液晶で構成されるディスプレイ１８をマイク１２に取り付けるようにしてもよい。

［２．第２実施形態］
上記の第１実施形態においては、カラオケシステム１は、カラオケ装置１０と、カラオケ装置１０に接続されるマイク１２等の各種装置の組合せにより構成されている。しかしながら、本発明にかかるカラオケシステムの構成部のいずれを組み合わせて同じ筐体に配置するかは自由に変更可能である。図１４は、本発明にかかるカラオケシステムを、図２で示したカラオケシステム１とは異なる配置により実現したカラオケシステム２の構成を示したブロック図である。以下、カラオケシステム２を本発明の第２実施形態として説明する。

ただし、カラオケシステム２の構成および動作は、カラオケシステム１のものと多くの点で共通しているので、以下、カラオケシステム２がカラオケシステム１と異なる点のみ説明する。図１４において、カラオケシステム２の構成部のうち、カラオケシステム１と同様の構成部に関しては、同じ符合が付されている。また、図１４においては図の簡略化のため、各構成部間の詳細なデータフローを示す矢印が省略され、また複数個からなる同種の構成部は１つのみ示されている。

カラオケシステム２は、カラオケシステム１のカラオケ装置１０の代わりに、音データ処理装置３１、画像データ処理装置３２および中央管理装置３３を備えている。音データ処理装置３１は、カラオケシステム１における音データブロック２０１に含まれる構成部を含む制御部１０３１と、記憶部１０１１および入出力Ｉ／Ｆ１０２１を備えている。画像データ処理装置３２は、カラオケシステム１における画像データブロック２０２に含まれる構成部と超音波受信器１９、赤外線受信器２０および位置方向算出部２０５を含む制御部１０３２と、記憶部１０１２および入出力Ｉ／Ｆ１０２２を備えている。中央管理装置３３は、カラオケシステム１におけるイベントデータ再生部２０４を含む制御部１０３３と、記憶部１０１３および入出力Ｉ／Ｆ１０２３を備えている。

入出力Ｉ／Ｆ１０２１〜１０２３は、カラオケ装置１０の入出力Ｉ／Ｆ１０２と同様に、他の装置との間でデータの入出力を行うためのインタフェースである。記憶部１０１１〜１０１３は、カラオケ装置１０の記憶部１０１と同様に、制御部１０３１〜１０３３による各種処理を指示するプログラムを予め記憶し、また制御部１０３１〜１０３３により生成されるデータを一時的に記憶する。また、例えば中央管理装置３３の記憶部１０１３は、予め、複数のカラオケデータ１００１を記憶している。

また、カラオケシステム２におけるビデオカメラ１５、カメラ移動装置１６および照明装置１７はそれぞれ、カメラ動作制御部２０３１、移動動作制御部２０３２および照明動作制御部２０３３を備えている。

カラオケシステム２において、ユーザがコントローラ１１を用いてカラオケ楽曲の再生を指示すると、中央管理装置３３はユーザにより選択された楽曲に対応するカラオケデータ１００１に含まれるシーケンスデータに従い、イベントデータの内容に従い、音データ処理装置３１、画像データ処理装置３２、ビデオカメラ１５、カメラ移動装置１６および照明装置１７の各々にイベントデータを送信する。また、中央管理装置３３は、イベントデータの送信に先立ち、もしくは並行して、イベントデータにより指示される処理に要するソースデータを、音データ処理装置３１もしくは画像データ処理装置３２に送信する。ただし、中央管理装置３３がソースデータを送信する代わりに、音データ処理装置３１および画像データ処理装置３２が、各々処理に必要なソースデータを予め記憶部１０１１および記憶部１０１２に記憶しておいてもよい。

音データ処理装置３１は、中央管理装置３３から受信したイベントデータに従い、音データの再生処理および加工処理を行い、生成した音データをアンプ１３に出力する。また、音データ処理装置３１は生成した音データを中央管理装置３３に送信し、中央管理装置３３は音データ処理装置３１から送信された音データを記憶部１０１３に記憶する。

画像データ処理装置３２は、中央管理装置３３から受信したイベントデータに従い、画像データの再生処理および加工処理を行い、生成した画像データをディスプレイ１８に送信する。また、画像データ処理装置３２は生成した画像データを中央管理装置３３に送信し、中央管理装置３３は画像データ処理装置３２から送信された画像データを記憶部１０１３に記憶する。

上記のように、記憶部１０１３に順次記憶された音データおよび画像データはビデオデータとして統合され、ユーザの指示により再生、送信、記憶媒体への保存等がなされる。

以上説明したカラオケシステム２によっても、第１実施形態におけるカラオケシステム１と同様に、ディスプレイ１８に表示される画像には、歌詞画面生成部２０２２により生成される歌詞表示の画像に加え、ガイダンス画面生成部２０２３により生成されるガイダンス表示の画像が合成される結果、ユーザはカラオケ楽曲の歌詞とともに、ビデオカメラ１５、カメラ移動装置１６および照明装置１７の現在の状態および近い将来のそれらの状態を、歌唱中に予め知ることができる。その結果、ユーザは、予めビデオカメラ１５等の状態変化に応じた動作を予定することが可能となる。

ところで、音データ処理装置３１、画像データ処理装置３２および中央管理装置３３は、専用のハードウェアにより実現されてもよいし、汎用コンピュータにアプリケーションプログラムに従った処理を実行させることにより実現されてもよい。音データ処理装置３１、画像データ処理装置３２および中央管理装置３３が汎用コンピュータにより実現される場合、制御部１０３１、制御部１０３２および制御部１０３３の各構成部は、汎用コンピュータが備えるＣＰＵおよびＣＰＵの制御下で動作するＤＳＰが、アプリケーションプログラムに含まれる各モジュールに従った処理を同時並行して行うことにより、汎用コンピュータの機能として実現される。

本発明の第１実施形態に係るカラオケシステムをカラオケボックスに設置した様子を示した図である。本発明の第１実施形態に係るカラオケシステムの構成を示したブロック図である。本発明の第１実施形態に係るマイクに赤外線発生器が配置されている様子を例示した図である。本発明の第１実施形態に係るカラオケデータの構成を模式的に示した図である。本発明の第１実施形態に係るサウンドトラックの内容を例示した図である。本発明の第１実施形態に係る照明トラックの内容を例示した図である。本発明の第１実施形態に係るカメラトラックの内容を例示した図である。本発明の第１実施形態に係るビジュアルトラックの内容を例示した図である。本発明の第１実施形態に係るカラオケシステムのディスプレイに表示される画面を例示した図である。本発明の第１実施形態に係る超音波受信器を配置したカラオケルームを上方から見た図である。本発明の第１実施形態に係る赤外線受信器を配置したカラオケルームを上方から見た図である。本発明の第１実施形態に係るカラオケシステムのディスプレイに表示される画面を例示した図である。本発明の第１実施形態に係るカラオケシステムのディスプレイに表示される画面を例示した図である。本発明の第２実施形態に係るカラオケシステムの構成を示したブロック図である。

符号の説明

１・２…カラオケシステム、１０…カラオケ装置、１１…コントローラ、１２…マイク、１３…アンプ、１４…スピーカ、１５…ビデオカメラ、１６…カメラ移動装置、１７…照明装置、１８…ディスプレイ、１９…超音波受信器、２０…赤外線受信器、２１…メディアドライブ、２２…インターネット、３１…音データ処理装置、３２…画像データ処理装置、３３…中央管理装置、１０１・１０１１・１０１２・１０１３…記憶部、１０２・１０２１・１０２２・１０２３…入出力Ｉ／Ｆ、１０３・１０３１・１０３２・１０３３…制御部、１２１…超音波発生器、１２２…赤外線発生器、１８１…表示部分、１８２…表示部分、１８３…表示部分、２０１…音データブロック、２０２…画像データブロック、２０３…動作制御ブロック、２０４…イベントデータ再生部、２０５…位置方向算出部、１００１…カラオケデータ、１２２１…赤外線発光ダイオード、２０１１…音源部、２０１２…音データ再生部、２０１３…音データ加工処理部、２０２１…動画データ再生部、２０２２…歌詞画面生成部、２０２３…ガイダンス画面生成部、２０２４…画像データ加工処理部、２０３１…カメラ動作制御部、２０３２…移動動作制御部、２０３３…照明動作制御部。

Claims

楽曲の演奏を指示する演奏指示データを出力する演奏指示データ出力手段と、
歌詞の表示を指示する歌詞表示指示データを、前記楽曲の進行において当該歌詞が表示されるべきタイミングを示すタイミングデータに対応付けて記憶する歌詞表示指示データ記憶手段と、
撮像装置、画像データの加工を行う加工装置、撮像装置の移動を行う移動装置および照明装置の少なくとも１により実行されるべき処理を指示する処理指示データを、前記楽曲の進行において当該処理が実行されるべきタイミングを示すタイミングデータに対応付けて記憶する処理指示データ記憶手段と、
前記演奏指示データ出力手段による演奏指示データの出力と並行して、前記処理指示データを、当該処理指示データに対応付けられたタイミングデータに応じたタイミングで出力する処理指示データ出力手段と、
前記演奏指示データ出力手段による演奏指示データの出力および前記処理指示データ出力手段による処理指示データの出力と並行して、前記歌詞表示指示データにより指示される歌詞を当該歌詞表示指示データに対応付けられたタイミングデータに応じたタイミングで表示するとともに、前記処理指示データ出力手段により出力される処理指示データに応じたガイダンスを当該処理指示データに対応付けられたタイミングデータに応じたタイミングで表示することを指示する表示指示データを出力する表示指示データ出力手段と
を備えることを特徴とするデータ処理装置。
楽曲の演奏を指示する演奏指示データを出力する演奏指示データ出力手段と、
歌詞の表示を指示する歌詞表示指示データを、前記楽曲の進行において当該歌詞が表示されるべきタイミングを示すタイミングデータに対応付けて記憶する歌詞表示指示データ記憶手段と、
撮像装置の位置、撮像装置の方向、撮像装置の処理、照明装置の位置、照明装置の方向、照明装置の処理および画像データの加工を行う加工装置の処理のうち、少なくとも１に関する現在の状態もしくは所定期間内に予定されている状態の変化を示す状態データを受け取る状態データ入力手段と、
前記演奏指示データ出力手段による演奏指示データの出力と並行して、前記歌詞表示指示データにより指示される歌詞を当該歌詞表示指示データに対応付けられたタイミングデータに応じたタイミングで表示するとともに、前記状態データ入力手段により受け取られる状態データに応じたガイダンスを表示することを指示する表示指示データを出力する表示指示データ出力手段と
を備えることを特徴とするデータ処理装置。
前記表示指示データ出力手段は、前記表示指示データとして、特定の処理を実行中もしくは所定期間内に特定の処理を実行予定の撮像装置もしくは照明装置を示す、文字、図形、記号もしくはこれらの結合もしくはこれらと色彩との結合の表示またはランプの点灯による表示を指示するデータを出力する
ことを特徴とする請求項１または２に記載のデータ処理装置。
前記表示指示データ出力手段は、前記表示指示データとして、撮像装置、加工装置、移動装置もしくは照明装置の現在の状態もしくは所定時間後に予定されている状態に応じて、異なる態様の表示を指示するデータを出力する
ことを特徴とする請求項１または２に記載のデータ処理装置。
ユーザの位置を示す位置データを受け取る位置データ入力手段を備え、
前記表示指示データ出力手段は、前記表示指示データとして、前記歌詞と前記ガイダンスに加え、前記位置データにより示される位置の同時表示を指示するデータを出力する
ことを特徴とする請求項１または２に記載のデータ処理装置。
ユーザの画像データを受け取る画像データ入力手段を備え、
前記表示指示データ出力手段は、前記表示指示データとして、前記歌詞と前記ガイダンスに加え、前記画像データにより示される画像の同時表示を指示するデータを出力する
ことを特徴とする請求項１または２に記載のデータ処理装置。
楽曲の演奏を指示する演奏指示データを出力する処理と、
歌詞の表示を指示する歌詞表示指示データを、前記楽曲の進行において当該歌詞が表示されるべきタイミングを示すタイミングデータに対応付けて記憶する処理と、
撮像装置、画像データの加工を行う加工装置、撮像装置の移動を行う移動装置および照明装置の少なくとも１により実行されるべき処理を指示する処理指示データを、前記楽曲の進行において当該処理が実行されるべきタイミングを示すタイミングデータに対応付けて記憶する処理と、
前記演奏指示データの出力と並行して、前記処理指示データを、当該処理指示データに対応付けられたタイミングデータに応じたタイミングで出力する出力処理と、
前記演奏指示データの出力および前記処理指示データの出力と並行して、前記歌詞表示指示データにより指示される歌詞を当該歌詞表示指示データに対応付けられたタイミングデータに応じたタイミングで表示するとともに、前記出力処理において出力される処理指示データに応じたガイダンスを当該処理指示データに対応付けられたタイミングデータに応じたタイミングで表示することを指示する表示指示データを出力する処理と
をコンピュータに実行させることを特徴とするプログラム。
楽曲の演奏を指示する演奏指示データを出力する処理と、
歌詞の表示を指示する歌詞表示指示データを、前記楽曲の進行において当該歌詞が表示されるべきタイミングを示すタイミングデータに対応付けて記憶する処理と、
撮像装置の位置、撮像装置の方向、撮像装置の処理、照明装置の位置、照明装置の方向、照明装置の処理および画像データの加工を行う加工装置の処理のうち、少なくとも１に関する現在の状態もしくは所定期間内に予定されている状態の変化を示す状態データを受け取る入力処理と、
前記演奏指示データの出力と並行して、前記歌詞表示指示データにより指示される歌詞を当該歌詞表示指示データに対応付けられたタイミングデータに応じたタイミングで表示するとともに、前記入力処理において受け取られる状態データに応じたガイダンスを表示することを指示する表示指示データを出力する処理と
をコンピュータに実行させることを特徴とするプログラム。