JP2012027339A

JP2012027339A - カラオケ装置

Info

Publication number: JP2012027339A
Application number: JP2010167540A
Authority: JP
Inventors: Tatsuji Kawai; 竜次河合
Original assignee: Brother Industries Ltd
Current assignee: Brother Industries Ltd
Priority date: 2010-07-26
Filing date: 2010-07-26
Publication date: 2012-02-09
Anticipated expiration: 2030-07-26
Also published as: JP5299374B2

Abstract

【課題】１台のカメラで、歌唱者の姿を切れ目なく撮影した映像を確実に生成する。
【解決手段】カラオケ装置１０は、装置本体１００と、マーカ光を発生させるマイク３００と、マイク３００及び歌唱者を含む所定範囲の視野を撮影し映像データを生成する全周カメラ４００とを有している。装置本体１００は、音源１０６等と、背景映像データ及び歌詞データを表示する表示部１０９と、全周カメラ４００で撮影して得られた所定範囲の映像データを取得し、その映像データに含まれるマーカ光に基づいてマイク３００の位置を特定し、カラオケルームＫＲ内の映像データからマイク３００の位置を含む部分映像データを切り出し、その部分映像データの補正処理を行って出力映像を得る制御部１０１とを有している。
【選択図】図５

Description

本発明は、カラオケ演奏曲の再生サービスを提供するカラオケ装置に関する。

近年、カラオケ装置において、カラオケ演奏曲の再生以外に、これに付帯する種々様々なサービスが提唱されている。例えば、歌唱者の歌唱している姿を１台のビデオカメラで撮影してディスプレイに表示するカラオケ装置が、従来既に提唱されている（例えば、特許文献１参照）。この従来のカラオケ装置には、１台のビデオカメラと、このビデオカメラの向きを所定範囲内で自在に変化させるためのサーボ式雲台と、歌唱者の持つワイヤレスマイクロフォンからの無線標識信号を受信し、その無線標識信号の発信源の位置にビデオカメラの向きを合わせるようにサーボ式雲台を駆動する駆動制御手段と、が備えられている。

特開平１０−２４０２７６号公報

しかしながら、上記従来技術のように、マイクロフォンからの無線標識信号に基づき狭い視野範囲のビデオカメラを回転させて歌唱者を追尾し撮影する手法の場合、歌唱者が歌いながら席を移動したり、速い動作をした等の場合、歌唱者の姿が瞬間的にフレームアウトする可能性があった。これを防止するためには、歌唱者は、フレームアウトしないように自らの移動や動作を制限する必要があり、不便であった。

本発明の目的は、１台のカメラで、歌唱者の姿を切れ目なく撮影した映像を確実に生成できるカラオケ装置を提供することにある。

上記目的を達成するために、第１の発明は、楽曲データ及び映像データを用いて、カラオケ演奏曲の再生サービスを提供するカラオケ装置であって、前記楽曲データを再生する楽曲再生手段と、前記楽曲再生手段により前記楽曲データの再生が行われるのに従い、前記映像データを表示可能な表示手段と、歌唱者に所持され、前記歌唱者によるカラオケ歌唱の音声信号を入力するためのマイクロフォンと、前記マイクロフォンに設けられ、標識信号を発生する標識信号発生手段と、前記マイクロフォン及び前記歌唱者を含む所定範囲の視野を撮影し、前記標識信号発生手段から発生された前記標識信号を含む前記所定範囲の映像データを生成する１台の動画撮影カメラと、前記１台の動画撮影カメラにより生成された前記所定範囲の映像データに含まれる前記標識信号に基づいて前記マイクロフォンの位置を特定し、前記所定範囲の映像データから前記特定した位置を含む部分映像データを切り出す映像抽出手段と、前記映像抽出手段により切り出された部分映像データに所定の補正処理を行い、補正処理後の映像を前記表示手段に表示させる表示制御手段とを有することを特徴とする。

本願第１発明のカラオケ装置においては、カラオケ演奏時には、楽曲再生手段によって楽曲データの再生が行われるとともに表示手段により映像データが表示され、それら再生及び表示に合わせて、歌唱者がマイクロフォンにより歌唱を行う。また、カラオケ装置には、１台の動画撮影カメラが備えられている。上記歌唱の際には、その１台の動画撮影カメラが、歌唱者及びマイクロフォンを含む所定範囲の視野を撮影し、当該所定範囲の映像データを生成する。このとき、例えば上記視野が広い動画撮影カメラ（例えば魚眼レンズを備え全周３６０°撮影可能なカメラ）を用いることで、１人の歌唱者が歌唱中に移動したり複数の歌唱者が同時に歌唱したり歌唱者が順次入れ替わったりしても、動画撮影カメラが生成した映像データの中に常に歌唱者が含まれるようにすることができる。

ここで、本願第１発明のマイクロフォンには、標識信号を発生する標識信号発生手段が備えられている。したがって、上記生成された所定範囲の映像データには、歌唱者の所持したマイクロフォンの位置に対応した標識信号が、歌唱者の姿と共に必ず記録されている。そこで、これに対応して、映像抽出手段が、映像データに含まれる標識信号を用いて、マイクロフォンの位置を特定し、上記所定範囲の映像データから上記特定した位置を含む部分映像データを切り出す。マイクロフォンは歌唱者によって所持されることから、この切り出された部分映像データに対し表示制御手段が所定の補正処理を行うことで、歌唱者を含む補正処理後の映像を表示手段に表示させることができる。

以上のようにして、本願第１発明においては、広範囲の視野を１台の動画撮影カメラで常時撮影しておき、その映像データの中から標識信号を手がかりにして歌唱者を含む映像データを切り出し、さらに補正することで歌唱者の正しい映像を得る。この結果、マイクロフォンからの無線標識信号に基づき狭い視野範囲のビデオカメラを回転させて歌唱者を追尾し撮影する場合のように、歌唱者の姿が瞬間的にフレームアウトすることを防止できる。すなわち、本願第１発明によれば、１台のカメラを用いつつ、歌唱者の姿を切れ目なく撮影した映像を確実に生成することができる。この結果、歌唱中の自己の姿を撮影したい場合であっても、歌唱者は、場所の制限のない広い範囲において歌唱可能となり、あるいは、自由に動きながら歌唱することもできる。

第２発明は、上記第１発明において、前記マイクロフォンより入力される音声信号の入力レベルが所定値以上であるか否かを判定する音声判定手段を有し、前記映像抽出手段は、前記入力レベルが所定値以上であると判定されるとともに前記標識信号発生手段からの前記標識信号が前記所定範囲の映像データに含まれる前記マイクロフォンの位置を特定し、前記所定範囲の映像データから前記特定した位置を含む部分映像データを切り出すことを特徴とする。

これにより、音声信号の入力レベルが所定値未満であるマイクロフォンの位置は、部分映像データの切り出し対象から除外される。したがって、マイクロフォンを所持した歌唱者が歌唱しているときの映像だけを確実に部分映像データとして切り出すことができる。また例えば、複数のマイクロフォンをそれぞれ所持する複数の人物が順番に入れ替わって歌唱したり交互に歌唱している場合には、それら複数の人物のうちその時点で歌唱している人物の映像だけを確実に切り出すことができる。

第３発明は、上記第１又は第２発明において、前記複数のマイクロフォンにそれぞれ設けられた複数の標識信号発生手段が、互いに異なる色の前記標識信号を発生し、前記映像抽出手段は、前記所定範囲の映像データに含まれる前記標識信号の備える色に基づいて複数の前記マイクロフォンそれぞれの位置を区別して特定し、特定した各位置の部分映像データを前記所定範囲の映像データから切り出すことを特徴とする。

これにより、複数の歌唱者がそれぞれ別のマイクロフォンを所持して歌唱するとき、マイクロフォンの色別に各歌唱者を特定しつつ、それぞれの部分映像データを切り出すことができる。また、同時に歌唱した複数の歌唱者それぞれの映像をすべて部分映像データとして切り出すことで、１台のカメラで（歌唱者を特定しつつ）複数の歌唱者の姿を同時に映像データ化することができる。

第４発明は、上記第１乃至第３発明のいずれかにおいて、前記楽曲再生手段によって前記楽曲データの再生が行われた際に、前記マイクロフォンから入力される前記カラオケ歌唱の音声信号を、各マイクロフォンごとに、採点する採点手段と、前記映像抽出手段は、前記採点手段による採点結果が所定値以上である特定の前記マイクロフォンの位置を前記標識信号を用いて特定し、前記特定した位置の部分映像データを前記所定範囲の映像データから切り出すことを特徴とする。

これにより、歌唱者が上手に歌えた場合のみ、その姿を部分映像データとして切り出すようにし、娯楽性を向上することができる。また例えば、複数のマイクロフォンをそれぞれ所持する複数の歌唱者が歌った場合には、それら複数の歌唱者のうち採点結果があるレベル以上の者、あるいは最も採点結果がよかった者の姿だけを部分映像データとして切り出すこともできる。この場合、複数人で楽しむゲーム感覚により、さらに娯楽性を向上することができる。

本発明によれば、１台のカメラで、歌唱者の姿を切れ目なく撮影した映像を確実に生成することができる。

本発明の一実施の形態のカラオケ装置が設置されたカラオケルームを概略的に表す図である。全周カメラによりカラオケルーム内を撮影したときに取得される画像を模式的に表す図である。マイクの外観を表す側面図である。カラオケ装置を備えたカラオケシステムの全体構成を表す機能ブロック図である。全周カメラから入力された映像を画像処理して歌唱者の動画データを得るプロセスを表す説明図である。装置本体の制御部により実行される処理手順の詳細を表すフローチャートである。ホストサーバにアップロードされたカラオケ動画の表示例を表す図である。１人の歌唱者が歌唱中に移動する領域の一例を表す説明図である。本発明の比較例における映像データを表す説明図である。本発明の一実施形態における映像データの取得原理を表す概念的説明図である。本発明の一実施形態における映像データを表す図である。発生するマーカ光の色が異なる複数のマイクを備える変形例のカラオケ装置を備えたカラオケシステムの全体構成を表す機能ブロック図である。装置本体の制御部により実行される処理手順の詳細を表すフローチャートである。緑マーカ光マイクの所在するエリア及び赤マーカ光マイクが所在するエリアの一例を表す説明図である。緑マーカ光マイク及び赤マーカ光マイクの音声入力レベルの時間推移の一例を表すグラフである。カラオケ歌唱の採点結果を加味して切り出しを行う変形例において、装置本体の制御部により実行される処理手順の詳細を表すフローチャートである。

以下、本発明の一実施の形態を図面を参照しつつ説明する。

図１は、本実施形態のカラオケ装置が設置されたカラオケルームを概略的に表す図である。

図１において、カラオケ店舗等のカラオケルームＫＲには、カラオケ装置１０が設置されている。カラオケ装置１０は、楽曲データとしてのＭｕｓｉｃａｌＩｎｓｔｒｕｍｅｎｔＤｉｇｉｔａｌＩｎｔｅｒｆａｃｅ（ＭＩＤＩ；登録商標）データ及び映像データを用いて、カラオケ演奏曲の再生サービスを提供する装置である。図１に示すものでは、利用者Ａ〜Ｃがカラオケ歌唱を行っている。カラオケ装置１０は、コマンダと称される装置本体１００と、リモコン２００と、マイクロフォン（以下、略してマイク）３００と、１台の全周カメラ４００（動画撮影カメラ）とを有している。装置本体１００、リモコン２００、及びマイク３００については、後で詳述する。

全周カメラ４００は、この例では、例えばカラオケルームＫＲの天井中心に下向きに備え付けられている。全周カメラ４００は、マイク３００及び歌唱者Ａ〜Ｃを含む所定範囲の固定的な視野を撮影し、その範囲の映像データを生成する。具体的には、全周カメラ４００は、魚眼レンズを有し、左右３６０度、上下９０度の半球状視野を１枚に収めた映像データを得る。魚眼レンズの機能によって、全周カメラ４００の視野内の像は、近い物体ほど円の中心に写り、遠い物体ほど円の周辺部に写る性質を持つ。また、魚眼レンズにより広い視野角が得られる代償として、全ての物体は扇状に歪曲して写るようになる。

従って、全周カメラ４００によりカラオケルームＫＲ内の全体を撮影すると、全体的に扇状に歪曲した画像が取得される（図２に模式的に表す）。

図３は、マイク３００の外観を表す図である。図３において、マイク３００は、利用者によるカラオケ歌唱の音声を音声信号に変換して入力するものである。

マイク３００は、マイク素子３０１が内蔵されたマイクハウジング３０２を有している。マイクハウジング３０２の上部には、電源スイッチ３０３が設けられている。マイクハウジング３０２の下部には、所定の色（この例では、緑色）の光学標識信号としてのマーカ光を発光する発光ダイオード（ＬＥＤ）３０４と、このＬＥＤ３０４から発した緑色のマーカ光を均一に拡散させる半透明の光拡散球３０５とが設けられている。

図４は、上記のカラオケ装置１０を備えたカラオケシステムの全体構成を表す機能ブロック図である。

図４において、カラオケシステム１は、上記カラオケルームＫＲに設置された上記カラオケ装置１０と、ホストサーバ２０とを有している。カラオケ装置１０とホストサーバ２０とは、例えば通信ネットワーク等のネットワークＮＷとを介し、互いに情報送受信可能に接続されている。

カラオケ装置１０は、上記の装置本体１００、リモコン２００、マイク３００、及び全周カメラ４００を有している。装置本体１００とリモコン２００とは、例えば無線又は有線のＬＡＮ等のネットワークを介し、互いに情報送受信可能に接続されている。装置本体１００とマイク３００とは、無線回線又は有線回線により接続されている。

装置本体１００は、制御部１０１と、大容量記憶装置１０３と、操作部１０４と、受信部１０５と、音源１０６と、音声制御部１０７と、スピーカ１０８と、表示部１０９と、通信制御部１１０とを有している。

制御部１０１は、図示しないＣＰＵや、ＲＡＭ及びＲＯＭ等のメモリを備えている。この制御部１０１は、ＲＡＭの一時記憶機能を利用しつつ、ＲＯＭや上記大容量記憶装置１０３に予め記憶された各種プログラムを実行する。これにより、装置本体１００全体の制御を行う。特に、制御部１０１は、全周カメラ４００により得られたカラオケルームＫＲ内の撮像画像に対して所定の画像処理を行い、マイク３００を持った歌唱者の複数の画像（動画を構成可能な複数の画像。以下同様）を生成し、その画像を大容量記憶装置１０３に記憶するとともに表示部１０９に表示させる処理を行う（詳細は後述）。

大容量記憶装置１０３は、例えばＨａｒｄＤｉｓｋＤｒｉｖｅ（ＨＤＤ）などから構成される。この大容量記憶装置１０３には、ＭＩＤＩデータ、背景映像データ、及び歌詞データ等の各種情報が記憶されている。また、この大容量記憶装置１０３には、利用者の歌唱時の動画データが順次記憶される。

操作部１０４は、例えば複数のキーやスイッチなどから構成される。利用者は、この操作部１０４又は後述のリモコン２００の操作部２０４を用いて、カラオケ演奏曲の予約操作等の各種操作を行うことができる。

受信部１０５は、上記のマイク３００から出力された歌唱者の音声信号を受信する。

音源１０６は、上記制御部１０１によって大容量記憶装置１０３から読み出されたＭＩＤＩデータを再生して音声制御部１０７へ出力する。音声制御部１０７は、音源１０６から出力されたＭＩＤＩデータ、及び、受信部１０５を介してマイク３００により入力された音声信号を増幅し、スピーカ１０８へ出力する。スピーカ１０８は、音声制御部１０７から出力されたＭＩＤＩデータ及び音声信号を音声出力する。

なお、以下適宜、音源１０６、音声出力部１０７、及びスピーカ１０８を、省略して「音源１０６等」と称する。音源１０６等は、楽曲データを再生する楽曲再生手段を構成している。

表示部１０９は、例えば液晶ディスプレイなどから構成され、各種映像を表示する表示手段として機能する。特に、表示部１０９は、上記音源１０６等によるＭＩＤＩデータの再生に同期して、言い換えれば、音源１０６等によりＭＩＤＩデータの再生が行われるのに従い、大容量記憶装置１０３から読み出された背景映像データ、及び歌詞データに対応したテロップ等を表示することができる。

通信制御部１１０は、リモコン２００やホストサーバ２０との間で情報通信の制御を行う。

リモコン２００は、利用者がカラオケ演奏曲の予約操作等の各種操作を行うための操作端末である。このリモコン２００は、制御部２０１と、記憶装置２０３と、操作部２０４と、表示部２０９と、通信制御部２１０とを有している。

制御部２０１は、図示しないＣＰＵやＲＡＭ及びＲＯＭ等のメモリを備えている。この制御部２０１は、ＲＡＭの一時記憶機能を利用しつつ、ＲＯＭや上記記憶装置２０３に予め記憶された各種プログラムを実行する。これにより、リモコン２００全体の制御を行う。

記憶装置２０３は、例えば不揮発性メモリなどから構成され、各種情報を記憶する。操作部２０４は、例えば複数のキーやスイッチなどから構成される。利用者は、この操作部２０４又は上記カラオケ装置１００の操作部１０４を用いて、カラオケ演奏曲の予約操作等の各種操作を行うことができる。表示部２０９は、例えば液晶ディスプレイなどから構成され、各種表示を行う。

通信制御部２１０は、装置本体１００やホストサーバ２０との間で情報通信の制御を行う。

ホストサーバ２０には、利用者の歌唱中の姿の動画データが圧縮動画ファイルとしてアップロード可能である（詳細は後述）。このホストサーバ２０にアップロードされた動画データは、所定のＷｅｂページにおいて特定の利用者の端末より閲覧可能となっている（後述の図７も参照）。

ここで、本実施形態の最大の特徴は、全周カメラ４００により得られたカラオケルームＫＲ内の映像画像に含まれるマーカ光に基づいてマイク３００の位置を特定し、そのマイク３００の位置を含む部分映像を切り出して、マイク３００を持った歌唱者の動画（カラオケ投稿動画）データを取得することである。

ところで、全周カメラ４００で撮像して得られた映像信号は、人間の通常の視野とは大きく異なるので、カラオケ投稿動画の用途としてそのまま使うことはできない。このため、全周カメラ４００で撮像して得られた映像信号に対して所定の処理を施す必要がある。

図５（ａ）〜（ｆ）は、全周カメラ４００より入力された映像を画像処理して歌唱者の動画データを得るプロセスを表す説明図である。本処理は、装置本体１００の制御部１０１によって実行される。

図５（ａ）に示すように、まず全周カメラ４００で取得したカラオケルームＫＲ内の映像を入力する。ここでは、利用者Ａ〜Ｃ及びマイク３００の映像のみを表し、テーブルや装置本体１００等の映像は省略してある。

その後、図５（ｂ）に示すように、全周カメラ４００より入力された映像において、所定の色（この例では緑）の成分以外の成分を除去するカラーフィルタ処理を行う。具体的には、色フィルタ（ここでは緑フィルタ）を通して、全周カメラ４００より入力された映像から緑色の成分のみを抽出する。色フィルタは、ＲＧＢのＧ値のみを通過させるか、又は、ＹＵＶのＵＶが一定範囲内にある画素値のみを通過させる、ＣＰＵ演算処理による画素データファイルである。

その後、図５（ｃ）に示すように、カラーフィルタ処理が行われた映像データを輝度フィルタに通し、輝度が一定以上の値を示す画素値のみを通過させることで、画像データの２値化を行う。これにより、画像の中の「純粋な緑色に近く、一定以上の明るさがある」画素のみが「１」を示し、それ以外の画素は「０」を示すビットマップが得られる。

その後、図５（ｄ）に示すように、全周カメラ４００より入力された映像についてエリア判定を行う。具体的には、予め蜘蛛の巣状に定義されたマップに従い、角度方向（人間の視覚での左右に相当）に対して８分解（Ａ〜Ｈ）、距離方向（人間の視覚での奥行きに相当）に対して３分解（１〜３）又は４分解（１〜４）の計２８分解された各エリアについて、エリアごとにビットマップの画素値を全て加算する。この加算値が最も大きい値（図中ではエリアＧ２）がマーカ光を検知しており、撮影すべき歌唱者がいるエリア（方向）であると判定される。なお、エリアＡ１〜Ｈ４のうち隣り合うエリア同士の境界部は例えば一部重なり合っている。

その後、図５（ｅ）に示すように、図５（ｄ）に示す処理で選択されたエリアについて、扇状スキャンによる画像の形状補正を行う。具体的には、エリア内にある画素を同図に示した走査線に従って並べなおす処理を行う。これによって、扇形状の直径方向はＹ軸、円周方向はＸ軸の矩形状に変形し矯正される。ここで、中心部に近い走査線は短く、円周部に近い走査線は長いが、同一値の画素で補完して拡大するか、画素を省略して縮小し、一定長の線データを得る。走査線の座標パターンは、エリアＡ１〜Ｈ４ごとに予め用意されている。

全ての走査線について変換処理が終了すると、図５（ｆ）に示すような、最終的な出力画像（図中ではエリアＧ２の画像）が得られる。この画像は、全周カメラ４００に写ったマーカ光の周辺領域だけを切り取った上で、湾曲した魚眼レンズの円形視野角を通常の矩形視野角へと変換補正したものであるため、結果的にマイク３００を持っている歌唱者に対して通常のカメラを向けたのと同等の結果が得られる。

なお、これらの処理は、動画を構成する各画像に対して行われるので、毎秒３０フレームの速度で処理されるが、演算能力の関係上、例えば１０フレームにつき１フレームの頻度で処理を行うなど、間引きを行ってもよい。

図６は、制御部１０１により実行される処理手順の詳細を表すフローチャートである。

図６において、カラオケ演奏曲に対応したＭＩＤＩデータの再生が開始されると、このフローが開始される。すなわち、音源１０６等によるＭＩＤＩデータの再生と同期して、背景映像データ及び歌詞データが表示部１０９に表示される。すると、歌唱者によるカラオケ演奏曲の歌唱が行われ、マイク３００よりカラオケ歌唱の音声が入力される。

まずステップＳ１０において、全周カメラ４００により撮影された、カラオケルームＫＲ内の映像データを取得する。その後、ステップＳ１５において、ステップＳ１０で取得したカラオケルームＫＲ内の映像データに基づいて、マイク３００のマーカ光が検知されたかどうかを判定する。マイク３００のマーカ光が検知されたときは、ステップＳ１５の判定が満たされてステップＳ２０に移り、マイク３００のマーカ光が検知されないときは、ステップＳ１５の判定が満たされずステップＳ１０に戻り、同様の手順を繰り返す。

ステップＳ２０では、受信部１０５及び音声制御部１０７を介して入力されたマイク３００の音声信号の入力レベルが所定値以上であるかどうかを判定する。マイク３００の音声信号の入力レベルが所定値以上であるときは、ステップＳ２０の判定が満たされてステップＳ２５に移る。一方、マイク３００の音声信号の入力レベルが所定値以上でないときは、ステップＳ２０の判定が満たされずステップＳ１０に戻り、同様の手順を繰り返す。

ステップＳ２５では、カラオケルームＫＲ内の映像データに含まれるマーカ光に基づいて、マイク３００の位置を特定する。このステップＳ２５の処理は、前述の図５（ａ）〜図５（ｃ）に示した画像処理に対応するものである。そして、ステップＳ３０において、カラオケルームＫＲ内の映像データからマイク３００の位置を含む部分映像データを切り出す。このステップＳ３０の処理は、図５（ｄ）に示したエリア判定処理に対応するものである。

その後、ステップＳ３５において、マイク３００の位置を含む部分映像データの補正処理を行い、マイク３００を持った歌唱者の姿が写った出力映像を得る。このステップＳ３５の処理は、図５（ｅ），図５（ｆ）に示した画像の形状矯正に対応する。そして、ステップＳ４０において、補正処理後の出力映像を表示部１０９の一部領域に表示させるとともに大容量記憶装置１０３に保存する。

その後、ステップＳ４５において、カラオケ演奏曲に対応したＭＩＤＩデータの再生が終了したかどうかを判定する。カラオケ演奏曲に対応したＭＩＤＩデータの再生が終了したときは、ステップＳ４５の判定が満たされてステップＳ５０に移る。一方、カラオケ演奏曲に対応したＭＩＤＩデータの再生が終了していないときは、ステップＳ４５の判定が満たされず、ステップＳ１０に戻り、同様の手順を繰り返す。これにより、カラオケ演奏曲の再生が終了しない間は、ステップＳ１０〜ステップＳ４０が繰り返され、ステップＳ４０を経るたびにステップＳ４０において大容量記憶装置１０３に補正処理後の映像が順次保存されていく。

ステップＳ５０では、動画投稿指示操作画面を表示部１０９の一部領域に表示させる。その後、ステップＳ５５において、表示部１０９の動画投稿指示操作画面によって、操作者（例えば利用者Ａ〜Ｃのいずれか）よりカラオケ動画の投稿が指示されたかどうかを判定する。カラオケ動画の投稿が指示されたときは、ステップＳ５５の判定が満たされてステップＳ６０に移り、カラオケ動画の投稿が指示されないときは、ステップＳ５５の判定が満たされず、このフローを終了する。

ステップＳ６０では、前述の繰り返し時にステップＳ４０で大容量記憶装置１０３に順次保存された補正処理後の複数の出力映像を用いた動画データを、ホストサーバ２０にアップロードし、このフローを終了する。

なお、以上において、図６に示すステップＳ１０、ステップＳ１５、ステップＳ２５、及びステップＳ３０が、各請求項記載の映像抽出手段として機能し、ステップＳ３５、ステップＳ４０が、表示制御手段として機能する。また、図６に示すステップＳ２０が、音声判定手段として機能する。

ホストサーバ２０にアップロードされたカラオケ動画の表示例を図７に示す。図７に示す表示例では、歌唱者（例えば利用者Ａ〜Ｃのいずれか。図１及び図２の例に沿うと、歌唱している利用者Ａ）が歌唱している画像の他、カラオケ演奏曲の曲名、歌唱日時、カラオケ動画の再生回数等）が表示される。なお、この例では、前述の所定のＷｅｂページでの特定の利用者の閲覧の後の、当該カラオケ動画に対する閲覧した利用者による評価（「うまい」「おもしろい」「かわいい」「泣ける」が併せて記入されて、表示されている。

以上説明したように、本実施形態においては、カラオケ演奏時に、音源１０６等により楽曲データとしてのＭＩＤＩデータの再生が行われるとともに、表示部１０９により背景映像データが表示され、それら再生及び表示に合わせて、歌唱者（前述の例では利用者Ａ）がマイク３００により歌唱を行う。歌唱者による歌唱時には、１台の全周カメラ４００が歌唱者及びマイク３００を含むカラオケルームＫＲの所定の視野を撮影し、その映像データを生成する。このとき、視野が広い全周カメラ４００を用いることで、歌唱者が歌唱中にカラオケルームＫＲ内を移動しても、全周カメラ４００が生成した映像データの中に常に歌唱者が含まれるようにすることができる（なお、必ずしも全周カメラに限られず、カラオケルームＫＲ内の所定の広い範囲を一度に撮影できる機能を備えたカメラであれば足りる）。

ここで、１人の歌唱者が歌唱中に移動するときに得られる映像データを、比較例を用いて説明する。ここでは、図８に示すように、領域Ｐにおいて立って歌唱している歌唱者が、領域Ｑを通って領域Ｒに移動し、領域Ｒにある椅子に座って歌唱する場合を例にとって説明する。なお、領域Ｐ〜Ｒは、例えば、図５（ｄ）に示したエリアＡ１〜Ｈ４のいずれかのエリアに相当する。

図９（ａ）〜（ｃ）は、本実施形態の比較例として、前述の従来構造に相当する、マイクからの無線標識信号に基づきサーボ式雲台を駆動制御し１台のビデオカメラを回転させて歌唱者を撮影する場合における映像データを表したものである。前述したように、歌唱者が、歌唱中に領域Ｐ→領域Ｑ→領域Ｒと移動した場合、この変形例のビデオカメラは、視野範囲が狭いことから歌唱者を追尾して撮影することになる。すなわち、上記歌唱者の領域Ｐ→領域Ｑ→領域Ｒの移動に追尾するように、ビデオカメラも領域Ｐ、領域Ｑ、領域Ｒの順に順次パン動作をしながら撮影を行う。

このとき、領域Ｐにおいては歌唱者が移動を開始する直前で移動速度ゼロである（又は移動開始直後で移動速度が小さい）ことから、ビデオカメラによって、領域Ｐにいる歌唱者の姿を捉えた映像データが得られる（図９（ａ））。同様に、領域Ｒにおいては歌唱者が移動を終了した後であって移動速度がゼロ（又は移動終了直前で移動速度が小さい）ことから、ビデオカメラの上記回転による追尾機能によって、領域Ｒにいる歌唱者の姿を捉えた映像データを得ることができる（図９（ｃ））。

しかしながら、歌唱者の上記領域Ｐ→領域Ｑ→領域Ｒの移動が比較的速かった場合等では、上記ビデオカメラの回転による追尾動作が歌唱者の移動に追いつかず、ビデオカメラが上記領域Ｐからパン動作（首振り動作）をして領域Ｑを撮影したときには、歌唱者は既に領域Ｑよりも領域Ｒ側へ移動してしまっており、歌唱者の姿が瞬間的にフレームアウトした映像データとなってしまう（図９（ｂ））。従って、歌唱中の自分の姿を確実に撮影したい場合には、フレームアウトしないように自らの移動や動作を制限する必要があり、歌唱中に自由に動き回ることができなくなって不便である。

図１０（ａ）〜（ｃ）は、本実施形態において、上記領域Ｐ、領域Ｑ、及び領域Ｒを全周カメラ４００により撮影した場合の映像データの説明図である。本実施形態においては、前述したように、カラオケルームＫＲ内の全領域（上記図５（ｄ）のエリアＡ１〜Ｈ４参照）を固定的な全周カメラ４００で常時撮影している。図１０（ａ）は、上記全領域のうち、領域Ｒの時間ごとの映像データに相当するもの（上記図５（ｅ）を用いて説明したような形状補正を行った場合を仮想した概念的な姿）を示した図である。図１０（ｂ）は、上記同様、領域Ｑの時間ごとの映像データに相当するものを示した図であり、図１０（ｃ）は、領域Ｐの時間ごとの映像データに相当するものを示した図である。

本実施形態においては、上述したように、カラオケルームＫＲ内を固定的な全周カメラ４００で常時撮影し、そのカラオケルームＫＲ内の映像データから、マイク３００のマーカ光を手がかりにしてマイク３００の位置を特定する。そして、マイク３００を所持する歌唱者を含む部分映像データを切り出し、さらにその部分映像データに対して所定の補正処理を行うことで、歌唱者の正しい映像が得られる。すなわち、上記比較例のように、領域Ｐ→領域Ｑ→領域Ｒの順で、１台のビデオカメラを回転させ追尾して撮影を行うのではなく、本実施形態では、領域Ｐ、領域Ｑ、及び領域Ｒに対して常時撮影を行って映像データを取得している。そして、本実施形態では、その取得された映像データの中から、上記領域Ｐ→領域Ｑ→領域Ｒの順で移動する歌唱者が領域Ｐにいる瞬間の当該領域Ｐを含む映像データを切り出し（図１０（ｃ）の最上段参照）、歌唱者が領域Ｑにいる瞬間の当該領域Ｑを含む映像データを切り出し（図１０（ｂ）の中段参照）、歌唱者が領域Ｒにいる瞬間の当該領域Ｒを含む映像データを切り出す（図１０（ａ）の下段参照）。これによって、上記領域Ｐ→領域Ｑ→領域Ｒの順で移動する歌唱者の姿を常に捉えた、歌唱者の姿が瞬間的にフレームアウトすることのない映像データを確実に得ることができる（図１１参照）。

このように本実施形態によれば、視野が広い１台の全周カメラ４００を用いて、歌唱者の姿を切れ目なく撮影した映像を確実に生成することができる（図１１参照）。この結果、歌唱中の自己の姿を撮影したい場合であっても、歌唱者は、カラオケルームＫＲ内を自由に動きながら歌唱することができ、利便性を向上することができる。

また、本実施形態では特に、マイク３００の音声信号の入力レベルが所定値以上であるときに、マーカ光に基づいてマイク３００の位置を特定し、マイク３００を所持する歌唱者を含む部分映像データを切り出す。これにより、音声信号の入力レベルが所定値未満であるマイク３００は、部分映像データの切り出し対象から除外される。上記の例では、歌唱者である利用者Ａが所持しているマイク３００において、マイク３００のスイッチがＯＮであっても、利用者Ａが歌唱を中止している場合には、当該マイク３００を含む部分映像データは切り出されない。したがって、マイク３００を所持した歌唱者（利用者Ａ）が歌唱しているときの映像だけを確実に部分映像データとして切り出すことができる。

なお、本発明は、上記実施形態に限られるものではなく、その趣旨及び技術的思想を逸脱しない範囲内で種々の変形が可能である。以下、そのような変形例を説明する。

（１）発生するマーカ光の色が異なる複数のマイクを備える場合
上記実施形態では、マイク３００が１つしか設けられていないが、本発明はこれに限られず、複数のマイクを設け、各マイクから発するマーカ光の色を異なるようにしてもよい。

図１２は、本変形例のカラオケ装置を備えたカラオケシステムの全体構成を表す機能ブロック図である。

図１２において、本変形例のカラオケ装置１０は、上記の装置本体１００、リモコン２００、及び全周カメラ４００と、マイク３００Ａ，３００Ｂとを有している。マイク３００Ａ，３００Ｂの構造は、上記のマイク３００と同様である。マイク３００ＡのＬＥＤ３０４（前述の図３参照）は、上記のマイク３００と同様に緑色のマーカ光を発光し、マイク３００ＢのＬＥＤ３０４（前述の図３参照）は、赤色のマーカ光を発光する。

図１３は、本変形例における制御部１０１により実行される処理手順の詳細を表すフローチャートである。なお、この図１３は、前述の図６に対応する図である。図６と同等の手順には同符号を付し説明を適宜省略する。

図１３において、上記ステップＳ１０が実行された後、ステップＳ１５において、カラオケルームＫＲ内の映像データに基づいて、マイク３００Ａ，３００Ｂの少なくとも一方のマーカ光が検知されたかどうかを判定する。マイク３００Ａ，３００Ｂの少なくとも一方のマーカ光が検知されたときは、判定が満たされてステップＳ１０５に移り、マイク３００Ａ及び３００Ｂのいずれかのマーカ光も検知されないときは、判定が満たされずステップＳ１０に戻る。

ステップＳ１０５では、マイク３００Ａ，３００Ｂがいずれも使用されているか、つまりマイク３００Ａ，３００Ｂの電源スイッチがいずれもＯＮになっているかどうかを判定する。マイク３００Ａ，３００Ｂがいずれも使用されているときは、ステップＳ１０５の判定が満たされてステップＳ１１０に移る。マイク３００Ａ，３００Ｂのいずれか一方のみが使用されているときは、ステップＳ１０５の判定が満たされず、後述のステップＳ１１５に移る。

ステップＳ１１０では、緑色のマーカ光を発するマイク（以下適宜、緑マーカ光マイクという）３００Ａより入力される音声レベルのほうが赤色のマーカ光を発するマイク（以下適宜、赤マーカ光マイクという）３００Ｂより入力される音声レベルよりも大きいかどうかを判定する。緑マーカ光マイク３００Ａより入力される音声レベルのほうが赤マーカ光マイク３００Ｂより入力される音声レベルよりも大きいときは、ステップＳ１１０の判定が満たされてステップＳ１２０に移る。緑マーカ光マイク３００Ａより入力される音声レベルのほうが赤マーカ光マイク３００Ｂより入力される音声レベルよりも大きくないときは、ステップＳ１１０の判定が満たされず、後述のステップＳ１３５に移る。

一方、ステップＳ１１５では、緑マーカ光マイク３００Ａのみが使用されているかどうかを判定する。緑マーカ光マイク３００Ａのみが使用されているときは、判定が満たされてステップＳ１２０に移り、緑マーカ光マイク３００Ａではなく赤マーカ光マイク３００Ｂのみが使用されているときは、判定が満たされずステップＳ１３５に移る。

ステップＳ１２０では、カラオケルームＫＲ内の映像データに含まれる緑マーカ光マイク３００Ａのマーカ光に基づいて、緑マーカ光マイク３００Ａの位置を特定する。そして、ステップＳ１２５において、カラオケルームＫＲ内の映像データから緑マーカ光マイク３００Ａの位置を含む部分映像データを切り出す。その後、ステップＳ１３０において、緑マーカ光マイク３００Ａの位置を含む部分映像データの補正処理を行い、前述と同様のステップＳ４０に移る。なお、ステップＳ１２０〜Ｓ１３０の処理は、前述の図６に示したすステップＳ２５〜Ｓ３５と同様にして行えば足りるので、詳細な説明を省略する。

一方、ステップＳ１３５では、カラオケルームＫＲ内の映像データに含まれる赤マーカ光マイク３００Ｂのマーカ光に基づいて、赤マーカ光マイク３００Ｂの位置を特定する。そして、ステップＳ１４０において、カラオケルームＫＲ内の映像データから赤マーカ光マイク３００Ｂの位置を含む部分映像データを切り出す。その後、ステップＳ１４５において、赤マーカ光マイク３００Ｂの位置を含む部分映像データの補正処理を行い、上記ステップＳ４０に移る。なお、ステップＳ１３５〜Ｓ１４５の処理は、図６に示したステップＳ２５〜Ｓ３５と同様にして行えば足りるので、詳細な説明を省略する。

ステップＳ４０の後の、ステップＳ４５〜Ｓ６０での処理は、上記実施形態と同様であるので、説明を省略する。

上記のフローにより実行される本変形例の動作を説明する。例えば、利用者Ａ（図１参照）が緑マーカ光マイク３００Ａを持ち、利用者Ｂ（図１参照）が赤マーカ光マイク３００Ｂを持って歌唱を行う場合を例にとって説明する。この場合、図１４に示すように、カラオケルームＫＲ内の映像データから、緑マーカ光マイク３００Ａの位置であるエリアＧ２を含む部分映像と、赤マーカ光マイク３００Ｂの位置であるエリアＣ２を含む部分映像とが切り出されることとなる。

図１５は、利用者Ａが所持する緑マーカ光マイク３００Ａ及び利用者Ｂが所持する赤マーカ光マイク３００Ｂの音声入力レベルの時間推移の一例を表すグラフである。

図１５において、この例では、時間ｔ_０から時間ｔ_１までは赤マーカ光マイク３００Ｂの音声入力レベル（言い換えれば、例えば利用者Ｂの音声レベル）が緑マーカ光マイク３００Ａの音声入力レベル（言い換えれば、例えば利用者Ａの音声レベル）よりも高くなっている。この結果、赤フィルタで画像処理を行ってエリアＣ２を含む部分映像が切り出され、利用者Ｂの歌唱中の画像が得られる。一方、時間ｔ_１から時間ｔ_２までは、緑マーカ光マイク３００Ａの音声入力レベルが赤マーカ光マイク３００Ｂの音声入力レベルよりも高い。この結果、緑フィルタで画像処理を行ってエリアＧ２を含む部分映像が切り出され、利用者Ａの歌唱中の画像が得られる。時間ｔ_２から時間ｔ_３までは赤マーカ光マイク３００Ｂの音声入力レベルが緑マーカ光マイク３００Ａの音声入力レベルよりも高いため、赤フィルタで画像処理を行ってエリアＣ２を含む部分映像が切り出され、利用者Ｂの歌唱中の画像が得られる。時間ｔ_３から時間ｔ_４までは緑マーカ光マイク３００Ａの音声入力レベルが赤マーカ光マイク３００Ｂの音声入力レベルよりも高いため、緑フィルタで画像処理を行ってエリアＧ２を含む部分映像が切り出され、利用者Ａの歌唱中の画像が得られる。このようにして、本変形例では、声を出して歌唱している歌唱者の動画に交互に切り替えられるように取得されることとなる。

なお、図１３に示すフローでは、緑マーカ光マイク３００Ａ及び赤マーカ光マイク３００Ｂのうち入力される音声レベルが大きいほうのマイクの位置を特定し、その後の処理を順次実行するようにしたが、図６で示すフローチャートと同様に、マイク３００Ａ，３００Ｂより入力される音声信号の音声レベルが所定値以上であるときに、マイク３００Ａ，３００Ｂの位置を特定し、その後の処理を順次実行するようにしてもよい。この場合には、マイク３００Ａ，３００Ｂより入力される音声信号の音声レベルがいずれも高いときには、マイク３００Ａ，３００Ｂを持って歌唱する２人の歌唱者の歌唱中の画像が同時に得られることとなる。

以上説明した本変形例によれば、上記実施形態と同様の効果に加え、以下のような効果を得ることができる。すなわち、マイク３００Ａ，３００Ｂをそれぞれ所持する複数の利用者Ａ〜Ｃが順番に入れ替わって歌唱したり交互に歌唱している場合に、それら複数の利用者Ａ〜Ｃのうちその時点で歌唱している利用者の映像だけを確実に切り出すことができる。また、同時に歌唱した２人の歌唱者それぞれの映像をすべて部分映像データとして切り出すことで、１台の全周カメラ４００で歌唱者を特定しつつ、２人の歌唱者の姿を同時に映像データ化することもできる。

なお、本変形例では、２つのマイク３００Ａ，３００Ｂを設けたが、マイクを３つ以上設け、各マイクから異なる色のマーカ光を発生させるようにしてもよい。

（２）カラオケ歌唱の採点結果を加味して切り出しを行う場合
本変形例では、マイク３００Ａ，３００Ｂから入力されるカラオケ歌唱の音声を採点し、その採点結果に基づいてマイク３００Ａ，３００Ｂの位置の部分映像データを切り出す。

図１６は、本変形例において、制御部１０１により実行される処理手順の詳細を表すフローチャートである。なお、この図１６は、前述の図１３に対応する図である。図１３と同等の手順には同符号を付し説明を適宜省略する。

図１６において、まずステップＳ１５０において、マイク３００Ａ，３００Ｂから入力されるカラオケ歌唱の音声の採点を公知の適宜の手法で開始する。このステップＳ１５０は、各請求項記載の採点手段を構成する。その後、上記のステップＳ１０に移る。

その後、ステップＳ１０５において、マイク３００Ａ，３００Ｂがいずれも使用されているかどうかを判定し、マイク３００Ａ，３００Ｂがいずれも使用されているときは、判定が満たされてステップＳ１５５に移る。

ステップＳ１５５では、緑マーカ光マイク３００Ａより入力されるカラオケ歌唱のほうが赤マーカ光マイク３００Ｂより入力されるカラオケ歌唱よりも得点が高いかどうかを判定する。緑マーカ光マイク３００Ａより入力されるカラオケ歌唱のほうが赤マーカ光マイク３００Ｂより入力されるカラオケ歌唱よりも得点が高いときは、ステップＳ１５５の判定が満たされて上記のステップＳ１２０に移る。緑マーカ光マイク３００Ａより入力されるカラオケ歌唱のほうが赤マーカ光マイク３００Ｂより入力されるカラオケ歌唱よりも得点が高くないときは、ステップＳ１５５の判定が満たされず、上記のステップＳ１３５に移る。

上記ステップＳ１２０及びステップＳ１３０以降の処理は前述と同様であるので、説明を省略する。なお、上記は、緑マーカ光マイク３００Ａ及び赤マーカ光マイク３００Ｂより入力されるカラオケ歌唱のうち得点が高いほうのマイクの位置を特定し、その後の処理を順次実行したが、これには限られない。すなわち、マイク３００Ａ，３００Ｂより入力されるカラオケ歌唱の得点が所定値以上であるときに、マイク３００Ａ，３００Ｂの位置を特定し、その後の処理を順次実行するようにしてもよい。

本変形例においては、複数の歌唱者のうち採点結果があるレベル以上の者、あるいは最も採点結果がよかった者の姿だけを部分映像データとして切り出すことができる。この場合、複数人で楽しむゲーム感覚により、娯楽性を向上することができる。

なお、本変形例では、２人の利用者がマイク３００Ａ，３００Ｂを用いて歌唱するようにしたが、これに限られない。すなわち、利用者が１人で歌唱する場合には、歌唱者が上手に歌えたときのみ、その姿を部分映像データとして切り出すことで、娯楽性を向上することもできる。

（３）その他
上記実施形態や（１）（２）の変形例では、マイク３００のマーカ光に基づいてマイク３００の位置を特定し、マイク３００を所持する歌唱者を含む部分映像データを切り出し、この部分映像データを補正するという処理を、歌唱者の歌唱中にリアルタイムに実行しているが、これに限られない。すなわち、全周カメラ４００で撮影して得られたカラオケルームＫＲ内の映像を録画しておき、上記の処理を歌唱後に実行してもよい。これにより、例えば複数の歌唱者が一斉に歌唱し、うまく映像が撮れた者の姿のみ、上手に歌えた者の姿のみ、をアップロードする等のゲーム性を与えることができる。

また、上記実施形態では、マイク３００を所持する歌唱者を含む部分映像データを構成するエリアＡ１〜Ｈ４が自動的に判定されるが、これに限られない。すなわち、全周カメラ４００で撮影して得られたカラオケルームＫＲ内の映像を録画しておき、歌唱者の歌唱後に、利用者に自らカーソルキー等でエリアＡ１〜Ｈ４を選択させるようにしてもよい。この場合には、１人でカラオケ店舗に訪れているにもかかわらず、歌唱者が自ら好みのアングルで歌唱している映像を選択するという楽しみ方を実現することが可能となる。

また、図６、図１３、図１６等に示すフローチャートは本発明を上記フローに示す手順に限定するものではなく、発明の趣旨及び技術的思想を逸脱しない範囲内で手順の追加・削除又は順番の変更等をしてもよい。

また、以上既に述べた以外にも、上記実施形態や各変形例による手法を適宜組み合わせて利用しても良い。

その他、一々例示はしないが、本発明は、その趣旨を逸脱しない範囲内において、種々の変更が加えられて実施されるものである。

１０カラオケ装置
１００装置本体
１０１制御部
１０６音源（楽曲再生手段）
１０７音声制御部（楽曲再生手段）
１０８スピーカ（楽曲再生手段）
１０９表示部（表示手段）
２００リモコン
３００マイク（マイクロフォン）
３００Ａマイク（マイクロフォン）
３００Ｂマイク（マイクロフォン）
３０４ＬＥＤ（標識信号発生手段）
４００全周カメラ（動画撮影カメラ）

Claims

楽曲データ及び映像データを用いて、カラオケ演奏曲の再生サービスを提供するカラオケ装置であって、
前記楽曲データを再生する楽曲再生手段と、
前記楽曲再生手段により前記楽曲データの再生が行われるのに従い、前記映像データを表示可能な表示手段と、
歌唱者に所持され、前記歌唱者によるカラオケ歌唱の音声信号を入力するためのマイクロフォンと、
前記マイクロフォンに設けられ、標識信号を発生する標識信号発生手段と、
前記マイクロフォン及び前記歌唱者を含む所定範囲の視野を撮影し、前記標識信号発生手段から発生された前記標識信号を含む前記所定範囲の映像データを生成する１台の動画撮影カメラと、
前記１台の動画撮影カメラにより生成された前記所定範囲の映像データに含まれる前記標識信号に基づいて前記マイクロフォンの位置を特定し、前記所定範囲の映像データから前記特定した位置を含む部分映像データを切り出す映像抽出手段と、
前記映像抽出手段により切り出された部分映像データに所定の補正処理を行い、補正処理後の映像を前記表示手段に表示させる表示制御手段と
を有することを特徴とするカラオケ装置。
請求項１記載のカラオケ装置において、
前記マイクロフォンより入力される音声信号の入力レベルが所定値以上であるか否かを判定する音声判定手段を有し、
前記映像抽出手段は、
前記入力レベルが所定値以上であると判定されるとともに前記標識信号発生手段からの前記標識信号が前記所定範囲の映像データに含まれる前記マイクロフォンの位置を特定し、前記所定範囲の映像データから前記特定した位置を含む部分映像データを切り出す
ことを特徴とするカラオケ装置。
請求項１又は請求項２記載のカラオケ装置において、
前記複数のマイクロフォンにそれぞれ設けられた複数の標識信号発生手段が、互いに異なる色の前記標識信号を発生し、
前記映像抽出手段は、
前記所定範囲の映像データに含まれる前記標識信号の備える色に基づいて複数の前記マイクロフォンそれぞれの位置を区別して特定し、特定した各位置の部分映像データを前記所定範囲の映像データから切り出す
ことを特徴とするカラオケ装置。
請求項１乃至請求項３のいずれか１項記載のカラオケ装置において、
前記楽曲再生手段によって前記楽曲データの再生が行われた際に、前記マイクロフォンから入力される前記カラオケ歌唱の音声信号を、各マイクロフォンごとに、採点する採点手段と、
前記映像抽出手段は、
前記採点手段による採点結果が所定値以上である特定の前記マイクロフォンの位置を前記標識信号を用いて特定し、前記特定した位置の部分映像データを前記所定範囲の映像データから切り出す
ことを特徴とするカラオケ装置。