JP2014199282A - ユーザーカメラで撮影された静止画を利用可能な歌唱動画データ生成装置 - Google Patents

Abstract

【課題】カラオケ歌唱中の歌唱者等を撮影することで生成される歌唱動画データについて、個性的な演出が可能とし、興趣を高める。
【解決手段】
歌唱静止画データ取得手段（本体側通信部３２、本体側制御部３１）が、ユーザーカメラＵＣで取得された歌唱静止画データ（Ｘ００１等）を撮影タイミング情報と関連付けて取得する。そして、歌唱動画データ生成手段によって生成される歌唱動画データは、通常時には歌唱映像データに基づく歌唱映像を再生させるが、撮影タイミングが到来すると、歌唱静止画データに基づく歌唱映像を再生させる。例えば、歌唱動画データに基づく歌唱映像に代えて歌唱静止画データに基づく歌唱映像をユーザー端末の画面に表示させたり、歌唱動画データに基づく歌唱映像と歌唱静止画データに基づく歌唱映像とを同じ画面に表示させたりする。
【選択図】図９

Description

本発明は、カラオケ歌唱中の歌唱者等を撮影することで歌唱動画データを生成する歌唱動画データ生成装置に関する。

近年、カラオケ歌唱中の歌唱者等を撮影することで歌唱動画データを生成し、この歌唱動画データに基づく歌唱動画コンテンツを公開するサービスが好評を博している。ここで、設備の関係から、歌唱者等の撮影場所はカラオケルーム等に限定されている。そして、カラオケルーム等においてビデオカメラの設置位置は固定されている。このため、得られる歌唱動画コンテンツは似たような雰囲気になりがちである。

通常のカラオケ歌唱では、ユーザーカメラで撮影された静止画を背景画像として表示させ、カラオケ歌唱を盛り上げる技術が提案されている（例えば特許文献１を参照）。また、歌唱者映像とテキストを表示させることで、カラオケ歌唱を盛り上げる技術も提案されている（例えば特許文献２を参照）。

特開２００６−３８４３号公報 特開２０１２−１０８４９３号公報

個性的な歌唱動画コンテンツを得るため、歌唱動画データの生成に際して各特許文献に記載された技術を取り入れることが考えられる。しかしながら、特許文献１に記載の技術を取り入れて歌唱動画データを生成した場合、ユーザーの静止画を背景映像にしたカラオケ歌唱映像が得られるが、背景映像は事前に準備されたものであるため、カラオケ歌唱との関連性が乏しい。また、歌唱者の撮影はビデオカメラだけで行われているので、歌唱者の映像については個性が乏しくなってしまう。そして、特許文献２に記載の技術は、テキストを表示させるものであるから、歌唱者の映像については個性が乏しくなってしまう。

本発明は、このような事情に鑑みてなされたものであり、その目的は、カラオケ歌唱中の歌唱者等を撮影することで生成される歌唱動画データについて、個性的な演出を可能とし、興趣を高めることにある。

前述の目的を達成するため、本発明に係る歌唱動画データ生成装置は、カラオケ歌唱を録音することで歌唱音声データを生成する歌唱音声データ生成手段と、前記カラオケ歌唱を撮影することで歌唱映像データを生成する歌唱映像データ生成手段と、静止画を撮影可能な通信機能付のユーザーカメラと通信可能であり、前記カラオケ歌唱の最中に前記ユーザーカメラでの撮影で取得された歌唱静止画データを、撮影タイミングを示す撮影タイミング情報と関連付けて取得する歌唱静止画データ取得手段と、前記歌唱音声データに基づく歌唱音声と前記歌唱映像データに基づく歌唱映像を再生させ、前記撮影タイミングでは前記歌唱静止画データに基づく静止画を歌唱映像の少なくとも一部として再生させる歌唱動画データを、前記歌唱音声データ、前記歌唱映像データ、及び前記歌唱静止画データに基づいて生成する歌唱動画データ生成手段を有することを特徴とする。

本発明に係る歌唱動画データ生成装置によれば、歌唱静止画データ取得手段が、ユーザーカメラで取得された歌唱静止画データを撮影タイミング情報と関連付けて取得する。そして、歌唱動画データ生成手段によって生成される歌唱動画データは、通常時には歌唱映像データに基づく歌唱映像を再生させるが、撮影タイミングが到来すると、歌唱静止画データに基づく歌唱映像を再生させる。例えば、歌唱動画データに基づく歌唱映像に代えて歌唱静止画データに基づく歌唱映像をユーザー端末の画面に表示させたり、歌唱動画データに基づく歌唱映像と歌唱静止画データに基づく歌唱映像とを同じ画面に表示させたりする。これにより、カラオケ歌唱中の様子を様々なアングルから表示できるので、カメラアングル等によって個性的な演出が可能となり、興趣を高めることができる。また、静止画の表示タイミングが、カラオケ歌唱時の撮影タイミングと同期しているので、臨場感のある演出が可能になる。

前述の歌唱動画データ生成装置において、前記歌唱音声データ生成手段は、ＭＰ３形式の歌唱音声データを生成すると共に、前記歌唱静止画データを識別する識別情報、及び前記撮影タイミング情報を、前記歌唱音声データのタグ情報として記憶し、前記歌唱動画データ生成手段は、前記タグ情報を参照することで、再生対象となる前記歌唱静止画データと再生タイミングを認識することが好ましい。この構成では、ＭＰ３形式のタグ情報を有効活用することで、歌唱静止画データとその再生タイミングを制御上認識できる。

前述の歌唱動画データ生成装置において、前記歌唱静止画データ取得手段は、前記歌唱静止画データを、前記ユーザーカメラの機種を識別するための機種識別情報と関連付けて取得することが好ましい。この構成では、何れのユーザーカメラで撮影された静止画であるかを制御上認識できる。

前述の歌唱動画データ生成装置において、前記歌唱音声データ生成手段、前記歌唱映像データ生成手段、及び前記歌唱静止画データ取得手段をカラオケ装置に設け、前記歌唱動画データ生成手段を前記カラオケ装置と通信可能に設けられたサーバーに設けることが好ましい。この構成では、歌唱動画データの生成をサーバーで行っているので、通信回線の負荷を低減できるし、歌唱動画データに基づくコンテンツの公開処理も容易に行える。

本発明によれば、カラオケ歌唱中の歌唱者等を撮影することで生成される歌唱動画データについて、個性的な演出が可能となり、興趣を高めることができる。

カラオケシステムの概略構成を説明する概念図である。 ホスト装置（サーバー）の構成を説明するブロック図である。 歌唱音声データのデータ構成を説明する概念図である。 歌唱静止画データのデータ構成を説明する概念図である。 カラオケ装置の構成を説明するブロック図である。 カラオケ本体の構成を説明するブロック図である。 ユーザー端末の構成を説明するブロック図である。 カラオケ歌唱期間における撮影タイミングを説明する概念図である。 生成される閲覧用動画データを説明する概念図である。 歌唱映像の切り替えを説明する図である。 カラオケシステムの動作を説明するフローチャートである。 歌唱映像の切り替えの第１変形例を説明する図である。 歌唱映像の切り替えの第２変形例を説明する図である。

以下、本発明の実施形態について説明する。図１に示すカラオケシステムは、歌唱動画データ生成システムに相当し、ホスト装置１とカラオケ装置２とユーザー端末３とを有している。そして、これらが通信回線４を介して通信可能に接続されている。また、詳細は後述するが、このカラオケシステムでは、後述する登録処理（図１１，Ｓ３）で、ユーザーカメラＵＣ（図５参照）がカラオケ装置２と通信可能に接続される。これにより、ユーザーカメラＵＣでの撮影で取得された歌唱静止画データが、カラオケ装置２へ自動的に転送される。

このカラオケシステムでは、カラオケ歌唱で取得された歌唱映像データ、歌唱音声データ、及びカラオケ歌唱時にユーザーカメラＵＣで取得された歌唱静止画データが、カラオケ装置２からホスト装置１へ送信される。そして、ホスト装置１は、受信した歌唱映像データ、歌唱音声データ、及び歌唱静止画データに基づいて閲覧用動画データを生成する。この閲覧用動画データは、歌唱動画コンテンツの基となる歌唱動画データであり、ユーザー端末３を通じて閲覧可能な状態で公開される。以下、カラオケシステムを構成する各装置について説明する。

まず、ホスト装置１について説明する。ホスト装置１はサーバーとして機能し、顧客情報や閲覧用動画データといった各種情報を蓄積して管理する。図２に示すように、ホスト装置１は、ホスト側制御部１１と、ホスト側通信部１２と、ホスト側記憶部１３とを有している。

ホスト側制御部１１は、ホスト装置１における制御の中心となる部分であり、ＣＰＵ１１ａやメモリ１１ｂを有している。ＣＰＵ１１ａは、メモリ１１ｂに記憶された動作プログラムに従って各種の制御を実行する。メモリ１１ｂは、ＣＰＵ１１ａに実行されるプログラムを記憶したり、プログラムの実行時に各種情報を一時的に記憶したりする記憶素子である。ホスト側通信部１２は、ホスト装置１を通信回線４に接続するためのインタフェースを提供する。

ホスト側記憶部１３は、大容量の情報を記憶する記憶装置であり、ハードディスクドライブ等によって構成されている。ホスト側記憶部１３の一部領域は、顧客情報記憶領域、歌唱音声データ記憶領域、歌唱映像データ記憶領域、歌唱静止画データ記憶領域、閲覧用動画データ記憶領域として用いられている。

顧客情報記憶領域には、歌唱者毎の識別情報である利用者ＩＤに対応付けられた状態で、性別、年齢、生年月日、住所等の個人情報や、利用店舗、利用日時、歌唱履歴等の履歴データが記憶されている。また、後述する登録処理（図１１，Ｓ３）において、歌唱者が使用するユーザーカメラＵＣが登録された場合には、カラオケ装置２を通じて、そのユーザーカメラＵＣの機種を示す機種識別情報も登録される。

歌唱音声データ記憶領域には、カラオケ歌唱時に取得された歌唱音声データが記憶され、歌唱映像データ記憶領域には、カラオケ歌唱時に取得された歌唱映像データが記憶され、歌唱静止画データ記憶領域には、カラオケ歌唱時にユーザーカメラＵＣで取得された歌唱静止画データが記憶される。本実施形態において、歌唱音声データはＭＰ３形式のデータが用いられ、歌唱映像データはＭＰＥＧ２形式のデータが用いられ、歌唱静止画データはＥｘｉｆ形式のデータが用いられる。

図３に示すように、歌唱音声データには、ヘッダ部、音声データ部、及びタグ情報部が設けられている。そして、ヘッダ部にはヘッダ情報が記録され、音声データ部には音声データが記録されている。また、タグ情報部には、各種のタグ情報が記録されている。このカラオケシステムでは、カラオケ歌唱開始からの経過時間と、ユーザーカメラＵＣで取得された歌唱静止画データのファイル名と、ユーザーカメラＵＣの機種識別情報と、撮影日時と、ユーザーカメラＵＣを保有する歌唱者の利用者ＩＤがタグ情報として記録されている。

これらの情報のうち、経過時間の情報は、対応する歌唱静止画データが撮影されたタイミングを示す撮影タイミング情報である。図３の例で説明すると、ファイル名Ｘ００１．ＪＰＧは、カラオケ歌唱開始から時間ｔ１経過後に撮影された歌唱静止画データであり、ファイル名Ｙ０１０．ＪＰＧは、カラオケ歌唱開始から時間ｔ２経過後に撮影された歌唱静止画データである。

また、図４に示すように、歌唱静止画データには、ファイル名記録部、画像データ部、及び画像情報部が設けられている。ファイル名記録部にはその歌唱静止画データに付されたファイル名が記録され、画像データ部には例えばＪＰＥＧ形式の画像データが記録される。また、画像情報部には、撮影時の露光条件、撮影日時、及び機種識別情報の各情報が記録されている。なお、画像情報部に記憶される各情報は、撮影に伴ってユーザーカメラＵＣが記録する。

そして、歌唱音声データのタグ情報部に記憶されるファイル名、撮影日時、及び機種識別情報の各情報は、歌唱静止画データから取得される。また、カラオケ歌唱開始からの経過時間の情報はカラオケ装置２から取得され、利用者ＩＤは顧客情報記憶領域から取得される。

閲覧用動画データ記憶領域には、閲覧用動画データが記憶される。この閲覧用動画データは、ユーザー端末３を通じて閲覧可能に公開される歌唱動画コンテンツの基となる歌唱動画データであり、例えばＷＭＶ形式やＭＰ４形式の動画データである。そして、歌唱音声データ、歌唱映像データ、及び歌唱静止画データに基づいて生成される。本実施形態では、カラオケ歌唱の終了に伴い、歌唱音声データ、歌唱映像データ、及び歌唱静止画データがカラオケ装置２からホスト装置１にアップロードされる。そして、ホスト装置１は、受信した各データを合成することで、閲覧用動画データを生成する。

このため、ホスト装置１は、歌唱音声データ、歌唱映像データ、及び歌唱静止画データに基づき、歌唱動画データを生成する歌唱動画データ生成手段に相当する。なお、生成される閲覧用動画データの内容については、後で説明する。

次に、カラオケ装置２について説明する。このカラオケ装置２は、カラオケ演奏や歌唱時における映像や音声の記録等を行う装置であり、図１に示すように、例えばカラオケ店ＫＢの各カラオケルームＲＭに設置されている。そして、図５に示すように、カラオケ装置２は、カラオケ本体２１と、スピーカ２２と、モニタ２３と、マイク２４と、ビデオカメラ２５と、リモコン装置２６とを有している。また、カラオケ店ＫＢには、リモコン装置２６を通信回線４に接続するためのアクセスポイントＡＰ及びルータＲＴが設けられている。

カラオケ本体２１は、選択されたカラオケ楽曲の演奏制御、歌詞及び背景映像の表示制御、マイク２４を通じて入力された歌唱音声信号の処理といった、カラオケ歌唱に関する各種の制御を行う部分である。このカラオケ本体２１については、後で詳しく説明する。

スピーカ２２は、カラオケ本体２１に接続されており、カラオケ本体２１からの放音信号に基づいて放音する。モニタ２３もカラオケ本体２１に接続されており、カラオケ本体２１からの映像信号に基づいて映像を画面に表示する。マイク２４もカラオケ本体２１に接続されており、歌唱者の音声をアナログの歌唱音声信号に変換してカラオケ本体２１に入力させる。ビデオカメラ２５もカラオケ本体２１に接続されており、歌唱中の映像を歌唱映像信号に変換してカラオケ本体２１に入力させる。

リモコン装置２６は、カラオケ本体２１やユーザーカメラＵＣとの間で情報を送受信するための双方向通信可能な短距離無線通信部（例えばBluetooth（登録商標）や赤外線通信部）を備えており、カラオケ楽曲の予約時や利用者ＩＤの取得等は、このリモコン装置２６のインタフェースを介して行う。リモコン装置２６からは、演奏対象の楽曲を識別するための楽曲ＩＤを含んだ操作信号が送信される。また、登録された利用者がリモコン装置２６を通じてログインした場合、その利用者の利用者ＩＤがホスト装置１に送信される。そして、この利用者ＩＤに基づきマイページ等に登録されている各種情報がリモコン装置２６にダウンロードされ表示される。加えて、１つのリモコン装置２６によって複数の利用者がログインできる。

また、本実施形態のリモコン装置２６は、ユーザー端末３としても機能する。この場合、リモコン装置２６は、アクセスポイントＡＰ、及び通信回線４を経由してホスト装置１に接続される。このため、利用者は、カラオケ店ＫＢに居ながらにして、マイページにアクセスできる。

なお、図５には、カラオケ装置２に加え、ユーザーカメラＵＣも示されている。このユーザーカメラＵＣは、カラオケの利用者が保有するものであり、カラオケ歌唱中に撮影された静止画を歌唱静止画データとして取得するものである。このユーザーカメラＵＣは、静止画データを取得でき、かつ、リモコン装置２６及びカラオケ本体２１と通信可能な短距離無線通信部を有するものであればよい。このため、通信機能付きのデジタルスチルカメラＵＣ１やスマートフォンＵＣ２が含まれる。

次に、カラオケ本体２１について詳細に説明する。図６に示すように、カラオケ本体２１は、本体側制御部３１と、本体側通信部３２と、本体側記憶部３３と、音響処理部３４と、表示処理部３５と、映像入力部３６と、操作部３７とを有している。そして、これらの各部がデータバスを介して通信可能な状態に接続されている。

本体側制御部３１は、カラオケ本体２１における制御の中心となる部分であり、ＣＰＵ３１ａやメモリ３１ｂを有している。ＣＰＵ３１ａは、メモリ３１ｂに記憶された動作プログラムに従って各種の制御を実行する。例えば、操作部３７からの操作を受け付ける操作入力処理やシーケンサとして動作するシーケンサ処理を行う。メモリ３１ｂは、ＣＰＵ３１ａに実行されるプログラムを記憶したり、プログラムの実行時に各種情報を一時的に記憶したりする記憶素子である。本体側通信部３２は、カラオケ本体２１（カラオケ装置２）やユーザーカメラＵＣを通信回線４に接続するためのインタフェースを提供する。この本体側通信部３２を介して、カラオケ本体２１は、ホスト装置１やユーザーカメラＵＣとの間で各種データの送受信が行える。

本体側記憶部３３は、各種のデータを記憶する大容量の記憶装置であり、例えばハードディスクドライブによって構成されている。この本体側記憶部３３には、例えば、楽曲データ記憶領域、背景映像データ記憶領域、歌唱映像データ記憶領域、歌唱音声データ記憶領域、歌唱静止画データ記憶領域が設けられる。

楽曲データ記憶領域には、リモコン装置２６で選択されたカラオケ楽曲を演奏するための楽曲データが記憶され、背景映像データ記憶領域には、モニタ２３に背景映像を表示させるための背景映像データが記憶される。歌唱映像データ記憶領域には、ビデオカメラ２５で撮影された歌唱映像データが記憶され、歌唱音声データ記憶領域には、歌唱音声データが記憶される。歌唱静止画データ記憶領域には、ユーザーカメラＵＣで取得され、ユーザーカメラＵＣから送られてきた、Ｅｘｉｆ形式の歌唱静止画データが記憶される。

このように、ユーザーカメラＵＣとカラオケ本体２１とは、本体側通信部３２によって通信可能に接続され、歌唱静止画データ記憶領域への歌唱静止画データの記憶は、本体側制御部３１によって制御される。加えて、本体側制御部３１は、歌唱静止画データの受信を契機にカラオケ歌唱の経過時間を取得し、画像情報部に記録されたユーザーカメラＵＣの機種識別情報を取得する。

このため、本体側通信部３２、及び本体側制御部３１の組は、ユーザーカメラＵＣで取得された歌唱静止画データを、撮影タイミングを示す撮影タイミング情報と関連付けて取得すると共に、ユーザーカメラＵＣの機種を識別するための機種識別情報と関連付けて取得する歌唱静止画データ取得手段に相当する。

音響処理部３４は、カラオケ楽曲に対する演奏の制御を行ったり、マイク２４を通じて入力された歌唱音声信号をデジタルの歌唱音声データに変換する等の制御を行ったりする部分である。この音響処理部３４では、伴奏データに応じて生成された楽音信号と歌唱音声データとが適当なバランスでミキシングされ、放音信号としてスピーカ２２へ出力される。

歌唱動画の記録モードが設定された場合、音響処理部３４は、カラオケ歌唱期間中の歌唱音声データを本体側記憶部３３の歌唱音声データ記憶領域に記憶させる。また、本体側制御部３１は、歌唱静止画データを受信する毎に、受信時点におけるカラオケ歌唱の経過時間、受信した歌唱静止画データのファイル名、撮影日時、機種識別情報を、利用者ＩＤに関連付けて取得し、取得した各情報を歌唱音声データのタグ情報として記憶させる。このため、本体側制御部３１、音響処理部３４、マイク２４の組は、カラオケ歌唱を録音することで歌唱音声データを生成する歌唱音声データ生成手段に相当する。

表示処理部３５は、カラオケ演奏時における背景映像の表示等の制御を行う。カラオケ演奏時において、表示処理部３５には背景映像データが入力されており、この背景映像データのデコードが行われる。そして、表示処理部３５は、デコードで生成された背景映像の映像信号に楽曲データの歌詞テロップを合成し、合成後の映像信号をモニタ２３に出力する。その結果、モニタ２３には、背景映像に歌詞テロップが重ねられた映像が表示される。

映像入力部３６は、ビデオカメラ２５からの歌唱映像信号の取り込み処理を行う部分であり、いわゆるビデオカードで構成されている。この映像入力部３６は、例えば、ビデオカメラ２５と接続するための外部インタフェース、データバスを通じて本体側制御部３１等と接続するための内部インタフェース、フレームバッファとしてのビデオメモリ、及び、ビデオメモリに記憶されたフレームから歌唱映像データを生成するエンコーダを有している（何れも図示せず）。

歌唱動画の記録モードが設定された場合、映像入力部３６は、カラオケ歌唱期間中の歌唱映像データを本体側記憶部３３の歌唱映像データ記憶領域に記憶させる。このため、映像入力部３６とビデオカメラ２５の組は、カラオケ歌唱を撮影することで歌唱映像データを生成する歌唱映像データ生成手段に相当する。

操作部３７は、パネルスイッチやリモコン受信回路などからなっており、利用者によるパネルスイッチやリモコン装置２６の操作に応じた操作信号を本体側制御部３１に対して出力する。本体側制御部３１は、操作入力処理を行うことで操作信号を検出し、対応する処理を実行する。なお、パネルスイッチやリモコン装置２６は、操作を選択するための種々のキースイッチ（図示せず）を備えている。

そして、リモコン装置２６を通じたログイン処理を経ることで、カラオケ歌唱時における歌唱動画の記録を指示することができる。歌唱動画の記録を指示することで、本体側記憶部３３の歌唱映像データ記憶領域及び歌唱音声データ記憶領域には、対象カラオケ楽曲の歌唱に伴って取得された歌唱映像データ及び歌唱音声データが記憶される。また、リモコン装置２６を通じた登録処理により、ユーザーカメラＵＣを利用者ＩＤに対応付けた状態で、カラオケ本体２１やホスト装置１に登録できる。これにより、対象カラオケ楽曲の歌唱期間中にユーザーカメラＵＣで取得された歌唱静止画データが、撮影の都度、本体側記憶部３３の歌唱静止画データ記憶領域に記憶される。さらに、楽曲終了後においては、記憶された歌唱映像データ、歌唱音声データ、及び歌唱静止画データがホスト装置１へアップロードされる。

次に、ユーザー端末３について説明する。ユーザー端末３は、カラオケの利用者によって操作される通信端末であり、歌唱動画コンテンツを閲覧する際などに操作される。図１に示すように、ユーザー端末３は、パーソナルコンピュータ３Ａ、タブレットコンピュータ３Ｂ、携帯電話機３Ｃなどが含まれる。また、前述したように、リモコン装置２６もユーザー端末３に含まれる。

図７に示すように、ユーザー端末３は、端末側制御部４１と、端末側通信部４２と、端末側記憶部４３と、表示部４４と、入力部４５とを有している。

端末側制御部４１は、ユーザー端末３における制御の中心となる部分であり、ＣＰＵ４１ａやメモリ４１ｂを有している。ＣＰＵ４１ａは、メモリ４１ｂに記憶された動作プログラムに従って各種の制御を実行する。メモリ４１ｂは、ＣＰＵ４１ａに実行されるプログラムを記憶したり、プログラムの実行時に各種情報を一時的に記憶したりする記憶素子である。端末側通信部４２は、ユーザー端末３を通信回線４に接続するためのインタフェースを提供する。端末側記憶部４３は、各種の情報を記憶する記憶装置であり、不揮発性メモリやハードディスクドライブ等によって構成される。

表示部４４及び入力部４５は、いずれもユーザインタフェースを提供する部分である。表示部４４は、各種メニュー等を表示する部分であり、例えば液晶表示装置やブラウン管で構成される。入力部４５は、利用者による操作を操作情報として取り込む部分であり、例えばキーボード、マウス、タッチパネルによって構成される。なお、可搬性が要求されるタブレットコンピュータ３Ｂやリモコン装置２６では、表示部４４と入力部４５とが一体化されたタッチパネル付きの液晶表示パネルが好適に用いられる。

次に、上記構成を有するカラオケシステムの動作について説明する。このカラオケシステムでは、ユーザーカメラＵＣで撮影された歌唱静止画データを、カラオケ装置２のビデオカメラ２５等で生成された歌唱映像データに合成し、閲覧用歌唱動画データを生成する点に特徴を有している。

以下、図８〜図１０を参照し、本カラオケシステムの特徴について説明する。カラオケ歌唱に先立ち、歌唱者は、リモコン装置２６を操作してログインし、ユーザーカメラＵＣを登録する。

例えば、ユーザーカメラＵＣの登録メニューを表示させ、リモコン装置２６の短距離無線通信部とユーザーカメラＵＣの短距離無線通信部とを通信状態にする。そして、ログイン中の利用者をリモコン装置２６で一覧表示し、対象のユーザーカメラＵＣを所有している利用者を選択させて登録する。この登録処理により、ユーザーカメラＵＣは、本体側通信部３２や通信回線４等を通じてカラオケ本体２１やホスト装置１と通信可能状態になる。そして、対応付けられた機種識別情報と歌唱者の利用者ＩＤを、カラオケ本体２１では本体側制御部３１のメモリ３１ｂに記憶させ、ホスト装置１ではホスト側記憶部１３の顧客情報記憶領域に記憶させる。

その後、歌唱動画の記録モードが選択され、歌唱対象のカラオケ楽曲が選択されると、当該カラオケ楽曲の楽曲ＩＤが本体側制御部３１のメモリ３１ｂに記憶され、演奏処理の待ち行列で管理される。

当該カラオケ楽曲の順番が到来すると調整モードに移行するので、歌唱者は、カラオケルームＲＭの明るさ調整、ビデオカメラ２５の角度調整及びズーム調整等を行う。各種調整が終了すると調整モードが解除され、歌唱映像録画（歌唱映像データの生成）及び歌唱音声録音（歌唱音声データの生成）が開始されると共に、カラオケ装置２によるカラオケ伴奏が開始される（図８，ｔ０）。なお、生成された歌唱映像データや歌唱音声データは、本体側記憶部３３の所定領域に順次記憶される。

カラオケ歌唱期間中にユーザーカメラＵＣでの撮影が行われると、ユーザーカメラＵＣで歌唱静止画データが生成される。生成された歌唱静止画データは、本体側通信部３２を通じてカラオケ本体２１に転送され、歌唱静止画データ記憶領域に記憶される。このとき、本体側制御部３１は、受信した歌唱静止画データに関し、受信時点におけるカラオケ歌唱の経過時間、ファイル名、撮影日時、機種識別情報、及び利用者ＩＤを取得し、メモリ３１ｂに一次記憶させる。

図８の例では、経過時間ｔ１にＸ００１．ＪＰＧの歌唱静止画データが取得され、経過時間ｔ２にＹ０１０．ＪＰＧの歌唱静止画データが取得され、経過時間ｔ３にＸ００２．ＪＰＧの歌唱静止画データが取得されている。そして、Ｘ００１．ＪＰＧとＸ００２．ＪＰＧの歌唱静止画データは或るユーザーカメラＵＣ（機種α０１）によって撮影され、Ｙ０１０．ＪＰＧの歌唱静止画データは別のユーザーカメラＵＣ（機種β０２）によって撮影されている。従って、メモリ３１ｂには、これらの歌唱静止画データに関する情報が一時記憶される。

経過時間ｔ４でカラオケ歌唱が終了すると、歌唱映像データ及び歌唱音声データの本体側記憶部３３への記憶も終了する。これに伴い、本体側制御部３１は、メモリ３１ｂに一次記憶させた各種情報を、歌唱音声データのタグ情報として書き込む。すなわち、カラオケ歌唱期間中に受信した全ての歌唱静止画データについて、経過時間、ファイル名、撮影日時、機種識別情報、及び利用者ＩＤの各情報を、タグ情報として書き込む。

その後、カラオケ装置２（カラオケ本体２１）は、歌唱映像データ、歌唱音声データ、及び歌唱静止画データの組を、ホスト装置１にアップロードする。ホスト装置１は、ダウンロードした歌唱映像データ、歌唱音声データ、及び歌唱静止画データに基づいて、閲覧用動画データを生成する。このとき、ホスト装置１は、タグ情報を参照することで、再生対象となる歌唱静止画データと再生タイミングを認識する。そして、ホスト装置１は、歌唱音声データに基づく歌唱音声と歌唱映像データに基づく歌唱映像を再生させ、撮影タイミングでは、対応する歌唱静止画データに基づく静止画を歌唱映像として再生させる閲覧用動画データを生成する。

この閲覧用動画データを具体例で説明すると、図９における経過時間ｔ０からｔ１までの期間、経過時間ｔ１ａからｔ２までの期間、経過時間ｔ２ａからｔ３までの期間、及び経過時間ｔ３ａからｔ４までの期間は、例えば図１０（ａ）に示すように、ビデオカメラ２５で撮影された歌唱映像が再生される（すなわち、ユーザー端末３の表示部４４で表示される）。そして、経過時間ｔ１からｔ１ａまでの期間、及び経過時間ｔ３からｔ３ａまでの期間は、例えば図１０（ｂ）に示すように、或るユーザーカメラＵＣで撮影された静止画が再生される。また、経過時間ｔ２からｔ２ａまでの期間は、例えば図１０（ｃ）に示すように、別のユーザーカメラＵＣで撮影された静止画が再生される。なお、静止画の再生期間は、任意の長さに定めることができる。

このカラオケシステムでは、ホスト装置１によって生成される閲覧用動画データは、通常時には歌唱映像データに基づく歌唱映像を表示部４４に表示させるが、撮影タイミングが到来すると、歌唱静止画データに基づく歌唱映像を表示させる。この例では、歌唱動画データに基づく歌唱映像に代えて歌唱静止画データに基づく歌唱映像を表示させている。これにより、撮影時点のカラオケ歌唱中の様子が異なるアングルから歌唱映像として表示されるので、カメラアングル等によって個性的な演出が可能となり、興趣を高めることができる。また、静止画の表示タイミングが、カラオケ歌唱時の撮影タイミングと同期しているので、臨場感のある演出が可能になる。

以下、図１１のフローチャートを参照し、前述の処理を行うための制御を説明する。

この制御では、まずカラオケ装置２からユーザーカメラＵＣの登録処理を要求する。例えば、リモコン装置２６を操作し、ユーザーカメラＵＣの登録処理を要求する登録要求スイッチを操作する。これにより、登録要求のコマンドが通信回線４を通じて、ホスト装置１へ送信される（Ｓ１）。このコマンドの受信により、ホスト装置１は、登録操作を要求するコマンドをカラオケ装置２へ送信する（Ｓ２）。これにより、リモコン装置２６には、歌唱者にユーザーカメラＵＣの登録操作を促すメッセージが表示される。

次に歌唱者は、ユーザーカメラＵＣの登録処理を行う（Ｓ３）。この登録処理は、前述したように、例えばリモコン装置２６に表示されるメッセージに従って行われる。そして、ユーザーカメラＵＣやリモコン装置２６に対する操作により、リモコン装置２６とユーザーカメラＵＣとが短距離無線通信で接続される。リモコン装置２６は、ユーザーカメラＵＣから機種別情報を受信し、ログイン中の利用者一覧の中から選択された利用者ＩＤに対応付ける。登録処理を終えると、ユーザーカメラＵＣは、本体側通信部３２や通信回線４を通じて、カラオケ本体２１やホスト装置１と通信可能な状態になる。これに伴い、カラオケ本体２１は、対応付けられた機種識別情報と歌唱者の利用者ＩＤの組を、本体側制御部３１のメモリ３１ｂに記憶させると共に、ホスト装置１に送信する。また、ホスト装置１は、受信した機種識別情報と歌唱者の利用者ＩＤの組を、顧客情報記憶領域に記憶させる。

次に、歌唱者は、リモコン装置２６を操作して、歌唱動画の記録モードを選択し（Ｓ４）、カラオケ楽曲を選択する（Ｓ５）。これにより、選択されたカラオケ楽曲の楽曲ＩＤが本体側制御部３１のメモリ３１ｂに記憶され、演奏処理の待ち行列で管理される。また、このカラオケ楽曲の演奏時に歌唱映像データと歌唱音声データを取得することが、ホスト装置１やカラオケ本体２１で制御上認識される。

選択されたカラオケ楽曲の順番が到来すると、まず調整モードに移行する。前述したように、この調整モードでは、カラオケルームＲＭの明るさ調整やビデオカメラ２５のズーム調整が行われる。調整モードが終了すると、その旨がリモコン装置２６を通じてカラオケ本体２１やホスト装置１に通知される。これに伴い、歌唱映像の録画及び歌唱音声の録音が開始され（Ｓ６）、あわせてカラオケ装置２によるカラオケ伴奏も開始される（Ｓ７）。

カラオケ楽曲の歌唱期間中に、ユーザーカメラＵＣによる撮影がなされると（Ｓ８）、ユーザーカメラＵＣで生成された歌唱静止画データがカラオケ本体２１に送信される。カラオケ本体２１では歌唱静止画データを受信すると（Ｓ９）、受信した歌唱静止画データを本体側記憶部３３の歌唱静止画データ記憶領域に記憶させる。また、受信時点でのカラオケ歌唱の経過時間、ファイル名、撮影日時、機種識別情報、及び利用者ＩＤを取得し、本体側制御部３１のメモリ３１ｂに一次記憶させる。なお、歌唱静止画データの送受信処理とデータの記憶処理は、ユーザーカメラＵＣによる撮影がなされる毎に行われる。

カラオケ伴奏が終了すると（Ｓ１０）、歌唱映像の録画及び歌唱音声の録音も終了する（Ｓ１１）。そして、本体側制御部３１は、メモリ３１ｂに一次記憶させた歌唱静止画データに関する情報を、歌唱音声データのタグ領域に書き込む。次に、カラオケ装置２（カラオケ本体２１）は、当該カラオケ楽曲の歌唱で取得された歌唱映像データ、歌唱音声データ、及び歌唱静止画データの組を、ホスト装置１へアップロードする（Ｓ１２）。

ホスト装置１は、カラオケ装置２からアップロードされた各データをダウンロードし（Ｓ１３）、各データに基づいて閲覧用動画データを生成する（Ｓ１４）。閲覧用動画データの生成に際し、ホスト装置１は、歌唱音声データのタグ情報に記録された経過時間、ファイル名、撮影日時、機種識別情報、及び利用者ＩＤの各情報を参照し、歌唱静止画データを選択すると共に、歌唱映像データに合成するタイミングを決定する。そして、生成された閲覧用動画データは、ユーザー端末３によって閲覧可能な状態で公開される。

以上説明したように、本実施形態のカラオケシステム（歌唱動画データ生成装置）では、本体側通信部３２、及び本体側制御部３１の組（歌唱静止画データ取得手段）が、ユーザーカメラＵＣで取得された歌唱静止画データを、経過時間の情報（撮影タイミング情報）と関連付けて取得する。そして、ホスト装置１（歌唱動画データ生成手段）によって生成される閲覧用動画データ（歌唱動画データ）は、通常時には歌唱映像データに基づく歌唱映像を表示させるが、撮影タイミングが到来すると、歌唱静止画データに基づく歌唱映像を表示させる。これにより、カメラアングル等によって個性的な演出が可能となり、興趣を高めることができる。また、静止画の表示タイミングが、カラオケ歌唱時の撮影タイミングと同期しているので、臨場感のある演出が可能になる。

また、本体側制御部３１、音響処理部３４、マイク２４の組（歌唱音声データ生成手段）は、ＭＰ３形式の歌唱音声データを生成すると共に、歌唱静止画データを識別するファイル名（識別情報）、及び経過時間の情報（撮影タイミング情報）を、歌唱音声データのタグ情報として記録させている。これにより、ホスト装置１（歌唱動画データ生成手段）は、タグ情報を参照することで、再生対象となる歌唱静止画データと再生タイミングを制御上認識することができる。

また、本体側制御部３１（歌唱静止画データ取得手段）は、歌唱静止画データを、ユーザーカメラＵＣの機種を識別するための機種識別情報と関連付けて取得しているので、ユーザーカメラＵＣの機種を制御上認識できる。

また、このカラオケシステムでは、歌唱音声データ生成手段、歌唱映像データ生成手段、及び歌唱静止画データ取得手段をカラオケ装置２に設け、歌唱動画データ生成手段をホスト装置１（サーバー）に設けているので、閲覧用動画データをカラオケ本体２１で生成する場合よりも、通信回線４の負荷を低減できる。また、歌唱動画データの生成後直ちにコンテンツの公開処理に移行できるので、処理を容易かつ円滑に行える。

以上の実施形態の説明は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明はその趣旨を逸脱することなく、変更、改良され得ると共に本発明にはその等価物が含まれる。例えば、次のように構成してもよい。

まず、生成される閲覧用動画データに関し、前述の実施形態では、歌唱動画データに基づく歌唱映像に代えて歌唱静止画データに基づく歌唱映像を、表示部４４に表示させるものを例示したが、このデータに限定されるものではない。例えば、歌唱動画データに基づく歌唱映像と歌唱静止画データに基づく歌唱映像とを同じ画面に表示させてもよい。要するに、歌唱静止画データに基づく静止画を歌唱映像の少なくとも一部として再生させるものであればよい。

例えば、図１２（ａ）に示すように、歌唱動画データに基づく歌唱映像を主体とし、歌唱静止画データに基づく歌唱映像を小さい表示領域でスーパーインポーズさせてもよい。反対に、図１２（ｂ）に示すように、歌唱静止画データに基づく歌唱映像を主体とし、歌唱静止画データに基づく歌唱映像を小さい表示領域でスーパーインポーズさせてもよい。さらに、図１３に示すように、歌唱動画データに基づく歌唱映像を主体とし、歌唱静止画データに基づく歌唱映像を移動させながら表示させてもよい。

また、前述の実施形態では、事前にユーザーカメラＵＣを登録し、その後にモードの選択やカラオケ楽曲の選択を行っていたが、この構成に限定されるものではない。例えば、モードを選択した後にユーザーカメラＵＣを登録してもよい。

１…ホスト装置，２…カラオケ装置，３…ユーザー端末，３Ａ…パーソナルコンピュータ，３Ｂ…タブレットコンピュータ，３Ｃ…携帯電話機，４…通信回線，１１…ホスト側制御部，１１ａ…ＣＰＵ，１１ｂ…メモリ，１２…ホスト側通信部，１３…ホスト側記憶部，２１…カラオケ本体，２２…スピーカ，２３…モニタ，２４…マイク，２５…ビデオカメラ，２６…リモコン装置，３１…本体側制御部，３１ａ…ＣＰＵ，３１ｂ…メモリ，３２…本体側通信部，３３…本体側記憶部，３４…音響処理部，３５…表示処理部，３６…映像入力部，３７…操作部，４１…端末側制御部，４１ａ…ＣＰＵ，４１ｂ…メモリ，４２…端末側通信部，４３…端末側記憶部，４４…表示部，４５…入力部，ＫＢ…カラオケ店，ＲＭ…カラオケルーム，ＡＰ…アクセスポイント，ＲＴ…ルータ，ＵＣ…ユーザーカメラ，ＵＣ１…デジタルスチルカメラ，ＵＣ２…スマートフォン

Claims (4)

1. カラオケ歌唱を録音することで歌唱音声データを生成する歌唱音声データ生成手段と、
   前記カラオケ歌唱を撮影することで歌唱映像データを生成する歌唱映像データ生成手段と、
   静止画を撮影可能な通信機能付のユーザーカメラと通信可能であり、前記カラオケ歌唱の最中に前記ユーザーカメラで取得された歌唱静止画データを、撮影タイミングを示す撮影タイミング情報と関連付けて取得する歌唱静止画データ取得手段と、
   前記歌唱音声データに基づく歌唱音声と前記歌唱映像データに基づく歌唱映像を再生させ、前記撮影タイミングでは前記歌唱静止画データに基づく静止画を歌唱映像の少なくとも一部として再生させる歌唱動画データを、前記歌唱音声データ、前記歌唱映像データ、及び前記歌唱静止画データに基づいて生成する歌唱動画データ生成手段を有することを特徴とする歌唱動画データ生成装置。
2. 前記歌唱音声データ生成手段は、
   ＭＰ３形式の歌唱音声データを生成すると共に、
   前記歌唱静止画データを識別する識別情報、及び前記撮影タイミング情報を、前記歌唱音声データのタグ情報として記憶し、
   前記歌唱動画データ生成手段は、
   前記タグ情報を参照することで、再生対象となる前記歌唱静止画データと再生タイミングを認識することを特徴とする請求項１に記載の歌唱動画データ生成装置。
3. 前記歌唱静止画データ取得手段は、前記歌唱静止画データを、前記ユーザーカメラの機種を識別するための機種識別情報と関連付けて取得することを特徴とする請求項１又は２に記載の歌唱動画データ生成装置。
4. 前記歌唱音声データ生成手段、前記歌唱映像データ生成手段、及び前記歌唱静止画データ取得手段をカラオケ装置に設け、前記歌唱動画データ生成手段を前記カラオケ装置と通信可能に設けられたサーバーに設けることを特徴とする請求項１から３の何れか１項に記載の歌唱動画データ生成装置。

Images