JP6073145B2 - 歌唱音声データ生成装置、及び、歌唱動画データ生成装置 - Google Patents

Description

本発明は、カラオケ歌唱時の歌唱音声データを生成するための歌唱音声データ生成装置に関する。また、本発明は、歌唱音声データ生成装置で生成された歌唱音声データと、ユーザービデオカメラで撮影されたカラオケ歌唱時の動画データとから、歌唱動画データを生成する歌唱動画データ生成装置に関する。

近年、カラオケ産業では、カラオケ歌唱中の映像及び音声を記録し、歌唱動画コンテンツとして公開するサービスが行われている。このサービスでは、カラオケルームに設置されたビデオカメラで撮影が行われるが、ビデオカメラの設置位置や設置台数に制約があることから、得られた歌唱動画コンテンツは似通った映像になってしまう。

個性的な歌唱動画コンテンツを得るため、カラオケルームでユーザーが撮影したユーザー動画コンテンツを公開することも考えられるが、その音質は前述のサービスで得られた歌唱動画コンテンツに遠く及ばず、満足のゆくものとはいえなかった。また、特許文献１に記載されているように、営業用のカラオケシステムでユーザーが撮影したユーザー動画や静止画を利用する技術としては、ユーザー動画等をカラオケ歌唱時の背景映像として利用するに留まっていた。

特開２００６−３８４３号公報

このように、従来のカラオケシステムでは、個性的な歌唱動画コンテンツを得ようとすると音質の面で満足が得られ難く、音質を重視すると個性的な歌唱動画コンテンツを得ることが難しかった。ここで、ユーザー動画データの映像部分とカラオケ装置で取得された歌唱音声データとを合成して新たな歌唱動画データを生成できれば、個性的かつ高音質な歌唱動画コンテンツが得られるが、ユーザー動画データと歌唱音声データとを合成する有効な手法は提案されていない。

本発明は、このような事情に鑑みてなされたものであり、その目的は、ユーザー動画データとの合成に適した歌唱音声データを取得すること、及び、個性的かつ高音質な歌唱動画コンテンツを得ることにある。

前述の目的を達成するため、本発明は、ユーザービデオカメラで撮影されたカラオケ歌唱時の動画データに合成される、前記カラオケ歌唱時の歌唱音声データを生成するための歌唱音声データ生成装置であって、可聴周波数範囲外であって前記ユーザービデオカメラで録音可能な周波数の同期音を出力する同期音出力手段と、前記カラオケ歌唱時の歌唱音声を前記同期音と共に録音し、前記歌唱音声データを生成する歌唱音声データ生成手段とを有することを特徴とする。

本発明によれば、ユーザービデオカメラで撮影された動画データと歌唱音声データ生成装置で生成された歌唱音声データのそれぞれに同期音が含まれているので、これらの同期音に基づいて、動画データの映像部分と歌唱音声データの時刻を同期させることができる。これにより、ユーザー動画データとの合成に適した歌唱音声データを取得できる。

前述の歌唱音声データ生成装置において、前記同期音出力手段は、異なる出力パターンに設定された前記同期音を、間隔を空けて繰り返し出力することが好ましい。この構成では、同期音のパターンに応じ、カラオケ歌唱における複数の時刻で、ユーザー動画データと歌唱音声データを同期させることができる。

前述の歌唱音声データ生成装置において、前記歌唱音声データ生成手段は、前記歌唱音声をマイクによって変換した歌唱音声信号と、前記同期音の基となる同期音信号とをミキシングするミキシング部を備え、ミキシング後の信号に基づいて前記歌唱音声データを生成することが好ましい。この構成では、ミキシング部によって歌唱音声信号と同期音信号とをミキシングしているので、同期音信号を適切なレベルでミキシングできる。

また、本発明の歌唱動画データ生成装置は、前述の歌唱音声データ生成装置で生成された歌唱音声データ、及び、前記歌唱音声データに対応するカラオケ歌唱時にユーザービデオカメラで撮影された動画データを取得するデータ取得手段と、前記動画データの音声部分に基づき、前記動画データにおける前記同期音の出力タイミングを認識すると共に、前記歌唱音声データに基づき、前記歌唱音声データにおける前記同期音の出力タイミングを認識する出力タイミング認識手段と、前記動画データにおける前記同期音の出力タイミングと、前記歌唱音声データにおける前記同期音の出力タイミングとを揃えた状態で、前記動画データの映像部分と前記歌唱音声データとを合成し、新たな歌唱動画データを生成する動画データ生成手段とを有することを特徴とする。

本発明によれば、動画データの映像部分と歌唱音声データとが合成されることで、個性的かつ高音質な歌唱動画コンテンツを得ることができる。

また、本発明の歌唱動画データ生成装置は、前述の歌唱音声データ生成装置で生成された歌唱音声データ、及び、前記歌唱音声データに対応するカラオケ歌唱時にユーザービデオカメラで撮影された複数の動画データを取得するデータ取得手段と、複数の前記動画データの音声部分に基づき、各動画データにおける前記同期音の出力タイミングをそれぞれ認識すると共に、前記歌唱音声データに基づき、前記歌唱音声データにおける複数の前記同期音の出力タイミングを認識する出力タイミング認識手段と、複数の前記動画データにおける前記同期音の出力タイミングと、前記歌唱音声データにおける複数の前記同期音の出力タイミングとを揃えた状態で、複数の前記動画データの映像部分をつなぎ合わせると共に前記歌唱音声データと合成し、新たな歌唱動画データを生成する動画データ生成手段とを有することを特徴とする歌唱動画データ生成装置。

本発明によれば、複数の動画データの映像部分と歌唱音声データとが合成されることで、個性的かつ高音質な歌唱動画コンテンツを得ることができる。

本発明によれば、ユーザー動画データとの合成に適した歌唱音声データを取得することができる。また、個性的かつ高音質な歌唱動画コンテンツを得ることができる。

カラオケシステムの概略構成を説明する概念図である。 ホスト装置（サーバー）の構成を説明するブロック図である。 カラオケ装置の構成を説明するブロック図である。 カラオケ本体の構成を説明するブロック図である。 音響処理部を説明する図である。 ユーザー端末の構成を説明するブロック図である。 （ａ）は録音可能帯域と可聴域帯域の関係を説明する概念図である。（ｂ）は同期音信号と歌唱音声信号を説明する概念図である。 カラオケシステムの処理の概要を説明する図である。 動画データの映像部分と歌唱音声データの合成を説明する概念図である。 （ａ）は第２実施形態における同期音信号と歌唱音声信号を説明する概念図である。（ｂ）は第２実施形態における同期音信号の詳細を説明する概念図である。 第２実施形態における動画データの映像部分と歌唱音声データの合成を説明する概念図である。

以下、本発明の実施形態について説明する。図１に示すカラオケシステムは、ホスト装置１とカラオケ装置２とユーザー端末３とを有している。そして、これらが通信回線４を介して通信可能に接続されている。このカラオケシステムでは、カラオケ歌唱で取得された歌唱動画データ（歌唱映像データと歌唱音声データの組）がカラオケ装置２からホスト装置１（サーバー）へアップロードされ、ユーザー端末３を通じて閲覧可能な閲覧用動画データが生成される。また、利用者の要求に応じて、ユーザービデオカメラで撮影されたユーザー動画データの映像部分と、カラオケ装置２で取得された歌唱音声データとを合成し、新たな歌唱動画データを生成することもできる。以下、カラオケシステムを構成する各装置１〜３について説明する。

まず、ホスト装置１について説明する。ホスト装置１は、サーバーとして機能し、顧客情報や歌唱動画データといった各種情報を蓄積して管理する。図２に示すように、ホスト装置１は、ホスト側制御部１１と、ホスト側通信部１２と、ホスト側記憶部１３とを有している。

ホスト側制御部１１は、ホスト装置１における制御の中心となる部分であり、ＣＰＵ１１ａやメモリ１１ｂを有している。ＣＰＵ１１ａは、メモリ１１ｂに記憶された動作プログラムに従って各種の制御を実行する。メモリ１１ｂは、ＣＰＵ１１ａに実行されるプログラムを記憶したり、プログラムの実行時に各種情報を一時的に記憶したりする記憶素子である。ホスト側通信部１２は、ホスト装置１を通信回線４に接続するためのインタフェースを提供する。

ホスト側記憶部１３は、大容量の情報を記憶する記憶装置であり、ハードディスクドライブ等によって構成されている。ホスト側記憶部１３の一部領域は、顧客情報記憶領域、歌唱音声データ記憶領域、歌唱映像データ記憶領域、ユーザー動画データ記憶領域、閲覧用動画データ記憶領域として用いられている。

顧客情報記憶領域には、歌唱者毎の識別情報である利用者ＩＤに対応付けられた状態で、性別、年齢、生年月日、住所等の個人情報や、利用店舗、利用日時、歌唱履歴等の履歴データが記憶されている。

歌唱音声データ記憶領域には、カラオケ歌唱時に取得された歌唱音声データが記憶され、歌唱映像データ記憶領域には、カラオケ歌唱時に取得された歌唱映像データが記憶されている。本実施形態において、歌唱音声データはＭＰ３形式のデータが用いられ、歌唱映像データはＭＰＥＧ２形式のデータが用いられている。これらの歌唱音声データや歌唱映像データは、歌唱動画コンテンツの基となる歌唱動画データであり、カラオケ歌唱の終了に伴って、カラオケ装置２からアップロードされる。そして、各データは、カラオケ楽曲毎の識別情報である楽曲ＩＤや利用者ＩＤといった各種の情報に対応付けられた状態で記憶されている。

ユーザー動画データ記憶領域には、カラオケ歌唱時にユーザービデオカメラで撮影されたユーザー動画データが記憶される。本実施形態において、ユーザー動画データは、ユーザー端末３を通じて送信されたり、ユーザービデオカメラＵＣ（図３参照）から送信されたりする。なお、ユーザー動画データは、変換によって歌唱映像部分と歌唱音声部分の各データに分離できれば、任意の形式のデータが利用できる。

閲覧用動画データ記憶領域には、ユーザー端末３に閲覧させるための閲覧用動画データが記憶される。この閲覧用動画データは、ユーザー端末３で再生される歌唱動画コンテンツの基となるデータであり、例えばＷＭＶ形式やＭＰ４形式の動画データである。本実施形態では、閲覧用動画データ記憶領域に２種類の閲覧用動画データが記憶されている。具体的には、カラオケ装置２で取得された歌唱映像データ及び歌唱音声データに基づいて作成された閲覧用動画データと、ユーザービデオカメラＵＣで撮影されたユーザー動画データとカラオケ装置２で取得された歌唱音声データに基づいて作成された閲覧用動画データが記憶されている。

次に、カラオケ装置２について説明する。このカラオケ装置２は、カラオケ演奏や歌唱時における映像や音声の記録等を行う装置であり、図１に示すように、例えばカラオケ店ＫＢの各カラオケルームＲＭに設置されている。そして、図３に示すように、カラオケ装置２は、カラオケ本体２１と、スピーカ２２と、モニタ２３と、マイク２４と、ビデオカメラ２５と、リモコン装置２６とを有している。

カラオケ本体２１は、選択されたカラオケ楽曲の演奏制御、歌詞及び背景映像の表示制御、マイク２４を通じて入力された歌唱音声信号の処理といった、カラオケ歌唱に関する各種の制御を行う部分である。このカラオケ本体２１については、後で詳しく説明する。

スピーカ２２は、カラオケ本体２１に接続されており、カラオケ本体２１からの放音信号に基づいて放音する。モニタ２３もカラオケ本体２１に接続されており、カラオケ本体２１からの映像信号に基づいて映像を画面に表示する。マイク２４もカラオケ本体２１に接続されており、歌唱者の音声をアナログの歌唱音声信号に変換してカラオケ本体２１に入力させる。このような機能を有するマイク２４は、歌唱音声入力手段に相当する。ビデオカメラ２５もカラオケ本体２１に接続されており、歌唱中の映像を歌唱映像信号に変換してカラオケ本体２１に入力させる。このような機能を有するビデオカメラ２５は、歌唱映像撮影手段に相当する。

リモコン装置２６は、カラオケ本体２１との間で情報を送受信するための双方向通信可能な短距離無線通信部を備えており、カラオケ楽曲の予約時などに操作される。カラオケ楽曲の予約時において、リモコン装置２６からは、演奏対象の楽曲を識別するための楽曲ＩＤを含んだ操作信号が送信される。登録された利用者がリモコン装置２６を通じてログインした場合、その利用者の利用者ＩＤがホスト装置１に送信される。そして、リモコン装置２６には、マイページに登録された各種情報が表示される。

また、本実施形態のリモコン装置２６は、ユーザー端末３としても機能する。この場合、リモコン装置２６は、近隣のアクセスポイント（図示せず）、及び、通信回線４を経由してホスト装置１に接続される。このため、利用者は、カラオケ店に居ながらにして、マイページにアクセスできる。

なお、図３には、カラオケ装置２に加え、ユーザービデオカメラＵＣも示されている。このユーザービデオカメラＵＣは、カラオケの利用者によって所持されており、カラオケ歌唱中の映像及び音声をユーザー動画データとして記録するものである。このユーザービデオカメラＵＣは、カラオケ歌唱中の映像及び音声を記録でき、かつ、人間の可聴帯域（２０Ｈｚ〜１５ｋＨｚ）を超えた帯域の録音ができるものであればよい。このため、デジタルビデオカメラＵＣ１や動画撮影機能付の携帯電話機ＵＣ２が含まれる。また、動画撮影機能付のデジタルスチルカメラであってもよい。

次に、カラオケ本体２１について詳細に説明する。図４に示すように、カラオケ本体２１は、本体側制御部３１と、本体側通信部３２と、本体側記憶部３３と、音響処理部３４と、表示処理部３５と、映像入力部３６と、操作部３７とを有している。そして、これらの各部がデータバスＢＵを介して通信可能な状態に接続されている。

本体側制御部３１は、カラオケ本体２１における制御の中心となる部分であり、ＣＰＵ３１ａやメモリ３１ｂを有している。ＣＰＵ３１ａは、メモリ３１ｂに記憶された動作プログラムに従って各種の制御を実行する。例えば、操作部３７からの操作を受け付ける操作入力処理やシーケンサとして動作するシーケンサ処理を行う。メモリ３１ｂは、ＣＰＵ３１ａに実行されるプログラムを記憶したり、プログラムの実行時に各種情報を一時的に記憶したりする記憶素子である。本体側通信部３２は、カラオケ本体２１（カラオケ装置２）を通信回線４に接続するためのインタフェースを提供する。この本体側通信部３２は、本体側制御部３１によって動作が制御される。

本体側記憶部３３は、各種のデータを記憶する大容量の記憶装置であり、例えばハードディスクドライブによって構成されている。この本体側記憶部３３には、例えば、楽曲データ記憶領域、同期音データ記憶領域、背景映像データ記憶領域、歌唱映像データ記憶領域、歌唱音声データ記憶領域、コラボ動画データ記憶領域が設けられる。

楽曲データ記憶領域には、リモコン装置２６で選択されたカラオケ楽曲を演奏するための楽曲データが記憶され、同期音データ記憶領域には、ユーザー動画データと歌唱音声データとを同期させるための同期音の基となる同期音データが記憶され、背景映像データ記憶領域には、モニタ２３に背景映像を表示させるための背景映像データが記憶される。ここで、同期音について簡単に説明する。この同期音は、可聴帯域の範囲外であってユーザービデオカメラＵＣのマイクで録音可能な周波数に設定された音である。

歌唱映像データ記憶領域には、ビデオカメラ２５で撮影された歌唱映像データが記憶され、歌唱音声データ記憶領域には、歌唱音声データが記憶される。本実施形態の歌唱音声データには、歌唱音声をデジタルデータ化したものと、歌唱音声をカラオケ伴奏とともにデジタルデータ化したものが含まれている。コラボ動画データ記憶領域には、コラボレーション歌唱のために受信した、ホスト装置１からの歌唱動画データが記憶される。この歌唱動画データは、コラボレーション歌唱を行う際に再生される。

音響処理部３４は、カラオケ楽曲に対する演奏の制御を行ったり、マイク２４を通じて入力された歌唱音声信号をデジタルの歌唱音声データに変換する等の制御を行ったりする部分である。図５に示すように、音響処理部３４は、第１ミキシング部３４ａと第２ミキシング部３４ｂとを有している。

第１ミキシング部３４ａには、楽曲データ（ＭＩＤＩデータ）、同期音データ、及び、マイク２４からの歌唱音声信号が入力され、楽曲データに基づく楽音信号と、同期音データに基づく同期音と、歌唱音声信号とが適当なバランスでミキシングされ、放音信号としてスピーカ２２へ出力される。これにより、カラオケ歌唱に伴う伴奏や音声がスピーカ２２から出力される。あわせて、前述の同期音もスピーカ２２から出力される。

このように、本体側記憶部３３、音響処理部３４（第１ミキシング部３４ａ）、及びスピーカ２２の組は、楽曲データや同期音データを記憶し、楽曲データに基づく楽音信号及び同期音データに基づく同期音などを合成して放音信号を出力し、放音信号に基づいて同期音及びカラオケ伴奏を放音していることから、同期音出力手段に相当する。

第２ミキシング部３４ｂにも、楽曲データ、同期音データ、及び、マイク２４からの歌唱音声信号が入力されている。そして、第２ミキシング部３４ｂからは、歌唱音声信号のみに基づく歌唱音声データと、前述の楽音信号、同期音、及び歌唱音声信号に基づく伴奏付歌唱音声データが出力される。これに伴い、歌唱音声データ記憶領域には、歌唱音声が記録された歌唱音声データと、カラオケ伴奏、同期音、及び歌唱音声が記録された伴奏付歌唱音声データが記憶される。

このように、音響処理部３４（第２ミキシング部３４ｂ）は、楽音信号、同期音信号、及び歌唱音声信号をミキシングし、伴奏付歌唱音声データを生成しているので、カラオケ歌唱時の歌唱音声を同期音と共に録音し、音声データを生成する歌唱音声データ生成手段に相当する。

図４に示す表示処理部３５は、カラオケ演奏時における背景映像の表示等の制御を行う。カラオケ演奏時において、表示処理部３５には背景映像データが入力されており、この背景映像データのデコードが行われる。そして、表示処理部３５は、デコードで生成された背景映像の映像信号に歌詞テロップを合成し、合成後の映像信号をモニタ２３に出力する。その結果、モニタ２３には、背景映像に歌詞テロップが重ねられた映像が表示される。

映像入力部３６は、ビデオカメラ２５からの歌唱映像信号の取り込み処理を行う部分であり、いわゆるビデオカードで構成されている。この映像入力部３６は、例えば、ビデオカメラ２５と接続するための外部インタフェース、データバスＢＵを通じて本体側制御部３１等と接続するための内部インタフェース、及び、フレームバッファとしてのビデオメモリを有している（何れも図示せず）。

操作部３７は、パネルスイッチやリモコン受信回路などからなっており、利用者によるパネルスイッチやリモコン装置２６の操作に応じた操作信号を本体側制御部３１に対して出力する。本体側制御部３１は、操作入力処理を行うことで操作信号を検出し、対応する処理を実行する。なお、パネルスイッチやリモコン装置２６は、操作を選択するための種々のキースイッチ（図示せず）を備えている。

そして、リモコン装置２６を通じたログイン処理を経ることで、カラオケ歌唱時における歌唱動画の記録を指示することができる。歌唱動画の記録を指示することで、本体側記憶部３３の歌唱映像データ記憶領域及び歌唱音声データ記憶領域には、対象カラオケ楽曲の歌唱に伴って取得された歌唱映像データ及び歌唱音声データが記憶される。さらに、楽曲終了後においては、記憶された歌唱映像データ及び歌唱音声データがホスト装置１へアップロードされる。

次に、ユーザー端末３について説明する。ユーザー端末３は、カラオケの利用者によって操作される通信端末であり、歌唱動画コンテンツを閲覧する際などに操作される。図１に示すように、ユーザー端末３は、パーソナルコンピュータ３Ａ、タブレットコンピュータ３Ｂ、携帯電話機３Ｃなどが含まれる。また、前述したように、リモコン装置２６もユーザー端末３に含まれる。

図６に示すように、ユーザー端末３は、端末側制御部４１と、端末側通信部４２と、端末側記憶部４３と、表示部４４と、入力部４５とを有している。

端末側制御部４１は、ユーザー端末３における制御の中心となる部分であり、ＣＰＵ４１ａやメモリ４１ｂを有している。ＣＰＵ４１ａは、メモリ４１ｂに記憶された動作プログラムに従って各種の制御を実行する。メモリ４１ｂは、ＣＰＵ４１ａに実行されるプログラムを記憶したり、プログラムの実行時に各種情報を一時的に記憶したりする記憶素子である。端末側通信部４２は、ユーザー端末３を通信回線４に接続するためのインタフェースを提供する。端末側記憶部４３は、各種の情報を記憶する記憶装置であり、不揮発性メモリやハードディスクドライブ等によって構成される。

表示部４４及び入力部４５は、いずれもユーザインタフェースを提供する部分である。表示部４４は、各種メニュー等を表示する部分であり、例えば液晶表示装置やブラウン管で構成される。入力部４５は、利用者による操作を操作情報として取り込む部分であり、例えばキーボード、マウス、タッチパネルによって構成される。なお、可搬性が要求されるタブレットコンピュータ３Ｂやリモコン装置２６では、表示部４４と入力部４５とが一体化されたタッチパネル付きの液晶表示パネルが好適に用いられる。

次に、上記構成を有するカラオケシステムの動作について説明する。このカラオケシステムでは、ユーザービデオカメラＵＣで撮影されたユーザー動画データとの合成に適した歌唱音声データを生成し、この歌唱音声データとユーザー動画データの映像部分とを合成して新たな歌唱動画データを生成する点に特徴を有している。

以下、図７のフローチャートを参照し、一連の処理について説明する。まず、カラオケの利用者による操作部３７の操作により、歌唱動画の記録が指示されると（Ｓ１）、カラオケ装置２は、当該カラオケ楽曲の演奏を待ち行列で管理する。その後、当該カラオケ楽曲の順番が到来すると、カラオケ装置２は、カラオケ伴奏を開始させる（Ｓ２）。そのとき、カラオケ装置２は、カラオケ伴奏における任意のタイミングに同期音を含ませて出力する。本実施形態では、カラオケ伴奏の演奏開始直後に同期音を含ませて出力している。これにより、スピーカ２２からは、同期音が含まれたカラオケ伴奏が放音される。また、同期音信号は、マイク２４からの歌唱音声信号とミキシングされる。

前述したように、同期音の周波数は、可聴帯域の範囲外であってユーザービデオカメラＵＣのマイクで録音可能な値に定められている。このため、スピーカ２２から放音された同期音は、歌唱者から聞き取られ難く、ビデオカメラ２５で撮影されたユーザー動画データに記録される。また、同期音は、カラオケ歌唱で取得された歌唱音声データにも記録される。

そして、カラオケ演奏が終了すると（Ｓ３）、カラオケ装置２の本体側記憶部３３（歌唱映像データ記憶領域，歌唱音声データ記憶領域）に記憶された各種データ（歌唱映像データ，歌唱音声データ，伴奏付歌唱音声データ）は、ホスト装置１にアップロードされ（Ｓ４）、ホスト側記憶部１３（歌唱映像データ記憶領域，歌唱音声データ記憶領域）に記憶される。

その後、ユーザービデオカメラＵＣで撮影されたユーザー動画データが、ホスト装置１のホスト側記憶部１３（ユーザー動画記憶領域）に登録される（Ｓ５）。例えば、ユーザービデオカメラＵＣがデジタルビデオカメラＵＣ１やデジタルスチルカメラ（図示せず）であった場合には、ユーザービデオカメラＵＣに記憶されたユーザー動画データが、ユーザー端末３（パーソナルコンピュータ３Ａ）を介してホスト装置１に転送される。

また、ユーザービデオカメラＵＣが、カメラ機能及び通信機能を有するタブレットコンピュータ３Ｂや携帯電話機ＵＣ２（３Ｃ）であった場合には、二次元バーコードをモニタ２３に表示させ、この二次元バーコードを撮影することで、指定された送信先アドレスにユーザー動画データを転送させてもよい。さらに、送信先ＵＲＬをメールで送信し、この送信先ＵＲＬのウェブページを通じてユーザー動画データを転送させてもよい。

次に、ホスト装置１は、各種データを取得し、ユーザー動画データの映像部分と伴奏付歌唱音声データとを合成し、新たな歌唱動画データを生成する（Ｓ６）。このとき、ホスト側制御部１１は、データ取得手段として機能し、カラオケ装置２で生成された歌唱音声データ、及び、ユーザービデオカメラＵＣで撮影された動画データを取得する。次に、ホスト側制御部１１は、出力タイミング認識手段として機能し、ユーザー動画データの音声部分に基づき、ユーザー動画データにおける同期音の出力タイミングを認識すると共に、歌唱音声データに基づき、歌唱音声データにおける同期音の出力タイミングを認識する。次に、ホスト側制御部１１は、動画データ生成手段として機能し、ユーザー動画データにおける同期音の出力タイミングと、歌唱音声データにおける同期音の出力タイミングとを揃えた状態で、ユーザー動画データの映像部分と歌唱音声データとを合成し、新たな歌唱動画データを生成する。そして、生成された新たな歌唱動画データは、ホスト側記憶部１３の閲覧用動画データ記憶領域に記憶される。

次に、前述した処理で用いた同期音、及び、ユーザー動画データの映像部分と伴奏付歌唱音声データとの合成について説明する。

まず、同期音について説明する。図８（ａ）に示すように、同期音は、ヒトの可聴周波数帯域の範囲外であって、ユーザービデオカメラＵＣで録音可能な周波数帯域の範囲内の周波数に設定される。例えば、可聴周波数帯域を２０Ｈｚ〜１５ｋＨｚに定め、録音可能な周波数帯域を１０Ｈｚ〜２０ｋＨｚに定めた場合、同期音は、低音側が１０Ｈｚ以上２０Ｈｚ未満の周波数Ｆ１に、高音側が１５ｋＨｚより高く２０ｋＨｚ以下の周波数Ｆ２にそれぞれ定められる。同様に、可聴周波数帯域を１５Ｈｚ〜２０ｋＨｚに定め、録音可能な周波数帯域を５Ｈｚ〜３０ｋＨｚに定めた場合、同期音は、低音側が５Ｈｚ以上１５Ｈｚ未満の周波数Ｆ１に、高音側が２０ｋＨｚより高く３０ｋＨｚ以下の周波数Ｆ２にそれぞれ定められる。なお、同期音の出力時間をできるだけ短くする観点からすれば、高音側の周波数を用いることが好ましい。

そして、カラオケ装置２は、歌唱動画の記録に際し、対象のカラオケ楽曲における伴奏開始直後に同期音を出力する。この場合、音響処理部３４は、本体側記憶部３３から楽曲データや同期音データを読み出し、楽曲データに基づく楽音信号と同期音データに基づく同期音とをミキシングする。これにより、図８（ｂ）に示すように、伴奏開始直後の放音信号ＷＶには、同期音信号ＳＹと楽音信号ＡＣとが含まれる。

スピーカ２２からは、この放音信号ＷＶに対応した同期音及びカラオケ伴奏が放音される。ここで、同期音の周波数は、可聴周波数帯域の範囲外であって録音可能な周波数帯域の範囲内であることから、歌唱者には聞き取られ難いが、ユーザービデオカメラＵＣでは同期音として記録される。また、音響処理部３４は、マイク２４を通じて入力された歌唱音声信号に、楽曲データに基づく楽音信号ＡＣと同期音データに基づく同期音信号ＳＹとをミキシングする。これにより、音響処理部３４から出力される伴奏付歌唱音声データには、カラオケ伴奏と歌唱音声に加えて同期音も記録される。

次に、ユーザー動画データの映像部分と伴奏付歌唱音声データとの合成について説明する。図９は、ホスト装置１で行われるユーザー動画データの映像部分と歌唱音声データの合成を説明する概念図である。ホスト側記憶部１３には、ユーザー動画データと伴奏付歌唱音声データとが記憶されている。合成に際し、ホスト側制御部１１は、ユーザー動画データと伴奏付歌唱音声データをホスト側記憶部１３から読み出す。そして、ユーザー動画データについては、映像データＶＤと音声データＷＶ１に分割する。本実施形態では、ユーザー動画データをＭＰＥＧ２形式の映像データＶＤとＭＰ３形式の音声データＷＶ１に変換する。これは、カラオケ装置２からアップロードされる歌唱映像データがＭＰＥＧ２形式であり、歌唱音声データがＭＰ３形式であることによる。

ユーザー動画データを映像データＶＤと音声データＷＶ１とに変換したならば、ホスト側制御部１１は、同期音の出力タイミングを認識する。前述したように、同期音は特定の周波数（例えば周波数Ｆ２）に定められているので、ホスト側制御部１１は、ユーザー動画データに基づく音声データＷＶ１、及び、伴奏付歌唱音声データＷＶ２のそれぞれに対し、特定周波数に対応するバンドパスフィルタ（プログラム）を適用することで同期音を抽出できる。これにより、ユーザー動画データにおける同期音の出力タイミングと、伴奏付歌唱音声データＷＶ２における同期音の出力タイミングを認識できる。

同期音の出力タイミングを認識したならば、ホスト側制御部１１は、ユーザー動画データに基づく映像データＶＤ１と伴奏付歌唱音声データＷＶ２とを合成し、新たな歌唱動画データを生成する。合成に際してホスト側制御部１１は、映像データにおける同期音信号ＳＹ１の出力タイミングと、伴奏付歌唱音声データＷＶ２における同期音信号ＳＹ２の出力タイミングを一致させる。これにより、映像部分と音声部分の時刻が同期された状態で、新たな歌唱動画データが生成される。そして、ホスト側制御部１１は、生成した新たな歌唱動画データを、ホスト側記憶部１３の閲覧用動画データ記憶領域に記憶させる。

以上の手順で得られた歌唱動画データは、利用者によって撮影されたユーザー動画データの映像部分（映像データＶＤ）と、カラオケ装置２で取得された伴奏付歌唱音声データＷＶ２とが合成されているので、映像について自由度が高く、高音質な歌唱動画コンテンツが得られる。

以上の説明から明らかなように、本実施形態のカラオケシステムによれば、ユーザービデオカメラＵＣで撮影されたユーザー動画データとカラオケ装置２で生成された伴奏付歌唱音声データＷＶ２のそれぞれに同期音信号ＳＹ１，ＳＹ２が含まれているため、これらの同期音信号ＳＹ１，ＳＹ２に基づいて、ユーザー動画データに基づく映像データＶＤと伴奏付歌唱音声データＷＶ２の時刻を同期させることができる。

また、カラオケ装置２の音響処理部３４は、歌唱音声をマイク２４によって変換した歌唱音声信号と、同期音の基となる同期音信号ＳＹとをミキシングする第２ミキシング部３４ｂを備えており、ミキシング後の信号に基づいて歌唱音声データを生成している。これにより、同期音信号ＳＹを適切なレベルで歌唱音声信号にミキシングすることができる。

以上の実施形態の説明は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明はその趣旨を逸脱することなく、変更、改良され得ると共に本発明にはその等価物が含まれる。

例えば、前述した第１実施形態における同期音は、カラオケ伴奏の開始直後に出力されていた。しかしながら、この構成に限定されるものではない。例えば、同期音を、間隔を空けて繰り返し出力するようにしてもよい。以下、このように構成された第２実施形態について説明する。なお、第２実施形態のシステム構成は、第１実施形態と同じであるので、説明は省略する。そして、第１実施形態との相違は、同期音信号の出力態様及び同期音の利用にある。そこで、以下の説明は、これらの相違点について行うこととする。

図１０（ａ）に示すように、第２実施形態における放音信号ＷＶは、楽音信号ＡＣに対して複数の同期音信号ＳＹａ，ＳＹｂが繰り返し合成されている。本実施形態では、所定の同期間隔（３０秒間隔）で同期音信号ＳＹが合成されている。そして、図１０（ｂ）に示すように、各同期音信号ＳＹａ〜ＳＹｃは、それぞれ異なる出力パターンに設定されている。この例では、大きな振幅部分の数が各同期音信号ＳＹａ〜ＳＹｃで異なっている。このため、大きな振幅部分の数に基づき、各同期音信号ＳＹａ〜ＳＹｃを識別することができる。なお、各同期音信号ＳＹａ〜ＳＹｃの出力パターンは、ホスト側制御部１１で識別できれば、他の態様であってもよい。例えば、同期音信号毎に周波数を異ならせてもよい。

そして、図１１に示すように、本実施形態では、各音声データに含まれる４種類の同期音信号ＳＹ１ａ〜ＳＹ１ｄ，ＳＹ２ａ〜ＳＹ２ｄに基づき、撮影期間の異なる４つのユーザー動画データＡ〜Ｄの映像部分を合成して合成映像データを生成している。すなわち、ホスト側制御部１１は、４つのユーザー動画データＡ〜Ｄにおける各同期音信号ＳＹ１ａ〜ＳＹ１ｄの出力タイミングと、伴奏付歌唱音声データＷＶ２１における各同期音信号ＳＹ２ａ〜ＳＹ２ｄの出力タイミングとを揃えることで、各ユーザー動画データＡ〜Ｄに基づく映像データＶＤ１〜ＶＤ４をつなぎ合わせている。そして、合成映像データＶＤ１１と伴奏付歌唱音声データＷＶ２１とに基づき、新たな歌唱動画データを生成している。

このような処理を行う第２実施形態では、同期音の出力パターンに応じて、カラオケ歌唱における複数の時刻でユーザー動画データと歌唱音声データを同期させることができる。また、撮影時間の異なる複数のユーザー動画データと歌唱音声データを合成することができる。その結果、一層個性的かつ高音質な歌唱動画コンテンツを得ることができる。

１…ホスト装置；２…カラオケ装置；３…ユーザー端末；４…通信回線；１１…ホスト側制御部；１２…ホスト側通信部；１３…ホスト側記憶部；２１…カラオケ本体；２２…スピーカ；２３…モニタ；２４…マイク；２５…ビデオカメラ；２６…リモコン装置；３１…本体側制御部；３２…本体側通信部；３３…本体側記憶部；３４…音響処理部；３４ａ…第１ミキシング部；３４ｂ…第２ミキシング部；３５…表示処理部；３６…映像入力部；３７…操作部；４１…端末側制御部；４２…端末側通信部；４３…端末側記憶部；４４…表示部；４５…入力部；ＫＢ…カラオケ店；ＲＭ…カラオケルーム；ＵＣ１…デジタルビデオカメラ；ＵＣ２…携帯電話機；ＢＵ…データバス；ＷＶ…放音信号；ＷＶ１，ＷＶ１１〜ＷＶ１４…ユーザー動画データに基づく音声データ；ＷＶ２，ＷＶ２１…伴奏付歌唱音声データ；ＳＹ，ＳＹ１ａ〜ＳＹ１ｄ，ＳＹ２ａ〜ＳＹ２ｄ…同期音信号；ＶＤ，ＶＤ１〜ＶＤ４…ユーザー動画データに基づく映像データ；ＶＤ１１…合成映像データ；ＡＣ…楽音信号

Claims (4)

1. ユーザービデオカメラで撮影されたカラオケ歌唱時の動画データに合成される、前記カラオケ歌唱時の歌唱音声データを生成するための歌唱音声データ生成装置であって、
   可聴周波数範囲外であって前記ユーザービデオカメラで録音可能な周波数の同期音を出力する同期音出力手段と、
   前記カラオケ歌唱時の歌唱音声を前記同期音と共に録音し、前記歌唱音声データを生成する歌唱音声データ生成手段とを有し、
   前記同期音出力手段は、異なる出力パターンに設定された前記同期音を、間隔を空けて繰り返し出力することを特徴とする歌唱音声データ生成装置。
2. 前記歌唱音声データ生成手段は、前記歌唱音声をマイクによって変換した歌唱音声信号と、前記同期音の基となる同期音信号とをミキシングするミキシング部を備え、ミキシング後の信号に基づいて前記歌唱音声データを生成することを特徴とする請求項１記載の歌唱音声データ生成装置。
3. 請求項１又は２に記載の歌唱音声データ生成装置で生成された歌唱音声データ、及び、前記歌唱音声データに対応するカラオケ歌唱時にユーザービデオカメラで撮影された動画データを取得するデータ取得手段と、
   前記動画データの音声部分に基づき、前記動画データにおける前記同期音の出力タイミングを認識すると共に、前記歌唱音声データに基づき、前記歌唱音声データにおける前記同期音の出力タイミングを認識する出力タイミング認識手段と、
   前記動画データにおける前記同期音の出力タイミングと、前記歌唱音声データにおける前記同期音の出力タイミングとを揃えた状態で、前記動画データの映像部分と前記歌唱音声データとを合成し、新たな歌唱動画データを生成する動画データ生成手段とを有することを特徴とする歌唱動画データ生成装置。
4. 請求項１又は２に記載の歌唱音声データ生成装置で生成された歌唱音声データ、及び、前記歌唱音声データに対応するカラオケ歌唱時にユーザービデオカメラで撮影された複数の動画データを取得するデータ取得手段と、
   複数の前記動画データの音声部分に基づき、各動画データにおける前記同期音の出力タイミングをそれぞれ認識すると共に、前記歌唱音声データに基づき、前記歌唱音声データにおける複数の前記同期音の出力タイミングを認識する出力タイミング認識手段と、
   複数の前記動画データにおける前記同期音の出力タイミングと、前記歌唱音声データにおける複数の前記同期音の出力タイミングとを揃えた状態で、複数の前記動画データの映像部分をつなぎ合わせると共に前記歌唱音声データと合成し、新たな歌唱動画データを生成する動画データ生成手段とを有することを特徴とする歌唱動画データ生成装置。

Images