図1は、本発明の楽曲演奏装置の好適な実施例であるカラオケ装置10の構成を例示するブロック線図である。この図1に示すように、本実施例のカラオケ装置10は、中央演算処理装置であるCPU12と、読出専用メモリであるROM14と、随時書込読出メモリであるRAM16と、記憶装置であるハードディスク18と、グラフィックスチップ(グラフィックスボード)等の映像処理部20と、サウンドチップ(サウンドボード)等の音声処理部22と、操作パネル24と、表示制御部26及び入力制御部28を介して前記CPU12に接続されたタッチパネルディスプレイ30と、通信インターフェイス36と、LANインターフェイス38と、無線通信部40と、ビデオ出力端子42を介して前記映像処理部20に接続された映像表示装置であるディスプレイ44と、オーディオ入力端子46を介して前記音声処理部22に接続された音声入力装置であるマイクロフォン48と、オーディオ出力端子50を介して前記音声処理部22に接続された音声増幅装置であるアンプ52と、そのアンプ52に備えられた音声出力装置であるスピーカ54と、接続端子72を介して接続された撮像装置であるデジタルカメラ70とを、備えて構成されている。
前記CPU12は、前記RAM16の一時記憶機能を利用しつつ前記ROM14に予め記憶された所定のプログラムに基づいて電子情報を処理・制御する所謂マイクロコンピュータであり、前記カラオケ装置10における各種制御を実行する。すなわち、前記操作パネル24、タッチパネルディスプレイ30、或いは電子早見本装置68等により所定の楽曲(カラオケ演奏曲)が選曲入力された場合、その選曲入力された楽曲を前記RAM16等に設けられた予約曲テーブルに登録する選曲予約制御、その予約曲テーブルの演奏順に従って前記ハードディスク18から前記RAM16に選曲されたカラオケ演奏曲の演奏情報及び歌詞情報(楽曲データ)を読み出す楽曲データ読出制御、楽曲の演奏進行に応じてそのRAM16から前記音声処理部22へ演奏情報を送信する演奏出力制御、その演奏出力制御に際して前記RAM16に展開された歌詞情報に基づいて歌詞文字映像を生成して前記映像処理部20へ送信する歌詞文字映像出力制御、前記演奏出力制御に際して前記映像処理部20を制御して所定の背景映像を再生させる背景映像出力制御、及びカラオケ演奏が行われていない間すなわち曲間において、新譜情報、選曲ランキング、店舗広告等の曲間情報を出力させる曲間情報出力制御等の基本的な制御に加え、後述する本実施例の動画ファイル作成制御等の各種制御を実行する。本実施例においては、前記CPU12が前記カラオケ装置10の制御装置に対応する。
前記映像処理部20は、前記ディスプレイ44に表示される画面(映像)の描画に係る各種制御を行う。例えば、前記CPU12から供給されるデータに基づいてグラフィックスメモリにそのデータを書き込み、そのデータを読み出すことによって前記ビデオ出力端子42を介して前記ディスプレイ44に所定の画面を表示させる制御を行う。具体的には、前記カラオケ装置10による楽曲の演奏出力(カラオケ演奏)に際して、前記CPU12において生成された歌詞文字映像等の文字映像(テロップ)を出力させたり、前記ハードディスク18に記憶されたMPEG(Moving Picture Experts Group)データ等の背景映像情報に基づいて所定の背景映像を再生(デコード)させたり、その背景映像の前面側に前記歌詞文字映像を合成させて前記ディスプレイ44に表示させたり、その歌詞文字映像を前記楽曲の演奏進行に応じて順次色替わり表示させる等の各種表示制御を行う。
前記音声処理部22は、FM音源やPCM音源等の各種音源を備え、前記カラオケ装置10による音声出力に係る各種制御を行う。好適には、電子回路により音を合成し、各種音色を発生させるシンセサイザ(synthesizer)を備えている。このシンセサイザは、前記ハードディスク18から読み出されて送られて来るカラオケ演奏曲の演奏情報に基づいて楽器の演奏信号等の音楽信号を生成する。前記シンセサイザは、好適には、MIDI(Musical Instrument Digital Interface)端子を備えたものであり、前記演奏情報は、例えばMIDI形式のデータである。そのMIDIデータに基づいて前記シンセサイザにより生成された音楽信号は、前記マイクロフォン48から前記オーディオ入力端子46を介して入力される利用者(演奏者)の歌声とミキシングされ、前記オーディオ出力端子50を介して前記アンプ52に供給されてそのアンプ52により増幅されて前記スピーカ54から出力される。
前記操作パネル24は、前記カラオケ装置10の利用者が歌いたい楽曲を選択したり、楽曲の演奏出力に係る音程を調整したり、演奏と歌との音量バランスを調整したり、その他、エコー、音量、トーン等の各種調整を行うための操作ボタン(スイッチ)或いはつまみを備えた入力装置である。また、前記タッチパネルディスプレイ30は、画像(映像)を表示させると共に利用者の操作に応じて前記カラオケ装置10への操作入力を行う装置であり、そのタッチパネルディスプレイ30に所定の画像(映像)を表示させる表示装置32と、利用者の指や図示しない備え付けのペン等による前記タッチパネルディスプレイ30への接触により入力を行うタッチパネル34とを、備えている。前記表示制御部26は、前記CPU12から供給される情報に基づいて前記表示装置32に表示される画面(映像)の描画を制御する映像処理部である。前記入力制御部28は、前記タッチパネル34により入力される操作入力情報を前記CPU12等に供給する入力処理部である。以上の構成を備えていることで、前記タッチパネルディスプレイ30は、前記ディスプレイ44とは別に第2の映像表示装置として機能すると共に、前記カラオケ装置10の利用者が歌いたい楽曲を選択したり、楽曲の演奏出力に係る音程を調整したり、演奏と歌との音量バランスを調整したり、その他、エコー、音量、トーン等の各種調整を行うための入力装置として機能する。
前記カラオケ装置10は、前記通信インターフェイス36及びネットワーク接続端子56を介して通信回線60に接続されている。前記通信回線60は、例えば公衆電話回線、ADSL回線、或いは光ファイバ回線等から構成されるWWW(World Wide Web)等のインターネットに接続された広域情報通信網である。前記カラオケ装置10は、同様にその通信回線60に接続された他の機器との相互間でその通信回線60を介して情報の通信が可能とされている。図2は、前記カラオケ装置10が前記通信回線60を介して他の機器と接続された様子を示す図である。この図2に示すように、前記カラオケ装置10は、好適には、前記通信回線60を介してサーバ(ホスト装置)80に接続されており、そのサーバ80から楽曲データ(カラオケデータ)、背景映像情報、及び曲間情報等のデジタルコンテンツ(Digital Contents)の配信を受け付けるものである。また、後述するように、前記カラオケ装置10において作成された動画ファイルが、前記通信回線60を介して前記サーバ80へ送信(アップロード)され、そのサーバ80に備えられた動画データベース78に蓄積されるようになっている。すなわち、前記カラオケ装置10は、好適には、所定の通信回線に接続されてサーバとの間で各種情報の送受信を行う通信カラオケ装置であるが、斯かる通信回線に接続されない非通信型のカラオケ装置等にも本発明は好適に適用される。
前記通信回線60には、好適には、各種通信端末装置が接続され、前記サーバ80等との間で相互に情報の送受信が可能とされる。例えば、図2に示すように、前記通信回線60には、複数(図1では1つを例示している)の携帯電話機82と、複数(図1では1つを例示している)のタブレット端末84と、複数(図1では1つを例示している)のパーソナルコンピュータ86とが、接続されている。前記携帯電話機82は、好適には、タッチパネルディスプレイを備えると共に、インターネット上における各種コンテンツをそのタッチパネルディスプレイに表示させる機能等を備えた所謂スマートフォンである。前記タブレット端末84は、好適には、タッチパネルディスプレイを備えると共に、インターネット上における各種コンテンツをそのタッチパネルディスプレイに表示させる機能等を備えた装置である。前記パーソナルコンピュータ86は、入力装置及び表示装置を備え、インターネット上における各種コンテンツをその表示装置に表示させる機能を備えた公知の家庭用パーソナルコンピュータである。前記携帯電話機82及びタブレット端末84は、中継基地局88を介して前記通信回線60に接続されており、前記サーバ80と前記携帯電話機82或いはタブレット端末84との間で相互に情報の通信が可能とされている。前記パーソナルコンピュータ86は、前記通信回線60に接続されることで、その通信回線60を介して前記サーバ80との間で相互に情報の通信が可能とされている。
前記LANインターフェイス38は、前記カラオケ装置10をLAN接続端子62を介してLAN(local area network)64に接続するための接続器であり、そのように前記LAN64に接続されることで、前記カラオケ装置10は、同様に前記LAN64に接続された電子早見本装置68等の他の機器との間で情報の送受信が可能とされる。また、前記カラオケ装置10が設置される店舗等に複数台のカラオケ装置が備えられている場合において、同様に前記LAN64に接続されたカラオケ装置相互間において情報の送受信が可能とされる。例えば、前記LAN64に接続されたアクセスポイント66を介して受信される電子早見本装置68からの選曲入力を受け付けて前記RAM16に設けられた予約曲テーブルに記憶したり、そのアクセスポイント66を介して前記カラオケ装置10から電子早見本装置68へ所定の情報を送信したりというように、電波を介して前記カラオケ装置10と電子早見本装置68との間における相互の情報のやりとりが実行される。
前記無線通信部40は、前記カラオケ装置10と前記電子早見本装置68等の入力装置との間の無線通信を行う。例えば、前記電子早見本装置68等の入力装置から送信されるリモコン信号を受信するリモコン受信部として機能する。前記カラオケ装置10と電子早見本装置68との対応付け(くくりつけ)処理は、好適には、斯かるリモコン信号(赤外線信号)により前記無線通信部40を介して行われる。すなわち、前記電子早見本装置68は、それぞれ個別のシリアル番号を有しており、前記対応付け処理においては、例えばそのシリアル番号(例えば、下4桁)及び所定の接続コードを含む信号が接続通知として前記カラオケ装置10へ送信され、前記無線通信部40によりその接続信号を受信したカラオケ装置10に対して前記電子早見本装置68が対応付けられる。そのようにして前記カラオケ装置10に対応付けられた電子早見本装置68は、そのカラオケ装置10の入力装置(遠隔操作装置)として機能し、その電子早見本装置68から送信される信号が前記CPU12に供給されることで、前記カラオケ装置10の利用者が歌いたい楽曲を選択したり、楽曲の演奏出力に係る音程を調整したり、演奏と歌との音量バランスを調整したり、その他、エコー、音量、トーン等の各種調整を行うための入力が受け付けられるようになっている。なお、前記対応付け処理が行われた後、前記電子早見本装置68と前記カラオケ装置10との間の通信は、前記LAN64及びアクセスポイント66等を介したLAN通信により行われる。また、本実施例においては、前記カラオケ装置10に対応付け処理の行われた電子早見本装置68等の入力装置もそのカラオケ装置10の一部を構成するものであるとして以下の説明を行う。
前記デジタルカメラ70は、例えばCCD(charge coupled device)等の撮像素子及びレンズを備え、そのレンズから入射される映像を撮像素子により検知し、その映像を電子情報(映像データ)として取得する所謂デジタルビデオカメラであり、少なくとも動画(時間の経過に従い変化する動きのある映像)を撮影し得るものであるが、必要に応じて静止画(スチル写真)を撮影できるように構成されたものであってもよい。このデジタルカメラ70により撮影された映像情報は、前記接続端子72等のインターフェイスを介して前記CPU12等へ供給され、例えばAVI(Audio-Video Interleaved)形式、MPEG(Moving Picture Experts Group)形式、FLV(Flash Video)形式等の映像ファイルとして前記RAM16等に記憶される。
前記デジタルカメラ70は、好適には、公知のデプスセンサ付きビデオカメラである。すなわち、撮影対象となる物体の3次元的な距離を検出し得るビデオカメラであり、撮影された動画において、例えば前記デジタルカメラ70から所定の距離範囲における人物の部分映像を検出することができる。更に好適には、動画の撮影と併行して、その撮影される動画から例えば人物の映像を切り抜くための情報として、後述するルミナンスキー画像又はクロマキー画像等の透過情報を取得するものである。なお、このデジタルカメラ70は、必ずしも前記カラオケ装置10の一部として備えられたものでなくともよく、例えば前記カラオケ装置10が設置された室における所定位置に固設された別体のビデオカメラ乃至前記携帯電話機82等に備えられた撮像装置等により撮影された映像が所定のインターフェイスを介して前記カラオケ装置10に入力される態様も考えられる。
前記ハードディスク18には、楽曲データベース76(図3を参照)をはじめとする各種データベースが設けられている。前記楽曲データベース76は、前記カラオケ装置10により前記楽曲の演奏出力(カラオケ演奏)を行うための多数(例えば、数万曲)の楽曲データ(カラオケデータ)を記憶する。前記カラオケ装置10において出力される各楽曲に対応して前記楽曲データベース76に記憶された楽曲データは、例えば、メタデータ、演奏情報としてのMIDIデータ、及び歌詞情報としてのテロップデータを含んでいる。このメタデータは、例えば、各楽曲データの識別情報としての曲番号(選曲番号)、曲名、歌手名、登録日時等の情報を含んでいる。前記テロップデータは、前記映像処理部20を介して各楽曲の歌詞文字映像表示制御を行うための情報であり、例えば、前記楽曲データに対応する楽曲(演奏曲)の歌詞を複数に区分した各区分に相当するブロックデータを含んでいる。前記MIDIデータは、前記音声処理部22を介して各楽曲の演奏出力制御を行うための情報であり、複数種類の楽器にそれぞれ対応する複数のトラック(チャンネル)を備え、各トラックにおいて対応する楽器の演奏音の出力タイミングが定められている。
図3は、前記カラオケ装置10に備えられた制御機能の要部について説明する機能ブロック線図である。図3に示す各制御手段は、好適には、前記カラオケ装置10のCPU12に機能的に備えられたものである。換言すれば、本発明の一実施例であるプログラムにより、前記CPU12が図3に示す各制御手段として機能させられる。本発明の一実施例であるプログラムが例えば前記通信回線60を介して前記携帯電話機82やタブレット端末84等によりダウンロードされることで、それらのCPUが図3に示す各制御手段として機能させられるものであってもよい。図3に示す読出手段116、表示制御手段118、演奏出力制御手段120、及び音信号出力制御手段122は、必ずしも前記カラオケ装置10のCPU12に備えられたものでなくともよく、前記通信回線60に接続された通信端末装置の制御装置に備えられたものであってもよい。例えば、前記携帯電話機82、タブレット端末84、パーソナルコンピュータ86等の通信端末装置の制御装置に備えられたものであってもよい。以下の実施例においては、前記読出手段116、表示制御手段118、演奏出力制御手段120、及び音信号出力制御手段122が前記カラオケ装置10のCPU12に備えられた態様について説明する。
本実施例のカラオケ装置10は、図3に示す透過情報取得手段104及び動画ファイル作成手段106等を備えることで、撮像装置である前記デジタルカメラ70により撮影された動画において、例えば、図6等を用いて後述するように、利用者(歌唱者)に対応する像以外の部分を透過領域とした透過画像を得るための処理を実現する。斯かる透過画像を得るための従来の技術として、アルファチャンネル方式が知られている。このアルファチャンネル方式では、画像(動画)データが、R(赤色)G(緑色)B(青色)又はY(輝度)U(色差成分)V(色差成分)のカラーチャンネルに、A(透過情報)のアルファチャンネルを追加したRGBAチャンネル又はYUVAチャンネルを持つ。すなわち、透過情報に対応するアルファチャンネルを含む4つのチャンネルを持つことで、透過情報を持った動画像を実現することができる。しかしながら、この方式では、伝送或いは記録規格上、RGB又はYUVのカラーチャンネルだけの実装が規定されており、アルファチャンネルを実装し得ない形式においては、透過画像を実現することができない。
また、前記透過画像を得るための他の従来の技術のとして、実体画像と、透過情報画像とを個別に伝送及び記録する方式が知られている。この方式では、透過情報を持てないRGB又はYUVのカラーチャンネルのみの画像伝送及び記録方式に対して、2つのRGB又はYUVのカラーチャンネルの動画像を使用して透過処理を行う方式であり、透過処理が行われる対象の実体画像と、透過情報画像の2つの画像を別々に用意する。この透過情報画像とは、例えば、公知のルミナンスキー(Luminance Key)画像又はクロマキー(Chroma key)画像等である。透過情報画像から得られたルミナンスキー画像又はクロマキー画像を基に、実体画像に対して、ルミナンスキー又はクロマキー処理を行って透過範囲を切り抜いて透過画像を得る。しかしながら、この方式では、2つの画像すなわち実体画像及び透過情報画像を用意しなければならず、且つそれら実体画像及び透過情報画像を相互に対応付ける(紐付ける)情報が必要となる。
本実施例のカラオケ装置10は、図3に示す各制御手段を備えることで、実体画像、透過情報画像の画面分割同時伝送及び記録方式を実現する。すなわち、RGB又はYUVのカラーチャンネルのみのアルファチャンネルを持っていない画像伝送及び記録形式に対して、1つの画像伝送及び記録のみで透過情報を持たせることができる方式を実現する。具体的には、1つの画像を左右又は上下に画面分割して、実体画像領域と透過情報画像領域に分け、各領域に対して実体画像と透過情報画像(ルミナンスキー画像又はクロマキー画像等)を収録する。透過処理においては、前記1つの画像から実体画像領域と透過情報画像領域を別々で読み出し、透過情報画像から得られたルミナンスキー画像又はクロマキー画像等を基に、実体画像に対して、ルミナンスキー又はクロマキー処理を行って透過範囲を切り抜いて透過画像を得る。斯かる本実施例の方式では、アルファチャンネルを実装し得ない形式でも透過情報を1つの画像に持つことができ、且つ、従来方式では2つの別々の画像が必要だったところを1つの画像で透過画像を得ることができる。以下、図3に示す各制御機能の説明と併せて、斯かる本実施例の実体画像、透過情報画像の画面分割同時伝送及び記録方式について詳細に説明する。
図3に示す楽曲演奏制御手段100は、前記カラオケ装置10による楽曲の演奏(再生)を制御する。具体的には、前記楽曲データベース76に記憶された楽曲データに基づくカラオケ演奏において、前記RAM16等の予約曲テーブルにおける上位の予約曲から順に(すなわち入力順に)、その予約曲テーブルに記憶された予約曲の選曲番号に対応する楽曲データを前記ハードディスク18の楽曲データベース76から読み出し、その楽曲データに含まれる演奏情報に基づいて演奏曲の出力を制御する。例えば、演奏情報としてのMIDIデータに基づいて、前記音声処理部22に備えられたシンセサイザによりそのMIDIデータにおける楽譜情報としての各トラックに対応する楽器の演奏音(音楽情報)を出力させ、前記アンプ52等を介して前記スピーカ54から出力させる。また、楽曲データに含まれる歌詞情報に基づいて演奏曲に係る歌詞文字映像の出力を制御する。すなわち、歌詞情報に基づいて歌詞文字映像を生成し、前記映像処理部20を介してその歌詞文字映像を前記ディスプレイ44に表示させる。また、カラオケ演奏の進行に伴い、そのディスプレイ44に表示された歌詞文字映像を切替表示させると共に、歌詞色替情報に基づいて歌詞文字映像を順次色替え表示させる。本実施例においては、前記楽曲演奏制御手段100が、楽曲データを演奏する演奏手段に相当する。
録音手段102は、前記楽曲演奏制御手段100による楽曲データに基づく演奏出力に際して、入力装置(音声入力装置)としての前記マイクロフォン48から入力される音信号(歌唱音声信号)を録音する。例えば、前記マイクロフォン48から入力される音信号を前記RAM16等に記憶しておき、演奏終了後に例えばMPEG(Moving Picture Experts Group)形式やWAV形式等の音声データとして記憶する。好適には、後述する貼付手段108による第1動画領域への貼り付けの対象となる動画が前記デジタルカメラ70により撮影された時点において、前記マイクロフォン48から入力される音信号を録音する。すなわち、後述する動画ファイル作成手段106による処理対象となる実体画像に対応する動画が前記デジタルカメラ70により撮影された時点において、前記マイクロフォン48から入力される音信号を録音する。
透過情報取得手段104は、撮像装置である前記デジタルカメラ70により撮影された動画に対して透過処理を行うための透過情報を取得する。すなわち、前記デジタルカメラ70により撮影された動画を透過処理が行われる対象の実体画像として、その実体画像から所定の部分映像(例えば、利用者の映像に対応)を切り抜くための透過情報画像を取得する。具体的には、前記デジタルカメラ70により撮影された動画を連続する複数の齣に対応する画像(静止画)とした場合に、実体画像としての各画像から所定の部分映像を切り抜くための連続する複数の齣に対応する透過情報画像を取得する。換言すれば、撮像装置である前記デジタルカメラ70により撮影された動画に対して透過処理を行うための、連続する複数の透過情報画像を取得する。前記デジタルカメラ70により撮影された情報が前記カラオケ装置10等のデバイスへ送信され、そのデバイス側において前記透過情報が生成されるものであってもよい。
前記透過情報取得手段104は、好適には、前記デジタルカメラ70がデプスセンサ付きビデオカメラである場合には、斯かるデジタルカメラ70による動画(実体画像)の撮影と併行してそのデジタルカメラ70により検出される3次元的な距離情報から、その動画において所定の部分映像を切り抜くための透過情報画像を作成する。更に好適には、前記デジタルカメラ70による動画の撮影と併行してそのデジタルカメラ70により取得されるルミナンスキー画像又はクロマキー画像、デプスマット画像等の透過情報を取得する。すなわち、前記デジタルカメラ70による動画の撮影に際して、そのデジタルカメラ70から実体画像に対応する動画及びその動画に対応する前記透過情報(連続する複数の透過情報画像)を取得する。
前記透過情報取得手段104は、好適には、前記デジタルカメラ70により撮影された、動画から切り抜く対象となる部分映像を含まない画像と、切り抜く対象となる部分映像を含む画像との差分に基づいて、その動画において前記部分映像を切り抜くための透過情報を作成する。例えば、前記カラオケ装置10を用いて演奏を行っている利用者の像を前記部分映像として切り抜く場合、前記デジタルカメラ70により、利用者の像を含まない映像(例えば、カラオケ装置10が設置された室の風景映像)と、利用者の像を含む映像(例えば、カラオケ装置10が設置された室において利用者が演奏を行っている映像)とを、撮影し、それらの差分に基づいて、前記デジタルカメラ70により撮影された動画から前記利用者の像を切り抜くための透過情報(連続する複数の透過情報画像)を作成する。前記デジタルカメラ70がデプスセンサを備えないものである場合、前記透過情報を取得するために斯かる処理が好適に実行される。
図4は、前記デジタルカメラ70により撮影された動画に対応する実体画像130を例示する図である。図5は、図4の実体画像130に対して透過処理を行うための透過情報に対応する透過情報画像132を例示する図である。図5に示す透過情報画像132は、例えば、公知のルミナンスキー(Luminance Key)画像又はクロマキー(Chroma key)画像等であり、画面上における特定信号例えば輝度、色相、色、動き差分等を検出し、それを抜き出すキーヤー(Keyer)の一態様である。前記透過情報画像132は、具体的には、例えば所定部分の切り抜きの対象となる前記実体画像130と等しいサイズであり、切り抜きの対象となる部分とそれ以外の部分とが例えば異なる輝度、色相、色等により区分されている画像である。図5においては、図4に示す実体画像130における人物の像に対応する部分画像130aを切り抜くための透過情報画像132を例示している。図5に示す透過情報画像132を用いて図4に示す実体画像130に対し透過処理(ルミナンスキー処理又はクロマキー処理等)を行うことで、前記実体画像130から図6に示すように前記部分画像130aだけを切り抜くことができる。図6においては、前記部分画像130a以外の範囲が透過領域134とされており、その透過領域134を右上から左下への斜線で示している。なお、図4〜図6(更に後述する図7〜図11等)においては、便宜上静止画を用いて透過処理の説明を行っているが、斯かる静止画に対応する処理が連続する複数の画像について行われることで、動画についても同様に透過処理を実現し、その動画から所定の部分映像を切り抜く(抽出する)と共にそれ以外の部分は透過領域とした映像を作成できる。
前述のようにして前記実体画像130から部分画像130aが切り抜かれ、それ以外の部分が透過領域134とされた図6に示すような画像は、他の画像の前面側に合成することで、あたかもその画像中に前記部分画像130aが入り込んだような画像を作成することができる。例えば、図7に示すような燃えさかる炎の映像136の前面側に、図6に示す人物の像に対応する部分画像130aが合成されることで、図8に示すように、前記部分画像130aに対応する人物の像が背中に炎を背負ったような映像138を実現できる。
図3に示す動画ファイル作成手段106は、前記デジタルカメラ70により撮影された動画に対応して、その動画と、その動画に対して透過処理を行うための透過情報とを、含む1つの動画ファイルを作成する。斯かる処理を実現するために、前記動画ファイル作成手段106は、貼付手段108、楽曲対応付手段110、及び録音データ対応付手段112を備えている。
前記貼付手段108は、1つの動画ファイルに関して、その動画ファイルを構成する複数のフレーム(齣)それぞれについて第1動画領域及び第2動画領域を定め、前記第1動画領域には前記デジタルカメラ70により撮影された動画に対応する実体画像130を貼り付け、前記第2動画領域には前記透過情報取得手段104により取得された透過情報に対応する透過情報画像132を貼り付ける。図9は、前記貼付手段108による動画ファイルへの実体画像130及び透過情報画像132の貼り付けの具体例について説明する図である。図9においては、前記実体画像130及び透過情報画像132の貼り付け対象となる動画ファイルを構成するフレームを左右分割(サイドバイサイド分割)し、前記実体画像130及び透過情報画像132の正比率画像を収録する態様を例示している。この図9に示すように、前記動画ファイル作成手段106は、空の動画ファイル(実質的な映像情報を含まない動画ファイル)を用意し、その動画ファイルを構成する複数のフレームそれぞれについて、例えば収録画面領域を左右均等に区分した第1動画領域140及び第2動画領域142を定める。そして、前記貼付手段108により、前記デジタルカメラ70により撮影された動画に対応する、所定部分の切り抜きの対象となる前記実体画像130を前記第1動画領域140に貼り付ける(嵌め込む)と共に、前記実体画像130における所定の部分画像130aを切り抜くための透過情報画像132を前記第2動画領域142に貼り付ける(嵌め込む)。前記動画ファイルを構成する複数のフレームそれぞれについて斯かる実体画像130及び透過情報画像132の貼り付けを行うことで、前記デジタルカメラ70により撮影された動画から所定の部分映像130aを切り抜くのに必要な情報を含む1つの動画ファイルを作成することができる。
前記貼付手段108は、好適には、前記第1動画領域140への貼り付けの対象となる動画に対応する実体画像130及び前記第2動画領域142への貼り付けの対象となる透過情報に対応する透過情報画像132のサイズを変更し、前記第1動画領域140及び前記第2動画領域142にそれぞれ貼り付ける。図10及び図11は、前記実体画像130及び透過情報画像132のサイズを変更して1つの動画ファイルに貼り付ける処理の具体例について説明する図である。図10においては、前記実体画像130及び透過情報画像132の貼り付け対象となる動画ファイルを構成するフレームを左右分割(サイドバイサイド分割)し、前記実体画像130及び透過情報画像132をそれぞれ上下100%且つ左右50%としたアナモルフィック比率画像を収録する態様を例示している。図11においては、前記実体画像130及び透過情報画像132の貼り付け対象となる動画ファイルを構成するフレームを上下分割(トップアンドボトム分割)し、前記実体画像130及び透過情報画像132をそれぞれ上下50%且つ左右100%としたアナモルフィック比率画像を収録する態様を例示している。斯かる動画ファイルによっても、図6に示すように前記デジタルカメラ70により撮影された動画から所定の部分映像を切り抜く透過処理が可能であることに加え、斯かる透過処理を実現する動画ファイルのデータ量を更に小さなものとすることができるという利点がある。
図3に示す楽曲対応付手段110は、前記貼付手段108による前記第1動画領域140への貼り付けの対象となる動画が前記デジタルカメラ70により撮影された時点において、前記カラオケ装置10により演奏されている楽曲に対応する楽曲データに係る情報を前記動画ファイルに対応付けて記憶させる。ここで、前記動画ファイルへの対応付けの対象となる、前記楽曲データに係る情報とは、少なくとも前記デジタルカメラ70により撮影された時点において前記カラオケ装置10により演奏されている楽曲を特定するための情報であり、例えば前記楽曲データのメタデータに含まれる選曲番号や曲名及び歌手名等が相当する。或いは、前記デジタルカメラ70により撮影された時点において、前記カラオケ装置10により演奏されていた楽曲データそのものを前記動画ファイルに対応付けて記憶させるものであってもよい。
録音データ対応付手段112は、前記録音手段102により録音された音信号を前記動画ファイルに対応付けて記憶させる。すなわち、前記貼付手段108による前記第1動画領域140への貼り付けの対象となる動画が前記デジタルカメラ70により撮影された時点において、前記マイクロフォン48から入力されて前記録音手段102により録音された音信号に相当する録音データを、前記動画ファイルに対応付けて記憶させる。録音データそのものを前記動画ファイルに対応付けて記憶させるのではなく、前記録音データに係るユーザID及び録音情報を管理する管理番号等を前記動画ファイルに対応付けて記憶させるものであってもよい。前記動画ファイルに対して、前記楽曲対応付手段110による楽曲データに係る情報の対応付けと、前記録音データ対応付手段112による録音データの対応付けとが共に行われてもよいし、前記楽曲対応付手段110及び前記録音データ対応付手段112の何れか一方による対応付けのみが行われてもよい。すなわち、本実施例においては、前記録音データ対応付手段112が、前記録音手段102により録音された音信号を前記動画ファイルに対応付けて記憶させる第2対応付手段に相当する。
送信手段114は、前記動画ファイル作成手段106により作成された動画ファイルを前記通信回線60を介して前記サーバ80へ送信(アップロード)し、前記動画データベース78に記憶させる。好適には、動画ファイルの送信主体である利用者(例えば、デジタルカメラ70による撮影時にカラオケ装置10により演奏を行っていた利用者)の識別情報としてのユーザID、撮影日時、撮影場所(例えば、カラオケ装置10の識別情報)、動画のタイトル、動画の説明(例えば、短文テキストによる説明)等の情報を、前記動画ファイルに対応付けて前記動画データベース78に記憶させる。前記動画データベース78に記録されるファイルの形式(すなわち、動画ファイル作成手段106により作成されるファイルの形式)としては、公知のH.264ファイル、H.265ファイル、MPEG−2ファイル等が考えられる。
以上のようにして前記動画データベース78に記憶(蓄積)された動画ファイルは、図3に示す読出手段116、表示制御手段118、演奏出力制御手段120、及び音信号出力制御手段122により利用される。前述のように、これらの制御手段は、前記携帯電話機82、タブレット端末84、パーソナルコンピュータ86等の通信端末装置の制御装置に備えられたものであってもよい。すなわち、以下に詳述する制御は、前記携帯電話機82、タブレット端末84、パーソナルコンピュータ86等の通信端末装置において実行されるものであってもよい。
読出手段116は、前記動画データベース78に記憶された動画ファイルを前記通信回線60を介して取得(ダウンロード)し、その動画ファイルから、前記第1動画領域140に貼り付けられた動画及び前記第2動画領域142に貼り付けられた透過情報を読み出す。すなわち、所定の部分映像の切り抜きの対象となる動画に対応する前記実体画像130を前記第1動画領域140から読み出すと共に、前記実体画像130における部分映像を切り抜くための透過情報に対応する前記透過情報画像132を前記第2動画領域142から読み出す。前記サーバ80からの動画情報の取得形式(映像伝達方式)としては、公知のIP通信による動画ストリーミングや動画ダウンロード等が考えられる。公知のHDMI(登録商標)インターフェイスを介して伝送される信号、SDI信号、コンポジット信号、放送電波等によるものであってもよい。斯かる態様においては、一旦、前記カラオケ装置10等に動画情報がダウンロードされた後、HDMI(登録商標)インターフェイスを介して伝送される信号、SDI信号、コンポジット信号、無線通信等の利用により前記携帯電話機82等への動画情報の配信が行われる。前記読出手段116による前記動画データベース78からの前記動画ファイルの取得は、好適には、動画のタイトル、投稿者のユーザID、楽曲の選曲番号等の指定に応じて行われる。すなわち、例えば前記電子早見本装置68等を介しての入力操作により、所定の動画のタイトル、ユーザID、楽曲の選曲番号等の指定が行われた場合には、前記動画データベース78に蓄積された動画ファイルから各情報に対応する動画ファイルを取得(ダウンロード)する。
表示制御手段118は、前記読出手段116により読み出された動画及び透過情報に基づいて、その動画に対してその透過情報により透過処理を行った動画を表示装置である前記ディスプレイ44等に表示させる。例えば、前記読出手段116により読み出された図5に示すような透過情報画像132を用いて、同じく前記読出手段116により読み出された図4に示すような実体画像130に対し透過処理(ルミナンスキー処理又はクロマキー処理等)を行うことで、図6に示すように前記実体画像130から前記部分画像130aだけを切り抜き、それ以外の部分を透過領域134とした動画を生成する。ここで、前記動画及び透過情報の読み出し対象となる動画ファイルの作成において、前記実体画像130及び前記透過情報画像132のサイズ変更が行われていた場合、前記表示制御手段118は、好適には、前記実体画像130及び前記透過情報画像132を元のサイズに戻した上で透過処理を行う。透過処理を行った後、前記実体画像130及び前記透過情報画像132を元のサイズに戻すものであってもよい。このサイズの復元に関して、前記動画ファイルの作成において行われたサイズ変更に関する情報(例えば、変更比率)が、前記動画ファイルに対応付けられて記憶されており、その情報に基づいてサイズの復元を行うものであってもよいし、前記ファイル作成手段106と前記表示制御手段118との間で、前記動画ファイルの作成段階におけるサイズ変更に係る情報を予め共有し、その情報に基づいてサイズの復元を行うものであってもよい。
前記表示制御手段118は、例えば、前記読出手段116により読み出された動画及び透過情報に基づいて、その動画に対してその透過情報により透過処理を行った動画すなわち部分映像を、前述した図8に示すように他の画像乃至動画の前面側に合成して前記ディスプレイ44等に表示する表示制御を行う。前記透過処理の施された部分映像の背面側に合成される画像乃至動画は、予め定め前記ハードディスク18等に記憶されたものが選択的に用いられてもよいが、好適には、前記サーバ80における動画データベース(例えば、図3に示す動画データベース78とは異なる他の動画データベース)に記憶された複数の動画データのうち、何れかの動画データが選択されて用いられる。例えば、他の利用者が前記カラオケ装置10を用いてカラオケ演奏をする動画が前記他の動画データベースに蓄積されている場合、その動画を読み出して前面側に前記透過処理の施された部分映像を合成して表示させることで、あたかもそれらの利用者(部分映像に係る利用者と前記他の動画データに係る利用者)が同じ室でカラオケ演奏を行っているかのような映像を前記ディスプレイ44等に表示させることができる。
演奏出力制御手段120は、前記表示制御手段118による動画の表示と併行して、前記動画ファイルに対応付けられている楽曲データに基づいて楽曲の演奏出力を行う。好適には、前記動画ファイルに対応付けられた選曲番号を読み出し、その選曲番号に対応する楽曲データを前記楽曲データベース76から読み出す。そして、前記表示制御手段118による前記動画ファイルに対応する動画の再生(表示制御)と併行して、前記読み出された楽曲データに対応する楽曲の演奏出力を行う。すなわち、本実施例においては、前記楽曲演奏制御手段100が、前記演奏出力制御手段120として機能するものであってもよい。
音信号出力制御手段122は、前記表示制御手段118による動画の表示と併行して、前記動画ファイルに対応付けられている音信号の出力を行う。好適には、前記表示制御手段118による動画の表示制御の開始と同時に、前記動画ファイルに対応付けられている音信号の出力を開始し、前記表示制御手段118による前記動画ファイルに対応する動画の再生(表示制御)と併行して、前記動画ファイルに対応付けられている音信号の出力(録音データの再生)を行う。前記動画ファイルに対応付けられた録音データの再生と共に、例えば前記サーバ80における所定のデータベースから取得された録音データの再生を行うものであってもよい。例えば、他の利用者が前記カラオケ装置10を用いて行ったカラオケ演奏に対応する音信号が前記データベースに蓄積されている場合、その録音データを読み出して前記動画ファイルに対応付けられた録音データと共に再生させることで、あたかもそれらの利用者(部分映像に係る利用者と前記他の録音データに係る利用者)が一緒にカラオケ演奏を行っているような音声出力を実現できる。更に、前述のように前記利用者に対応する部分映像を前記他の動画データに合成させた映像を出力させることで、あたかもそれらの利用者(部分映像に係る利用者と前記他の動画データに係る利用者)が同じ室でカラオケ演奏を行っているかのような映像及びその映像に対応する音声出力を実現することができる。
図12は、前記カラオケ装置10のCPU12による本実施例の動画ファイル作成/送信制御の一例の要部を説明するフローチャートであり、所定の周期で繰り返し実行されるものである。
先ず、ステップ(以下、ステップを省略する)SA1において、前記RAM16等に記憶された予約曲テーブルの演奏順となる等して、所定の楽曲データに対応するカラオケ演奏が開始されるか否かが判断される。このSA1の判断が否定される場合には、それをもって本ルーチンが終了させられるが、SA1の判断が肯定される場合には、SA2において、演奏開始に係る楽曲データが前記楽曲データベース78から読み出されてその楽曲の演奏が行われると共に、その演奏出力と併行して前記デジタルカメラ70による撮影が行われる。このSA2の処理と併行して、SA3において、前記マイクロフォン48から入力される音信号が録音される。このSA3の処理は、必ずしも実行されなくともよい。次に、SA4において、演奏に係る楽曲データが最後まで演奏される等して、楽曲データに対応する演奏が終了させられるか否かが判断される。このSA4の判断が否定される場合には、SA2以下の処理が実行されるが、SA4の判断が肯定される場合には、SA5以下の処理が実行される。
SA5においては、SA2にて前記デジタルカメラ70により撮影された動画に対して透過処理を行うための透過情報画像が取得される。このSA5の処理は、前記楽曲データに対応するカラオケ演奏と併行して実行されるものであってもよい。次に、SA6において、1つの動画ファイルに関して、その動画ファイルを構成する複数のフレームそれぞれについて第1動画領域140及び第2動画領域142が定められ、SA2にて前記デジタルカメラ70により撮影された動画が前記第1動画領域140に貼り付けられると共に、SA5にて取得された透過情報画像が前記第2動画領域142に貼り付けられる。次に、SA7において、SA2にて出力されていた楽曲に対応する楽曲データに係る選曲番号等の情報が、SA6にて作成された動画ファイルに対応付けられて記憶される。次に、SA8において、SA3にて録音された録音データが、SA6にて作成された動画ファイルに対応付けられて記憶される。このSA8の処理は、必ずしも実行されなくともよい。次に、SA9において、前記電子早見本装置68等を介しての入力操作により、SA6にて作成された動画ファイルを前記サーバ80へ送信(アップロード)するための操作が行われたか否かが判断される。このSA9の判断が否定される場合には、それをもって本ルーチンが終了させられるが、SA9の判断が肯定される場合には、SA6にて作成され、SA7及びSA8にて楽曲データに係る情報、録音データ等が対応付けられた動画ファイルが、前記通信回線60を介して前記サーバ80へアップロードされ、前記動画データベース78に記憶された後、本ルーチンが終了させられる。
図13は、前記カラオケ装置10のCPU12による本実施例の動画ファイル読出/再生制御の一例の要部を説明するフローチャートであり、所定の周期で繰り返し実行されるものである。なお、この図13に示す制御は、前記携帯電話機82、タブレット端末84、パーソナルコンピュータ86等の通信端末装置の制御装置によっても好適に実行される。
先ず、SB1において、前記電子早見本装置68等を介しての入力操作により、前記サーバ80の動画データベース78に記憶された所定の動画を読み出す操作が行われたか否かが判断される。このSB1の判断が否定される場合には、それをもって本ルーチンが終了させられるが、SB1の判断が肯定される場合には、SB2において、対象となる動画ファイルが前記サーバ80の動画データベース78から読み出され、前記通信回線60を介して取得(ダウンロード)される。次に、SB3において、SB2にて読み出された動画ファイルにおける前記第1動画領域140から動画が、前記第2動画領域142から透過情報画像がそれぞれ読み出され、それら読み出された動画及び透過情報に基づいて、その動画に対してその透過情報により透過処理が行われる。次に、SB4において、SB3にて透過処理の施された映像が、前記映像処理部20を介して例えば他の動画の前面側に合成される等の映像処理が行われ、その処理に係る動画が前記ディスプレイ44に表示される。SB4の処理と併行して、SB5において、SB2にてダウンロードされた動画ファイルに対応付けられていた楽曲データに係る楽曲の演奏出力が行われる。SB4及びSB5の処理と併行して、SB6において、SB2にてダウンロードされた動画ファイルに対応付けられていた録音データの再生が行われる。このSB6の処理は、必ずしも実行されなくともよい。次に、SB7において、SB2にてダウンロードされた動画ファイルに対応する動画が最後まで出力される等して、その動画の再生が終了させられるか否かが判断される。このSB7の判断が否定される場合には、SB4以下の処理が実行されるが、SB7の判断が肯定される場合には、それをもって本ルーチンが終了させられる。
以上の制御において、SA1、SA2、及びSA4が前記楽曲演奏制御手段100の動作に、SA3が前記録音手段102の動作に、SA5が前記透過情報取得手段104の動作に、SA6〜SA8が前記動画ファイル作成手段106の動作に、SA6が前記貼付手段108の動作に、SA7が前記楽曲対応付手段110の動作に、SA8が前記録音データ対応付手段112の動作に、SA10が前記送信手段114の動作に、SB1〜SB3が前記読出手段116の動作に、SB4が前記表示制御手段118の動作に、SB5が前記演奏出力制御手段120の動作に、SB6が前記音信号出力制御手段122の動作に、それぞれ対応する。
本実施例によれば、撮像装置である前記デジタルカメラ70により撮影された動画に対して透過処理を行うための透過情報を取得する透過情報取得手段104(SA5)と、1つの動画ファイルに関して、その動画ファイルを構成する複数のフレームそれぞれについて第1動画領域140及び第2動画領域142を定め、前記第1動画領域140には前記デジタルカメラ70により撮影された動画を貼り付け、前記第2動画領域142には前記透過情報取得手段104により取得された透過情報を貼り付ける貼付手段108(SA6)と、その貼付手段108による前記第1動画領域140への貼り付けの対象となる動画が前記デジタルカメラ70により撮影された時点において、前記カラオケ装置10により演奏されている楽曲に対応する楽曲データに係る情報を前記動画ファイルに対応付けて記憶させる楽曲対応付手段110(SA7)とを、備えたものであることから、動画及びその動画に透過処理を行うための動画情報を1つの動画ファイルに統合し、更に動画撮影時に演奏されていた楽曲に関する情報を対応付けることで、可及的に小さいデータ量で動画の透過処理及び動画撮影時に出力されていた楽曲の演奏を実現できる。すなわち、比較的小さいデータ量で動画の透過処理及び動画撮影時の演奏の再現を実現するカラオケ装置10を提供することができる。
前記動画ファイルから、前記第1動画領域140に貼り付けられた動画及び前記第2動画領域142に貼り付けられた透過情報を読み出す読出手段116(SB1〜SB3)と、前記読出手段116により読み出された動画及び透過情報に基づいて、その動画に対してその透過情報により透過処理を行った動画を表示装置であるディスプレイ44に表示させる表示制御手段118(SB4)と、前記表示制御手段118による動画の表示と併行して、前記動画ファイルに対応付けられている楽曲データに基づいて楽曲の演奏出力を行う演奏出力制御手段120(SB5)とを、備えたものであるため、例えば他のカラオケ装置10により撮影が行われる等して所定のサーバ80にアップロードされた動画ファイルを所定のカラオケ装置10によりダウンロードし、そのカラオケ装置10において動画の透過処理及び動画撮影時の演奏の再現を実現することができる。
前記貼付手段108は、前記第1動画領域140への貼り付けの対象となる動画及び前記第2動画領域142への貼り付けの対象となる透過情報のサイズを変更し、前記第1動画領域140及び前記第2動画領域142にそれぞれ貼り付けるものであるため、透過処理を実現する動画ファイルのデータ量を更に小さなものとすることができる。
前記貼付手段108による前記第1動画領域140への貼り付けの対象となる動画が前記デジタルカメラ70により撮影された時点において、入力装置であるマイクロフォン48から入力される音信号を録音する録音手段102(SA3)と、その録音手段102により録音された音信号を前記動画ファイルに対応付けて記憶させる第2対応付手段としての録音データ対応付手段112(SA8)と、前記表示制御手段118による動画の表示と併行して、前記動画ファイルに対応付けられている音信号の出力を行う音信号出力制御手段122(SB6)とを、備えたものであるため、動画及びその動画に透過処理を行うための動画情報を1つの動画ファイルに統合することに加え、動画撮影時における歌唱者の歌唱音声等を録音して対応付けることで、比較的小さいデータ量で動画の透過処理及び動画撮影時のカラオケ演奏の再現を実現することができる。
本実施例によれば、動画を撮影する撮像装置としてのデジタルカメラ70を備え、多数の楽曲データのうちから選択される楽曲データに基づいて楽曲の演奏出力を行うカラオケ装置の制御装置としてのCPU12を、前記デジタルカメラ70により撮影された動画に対して透過処理を行うための透過情報を取得する透過情報取得手段104(SA5)、1つの動画ファイルに関して、その動画ファイルを構成する複数のフレームそれぞれについて第1動画領域140及び第2動画領域142を定め、前記第1動画領域140には前記デジタルカメラ70により撮影された動画を貼り付け、前記第2動画領域142には前記透過情報取得手段104により取得された透過情報を貼り付ける貼付手段108(SA6)、及び、その貼付手段108による前記第1動画領域140への貼り付けの対象となる動画が前記デジタルカメラ70により撮影された時点において、前記カラオケ装置10により演奏されている楽曲に対応する楽曲データに係る情報を前記動画ファイルに対応付けて記憶させる楽曲対応付手段110(SA7)として機能させることを特徴とするプログラムであるため、動画及びその動画に透過処理を行うための動画情報を1つの動画ファイルに統合し、動画撮影時に演奏されていた楽曲に関する情報を対応付けることで、可及的に小さいデータ量で動画の透過処理及び動画撮影時に出力されていた楽曲の演奏を実現できる。すなわち、比較的小さいデータ量で動画の透過処理及び動画撮影時の演奏の再現を実現するプログラムを提供することができる。
以上、本発明の好適な実施例を図面に基づいて詳細に説明したが、本発明はこれに限定されるものではなく、更に別の態様においても実施される。
例えば、前述の実施例においては、動画を撮影する撮像装置を備え、多数の楽曲データのうちから選択される楽曲データに基づいて楽曲の演奏出力を行う楽曲演奏装置の一例として、前記カラオケ装置10に本発明が適用された例を説明したが、本発明はこれに限定されるものではなく、別の形態の楽曲演奏装置にも適用され得る。例えば、動画を撮影するデジタルカメラを内蔵し、多数の楽曲データのうちから選択される楽曲データに基づいて楽曲の演奏出力を行うカラオケアプリケーションがインストールされた所謂スマートフォン等の携帯電話機や、カラオケゲームを実行する家庭用ゲーム機を楽曲演奏装置として用いる態様にも、本発明は好適に適用される。
また、前述の実施例においては、前記動画ファイル作成手段106及び前記表示制御手段118等の処理は、前記カラオケ装置10に備えられたCPU12により実行されるものであったが、それら動画ファイル作成手段106及び前記表示制御手段118等による本実施例の実質的な制御は、前記通信回線60を介して楽曲演奏装置に接続されたサーバの制御装置において実行されるものであってもよい。例えば、前記カラオケ装置10等の通信端末装置により、前記サーバ80の動画データベース78に記憶された動画ファイルに対応する動画の再生が行われる場合、前記サーバ80側において前記透過処理が施されると共に、例えばその透過処理が施された部分映像が他の映像の前面側に合成された動画が再生され、前記通信回線60を介して前記カラオケ装置10等の通信端末装置へストリーミング配信される等の態様も考えられる。
また、前述の実施例においては特に言及していないが、前記動画ファイル作成手段106により作成された動画情報は、種々の態様で利用が可能である。例えば、既に透過情報が組み込まれた複数の動画情報同士を合成することや、それら複数の動画情報同士を対応付けて記憶させ、前記通信回線60を介して配信する等の利用形態が考えられる。
その他、一々例示はしないが、本発明はその趣旨を逸脱しない範囲内において種々の変更が加えられて実施されるものである。