JP4983494B2 - 合成画像出力装置および合成画像出力処理プログラム - Google Patents
合成画像出力装置および合成画像出力処理プログラム Download PDFInfo
- Publication number
- JP4983494B2 JP4983494B2 JP2007232207A JP2007232207A JP4983494B2 JP 4983494 B2 JP4983494 B2 JP 4983494B2 JP 2007232207 A JP2007232207 A JP 2007232207A JP 2007232207 A JP2007232207 A JP 2007232207A JP 4983494 B2 JP4983494 B2 JP 4983494B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- data
- transformation
- image data
- character
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Circuits (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Description
図1は、本発明の合成画像出力装置の実施形態に係るデジタルカメラ10を利用した動画像の撮影状態と合成画像の生成状態を示す概念図である。
このデジタルカメラ10は、その背面にLCD表示部11、入力部12、音声出力部(スピーカ)13を備え、入力部12の操作に応じて撮影される動画像(撮影画像)Gは、リアルタイムで表示部11に表示される。
このような主要な機能を有するデジタルカメラ10を、例えば家族で利用してその父親Pを怪獣役、子供Kを○○マン役とした一連のシーンを母親が動画撮影して遊ぶ場合に、当該デジタルカメラ10において、父親Pの顔画像を怪獣画像(役柄画像24Gw)に対応付けて予め登録し、子供Kの顔画像を変身前の隊員画像(変身(1)画像24Gw3)と変身後の○○マン画像(変身(2)画像24Gw3’)に対応付けて予め登録すると共に、ビール瓶Aと紙飛行機Bの破壊対象画像をそれぞれ塔と飛行機の破壊画像15Gaと15Gbに対応付けて予め登録する。
撮影中の動画像Gは、図1(A)に示すように、リアルタイムで表示部11に表示されると共に、本デジタルカメラ10が有する前記各種の機能によって解析され、父親Pの人物画像には、対応する怪獣画像(役柄画像24Gw)を示す役柄変身マーク24Mwが付加表示され、子供Kの人物画像には、予め設定された身振り(モーション)が検出された時点以降、該当する役柄に応じて変身した○○マン画像(役柄変身画像24Gw3’)を示す変身マーク24Mw3’が付加表示される。また、ビール瓶Aには、対応する塔の破壊画像15Gaを示す破壊マーク15Maが付加表示され、紙飛行機Bには、対応する飛行機の破壊画像15Gbを示す破壊マーク15Maが付加表示される。
またこの際、前記怪獣画像(役柄変身画像24Gw)と○○マン画像(役柄変身画像24Gw3’)にそれぞれ対応付けられて予め記憶されている音声データ「ガオー」「ター、ター」が読み出され音声出力部13から出力されることで、各役柄を演じている最中の父親Pや子供Kにあっても、自らがその役柄通りに変身処理されていることを容易に認識することができる。
この後、前記一連のシーンの動画像Gの撮影が終了すると共にそのマーク付き撮影画像Gmが生成されると、当該マーク付き撮影画像Gmが前記各種の機能によって解析され、図1(B)に示すように、前記役柄変身マーク24Mwの付加された父親Pの人物画像に対応する怪獣の役柄変身画像24Gw1と、前記役柄変身マーク24Mw3’の付加された子供Kの人物画像に対応する○○マンの変身画像24Gw3’、および前記各破壊マーク15Ma,15Mbの付加されたビール瓶Aと紙飛行機Bの各破壊対象画像に対応する塔と飛行機の各破壊画像15Ga,15Gbが、予め設定された背景画像BGに合成されてなる合成動画像GGが生成される。
図2は、前記デジタルカメラ10(通信端末A)の電子回路の構成を示すブロック図である。
CPU16は、メモリ17に予め記憶されたシステムプログラム、あるいはメモリカードなどの外部記録媒体18からカードスロットなどの記録媒体読取部19を介して前記メモリ17に読み込まれたカメラ制御プログラム、あるいは通信ネットワーク(N)上のサーバ装置30(この場合はプログラムサーバ)から電送制御部20を介して前記メモリ17に読み込まれたカメラ制御プログラムに従い回路各部の動作を制御する。
前記メモリ17のプログラムメモリ22には、本デジタルカメラ10の全体の動作を司るシステムプログラムや撮影動作を司るカメラ制御プログラム、通信ネットワークN上のサーバ装置30や外部の通信端末B(PC:personal computer)40との通信動作を司る通信制御プログラムが記憶されると共に、前記画像撮影部21により撮影された撮影画像Gに基づいて、前述したマーク付き撮影画像Gmや合成画像GGを生成したり出力したりするための前記各種の機能を司る画像処理プログラムが予め記憶される。
また、前記メモリ17には、変身データメモリ14、特殊効果データメモリ23、破壊データメモリ15、役柄データメモリ24A、役柄別変身状態メモリ24B、撮影画像データメモリ25、マーク付き撮影画像データメモリ26、合成画像データメモリ27、およびその他の作業用データメモリなどが備えられる。
この変身データメモリ14は、変身モーションモデルデータ14Pと変身画像データ14Guと変身マークデータ14Muの記憶領域を有し、変身画像データ14Guの記憶領域には、複数種類の変身画像データ(変身キャラクタ)およびその音声データが、例えば○○マンAの変身画像データ14Gu1およびその音声データ「シュワッチ」14Su1、初代○○マンの変身画像データ14Gu2およびその音声データ「ヤー・ター」14Su2として記憶される。また、変身マークデータ14Muの記憶領域には、前記複数種類の変身画像データ14Gu1,14Gu2をそれぞれ簡易表現する変身マークデータ14Mu1,14Mu2が記憶される。そして、変身モーションモデルデータ14Pの記憶領域には、前記複数種類の変身画像データ14Gu1,14Gu2にそれぞれ変身するための一連のモーション(身振り)からなる変身モーションモデルデータ14P1a〜14P1c,14P2a〜14P2cが記憶される。
この特殊効果データメモリ23は、特殊効果モーションモデルデータ23Pと特殊効果画像データ23Guと特殊効果マークデータ23Muの記憶領域を有し、特殊効果画像データ23Guの記憶領域には、前記複数種類の変身画像データ14Gu1,14Gu2にそれぞれ対応する特殊効果画像データおよびその音声データが、例えば○○マンA用の特殊効果画像データ23Gu1およびその音声データ「ビビビビー」23Su1、初代○○マン用の特殊効果画像データ23Gu2およびその音声データ「ピーバリバリー」23Su2として記憶される。また、特殊効果マークデータ23Muの記憶領域には、前記複数種類の特殊効果画像データ23Gu1,23Gu2をそれぞれ簡易表現する特殊効果マークデータ23Mu1,23Mu2が記憶される。そして、特殊効果モーションモデルデータ23Pの記憶領域には、前記複数種類の特殊効果画像データ23Gu1,23Gu2をそれぞれ対応する変身画像データ14Gu1,14Gu2の所定の位置から発生させて付加するための一連のモーション(身振り)からなる特殊効果モーションモデルデータ23P1a〜23P1c,23P2a〜23P2cが記憶される。
この破壊データメモリ15は、破壊対象画像データ15Tと破壊画像データ15Gと破壊(前)マークデータ15Mと破壊(後)マークデータ15M′の記憶領域を有し、破壊画像データ15Gの記憶領域には、複数種類の一連の破壊画像データおよびその破壊途中の音声データが、例えば塔の破壊前,破壊中,破壊後の各画像データ15Ga1〜15Ga3およびその破壊中音声データ「グシャ」15Sa、飛行機の破壊前,破壊中,破壊後の各画像データ15Gb1〜15Gb3およびその破壊中音声データ「ドカーン」15Sb、建物の破壊前,破壊中,破壊後の各画像データ15Gc1〜15Gc3およびその破壊中音声データ「ガラガラ」15Scとして記憶される。また、破壊(前)マークデータ15Mと破壊(後)マークデータ15M′の各記憶領域には、前記複数種類の破壊前後の画像データ15Ga1,15Ga3、15Gb1,15Gb3、15Gc1,15Gc3をそれぞれ簡易表現する同破壊前後のマークデータ15Ma,15Ma′、15Mb,15Mb′、15Mc,15Mc′が記憶される。そして、破壊対象画像データ15Tの記憶領域には、前記複数種類の破壊画像データ15Ga1〜15Ga3,15Gb1〜15Gb3,15Gc1〜15Gc3にそれぞれ置き換えるための対象となる一般家庭にある物体画像が、例えば塔の破壊画像データ15Ga1〜15Ga3の場合にはビール瓶A1やペットボトルA2、飛行機の破壊画像データ15Gb1〜15Gb3の場合には紙飛行機B、建物の破壊画像データ15Gc1〜15Gc3の場合にはティッシュボックスCとして記憶される。
この役柄データメモリ24Aは、ユーザ登録される変身対象画像データ24T、変身(1)画像データ24Gwと変身(1)マークデータ24Mw、変身(2)画像データ24Gw′と変身(2)マークデータ24Mw′、変身条件データ24Hの記憶領域を有し、変身(1)画像データ24Gwの記憶領域には、複数種類の第1段階の変身画像データ(変身キャラクタ)およびその音声データが設定される。
変身対象画像データ24Tの記憶領域には、役柄別に複数種類の変身画像データ24Gw1,24Gw2,24Gw3,24Gw3にそれぞれ変身させて置き換えるための対象となる人物の顔画像が、例えば登録A;父親の顔画像P、登録B;母親の顔画像M、登録C;子供の顔画像K、登録D;女子の顔画像Jとしてユーザ登録され記憶される。登録Aの父親Pの画像に対応して役柄-怪獣Aの変身(1)画像データ24Gw1およびその音声データ「ガオー」24Sw1、登録Bの母親Pの画像に対応して役柄-怪獣Bの変身(1)画像データ24Gw2およびその音声データ「ギャーギャー」24Sw2、子供(K)の画像に対応して役柄-隊員の変身の画像データ24Gw3、女子(J)の画像に対応して役柄-女隊員の変身の画像データ24Gw4として記憶される。また、変身(1)マークデータ24Mwの記憶領域には、前記複数種類の変身(1)画像データ24Gw1,24Gw2,24Gw3,24Gw4をそれぞれ簡易表現する変身(1)マークデータ24Mw1,24Mw2,24Mw3,24Mwが記憶される。
また、変身(2)画像データ24Gw′の記憶領域には、前記複数種類の第1段階の変身画像データ24Gw1,24Gw2,24Gw3,24Gw4にそれぞれ対応する第2段階の変身画像データ24Gw1′,24Gw2′,24Gw3′,24Gw4′およびその音声データ24Sw1′,24Sw2′,24Sw3′,24Sw4′が記憶される。また、変身(2)マークデータ24Mw′の記憶領域には、前記変身(2)画像データ24Gw1′,24Gw2′を簡易表現する変身(2)マークデータ24Mw1′,24Mw2′,24Mw3′,24Mw4′が記憶される。さらに、変身条件データ24Hの記憶領域には、前記第1段階の変身(1)画像データ24Gw1,24Gw2,24Gw3,24Gw4から第2段階の変身(2)画像データ24Gw1′,24Gw2′,24Gw3’,24Gw4’に変身するための条件データ24H1,24H2,24H3,24H4が記憶される。たとえば、子供(K)の画像に対応して役柄-○○マンTの変身の画像データ24Gw3’およびその音声データ「ター、ター」24Sw3’、女子(J)の画像に対応して役柄-○○マンMの変身の画像データ24Gw4’およびその音声データ「マー、マー」24Sw4’が設定されている。また、変身条件データ24H3として「変身ポーズを検知後」設定され、変身条件データ24H4として「5分経過後」が設定されている。
撮影画像データメモリ25には、画像撮影部21により静止画または動画撮影されて入力された撮影画像データGが記憶される。
なお、前記構成のデジタルカメラ10は、当該デジタルカメラ10自体により動画撮影される撮影画像データGに基づいて、前記マーク付き撮影画像データGm(図1(A)参照)をリアルタイムに生成表示し、この後に当該マーク付き撮影画像データGmから前記合成画像データGG(図1(B)参照)を生成して表示あるいは外部に出力するものである。これに対し、前記デジタルカメラ10が有する撮影機能以外の前記動画撮影された撮影画像データGからマーク付き撮影画像データGm(図1(A)参照)を生成し、このマーク付き撮影画像データGmから合成画像データGG(図1(B)参照)を生成するための各種の機能を、通信ネットワークN上のサーバ装置30に備えさせ、通信機能付きのデジタルカメラ(通信端末A)10′やPC(通信端末B)40から転送された動画撮影データGに基づき、当該サーバ装置30が前記マーク付き撮影画像データGmおよび合成画像データGGを生成し、前記各通信端末(A)10′,(B)40に応答配信してサービスを提供する構成としてもよい。
このサーバ装置30は、コンピュータであるCPU31を備えている。
CPU31は、メモリ32に予め記憶されたシステムプログラム、あるいはCD−ROMなどの外部記録媒体33から光ディスクドライブなどの記録媒体読取部34を介して前記メモリ32に読み込まれたサーバ制御プログラムに従い回路各部の動作を制御する。
また、前記メモリ32には、前記図1〜図6を参照して説明したデジタルカメラ10におけるそれと略同一のデータ内容である、変身データメモリ32B、特殊効果データメモリ32C、破壊データメモリ32D、役柄データメモリ32EA、撮影画像データメモリ32F、マーク付き撮影画像データメモリ32G、合成画像データメモリ32H、およびその他の作業用データメモリなどが備えられる。
図8は、前記合成画像出力装置による合成画像出力処理の全体過程を示すフローチャートである。
図9は、前記合成画像出力処理に伴い撮影画像(G)中に存在する人物(P,M,K)・物体(A,B,C)の対象画像を抽出する対象画像抽出処理を示すフローチャートである。
図11は、前記合成画像出力処理に伴い抽出された物体画像(A,B,C)に破壊マーク(15M,15M′)を付加すると共に対応音声(15S)を出力する破壊マーク処理を示すフローチャートである。
図13は、前記合成画像出力処理に伴い特殊効果モーション(23P)の検出された人物画像(K)に特殊効果マーク(23Gu)を付加すると共に対応音声(23Su)を出力する特殊効果マーク処理を示すフローチャートである。
図16は、前記合成画像出力処理に伴い特殊効果マーク(23Gu)の付加された人物画像(K)の所定位置に特殊効果画像23Guを追加合成すると共に対応音声(23Su)の出力を設定する特殊効果マーク合成処理を示すフローチャートである。
一方、図9(B)に示す対象画像抽出処理(方式2)では、前記撮影画像データメモリ25に順次保存される撮影画像データGnの付加情報である前記画像撮影部21の距離センサにより取得された被写体までの距離情報が読み出され(ステップA21)、その中で近距離に存在する画像部分がブロック化されて抽出される(ステップA22)。
すなわち、図9(B)で示した対象画像抽出処理(方式2)は、撮影画像データGnの付加情報として被写体までの距離情報が必要になるため、デジタルカメラ10での処理に適し、また、図9(A)で示した対象画像抽出処理(方式1)は、逆に前記撮影画像データGnにおける被写体までの距離情報を必要としないので、サーバ装置30での処理に適している。
この役柄変身マーク処理では、前記対象画像抽出処理により抽出された撮影画像データGnの中の人物画像(P,K)や物体画像(A,B)について、前記役柄データメモリ24A(図6参照)にユーザ登録された変身対象(顔)画像データ24Tとしての人物画像(PやM)が含まれるか否かが前記顔画像認識処理を用いて識別される(ステップB1)。
ここで、図17(A)〜図25(A)の撮影画像データG1〜G9にそれぞれ示すように、変身対象(顔)画像データ24Tとしての父親の人物画像Pが含まれていることが識別されると(ステップB1(Yes))、メモリ17の役柄別変身状態メモリ内のワークエリア内の役柄データが検知され、現在の父親人物画像に対応する登録Aの変身状態が検知される。そして、変身(1)の状態であることが検知され(ステップB2(No))、
変身条件は「なし(24H1)」であるので、ステップB6(No)→B10(No)→(2)→B9と処理が進み、前記役柄データメモリ24A(図6参照)に対応付けられて記憶されている変身(1)の怪獣Aの変身マークデータ24Mw1が読み出されると共に、前記識別された父親の人物画像Pの顔画像認識された位置に対応して付加され、図17(B)〜図25(B)に示すようなマーク付き撮影画像データGm1〜Gm9として作業用データメモリに一時保存されると共に表示部11に表示される(ステップB9)。
なお、前記登録された人物画像Pの顔画像の位置に対応付加される変身マークデータ24Mw1は、当該顔画像に重ねて付加されるか、または当該顔画像の近傍に付加されるかの何れであってもよい。
そして、現在デジタルカメラ10による撮影中にあると判断された場合には(ステップB4(Yes))、前記役柄データメモリ24A(図6参照)に対応付けられて記憶されている音声データ「ガオー」24Sw1が読み出され、同図17(B)〜図25(B)に示すように音声出力部13から出力される(ステップB5)。
そして、現在デジタルカメラ10による撮影中にあると判断された場合には(ステップB4(Yes))、前記役柄データメモリ24A(図6参照)に対応付けられて記憶されている音声データ「ター、ター」24Sw3’が読み出され、同図22(B)〜図25(B)に示すように音声出力部13から出力される(ステップB5)。
なお、前記登録された人物画像Pの顔画像の位置に対応付加される変身マークデータ24Mw1は、当該顔画像に重ねて付加されるか、または当該顔画像の近傍に付加されるかの何れであってもよい。
そして、現在デジタルカメラ10による撮影中にあると判断された場合には(ステップB4(Yes))、前記役柄データメモリ24A(図6参照)に対応付けられて記憶されている音声データ「ター、ター」24Sw3’が読み出され、同図22(B)〜図25(B)に示すように音声出力部13から出力される(ステップB5)。
そして、現在デジタルカメラ10による撮影中にあると判断された場合には(ステップB4(Yes))、前記役柄データメモリ24A(図6参照)に対応付けられて記憶されている音声データ「マー、マー」24Sw4’が読み出され、音声出力部13から出力される(ステップB5)。
そして、現在デジタルカメラ10による撮影中にあると判断された場合には(ステップB4(Yes))、前記役柄データメモリ24A(図6参照)に対応付けられて記憶されている音声データ「マー、マー」24Sw4’が読み出され、音声出力部13から出力される(ステップB5)。
なお、変身条件は、変身(2)から変身(1)に戻す条件を付加するようにしてもよい。たとえば、(3)登録C:子供Kの変身条件に、変身(2)から変身(1)に戻す条件として、「変身(2)後、3分間経過」を設定するようにしてもよい。この場合は、子供Kが、○○マンT(24Gw3’)に変身後3分間経過すると、隊員(24Gw3)に戻ることになり、このような設定を行うことで、目的にあった特撮撮影が、容易にできることになる。
この破壊マーク処理では、まず、前記対象画像抽出処理により抽出された撮影画像データGnの中の人物画像(P,K)や物体画像(A,B)について、前記破壊データメモリ15(図5参照)に予め記憶された破壊対象画像データ15Tとしての物体画像(AやBやC)が含まれるか否かが画像認識処理により識別される(ステップC1)。
そして、現在デジタルカメラ10による撮影中にあると判断された場合には(ステップC4(Yes))、前記破壊データメモリ15(図5参照)に対応付けられて記憶されている飛行機の破壊(前)画像データ15Gb1の音声データ「ビューン」15Sb1が読み出され、同図18(B)に示すように音声出力部13から出力される(ステップC5)。
このモーション変身マーク処理では、前記対象画像抽出処理により抽出される一連の撮影画像データGnの中の人物画像(P,K)や物体画像(A,B)について、前記変身データメモリ14(図3参照)に予め記憶された○○マンAの一連の変身モーションモデルデータ14P1a〜14P1cや初代○○マンの一連の変身モーションモデルデータ14P2a〜14P2cと一致する画像部分が検出されたか否か判断される(ステップD1)。
また、前記モーション検出された人物画像Kの顔画像の位置に対応付加される変身マークデータ14Mu1は、当該顔画像に重ねて付加されるか、または当該顔画像の近傍に付加されるかの何れであってもよい。
そして、現在デジタルカメラ10による撮影中にあると判断された場合には(ステップD3(Yes))、前記変身データメモリ14(図3参照)に対応付けられて記憶されている○○マンAの音声データ「シュワッチ」14Su1が読み出され音声出力部13から出力される(ステップD4)。
この特殊効果マーク処理では、前記対象画像抽出処理により抽出される一連の撮影画像データGnの中の人物画像(P,K)や物体画像(A,B)について、前記特殊効果データメモリ23(図4参照)に予め記憶された特殊効果Aの一連の変身モーションモデルデータ23P1a〜23P1cや特殊効果Bの一連の変身モーションモデルデータ23P2a〜23P2cと一致する画像部分が検出されたか否か判断される(ステップE1)。
そして、現在デジタルカメラ10による撮影中にあると判断された場合には(ステップE3(Yes))、前記特殊効果データメモリ23(図4参照)に対応付けられて記憶されている特殊効果Aの音声データ「ビビビビー」23Su1が読み出され、同図25(B)に示すように音声出力部13から出力される(ステップE4)。
そして、前記役柄データメモリ24A(図6参照)に対応付けられて記憶されている怪獣Aの音声データ「ガオー」24Sw1が読み出され、前記図17(C)〜図25(C)に示すように生成された合成画像GG1〜GG9に対応付けられて保存され、また、前記変身データメモリ14(図3参照)に対応付けられて記憶されている○○マンTの音声データ「ター、ター」23Sw3が読み出され、前記図22(C)〜図25(C)に示すように生成された合成画像GG6〜GG9に対応付けられて保存される(ステップF4)。
この破壊マーク合成処理では、まず、前記マーク付き撮影画像データメモリ26から作業用メモリに読み出されたマーク付き撮影画像データGm1〜Gm9について、前記破壊データメモリ15(図5参照)に予め記憶されている破壊(前)マークデータ15Mや破壊(後)マークデータ15M′が付加された画像が含まれているか否か判断される(ステップG1)。
ここで、例えば図17(B)のマーク付き撮影画像データGm1における破壊対象画像データ(ビール瓶)A1、あるいは図18(B)のマーク付き撮影画像データGm2における破壊対象画像データ(紙飛行機)Bにおいて示すように、当該特定された破壊対象画像データ(A1やB)の位置が、他の抽出画像部分と接触してないと判断された場合には(ステップG3(No))、該特定されたビール瓶A1や紙飛行機Bの破壊対象画像データは破壊後の状態にあるか否かが、当該各物体画像(A1,B)が転倒状態や反転状態にあるか否かの画像認識によって判断される(ステップG4)。
一方、例えば図18(B)のマーク付き画像データGm2における破壊対象画像データ(ビール瓶)A1と人物画像(父親)Pとの接触状態、あるいは図19(B)のマーク付き撮影画像データGm3における破壊対象画像データ(紙飛行機)Bと人物画像(父親)Pとの接触状態において示すように、当該特定された破壊対象画像データ(A1やB)の位置が、他の動作中の抽出画像部分と接触したと判断された場合には(ステップG3(Yes))、さらに、変身マーク付きの画像部分と接触したか否かが判別される。(ステップG7)。そして、変身マーク付きの画像部分と接触が検知された場合には、破壊対象画像として特定されたビール瓶A1あるいは紙飛行機Bの破壊対象画像データが、図18(C)に示すように破壊データメモリ15(図5参照)に記憶されている前記塔の破壊(後)マークデータ15Ma′に対応するところの破壊(中)画像データ15Ga2、あるいは図19(C)に示すように破壊データメモリ15(図5参照)に記憶されている前記飛行機の破壊(後)マークデータ15Mb′に対応するところの破壊(中)画像データ15Gb2にそれぞれ予め設定された背景画像BG上で置き換えられて合成され、合成画像データGG2,GG3が生成される(ステップG8)。
なお、ステップG7で、変身マーク付きの画像部分と接触したか否かが判別されるが、この変身マークには、変身データ記憶手段(図3の14)に記憶された身振りのモデルデータと身振りが一致する人物画像を検出してその人物画像に変身マークをつけた場合(図8のSD)と、顔変身データ記憶手段に記憶された顔画像が一致する人物画像を検出してその人物画像に変身マークをつけた場合(図8のSB)がある。このように変身マークをつけた抽出画像部分との接触のみに応じて、破壊マークをつけるようにすることで、単に動いている画像部分と破壊対象画像がたまたま画面上重なった場合を排除して、変身マークをつけた人物との接触に限定して、適切に破壊画像を生成することができる。
この特殊効果マーク合成処理では、まず、前記マーク付き撮影画像データメモリ26から作業用メモリに読み出されたマーク付き撮影画像データGm1〜Gm9について、前記特殊効果データメモリ23(図4参照)に予め記憶されている特殊効果マークデータ23Muが付加された画像が含まれているか否か判断される(ステップH1)。
そして、前記特殊効果データメモリ23(図4参照)に対応付けられて記憶されている特殊効果Aの音声データ「ビビビビー」23Su1が読み出され、前記図25(C)に示すように生成された合成画像GG9に対応付けられて保存される(ステップH5)。
そして、前記合成画像データメモリ27に記憶された一連の合成画像データ(対応付けられた音声データを含む)GG1〜GG9が、前記図17(C)〜図25(C)で示すように、表示部11により再生表示されると共に音声出力部13により再生出力される(ステップS7)。なお、本合成画像出力装置がサーバ装置30(図7参照)として構成されている場合には、前記ステップS1において受信された一連の撮影画像データG1〜G9の送信元である通信ネットワークN上の通信端末A(デジタルカメラ)10′や通信端末B(PC)40に対して、前記合成画像データメモリ27に記憶された一連の合成画像データ(対応付けられた音声データを含む)GG1〜GG9が読み出されて応答送信される(ステップS7)。
これにより、例えばユーザ家族において役割を決めて、父親を怪獣役、子供をヒーロー役にした動画撮影を行えば、容易に特撮風の合成動画像GGnを作ることができ、当該生成された合成動画像GGnを表示部11に出力表示させて見たり、外部のモニタに出力表示させて見たりすることで、これまでにない楽しみを得ることができる。
11(37)…表示部
12(36)…入力部
13 …音声出力部
14(32B)…変身データメモリ
14P…変身モーションモデルデータ
14Gu…変身画像データ
14Su…変身音声データ
14Mu…変身マークデータ
15(32D)…破壊データメモリ
15T…破壊対象画像データ
15G…破壊画像データ
15S…破壊音声データ
15M…破壊(前)マークデータ
15M′…破壊(後)マークデータ
16(31)…CPU
17(32)…メモリ
18(33)…外部記録媒体
19(34)…記録媒体読取部
20(35)…電送制御部
21 …画像撮影部
22(32A)…プログラムメモリ
23(32C)…特殊効果データメモリ
23P…特殊効果モーションモデルデータ
23Gu…特殊効果画像データ
23Su…特殊効果音声データ
23Mu…特殊効果マークデータ
24A(32EA)…役柄データメモリ
24B(32EB)…役柄別変身状態
24T…変身対象(顔)画像データ
24Gw…変身画像データ
24Sw…変身音声データ
24Mw…変身マークデータ
24H …変身条件データ
25(32F)…撮影画像データメモリ
26(32G)…マーク付き撮影画像データメモリ
27(32H)…合成画像データメモリ
30 …サーバ装置
40 …通信端末B(PC)
N …通信ネットワーク(インターネット)
BG…背景画像データ
Gn…撮影画像データ
Gmn…マーク付き撮影画像データ
GGn…合成画像データ
P …人物画像(父親)
K …人物画像(子供)
M …人物画像(母親)
A1…物体画像(ビール瓶)
A2…物体画像(ペットボトル)
B …物体画像(紙飛行機)
C …物体画像(ティッシュボックス)
Claims (5)
- 変身対象の人物画像と役柄別の変身キャラクタの画像データとを対応付けて記憶する役柄データ記憶手段と、
動画撮影された一連の撮影画像データを取得する撮影画像取得手段と、
この撮影画像取得手段により取得された一連の撮影画像データの中から、前記役柄データ記憶手段に記憶された変身対象の人物画像を検出する役柄人物検出手段と、
この役柄人物検出手段により検出された人物画像に対応づけて前記役柄データ記憶手段により記憶されている変身キャラクタの画像データに基づき、当該人物画像と同じ姿勢の変身キャラクタの画像データに置き換えた合成画像データを生成する合成画像生成手段と、
この合成画像生成手段により生成された一連の合成画像データを出力する合成画像出力手段と、
を備え、
前記役柄データ記憶手段は、役柄別に変身キャラクタの画像データおよび音声データと当該変身キャラクタを示すマークデータとを対応付けて記憶し、
前記合成画像生成手段は、
前記人物画像が検出された撮影画像データについて、当該検出された人物画像に前記役柄データ記憶手段により記憶されている変身キャラクタを示すマークデータを付加したマーク付き撮影画像データを生成するマーク付き撮影画像生成手段を有し、
このマーク付き撮影画像生成手段により生成されたマーク付き撮影画像データについて、前記変身キャラクタを示すマークデータが付加された人物画像を、前記役柄データ記憶手段により記憶されている変身キャラクタの画像データに基づき、当該人物画像と同じ姿勢の変身キャラクタの画像データに置き換えると共に、該変身キャラクタの音声データを対応付けた合成画像データを生成し、
前記撮影画像取得手段による一連の撮影画像データの取得に伴い、前記マーク付き撮影画像生成手段により生成されたマーク付き撮影画像データを表示させるマーク付き撮影画像表示制御手段と、
このマーク付き撮影画像表示制御手段による前記マーク付き撮影画像データの表示制御に伴い、当該マーク付き撮影画像データのマークデータに対応付けられて前記役柄データ記憶手段により記憶されている変身キャラクタの音声データを読み出して出力させる音声出力制御手段と、
をさらに備えたことを特徴とする合成画像出力装置。 - 前記役柄データ記憶手段は、さらに、前記役柄別に第2の変身キャラクタの画像データを記憶し、
前記検出された人物画像により、予め設定された変身身振りが行われたことを検出する変身身振り検出手段を有し、
前記合成画像生成手段は、この変身身振り検知手段により変身身振りが行われたことが検出された以後の撮影画像データについて、前記検出された人物画像に対応する役柄別の第2の変身キャラクタの画像データに基づき、当該人物画像と同じ姿勢の第2の変身キャラクタの画像データに置き換えた合成画像データを生成することを特徴とする請求項1に記載の合成画像出力装置。 - 前記役柄データ記憶手段は、役柄別に変身キャラクタの画像データおよび音声データとを対応付けて記憶し、
前記合成画像生成手段は、前記人物画像が検出された撮影画像データについて、当該検出された人物画像を前記変身データ記憶手段により記憶されている変身キャラクタの画像データに基づき、当該人物画像と同じ姿勢の変身キャラクタの画像データに置き換えると共に、当該変身キャラクタの音声データを対応付けた合成画像データを生成する、
ことを特徴とする請求項1に記載の合成画像出力装置。 - コンピュータを、
変身対象の人物画像と役柄別の変身キャラクタの画像データとを対応付けて記憶する役柄データ記憶手段、
動画撮影された一連の撮影画像データを取得する撮影画像取得手段、
この撮影画像取得手段により取得された一連の撮影画像データの中から、前記役柄データ記憶手段に記憶された変身対象の人物画像を検出する役柄人物検出手段、
この役柄人物検出手段により検出された人物画像に対応づけて、前記役柄データ記憶手段により記憶されている変身キャラクタの画像データに基づき、当該人物画像と同じ姿勢の変身キャラクタの画像データに置き換えた合成画像データを生成する合成画像生成手段、
この合成画像生成手段により生成された一連の合成画像データを出力する合成画像出力手段、
として機能させ、
前記役柄データ記憶手段は、役柄別に変身キャラクタの画像データおよび音声データと当該変身キャラクタを示すマークデータとを対応付けて記憶するように機能させ、
前記合成画像生成手段は、
前記人物画像が検出された撮影画像データについて、当該検出された人物画像に前記役柄データ記憶手段により記憶されている変身キャラクタを示すマークデータを付加したマーク付き撮影画像データを生成するマーク付き撮影画像生成手段を有するように機能させ、
前記マーク付き撮影画像生成手段により生成されたマーク付き撮影画像データについて、前記変身キャラクタを示すマークデータが付加された人物画像を、前記役柄データ記憶手段により記憶されている変身キャラクタの画像データに基づき、当該人物画像と同じ姿勢の変身キャラクタの画像データに置き換えると共に、該変身キャラクタの音声データを対応付けた合成画像データを生成するように機能させ、さらに、
前記撮影画像取得手段による一連の撮影画像データの取得に伴い、前記マーク付き撮影画像生成手段により生成されたマーク付き撮影画像データを表示させるマーク付き撮影画像表示制御手段、
このマーク付き撮影画像表示制御手段による前記マーク付き撮影画像データの表示制御に伴い、当該マーク付き撮影画像データのマークデータに対応付けられて前記役柄データ記憶手段により記憶されている変身キャラクタの音声データを読み出して出力させる音声出力制御手段、
として機能させるようにしたコンピュータ読み込み可能な合成画像出力処理プログラム。 - 前記役柄データ記憶手段は、前記コンピュータを、役柄別の変身キャラクタの画像データを、複数種類、選択的にダウンロードしてメモリに記憶する手段として機能させることを特徴とする請求項4に記載の合成画像出力処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007232207A JP4983494B2 (ja) | 2007-09-07 | 2007-09-07 | 合成画像出力装置および合成画像出力処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007232207A JP4983494B2 (ja) | 2007-09-07 | 2007-09-07 | 合成画像出力装置および合成画像出力処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009064288A JP2009064288A (ja) | 2009-03-26 |
JP4983494B2 true JP4983494B2 (ja) | 2012-07-25 |
Family
ID=40558811
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007232207A Expired - Fee Related JP4983494B2 (ja) | 2007-09-07 | 2007-09-07 | 合成画像出力装置および合成画像出力処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4983494B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5267279B2 (ja) * | 2009-03-31 | 2013-08-21 | カシオ計算機株式会社 | 画像合成装置及びプログラム |
JP7218979B1 (ja) | 2022-07-07 | 2023-02-07 | Jp Games株式会社 | 情報処理装置、情報処理方法及びプログラム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002006900A (ja) * | 2000-06-27 | 2002-01-11 | Megafusion Corp | 音声還元再生システム及び音声還元再生方法 |
-
2007
- 2007-09-07 JP JP2007232207A patent/JP4983494B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009064288A (ja) | 2009-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4973622B2 (ja) | 画像合成装置および画像合成処理プログラム | |
CN108322832B (zh) | 评论方法、装置、及电子设备 | |
JP5169111B2 (ja) | 合成画像出力装置および合成画像出力処理プログラム | |
JP5012373B2 (ja) | 合成画像出力装置および合成画像出力処理プログラム | |
CN111080759B (zh) | 一种分镜效果的实现方法、装置及相关产品 | |
JP4962219B2 (ja) | 合成画像出力装置および合成画像出力処理プログラム | |
JP5252068B2 (ja) | 合成画像出力装置および合成画像出力処理プログラム | |
JP4981370B2 (ja) | 動画生成システム、及び動画生成方法 | |
JP4935647B2 (ja) | 合成画像出力装置および合成画像出力処理プログラム | |
JP2006227838A (ja) | 画像処理装置及び画像処理プログラム | |
JP2005136841A (ja) | 画像出力装置、画像出力方法、画像出力処理プログラム、および画像配信サーバ、画像配信処理プログラム | |
KR102200239B1 (ko) | 실시간 cg 영상 방송 서비스 시스템 | |
JP5651939B2 (ja) | 画像処理装置及びプログラム | |
JP4962218B2 (ja) | 合成画像出力装置および合成画像出力処理プログラム | |
JP4983494B2 (ja) | 合成画像出力装置および合成画像出力処理プログラム | |
JP7160707B2 (ja) | 仮想キャラクタを含む画像を提供するための方法 | |
JP6313003B2 (ja) | カラオケ装置、画像出力方法、およびプログラム | |
JP3901015B2 (ja) | 画像出力装置、画像出力処理プログラム、および画像出力方法 | |
JP4254391B2 (ja) | 画像出力装置、画像出力処理プログラム、および画像配信サーバ | |
KR20200025285A (ko) | 컨텐츠 체험관 | |
JP4151543B2 (ja) | 画像出力装置、画像出力方法、および画像出力処理プログラム | |
CN116419031A (zh) | 一种数据处理方法、装置以及设备 | |
JP7065708B2 (ja) | 録画再生装置及びプログラム | |
JP4168803B2 (ja) | 画像出力装置 | |
JP4969234B2 (ja) | 画像取扱方法、画像取扱装置、および画像取扱システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100727 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111025 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111213 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120210 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120327 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120409 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4983494 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150511 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |