JP4983494B2 - Composite image output apparatus and composite image output processing program - Google Patents
Composite image output apparatus and composite image output processing program Download PDFInfo
- Publication number
- JP4983494B2 JP4983494B2 JP2007232207A JP2007232207A JP4983494B2 JP 4983494 B2 JP4983494 B2 JP 4983494B2 JP 2007232207 A JP2007232207 A JP 2007232207A JP 2007232207 A JP2007232207 A JP 2007232207A JP 4983494 B2 JP4983494 B2 JP 4983494B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- data
- transformation
- image data
- character
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
- Image Analysis (AREA)
Description
本発明は、動画撮影された人物画像を他のキャラクタ画像に置き換えた合成画像を生成して出力するための合成画像出力装置および合成画像出力処理プログラムに関する。 The present invention relates to a composite image output apparatus and a composite image output processing program for generating and outputting a composite image obtained by replacing a person image captured with a moving image with another character image.
近年、特殊撮影の技術の進歩により、ミニチュア撮影、人物と背景画像の合成、コンピュータグラフィックと撮影画像の合成等により、現実にはない情景を画面上に作り出すことが可能となった。そして最近では、モーションキャプチャ技術と３Ｄ画像処理技術によって、予め動画撮影されたモデル（対象人物）の動きにそのまま対応させた任意のキャラクタ画像を動画表示させることができるようになっている。また動画にコメントを追加する画像合成もネットサービスを用いて一般に行なわれるようになってきた。 In recent years, with the advancement of special photography technology, it has become possible to create scenes that do not exist on the screen by miniature photography, composition of a person and a background image, composition of a computer graphic and a photographed image, and the like. Recently, an arbitrary character image corresponding to the motion of a model (target person) captured in advance as a moving image can be displayed as a moving image by the motion capture technology and the 3D image processing technology. In addition, image composition for adding comments to moving images has been generally performed using a net service.
また従来、同一出願人において、デジタルカメラにより撮影された撮影画像に含まれる各画像部分までの距離情報に応じて、当該撮影画像から置き換え対象となる人物画像を抽出し、この抽出された対象人物画像のポーズ（姿勢）に応じた他のキャラクタ画像からなるまね画像を、当該対象人物画像に置き換え合成して表示する画像出力装置が考えられている（例えば、特許文献１参照。）。 Conventionally, in the same applicant, a person image to be replaced is extracted from the photographed image according to distance information to each image portion included in the photographed image photographed by the digital camera, and the extracted target person An image output device is conceivable in which a mimic image composed of another character image corresponding to an image pose (posture) is replaced with a target person image and displayed (for example, refer to Patent Document 1).
また、同一出願人において、通信ネットワーク上の端末装置から送られてくる撮影された置き換え対象となる人物画像の姿勢を示すポーズ情報を受信し、このポーズ情報に対応した姿勢のキャラクタ画像をデータベースから読み出して前記端末装置へ送信提供する画像配信サーバも考えられている（例えば、特許文献２参照。）。また、撮影画像中で、サーチする顔画像を記憶しておき、それと同じ顔を特定し、漫画や別の顔画像におきかえたキャラクタ画像に置き換え合成して表示する画像出力装置が考えられている（例えば、特許文献３参照。）。 Further, the same applicant receives pose information indicating the posture of the person image to be replaced that is sent from the terminal device on the communication network, and the character image of the posture corresponding to the pose information is received from the database. An image distribution server that reads out and provides a transmission to the terminal device is also considered (for example, see Patent Document 2). In addition, an image output device is conceived in which a face image to be searched is stored in a photographed image, the same face is specified, and a character image replaced with a cartoon or another face image is combined and displayed. (For example, refer to Patent Document 3).
このような従来の画像出力装置や画像配信サーバによれば、撮影画像の中の任意の対象人物画像を他のキャラクタ画像に置き換え合成して表示あるいはプリントすることが可能となり、ユーザ本人や知人を他のキャラクタ画像に置き換えて楽しんだり、あるいは他人に見られてはいけない人物を対象に他のキャラクタ画像に置き換えて隠したりして、撮影画像を様々な状況でより効果的に利用することができる。 According to such a conventional image output device or image distribution server, it is possible to replace an arbitrary target person image in a photographed image with another character image, and display or print it. You can enjoy using images by replacing them with other character images, or you can use the captured images more effectively in various situations by replacing them with other character images and hiding people who should not be seen by others. .
前記従来における撮影人物画像の他のキャラクタ画像への置き換え合成技術では、静止画、動画、何れの場合でも、その対象人物画像をそのまま置き換え合成しているだけなので、特に、動画撮影された人物画像について、特撮やアニメーションのように対象人物の意志をもって他のキャラクタ画像に変化（変身）させ、一連のシーンとなるような合成画像を生成することは困難な問題がある。また怪獣映画など、怪獣役や変身ヒーロー役等を予め決めて演技することになるが、このような役割を決めた画像合成は、これまでできなかった。 In the conventional technique for replacing a photographed person image with another character image, the target person image is replaced and synthesized as it is in either case of a still image or a moving image. As for special effects and animations, it is difficult to change (transform) other character images with the will of the target person and generate a composite image that forms a series of scenes. In addition, monster movies, transformation hero roles, etc. will be performed in advance, such as monster movies, but image composition that has decided such a role has not been possible so far.
本発明は、このような課題に鑑みなされたもので、動画撮影された人物画像について、役割を予め決めておき、対応するキャラクタ画像に置き換えた合成画像を生成することが可能になる合成画像出力装置および合成画像出力処理プログラムを提供することを目的とする。 The present invention has been made in view of such a problem, and it is possible to generate a composite image that can generate a composite image in which a role is determined in advance and replaced with a corresponding character image for a human image that has been shot. An object is to provide an apparatus and a composite image output processing program.
請求項１に記載の合成画像出力装置は、変身対象の人物画像と役柄別の変身キャラクタの画像データとを対応付けて記憶する役柄データ記憶手段と、動画撮影された一連の撮影画像データを取得する撮影画像取得手段と、この撮影画像取得手段により取得された一連の撮影画像データの中から、前記役柄データ記憶手段に記憶された変身対象の人物画像を検出する役柄人物検出手段と、この役柄人物検出手段により検出された人物画像に対応づけて前記役柄データ記憶手段により記憶されている変身キャラクタの画像データに基づき、当該人物画像と同じ姿勢の変身キャラクタの画像データに置き換えた合成画像データを生成する合成画像生成手段と、この合成画像生成手段により生成された一連の合成画像データを出力する合成画像出力手段と、を備え、前記役柄データ記憶手段は、役柄別に変身キャラクタの画像データおよび音声データと当該変身キャラクタを示すマークデータとを対応付けて記憶し、前記合成画像生成手段は、前記人物画像が検出された撮影画像データについて、当該検出された人物画像に前記役柄データ記憶手段により記憶されている変身キャラクタを示すマークデータを付加したマーク付き撮影画像データを生成するマーク付き撮影画像生成手段を有し、このマーク付き撮影画像生成手段により生成されたマーク付き撮影画像データについて、前記変身キャラクタを示すマークデータが付加された人物画像を、前記役柄データ記憶手段により記憶されている変身キャラクタの画像データに基づき、当該人物画像と同じ姿勢の変身キャラクタの画像データに置き換えると共に、該変身キャラクタの音声データを対応付けた合成画像データを生成し、前記撮影画像取得手段による一連の撮影画像データの取得に伴い、前記マーク付き撮影画像生成手段により生成されたマーク付き撮影画像データを表示させるマーク付き撮影画像表示制御手段と、このマーク付き撮影画像表示制御手段による前記マーク付き撮影画像データの表示制御に伴い、当該マーク付き撮影画像データのマークデータに対応付けられて前記役柄データ記憶手段により記憶されている変身キャラクタの音声データを読み出して出力させる音声出力制御手段と、をさらに備えたことを特徴としている。 The composite image output apparatus according to claim 1, wherein a character data storage unit that stores a person image to be transformed and image data of a transformation character for each character in association with each other, and obtains a series of photographed image data captured by moving images. A captured image acquisition means, a role person detection means for detecting a transformation target person image stored in the role data storage means, from the series of captured image data acquired by the captured image acquisition means, and the role Based on the image data of the transformation character stored in the character data storage unit in association with the person image detected by the person detection unit, the combined image data replaced with the image data of the transformation character having the same posture as the person image. A composite image generating means for generating the composite image output means for outputting a series of composite image data generated by the composite image generating means; When, wherein the role data storage means in association with the mark data indicating the image data and audio data and the transformed character transformed character by role, the composite image generation means, the person image is detected For the captured image data, there is a marked photographic image generation means for generating marked photographic image data in which mark data indicating a transformation character stored in the role data storage means is added to the detected person image. In addition, with respect to the marked photographed image data generated by the marked photographed image generating means, the person image to which the mark data indicating the transformation character is added is used as the transformation character image data stored by the character data storage means. Image data of a transformation character with the same posture as the person image At the same time, the composite image data in which the voice data of the transformation character is associated is generated, and with the acquisition of a series of captured image data by the captured image acquisition unit, the marked-captured shooting is generated by the marked captured image generation unit In accordance with display control of the marked photographic image data by the marked photographic image display control means for displaying the image data, and the marked photographic image display control means, the mark photographic image data is associated with the mark data of the photographic image data with the mark. Voice output control means for reading out and outputting the voice data of the transformation character stored in the role data storage means is further provided .
請求項２に記載の合成画像出力装置は、前記請求項１に記載の合成画像出力装置において、前前記役柄データ記憶手段は、さらに、前記役柄別に第２の変身キャラクタの画像データを記憶し、前記検出された人物画像により、予め設定された変身身振りが行われたことを検出する変身身振り検出手段を有し、前記合成画像生成手段は、この変身身振り検知手段により変身身振りが行われたことが検出された以後の撮影画像データについて、前記検出された人物画像に対応する役柄別の第２の変身キャラクタの画像データに基づき、当該人物画像と同じ姿勢の第２の変身キャラクタの画像データに置き換えた合成画像データを生成する、ことを特徴としている。
The composite image output device according to
請求項３に記載の合成画像出力装置は、前記請求項１に記載の合成画像出力装置において、前記役柄データ記憶手段は、役柄別に変身キャラクタの画像データおよび音声データとを対応付けて記憶し、前記合成画像生成手段は、前記人物画像が検出された撮影画像データについて、当該検出された人物画像を前記変身データ記憶手段により記憶されている変身キャラクタの画像データに基づき、当該人物画像と同じ姿勢の変身キャラクタの画像データに置き換えると共に、当該変身キャラクタの音声データを対応付けた合成画像データを生成する、ことを特徴としている。 The composite image output device according to claim 3 is the composite image output device according to claim 1, wherein the character data storage unit stores the image data and the sound data of the transformation character in association with each character, The synthesized image generating means has the same posture as the person image based on the image data of the transformation character stored in the transformation data storage means for the photographed image data from which the person image is detected. It is characterized by generating synthetic image data in which voice data of the transformation character is associated with the image data of the transformation character .
請求項４に記載の合成画像出力処理プログラムは、コンピュータを、変身対象の人物画像と役柄別の変身キャラクタの画像データとを対応付けて記憶する役柄データ記憶手段、動画撮影された一連の撮影画像データを取得する撮影画像取得手段、この撮影画像取得手段により取得された一連の撮影画像データの中から、前記役柄データ記憶手段に記憶された変身対象の人物画像を検出する役柄人物検出手段、この役柄人物検出手段により検出された人物画像に対応づけて、前記役柄データ記憶手段により記憶されている変身キャラクタの画像データに基づき、当該人物画像と同じ姿勢の変身キャラクタの画像データに置き換えた合成画像データを生成する合成画像生成手段、この合成画像生成手段により生成された一連の合成画像データを出力する合成画像出力手段、として機能させ、前記役柄データ記憶手段は、役柄別に変身キャラクタの画像データおよび音声データと当該変身キャラクタを示すマークデータとを対応付けて記憶するように機能させ、前記合成画像生成手段は、前記人物画像が検出された撮影画像データについて、当該検出された人物画像に前記役柄データ記憶手段により記憶されている変身キャラクタを示すマークデータを付加したマーク付き撮影画像データを生成するマーク付き撮影画像生成手段を有するように機能させ、前記マーク付き撮影画像生成手段により生成されたマーク付き撮影画像データについて、前記変身キャラクタを示すマークデータが付加された人物画像を、前記役柄データ記憶手段により記憶されている変身キャラクタの画像データに基づき、当該人物画像と同じ姿勢の変身キャラクタの画像データに置き換えると共に、該変身キャラクタの音声データを対応付けた合成画像データを生成するように機能させ、さらに、前記撮影画像取得手段による一連の撮影画像データの取得に伴い、前記マーク付き撮影画像生成手段により生成されたマーク付き撮影画像データを表示させるマーク付き撮影画像表示制御手段、このマーク付き撮影画像表示制御手段による前記マーク付き撮影画像データの表示制御に伴い、当該マーク付き撮影画像データのマークデータに対応付けられて前記役柄データ記憶手段により記憶されている変身キャラクタの音声データを読み出して出力させる音声出力制御手段、として機能させることを特徴としている。 5. The composite image output processing program according to claim 4 , wherein the computer stores a character data storage means for storing a person image to be transformed and image data of a transformation character for each character in association with each other, a series of photographed images taken by moving images Captured image acquisition means for acquiring data, and a role person detection means for detecting a person image to be transformed stored in the role data storage means from a series of captured image data acquired by the captured image acquisition means, A composite image that is associated with the person image detected by the role person detecting means and replaced with the image data of the transformed character having the same posture as the person image based on the image data of the transformed character stored in the role data storing means. A composite image generation means for generating data, and a series of composite image data generated by the composite image generation means are output. Composite image output means for, to function as, the role data storage means is operable to store in association with the mark data indicating the image data and audio data and the transformed character transformed character by role, the composite image The generating unit generates, for the captured image data from which the person image is detected, marked imaged image data in which mark data indicating a transformation character stored in the role data storage unit is added to the detected person image. It is made to function so as to have a photographed image generation unit with a mark, and for the photographed image data with a mark generated by the photographed image generation unit with a mark, a person image to which mark data indicating the transformation character is added is stored in the character data storage To the image data of the transformation character stored by the means Then, it is replaced with image data of a transformation character having the same posture as that of the person image, and functions to generate synthesized image data in which the voice data of the transformation character is associated, and a series of photographing by the photographed image acquisition means Along with the acquisition of the image data, the marked photographic image display control means for displaying the marked photographic image data generated by the marked photographic image generation means, and the marked photographic image display control means of the marked photographic image display control means with the display control, the Rukoto to function as the audio output control means for outputting the read audio data transformation character stored by the role data storage means associated with the mark data of the photographic image data with the mark It is a feature.
請求項５に記載の合成画像出力処理プログラムは、前記請求項４に記載の合成画像出力処理プログラムにおいて、前記役柄データ記憶手段は、前記コンピュータを、役柄別の変身キャラクタの画像データを、複数種類、選択的にダウンロードしてメモリに記憶する手段として機能させることを特徴としている。
The composite image output processing program according to claim 5 is the composite image output processing program according to claim 4, wherein the character data storage means includes a plurality of types of image data of a transformation character for each character. , And functioning as means for selectively downloading and storing in a memory.
本発明によれば、動画撮影された人物画像について、怪獣役や変身ヒーロー役等を予め役割を決めた合成画像を生成することが可能になる合成画像出力装置および合成画像出力処理プログラムを提供できる。 According to the present invention, it is possible to provide a composite image output device and a composite image output processing program capable of generating a composite image in which roles of a monster role and a transformation hero role are determined in advance for a human image taken with a moving image. .
以下図面により本発明の実施の形態について説明する。
図１は、本発明の合成画像出力装置の実施形態に係るデジタルカメラ１０を利用した動画像の撮影状態と合成画像の生成状態を示す概念図である。
このデジタルカメラ１０は、その背面にＬＣＤ表示部１１、入力部１２、音声出力部（スピーカ）１３を備え、入力部１２の操作に応じて撮影される動画像（撮影画像）Ｇは、リアルタイムで表示部１１に表示される。
Embodiments of the present invention will be described below with reference to the drawings.
FIG. 1 is a conceptual diagram illustrating a moving image shooting state and a combined image generation state using a
The
このデジタルカメラ１０は、主要な機能として、撮影中の動画像Ｇに含まれる人物・物体画像（Ｐ，Ｋ，Ａ，Ｂ）を抽出する機能、抽出された人物画像が予め登録された人物画像（Ｐ）であるか否かを顔画像を認識処理して識別する機能、抽出された人物画像が予め登録された人物画像（Ｐ）である場合にその登録人物画像（Ｐ）に対応付けて予め設定された役柄変身画像（２４Ｇｗ１）のマーク（役柄変身マーク２４Ｍｗ１）を付加する機能、前記役柄変身マーク２４Ｍｗ１の付加された人物画像（Ｐ）を同予め設定された役柄変身画像（２４Ｇｗ１）に置き換える機能、抽出された人物画像の予め設定された身振り（モーション）を検出する機能、予め設定された身振りが検出された人物画像（Ｋ）について、その人物画像（Ｋ）の役柄が予め設定されていて、その役柄の変身条件が「変身ポーズを検知後」である場合に、その身振り検出時点から予め設定された役柄変身画像（２４Ｇｗ３）のマーク（変身マーク２４Ｍｗ３’）を付加する機能、前記変身マーク２４Ｍｕ３’の付加された人物画像（Ｋ）を同予め設定された役柄変身画像（２４Ｇｗ３’）に置き換える機能、抽出された物体画像が予め登録された破壊対象画像（Ａ，Ｂ）である場合にその破壊対象画像（Ａ，Ｂ）に対応付けて予め設定された破壊画像（１５Ｇａ，１５Ｇｂ）のマーク（破壊マーク１５Ｍａ，１５Ｍｂ）を付加する機能、前記破壊マーク１５Ｍａ，１５Ｍｂの付加された破壊対象画像（Ａ，Ｂ）を同予め設定された破壊画像（１５Ｇａ，１５Ｇｂ）に置き換える機能、そして、前記抽出された人物画像（Ｐ，Ｋ）の動きを捉えて前記役柄変身画像（２４Ｇｗ）や役柄変身画像（２４Ｇｗ３’）の３Ｄ画像に変換するためのモーションキャプチャ処理機能、３Ｄ画像処理機能などを有する。
The
なお、前記顔画像認識処理、モーションキャプチャ処理、３Ｄ画像処理については、周知の画像処理技術であるためその詳細な説明を省略する。
このような主要な機能を有するデジタルカメラ１０を、例えば家族で利用してその父親Ｐを怪獣役、子供Ｋを○○マン役とした一連のシーンを母親が動画撮影して遊ぶ場合に、当該デジタルカメラ１０において、父親Ｐの顔画像を怪獣画像（役柄画像２４Ｇｗ）に対応付けて予め登録し、子供Ｋの顔画像を変身前の隊員画像（変身(１)画像２４Ｇｗ３）と変身後の○○マン画像（変身(２)画像２４Ｇｗ３’）に対応付けて予め登録すると共に、ビール瓶Ａと紙飛行機Ｂの破壊対象画像をそれぞれ塔と飛行機の破壊画像１５Ｇａと１５Ｇｂに対応付けて予め登録する。
The face image recognition process, the motion capture process, and the 3D image process are well-known image processing techniques, and thus detailed description thereof is omitted.
When a
そして、父親Ｐによってビール瓶Ａを倒したり、飛んで来る紙飛行機Ｂを叩き落としたりするのに伴い、子供Ｋが変身のためのモーション（身振り）をして○○マンに変身しようとする一連のシーンを、母親がデジタルカメラ１０により動画撮影する。
撮影中の動画像Ｇは、図１（Ａ）に示すように、リアルタイムで表示部１１に表示されると共に、本デジタルカメラ１０が有する前記各種の機能によって解析され、父親Ｐの人物画像には、対応する怪獣画像（役柄画像２４Ｇｗ）を示す役柄変身マーク２４Ｍｗが付加表示され、子供Ｋの人物画像には、予め設定された身振り（モーション）が検出された時点以降、該当する役柄に応じて変身した○○マン画像（役柄変身画像２４Ｇｗ３’）を示す変身マーク２４Ｍｗ３’が付加表示される。また、ビール瓶Ａには、対応する塔の破壊画像１５Ｇａを示す破壊マーク１５Ｍａが付加表示され、紙飛行機Ｂには、対応する飛行機の破壊画像１５Ｇｂを示す破壊マーク１５Ｍａが付加表示される。
Then, as the father P defeats the beer bottle A or knocks down the flying paper airplane B, a series of children K tries to transform into XX man with a motion for transformation. The scene is taken by the mother using the
As shown in FIG. 1A, the moving image G being shot is displayed on the
これにより撮影中の母親は、父親Ｐや子供Ｋの人物画像がその役柄通りに変身処理され、またビール瓶Ａや紙飛行機Ｂの物体画像がその登録通りに置き換え処理されていることを容易に認識することができる。
またこの際、前記怪獣画像（役柄変身画像２４Ｇｗ）と○○マン画像（役柄変身画像２４Ｇｗ３’）にそれぞれ対応付けられて予め記憶されている音声データ「ガオー」「ター、ター」が読み出され音声出力部１３から出力されることで、各役柄を演じている最中の父親Ｐや子供Ｋにあっても、自らがその役柄通りに変身処理されていることを容易に認識することができる。
As a result, the mother being photographed easily recognizes that the human P images of the father P and the child K have been transformed according to their roles, and that the object images of the beer bottle A and the paper plane B have been replaced as registered. can do.
At this time, the voice data “Gao” and “Tur, ter” stored in advance in association with the monster image (the role transformation image 24Gw) and the XX man image (the role transformation image 24Gw3 ′) are read out. By outputting from the
なお、前記撮影された動画像（撮影画像）Ｇに対して役柄変身マーク２４Ｍｗ、２４Ｍｗ３、２４Ｍｗ３’、破壊マーク１５Ｍａ，１５Ｍｂが付加された動画像をマーク付き撮影画像Ｇｍと称する。
この後、前記一連のシーンの動画像Ｇの撮影が終了すると共にそのマーク付き撮影画像Ｇｍが生成されると、当該マーク付き撮影画像Ｇｍが前記各種の機能によって解析され、図１（Ｂ）に示すように、前記役柄変身マーク２４Ｍｗの付加された父親Ｐの人物画像に対応する怪獣の役柄変身画像２４Ｇｗ１と、前記役柄変身マーク２４Ｍｗ３’の付加された子供Ｋの人物画像に対応する○○マンの変身画像２４Ｇｗ３’、および前記各破壊マーク１５Ｍａ，１５Ｍｂの付加されたビール瓶Ａと紙飛行機Ｂの各破壊対象画像に対応する塔と飛行機の各破壊画像１５Ｇａ，１５Ｇｂが、予め設定された背景画像ＢＧに合成されてなる合成動画像ＧＧが生成される。
A moving image in which the role transformation marks 24Mw, 24Mw3, 24Mw3 ′ and the destruction marks 15Ma, 15Mb are added to the captured moving image (captured image) G is referred to as a marked captured image Gm.
Thereafter, when the shooting of the moving image G of the series of scenes is finished and the captured image Gm with the mark is generated, the captured image Gm with the mark is analyzed by the various functions, and is shown in FIG. As shown, the monster role transformation image 24Gw1 corresponding to the person image of the father P to which the role transformation mark 24Mw is added and the child K person image to which the role transformation mark 24Mw3 ′ is added. Transformation image 24Gw3 ′ and the destruction images 15Ga and 15Gb of the tower and the plane corresponding to the destruction target images of the beer bottle A and the paper airplane B to which the destruction marks 15Ma and 15Mb are added are set as background images. A synthesized moving image GG synthesized with BG is generated.
なお、前記ビール瓶Ａと紙飛行機Ｂの各破壊対象画像に対応付けられた各破壊画像１５Ｇａ，１５Ｇｂは、何れもその破壊対象画像（Ａ，Ｂ）に対して、前記役柄変身マーク２４Ｍｗ１や変身マーク１４Ｍｗ１が付加された父親Ｐや子供Ｋの人物画像が接触したことを検知して予め記憶された破壊後の画像に置き換え合成される。 Note that the destruction images 15Ga and 15Gb associated with the destruction target images of the beer bottle A and the paper airplane B are both the character change mark 24Mw1 and the transformation mark with respect to the destruction target images (A, B). It is detected that a father P or a child K image to which 14 Mw1 has been added is in contact with the image and is replaced with a pre-stored image after destruction.
これによりユーザ家族は、容易に特撮風の合成動画像ＧＧを作ることができ、建造物や飛行機などの破壊シーンについて、撮影画像中のビール瓶Ａと紙飛行機Ｂの各破壊対象を、対応する塔と飛行機の各破壊画像に置き換え合成された画像を含む一連の合成動画像ＧＧを表示部１１に出力表示させて見たり、外部のモニタに出力表示させて見たりすることで、これまでにない楽しみを得ることができる。このように動画撮影された画像について、物体の破壊画像との合成を容易かつ効果的に行える。
図２は、前記デジタルカメラ１０（通信端末Ａ）の電子回路の構成を示すブロック図である。
As a result, the user family can easily create a special-effects-like synthesized moving image GG, and the destruction towers corresponding to the beer bottle A and the paper airplane B in the photographed image are destroyed by the corresponding tower. And a series of synthesized moving images GG including images that have been replaced and combined with the respective destruction images of the airplane are output and displayed on the
FIG. 2 is a block diagram showing a configuration of an electronic circuit of the digital camera 10 (communication terminal A).
このデジタルカメラ１０は、コンピュータであるＣＰＵ１６を備えている。
ＣＰＵ１６は、メモリ１７に予め記憶されたシステムプログラム、あるいはメモリカードなどの外部記録媒体１８からカードスロットなどの記録媒体読取部１９を介して前記メモリ１７に読み込まれたカメラ制御プログラム、あるいは通信ネットワーク（Ｎ）上のサーバ装置３０（この場合はプログラムサーバ）から電送制御部２０を介して前記メモリ１７に読み込まれたカメラ制御プログラムに従い回路各部の動作を制御する。
The
The
ＣＰＵ１６には、前記ＬＣＤ表示部１１、入力部１２、音声出力部１３、メモリ１７、記録媒体読取部１９、電送制御部２０が接続される他に、固体撮像素子（ＣＣＤ）や撮像光学系および距離センサや照度センサを備えた画像撮影部２ｌが接続される。
前記メモリ１７のプログラムメモリ２２には、本デジタルカメラ１０の全体の動作を司るシステムプログラムや撮影動作を司るカメラ制御プログラム、通信ネットワークＮ上のサーバ装置３０や外部の通信端末Ｂ（ＰＣ:personal computer）４０との通信動作を司る通信制御プログラムが記憶されると共に、前記画像撮影部２１により撮影された撮影画像Ｇに基づいて、前述したマーク付き撮影画像Ｇｍや合成画像ＧＧを生成したり出力したりするための前記各種の機能を司る画像処理プログラムが予め記憶される。
The
The
そして、前記プログラムメモリ２２に記憶された各種のプログラムは、入力部１２からのキー入力信号や画像撮影部２１からの撮影入力信号、電送制御部２０を介した外部機器（３０，４０）からの受信入力信号に応じて起動される。
また、前記メモリ１７には、変身データメモリ１４、特殊効果データメモリ２３、破壊データメモリ１５、役柄データメモリ２４Ａ、役柄別変身状態メモリ２４Ｂ、撮影画像データメモリ２５、マーク付き撮影画像データメモリ２６、合成画像データメモリ２７、およびその他の作業用データメモリなどが備えられる。
The various programs stored in the
The
図３は、前記デジタルカメラ１０の変身データメモリ１４に予め記憶される変身データの内容を示す図である。
この変身データメモリ１４は、変身モーションモデルデータ１４Ｐと変身画像データ１４Ｇｕと変身マークデータ１４Ｍｕの記憶領域を有し、変身画像データ１４Ｇｕの記憶領域には、複数種類の変身画像データ（変身キャラクタ）およびその音声データが、例えば○○マンＡの変身画像データ１４Ｇｕ１およびその音声データ「シュワッチ」１４Ｓｕ１、初代○○マンの変身画像データ１４Ｇｕ２およびその音声データ「ヤー・ター」１４Ｓｕ２として記憶される。また、変身マークデータ１４Ｍｕの記憶領域には、前記複数種類の変身画像データ１４Ｇｕ１，１４Ｇｕ２をそれぞれ簡易表現する変身マークデータ１４Ｍｕ１，１４Ｍｕ２が記憶される。そして、変身モーションモデルデータ１４Ｐの記憶領域には、前記複数種類の変身画像データ１４Ｇｕ１，１４Ｇｕ２にそれぞれ変身するための一連のモーション（身振り）からなる変身モーションモデルデータ１４Ｐ１ａ〜１４Ｐ１ｃ，１４Ｐ２ａ〜１４Ｐ２ｃが記憶される。
FIG. 3 is a diagram showing the contents of the transformation data stored in advance in the
The
なお、前記変身画像データ１４Ｇｕ１，１４Ｇｕ２は、様々な動きを表現した画像データそのもの、又は手足の骨格や顔の特徴点の移動データと３Ｄ画像生成用データとの組み合わせとして記憶される。また前記変身モーションモデルデータ１４Ｐ１ａ〜１４Ｐ１ｃ，１４Ｐ２ａ〜１４Ｐ２ｃは、当該変身モーションを表現した画像データそのもの、又は手足の骨格や顔の特徴点の移動データとして記憶される。 The transformed image data 14Gu1 and 14Gu2 are stored as image data itself representing various movements, or a combination of movement data of limb skeletons and facial feature points and 3D image generation data. The transformation motion model data 14P1a to 14P1c and 14P2a to 14P2c are stored as image data representing the transformation motion itself, or movement data of the limb skeleton and facial feature points.
図４は、前記デジタルカメラ１０の特殊効果データメモリ２３に予め記憶される特殊効果データの内容を示す図である。
この特殊効果データメモリ２３は、特殊効果モーションモデルデータ２３Ｐと特殊効果画像データ２３Ｇｕと特殊効果マークデータ２３Ｍｕの記憶領域を有し、特殊効果画像データ２３Ｇｕの記憶領域には、前記複数種類の変身画像データ１４Ｇｕ１，１４Ｇｕ２にそれぞれ対応する特殊効果画像データおよびその音声データが、例えば○○マンＡ用の特殊効果画像データ２３Ｇｕ１およびその音声データ「ビビビビー」２３Ｓｕ１、初代○○マン用の特殊効果画像データ２３Ｇｕ２およびその音声データ「ピーバリバリー」２３Ｓｕ２として記憶される。また、特殊効果マークデータ２３Ｍｕの記憶領域には、前記複数種類の特殊効果画像データ２３Ｇｕ１，２３Ｇｕ２をそれぞれ簡易表現する特殊効果マークデータ２３Ｍｕ１，２３Ｍｕ２が記憶される。そして、特殊効果モーションモデルデータ２３Ｐの記憶領域には、前記複数種類の特殊効果画像データ２３Ｇｕ１，２３Ｇｕ２をそれぞれ対応する変身画像データ１４Ｇｕ１，１４Ｇｕ２の所定の位置から発生させて付加するための一連のモーション（身振り）からなる特殊効果モーションモデルデータ２３Ｐ１ａ〜２３Ｐ１ｃ，２３Ｐ２ａ〜２３Ｐ２ｃが記憶される。
FIG. 4 is a diagram showing the contents of special effect data stored in advance in the special
The special
なお、前記特殊効果画像データ２３Ｇｕ１，２３Ｇｕ２は、画像データそのもの、又は３Ｄ画像生成用データとして記憶される。また前記特殊効果モーションモデルデータ２３Ｐ１ａ〜２３Ｐ１ｃ，２３Ｐ２ａ〜２３Ｐ２ｃは、当該特殊効果モーションを表現した画像データそのもの、又は手足の骨格や顔の特徴点の移動データとして記憶される。 The special effect image data 23Gu1 and 23Gu2 are stored as image data itself or 3D image generation data. The special effect motion model data 23P1a to 23P1c and 23P2a to 23P2c are stored as image data representing the special effect motion itself, or movement data of the limb skeleton and facial feature points.
図５は、前記デジタルカメラ１０の破壊データメモリ１５に予め記憶される破壊データの内容を示す図である。
この破壊データメモリ１５は、破壊対象画像データ１５Ｔと破壊画像データ１５Ｇと破壊（前）マークデータ１５Ｍと破壊（後）マークデータ１５Ｍ′の記憶領域を有し、破壊画像データ１５Ｇの記憶領域には、複数種類の一連の破壊画像データおよびその破壊途中の音声データが、例えば塔の破壊前，破壊中，破壊後の各画像データ１５Ｇａ１〜１５Ｇａ３およびその破壊中音声データ「グシャ」１５Ｓａ、飛行機の破壊前，破壊中，破壊後の各画像データ１５Ｇｂ１〜１５Ｇｂ３およびその破壊中音声データ「ドカーン」１５Ｓｂ、建物の破壊前，破壊中，破壊後の各画像データ１５Ｇｃ１〜１５Ｇｃ３およびその破壊中音声データ「ガラガラ」１５Ｓｃとして記憶される。また、破壊（前）マークデータ１５Ｍと破壊（後）マークデータ１５Ｍ′の各記憶領域には、前記複数種類の破壊前後の画像データ１５Ｇａ１，１５Ｇａ３、１５Ｇｂ１，１５Ｇｂ３、１５Ｇｃ１，１５Ｇｃ３をそれぞれ簡易表現する同破壊前後のマークデータ１５Ｍａ，１５Ｍａ′、１５Ｍｂ，１５Ｍｂ′、１５Ｍｃ，１５Ｍｃ′が記憶される。そして、破壊対象画像データ１５Ｔの記憶領域には、前記複数種類の破壊画像データ１５Ｇａ１〜１５Ｇａ３，１５Ｇｂ１〜１５Ｇｂ３，１５Ｇｃ１〜１５Ｇｃ３にそれぞれ置き換えるための対象となる一般家庭にある物体画像が、例えば塔の破壊画像データ１５Ｇａ１〜１５Ｇａ３の場合にはビール瓶Ａ１やペットボトルＡ２、飛行機の破壊画像データ１５Ｇｂ１〜１５Ｇｂ３の場合には紙飛行機Ｂ、建物の破壊画像データ１５Ｇｃ１〜１５Ｇｃ３の場合にはティッシュボックスＣとして記憶される。
FIG. 5 is a diagram showing the contents of the destruction data stored in advance in the
The
なお、前記破壊画像データ１５Ｇａ１〜１５Ｇａ３，１５Ｇｂ１〜１５Ｇｂ３，１５Ｇｃ１〜１５Ｇｃ３は、画像データそのもの、又は３Ｄ画像生成用データとして記憶される。また前記破壊対象画像データＡ１（Ａ２），Ｂ，Ｃは、その物体を撮影した画像データそのもの、又は同物体の特徴を示す形状データとして記憶される。 The destructive image data 15Ga1 to 15Ga3, 15Gb1 to 15Gb3, and 15Gc1 to 15Gc3 are stored as image data itself or 3D image generation data. The destruction target image data A1 (A2), B, and C are stored as image data obtained by photographing the object, or shape data indicating the characteristics of the object.
図６は、前記デジタルカメラ１０の役柄データメモリ２４Ａに記憶される役柄データの内容を示す図である。
この役柄データメモリ２４Ａは、ユーザ登録される変身対象画像データ２４Ｔ、変身（１）画像データ２４Ｇｗと変身（１）マークデータ２４Ｍｗ、変身（２）画像データ２４Ｇｗ′と変身（２）マークデータ２４Ｍｗ′、変身条件データ２４Ｈの記憶領域を有し、変身（１）画像データ２４Ｇｗの記憶領域には、複数種類の第１段階の変身画像データ（変身キャラクタ）およびその音声データが設定される。
変身対象画像データ２４Ｔの記憶領域には、役柄別に複数種類の変身画像データ２４Ｇｗ１，２４Ｇｗ２，２４Ｇｗ３，２４Ｇｗ３にそれぞれ変身させて置き換えるための対象となる人物の顔画像が、例えば登録Ａ；父親の顔画像Ｐ、登録Ｂ；母親の顔画像Ｍ、登録Ｃ；子供の顔画像Ｋ、登録Ｄ；女子の顔画像Ｊとしてユーザ登録され記憶される。登録Ａの父親Ｐの画像に対応して役柄-怪獣Ａの変身（１）画像データ２４Ｇｗ１およびその音声データ「ガオー」２４Ｓｗ１、登録Ｂの母親Ｐの画像に対応して役柄-怪獣Ｂの変身（１）画像データ２４Ｇｗ２およびその音声データ「ギャーギャー」２４Ｓｗ２、子供（Ｋ）の画像に対応して役柄-隊員の変身の画像データ２４Ｇｗ３、女子（Ｊ）の画像に対応して役柄-女隊員の変身の画像データ２４Ｇｗ４として記憶される。また、変身(１)マークデータ２４Ｍｗの記憶領域には、前記複数種類の変身（１）画像データ２４Ｇｗ１，２４Ｇｗ２，２４Ｇｗ３，２４Ｇｗ４をそれぞれ簡易表現する変身(１)マークデータ２４Ｍｗ１，２４Ｍｗ２，２４Ｍｗ３，２４Ｍｗが記憶される。
また、変身（２）画像データ２４Ｇｗ′の記憶領域には、前記複数種類の第１段階の変身画像データ２４Ｇｗ１，２４Ｇｗ２，２４Ｇｗ３，２４Ｇｗ４にそれぞれ対応する第２段階の変身画像データ２４Ｇｗ１′，２４Ｇｗ２′，２４Ｇｗ３′，２４Ｇｗ４′およびその音声データ２４Ｓｗ１′，２４Ｓｗ２′，２４Ｓｗ３′，２４Ｓｗ４′が記憶される。また、変身（２）マークデータ２４Ｍｗ′の記憶領域には、前記変身（２）画像データ２４Ｇｗ１′，２４Ｇｗ２′を簡易表現する変身（２）マークデータ２４Ｍｗ１′，２４Ｍｗ２′，２４Ｍｗ３′，２４Ｍｗ４′が記憶される。さらに、変身条件データ２４Ｈの記憶領域には、前記第１段階の変身（１）画像データ２４Ｇｗ１，２４Ｇｗ２，２４Ｇｗ３，２４Ｇｗ４から第２段階の変身（２）画像データ２４Ｇｗ１′，２４Ｇｗ２′，２４Ｇｗ３’，２４Ｇｗ４’に変身するための条件データ２４Ｈ１，２４Ｈ２，２４Ｈ３，２４Ｈ４が記憶される。たとえば、子供（Ｋ）の画像に対応して役柄-○○マンＴの変身の画像データ２４Ｇｗ３’およびその音声データ「ター、ター」２４Ｓｗ３’、女子（Ｊ）の画像に対応して役柄-○○マンＭの変身の画像データ２４Ｇｗ４’およびその音声データ「マー、マー」２４Ｓｗ４’が設定されている。また、変身条件データ２４Ｈ３として「変身ポーズを検知後」設定され、変身条件データ２４Ｈ４として「５分経過後」が設定されている。
FIG. 6 is a diagram showing the contents of the role data stored in the role data memory 24A of the
This role data memory 24A includes user-registered transformation target image data 24T, transformation (1) image data 24Gw and transformation (1) mark data 24Mw, transformation (2) image data 24Gw ′ and transformation (2) mark data 24Mw ′. A storage area for
In the storage area of the transformation target image data 24T, a facial image of a person to be transformed and replaced with a plurality of types of transformation image data 24Gw1, 24Gw2, 24Gw3, and 24Gw3 for each role, for example, registration A; father's face Image P, registration B; mother's face image M, registration C; child's face image K, registration D; Corresponding to the image of Father P of Registration A-Transformation of Monster A (1) Image data 24Gw1 and its voice data "Gao" 24Sw1, Corresponding to the image of Mother P of Registration B-Transformation of Monster B ( 1) Image data 24Gw2 and its audio data “Gagya” 24Sw2, the image of the character-member's transformation corresponding to the image of the child (K) 24Gw3, the character-image corresponding to the image of the girl (J) -the transformation of the woman's member Image data 24Gw4. Further, in the storage area of the transformation (1) mark data 24Mw, transformation (1) mark data 24Mw1, 24Mw2, 24Mw3, 24Mw that respectively express the plural types of transformation (1) image data 24Gw1, 24Gw2, 24Gw3, 24Gw4 in a simple manner. Is memorized.
Further, in the storage area of the transformation (2) image data 24Gw ′, second-stage transformation image data 24Gw1 ′ and 24Gw2 ′ respectively corresponding to the plurality of types of first-stage transformation image data 24Gw1, 24Gw2, 24Gw3, and 24Gw4. , 24Gw3 ′, 24Gw4 ′ and voice data 24Sw1 ′, 24Sw2 ′, 24Sw3 ′, 24Sw4 ′ are stored. Further, in the storage area of the transformation (2) mark data 24Mw ′, transformation (2) transformation data (2) mark data 24Mw1 ′, 24Mw2 ′, 24Mw3 ′, 24Mw4 ′ representing the transformation (2) image data 24Gw1 ′, 24Gw2 ′ is stored. Remembered. Further, in the storage area of the
また、図２の役柄別変身状態メモリ２４Ｂには、登録者（登録Ａ〜登録Ｄ）についての現時点での変身状態（変身（１）又は変身（２））を記憶しており、初期状態では、変身（１）を記憶している。各役柄別の変身条件が満たされた時点（たとえば、登録Ｃでは、「変身ポーズが検知された後」）で、この役柄別の変身状態が「変身（２）」に変更して記憶される。 2 stores the current transformation state (transformation (1) or transformation (2)) of the registrant (registration A to registration D) in the initial state. , Remember the transformation (1). When the transformation condition for each role is satisfied (for example, in registration C, “after a transformation pose is detected”), the transformation state for each role is changed to “transformation (2)” and stored. .
なお、前記変身（１）（２）画像データ２４Ｇｗ，２４Ｇｗ′は、様々な動きを表現した画像データそのもの、又は手足の骨格や顔の特徴点の移動データと３Ｄ画像生成用データとの組み合わせとして記憶される。
撮影画像データメモリ２５には、画像撮影部２１により静止画または動画撮影されて入力された撮影画像データＧが記憶される。
The transformation (1) and (2) image data 24Gw and 24Gw ′ are image data representing various movements, or a combination of movement data of limb skeletons and facial feature points and 3D image generation data. Remembered.
The photographed
マーク付き撮影画像データメモリ２６には、前記撮影画像データメモリ２５に動画撮影されて記憶された撮影画像データＧに基づき、前記画像処理プログラムに従い撮影にリアルタイムで生成されたマーク付き撮影画像データＧｍ（図１（Ａ）参照）が順次記憶される。 In the marked-captured image data memory 26, the marked-captured image data Gm (generated in real time for shooting according to the image processing program based on the captured image data G captured and stored in the captured image data memory 25). 1A) are sequentially stored.
合成画像データメモリ２７には、前記マーク付き撮影画像データメモリ２６に生成記憶されたマーク付き撮影画像データＧｍに基づき、前記画像処理プログラムに従い生成された合成画像データＧＧ（図１（Ｂ）参照）が記憶される。
なお、前記構成のデジタルカメラ１０は、当該デジタルカメラ１０自体により動画撮影される撮影画像データＧに基づいて、前記マーク付き撮影画像データＧｍ（図１（Ａ）参照）をリアルタイムに生成表示し、この後に当該マーク付き撮影画像データＧｍから前記合成画像データＧＧ（図１（Ｂ）参照）を生成して表示あるいは外部に出力するものである。これに対し、前記デジタルカメラ１０が有する撮影機能以外の前記動画撮影された撮影画像データＧからマーク付き撮影画像データＧｍ（図１（Ａ）参照）を生成し、このマーク付き撮影画像データＧｍから合成画像データＧＧ（図１（Ｂ）参照）を生成するための各種の機能を、通信ネットワークＮ上のサーバ装置３０に備えさせ、通信機能付きのデジタルカメラ（通信端末Ａ）１０′やＰＣ（通信端末Ｂ）４０から転送された動画撮影データＧに基づき、当該サーバ装置３０が前記マーク付き撮影画像データＧｍおよび合成画像データＧＧを生成し、前記各通信端末（Ａ）１０′，（Ｂ）４０に応答配信してサービスを提供する構成としてもよい。
In the composite
The
図７は、本発明の合成画像出力装置の実施形態に係るサーバ装置３０の電子回路の構成を示すブロック図である。
このサーバ装置３０は、コンピュータであるＣＰＵ３１を備えている。
ＣＰＵ３１は、メモリ３２に予め記憶されたシステムプログラム、あるいはＣＤ−ＲＯＭなどの外部記録媒体３３から光ディスクドライブなどの記録媒体読取部３４を介して前記メモリ３２に読み込まれたサーバ制御プログラムに従い回路各部の動作を制御する。
FIG. 7 is a block diagram showing the configuration of the electronic circuit of the
The
The
ＣＰＵ３１には、前記メモリ３２、記録媒体読取部３４が接続される他に、通信ネットワークＮ上の通信端末Ａ（デジタルカメラ）１０′や通信端末Ｂ（ＰＣ）４０との間でデータの電送制御を行うための電送制御部３５、キーボード・マウスなどの入力部３６、ＬＣＤ表示部３７が接続される。
In addition to the
前記メモリ３２のプログラムメモリ３２Ａには、本サーバ装置３０の全体の動作を司るシステムプログラム、通信ネットワークＮ上の各通信端末Ａ（デジタルカメラ）１０′や通信端末Ｂ（ＰＣ）４０との通信動作を司る通信制御プログラムが記憶されると共に、当該外部の各通信端末Ａ１０′，Ｂ４０から転送された動画撮影画像データＧに基づいて、前述したデジタルカメラ１０と同様にマーク付き撮影画像Ｇｍや合成画像ＧＧを生成したり出力（配信）したりするための前記図１を参照して説明した各種の機能を司る画像処理プログラムが予め記憶される。
The
そして、前記プログラムメモリ３２Ａに記憶された各種のプログラムは、入力部３６からの入力信号、電送制御部３５を介した外部の各通信端末Ａ１０′，Ｂ４０からの受信入力信号に応じて起動される。
また、前記メモリ３２には、前記図１〜図６を参照して説明したデジタルカメラ１０におけるそれと略同一のデータ内容である、変身データメモリ３２Ｂ、特殊効果データメモリ３２Ｃ、破壊データメモリ３２Ｄ、役柄データメモリ３２ＥＡ、撮影画像データメモリ３２Ｆ、マーク付き撮影画像データメモリ３２Ｇ、合成画像データメモリ３２Ｈ、およびその他の作業用データメモリなどが備えられる。
Various programs stored in the
Further, the
これにより、サーバ装置３０では、通信ネットワークＮに接続された通信端末Ａ（デジタルカメラ）１０′や通信端末Ｂ（ＰＣ）４０から転送された動画撮影画像データＧに基づき、前記同様のマーク付き撮影画像データＧｍ（図１（Ａ）参照）および合成画像データＧＧ（図１（Ｂ）参照）を生成すると共に、前記撮影画像データＧの転送元である各通信端末Ａ１０′，Ｂ４０に応答配信してサービスを提供できる。
Thereby, in the
次に、前記構成のデジタルカメラ１０あるいはサーバ装置３０による合成画像出力装置の動作について説明する。
図８は、前記合成画像出力装置による合成画像出力処理の全体過程を示すフローチャートである。
図９は、前記合成画像出力処理に伴い撮影画像（Ｇ）中に存在する人物（Ｐ，Ｍ，Ｋ）・物体（Ａ，Ｂ，Ｃ）の対象画像を抽出する対象画像抽出処理を示すフローチャートである。
Next, the operation of the composite image output apparatus by the
FIG. 8 is a flowchart showing the overall process of the composite image output process by the composite image output apparatus.
FIG. 9 is a flowchart showing target image extraction processing for extracting target images of persons (P, M, K) and objects (A, B, C) existing in the captured image (G) in accordance with the composite image output processing. It is.
図１０は、前記合成画像出力処理に伴い役柄登録された人物画像（Ｐ，Ｍ）に変身マーク（２４Ｍｗ）を付加する役柄変身マーク処理を示すフローチャートである。
図１１は、前記合成画像出力処理に伴い抽出された物体画像（Ａ，Ｂ，Ｃ）に破壊マーク（１５Ｍ，１５Ｍ′）を付加すると共に対応音声（１５Ｓ）を出力する破壊マーク処理を示すフローチャートである。
FIG. 10 is a flowchart showing a role transformation mark process for adding a transformation mark (24 Mw) to a person image (P, M) whose role has been registered along with the composite image output process.
FIG. 11 is a flowchart showing destruction mark processing for adding a destruction mark (15M, 15M ′) to the object image (A, B, C) extracted with the composite image output processing and outputting the corresponding sound (15S). It is.
図１２は、前記合成画像出力処理に伴い変身モーション（１４Ｐ）の検出された人物画像（Ｋ）に変身マーク（１４Ｍｕ）を付加すると共に対応音声（１４Ｓｕ）を出力するモーション変身マーク処理を示すフローチャートである。
図１３は、前記合成画像出力処理に伴い特殊効果モーション（２３Ｐ）の検出された人物画像（Ｋ）に特殊効果マーク（２３Ｇｕ）を付加すると共に対応音声（２３Ｓｕ）を出力する特殊効果マーク処理を示すフローチャートである。
FIG. 12 is a flowchart showing a motion transformation mark process for adding a transformation mark (14Mu) to a person image (K) in which a transformation motion (14P) is detected in accordance with the synthetic image output process and outputting a corresponding voice (14Su). It is.
FIG. 13 shows a special effect mark process for adding a special effect mark (23Gu) to a person image (K) in which a special effect motion (23P) is detected in accordance with the composite image output process and outputting a corresponding sound (23Su). It is a flowchart to show.
図１４は、前記合成画像出力処理に伴い変身マーク（２４Ｍｗ）（１４Ｍｕ）の付加された人物画像（Ｐ）（Ｋ）を変身画像（２４Ｇｗ）（（１４Ｇｕ）に置き換え合成すると共に対応音声（２４Ｓｗ）（１４Ｓｕ）の出力を設定する変身マーク合成処理を示すフローチャートである。 In FIG. 14, the person image (P) (K) to which the transformation mark (24Mw) (14Mu) is added in accordance with the synthetic image output processing is replaced with the transformation image (24Gw) ((14Gu) and synthesized, and the corresponding voice (24Sw ) (14Su) is a flowchart showing a transformation mark composition process for setting the output of (14Su).
図１５は、前記合成画像出力処理に伴い破壊マーク（１５Ｍ，１５Ｍ′）の付加された物体画像（Ａ，Ｂ）を破壊画像（１５Ｇ）に置き換え合成すると共に対応音声（１５Ｓ）の出力を設定する破壊マーク合成処理を示すフローチャートである。
図１６は、前記合成画像出力処理に伴い特殊効果マーク（２３Ｇｕ）の付加された人物画像（Ｋ）の所定位置に特殊効果画像２３Ｇｕを追加合成すると共に対応音声（２３Ｓｕ）の出力を設定する特殊効果マーク合成処理を示すフローチャートである。
In FIG. 15, the object images (A, B) to which the destruction marks (15M, 15M ′) are added in accordance with the synthetic image output processing are replaced with the destruction images (15G), and the corresponding sound (15S) output is set. It is a flowchart which shows the destruction mark synthetic | combination process to perform.
FIG. 16 shows a special effect in which the special effect image 23Gu is additionally synthesized at a predetermined position of the person image (K) to which the special effect mark (23Gu) is added in accordance with the synthetic image output process and the output of the corresponding sound (23Su) is set. It is a flowchart which shows an effect mark synthetic | combination process.
図１７〜図２５は、前記合成画像出力処理に伴う動画撮影画像（Ｇ）に基づいた画像処理状態を順次代表的なコマ送り（その１）〜（その９）にして示す図であり、同図（Ａ）は撮影画像Ｇを示す図、同図（Ｂ）はマーク付き撮影画像Ｇｍを示す図、同図（Ｃ）は合成画像ＧＧを示す図である。 FIGS. 17 to 25 are diagrams showing image processing states based on the moving image captured image (G) accompanying the composite image output processing in order of typical frame advance (part 1) to (part 9). FIG. 3A is a diagram showing a captured image G, FIG. 4B is a diagram showing a marked captured image Gm, and FIG. 4C is a diagram showing a composite image GG.
前記図８における合成画像出力処理のステップＳ１〜Ｓ３の処理は、前記図１７（Ａ）〜図２５（Ａ）に示すように、動画撮影される各コマの撮影画像（Ｇ）が取得されるのに伴い繰り返し実行され、前記図１７（Ｂ）〜図２５（Ｂ）に示すようなマーク付き撮影画像（Ｇｍ）が生成出力される。 In the combined image output processing in steps S1 to S3 in FIG. 8, as shown in FIGS. 17A to 25A, a captured image (G) of each frame to be captured is acquired. As a result, the captured image (Gm) with a mark as shown in FIGS. 17B to 25B is generated and output.
そして、前記図８における合成画像出力処理のステップＳ４〜Ｓ７の処理は、前記図１７（Ｂ）〜図２５（Ｂ）に示すように生成された一連のマーク付き撮影画像（Ｇｍ）に基づき実行され、前記図１７（Ｃ）〜図２５（Ｃ）に示すような合成画像（ＧＧ）が生成出力される。 Then, the process of steps S4 to S7 of the composite image output process in FIG. 8 is executed based on a series of marked photographed images (Gm) generated as shown in FIGS. 17 (B) to 25 (B). Then, a composite image (GG) as shown in FIGS. 17C to 25C is generated and output.
なお、ここでは前記デジタルカメラ１０（図２参照）において図８における合成画像出力処理を実行した場合を主体にして説明し、前記サーバ装置３０（図７参照）において同合成画像出力処理を実行した場合については、略同じ処理内容となるためその説明を省略する。 Here, the case where the composite image output process in FIG. 8 is executed in the digital camera 10 (see FIG. 2) will be mainly described, and the composite image output process is executed in the server device 30 (see FIG. 7). Since the processing contents are substantially the same, the description thereof is omitted.
デジタルカメラ１０の画像撮影部１３により、例えば図１７（Ａ）〜図２５（Ａ）で示すように親子によって演じられる一連のシーンが撮影されると、その撮影画像Ｇ１〜Ｇ９は順次撮影画像データメモリ２５に記憶され保存され（ステップＳ１）、リアルタイムで図９における対象画像抽出処理へ移行される（ステップＳＡ）。
When a series of scenes played by a parent and child are photographed by the
この対象画像抽出処理は、２通りの方式があり、図９（Ａ）に示す対象画像抽出処理（方式１）では、前記撮影画像データメモリ２５に順次保存される撮影画像データＧｎが作業用メモリに一時転送記憶され（ステップＡ１１）、前回の撮影画像データＧｎ−１と今回の撮影画像データＧｎとの画像の変化部分がブロック化されて抽出される（ステップＡ１２）。
This target image extraction processing has two methods. In the target image extraction processing (method 1) shown in FIG. 9A, the captured image data Gn sequentially stored in the captured
すると、前記撮影画像データＧｎ上でブロック化された位置情報が、人物や物体である対象画像の位置情報となり、当該撮影画像データＧｎの付加情報として前記撮影画像データメモリ２５に記憶される（ステップＡ１３）。
一方、図９（Ｂ）に示す対象画像抽出処理（方式２）では、前記撮影画像データメモリ２５に順次保存される撮影画像データＧｎの付加情報である前記画像撮影部２１の距離センサにより取得された被写体までの距離情報が読み出され（ステップＡ２１）、その中で近距離に存在する画像部分がブロック化されて抽出される（ステップＡ２２）。
Then, the position information blocked on the photographed image data Gn becomes the position information of the target image that is a person or an object, and is stored in the photographed
On the other hand, in the target image extraction process (method 2) shown in FIG. 9B, it is acquired by the distance sensor of the
すると、前記撮影画像データＧｎ上でブロック化された位置情報が、人物や物体である対象画像の位置情報となり、当該撮影画像データＧｎの付加情報として前記撮影画像データメモリ２５に記憶される（ステップＡ２３）。
すなわち、図９（Ｂ）で示した対象画像抽出処理（方式２）は、撮影画像データＧｎの付加情報として被写体までの距離情報が必要になるため、デジタルカメラ１０での処理に適し、また、図９（Ａ）で示した対象画像抽出処理（方式１）は、逆に前記撮影画像データＧｎにおける被写体までの距離情報を必要としないので、サーバ装置３０での処理に適している。
Then, the position information blocked on the photographed image data Gn becomes the position information of the target image that is a person or an object, and is stored in the photographed
That is, the target image extraction process (method 2) shown in FIG. 9B requires distance information to the subject as additional information of the captured image data Gn, and is therefore suitable for processing by the
このように、前記対象画像抽出処理（ステップＳＡ）により、撮影画像データＧｎの中に存在する人物画像（Ｐ，Ｋ）や物体画像（Ａ，Ｂ）が抽出されると、図１０における役柄変身マーク処理へ移行される（ステップＳＢ）。
この役柄変身マーク処理では、前記対象画像抽出処理により抽出された撮影画像データＧｎの中の人物画像（Ｐ，Ｋ）や物体画像（Ａ，Ｂ）について、前記役柄データメモリ２４Ａ（図６参照）にユーザ登録された変身対象（顔）画像データ２４Ｔとしての人物画像（ＰやＭ）が含まれるか否かが前記顔画像認識処理を用いて識別される（ステップＢ１）。
ここで、図１７（Ａ）〜図２５（Ａ）の撮影画像データＧ１〜Ｇ９にそれぞれ示すように、変身対象（顔）画像データ２４Ｔとしての父親の人物画像Ｐが含まれていることが識別されると（ステップＢ１（Ｙｅｓ））、メモリ１７の役柄別変身状態メモリ内のワークエリア内の役柄データが検知され、現在の父親人物画像に対応する登録Ａの変身状態が検知される。そして、変身（１）の状態であることが検知され（ステップＢ２（Ｎｏ））、
変身条件は「なし（２４Ｈ１）」であるので、ステップＢ６（Ｎｏ）→Ｂ１０（Ｎｏ）→（２）→Ｂ９と処理が進み、前記役柄データメモリ２４Ａ（図６参照）に対応付けられて記憶されている変身（１）の怪獣Ａの変身マークデータ２４Ｍｗ１が読み出されると共に、前記識別された父親の人物画像Ｐの顔画像認識された位置に対応して付加され、図１７（Ｂ）〜図２５（Ｂ）に示すようなマーク付き撮影画像データＧｍ１〜Ｇｍ９として作業用データメモリに一時保存されると共に表示部１１に表示される（ステップＢ９）。
なお、前記登録された人物画像Ｐの顔画像の位置に対応付加される変身マークデータ２４Ｍｗ１は、当該顔画像に重ねて付加されるか、または当該顔画像の近傍に付加されるかの何れであってもよい。
そして、現在デジタルカメラ１０による撮影中にあると判断された場合には（ステップＢ４（Ｙｅｓ））、前記役柄データメモリ２４Ａ（図６参照）に対応付けられて記憶されている音声データ「ガオー」２４Ｓｗ１が読み出され、同図１７（Ｂ）〜図２５（Ｂ）に示すように音声出力部１３から出力される（ステップＢ５）。
As described above, when the person image (P, K) and the object image (A, B) existing in the captured image data Gn are extracted by the target image extraction process (step SA), the role transformation in FIG. The process proceeds to mark processing (step SB).
In this role transformation mark process, the role data memory 24A (see FIG. 6) is used for the person image (P, K) and object image (A, B) in the photographed image data Gn extracted by the target image extraction process. It is identified using the face image recognition processing whether or not a person image (P or M) as transformation target (face) image data 24T registered as a user is included in (step B1).
Here, as shown in each of the captured image data G1 to G9 in FIGS. 17A to 25A, it is identified that the father's person image P as the transformation target (face) image data 24T is included. When this is done (step B1 (Yes)), the role data in the work area in the role-specific transformation state memory of the
Since the transformation condition is “none (24H1)”, the process proceeds from step B6 (No) → B10 (No) → (2) → B9, and stored in association with the role data memory 24A (see FIG. 6). The transformation mark data 24Mw1 of the monster A of the transformed transformation (1) is read out and added corresponding to the position of the identified facial image P of the father's face image, as shown in FIGS. The image data Gm1 to Gm9 with marks as shown in FIG. 25 (B) are temporarily stored in the work data memory and displayed on the display unit 11 (step B9).
The transformation mark data 24Mw1 added corresponding to the position of the face image of the registered person image P is either added to the face image or added in the vicinity of the face image. There may be.
If it is determined that the
また、役柄変身マーク処理（ステップＳＢ）において、変身対象（顔）画像データ２４Ｔとしての子供の人物画像Ｋが含まれていることが識別されると（ステップＢ１（Ｙｅｓ））、メモリ１７の役柄別変身状態メモリ内のワークエリア内の役柄データが検知され、現在の子供人物画像に対応する登録Ｃの変身状態が検知される。そして、変身（１）の状態であることが検知され（ステップＢ２（Ｎｏ））、変身条件は「変身モーションを検知後（２４Ｈ３）」であるので（ステップＢ６（Ｙｅｓ））、変身対象画像が含まれる一連の撮影画像中に変身モーション（図３の１４Ｐの（１）又は（２）のいずれかのモーション（身振り））が検知されたか否かを判断する（ステップＢ７）、ここで、子供Ｋにより（図３の１４Ｐの（１））のモーション（身振り）が行われたことが検知されると（ステップＢ７（Ｙｅｓ））、子供Ｋの変身状態フラグを変身（２）に変更し（ステップＢ８）、の前記役柄データメモリ２４Ａ（図６参照）に子供Ｋの顔画像に対応付けられて記憶されている変身（２）の○○マンＴの変身マークデータ２４Ｍｗ３’が読み出されると共に、前記識別された子供の人物画像Ｋの顔画像認識された位置に対応して付加され、図２２（Ｂ）〜図２５（Ｂ）に示すようなマーク付き撮影画像データＧｍ６〜Ｇｍ９として作業用データメモリに一時保存されると共に表示部１１に表示される（ステップＢ３）。
そして、現在デジタルカメラ１０による撮影中にあると判断された場合には（ステップＢ４（Ｙｅｓ））、前記役柄データメモリ２４Ａ（図６参照）に対応付けられて記憶されている音声データ「ター、ター」２４Ｓｗ３’が読み出され、同図２２（Ｂ）〜図２５（Ｂ）に示すように音声出力部１３から出力される（ステップＢ５）。
なお、前記登録された人物画像Ｐの顔画像の位置に対応付加される変身マークデータ２４Ｍｗ１は、当該顔画像に重ねて付加されるか、または当該顔画像の近傍に付加されるかの何れであってもよい。
そして、現在デジタルカメラ１０による撮影中にあると判断された場合には（ステップＢ４（Ｙｅｓ））、前記役柄データメモリ２４Ａ（図６参照）に対応付けられて記憶されている音声データ「ター、ター」２４Ｓｗ３’が読み出され、同図２２（Ｂ）〜図２５（Ｂ）に示すように音声出力部１３から出力される（ステップＢ５）。
Further, when it is identified in the role transformation mark processing (step SB) that the child person image K as the transformation target (face) image data 24T is included (step B1 (Yes)), the role in the
If it is determined that the
The transformation mark data 24Mw1 added corresponding to the position of the face image of the registered person image P is either added to the face image or added in the vicinity of the face image. There may be.
If it is determined that the
また、役柄変身マーク処理（ステップＳＢ）において、変身対象（顔）画像データ２４Ｔとしての女子Ｊの人物画像が含まれていることが識別されると（ステップＢ１（Ｙｅｓ）→Ｂ２）、変身状態（１）であることが検知され（ステップＢ２（Ｎｏ））、女子Ｊの人物画像に対応づけれらた変身条件「５分経過後」が読み出され（ステップＢ６（Ｎｏ）→ステップＢ１０（Ｙｅｓ））撮影開始から計時された時間が５分になったか否かが検知さされ、５分経過ならば（ステップＢ１１（Ｙｅｓ））、女子Ｊの変身状態フラグを変身（２）に変更し（ステップＢ８）、女子Ｊの顔画像に対応付けられて記憶されている変身（２）の○○マンＭの変身マークデータ２４Ｍｗ３’が読み出されると共に、前記識別された女子の人物画像Ｊの顔画像認識された位置に対応して付加され、マーク付き撮影画像データＧｍとして作業用データメモリに一時保存されると共に表示部１１に表示される（ステップＢ３）。
そして、現在デジタルカメラ１０による撮影中にあると判断された場合には（ステップＢ４（Ｙｅｓ））、前記役柄データメモリ２４Ａ（図６参照）に対応付けられて記憶されている音声データ「マー、マー」２４Ｓｗ４’が読み出され、音声出力部１３から出力される（ステップＢ５）。
そして、現在デジタルカメラ１０による撮影中にあると判断された場合には（ステップＢ４（Ｙｅｓ））、前記役柄データメモリ２４Ａ（図６参照）に対応付けられて記憶されている音声データ「マー、マー」２４Ｓｗ４’が読み出され、音声出力部１３から出力される（ステップＢ５）。
なお、変身条件は、変身（２）から変身（１）に戻す条件を付加するようにしてもよい。たとえば、（３）登録Ｃ：子供Ｋの変身条件に、変身（２）から変身（１）に戻す条件として、「変身（２）後、３分間経過」を設定するようにしてもよい。この場合は、子供Ｋが、○○マンＴ（２４Ｇｗ３’）に変身後３分間経過すると、隊員（２４Ｇｗ３）に戻ることになり、このような設定を行うことで、目的にあった特撮撮影が、容易にできることになる。
Further, if it is identified in the role transformation mark process (step SB) that the person J's human image as the transformation target (face) image data 24T is included (step B1 (Yes) → B2), the transformation state (1) is detected (Step B2 (No)), and the transformation condition “after 5 minutes” associated with the person image of the girl J is read (Step B6 (No) → Step B10 ( Yes)) It is detected whether or not the time counted from the start of shooting has become 5 minutes, and if 5 minutes have elapsed (step B11 (Yes)), the transformation state flag of girl J is changed to transformation (2). (Step B8) The transformation mark data 24Mw3 ′ of the XX man M of the transformation (2) stored in association with the facial image of the female J is read, and the face of the identified female personal image J Image recognition It is added in correspondence with the recognized position, and is temporarily stored in the work data memory as marked image data Gm and displayed on the display unit 11 (step B3).
If it is determined that the
If it is determined that the
In addition, you may make it add the conditions to return from transformation (2) to transformation (1) as transformation conditions. For example, “3 minutes after transformation (2)” may be set as the condition for returning from transformation (2) to transformation (1) as the transformation condition of (3) registration C: child K. In this case, when the child K changes to XX man T (24Gw3 ') for 3 minutes after the transformation, it will return to the member (24Gw3). It will be easy to do.
役柄変身処理が終了すると、次に、図１１における破壊マーク処理へ移行される（ステップＳＣ）。
この破壊マーク処理では、まず、前記対象画像抽出処理により抽出された撮影画像データＧｎの中の人物画像（Ｐ，Ｋ）や物体画像（Ａ，Ｂ）について、前記破壊データメモリ１５（図５参照）に予め記憶された破壊対象画像データ１５Ｔとしての物体画像（ＡやＢやＣ）が含まれるか否かが画像認識処理により識別される（ステップＣ１）。
When the role transformation process ends, the process proceeds to the destruction mark process in FIG. 11 (step SC).
In the destruction mark process, first, the destruction data memory 15 (see FIG. 5) is used for the person image (P, K) and the object image (A, B) in the photographed image data Gn extracted by the target image extraction process. ) Includes an object image (A, B, or C) as the destruction
ここで、図１７（Ａ）〜図２５（Ａ）の撮影画像データＧ１〜Ｇ９にそれぞれ示すように、破壊対象画像データ１５Ｔとしてのビール瓶Ａ１や紙飛行機Ｂの物体画像が含まれていることが識別されると（ステップＣ１（Ｙｅｓ））、当該識別されたビール瓶Ａ１や紙飛行機Ｂの物体画像は破壊後の状態にあるか否かが、当該各物体画像（Ａ１，Ｂ）が転倒状態や反転状態にあるか否かの画像認識によって判断される（ステップＣ２）。
Here, the object images of the beer bottle A1 and the paper airplane B as the destruction
ここで、例えば図１７（Ａ）におけるビール瓶Ａ１あるいは図１８（Ａ）における紙飛行機Ｂで示すように、その各物体画像Ａ１，Ｂは転倒状態や反転状態にないと画像認識されて破壊後の状態ではないと判断された場合には（ステップＣ２（Ｎｏ））、前記破壊データメモリ１５（図５参照）に対応付けられて記憶されている塔と飛行機の破壊（前）マークデータ１５Ｍａ，１５Ｍｂが読み出されると共に、前記各物体画像Ａ１，Ｂの位置に対応して付加され、図１７（Ｂ）あるいは図１８（Ｂ）に示すようなマーク付き撮影画像データＧｍ１，Ｇｍ２として作業用データメモリに一時保存されると共に表示部１１に表示される（ステップＣ３）。 Here, for example, as shown by the beer bottle A1 in FIG. 17A or the paper airplane B in FIG. 18A, each of the object images A1 and B is image-recognized unless they are in the overturned state or the inverted state. If it is determined that the state is not in the state (step C2 (No)), the tower and airplane destruction (previous) mark data 15Ma and 15Mb stored in association with the destruction data memory 15 (see FIG. 5) are stored. Is added corresponding to the position of each of the object images A1 and B, and is recorded in the work data memory as marked image data Gm1 and Gm2 as shown in FIG. 17B or 18B. It is temporarily stored and displayed on the display unit 11 (step C3).
なお、前記破壊対象の各物体画像Ａ１，Ｂの位置に対応付加される破壊（前）マークデータ１５Ｍａ，１５Ｍｂは、当該各物体画像Ａ１，Ｂに重ねて付加されるか、または当該各物体画像Ａ１，Ｂの近傍に付加されるかの何れであってもよい。
そして、現在デジタルカメラ１０による撮影中にあると判断された場合には（ステップＣ４（Ｙｅｓ））、前記破壊データメモリ１５（図５参照）に対応付けられて記憶されている飛行機の破壊（前）画像データ１５Ｇｂ１の音声データ「ビューン」１５Ｓｂ１が読み出され、同図１８（Ｂ）に示すように音声出力部１３から出力される（ステップＣ５）。
The destruction (previous) mark data 15Ma and 15Mb added corresponding to the positions of the object images A1 and B to be destroyed are added to the object images A1 and B, or are added to the object images A1 and B. It may be added in the vicinity of A1 and B.
If it is determined that the
すると、前記ステップＣ３において付加表示された塔や飛行機の破壊（前）マークデータ１５Ｍａ，１５Ｍｂに対応する部分であるビール瓶Ａ１や紙飛行機Ｂの破壊対象画像データ（物体画像）の位置が、前記対象画像抽出処理（ステップＳＡ）により撮影画像データＧｎの付加情報として得られているブロックの位置情報から特定され（ステップＣ６）、他の対象画像抽出ブロックの画像部分と接触したか否か判断される（ステップＣ７）。 Then, the position of the destruction target image data (object image) of the beer bottle A1 or the paper airplane B, which is a portion corresponding to the tower or airplane destruction (previous) mark data 15Ma, 15Mb additionally displayed in step C3, is the target. It is identified from the position information of the block obtained as additional information of the captured image data Gn by the image extraction process (step SA) (step C6), and it is determined whether or not the image portion of another target image extraction block has been touched. (Step C7).
ここで、例えば図１８（Ａ）の撮影画像データＧ２におけるビール瓶Ａ１の物体画像と父親の人物画像Ｐとの接触状態、あるいは図１９（Ａ）の撮影画像データＧ３における紙飛行機Ｂの物体画像と同父親の人物画像Ｐとの接触状態において示すように、前記特定された破壊対象画像データ（Ａ１やＢ）の位置が、他の抽出画像部分と接触したと判断された場合には（ステップＣ７（Ｙｅｓ））、当該接触判断された他の抽出画像部分が前記役柄変身マーク処理（ステップＳＢ）にて変身マークデータ２４Ｍｗの付加された人物画像の部分であるか否か判断される（ステップＣ８）。 Here, for example, the contact state between the object image of the beer bottle A1 and the father's person image P in the photographed image data G2 in FIG. 18A, or the object image of the paper airplane B in the photographed image data G3 in FIG. As shown in the state of contact with the father's person image P, when it is determined that the position of the specified destruction target image data (A1 or B) is in contact with another extracted image portion (step C7). (Yes)), it is determined whether or not the other extracted image portion determined to be in contact is the portion of the person image to which the transformation mark data 24Mw is added in the role transformation mark processing (step SB) (step C8). ).
この場合、前記接触判断された他の抽出画像部分は、怪獣Ａの変身マークデータ２４Ｍｗ１が付加された父親Ｐの人物画像部分であると判断されるので（ステップＣ８（Ｙｅｓ））、図１８（Ｂ）に示すように、ビール瓶Ａ１の破壊対象画像データに対応する位置には、前記破壊データメモリ１５に対応付けられて記憶されている塔の破壊（後）マークデータ１５Ｍａ′が読み出されて付加され、マーク付き撮影画像データＧｍ２として作業用データメモリに一時保存されると共に表示部１１に表示される（ステップＣ９）。また同様に、図１９（Ｂ）に示すように、紙飛行機Ｂの破壊対象画像データに対応する位置には、前記破壊データメモリ１５に対応付けられて記憶されている飛行機の破壊（後）マークデータ１５Ｍｂ′が読み出されて付加され、マーク付き撮影画像データＧｍ３として作業用データメモリに一時保存されると共に表示部１１に表示される（ステップＣ９）。
In this case, since the other extracted image part determined to be in contact is determined to be the person image part of the father P to which the transformation mark data 24Mw1 of the monster A is added (step C8 (Yes)), FIG. As shown in B), the tower destruction (after) mark data 15Ma ′ stored in association with the
そして、現在デジタルカメラ１０による撮影中にあると判断された場合には（ステップＣ１０（Ｙｅｓ））、前記破壊データメモリ１５（図５参照）に対応付けられて記憶されている塔の破壊（中）画像データ１５Ｇａ２の音声データ「グシャ」１５Ｓａが読み出され、同図１８（Ｂ）に示すように音声出力部１３から出力される（ステップＣ１１）。また同様に、前記破壊データメモリ１５（図５参照）に対応付けられて記憶されている飛行機の破壊（中）画像データ１５Ｇｂ２の音声データ「ドカーン」１５Ｓｂ２が読み出され、同図１９（Ｂ）に示すように音声出力部１３から出力される（ステップＣ１１）。このように破壊中データの音声データ「グシャ」「ドカーン」等により、破壊の合成画像処理が適切に行われていることが、演技者（父親Ｐ等）により容易に聴覚的に認識することができる。
If it is determined that the
この後、当該破壊マーク処理における前記ステップＣ２において、例えば図１９（Ａ）〜図２５（Ａ）におけるビール瓶Ａ１、あるいは図２０（Ａ）〜図２５（Ａ）における紙飛行機Ｂで示すように、その各物体画像Ａ１，Ｂは転倒状態や反転状態にあると画像認識されて破壊後の状態であると判断された場合には（ステップＣ２（Ｙｅｓ））、前記破壊データメモリ１５（図５参照）に対応付けられて記憶されている塔と飛行機の破壊（後）マークデータ１５Ｍａ′，１５Ｍｂ′が読み出されると共に、前記各物体画像Ａ１，Ｂの位置に対応して付加され、図１９（Ｂ）〜図２５（Ｂ）あるいは図２０（Ｂ）〜図２５（Ｂ）に示すようなマーク付き撮影画像データＧｍ３〜Ｇｍ９あるいはＧｍ４〜Ｇｍ９として作業用データメモリに一時保存され表示部１１に表示される（ステップＣ１２）。
Thereafter, in the step C2 in the break mark processing, for example, as shown by the beer bottle A1 in FIGS. 19 (A) to 25 (A) or the paper airplane B in FIGS. 20 (A) to 25 (A), When each of the object images A1 and B is recognized as being in an overturned state or an inverted state and is determined to be in a state after destruction (step C2 (Yes)), the destruction data memory 15 (see FIG. 5). ) And the destruction (after) mark data 15Ma ′ and 15Mb ′ of the tower and the plane stored in association with each other) are read out and added corresponding to the positions of the object images A1 and B, respectively. ) To 25B or 20B to 25B, the marked image data Gm3 to Gm9 or Gm4 to Gm9 is temporarily stored in the work data memory. Is displayed on the
すると次に、図１２におけるモーション変身マーク処理へ移行される（ステップＳＤ）。
このモーション変身マーク処理では、前記対象画像抽出処理により抽出される一連の撮影画像データＧｎの中の人物画像（Ｐ，Ｋ）や物体画像（Ａ，Ｂ）について、前記変身データメモリ１４（図３参照）に予め記憶された○○マンＡの一連の変身モーションモデルデータ１４Ｐ１ａ〜１４Ｐ１ｃや初代○○マンの一連の変身モーションモデルデータ１４Ｐ２ａ〜１４Ｐ２ｃと一致する画像部分が検出されたか否か判断される（ステップＤ１）。
Then, the process proceeds to the motion transformation mark process in FIG. 12 (step SD).
In this motion transformation mark processing, the transformation data memory 14 (FIG. 3) is used for the person images (P, K) and object images (A, B) in the series of photographed image data Gn extracted by the target image extraction processing. It is determined whether or not an image portion corresponding to the series of transformation motion model data 14P1a to 14P1c of XX Man A and the series of transformation motion model data 14P2a to 14P2c of the first XX man is stored in advance. (Step D1).
ここで、前記対象画像抽出処理により抽出される一連の子供の人物画像Ｋについて、前記変身データメモリ１４（図３参照）に予め記憶された○○マンＡの一連の変身モーションモデルデータ１４Ｐ１ａ〜１４Ｐ１ｃと身振りが一致する画像部分であると検出されると（ステップＤ１（Ｙｅｓ））、当該変身データメモリ１４（図３参照）に対応付けられて記憶されている○○マンＡの変身マークデータ１４Ｍｕ１が読み出されると共に、前記モーション検出された子供の人物画像Ｋの顔画像認識された位置に対応して付加され、マーク付き撮影画像データＧｍ６〜Ｇｍ９として作業用データメモリに一時保存され表示部１１に表示される（ステップＤ２）。 Here, a series of transformation motion model data 14P1a to 14P1c of XX man A stored in advance in the transformation data memory 14 (see FIG. 3) for a series of person images K extracted by the target image extraction processing. Is detected (step D1 (Yes)), the transformation mark data 14Mu1 of XX man A stored in association with the transformation data memory 14 (see FIG. 3) is detected. Is added corresponding to the position of the face image of the child image K whose motion has been detected, and is temporarily stored in the work data memory as marked image data Gm6 to Gm9. It is displayed (step D2).
なお、モーション検出された人物画像Ｋが、役柄データに登録された顔である場合は、この処理による変身マークデータ１４Ｍｕ１の読み出しを、無効とするようにしてもよい。その場合、前述のように、役柄変身処理において、役柄データに登録された顔の人が変身モーションを行った際に、その顔の人の役柄に応じた変身マークを付加するようにしても良い。
また、前記モーション検出された人物画像Ｋの顔画像の位置に対応付加される変身マークデータ１４Ｍｕ１は、当該顔画像に重ねて付加されるか、または当該顔画像の近傍に付加されるかの何れであってもよい。
そして、現在デジタルカメラ１０による撮影中にあると判断された場合には（ステップＤ３（Ｙｅｓ））、前記変身データメモリ１４（図３参照）に対応付けられて記憶されている○○マンＡの音声データ「シュワッチ」１４Ｓｕ１が読み出され音声出力部１３から出力される（ステップＤ４）。
When the motion-detected person image K is a face registered in the role data, reading of the transformation mark data 14Mu1 by this process may be invalidated. In that case, as described above, when the face person registered in the role data performs a transformation motion in the role transformation process, a transformation mark corresponding to the role of the person of the face may be added. .
Further, the transformation mark data 14Mu1 added corresponding to the position of the face image of the person image K whose motion is detected is either added over the face image or added in the vicinity of the face image. It may be.
If it is determined that the
すると次に、図１３における特殊効果マーク処理へ移行される（ステップＳＥ）。
この特殊効果マーク処理では、前記対象画像抽出処理により抽出される一連の撮影画像データＧｎの中の人物画像（Ｐ，Ｋ）や物体画像（Ａ，Ｂ）について、前記特殊効果データメモリ２３（図４参照）に予め記憶された特殊効果Ａの一連の変身モーションモデルデータ２３Ｐ１ａ〜２３Ｐ１ｃや特殊効果Ｂの一連の変身モーションモデルデータ２３Ｐ２ａ〜２３Ｐ２ｃと一致する画像部分が検出されたか否か判断される（ステップＥ１）。
Then, the process proceeds to the special effect mark process in FIG. 13 (step SE).
In the special effect mark processing, the special effect data memory 23 (FIG. 5) is used for the human images (P, K) and object images (A, B) in the series of photographed image data Gn extracted by the target image extraction processing. 4), it is determined whether or not an image portion matching the series of transformation motion model data 23P1a to 23P1c of special effect A and the series of transformation motion model data 23P2a to 23P2c of special effect B stored in advance is detected (see FIG. 4). Step E1).
ここで、図２３（Ａ）〜図２５（Ａ）の撮影画像データＧ７〜Ｇ９に順次示すように、前記対象画像抽出処理により抽出される一連の子供の人物画像Ｋについて、前記特殊効果データメモリ２３（図４参照）に予め記憶された特殊効果Ａの一連の変身モーションモデルデータ２３Ｐ１ａ〜２３Ｐ１ｃと身振りが一致する画像部分であると検出されると（ステップＥ１（Ｙｅｓ））、当該特殊効果データメモリ２３（図４参照）に対応付けられて記憶されている特殊効果Ａの特殊効果マークデータ２３Ｍｕ１が読み出されると共に、前記モーション検出された子供の人物画像Ｋの所定位置（例えば画像上部から３分の１の位置）に対応して前記怪獣Ａの変身マークデータ２４Ｍｗ１が付加されている人物画像（父親）Ｐの方向へ向けて付加され、図２５（Ｂ）に示すようなマーク付き撮影画像データＧｍ９として作業用データメモリに一時保存され表示部１１に表示される（ステップＥ２）。 Here, as shown in the photographed image data G7 to G9 in FIG. 23A to FIG. 25A in sequence, the special effect data memory for the series of child person images K extracted by the target image extraction process. 23 (see FIG. 4), if it is detected that the image portion has the same gesture as the series of transformation motion model data 23P1a to 23P1c of special effect A stored in advance (step E1 (Yes)), the special effect data The special effect mark data 23Mu1 of the special effect A stored in association with the memory 23 (see FIG. 4) is read out, and a predetermined position (for example, 3 minutes from the top of the image) of the child image K of the motion detected. Corresponding to the person image (father) P to which the transformation mark data 24Mw1 of the monster A is added. Figure 25 is temporarily stored in a working data memory as marked photographic image data Gm9 as shown in (B) is displayed on the display unit 11 (step E2).
なお、前記モーション検出された人物画像Ｋの所定位置に対応付加される特殊効果マークデータ２４Ｍｕ１は、当該人物画像Ｋに重ねて付加されるか、または当該人物画像Ｋの近傍に付加されるかの何れであってもよい。
そして、現在デジタルカメラ１０による撮影中にあると判断された場合には（ステップＥ３（Ｙｅｓ））、前記特殊効果データメモリ２３（図４参照）に対応付けられて記憶されている特殊効果Ａの音声データ「ビビビビー」２３Ｓｕ１が読み出され、同図２５（Ｂ）に示すように音声出力部１３から出力される（ステップＥ４）。
Whether the special effect mark data 24Mu1 added corresponding to a predetermined position of the person image K detected in motion is added to the person image K or in the vicinity of the person image K. Either may be sufficient.
If it is determined that the
すると、前記図１７（Ｂ）〜図２５（Ｂ）で示したように、前記ステップＳＡ〜ＳＥの処理に従い作業用データメモリ上に生成されたマーク付きの連続した撮影画像データＧｍ１〜Ｇｍ９がマーク付き撮影画像データメモリ２６に記憶され保存される（ステップＳ２）。 Then, as shown in FIG. 17B to FIG. 25B, the continuous photographed image data Gm1 to Gm9 with marks generated on the work data memory in accordance with the processing of the steps SA to SE are marked. It is stored and saved in the attached photographed image data memory 26 (step S2).
そして、画像撮影部２１からの一連の撮影画像データＧ１〜Ｇ９の撮影入力が終了したと判断されると（ステップＳ３（Ｙｅｓ））、前記マーク付き撮影画像データメモリ２６に生成保存された一連のマーク付き撮影画像データＧｍ１〜Ｇｍ９に基づく合成画像の生成処理に進むか否か判断される（ステップＳ４）。
When it is determined that the shooting input of the series of shot image data G1 to G9 from the
ここで、入力部１２に対する合成画像生成のためのユーザ操作に応じて、あるいは前記一連の撮影画像データの取得終了に伴い自動的に、合成画像の生成処理に進むと判断されると（ステップＳ４（Ｙｅｓ））、前記マーク付き撮影画像データメモリ２６から前記一連のマーク付き撮影画像データＧｍ１〜Ｇｍ９が作業用メモリに読み出され、図１４における変身マーク合成処理へ移行される（ステップＳＦ）。
Here, when it is determined that the process proceeds to a composite image generation process in response to a user operation for generating a composite image on the
この変身マーク合成処理では、まず、前記マーク付き撮影画像データメモリ２６から作業用メモリに読み出されたマーク付き撮影画像データＧｍ１〜Ｇｍ９について、前記役柄データメモリ２４Ａ（図６参照）に予め記憶されている変身マークデータ２４Ｍｗや前記変身データメモリ１４（図３参照）に予め記憶されている変身マークデータ１４ｍｕが付加された画像が含まれているか否か判断される（ステップＦ１）。 In this transformation mark composition process, first, the marked photographed image data Gm1 to Gm9 read from the marked photographed image data memory 26 to the working memory are stored in advance in the role data memory 24A (see FIG. 6). It is determined whether or not an image to which the transformation mark data 14mu stored in advance is included in the transformation mark data 24Mw or the transformation data memory 14 (see FIG. 3) (step F1).
ここで、図１７（Ｂ）〜図２５（Ｂ）で示すように怪獣Ａの変身マークデータ２４Ｍｗ１が付加された画像、また、図２０（Ｂ）〜図２１（Ｂ）で示すように子供Ｋの隊員の変身マークデータ２３Ｍｕ３が付加された画像、また、図２２（Ｂ）〜図２５（Ｂ）で示すように○○マンＴの変身マークデータ２３Ｍｕ３’が付加された画像、または○○マンＡの変身マークデータ１４Ｍｕ１が付加された画像が存在すると判断された場合には（ステップＦ１（Ｙｅｓ））、当該各変身マークデータ２４Ｍｗ１，２３Ｍｕ３，２３Ｍｕ３’，１４Ｍｕ１が対応付加されている該マーク近傍の人物画像Ｐ，Ｋの位置が、前記対象画像抽出処理（ステップＳＡ）により撮影画像データＧｎの付加情報として得られているブロックの位置情報から特定される（ステップＦ２）。 Here, an image to which the transformation mark data 24Mw1 of the monster A is added as shown in FIGS. 17B to 25B, and a child K as shown in FIGS. 20B to 21B. An image to which the member's transformation mark data 23Mu3 is added, or an image to which the transformation mark data 23Mu3 'of XX Man T is added, as shown in FIGS. 22 (B) to 25 (B), or XX Man If it is determined that there is an image to which the transformation mark data 14Mu1 of A is added (step F1 (Yes)), the vicinity of the mark to which the transformation mark data 24Mw1, 23Mu3, 23Mu3 ′, 14Mu1 are added correspondingly. The positions of the human images P and K are specified from the block position information obtained as additional information of the captured image data Gn by the target image extraction process (step SA). (Step F2).
すると、前記特定された人物画像Ｐ，Ｋがモーションキャプチャ処理され、役柄データメモリ２４Ａ（図６参照）に記憶されている前記怪獣Ａの変身マークデータ２４Ｍｗ１に対応するところの変身（１）画像データ２４Ｇｗ１、前記隊員の変身マークデータ２４Ｍｗ３に対応するところの変身（１）画像データ２４Ｇｗ３、前記○○マンＴの変身マークデータ２４Ｍｗ３’に対応するところの変身（２）画像データ２４Ｇｗ３’、変身データメモリ１４（図３参照）に記憶されている前記○○マンＡの変身マークデータ１４Ｍｕ１に対応するところの変身画像データ１４Ｇｕ１に基づき、図１７（Ｃ）〜図２５（Ｃ）に示すように当該人物画像（父親）Ｐと同じポーズ（姿勢）の怪獣Ａの変身画像データ２４Ｇｗ１、図２０（Ｂ）〜図２１（Ｂ）に示すように当該人物画像（子供）Ｋと同じポーズ（姿勢）の隊員の変身画像データ２４Ｇｗ３、図２２（Ｃ）〜図２５（Ｃ）に示すように当該人物画像（子供）Ｋと同じポーズ（姿勢）の○○マンＴの変身画像データ２４Ｇｗ３’等にそれぞれ予め設定された背景画像ＢＧ上で置き換えられて合成され、合成画像データＧＧ１〜ＧＧ９，ＧＧ４〜ＧＧ５，ＧＧ６〜ＧＧ９が生成される（ステップＦ３）。 Then, the identified person images P and K are subjected to motion capture processing, and the transformation (1) image data corresponding to the transformation mark data 24Mw1 of the monster A stored in the role data memory 24A (see FIG. 6). 24Gw1, transformation corresponding to the member's transformation mark data 24Mw3 (1) image data 24Gw3, transformation corresponding to the XX man T transformation mark data 24Mw3 '(2) image data 24Gw3', transformation data memory 14 (see FIG. 3), based on the transformation image data 14Gu1 corresponding to the transformation mark data 14Mu1 of the XX man A stored in FIG. Transform image data 24Gw1 of monster A in the same pose (posture) as image (father) P, FIGS. 20 (B) to 21 B), the transformation image data 24Gw3 of the member in the same pose (posture) as the person image (child) K, and the person image (child) K as shown in FIGS. 22 (C) to 25 (C). The transformed image data 24Gw3 'of XX man T in the same pose (posture) is replaced and synthesized on the preset background image BG, and synthesized image data GG1 to GG9, GG4 to GG5, GG6 to GG9 are generated. (Step F3).
なおこの際、前記図２２（Ｃ）の矢印ｘで示すように、人物画像（子供）Ｋと同じポーズ（姿勢）の○○マンＴの変身画像データ２４Ｇｗ３’は拡大処理されて置き換え合成される。
そして、前記役柄データメモリ２４Ａ（図６参照）に対応付けられて記憶されている怪獣Ａの音声データ「ガオー」２４Ｓｗ１が読み出され、前記図１７（Ｃ）〜図２５（Ｃ）に示すように生成された合成画像ＧＧ１〜ＧＧ９に対応付けられて保存され、また、前記変身データメモリ１４（図３参照）に対応付けられて記憶されている○○マンＴの音声データ「ター、ター」２３Ｓｗ３が読み出され、前記図２２（Ｃ）〜図２５（Ｃ）に示すように生成された合成画像ＧＧ６〜ＧＧ９に対応付けられて保存される（ステップＦ４）。
At this time, as shown by the arrow x in FIG. 22C, the transformation image data 24Gw3 ′ of the XX man T having the same pose (posture) as the person image (child) K is enlarged and replaced and synthesized. .
Then, the voice data “Gaoh” 24Sw1 of the monster A stored in association with the role data memory 24A (see FIG. 6) is read out, as shown in FIGS. 17 (C) to 25 (C). Is stored in association with the synthesized images GG1 to GG9 and stored in association with the transformation data memory 14 (see FIG. 3). 23Sw3 is read out and stored in association with the synthesized images GG6 to GG9 generated as shown in FIGS. 22C to 25C (step F4).
すると次に、図１５における破壊マーク合成処理へ移行される（ステップＳＧ）。
この破壊マーク合成処理では、まず、前記マーク付き撮影画像データメモリ２６から作業用メモリに読み出されたマーク付き撮影画像データＧｍ１〜Ｇｍ９について、前記破壊データメモリ１５（図５参照）に予め記憶されている破壊（前）マークデータ１５Ｍや破壊（後）マークデータ１５Ｍ′が付加された画像が含まれているか否か判断される（ステップＧ１）。
Then, the process proceeds to the destruction mark composition process in FIG. 15 (step SG).
In this destruction mark composition process, first, the marked photographed image data Gm1 to Gm9 read from the marked photographed image data memory 26 to the working memory are stored in advance in the destruction data memory 15 (see FIG. 5). It is determined whether or not an image to which the destruction (front)
ここで、図１７（Ｂ）〜図２５（Ｂ）で示すように塔の破壊（前／後）マークデータ１５Ｍａ／１５Ｍａ′が付加された画像、また、図１８（Ｂ）〜図２５（Ｂ）で示すように飛行機の破壊（前／後）マークデータ１５Ｍｂ／１５Ｍｂ′が付加された画像が存在すると判断された場合には（ステップＧ１（Ｙｅｓ））、当該各破壊（前／後）マークデータ１５Ｍａ／１５Ｍａ′や１５Ｍｂ／１５Ｍｂ′が対応付加されている該マーク近傍の破壊対象画像データ（ビール瓶）Ａ１，（紙飛行機）Ｂの位置が、前記対象画像抽出処理（ステップＳＡ）により撮影画像データＧｎの付加情報として得られているブロックの位置情報から特定される（ステップＧ２）。 Here, as shown in FIGS. 17B to 25B, an image to which the tower destruction (front / rear) mark data 15Ma / 15Ma ′ is added, and FIGS. 18B to 25B. ), When it is determined that there is an image to which the airplane destruction (front / rear) mark data 15Mb / 15Mb ′ is added (step G1 (Yes)), the respective destruction (front / rear) marks The position of destruction target image data (beer bottle) A1 (paper airplane) B in the vicinity of the mark to which data 15Ma / 15Ma 'and 15Mb / 15Mb' are added is taken by the target image extraction process (step SA). It is specified from the position information of the block obtained as additional information of the data Gn (step G2).
そして、前記特定された破壊対象画像データ（ビール瓶）Ａ１，（紙飛行機）Ｂの位置が、前記対象画像抽出処理（ステップＳＡ）により抽出されている他の対象画像抽出ブロックの画像部分と接触したか否か判断される（ステップＧ３）。
ここで、例えば図１７（Ｂ）のマーク付き撮影画像データＧｍ１における破壊対象画像データ（ビール瓶）Ａ１、あるいは図１８（Ｂ）のマーク付き撮影画像データＧｍ２における破壊対象画像データ（紙飛行機）Ｂにおいて示すように、当該特定された破壊対象画像データ（Ａ１やＢ）の位置が、他の抽出画像部分と接触してないと判断された場合には（ステップＧ３（Ｎｏ））、該特定されたビール瓶Ａ１や紙飛行機Ｂの破壊対象画像データは破壊後の状態にあるか否かが、当該各物体画像（Ａ１，Ｂ）が転倒状態や反転状態にあるか否かの画像認識によって判断される（ステップＧ４）。
And the position of the specified destruction target image data (beer bottle) A1, (paper airplane) B is in contact with the image portion of another target image extraction block extracted by the target image extraction process (step SA). Is determined (step G3).
Here, for example, in the destruction target image data (beer bottle) A1 in the marked photographed image data Gm1 in FIG. 17B, or in the destruction target image data (paper airplane) B in the marked photographed image data Gm2 in FIG. 18B. As shown, when it is determined that the position of the specified destruction target image data (A1 or B) is not in contact with another extracted image portion (step G3 (No)), the specified Whether or not the image data to be destroyed of the beer bottle A1 or the paper airplane B is in a state after destruction is determined by image recognition of whether or not each object image (A1, B) is in a fallen state or a reversed state. (Step G4).
ここで、例えば図１７（Ｂ）におけるビール瓶Ａ１あるいは図１８（Ｂ）における紙飛行機Ｂで示すように、その各物体画像Ａ１，Ｂは転倒状態や反転状態にないと画像認識されて破壊後の状態ではないと判断された場合には（ステップＧ４（Ｎｏ））、その特定されたビール瓶Ａ１あるいは紙飛行機Ｂの破壊対象画像データが、図１７（Ｃ）に示すように破壊データメモリ１５（図５参照）に記憶されている前記塔の破壊（前）マークデータ１５Ｍａに対応するところの破壊（前）画像データ１５Ｇａ１、あるいは図１８（Ｃ）に示すように破壊データメモリ１５（図５参照）に記憶されている前記飛行機の破壊（前）マークデータ１５Ｍｂに対応するところの破壊（前）画像データ１５Ｇｂ１にそれぞれ予め設定された背景画像ＢＧ上で置き換えられて合成され、合成画像データＧＧ１，ＧＧ２が生成される（ステップＧ５）。 Here, for example, as shown by the beer bottle A1 in FIG. 17B or the paper airplane B in FIG. 18B, each of the object images A1 and B is image-recognized unless it is in the overturned state or the inverted state. If it is determined that it is not in the state (step G4 (No)), the image data to be destroyed of the specified beer bottle A1 or paper plane B is shown in FIG. 17C as the destruction data memory 15 (FIG. 5), the destruction (previous) image data 15Ga1 corresponding to the tower destruction (previous) mark data 15Ma stored in the tower, or the destruction data memory 15 (see FIG. 5) as shown in FIG. On the background image BG previously set in the destruction (previous) image data 15Gb1 corresponding to the destruction (previous) mark data 15Mb of the airplane stored in FIG. Synthesized been replaced come, the composite image data GG1, GG2 is generated (step G5).
そして、前記破壊データメモリ１５（図５参照）に対応付けられて記憶されている飛行機の破壊前音声データ「ビューン」１５Ｓｂ１が読み出され、前記図１８（Ｃ）に示すように生成された合成画像ＧＧ２に対応付けられて保存される（ステップＧ６）。
一方、例えば図１８（Ｂ）のマーク付き画像データＧｍ２における破壊対象画像データ（ビール瓶）Ａ１と人物画像（父親）Ｐとの接触状態、あるいは図１９（Ｂ）のマーク付き撮影画像データＧｍ３における破壊対象画像データ（紙飛行機）Ｂと人物画像（父親）Ｐとの接触状態において示すように、当該特定された破壊対象画像データ（Ａ１やＢ）の位置が、他の動作中の抽出画像部分と接触したと判断された場合には（ステップＧ３（Ｙｅｓ））、さらに、変身マーク付きの画像部分と接触したか否かが判別される。（ステップＧ７）。そして、変身マーク付きの画像部分と接触が検知された場合には、破壊対象画像として特定されたビール瓶Ａ１あるいは紙飛行機Ｂの破壊対象画像データが、図１８（Ｃ）に示すように破壊データメモリ１５（図５参照）に記憶されている前記塔の破壊（後）マークデータ１５Ｍａ′に対応するところの破壊（中）画像データ１５Ｇａ２、あるいは図１９（Ｃ）に示すように破壊データメモリ１５（図５参照）に記憶されている前記飛行機の破壊（後）マークデータ１５Ｍｂ′に対応するところの破壊（中）画像データ１５Ｇｂ２にそれぞれ予め設定された背景画像ＢＧ上で置き換えられて合成され、合成画像データＧＧ２，ＧＧ３が生成される（ステップＧ８）。
なお、ステップＧ７で、変身マーク付きの画像部分と接触したか否かが判別されるが、この変身マークには、変身データ記憶手段（図３の１４）に記憶された身振りのモデルデータと身振りが一致する人物画像を検出してその人物画像に変身マークをつけた場合（図８のＳＤ）と、顔変身データ記憶手段に記憶された顔画像が一致する人物画像を検出してその人物画像に変身マークをつけた場合（図８のＳＢ）がある。このように変身マークをつけた抽出画像部分との接触のみに応じて、破壊マークをつけるようにすることで、単に動いている画像部分と破壊対象画像がたまたま画面上重なった場合を排除して、変身マークをつけた人物との接触に限定して、適切に破壊画像を生成することができる。
Then, the pre-destruction voice data “Bune” 15Sb1 of the airplane stored in association with the destruction data memory 15 (see FIG. 5) is read out and generated as shown in FIG. 18C. The image is stored in association with the image GG2 (step G6).
On the other hand, for example, the destruction target image data (beer bottle) A1 and the person image (father) P in the marked image data Gm2 in FIG. 18B, or the destruction in the marked photographed image data Gm3 in FIG. 19B. As shown in the contact state between the target image data (paper airplane) B and the person image (father) P, the position of the specified destruction target image data (A1 and B) is the other extracted image part in operation. If it is determined that contact has been made (step G3 (Yes)), it is further determined whether or not the image portion with the transformation mark has been contacted. (Step G7). When contact with the image portion with the transformation mark is detected, the destruction target image data of the beer bottle A1 or the paper airplane B specified as the destruction target image is the destruction data memory as shown in FIG. 15 (see FIG. 5), the destruction (medium) image data 15Ga2 corresponding to the destruction (after) mark data 15Ma ′ stored in the tower 15 (see FIG. 5), or the destruction data memory 15 (see FIG. 19C). (See FIG. 5), the destruction (medium) image data 15Gb2 corresponding to the destruction (rear) mark data 15Mb 'of the airplane stored in FIG. 5 is respectively replaced with the preset background image BG and synthesized. Image data GG2 and GG3 are generated (step G8).
In step G7, it is determined whether or not the image portion with the transformation mark is touched. The transformation mark is stored in the transformation data storage means (14 in FIG. 3) and the gesture model data. When a person image with a matching face is detected and a transformation mark is attached to the person image (SD in FIG. 8), a person image with a matching face image stored in the face transformation data storage means is detected and the person image is detected. There is a case where a transformation mark is put on (SB in FIG. 8). In this way, the destruction mark is attached only in accordance with the contact with the extracted image part with the transformation mark, thereby eliminating the case where the moving image part and the destruction target image happen to overlap on the screen. The destruction image can be appropriately generated only for the contact with the person with the transformation mark.
そして、前記破壊データメモリ１５（図５参照）に対応付けられて記憶されている塔の破壊音データ「グシャ」１５Ｓａが読み出され、前記図１８（Ｃ）に示すように生成された合成画像ＧＧ２に対応付けられて保存され、また飛行機の破壊音データ「ドカーン」１５Ｓｂ２が読み出され、前記１９（Ｃ）に示すように生成された合成画像ＧＧ３に対応付けられて保存される（ステップＧ９）。 Then, the destruction sound data “Gusha” 15Sa of the tower stored in association with the destruction data memory 15 (see FIG. 5) is read, and the composite image generated as shown in FIG. It is stored in association with GG2, and the destruction sound data “Docan” 15Sb2 of the airplane is read out and stored in association with the synthesized image GG3 generated as shown in 19 (C) (step G9). ).
一方、例えば図１９（Ｂ）〜図２５（Ｂ）のマーク付き撮影画像データＧｍ３〜Ｇｍ９における破壊対象画像データ（ビール瓶）Ａ１、あるいは図２０（Ｂ）〜図２５（Ｂ）のマーク付き撮影画像データＧｍ４〜Ｇｍ９における破壊対象画像データ（紙飛行機）Ｂにおいて示すように、当該特定された破壊対象画像データ（Ａ１やＢ）の位置が、他の抽出画像部分と接触してないと判断された場合であっても（ステップＧ３（Ｎｏ））、その各破壊対象画像データＡ１，Ｂは転倒状態や反転状態にあると画像認識されて破壊後の状態であると判断された場合には（ステップＧ４（Ｙｅｓ））、当該特定されたビール瓶Ａ１あるいは紙飛行機Ｂの破壊対象画像データは、同図１９（Ｂ）〜図２５（Ｂ）に示すように破壊データメモリ１５（図５参照）に記憶されている前記塔の破壊（後）マークデータ１５Ｍａ′に対応するところの破壊（後）画像データ１５Ｇａ３、あるいは同図２０（Ｂ）〜図２５（Ｂ）に示すように破壊データメモリ１５（図５参照）に記憶されている前記飛行機の破壊（後）マークデータ１５Ｍｂ′に対応するところの破壊（後）画像データ１５Ｇｂ３にそれぞれ予め設定された背景画像ＢＧ上で置き換えられて合成され、合成画像データＧＧ３〜ＧＧ９あるいはＧＧ４〜ＧＧ９が生成される（ステップＧ１０）。 On the other hand, for example, the destruction target image data (beer bottle) A1 in the marked photographed image data Gm3 to Gm9 in FIGS. 19B to 25B, or the marked photographed images in FIGS. 20B to 25B. As shown in the destruction target image data (paper airplane) B in the data Gm4 to Gm9, it is determined that the position of the specified destruction target image data (A1 or B) is not in contact with other extracted image portions. Even if it is a case (step G3 (No)), when each of the destruction target image data A1 and B is image-recognized as being in the overturned state or the inverted state and is judged to be in the state after the destruction (step G4 (Yes)), the destruction target image data of the specified beer bottle A1 or paper plane B is the destruction data memory 15 (FIG. 5) as shown in FIGS. 19 (B) to 25 (B). The destruction (rear) image data 15Ga3 corresponding to the destruction (rear) mark data 15Ma 'of the tower stored in (b)) or the destruction data as shown in FIGS. 20 (B) to 25 (B). The destruction (rear) image data 15Gb3 corresponding to the destruction (rear) mark data 15Mb 'of the airplane stored in the memory 15 (see FIG. 5) is replaced with the preset background image BG and synthesized. Then, composite image data GG3 to GG9 or GG4 to GG9 are generated (step G10).
すると次に、図１６における特殊効果マーク合成処理へ移行される（ステップＳＨ）。
この特殊効果マーク合成処理では、まず、前記マーク付き撮影画像データメモリ２６から作業用メモリに読み出されたマーク付き撮影画像データＧｍ１〜Ｇｍ９について、前記特殊効果データメモリ２３（図４参照）に予め記憶されている特殊効果マークデータ２３Ｍｕが付加された画像が含まれているか否か判断される（ステップＨ１）。
Then, the process proceeds to the special effect mark composition process in FIG. 16 (step SH).
In this special effect mark composition processing, first, the marked image data Gm1 to Gm9 read from the marked image data memory 26 to the working memory is stored in advance in the special effect data memory 23 (see FIG. 4). It is determined whether or not an image to which the stored special effect mark data 23Mu is added is included (step H1).
ここで、特殊効果Ａの特殊効果マークデータ２３Ｍｕ１が付加された画像Ｇｍ９が存在しないと判断された場合には（ステップＨ１（Ｎｏ））処理を終了し、図２５（Ｂ）で示すように特殊効果Ａの特殊効果マークデータ２３Ｍｕ１が付加された画像Ｇｍ９が存在すると判断された場合には（ステップＨ１（Ｙｅｓ））、当該特殊効果マークデータ２３Ｍｕ１が対応付加されている該マーク近傍の人物画像（子供）Ｋの位置が、前記対象画像抽出処理（ステップＳＡ）により撮影画像データＧｎの付加情報として得られているブロックの位置情報から特定される（ステップＨ２）。 If it is determined that the image Gm9 to which the special effect mark data 23Mu1 for the special effect A is added does not exist (step H1 (No)), the process is terminated, and the special effect mark data as shown in FIG. When it is determined that the image Gm9 to which the special effect mark data 23Mu1 of the effect A is added exists (step H1 (Yes)), the person image (in the vicinity of the mark to which the special effect mark data 23Mu1 is added correspondingly) ( The position of the child (K) is specified from the block position information obtained as additional information of the captured image data Gn by the target image extraction process (step SA) (step H2).
すると、前記特殊効果データメモリ２３（図４参照）の特殊効果マークデータ２３Ｍｕ１に対応付けられて記憶されている特殊効果画像データ２３Ｇｕ１が読み出され、前記特定された人物画像（子供）Ｋの所定位置（例えば画像上部から３分の１の位置）に対応して前記怪獣Ａの変身マークデータ２４Ｍｗ１が付加されている人物画像（父親）Ｐの方向へ向けて追加合成され、合成画像データＧＧ９が生成される（ステップＨ３）。 Then, the special effect image data 23Gu1 stored in association with the special effect mark data 23Mu1 in the special effect data memory 23 (see FIG. 4) is read out, and the specified person image (child) K is predetermined. Corresponding to the position (for example, one third of the position from the top of the image), the image is added and synthesized in the direction of the person image (father) P to which the transformation mark data 24Mw1 of the monster A is added, and the combined image data GG9 is obtained. Is generated (step H3).
さらに、前記人物画像（子供）Ｋの所定位置に追加合成された特殊効果画像データ２３Ｇｕ１は、その先端部の爆発効果画像部分２３Ｇｕ１′が前記人物画像（父親）Ｐに対応する怪獣Ａの変身（１）画像データ２４Ｇｗ１に到達する位置まで延長されて追加合成され、合成画像データＧＧ９が生成される（ステップＨ４）
そして、前記特殊効果データメモリ２３（図４参照）に対応付けられて記憶されている特殊効果Ａの音声データ「ビビビビー」２３Ｓｕ１が読み出され、前記図２５（Ｃ）に示すように生成された合成画像ＧＧ９に対応付けられて保存される（ステップＨ５）。
Furthermore, the special effect image data 23Gu1 additionally synthesized at a predetermined position of the person image (child) K is transformed into a monster A whose explosion effect image part 23Gu1 ′ at the tip thereof corresponds to the person image (father) P ( 1) The image data 24Gw1 is extended to a position that reaches the image data 24Gw1, and is additionally combined to generate combined image data GG9 (step H4).
Then, the audio data “Bibi Bibi” 23Su1 of the special effect A stored in association with the special effect data memory 23 (see FIG. 4) is read out and generated as shown in FIG. 25 (C). The image is stored in association with the composite image GG9 (step H5).
すると、前記図１７（Ｃ）〜図２５（Ｃ）で示したように、前記ステップＳＦ〜ＳＨの処理に従い作業用データメモリ上に生成された一連の合成画像データＧＧ１〜ＧＧ９が合成画像データメモリ２７に記憶され保存される（ステップＳ６）。
そして、前記合成画像データメモリ２７に記憶された一連の合成画像データ（対応付けられた音声データを含む）ＧＧ１〜ＧＧ９が、前記図１７（Ｃ）〜図２５（Ｃ）で示すように、表示部１１により再生表示されると共に音声出力部１３により再生出力される（ステップＳ７）。なお、本合成画像出力装置がサーバ装置３０（図７参照）として構成されている場合には、前記ステップＳ１において受信された一連の撮影画像データＧ１〜Ｇ９の送信元である通信ネットワークＮ上の通信端末Ａ（デジタルカメラ）１０′や通信端末Ｂ（ＰＣ）４０に対して、前記合成画像データメモリ２７に記憶された一連の合成画像データ（対応付けられた音声データを含む）ＧＧ１〜ＧＧ９が読み出されて応答送信される（ステップＳ７）。
Then, as shown in FIGS. 17C to 25C, a series of synthesized image data GG1 to GG9 generated on the work data memory in accordance with the processing of the steps SF to SH is obtained as a synthesized image data memory. 27 and stored (step S6).
A series of synthesized image data (including associated audio data) GG1 to GG9 stored in the synthesized
したがって、前記構成のデジタルカメラ１０あるいはサーバ装置３０による合成画像出力装置によれば、画像撮影部２１により動画撮影された一連の撮影画像データＧｎが入力されると、当該撮影画像データＧｎに含まれる人物画像（Ｐ，Ｋ）が抽出され、予め設定された人物画像（Ｋ）の有無が検出される。そして、この顔画像に対応づけられた隊員の変身画像データ２４Ｇｗ３に基づき、前記撮影画像データＧｎの人物画像（Ｋ）がそのモーションを同じにした隊員の変身画像データ２４Ｇｗ３に置き換えられた合成画像データＧＧｎとして生成出力される。さらに、撮影画像データＧｎに含まれる予め設定されたモーション（身振り）をしている人物画像（Ｋ）が検出されると、当該設定モーションに対応して、この人物画像に対応づけられ変身（２）の例えば○○マンＴの３Ｄ画像生成用の変身画像データ２４Ｇｗ３’に基づき、前記撮影画像データＧｎの人物画像（Ｋ）がそのモーションを同じにした変身画像データ２４Ｇｗ３’に置き換えられた合成画像データＧＧｎとして生成出力されるので、前記動画撮影に際して被写体となる予め登録された役割の人物がアニメのヒーローなどに変身するためのモーション（身振り）をするだけで、当初は、隊員の変身画像に置き換えた合成画像を生成し、変身モーション以降から当該被写体の人物画像を前記ヒーローの画像に置き換えた合成画像を容易に生成することができる。
Therefore, according to the composite image output device using the
よって、動画撮影された人物画像について、役割を予め決めておき、対応するキャラクタ画像に置き換えた合成画像を手軽に作成することができる。
これにより、例えばユーザ家族において役割を決めて、父親を怪獣役、子供をヒーロー役にした動画撮影を行えば、容易に特撮風の合成動画像ＧＧｎを作ることができ、当該生成された合成動画像ＧＧｎを表示部１１に出力表示させて見たり、外部のモニタに出力表示させて見たりすることで、これまでにない楽しみを得ることができる。
Therefore, it is possible to easily create a composite image in which a role is determined in advance for a human image taken with a moving image and replaced with a corresponding character image.
Thus, for example, if a role is determined in the user's family and a movie is shot with the father serving as a monster and the child serving as a hero, a special effect-like synthesized moving image GGn can be easily created, and the generated synthesized movie The image GGn can be output and displayed on the
また、前記構成のデジタルカメラ１０あるいはサーバ装置３０による合成画像出力装置によれば、予め役割の設定された人物画像（Ｋ）を検出して、これに対応する例えば○○マンＴの変身画像データ２４Ｇｗ３’に前記人物画像（Ｋ）を置き換え合成した合成画像ＧＧｎを生成した際には、前記変身データメモリ１４に記憶されている当該変身画像データ２４Ｇｗ３の音声データ「ター、ター」２４Ｓｗ３を、前記合成画像ＧＧｎに対応付けて保存し出力させるので、容易且つよりリアルに特撮風の合成動画像ＧＧｎを作ることができる。
In addition, according to the composite image output device using the
また、前記構成のデジタルカメラ１０による合成画像出力装置によれば、前記動画撮影中に表示部１１にリアルタイムに表示される撮影画像データＧｎについて、予め役割の設定された人物画像（Ｋ）が検出された際には、当該人物画像（Ｋ）に対して例えば○○マンＡの変身画像データ２４Ｇｗ３’への変身対象となったことを示す変身マークデータ１４Ｍｕ１を付加したマーク付き撮影画像データＧｍｎとして表示部１１に表示させ、しかも前記変身画像データ２４Ｇｗ３の音声データ「ター、ター」２４Ｓｗ３も共に音声出力部１３から出力させるので、例えば撮影操作中の家族は、被写体の人物画像（子供）Ｋがその役柄通りに変身され置き換え処理されていることを容易に認識することができ、またこれを演じている最中の被写体自身（子供Ｋ）にあっても、自らがその役柄通りに変身処理されていることを音声により容易に認識することができる。
Further, according to the composite image output device using the
前記実施形態では、撮影画像データＧｎの予め設定された人物画像（Ｋ）にこれに対応する変身マークデータ２４Ｍｗおよび変身画像データ２４Ｇｗとを、変身データメモリ１４により予め記憶する構成としたが、通信ネットワークＮ上のサーバ装置３０（この場合はサービスサイトのデータ提供サーバ）から変身画像データ（変身キャラクタ）の好みの種類を選択してダウンロードし、変身データメモリ１４として新たに記憶させ前記同様に機能させる構成としてもよい。
In the embodiment described above, the transformation mark data 24Mw and the transformation image data 24Gw corresponding to the preset person image (K) of the photographed image data Gn are stored in advance by the
なお、前記実施形態において記載した合成画像出力装置による各処理の手法、すなわち、図８のフローチャートに示す合成画像出力処理、図９のフローチャートに示す前記合成画像出力処理に伴う対象画像抽出処理、図１０のフローチャートに示す前記合成画像出力処理に伴う役柄変身マーク処理、図１１のフローチャートに示す前記合成画像出力処理に伴う破壊マーク処理、図１２のフローチャートに示す前記合成画像出力処理に伴うモーション変身マーク処理、図１３のフローチャートに示す前記合成画像出力処理に伴う特殊効果マーク処理、図１４のフローチャートに示す前記合成画像出力処理に伴う変身マーク合成処理、図１５のフローチャートに示す前記合成画像出力処理に伴う破壊マーク合成処理、図１６のフローチャートに示す前記合成画像出力処理に伴う特殊効果マーク合成処理等の各手法は、何れもコンピュータに実行させることができるプログラムとして、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記憶媒体１８（３３）に格納して配布することができる。そして、変身データ１４（３２Ｂ）、特殊効果データ２３（３２Ｃ）、破壊データ１５（３２Ｄ）、役柄データ２４Ａ（３２ＥＡ）をメモリ１７（３２）に記憶した種々のコンピュータ端末は、この外部記憶媒体１８（３３）に記憶されたプログラムをプログラムメモリ２２（３２Ａ）に読み込み、この読み込んだプログラムによって動作が制御されることにより、前記実施形態において説明した動画撮影画像データＧｎからの変身画像を用いた合成画像ＧＧｎの作成・出力機能を実現し、前述した手法による同様の処理を実行することができる。
Note that each processing method by the composite image output apparatus described in the embodiment, that is, the composite image output process shown in the flowchart of FIG. 8, the target image extraction process accompanying the composite image output process shown in the flowchart of FIG. The process change mark process accompanying the composite image output process shown in the flowchart of FIG. 10, the destruction mark process accompanying the composite image output process shown in the flowchart of FIG. 11, and the motion change mark accompanying the composite image output process shown in the flowchart of FIG. Processing, special effect mark processing accompanying the composite image output processing shown in the flowchart of FIG. 13, transformation mark composition processing accompanying the composite image output processing shown in the flowchart of FIG. 14, and the composite image output processing shown in the flowchart of FIG. Destruction mark compositing process with accompanying, shown in flowchart of FIG. Each method such as the special effect mark synthesis process associated with the synthesized image output process is a program that can be executed by a computer, such as a memory card (ROM card, RAM card, etc.), magnetic disk (floppy disk, hard disk, etc.). It can be stored and distributed in an external storage medium 18 (33) such as an optical disk (CD-ROM, DVD, etc.), semiconductor memory or the like. Various computer terminals storing the transformation data 14 (32B), special effect data 23 (32C), destruction data 15 (32D), and role data 24A (32EA) in the memory 17 (32) are connected to the
また、前記各手法を実現するためのプログラムのデータは、プログラムコードの形態として通信ネットワーク（インターネット）Ｎ上を伝送させることができ、この通信ネットワーク（インターネット）Ｎに接続されたコンピュータ端末（プログラムサーバ）から前記のプログラムデータを取り込み、前述した動画撮影画像データＧｎからの変身画像を用いた合成画像ＧＧｎの作成・出力機能を実現することもできる。 Further, program data for realizing each of the above methods can be transmitted on a communication network (Internet) N as a program code form, and a computer terminal (program server) connected to the communication network (Internet) N ) From the above-mentioned program data, and a function of creating and outputting a composite image GGn using a transformed image from the above-described moving image captured image data Gn can be realized.
なお、本願発明は、前記各実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、前記各実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、各実施形態に示される全構成要件から幾つかの構成要件が削除されたり、幾つかの構成要件が異なる形態にして組み合わされても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除されたり組み合わされた構成が発明として抽出され得るものである。 Note that the present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the scope of the invention at the stage of implementation. Further, each of the embodiments includes inventions at various stages, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent elements. For example, even if some constituent elements are deleted from all the constituent elements shown in each embodiment or some constituent elements are combined in different forms, the problems described in the column of the problem to be solved by the invention If the effects described in the column “Effects of the Invention” can be obtained, a configuration in which these constituent requirements are deleted or combined can be extracted as an invention.
１０ …デジタルカメラ（通信端末Ａ）
１１（３７）…表示部
１２（３６）…入力部
１３ …音声出力部
１４（３２Ｂ）…変身データメモリ
１４Ｐ…変身モーションモデルデータ
１４Ｇｕ…変身画像データ
１４Ｓｕ…変身音声データ
１４Ｍｕ…変身マークデータ
１５（３２Ｄ）…破壊データメモリ
１５Ｔ…破壊対象画像データ
１５Ｇ…破壊画像データ
１５Ｓ…破壊音声データ
１５Ｍ…破壊（前）マークデータ
１５Ｍ′…破壊（後）マークデータ
１６（３１）…ＣＰＵ
１７（３２）…メモリ
１８（３３）…外部記録媒体
１９（３４）…記録媒体読取部
２０（３５）…電送制御部
２１ …画像撮影部
２２（３２Ａ）…プログラムメモリ
２３（３２Ｃ）…特殊効果データメモリ
２３Ｐ…特殊効果モーションモデルデータ
２３Ｇｕ…特殊効果画像データ
２３Ｓｕ…特殊効果音声データ
２３Ｍｕ…特殊効果マークデータ
２４Ａ（３２ＥＡ）…役柄データメモリ
２４Ｂ（３２ＥＢ）…役柄別変身状態
２４Ｔ…変身対象（顔）画像データ
２４Ｇｗ…変身画像データ
２４Ｓｗ…変身音声データ
２４Ｍｗ…変身マークデータ
２４Ｈ …変身条件データ
２５（３２Ｆ）…撮影画像データメモリ
２６（３２Ｇ）…マーク付き撮影画像データメモリ
２７（３２Ｈ）…合成画像データメモリ
３０ …サーバ装置
４０ …通信端末Ｂ（ＰＣ）
Ｎ …通信ネットワーク（インターネット）
ＢＧ…背景画像データ
Ｇｎ…撮影画像データ
Ｇｍｎ…マーク付き撮影画像データ
ＧＧｎ…合成画像データ
Ｐ …人物画像（父親）
Ｋ …人物画像（子供）
Ｍ …人物画像（母親）
Ａ１…物体画像（ビール瓶）
Ａ２…物体画像（ペットボトル）
Ｂ …物体画像（紙飛行機）
Ｃ …物体画像（ティッシュボックス）
10 ... Digital camera (communication terminal A)
11 (37) ... Display unit 12 (36) ...
17 (32) ... Memory 18 (33) ... External recording medium 19 (34) ... Recording medium reading section 20 (35) ...
N ... Communication network (Internet)
BG ... Background image data Gn ... Shooting image data Gmn ... Marked shooting image data GGn ... Composite image data P ... Person image (father)
K ... person image (child)
M ... person image (mother)
A1 ... Object image (beer bottle)
A2 ... Object image (plastic bottle)
B ... Object image (paper airplane)
C ... Object image (tissue box)
Claims (5)
動画撮影された一連の撮影画像データを取得する撮影画像取得手段と、
この撮影画像取得手段により取得された一連の撮影画像データの中から、前記役柄データ記憶手段に記憶された変身対象の人物画像を検出する役柄人物検出手段と、
この役柄人物検出手段により検出された人物画像に対応づけて前記役柄データ記憶手段により記憶されている変身キャラクタの画像データに基づき、当該人物画像と同じ姿勢の変身キャラクタの画像データに置き換えた合成画像データを生成する合成画像生成手段と、
この合成画像生成手段により生成された一連の合成画像データを出力する合成画像出力手段と、
を備え、
前記役柄データ記憶手段は、役柄別に変身キャラクタの画像データおよび音声データと当該変身キャラクタを示すマークデータとを対応付けて記憶し、
前記合成画像生成手段は、
前記人物画像が検出された撮影画像データについて、当該検出された人物画像に前記役柄データ記憶手段により記憶されている変身キャラクタを示すマークデータを付加したマーク付き撮影画像データを生成するマーク付き撮影画像生成手段を有し、
このマーク付き撮影画像生成手段により生成されたマーク付き撮影画像データについて、前記変身キャラクタを示すマークデータが付加された人物画像を、前記役柄データ記憶手段により記憶されている変身キャラクタの画像データに基づき、当該人物画像と同じ姿勢の変身キャラクタの画像データに置き換えると共に、該変身キャラクタの音声データを対応付けた合成画像データを生成し、
前記撮影画像取得手段による一連の撮影画像データの取得に伴い、前記マーク付き撮影画像生成手段により生成されたマーク付き撮影画像データを表示させるマーク付き撮影画像表示制御手段と、
このマーク付き撮影画像表示制御手段による前記マーク付き撮影画像データの表示制御に伴い、当該マーク付き撮影画像データのマークデータに対応付けられて前記役柄データ記憶手段により記憶されている変身キャラクタの音声データを読み出して出力させる音声出力制御手段と、
をさらに備えたことを特徴とする合成画像出力装置。 A role data storage means for storing a person image to be transformed and image data of a transformation character for each role;
Captured image acquisition means for acquiring a series of captured image data taken by a movie,
Among the series of photographed image data acquired by the photographed image acquisition means, a role person detection means for detecting a person image to be transformed stored in the role data storage means,
Based on the image data of the transformation character stored in the role data storage unit in association with the person image detected by the role person detection unit, the synthesized image is replaced with the image data of the transformation character having the same posture as the person image. Synthetic image generation means for generating data;
A composite image output means for outputting a series of composite image data generated by the composite image generation means;
Equipped with a,
The character data storage means stores image data and voice data of a transformation character and mark data indicating the transformation character in association with each character,
The composite image generation means includes
With respect to the photographed image data from which the person image has been detected, a photographed image with a mark for generating marked photographed image data in which mark data indicating a transformation character stored in the role data storage unit is added to the detected person image. Generating means,
Based on the image data of the transformation character stored in the character data storage unit, the person image to which the mark data indicating the transformation character is added is added to the marked-up photographed image data generated by the marked shooting image generation unit. , Replacing with the image data of the transformation character of the same posture as the person image, and generating synthetic image data in which the voice data of the transformation character is associated,
With the acquisition of a series of captured image data by the captured image acquisition means, a marked captured image display control means for displaying the marked captured image data generated by the marked captured image generation means,
In accordance with the display control of the marked photographed image data by the marked photographed image display control means, the voice data of the transformation character stored in the role data storage means in association with the mark data of the marked photographed image data. Audio output control means for reading out and outputting,
Composite image output apparatus characterized by further comprising a.
前記検出された人物画像により、予め設定された変身身振りが行われたことを検出する変身身振り検出手段を有し、
前記合成画像生成手段は、この変身身振り検知手段により変身身振りが行われたことが検出された以後の撮影画像データについて、前記検出された人物画像に対応する役柄別の第２の変身キャラクタの画像データに基づき、当該人物画像と同じ姿勢の第２の変身キャラクタの画像データに置き換えた合成画像データを生成することを特徴とする請求項１に記載の合成画像出力装置。 The character data storage means further stores image data of a second transformation character for each character,
The detected person image has a transformation gesture detection means for detecting that a preset transformation gesture has been performed,
The synthesized image generation means is configured to detect the second transformed character image by character corresponding to the detected person image with respect to the captured image data after the transformation gesture detection means detects that the transformation gesture has been performed. The composite image output device according to claim 1, wherein the composite image data is generated based on the data and replaced with the image data of the second transformation character having the same posture as the person image.
前記合成画像生成手段は、前記人物画像が検出された撮影画像データについて、当該検出された人物画像を前記変身データ記憶手段により記憶されている変身キャラクタの画像データに基づき、当該人物画像と同じ姿勢の変身キャラクタの画像データに置き換えると共に、当該変身キャラクタの音声データを対応付けた合成画像データを生成する、
ことを特徴とする請求項１に記載の合成画像出力装置。 The role data storage means stores image data and voice data of a transformation character in association with each role,
The synthesized image generating means has the same posture as the person image based on the image data of the transformation character stored in the transformation data storage means for the photographed image data from which the person image is detected. In addition to the image data of the makeover character, and generate composite image data in which the sound data of the makeover character is associated,
The composite image output apparatus according to claim 1.
変身対象の人物画像と役柄別の変身キャラクタの画像データとを対応付けて記憶する役柄データ記憶手段、
動画撮影された一連の撮影画像データを取得する撮影画像取得手段、
この撮影画像取得手段により取得された一連の撮影画像データの中から、前記役柄データ記憶手段に記憶された変身対象の人物画像を検出する役柄人物検出手段、
この役柄人物検出手段により検出された人物画像に対応づけて、前記役柄データ記憶手段により記憶されている変身キャラクタの画像データに基づき、当該人物画像と同じ姿勢の変身キャラクタの画像データに置き換えた合成画像データを生成する合成画像生成手段、
この合成画像生成手段により生成された一連の合成画像データを出力する合成画像出力手段、
として機能させ、
前記役柄データ記憶手段は、役柄別に変身キャラクタの画像データおよび音声データと当該変身キャラクタを示すマークデータとを対応付けて記憶するように機能させ、
前記合成画像生成手段は、
前記人物画像が検出された撮影画像データについて、当該検出された人物画像に前記役柄データ記憶手段により記憶されている変身キャラクタを示すマークデータを付加したマーク付き撮影画像データを生成するマーク付き撮影画像生成手段を有するように機能させ、
前記マーク付き撮影画像生成手段により生成されたマーク付き撮影画像データについて、前記変身キャラクタを示すマークデータが付加された人物画像を、前記役柄データ記憶手段により記憶されている変身キャラクタの画像データに基づき、当該人物画像と同じ姿勢の変身キャラクタの画像データに置き換えると共に、該変身キャラクタの音声データを対応付けた合成画像データを生成するように機能させ、さらに、
前記撮影画像取得手段による一連の撮影画像データの取得に伴い、前記マーク付き撮影画像生成手段により生成されたマーク付き撮影画像データを表示させるマーク付き撮影画像表示制御手段、
このマーク付き撮影画像表示制御手段による前記マーク付き撮影画像データの表示制御に伴い、当該マーク付き撮影画像データのマークデータに対応付けられて前記役柄データ記憶手段により記憶されている変身キャラクタの音声データを読み出して出力させる音声出力制御手段、
として機能させるようにしたコンピュータ読み込み可能な合成画像出力処理プログラム。 Computer
Role data storage means for storing a person image to be transformed and image data of a transform character for each role in association with each other,
Captured image acquisition means for acquiring a series of captured image data taken with a movie,
From the series of photographed image data acquired by the photographed image acquisition means, a role person detection means for detecting a person image to be transformed stored in the role data storage means,
Based on the image data of the transformed character stored in the role data storage unit in association with the person image detected by the role person detecting unit, the synthesized image is replaced with the image data of the transformed character having the same posture as the person image. Synthetic image generation means for generating image data;
A composite image output means for outputting a series of composite image data generated by the composite image generation means;
To function as,
The role data storage means functions to store image data and sound data of a transformation character for each role in association with mark data indicating the transformation character,
The composite image generation means includes
With respect to the photographed image data from which the person image has been detected, a photographed image with a mark for generating marked photographed image data in which mark data indicating a transformation character stored in the role data storage unit is added to the detected person image. Function to have generating means,
For the marked photographed image data generated by the marked photographed image generation means, a person image to which mark data indicating the transformation character is added is based on the transformation character image data stored in the role data storage means. , Replacing the image data of a transformation character with the same posture as the person image, functioning to generate synthesized image data in which the voice data of the transformation character is associated,
With the acquisition of a series of captured image data by the captured image acquisition means, a marked captured image display control means for displaying the marked captured image data generated by the marked captured image generation means,
In accordance with the display control of the marked photographed image data by the marked photographed image display control means, the voice data of the transformation character stored in the role data storage means in association with the mark data of the marked photographed image data. Voice output control means for reading out and outputting,
Computer readable composite image output processing program in so that to function as a.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007232207A JP4983494B2 (en) | 2007-09-07 | 2007-09-07 | Composite image output apparatus and composite image output processing program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007232207A JP4983494B2 (en) | 2007-09-07 | 2007-09-07 | Composite image output apparatus and composite image output processing program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009064288A JP2009064288A (en) | 2009-03-26 |
| JP4983494B2 true JP4983494B2 (en) | 2012-07-25 |
Family
ID=40558811
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007232207A Expired - Fee Related JP4983494B2 (en) | 2007-09-07 | 2007-09-07 | Composite image output apparatus and composite image output processing program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4983494B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5267279B2 (en) * | 2009-03-31 | 2013-08-21 | カシオ計算機株式会社 | Image composition apparatus and program |
| JP7218979B1 (en) | 2022-07-07 | 2023-02-07 | Ｊｐ Ｇａｍｅｓ株式会社 | Information processing device, information processing method and program |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002006900A (en) * | 2000-06-27 | 2002-01-11 | Megafusion Corp | Method and system for reducing and reproducing voice |
-
2007
- 2007-09-07 JP JP2007232207A patent/JP4983494B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2009064288A (en) | 2009-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4973622B2 (en) | Image composition apparatus and image composition processing program | |
| CN108322832B (en) | Comment method and device and electronic equipment | |
| JP5169111B2 (en) | Composite image output apparatus and composite image output processing program | |
| JP5012373B2 (en) | Composite image output apparatus and composite image output processing program | |
| WO2019100753A1 (en) | Video generation method and apparatus, and electronic device | |
| CN111080759A (en) | Method and device for realizing split mirror effect and related product | |
| JP4962219B2 (en) | Composite image output apparatus and composite image output processing program | |
| JP5252068B2 (en) | Composite image output apparatus and composite image output processing program | |
| JP4981370B2 (en) | Movie generation system and movie generation method | |
| JP4423929B2 (en) | Image output device, image output method, image output processing program, image distribution server, and image distribution processing program | |
| JP4935647B2 (en) | Composite image output apparatus and composite image output processing program | |
| JP2006227838A (en) | Image processor and image processing program | |
| KR102200239B1 (en) | Real-time computer graphics video broadcasting service system | |
| JP5651939B2 (en) | Image processing apparatus and program | |
| JP4962218B2 (en) | Composite image output apparatus and composite image output processing program | |
| JP4983494B2 (en) | Composite image output apparatus and composite image output processing program | |
| JP7160707B2 (en) | Method for providing images containing virtual characters | |
| JP6313003B2 (en) | Karaoke apparatus, image output method, and program | |
| JP3901015B2 (en) | Image output apparatus, image output processing program, and image output method | |
| JP4254391B2 (en) | Image output device, image output processing program, and image distribution server | |
| KR20200025285A (en) | System and method for entertainer experience | |
| JP4151543B2 (en) | Image output apparatus, image output method, and image output processing program | |
| CN116419031A (en) | Data processing method, device and equipment | |
| JP7065708B2 (en) | Recording / playback device and program | |
| JP4168803B2 (en) | Image output device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100727 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111025 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111213 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120210 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120327 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120409 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4983494 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150511 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |