JP2012054798A - Image processing apparatus and program - Google Patents

Abstract

PROBLEM TO BE SOLVED: To properly display a representative image of a plurality of subject composite images.SOLUTION: An imaging apparatus 100 is provided with an image identification unit 7g which identifies, on the basis of a predetermined condition, a subject-cut image to be used to generate the representative image of the plurality of subject composite images to be generated, from among a plurality of subject-cut images; and a recording control unit 9 which associates information for identification of the identified subject-cut image, the plurality of subject-cut images, a predetermined background image to be composited with the subject-cut image, and a generation instruction of the representative image, and records the same on a recording medium M.

Description

本発明は、画像処理装置及びプログラムに関する。   The present invention relates to an image processing apparatus and a program.

近年、画像データやその他のデータのファイルの内容を簡易的にユーザに知らせるため、サムネイル画像の表示を行うものがある（例えば、特許文献１参照）。   In recent years, in order to simply inform the user of the contents of image data and other data files, thumbnail images are displayed (for example, see Patent Document 1).

特開２００９−０６０５１０号公報JP 2009-060510 A

しかしながら、パーソナルコンピュータのＯＳ（Operating System）やアプリケーションに対応していないファイルは、サムネイル画像の表示を行うことはできない。また、新しい画像データのファイルフォーマットとして複数のＪＰＥＧデータを一つの組とし、一ファイルとして扱うことができるＭＰＦ（Multi Picture Format）規格が規定されたが、この場合、複数のＪＰＥＧデータには夫々サムネイル画像が存在するため、ＭＰＦの代表画像としてのサムネイル画像がどれになるのか規定する方法が無く、またサムネイル画像の表示には専用のアプリケーションを利用しなければならないといった問題がある。   However, thumbnail images cannot be displayed for files that are not compatible with the OS (Operating System) and applications of personal computers. In addition, the MPF (Multi Picture Format) standard that allows a plurality of JPEG data as one set and be handled as one file is defined as a new image data file format. In this case, each of the plurality of JPEG data has a thumbnail. Since images exist, there is no method for defining which thumbnail image is the representative image of MPF, and there is a problem that a dedicated application must be used for displaying thumbnail images.

そこで、本願発明は、上記問題点に鑑みてなされたものであり、複数の被写体合成画像を代表する代表画像の表示を適正に行うことができる画像処理装置及びプログラムを提供することを目的とする。   Accordingly, the present invention has been made in view of the above problems, and an object thereof is to provide an image processing apparatus and program capable of appropriately displaying a representative image representing a plurality of subject composite images. .

上記課題を解決するため、請求項１に記載の発明は、連続して撮像された背景内に被写体が存在する複数の被写体存在画像から被写体が含まれる被写体領域が抽出された複数の被写体切り抜き画像を取得する取得手段と、この取得手段により取得された前記複数の被写体切り抜き画像の前記被写体領域の被写体画像と所定の背景画像とを合成して複数の被写体合成画像を生成する合成手段と、前記複数の被写体切り抜き画像の中で、前記合成手段により生成される前記複数の被写体合成画像を代表する代表画像の生成に用いられる被写体切り抜き画像を所定条件に基づいて特定する特定手段と、この特定手段により特定された前記被写体切り抜き画像の識別用情報と、前記取得手段により取得された前記複数の被写体切り抜き画像と、前記所定の背景画像と、前記代表画像の生成指示とを対応付けて記録媒体に記録させる記録制御手段と、を備えたことを特徴としている。   In order to solve the above-described problem, the invention according to claim 1 is a plurality of subject cut-out images obtained by extracting subject areas including a subject from a plurality of subject-existing images in which the subject is present in a continuously captured background. Acquisition means for acquiring a plurality of subject composite images by combining a subject image of the subject area of the plurality of subject cut-out images acquired by the acquisition means and a predetermined background image; and A specifying unit that specifies, based on a predetermined condition, a subject cut-out image used for generating a representative image representing the plurality of subject combined images generated by the combining unit among the plurality of subject cut-out images; and the specifying unit Information for identifying the subject clipped image identified by the plurality of clipped images of the subject acquired by the acquisition means, And background image, is characterized by comprising a recording control means for recording on a recording medium in association with the generation instruction of the representative image.

請求項２に記載の発明は、請求項１に記載の発明において、前記識別用情報と、前記複数の被写体切り抜き画像と、前記所定の背景画像とを含む一の画像ファイルを生成するファイル生成手段を備え、前記記録制御手段は、前記ファイル生成手段により生成された前記一の画像ファイルを前記記録媒体に記録させることを特徴としている。   According to a second aspect of the present invention, in the first aspect of the present invention, a file generation unit that generates one image file including the identification information, the plurality of subject cut-out images, and the predetermined background image. The recording control means records the one image file generated by the file generating means on the recording medium.

請求項３に記載の発明は、請求項１又は２に記載の発明において、前記代表画像は、前記特定手段により特定された前記被写体切り抜き画像の前記被写体画像と前記所定の背景画像とを合成して生成された被写体合成画像を所定の比率で縮小した縮小画像であることを特徴としている。   According to a third aspect of the present invention, in the invention according to the first or second aspect, the representative image is obtained by combining the subject image of the subject cut-out image specified by the specifying unit and the predetermined background image. The subject composite image generated in this manner is a reduced image reduced by a predetermined ratio.

請求項４に記載の発明は、請求項３に記載の発明において、前記特定手段は、前記縮小画像の生成に用いられる被写体切り抜き画像として、前記取得手段により取得された前記複数の被写体切り抜き画像の中で、最初に撮像された被写体存在画像に対応する被写体切り抜き画像を特定することを特徴としている。   According to a fourth aspect of the present invention, in the invention according to the third aspect, the specifying unit is configured to extract the plurality of subject cut-out images acquired by the acquisition unit as subject cut-out images used for generating the reduced image. Among them, a subject cut-out image corresponding to a subject existing image picked up first is specified.

請求項５に記載の発明は、請求項３に記載の発明において、前記特定手段は、前記縮小画像の生成に用いられる被写体切り抜き画像として、前記取得手段により取得された前記複数の被写体切り抜き画像の全てを特定するか、或いは、前記複数の被写体切り抜き画像の中で、撮像タイミングが所定の間隔ずつ空けられた複数の被写体存在画像に対応する被写体切り抜き画像をそれぞれ特定することを特徴としている。   According to a fifth aspect of the present invention, in the third aspect of the invention, the specifying unit is configured to extract the plurality of subject cut-out images acquired by the acquisition unit as subject cut-out images used for generating the reduced image. It is characterized in that all are specified, or among the plurality of subject cutout images, subject cutout images corresponding to a plurality of subject existing images whose imaging timings are separated by a predetermined interval are specified.

請求項６に記載の発明は、請求項３に記載の発明において、前記特定手段は、前記縮小画像の生成に用いられる被写体切り抜き画像として、前記取得手段により取得された前記複数の被写体切り抜き画像の中で、一の被写体切り抜き画像と、当該一の被写体切り抜き画像に基づく第１縮小画像の表示後に新たに表示される第２縮小画像の生成に用いられる前記一の被写体切り抜き画像と異なる被写体切り抜き画像と、を特定することを特徴としている。   According to a sixth aspect of the present invention, in the third aspect of the invention, the specifying unit is configured to extract the plurality of subject cut-out images acquired by the acquisition unit as subject cut-out images used for generating the reduced image. Among them, a subject cutout image different from the one subject cutout image used for generating a second reduced image that is newly displayed after the display of the one subject cutout image and the first reduced image based on the one subject cutout image. It is characterized by specifying.

請求項７に記載の発明は、請求項１〜６の何れか一項に記載の発明において、前記複数の被写体存在画像を撮像する撮像手段と、この撮像手段により撮像された前記複数の被写体存在画像から被写体領域をそれぞれ抽出する抽出手段と、この抽出手段により抽出された前記被写体領域の被写体画像の各々と所定の単一色の背景画像とを合成して複数の被写体切り抜き画像を生成する切り抜き画像生成手段と、を更に備え、前記取得手段は、前記切り抜き画像生成手段により生成された前記複数の被写体切り抜き画像を取得することを特徴としている。   The invention according to claim 7 is the invention according to any one of claims 1 to 6, wherein the plurality of subject existence images imaged by the imaging means and the plurality of subject existence images taken by the imaging means. Extraction means for extracting each of the subject areas from the image, and a cutout image for generating a plurality of subject cutout images by combining each of the subject images of the subject area extracted by the extraction means and a predetermined single color background image Generating means, wherein the acquisition means acquires the plurality of subject cut-out images generated by the cut-out image generation means.

請求項８に記載の発明は、画像処理装置のコンピュータを、連続して撮像された背景内に被写体が存在する複数の被写体存在画像から被写体が含まれる被写体領域が抽出された複数の被写体切り抜き画像を取得する取得手段、この取得手段により取得された前記複数の被写体切り抜き画像の前記被写体領域の被写体画像と所定の背景画像とを合成して複数の被写体合成画像を生成する合成手段、前記複数の被写体切り抜き画像の中で、前記合成手段により生成される前記複数の被写体合成画像を代表する代表画像の生成に用いられる被写体切り抜き画像を所定条件に基づいて特定する特定手段、この特定手段により特定された前記被写体切り抜き画像の識別用情報と、前記取得手段により取得された前記複数の被写体切り抜き画像と、前記所定の背景画像と、前記代表画像の生成指示とを対応付けて記録媒体に記録させる記録制御手段、として機能させることを特徴としている。   According to an eighth aspect of the present invention, a computer of an image processing apparatus causes a plurality of subject cut-out images obtained by extracting subject areas including a subject from a plurality of subject-existing images in which the subject is present in a continuously captured background. Obtaining means for obtaining a plurality of subject synthesized images by synthesizing a subject image of the subject area of the plurality of subject cut-out images obtained by the obtaining means and a predetermined background image; A specifying means for specifying a subject cut-out image used for generating a representative image representing the plurality of subject composite images generated by the combining means among the subject cut-out images based on a predetermined condition. The subject clipped image identification information, the plurality of subject clipped images acquired by the acquisition means, And background image, is characterized in that to said recording control means for recording on a recording medium in association with the generation instruction representative image functions as a.

本発明によれば、複数の被写体合成画像を代表する代表画像の表示を適正に行うことができる。   According to the present invention, it is possible to appropriately display a representative image representing a plurality of subject composite images.

本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the imaging device of one Embodiment to which this invention is applied. 図１の撮像装置に記録される画像ファイルのデータ構造を模式的に示す図である。It is a figure which shows typically the data structure of the image file recorded on the imaging device of FIG. 図１の撮像装置による被写体切り抜き処理に係る動作の一例を示すフローチャートである。3 is a flowchart illustrating an example of an operation related to subject clipping processing by the imaging apparatus of FIG. 1. 図３の被写体切り抜き処理に係る画像の一例を模式的に示す図である。FIG. 4 is a diagram schematically illustrating an example of an image related to the subject clipping process in FIG. 3. 図３の被写体切り抜き処理に係る被写体切り抜き画像の一例を模式的に示す図である。FIG. 4 is a diagram schematically illustrating an example of a subject cutout image related to the subject cutout process of FIG. 3. 図１の撮像装置による背景画像生成処理に係る動作の一例を示すフローチャートである。3 is a flowchart illustrating an example of an operation related to background image generation processing by the imaging apparatus of FIG. 1. 図１の撮像装置による画像ファイル生成処理に係る動作の一例を示すフローチャートである。3 is a flowchart illustrating an example of an operation related to an image file generation process by the imaging apparatus of FIG. 1. 図７の画像ファイル生成処理における合成画像生成処理に係る動作の一例を示すフローチャートである。It is a flowchart which shows an example of the operation | movement which concerns on the synthesized image generation process in the image file generation process of FIG. 図８の合成画像生成処理に係る被写体合成画像の一例を模式的に示す図である。It is a figure which shows typically an example of the to-be-photographed object synthetic | combination image which concerns on the synthetic | combination image generation process of FIG. 図７の画像ファイル生成処理に係るサムネイル画像の一例を模式的に示す図である。It is a figure which shows typically an example of the thumbnail image which concerns on the image file generation process of FIG.

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。 Hereinafter, specific embodiments of the present invention will be described with reference to the drawings. However, the scope of the invention is not limited to the illustrated examples.
FIG. 1 is a block diagram illustrating a schematic configuration of an imaging apparatus 100 according to an embodiment to which the present invention is applied.

本実施形態の撮像装置１００は、主要被写体を非透過領域それ以外を透過領域とした複数の画像（以下被写体切り抜き画像と称す）と一つの他の画像とを合成して順次生成される複数の合成画像について、これらを代表する代表画像の生成に用いられる被写体切り抜き画像を所定条件に基づいて特定する。そして、この特定された被写体切り抜き画像の識別用情報と、複数の被写体切り抜き画像と、上記他の画像としての所定の背景画像と、代表画像の生成指示とを対応付けて一つのファイルとして記録媒体Ｍに記録させる。
本実施形態の撮像装置１００は、図１に示すように、撮像部１と、撮像制御部２と、画像データ生成部３と、メモリ４と、特徴量演算部５と、ブロックマッチング部６と、画像処理部７と、ファイル生成部８と、記録制御部９と、表示制御部１０と、表示部１１と、操作入力部１２と、中央制御部１３とを備えている。 The imaging apparatus 100 according to the present embodiment combines a plurality of images (hereinafter referred to as a subject cutout image) in which a main subject is a non-transmissive region and a transmissive region, and a plurality of images sequentially generated. With respect to the composite image, a subject cut-out image used to generate a representative image representing these is specified based on a predetermined condition. Then, the identification information of the specified subject clipped image, the plurality of subject clipped images, the predetermined background image as the other image, and the representative image generation instruction are associated with each other and recorded as one file. Let M record.
As illustrated in FIG. 1, the imaging apparatus 100 according to the present embodiment includes an imaging unit 1, an imaging control unit 2, an image data generation unit 3, a memory 4, a feature amount calculation unit 5, and a block matching unit 6. An image processing unit 7, a file generation unit 8, a recording control unit 9, a display control unit 10, a display unit 11, an operation input unit 12, and a central control unit 13.

撮像部１は、撮像手段として、背景内に存在する被写体Ｓを順次撮像して画像データを生成する。具体的には、撮像部１は、レンズ部１ａと、電子撮像部１ｂとを備えている。
レンズ部１ａは、ズームレンズやフォーカスレンズ等の複数のレンズから構成されている。
電子撮像部１ｂは、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサから構成され、レンズ部１ａの各種レンズを通過した光学像を二次元の画像信号に変換する。
なお、図示は省略するが、撮像部１は、レンズ部１ａを通過する光の量を調整する絞りを備えていても良い。 The imaging unit 1 sequentially captures the subject S existing in the background as imaging means, and generates image data. Specifically, the imaging unit 1 includes a lens unit 1a and an electronic imaging unit 1b.
The lens unit 1a includes a plurality of lenses such as a zoom lens and a focus lens.
The electronic imaging unit 1b is composed of, for example, an image sensor such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal-oxide Semiconductor), and converts an optical image that has passed through various lenses of the lens unit 1a into a two-dimensional image signal. To do.
In addition, although illustration is abbreviate | omitted, the imaging part 1 may be provided with the aperture_diaphragm | restriction which adjusts the quantity of the light which passes the lens part 1a.

撮像制御部２は、撮像部１による被写体Ｓの撮像を制御する。即ち、撮像制御部２は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部２は、タイミング発生器、ドライバにより電子撮像部１ｂを走査駆動して、所定周期毎に光学像を電子撮像部１ｂにより二次元の画像信号に変換させ、当該電子撮像部１ｂの撮像領域から１画面分ずつ読み出して画像データ生成部３に出力させる。
このように、撮像部１及び撮像制御部２は、背景内に存在する被写体Ｓを連続して撮像して画像Pa1〜Pan（nは自然数；図４（ａ）〜図４（ｅ）等参照）を逐次生成する。なお、画像Pa1〜Panは、複数の静止画像であっても良いし、動画像を構成する複数の画像フレームであっても良い。
また、撮像部１及び撮像制御部２は、画像Pa1〜Panの撮像後、今度は被写体Ｓが存在しない状態で且つ当該画像Pa1〜Panの撮像の際の撮像条件と撮影画角を固定した状態で再度一回撮影し、画像Pa1〜Panと再度撮影された画像とを後述の特徴点抽出処理やブロックマッチング処理を介して差分を求め、被写体切り抜き画像Pb1〜Pbn（図５（ａ）〜図５（ｅ）参照）を生成する。 The imaging control unit 2 controls the imaging of the subject S by the imaging unit 1. That is, the imaging control unit 2 includes a timing generator, a driver, and the like, although not illustrated. Then, the imaging control unit 2 scans and drives the electronic imaging unit 1b with a timing generator and a driver, converts the optical image into a two-dimensional image signal with the electronic imaging unit 1b at a predetermined period, and the electronic imaging unit 1b. Are read out from the imaging area for each screen and output to the image data generation unit 3.
As described above, the imaging unit 1 and the imaging control unit 2 continuously capture the subject S existing in the background, and refer to the images Pa1 to Pan (n is a natural number; see FIGS. 4A to 4E). ) Are generated sequentially. Note that the images Pa1 to Pan may be a plurality of still images or a plurality of image frames constituting a moving image.
In addition, the imaging unit 1 and the imaging control unit 2 are in a state in which the subject S does not exist after imaging of the images Pa1 to Pan and the imaging conditions and the imaging angle of view at the imaging of the images Pa1 to Pan are fixed. Then, the difference between the images Pa1 to Pan and the recaptured images is obtained through a feature point extraction process and a block matching process, which will be described later, and subject cutout images Pb1 to Pbn (FIG. 5A to FIG. 5) 5 (e)).

また、撮像制御部２は、ＡＦ（自動合焦処理）、ＡＥ（自動露出処理）、ＡＷＢ（自動ホワイトバランス）等の被写体Ｓを撮像する際の条件の調整制御を行っても良い。   In addition, the imaging control unit 2 may perform adjustment control of conditions when imaging the subject S, such as AF (automatic focusing processing), AE (automatic exposure processing), and AWB (automatic white balance).

画像データ生成部３は、電子撮像部１ｂから転送された画像データのアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。
カラープロセス回路から出力される輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒは、図示しないＤＭＡコントローラを介して、バッファメモリとして使用されるメモリ４にＤＭＡ転送される。 The image data generation unit 3 appropriately adjusts the gain for each RGB color component with respect to the analog value signal of the image data transferred from the electronic imaging unit 1b, and then performs sample holding by a sample hold circuit (not shown). The digital signal is converted into digital data by a / D converter (not shown), color processing including pixel interpolation processing and γ correction processing is performed by a color process circuit (not shown), and then a digital luminance signal Y and color difference signal Cb , Cr (YUV data).
The luminance signal Y and the color difference signals Cb and Cr output from the color process circuit are DMA-transferred to a memory 4 used as a buffer memory via a DMA controller (not shown).

メモリ４は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等により構成され、画像処理部７、ファイル生成部８、中央制御部１３等によって処理されるデータ等を一時記憶する。   The memory 4 is composed of, for example, a DRAM (Dynamic Random Access Memory) or the like, and temporarily stores data processed by the image processing unit 7, the file generation unit 8, the central control unit 13, and the like.

特徴量演算部５は、上記再度撮影された画像を基準として、当該画像から特徴点を抽出する特徴抽出処理を行う。具体的には、特徴量演算部５は、例えば、上記再度撮影された画像のＹＵＶデータに基づいて、所定数（或いは、所定数以上)の特徴の高いブロック領域（特徴点）を選択して、当該ブロックの内容をテンプレート（例えば、１６×１６画素の正方形）として抽出する。
ここで、特徴抽出処理とは、多数の候補ブロックから追跡に都合の良い特徴性の高いものを選択する処理である。 The feature quantity calculation unit 5 performs feature extraction processing for extracting feature points from the image taken again as a reference. Specifically, the feature amount calculation unit 5 selects, for example, a predetermined number (or a predetermined number or more) of highly featured block regions (feature points) based on the YUV data of the image taken again. The contents of the block are extracted as a template (for example, a square of 16 × 16 pixels).
Here, the feature extraction process is a process of selecting a feature having a high characteristic convenient for tracking from a large number of candidate blocks.

ブロックマッチング部６は、被写体切り抜き画像Pb1〜Pbnを生成する際に、上記再度撮影された画像と画像Pa1〜Panの位置合わせのためのブロックマッチング処理を行う。具体的には、ブロックマッチング部６は、特徴抽出処理にて抽出されたテンプレートが各画像Pa1〜Panの一つの内のどこに対応するか、つまり、画像Pa1〜Panの一つ、例えば、画像Pa1内にてテンプレートの画素値が上記再度撮影された画像と最適にマッチする位置（対応領域）を探索する。そして、画素値の相違度の評価値（例えば、差分二乗和（ＳＳＤ）や差分絶対値和（ＳＡＤ）等）が最も良かった、上記再度撮影された画像と画像Pa1間の最適なオフセットを当該テンプレートの動きベクトルとして算出する。
尚、同様の処理は、連続撮影された他の画像Pa2〜Panについても実行される。 When generating the subject cutout images Pb1 to Pbn, the block matching unit 6 performs block matching processing for aligning the recaptured image and the images Pa1 to Pan. Specifically, the block matching unit 6 determines where the template extracted in the feature extraction process corresponds to one of the images Pa1 to Pan, that is, one of the images Pa1 to Pan, for example, the image Pa1. The position (corresponding region) where the pixel value of the template optimally matches the image taken again is searched. Then, the evaluation value (for example, sum of squares of differences (SSD), sum of absolute differences (SAD), etc.) of the difference in pixel value is the best, and the optimum offset between the image re-taken and the image Pa1 is calculated. Calculated as a template motion vector.
Note that the same processing is executed for the other images Pa2 to Pan that are continuously shot.

画像処理部７は、位置合わせ部７ａと、被写体領域抽出部７ｂと、位置情報生成部７ｃと、切抜画像生成部７ｄと、画像取得部７ｅと、画像合成部７ｆと、画像特定部７ｇと、縮小画像生成部７ｈとを具備している。   The image processing unit 7 includes an alignment unit 7a, a subject area extraction unit 7b, a position information generation unit 7c, a cutout image generation unit 7d, an image acquisition unit 7e, an image composition unit 7f, and an image specification unit 7g. A reduced image generation unit 7h.

位置合わせ部７ａは、画像Pa1と上記再度撮影された画像との位置合わせを行う
即ち、位置合わせ部７ａは、画像Pa1について上記再度撮影された画像と位置合わせを行う。具体的には、位置合わせ部７ａは、被写体非存在画像から抽出した特徴点に基づいて、上記再度撮影された画像に対する画像Pa1の各画素の座標変換式（射影変換行列）を算出し、当該座標変換式に従って画像Pa1を座標変換して上記再度撮影された画像と位置合わせを行う。
尚、同様の処理は、連続撮影された他の画像Pa2〜Panについても実行される。 The alignment unit 7a aligns the image Pa1 and the image captured again. That is, the alignment unit 7a aligns the image Pa1 with the image captured again. Specifically, the alignment unit 7a calculates a coordinate conversion formula (projection conversion matrix) of each pixel of the image Pa1 with respect to the recaptured image based on the feature points extracted from the non-subject image. The image Pa1 is subjected to coordinate conversion according to the coordinate conversion formula and aligned with the image taken again.
Note that the same processing is executed for the other images Pa2 to Pan that are continuously shot.

被写体領域抽出部７ｂは、画像Pa1〜Panの各画像から被写体Ｓが含まれる被写体領域を抽出する。
即ち、被写体領域抽出部７ｂは、連続して撮像された複数の画像Pa1〜Panの各々から上記再度撮影された画像との差分として主要被写体Ｓが含まれる被写体領域を抽出する。具体的には、例えば、被写体領域抽出部７ｂは、位置合わせ部７ａにより位置合わせされた画像Pa1と上記再度撮影された画像との間で対応する各画素の差分情報を生成し、当該差分情報を基準として画像Pa1から主要被写体Ｓが含まれる被写体領域を抽出する。
ここで、被写体領域抽出部７ｂは、撮像部１により撮像された複数の画像Pa1〜Panから被写体領域をそれぞれ抽出する抽出手段を構成している。 The subject area extraction unit 7b extracts a subject area including the subject S from each of the images Pa1 to Pan.
In other words, the subject area extraction unit 7b extracts a subject area that includes the main subject S as a difference from each of the plurality of images Pa1 to Pan taken continuously and the image taken again. Specifically, for example, the subject area extraction unit 7b generates difference information of corresponding pixels between the image Pa1 aligned by the alignment unit 7a and the image taken again, and the difference information Is used as a reference to extract a subject area including the main subject S from the image Pa1.
Here, the subject area extraction unit 7b constitutes an extraction unit that extracts each of the subject areas from the plurality of images Pa1 to Pan captured by the imaging unit 1.

位置情報生成部７ｃは、画像Pa1〜Panにおける被写体領域の位置を示す位置情報を生成する。
即ち、位置情報生成部７ｃは、連続して撮像された複数の画像Pa1〜Panの各々における主要被写体Ｓの被写体領域の位置を示す位置情報を生成する。具体的には、例えば、位置情報生成部７ｃは、画像Pa1内で抽出された被写体領域の位置を特定して、画像Pa1における主要被写体Ｓの被写体領域の位置を示す位置情報を生成する。
ここで、位置情報としては、例えば、アルファマップにおける画素の透過度合いが挙げられる。アルファマップとは、画像Pa1の各画素について、被写体領域の画像を所定の背景に対してアルファブレンディングする際の重みをアルファ値（０≦α≦１）として表したものである。
尚、同様の処理は、連続撮影された他の画像Pa2〜Panについても実行される。 The position information generation unit 7c generates position information indicating the position of the subject area in the images Pa1 to Pan.
That is, the position information generation unit 7c generates position information indicating the position of the subject area of the main subject S in each of a plurality of images Pa1 to Pan that are continuously captured. Specifically, for example, the position information generation unit 7c specifies the position of the subject area extracted in the image Pa1, and generates position information indicating the position of the subject area of the main subject S in the image Pa1.
Here, as the position information, for example, the degree of transmission of pixels in the alpha map can be cited. The alpha map represents the weight when alpha blending the image of the subject area with respect to a predetermined background for each pixel of the image Pa1 as an alpha value (0 ≦ α ≦ 1).
Note that the same processing is executed for the other images Pa2 to Pan that are continuously shot.

切抜画像生成部７ｄは、主要被写体の被写体切り抜き画像Pbの画像データを生成する。
即ち、切抜画像生成部７ｄは、連続して撮像された複数の画像Pa1〜Panの各々について、被写体切り抜き画像Pb1〜Pbn（図５（ａ）〜図５（ｅ）参照）の画像データを生成する。具体的には、例えば、切抜画像生成部７ｄは、位置情報生成部７ｃにより生成されたアルファマップに基づいて、画像 Pa1の各画素のうち、アルファ値が１の画素を非透過とし、且つ、アルファ値が０の画素を透過させるように被写体切り抜き画像Pb1の画像データを生成する。
尚、同様の処理は、連続撮影された他の画像Pa2〜Panについても実行される。 The cutout image generation unit 7d generates image data of the subject cutout image Pb of the main subject.
That is, the cut-out image generation unit 7d generates image data of the subject cut-out images Pb1 to Pbn (see FIGS. 5A to 5E) for each of the plurality of images Pa1 to Pan that are continuously captured. To do. Specifically, for example, the cutout image generation unit 7d makes a pixel with an alpha value of 1 out of each pixel of the image Pa1 based on the alpha map generated by the position information generation unit 7c, and Image data of the subject cutout image Pb1 is generated so as to transmit pixels with an alpha value of 0.
Note that the same processing is executed for the other images Pa2 to Pan that are continuously shot.

画像取得部７ｅは、切抜画像生成部７ｄにより取得された被写体切り抜き画像Pbを取得する。
即ち、画像取得部７ｅは、連続して撮像された複数の画像Pa1〜Panの各々から切抜画像生成部７ｄにより生成された被写体切り抜き画像Pb1〜Pbnを取得する。
ここで、画像取得部７ｅは、連続して撮像された背景内に主要被写体Ｓが存在する複数の画像Pa1〜Panから被写体Ｓが含まれる被写体領域が抽出された複数の被写体切り抜き画像Pb1〜Pbnを取得する取得手段を構成している。 The image acquisition unit 7e acquires the subject cutout image Pb acquired by the cutout image generation unit 7d.
That is, the image acquisition unit 7e acquires the subject cutout images Pb1 to Pbn generated by the cutout image generation unit 7d from each of the plurality of images Pa1 to Pan that are continuously captured.
Here, the image acquisition unit 7e extracts a plurality of subject clipped images Pb1 to Pbn obtained by extracting a subject region including the subject S from a plurality of images Pa1 to Pan in which the main subject S exists in the continuously captured background. The acquisition means which acquires is comprised.

画像合成部７ｆは、被写体切り抜き画像Pbと所定の背景画像Pcとを合成する。即ち、画像合成部７ｆは、連続して撮像された複数の画像Pa1〜Panの各々から取得された被写体切り抜き画像Pb1〜Pbnの各々と所定の背景画像Pcとを合成して被写体合成画像Pd1〜Pdnを生成する。具体的には、例えば、画像合成部７ｆは、記録媒体Ｍからユーザ所望の背景画像Pcを取得して、当該背景画像Pcの各画素のうち、アルファ値が０の画素は透過させ、アルファ値が１の画素は被写体切り抜き画像Pb1の対応する画素の画素値で上書きし、さらに、背景画像Pcの各画素のうち、アルファ値が０＜α＜１の画素は１の補数（１−α）を用いて被写体領域を切り抜いた画像（背景画像×（１−α））を生成した後、アルファマップにおける１の補数（１−α）を用いて被写体切り抜き画像Pbを生成した際に単一背景色とブレンドした値を計算し、当該値を被写体切り抜き画像Pbから減算し、それを被写体領域を切り抜いた画像（背景画像×（１−α））と合成する。
尚、同様の処理は、他の切り抜き画像Pb2〜Pbnと背景画像Pcについても実行される。 The image combining unit 7f combines the subject cutout image Pb and the predetermined background image Pc. That is, the image synthesizing unit 7f synthesizes each of the subject cut-out images Pb1 to Pbn acquired from each of the plurality of images Pa1 to Pan captured continuously and the predetermined background image Pc to generate the subject synthesized image Pd1 to Pd1. Generate a Pdn. Specifically, for example, the image composition unit 7f acquires a user-desired background image Pc from the recording medium M, and transmits pixels having an alpha value of 0 among the pixels of the background image Pc. Is overwritten with the pixel value of the corresponding pixel of the subject cut-out image Pb1, and among the pixels of the background image Pc, the pixel whose alpha value is 0 <α <1 is 1's complement (1-α) Is used to generate an image (background image × (1−α)) obtained by cutting out the subject area, and then a single background when the subject cutout image Pb is generated using the one's complement (1−α) in the alpha map. A value blended with the color is calculated, and the value is subtracted from the subject cutout image Pb, and this is combined with an image obtained by cutting out the subject area (background image × (1-α)).
Note that the same processing is executed for the other cut-out images Pb2 to Pbn and the background image Pc.

このように、画像合成部７ｆは、画像取得部７ｅにより取得された複数の被写体切り抜き画像Pb1〜Pbnの主要被写体Ｓが含まれる被写体領域の被写体画像Ｇと所定の背景画像Pcとを合成して複数の被写体合成画像Pd1〜Pdnを生成する合成手段を構成している。   As described above, the image composition unit 7f combines the subject image G of the subject area including the main subject S of the plurality of subject cutout images Pb1 to Pbn acquired by the image acquisition unit 7e and the predetermined background image Pc. Composing means for generating a plurality of subject composite images Pd1 to Pdn is configured.

画像特定部７ｇは、画像取得部７ｅにより取得された複数の被写体切り抜き画像Pb1〜Pbnの中で、少なくとも何れか一つを所定条件に基づいて特定する。ここで、所定条件としては、例えば、被写体切り抜き画像Pb1〜Pbnに対応する画像Pa1〜Panの撮像された順序（例えば、ｎ番目等；ｎは自然数）、当該画像Pa1〜Panの撮像タイミング、サムネイル画像Ps（縮小画像）の表示時間等が挙げられるが、一例であってこれに限られるものではなく、適宜任意に変更可能である。例えば、抽出された被写体画像Ｇのボケ度合い（例えば、撮像時の手ぶれ度合いや被写体ぶれ度合い等）を特定して、当該ボケ度合いを所定条件としても良い。
また、所定条件は、予めデフォルトとして設定されていても良いし、ユーザによる操作入力部１２の所定操作に基づいて入力されて設定されても良い。 The image specifying unit 7g specifies at least one of the plurality of subject cutout images Pb1 to Pbn acquired by the image acquiring unit 7e based on a predetermined condition. Here, as predetermined conditions, for example, the order in which the images Pa1 to Pan corresponding to the subject cutout images Pb1 to Pbn are captured (for example, the nth etc .; n is a natural number), the imaging timing of the images Pa1 to Pan, and the thumbnail The display time of the image Ps (reduced image) and the like can be mentioned. However, the display time is an example, and the display time is not limited to this. For example, the degree of blur of the extracted subject image G (for example, the degree of camera shake or the degree of subject blur at the time of imaging) may be specified, and the degree of blur may be set as a predetermined condition.
Further, the predetermined condition may be set as a default in advance, or may be input and set based on a predetermined operation of the operation input unit 12 by the user.

具体的には、画像特定部７ｇは、連続して撮像された複数の被写体切り抜き画像Pb1〜Pbnの中で、最初に撮像された画像Pa1に対応する被写体切り抜き画像Pb1（図９（ａ）参照）をサムネイル画像Ps（縮小画像）の生成に用いられる被写体切り抜き画像Pbとして特定する。
また、画像特定部７ｇは、サムネイル画像Psの生成に用いられる被写体切り抜き画像Pbを二つ以上特定しても良い。即ち、画像特定部７ｇは、画像取得部７ｅにより取得された複数の被写体切り抜き画像Pb1〜Pbnの全てを特定する（図９（ａ）〜図９（ｅ）等参照）。また、画像特定部７ｇは、複数の被写体切り抜き画像Pb1〜Pbnの中で、撮像タイミングが所定の間隔ずつ空けられた複数の画像Paに対応する被写体切り抜き画像Pbをそれぞれ特定する。具体的には、画像特定部７ｇは、連続して撮像された複数の画像Pa1〜Panの中で、例えば、奇数番目や偶数番目といった所定の数式（例えば、2n-1、2n等；nは自然数）を満たす枚数目の被写体存在画像Paに対応する被写体切り抜き画像Pbをそれぞれ特定する。
また、画像特定部７ｇは、サムネイル画像Psの生成に用いられる被写体切り抜き画像Pbとして、複数の被写体切り抜き画像Pb1〜Pbnの中で、表示タイミングを異ならせて表示される第１サムネイル画像Ps4や第２サムネイル画像Ps5等に係る被写体切り抜き画像Pbを複数特定しても良い。即ち、画像特定部７ｇは、複数の被写体切り抜き画像Pb1〜Pbnの中で、一の被写体切り抜き画像Pb（例えば、最初に撮像された画像Pa1に対応する被写体切り抜き画像Pb1；図９（ａ）参照）と、当該一の被写体切り抜き画像Pbに基づく第１サムネイル画像Ps4（図１０（ｄ）参照）の表示後に新たに表示される第２サムネイル画像Ps5（図１０（ｅ）参照）の生成に用いられる一の被写体切り抜き画像Pbと異なる被写体切り抜き画像Pb（例えば、最後に撮像された被写体存在画像Panに対応する被写体切り抜き画像Pbn；図９（ｅ）参照）とを特定する。 Specifically, the image specifying unit 7g selects a subject cut-out image Pb1 corresponding to the image Pa1 picked up first among the plurality of subject cut-out images Pb1 to Pbn picked up continuously (see FIG. 9A). ) Is specified as the subject cutout image Pb used for generating the thumbnail image Ps (reduced image).
Further, the image specifying unit 7g may specify two or more subject clipped images Pb used for generating the thumbnail image Ps. That is, the image specifying unit 7g specifies all of the plurality of subject cut-out images Pb1 to Pbn acquired by the image acquiring unit 7e (see FIGS. 9A to 9E). In addition, the image specifying unit 7g specifies the subject cutout images Pb corresponding to the plurality of images Pa in which the imaging timing is spaced by a predetermined interval among the plurality of subject cutout images Pb1 to Pbn. Specifically, the image specifying unit 7g is, for example, a predetermined mathematical expression (for example, 2n-1, 2n, etc.) such as an odd number or an even number among a plurality of images Pa1 to Pan taken continuously. Each of the subject cutout images Pb corresponding to the number of subject existing images Pa satisfying (natural number) is specified.
The image specifying unit 7g also displays the first thumbnail image Ps4 and the first thumbnail image Ps4 displayed at different display timings among the plurality of subject cutout images Pb1 to Pbn as the subject cutout image Pb used for generating the thumbnail image Ps. A plurality of subject cutout images Pb related to the two thumbnail images Ps5 and the like may be specified. That is, the image specifying unit 7g selects one subject cut image Pb (for example, the subject cut image Pb1 corresponding to the first image Pa1 captured among the plurality of subject cut images Pb1 to Pbn; see FIG. 9A). ) And the second thumbnail image Ps5 (see FIG. 10 (e)) to be newly displayed after the display of the first thumbnail image Ps4 (see FIG. 10 (d)) based on the one subject cutout image Pb. A different subject cutout image Pb (for example, a subject cutout image Pbn corresponding to the subject existing image Pan captured last; see FIG. 9E) is specified.

このように、画像特定部７ｇは、画像取得部７ｅにより取得された複数の被写体切り抜き画像Pb1〜Pbnの中で、画像合成部７ｆにより生成される複数の被写体合成画像Pd1〜Pdnを代表する代表画像の生成に用いられる被写体切り抜き画像Pbを所定条件に基づいて特定する特定手段を構成している。   As described above, the image specifying unit 7g represents the plurality of subject composite images Pd1 to Pdn generated by the image composition unit 7f among the plurality of subject cutout images Pb1 to Pbn acquired by the image acquisition unit 7e. A specifying means for specifying the subject cutout image Pb used for generating the image based on a predetermined condition is configured.

縮小画像生成部７ｈは、画像合成部７ｆにより生成された被写体合成画像Pdを所定の比率で縮小してサムネイル画像Ps（縮小画像）を生成する。
即ち、縮小画像生成部７ｈは、画像合成部７ｆにより生成される複数の被写体合成画像Pd1〜Pdnを代表する代表画像として、画像特定部７ｇにより特定された被写体切り抜き画像Pbの被写体画像Ｇと所定の背景画像Pcとを合成して生成された被写体合成画像Pdを所定の比率で縮小したサムネイル画像Ps（縮小画像）を生成する。例えば、縮小画像生成部７ｈは、被写体合成画像Pdを水平方向（x軸方向）及び垂直方向（y軸方向）ともに所定の比率で縮小して、サムネイル画像Psを生成する。
なお、縮小画像生成部７ｈは、被写体合成画像Pdからサムネイル画像Psを生成するようにしたが、サムネイル画像Psの生成方法はこれに限られるものではなく、例えば、最初の被写体切り抜き画像Pb1の被写体画像Ｇと所定の背景画像Pcのそれぞれの縮小画像を生成した後、これら縮小画像どうしを合成するようにしても良い。 The reduced image generation unit 7h generates the thumbnail image Ps (reduced image) by reducing the subject combined image Pd generated by the image combining unit 7f at a predetermined ratio.
In other words, the reduced image generation unit 7h uses the subject image G of the subject cutout image Pb specified by the image specification unit 7g as the representative image representing the plurality of subject composite images Pd1 to Pdn generated by the image synthesis unit 7f and the predetermined image. A thumbnail image Ps (reduced image) is generated by reducing the subject composite image Pd generated by combining the background image Pc with a predetermined ratio. For example, the reduced image generation unit 7h reduces the subject composite image Pd at a predetermined ratio in both the horizontal direction (x-axis direction) and the vertical direction (y-axis direction) to generate the thumbnail image Ps.
The reduced image generation unit 7h generates the thumbnail image Ps from the subject composite image Pd. However, the method for generating the thumbnail image Ps is not limited to this, and for example, the subject of the first subject cutout image Pb1 After the reduced images of the image G and the predetermined background image Pc are generated, these reduced images may be combined.

ファイル生成部８は、画像特定部７ｇにより特定された被写体切り抜き画像Pbの識別用情報と、複数の被写体切り抜き画像Pb1〜Pbnと、所定の背景画像Pcと、サムネイル画像の生成指示とを対応づけて一の画像ファイルＦを生成する。
ここで、画像ファイルＦのデータ構造について図２を参照して説明する。 The file generation unit 8 associates the identification information of the subject cutout image Pb specified by the image specifying unit 7g, the plurality of subject cutout images Pb1 to Pbn, the predetermined background image Pc, and the thumbnail image generation instruction. One image file F is generated.
Here, the data structure of the image file F will be described with reference to FIG.

画像ファイルＦは、例えば、図２に示すように、「SOI」及び「EOI」により区分された複数の個別画像を含んで構成されている。具体的には、画像ファイルＦは、背景画像Pcと、所定枚数（例えば、ｎ枚）の被写体切り抜き画像Pb1〜Pbnとが所定の格納領域F0〜Fnに格納されている。   For example, as shown in FIG. 2, the image file F includes a plurality of individual images divided by “SOI” and “EOI”. Specifically, in the image file F, a background image Pc and a predetermined number (for example, n) of subject cut-out images Pb1 to Pbn are stored in predetermined storage areas F0 to Fn.

背景画像Pcの格納領域F0には、当該背景画像Pcの画像付属情報と、所定の圧縮形式（例えば、ＪＰＥＧ形式等）で符号化された背景画像Pc自体の画像情報とが格納されている。
背景画像Pcの画像付属情報には、サムネイル画像Psの生成に用いられる被写体切り抜き画像Pbの識別用情報、当該画像ファイルＦを構成する所定枚数の被写体切り抜き画像Pb1〜Pbnの画像インデックス情報（複数の画像Pa1〜Panの撮像順序に関する情報を含む）、サムネイル画像Psの生成指示（例えば、サムネイル画像Ps自体の寸法（例えば、ＶＧＡサイズ等）に係る情報、合成される被写体切り抜き画像Pb1〜Pbnの背景画像Pcにおける寸法や位置に係る情報、被写体切り抜き画像Pb1〜Pbnと背景画像Pcとのアルファブレンディング（重畳表示）の実行指示に係る情報等）、各被写体切り抜き画像Pb1〜Pbnの開始アドレス（図示略）などの各種情報が含まれている。
ここで、識別用情報は、例えば、一の被写体切り抜き画像Pbに係る情報であっても良いし、複数の被写体切り抜き画像Pb1〜Pbnに係る情報であっても良い。具体的には、識別用情報としては、例えば、画像特定部７ｇにより特定された最初に撮像された画像Pa1に対応する被写体切り抜き画像Pb1に係る情報や、画像特定部７ｇにより特定された複数の被写体切り抜き画像Pb1〜Pbnに係る情報や、所定の時間間隔を空けて表示される複数のサムネイル画像Ps、…の生成に用いられる被写体切り抜き画像Pb、…に係る情報等が挙げられる。 In the storage area F0 of the background image Pc, image ancillary information of the background image Pc and image information of the background image Pc itself encoded in a predetermined compression format (for example, JPEG format) are stored.
The image ancillary information of the background image Pc includes information for identifying the subject clipped image Pb used to generate the thumbnail image Ps, and image index information of a predetermined number of the subject clipped images Pb1 to Pbn constituting the image file F (a plurality of pieces) Including information regarding the imaging order of the images Pa1 to Pan), information on the generation instruction of the thumbnail image Ps (for example, information related to the size of the thumbnail image Ps itself (for example, VGA size), and the background of the subject cut-out images Pb1 to Pbn to be combined Information related to dimensions and positions in the image Pc, information related to an instruction for executing alpha blending (superimposition display) of the subject cut-out images Pb1 to Pbn and the background image Pc, and the start addresses (not shown) of the subject cut-out images Pb1 to Pbn ) Etc. are included.
Here, the identification information may be, for example, information related to one subject cutout image Pb, or may be information related to a plurality of subject cutout images Pb1 to Pbn. Specifically, as the identification information, for example, information related to the subject cutout image Pb1 corresponding to the first image Pa1 specified by the image specifying unit 7g, or a plurality of items specified by the image specifying unit 7g Information related to the subject cut-out images Pb1 to Pbn, information related to the subject cut-out images Pb used for generating a plurality of thumbnail images Ps,... Displayed with a predetermined time interval, and the like.

１番目の被写体切り抜き画像Pb1の格納領域F1には、当該１番目の被写体切り抜き画像Pb1の画像付属情報と、所定の圧縮形式（例えば、ＪＰＥＧ形式等）で符号化された１番目の被写体切り抜き画像Pb1自体の画像情報とが格納されている。
１番目の被写体切り抜き画像Pb1の画像付属情報には、当該被写体切り抜き画像Pb1に係るアルファマップ、背景画像Pcとの合成などの各種情報が含まれている。
同様に２番目以降の被写体切り抜き画像Pb2〜Pbnの格納領域F2〜Fnについても、１番目の被写体切り抜き画像Pb1の格納領域F1と略同様の構成をなしており、その詳細な説明は省略する。 In the storage area F1 of the first subject cutout image Pb1, the image subject information of the first subject cutout image Pb1 and the first subject cutout image encoded in a predetermined compression format (for example, JPEG format) are stored. The image information of Pb1 itself is stored.
The image attached information of the first subject cutout image Pb1 includes various types of information such as an alpha map related to the subject cutout image Pb1 and synthesis with the background image Pc.
Similarly, the storage areas F2 to Fn of the second and subsequent subject clipped images Pb2 to Pbn have substantially the same configuration as the storage area F1 of the first clipped image Pb1 and will not be described in detail.

このように、ファイル生成部８は、画像特定部７ｇにより特定された識別用情報と、画像取得部７ｅにより取得された複数の被写体切り抜き画像Pb1〜Pbnと、所定の背景画像Pcと、サムネイル画像Psの生成指示とを含む一の画像ファイルＦを生成するファイル生成手段を構成している。
なお、画像ファイルＦは、例えば、カメラ映像機器工業会規格であるマルチピクチャフォーマットに規定されたファイル構造をなしていても良い。 As described above, the file generation unit 8 includes the identification information specified by the image specifying unit 7g, the plurality of subject cutout images Pb1 to Pbn acquired by the image acquisition unit 7e, the predetermined background image Pc, and the thumbnail image. A file generating means for generating one image file F including a Ps generation instruction is configured.
The image file F may have a file structure defined in a multi-picture format, which is a camera video equipment industry association standard, for example.

記録制御部９は、記録媒体Ｍが着脱自在に構成され、装着された記録媒体Ｍからのデータの読み出しや記録媒体Ｍに対するデータの書き込みを制御する。
具体的には、記録制御部９は、ファイル生成部８により生成された一の画像ファイルＦ、即ち、切抜画像生成部７ｄにより生成された複数の被写体切り抜き画像Pb1〜Pbnと、所定の背景画像Pcと、識別用情報と、サムネイル画像Psの生成指示とが対応付けられた一の画像ファイルＦを記録媒体Ｍに記録させる。
ここで、記録制御部９は、画像特定部７ｇにより特定された識別用情報と、画像取得部７ｅにより取得された複数の被写体切り抜き画像Pb1〜Pbnと、所定の背景画像Pcと、サムネイル画像Ps（代表画像）の生成指示とを対応付けて記録媒体Ｍに記録させる記録制御手段を構成している。 The recording control unit 9 is configured so that the recording medium M is detachable, and controls reading of data from the loaded recording medium M and writing of data to the recording medium M.
Specifically, the recording control unit 9 includes one image file F generated by the file generation unit 8, that is, a plurality of subject cutout images Pb1 to Pbn generated by the cutout image generation unit 7d, and a predetermined background image. One image file F in which Pc, identification information, and a thumbnail image Ps generation instruction are associated is recorded on the recording medium M.
Here, the recording control unit 9 identifies information for identification specified by the image specifying unit 7g, a plurality of subject clipped images Pb1 to Pbn acquired by the image acquisition unit 7e, a predetermined background image Pc, and a thumbnail image Ps. A recording control unit is configured to record the recording medium M in association with a (representative image) generation instruction.

なお、記録媒体Ｍは、例えば、不揮発性メモリ（フラッシュメモリ）等により構成されるが、一例であってこれに限られるものではなく、適宜任意に変更可能である。   The recording medium M is composed of, for example, a non-volatile memory (flash memory) or the like. However, the recording medium M is an example and is not limited to this, and can be arbitrarily changed as appropriate.

表示制御部１０は、メモリ４に一時的に記憶されている表示用の画像データを読み出して表示部１１に表示させる制御を行う。
具体的には、表示制御部１０は、ＶＲＡＭ、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている（何れも図示略）。そして、デジタルビデオエンコーダは、中央制御部１３の制御下にてメモリ４から読み出されてＶＲＡＭに記録されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部１１に出力する。 The display control unit 10 performs control to read display image data temporarily stored in the memory 4 and display the image data on the display unit 11.
Specifically, the display control unit 10 includes a VRAM, a VRAM controller, a digital video encoder, and the like (all not shown). The digital video encoder periodically reads the luminance signal Y and the color difference signals Cb and Cr read from the memory 4 and recorded in the VRAM under the control of the central control unit 13 from the VRAM via the VRAM controller. It reads out, generates a video signal based on these data, and outputs it to the display unit 11.

表示部１１は、例えば、液晶表示装置であり、表示制御部１０からのビデオ信号に基づいて電子撮像部１ｂ１により撮像された画像などを表示画面に表示する。具体的には、表示部１１は、静止画撮像モードや動画撮像モードにて、撮像部１による被写体Ｓの撮像により生成された複数の画像フレームを所定のフレームレートで逐次更新しながらライブビュー画像を表示する。   The display unit 11 is, for example, a liquid crystal display device, and displays an image captured by the electronic imaging unit 1b1 on the display screen based on a video signal from the display control unit 10. Specifically, the display unit 11 updates a plurality of image frames generated by the imaging of the subject S by the imaging unit 1 in a still image imaging mode or a moving image imaging mode while sequentially updating at a predetermined frame rate. Is displayed.

操作入力部１２は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部１２は、被写体Ｓの撮像指示に係るシャッタボタン、撮像モードや機能等の選択指示に係る選択決定用ボタン、ズーム量の調整指示に係るズームボタン等を備え（何れも図示略）、これらのボタンの操作に応じて所定の操作信号を中央制御部１３に出力する。   The operation input unit 12 is for performing a predetermined operation of the imaging apparatus 100. Specifically, the operation input unit 12 includes a shutter button related to an imaging instruction of the subject S, a selection determination button related to an instruction to select an imaging mode or a function, a zoom button related to an instruction to adjust the zoom amount, etc. In addition, a predetermined operation signal is output to the central control unit 13 in response to the operation of these buttons.

中央制御部１３は、撮像装置１００の各部を制御するものである。具体的には、中央制御部１３は、図示は省略するが、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を備え、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。   The central control unit 13 controls each unit of the imaging apparatus 100. Specifically, although not shown, the central control unit 13 includes a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), and the like, and includes various processing programs for the imaging apparatus 100 ( Various control operations are performed according to (not shown).

次に、撮像装置１００による被写体切り抜き処理について、図３〜図５を参照して説明する。
図３は、被写体切り抜き処理に係る動作の一例を示すフローチャートである。また、図４（ａ）〜図４（ｅ）は、被写体切り抜き処理に係る画像Pa1〜Panの一例を模式的に示す図であり、図５（ａ）〜図５（ｅ）は、被写体切り抜き処理に係る被写体切り抜き画像Pb1〜Pbnの一例を模式的に示す図である。 Next, the subject clipping process performed by the imaging apparatus 100 will be described with reference to FIGS.
FIG. 3 is a flowchart illustrating an example of an operation related to the subject clipping process. FIGS. 4A to 4E are diagrams schematically showing an example of images Pa1 to Pan related to the subject clipping process, and FIGS. 5A to 5E are subject clippings. It is a figure which shows typically an example of the to-be-photographed object image Pb1-Pbn which concerns on a process.

被写体切り抜き処理は、ユーザによる操作入力部１２の選択決定用ボタン（図示略）の所定操作に基づいて、メニュー画面に表示された複数の撮像モードの中から被写体切り抜きモードが選択指示された場合に実行される処理である。
なお、以下に説明する被写体切り抜き処理にあっては、画像Paとして被写体Ｓを所定の撮像フレームレートで連続して撮像して複数の画像Pa1〜Panを生成し、当該複数の画像Pa1〜Panから被写体領域が抽出された複数の被写体切り抜き画像Pb1〜Pbnを生成するものとする。 The subject clipping process is performed when a subject clipping mode is selected from a plurality of imaging modes displayed on the menu screen based on a predetermined operation of a selection decision button (not shown) of the operation input unit 12 by the user. It is a process to be executed.
In the subject clipping process described below, the subject S is continuously captured as the image Pa at a predetermined imaging frame rate to generate a plurality of images Pa1 to Pan, and the plurality of images Pa1 to Pan are generated. A plurality of subject cutout images Pb1 to Pbn from which subject areas have been extracted are generated.

図２に示すように、先ず、表示制御部１０は、撮像部１及び撮像制御部２による被写体Ｓの撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示部１１の表示画面に表示させるとともに、当該ライブビュー画像に重畳させて、画像Paの撮像指示メッセージを表示部１１の表示画面に表示させる（ステップＳ１）。   As shown in FIG. 2, first, the display control unit 10 displays a live view image on the display screen of the display unit 11 based on a plurality of image frames generated by imaging the subject S by the imaging unit 1 and the imaging control unit 2. In addition to the display, the imaging instruction message of the image Pa is displayed on the display screen of the display unit 11 so as to be superimposed on the live view image (step S1).

次に、中央制御部１３は、ユーザによる操作入力部１２のシャッタボタン（図示略）の所定操作に基づいて撮像指示が入力されたか否かを判定する（ステップＳ２）。ここで、撮像指示が入力されたと判定されると（ステップＳ２；ＹＥＳ）、撮像制御部２は、フォーカスレンズの合焦位置や露出条件（シャッター速度、絞り、増幅率等）やホワイトバランス等の条件を調整して、画像Pa1〜Pan（図４（ａ）〜図４（ｅ）参照）の光学像を所定の条件で電子撮像部１ｂ１に所定の撮像フレームレートで撮像させて、画像データ生成部３は、電子撮像部１ｂ１から転送された複数の画像Pa1〜Panの各々のＹＵＶデータを生成する（ステップＳ３）。なお、当該画像PaのＹＵＶデータは、メモリ４に一時記憶される。
また、撮像制御部２は、当該画像Pa1〜Panの撮像の際の合焦位置や露出条件やホワイトバランス等の条件を固定した状態を維持する。 Next, the central control unit 13 determines whether or not an imaging instruction has been input based on a predetermined operation of a shutter button (not shown) of the operation input unit 12 by the user (step S2). If it is determined that an imaging instruction has been input (step S2; YES), the imaging control unit 2 determines the focus lens focus position, exposure conditions (shutter speed, aperture, amplification factor, etc.), white balance, and the like. The image data generation is performed by adjusting the conditions and causing the electronic imaging unit 1b1 to capture the optical images of the images Pa1 to Pan (see FIGS. 4A to 4E) at a predetermined imaging frame rate under the predetermined conditions. The unit 3 generates YUV data for each of the plurality of images Pa1 to Pan transferred from the electronic imaging unit 1b1 (step S3). Note that the YUV data of the image Pa is temporarily stored in the memory 4.
Further, the imaging control unit 2 maintains a state in which conditions such as a focus position, an exposure condition, and a white balance at the time of imaging the images Pa1 to Pan are fixed.

そして、表示制御部１０は、撮像部１及び撮像制御部２による被写体Ｓの撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示部１１の表示画面に表示させるとともに、当該ライブビュー画像に重畳させて、何れか一の画像Pa（例えば、最初に撮像された画像Pa1等）の半透過の表示態様の画像と当該被写体Ｓを撮像画角から除き、撮影画角及び撮影条件を維持したままで再撮影の指示メッセージを表示部１１の表示画面に表示させる（ステップＳ４）。
この後、中央制御部１３は、ユーザによる操作入力部１２のシャッタボタンの所定操作に基づいて指示が入力されたか否かを判定する（ステップＳ５）。そして、ユーザは、被写体Ｓが移動するのを待つか、或いは、被写体Ｓを撮像画角外に移動させた後、ユーザにより画像Paの半透過の画像と重なるようにカメラ位置が調整されて、操作入力部１２のシャッタボタンが所定操作されて指示が入力されたと判定されると（ステップＳ５；ＹＥＳ）、撮像制御部２は、光学像を画像Pa1〜Panの撮像後に固定された条件で電子撮像部１ｂ１に撮像させて、画像データ生成部３は、電子撮像部１ｂ１から転送された画像に基づいて、画像のＹＵＶデータを生成する（ステップＳ６）。なお、当該画像のＹＵＶデータは、メモリ４に一時記憶される。 Then, the display control unit 10 displays a live view image on the display screen of the display unit 11 based on a plurality of image frames generated by the imaging of the subject S by the imaging unit 1 and the imaging control unit 2, and the live view The image of the semi-transparent display mode of any one image Pa (for example, the first image Pa1 taken) and the subject S are superposed on the image, and the shooting angle of view and shooting conditions are set. While being maintained, a re-shooting instruction message is displayed on the display screen of the display unit 11 (step S4).
Thereafter, the central control unit 13 determines whether or not an instruction is input based on a predetermined operation of the shutter button of the operation input unit 12 by the user (step S5). Then, the user waits for the subject S to move, or after moving the subject S outside the imaging angle of view, the user adjusts the camera position so as to overlap the semi-transparent image of the image Pa. When it is determined that the shutter button of the operation input unit 12 has been operated for a predetermined time and an instruction has been input (step S5; YES), the imaging control unit 2 electronically captures the optical image under conditions fixed after imaging the images Pa1 to Pan. The image data generation unit 3 generates YUV data of an image based on the image transferred from the electronic imaging unit 1b1 by causing the imaging unit 1b1 to capture an image (step S6). Note that the YUV data of the image is temporarily stored in the memory 4.

次に、中央制御部１３は、特徴量演算部５、ブロックマッチング部６及び画像処理部７に、メモリ４に一時記憶されている画像のＹＵＶデータを基準として、複数の画像Pa1〜Panの各々のＹＵＶデータを射影変換させるための射影変換行列を所定の画像変換モデル（例えば、相似変換モデル、或いは合同変換モデル）でそれぞれ算出させる（ステップＳ７）。
具体的には、特徴量演算部５は、ステップＳ６にて撮影された画像のＹＵＶデータに基づいて、所定数（或いは、所定数以上)の特徴の高いブロック領域（特徴点）を選択して、当該ブロックの内容をテンプレートとして抽出する。そして、ブロックマッチング部６は、特徴抽出処理にて抽出されたテンプレートの画素値が最適にマッチする位置を一の画像Pa（例えば、最初に撮像された一番目の画像Pa1等）内にて探索して、画素値の相違度の評価値が最も良かったステップＳ６にて撮影された画像と当該画像Pa間の最適なオフセットを当該テンプレートの動きベクトルとして算出する。そして、画像処理部７の位置合わせ部７ａは、ブロックマッチング部６により算出された複数のテンプレートの動きベクトルに基づいて全体の動きベクトルを統計的に算出し、当該動きベクトルに係る特徴点対応を用いて画像Paの射影変換行列を算出する。
上記の処理が複数の画像Pa1〜Panの各々について行われることで、当該複数の画像Pa1〜Panの各々の射影変換行列が算出される。 Next, the central control unit 13 uses the YUV data of the image temporarily stored in the memory 4 in the feature amount calculation unit 5, the block matching unit 6, and the image processing unit 7. Projection transformation matrices for projective transformation of the YUV data are calculated using a predetermined image transformation model (for example, a similarity transformation model or a joint transformation model) (step S7).
Specifically, the feature amount calculation unit 5 selects a predetermined number (or more than a predetermined number) of highly featured block regions (feature points) based on the YUV data of the image captured in step S6. The contents of the block are extracted as a template. Then, the block matching unit 6 searches the position where the pixel value of the template extracted by the feature extraction process is optimally matched in one image Pa (for example, the first image Pa1 captured first). Then, the optimum offset between the image taken in step S6 where the evaluation value of the degree of difference between the pixel values is the best and the image Pa is calculated as the motion vector of the template. Then, the alignment unit 7a of the image processing unit 7 statistically calculates the entire motion vector based on the motion vectors of the plurality of templates calculated by the block matching unit 6, and performs the feature point correspondence related to the motion vector. Using this, the projective transformation matrix of the image Pa is calculated.
By performing the above processing for each of the plurality of images Pa1 to Pan, a projective transformation matrix for each of the plurality of images Pa1 to Pan is calculated.

次に、中央制御部１３は、位置合わせ部７ａに、複数の画像Pa1〜Panの各々を射影変換させる（ステップＳ８）。具体的には、位置合わせ部７ａは、一の画像Pa（例えば、最初に撮像された一番目の画像Pa1等）について算出された射影変換行例に基づいて当該画像Paを射影変換することで、当該画像PaのＹＵＶデータとステップＳ６にて撮影された画像のＹＵＶデータとを位置合わせする処理を行う。
上記の処理が複数の画像Pa1〜Panの各々について行われることで、当該複数の画像Pa1〜Panの各々が射影変換される。 Next, the central control unit 13 causes the alignment unit 7a to projectively transform each of the plurality of images Pa1 to Pan (step S8). Specifically, the alignment unit 7a performs projective transformation on the image Pa based on a projective transformation example calculated for one image Pa (for example, the first image Pa1 captured first). Then, a process of aligning the YUV data of the image Pa and the YUV data of the image taken in step S6 is performed.
By performing the above processing for each of the plurality of images Pa1 to Pan, each of the plurality of images Pa1 to Pan is projectively transformed.

そして、中央制御部１３は、画像処理部７の被写体領域抽出部７ｂに、複数の画像Pa1〜Panの各々から被写体Ｓが含まれる被写体領域を抽出する処理を行わせる（ステップＳ９）。
具体的には、被写体領域抽出部７ｂは、一の画像Pa（例えば、最初に撮像された一番目の画像Pa1等）のＹＵＶデータとステップＳ６にて撮影された画像のＹＵＶデータの各々に対してローパスフィルタをかけて各画像の高周波成分を除去する。その後、被写体領域抽出部７ｂは、ローパスフィルタをかけた画像PaとステップＳ６にて撮影された画像との間で対応する各画素について相違度を算出して相違度マップを生成する。続けて、被写体領域抽出部７ｂは、各画素に係る相違度マップを所定の閾値で２値化した後、相違度マップから細かいノイズや手ぶれにより相違が生じた領域を除去するために収縮処理を行う。その後、被写体領域抽出部７ｂは、ラベリング処理を行って、所定値以下の領域や最大領域以外の領域を除去した後、一番大きな島のパターンを被写体領域として特定し、収縮分を修正するための膨張処理を行う。
上記の処理が複数の画像Pa1〜Panの各々について行われることで、当該複数の画像Pa1〜Panの各々から被写体領域が抽出される。 Then, the central control unit 13 causes the subject region extraction unit 7b of the image processing unit 7 to perform processing for extracting a subject region including the subject S from each of the plurality of images Pa1 to Pan (step S9).
Specifically, the subject region extraction unit 7b applies to each of the YUV data of one image Pa (for example, the first image Pa1 captured first) and the YUV data of the image captured in step S6. Apply a low-pass filter to remove high-frequency components from each image. Thereafter, the subject area extraction unit 7b calculates a difference for each corresponding pixel between the image Pa on which the low-pass filter has been applied and the image captured in step S6, and generates a difference map. Subsequently, the subject region extraction unit 7b binarizes the dissimilarity map relating to each pixel with a predetermined threshold value, and then performs a contraction process to remove a region in which the dissimilarity is caused by fine noise or camera shake from the dissimilarity map. Do. Thereafter, the subject region extraction unit 7b performs a labeling process to remove a region below a predetermined value or a region other than the maximum region, and then specifies the largest island pattern as a subject region and corrects the contraction. The expansion process is performed.
By performing the above processing for each of the plurality of images Pa1 to Pan, a subject area is extracted from each of the plurality of images Pa1 to Pan.

次に、中央制御部１３は、画像処理部７の位置情報生成部７ｃに、複数の画像Pa1〜Pan内での被写体領域の位置を示すアルファマップを生成させる（ステップＳ１０）。
具体的には、位置情報生成部７ｃは、一の画像Pa（例えば、最初に撮像された一番目の画像Pa1等）内で抽出された被写体領域の位置を特定して、当該画像Paにおける被写体領域の位置を示すアルファマップを生成する。
上記の処理が複数の画像Pa1〜Panの各々について行われることで、当該複数の画像Pa1〜Panについてアルファマップが生成される。 Next, the central control unit 13 causes the position information generation unit 7c of the image processing unit 7 to generate an alpha map indicating the positions of the subject areas in the plurality of images Pa1 to Pan (step S10).
Specifically, the position information generation unit 7c specifies the position of the subject area extracted in one image Pa (for example, the first image Pa1 captured first), and the subject in the image Pa Generate an alpha map that shows the location of the region.
The above processing is performed for each of the plurality of images Pa1 to Pan, so that an alpha map is generated for the plurality of images Pa1 to Pan.

その後、中央制御部１３は、画像処理部７の切抜画像生成部７ｄに、被写体領域を非透過とした被写体切り抜き画像Pb1〜Pbn（図５（ａ）〜図５（ｅ）参照）の画像データをそれぞれ生成する処理を行わせる（ステップＳ１１）。
具体的には、切抜画像生成部７ｄは、一の画像Pa（例えば、最初に撮像された一番目の画像Pa1等）、アルファマップを読み出してメモリ４に展開した後、画像Paの全ての画素について、アルファ値が０の画素については（α＝０）、透過させ、アルファ値が１の画素については（α＝１）、透過させないようにする。
上記の処理が複数の画像Pa1〜Panの各々について行われることで、複数の被写体切り抜き画像Pb1〜Pbnが生成される。 Thereafter, the central control unit 13 causes the clipped image generation unit 7d of the image processing unit 7 to send the image data of the subject clipped images Pb1 to Pbn (see FIGS. 5A to 5E) with the subject region being non-transparent. Is generated (step S11).
Specifically, the cut-out image generation unit 7d reads out one image Pa (for example, the first image Pa1 captured first) and the alpha map and develops them in the memory 4, and then all the pixels of the image Pa. For pixels with an alpha value of 0 (α = 0), they are transmitted, and for pixels with an alpha value of 1 (α = 1), they are not transmitted.
By performing the above processing for each of the plurality of images Pa1 to Pan, a plurality of subject cut-out images Pb1 to Pbn are generated.

その後、記録制御部９は、記録媒体Ｍの所定の記録領域に、複数の被写体切り抜き画像Pb1〜Pbnの画像データと各アルファマップとを対応付けて一ファイルで記録させる（ステップＳ１２）。
これにより、被写体切り抜き処理を終了する。この結果、例えば、所定の背景内から雪上をソリで滑る人が被写体Ｓとして抽出された複数の被写体切り抜き画像Pb1〜Pbnの画像データが生成される。 Thereafter, the recording control unit 9 records the image data of the plurality of subject cut-out images Pb1 to Pbn and the respective alpha maps in a predetermined recording area of the recording medium M in a single file (step S12).
Thereby, the subject clipping process is completed. As a result, for example, image data of a plurality of subject cutout images Pb1 to Pbn in which a person who slides on a snow with a sled from a predetermined background is extracted as the subject S is generated.

次に、撮像装置１００による背景画像生成処理について、図６を参照して説明する。
図６は、背景画像生成処理に係る動作の一例を示すフローチャートである。
背景画像生成処理は、通常の静止画像の撮像処理であり、ユーザによる操作入力部１２の選択決定ボタンの所定操作に基づいて、メニュー画面に表示された複数の撮像モードの中から静止画撮像モードが選択指示された場合に実行される処理である。 Next, background image generation processing by the imaging apparatus 100 will be described with reference to FIG.
FIG. 6 is a flowchart illustrating an example of an operation related to the background image generation process.
The background image generation process is a normal still image imaging process, and a still image imaging mode is selected from a plurality of imaging modes displayed on the menu screen based on a predetermined operation of the selection determination button of the operation input unit 12 by the user. Is a process executed when a selection instruction is given.

図６に示すように、先ず、表示制御部１０は、撮像撮像部１及び撮像制御部２による背景画像Pc（図９（ａ）等参照）の撮像により生成された複数の画像データに基づいてライブビュー画像を表示部１１の表示画面に表示させる（ステップＳ２１）。   As shown in FIG. 6, first, the display control unit 10 is based on a plurality of image data generated by imaging a background image Pc (see FIG. 9A) by the imaging imaging unit 1 and the imaging control unit 2. The live view image is displayed on the display screen of the display unit 11 (step S21).

次に、中央制御部１３は、ユーザによる操作入力部１２のシャッタボタンの所定操作に基づいて撮像指示が入力されたか否かを判定する（ステップＳ２２）。ここで、撮像指示が入力されたと判定されると（ステップＳ２２；ＹＥＳ）、撮像制御部２は、フォーカスレンズの合焦位置や露出条件（シャッター速度、絞り、増幅率等）やホワイトバランス等の条件を調整して、背景画像Pcの光学像を所定の条件で電子撮像部１ｂ１に撮像させる（ステップＳ２３）。   Next, the central control unit 13 determines whether or not an imaging instruction has been input based on a predetermined operation of the shutter button of the operation input unit 12 by the user (step S22). If it is determined that an imaging instruction has been input (step S22; YES), the imaging control unit 2 determines the focus lens focus position, exposure conditions (shutter speed, aperture, amplification factor, etc.), white balance, and the like. The conditions are adjusted, and the electronic image pickup unit 1b1 is caused to pick up an optical image of the background image Pc under a predetermined condition (step S23).

続けて、画像データ生成部３は、電子撮像部１ｂ１から転送された背景画像Pcの画像のＹＵＶデータを生成した後、記録制御部９は、記録媒体Ｍの所定の記憶領域に、背景画像PcのＹＵＶデータをＥｘｉｆ形式の画像ファイルＦとして記録させる（ステップＳ２４）。
これにより、背景画像生成処理を終了する。この結果、例えば、大きな木のある草原が記録された背景画像Pcの静止画像データが生成される。 Subsequently, after the image data generation unit 3 generates the YUV data of the background image Pc transferred from the electronic imaging unit 1b1, the recording control unit 9 stores the background image Pc in a predetermined storage area of the recording medium M. YUV data is recorded as an Exif format image file F (step S24).
Thereby, the background image generation process is terminated. As a result, for example, still image data of a background image Pc in which a meadow with large trees is recorded is generated.

次に、画像ファイル生成処理について図７〜図１０を参照して詳細に説明する。
図７は、画像ファイル生成処理に係る動作の一例を示すフローチャートである。
画像ファイル生成処理は、ユーザによる操作入力部１２の選択決定ボタンの所定操作に基づいて、メニュー画面に表示された複数のモードの中から画像合成モードが選択指示された場合に実行される処理である。 Next, the image file generation process will be described in detail with reference to FIGS.
FIG. 7 is a flowchart illustrating an example of an operation related to the image file generation process.
The image file generation process is a process executed when an image composition mode is selected from a plurality of modes displayed on the menu screen based on a predetermined operation of the selection determination button of the operation input unit 12 by the user. is there.

図７に示すように、中央制御部１３は、先ず、画像処理部７に合成画像生成処理（図８参照）を実行させる。
ここで、合成画像生成処理について図８及び図９を参照して説明する。
図８は、合成画像生成処理に係る動作の一例を示すフローチャートである。また、図９（ａ）〜図９（ｅ）は、被写体合成画像Pd1〜Pdnの一例を模式的に示す図である。 As shown in FIG. 7, the central control unit 13 first causes the image processing unit 7 to execute a composite image generation process (see FIG. 8).
Here, the composite image generation processing will be described with reference to FIGS.
FIG. 8 is a flowchart illustrating an example of an operation related to the composite image generation process. FIGS. 9A to 9E are diagrams schematically illustrating examples of subject composite images Pd1 to Pdn.

図８に示すように、ユーザによる操作入力部１２の所定操作に基づいて、記録媒体Ｍに記録されている複数の画像の中で合成画像の背景となる所望の背景画像Pc（図９（ａ）等参照）が選択して指定されると、画像処理部７は、指定された背景画像Pcの画像データを読み出してメモリ４に展開する（ステップＳ４１）。   As shown in FIG. 8, based on a predetermined operation of the operation input unit 12 by the user, a desired background image Pc (FIG. 9 (a) as a background of the composite image among a plurality of images recorded on the recording medium M. And the like) are selected and designated, the image processing unit 7 reads out the image data of the designated background image Pc and develops it in the memory 4 (step S41).

次に、画像合成部７ｆは、複数の被写体切り抜き画像Pb1〜Pbnのうち、処理対象に係る被写体切り抜き画像Pbの画像番号として「１」を指定すると（ステップＳ４２）、指定された画像番号「１」の被写体切り抜き画像Pb（例えば、最初に撮像された画像Pa1に対応する被写体切り抜き画像Pb1等）及び当該被写体切り抜き画像Pbと対応付けて保存されているアルファマップを読み出してメモリ４に展開する（ステップＳ４３）。
なお、画像番号は、例えば、画像Pa1〜Panの撮像順に被写体切り抜き画像Pb1〜Pbnに付されているものとする。 Next, when the image composition unit 7f designates “1” as the image number of the subject cutout image Pb related to the processing object among the plurality of subject cutout images Pb1 to Pbn (step S42), the designated image number “1” is designated. The subject cutout image Pb (for example, the subject cutout image Pb1 corresponding to the first image Pa1 taken) and the alpha map stored in association with the subject cutout image Pb are read out and developed in the memory 4 ( Step S43).
Note that the image numbers are assigned to the subject cut-out images Pb1 to Pbn in the order in which the images Pa1 to Pan are captured, for example.

次に、画像合成部７ｆは、背景画像Pcの何れか一の画素（例えば、左上隅部の画素）を指定して（ステップＳ４４）、当該画素について、アルファマップのアルファ値に基づいて処理を分岐させる（ステップＳ４５）。具体的には、画像合成部７ｆは、背景画像Pcの何れか一の画素のうち、アルファ値が１の画素については（ステップＳ４５；α＝１）、被写体切り抜き画像Pbの対応する画素の画素値で上書きし（ステップＳ４６）、アルファ値が０の画素については（ステップＳ４５；α＝０）、何もせずに背景画像Pcを透過させるようにする。   Next, the image composition unit 7f designates any one pixel (for example, the pixel at the upper left corner) of the background image Pc (step S44), and processes the pixel based on the alpha value of the alpha map. Branch (step S45). Specifically, the image composition unit 7f, for any one of the pixels of the background image Pc, for the pixel having an alpha value of 1 (step S45; α = 1), the pixel of the corresponding pixel of the subject cutout image Pb The value is overwritten (step S46), and for the pixel with an alpha value of 0 (step S45; α = 0), the background image Pc is transmitted without doing anything.

続けて、画像合成部７ｆは、背景画像Pcの全ての画素について処理したか否かを判定する（ステップＳ４７）。
ここで、全ての画素について処理していないと判定されると（ステップＳ４７；ＮＯ）、画像合成部７ｆは、処理対象として次の画素を指定して当該画素に処理対象を移動させて（ステップＳ４８）、処理をステップＳ４５に移行させる。
上記の処理を、ステップＳ４７にて全ての画素について処理したと判定されるまで繰り返すことで、画像合成部７ｆは、処理対象の被写体切り抜き画像Pbと背景画像Pcとを合成した１番目の被写体合成画像Pd1（図９（ａ）参照）を生成する。 Subsequently, the image composition unit 7f determines whether or not all the pixels of the background image Pc have been processed (step S47).
If it is determined that all the pixels have not been processed (step S47; NO), the image composition unit 7f designates the next pixel as the processing target and moves the processing target to the pixel (step S47). (S48), the process proceeds to step S45.
By repeating the above processing until it is determined in step S47 that all pixels have been processed, the image composition unit 7f combines the subject cut-out image Pb to be processed and the background image Pc with the first subject composition. An image Pd1 (see FIG. 9A) is generated.

そして、ステップＳ４７にて全ての画素について処理したと判定されると（ステップＳ４７；ＹＥＳ）、画像合成部７ｆは、複数の被写体切り抜き画像Pb1〜Pbnの全ての被写体切り抜き画像Pbについて処理したか否かを判定する（ステップＳ４９）。
ここで、全ての被写体切り抜き画像Pbについて処理していないと判定されると（ステップＳ４９；ＮＯ）、画像合成部７ｆは、複数の被写体切り抜き画像Pb1〜Pbnのうち、処理対象となる次の被写体切り抜き画像Pbに係る画像番号を＋１インクリメントして次の画像番号を指定する（ステップＳ５０）。これにより、例えば、２番目の被写体切り抜き画像Pb2が画像合成処理の対象として指定される。 If it is determined in step S47 that all pixels have been processed (step S47; YES), the image composition unit 7f has processed all the subject clipped images Pb of the plurality of subject clipped images Pb1 to Pbn. Is determined (step S49).
If it is determined that all the subject cutout images Pb have not been processed (step S49; NO), the image composition unit 7f selects the next subject to be processed among the plurality of subject cutout images Pb1 to Pbn. The image number related to the cut-out image Pb is incremented by 1 and the next image number is designated (step S50). Thereby, for example, the second subject cutout image Pb2 is designated as the target of the image composition process.

次に、画像合成部７ｆは、処理をステップＳ４３に移行させて、背景画像Pcの何れか一の画素（例えば、左上隅部の画素）を指定して、それ以降の処理（ステップＳ４４〜Ｓ４９）を行うことで、背景画像Pcと２番目の被写体切り抜き画像Pb2とを合成した２番目の被写体合成画像Pd2（図９（ｂ）参照）を生成する。
そして、２番目の被写体合成画像Pd2の生成が完了することによって、ステップＳ４８にて全ての画素について処理したと判定されると（ステップＳ４７；ＹＥＳ）、画像合成部７ｆは、複数の被写体切り抜き画像Pb1〜Pbnの全ての被写体切り抜き画像Pbについて処理したか否かを判定する（ステップＳ４９）。
上記の処理を、全ての被写体切り抜き画像Pbについて処理したと判定されるまで（ステップＳ４９；ＹＥＳ）、繰り返すことで、画像合成部７ｆは、複数の被写体合成画像Pd1〜Pdn（図９（ａ）〜図９（ｅ）参照）を生成し、合成画像生成処理を終了させる。 Next, the image composition unit 7f shifts the process to step S43, specifies any one pixel (for example, the pixel at the upper left corner) of the background image Pc, and performs the subsequent processes (steps S44 to S49). ) To generate a second subject composite image Pd2 (see FIG. 9B) in which the background image Pc and the second subject cutout image Pb2 are combined.
When the generation of the second subject composite image Pd2 is completed and it is determined in step S48 that all pixels have been processed (step S47; YES), the image composition unit 7f displays a plurality of subject cut-out images. It is determined whether or not all the subject cutout images Pb of Pb1 to Pbn have been processed (step S49).
By repeating the above process until it is determined that all the subject cutout images Pb have been processed (step S49; YES), the image composition unit 7f allows the plurality of subject composite images Pd1 to Pdn (FIG. 9A). To FIG. 9E), and the combined image generation process is terminated.

図７に示すように、次に、画像特定部７ｇは、複数の被写体切り抜き画像Pb1〜Pbnの中で、サムネイル画像Psの生成に用いられる被写体切り抜き画像Pbを特定する（ステップＳ３２）。
具体的には、画像特定部７ｇは、例えば、最初に撮像された画像Pa1に対応する被写体切り抜き画像Pb1（図５（ａ）参照）をサムネイル画像Psの生成に用いられる被写体切り抜き画像Pbとして特定する。また、例えば、画像特定部７ｇは、画像取得部７ｅにより取得された複数の被写体切り抜き画像Pb1〜Pbnの全てを特定したり、或いは、撮像タイミングが所定の間隔ずつ空けられた複数の画像Pa、…に対応する被写体切り抜き画像Pb、…（例えば、奇数番目の被写体切り抜き画像Pb1、Pb3；図５（ａ）、図５（ｃ）等参照）をそれぞれ特定する。また、例えば、画像特定部７ｇは、表示タイミングを異ならせて表示される第１サムネイル画像Ps4や第２サムネイル画像Ps5等に係る被写体切り抜き画像Pb（例えば、最初と最後の被写体切り抜き画像Pb1、Pbn；図５（ａ）、図５（ｅ）等参照）をそれぞれ特定する。 As shown in FIG. 7, next, the image specifying unit 7g specifies a subject cutout image Pb used for generating the thumbnail image Ps among the plurality of subject cutout images Pb1 to Pbn (step S32).
Specifically, for example, the image specifying unit 7g specifies the subject cutout image Pb1 (see FIG. 5A) corresponding to the first image Pa1 taken as the subject cutout image Pb used for generating the thumbnail image Ps. To do. Further, for example, the image specifying unit 7g specifies all of the plurality of subject cut-out images Pb1 to Pbn acquired by the image acquisition unit 7e, or a plurality of images Pa whose imaging timings are spaced by predetermined intervals, .. (For example, odd-numbered subject clipped images Pb1, Pb3; see FIG. 5A, FIG. 5C, etc.) are identified. In addition, for example, the image specifying unit 7g subjects cutout images Pb (for example, first and last subject cutout images Pb1 and Pbn) related to the first thumbnail image Ps4, the second thumbnail image Ps5, and the like displayed at different display timings. Respectively; see FIG. 5 (a), FIG. 5 (e), etc.).

続けて、ファイル生成部８は、画像特定部７ｇにより特定された被写体切り抜き画像Pbの識別用情報（例えば、最初に撮像された画像Pa1に対応する被写体切り抜き画像Pb1等）と、複数の被写体切り抜き画像Pb1〜Pbnと、所定の背景画像Pcと、サムネイル画像Psの生成指示とを対応づけて一の画像ファイルＦを生成する（ステップＳ３３）。
その後、記録制御部９は、ファイル生成部８により生成された一の画像ファイルＦ、即ち、切抜画像生成部７ｄにより生成された複数の被写体切り抜き画像Pb1〜Pbnと、所定の背景画像Pcと、識別用情報と、サムネイル画像Psの生成指示とが対応付けられた一の画像ファイルＦを記録媒体Ｍに記録させて（ステップＳ３４）、画像ファイル生成処理を終了する。 Subsequently, the file generation unit 8 identifies the subject cut-out image Pb specified by the image specifying unit 7g (for example, the subject cut-out image Pb1 corresponding to the first image Pa1 taken) and a plurality of subject cut-outs. The image Pb1 to Pbn, the predetermined background image Pc, and the generation instruction for the thumbnail image Ps are associated with each other to generate one image file F (step S33).
Thereafter, the recording control unit 9 includes one image file F generated by the file generation unit 8, that is, a plurality of subject cutout images Pb1 to Pbn generated by the cutout image generation unit 7d, a predetermined background image Pc, One image file F in which the identification information is associated with the instruction to generate the thumbnail image Ps is recorded on the recording medium M (step S34), and the image file generation process is terminated.

以上のように、本実施形態の撮像装置１００によれば、複数の被写体切り抜き画像Pb1〜Pbnの中で、複数の被写体合成画像Pd1〜Pdnを代表する代表画像（例えば、サムネイル画像）の生成に用いられる被写体切り抜き画像Pbを所定条件に基づいて特定し、特定された被写体切り抜き画像Pbの識別用情報と、複数の被写体切り抜き画像Pb1〜Pbnと、所定の背景画像Pcと、代表画像（サムネイル画像Ps）の生成指示とを対応付けて記録媒体Ｍに記録させるので、当該撮像装置１００以外の他の外部機器（図示略）を用いて、専用のアプリケーションなどを必要とすることなく複数の被写体合成画像Pd1〜Pdnを代表する代表画像の表示を適正に行うことができる。即ち、代表画像の生成に用いられる被写体切り抜き画像Pbの識別用情報を用いて、当該被写体切り抜き画像Pbと背景画像Pcとを合成した被写体合成画像Pdの代表画像Psを外部機器の表示部に表示させることができる。   As described above, according to the imaging apparatus 100 of the present embodiment, among the plurality of subject cut-out images Pb1 to Pbn, representative images (for example, thumbnail images) that represent the plurality of subject composite images Pd1 to Pdn are generated. The subject cut-out image Pb to be used is specified based on a predetermined condition, information for identifying the specified subject cut-out image Pb, a plurality of subject cut-out images Pb1 to Pbn, a predetermined background image Pc, and a representative image (thumbnail image) Ps) is recorded on the recording medium M in association with each other, so that a plurality of subjects can be synthesized using an external device (not shown) other than the imaging apparatus 100 without requiring a dedicated application. Display of representative images representing the images Pd1 to Pdn can be performed appropriately. That is, using the identification information of the subject cutout image Pb used for generating the representative image, the representative image Ps of the subject composite image Pd obtained by combining the subject cutout image Pb and the background image Pc is displayed on the display unit of the external device. Can be made.

具体的には、代表画像の生成に用いられる被写体切り抜き画像Pbの識別用情報と、複数の被写体切り抜き画像Pb1〜Pbnと、所定の背景画像Pcと、代表画像の生成指示とを含む一の画像ファイルＦを生成するので、画像ファイルＦの取り扱いの自由度を高めることができ、これにより、当該画像ファイルＦ自体を外部機器に転送し当該外部機器を用いて、複数の被写体合成画像Pd1〜Pdnを代表する代表画像の表示を適正に行うことができる。   Specifically, one image including information for identifying the subject cutout image Pb used for generating the representative image, a plurality of subject cutout images Pb1 to Pbn, a predetermined background image Pc, and a representative image generation instruction Since the file F is generated, the degree of freedom in handling the image file F can be increased, whereby the image file F itself is transferred to an external device, and a plurality of subject composite images Pd1 to Pdn are used by using the external device. It is possible to appropriately display a representative image representing the.

また、代表画像の生成に用いられる被写体切り抜き画像Pbとして、複数の被写体切り抜き画像Pb1〜Pbnの中で、最初に撮像された画像Pa1に対応する被写体切り抜き画像Pb1が特定されることで、最初の被写体切り抜き画像Pb1の被写体画像Ｇと所定の背景画像Pcとが合成された被写体合成画像Pd1のサムネイル画像Ps1（図１０（ａ）参照）を生成して外部機器に表示させることができる。   Further, as the subject cutout image Pb used for generating the representative image, the subject cutout image Pb1 corresponding to the first image Pa1 picked up among the plurality of subject cutout images Pb1 to Pbn is specified, so that the first A thumbnail image Ps1 (see FIG. 10A) of the subject composite image Pd1 in which the subject image G of the subject cutout image Pb1 and the predetermined background image Pc are combined can be generated and displayed on an external device.

また、代表画像の生成に用いられる被写体切り抜き画像Pbとして、複数の被写体切り抜き画像Pb1〜Pbnの全てが特定されることで、複数の被写体切り抜き画像Pb1〜Pbnの全ての被写体画像Ｇと所定の背景画像Pcとが合成された被写体合成画像Pdのサムネイル画像Ps2（図１０（ｂ）参照）を生成して外部機器に表示させることができる。さらに、代表画像の生成に用いられる被写体切り抜き画像Pbとして複数の被写体切り抜き画像Pb1〜Pbnの中で、撮像タイミングが所定の間隔ずつ空けられた複数の被写体切り抜き画像Pb、…が特定されることで、当該複数の被写体切り抜き画像Pb、…の全ての被写体画像Ｇと所定の背景画像Pcとが合成された被写体合成画像Pdのサムネイル画像Ps3（図１０（ｃ）参照）を生成して外部機器に表示させることができる。
なお、複数の被写体切り抜き画像Pb、…を所定の背景画像Pcと合成する場合には、撮像タイミングがより新しい画像Paに対応する被写体切り抜き画像Pbが手前側に表示される（図１０（ｂ）等参照）。 Also, by specifying all of the plurality of subject cutout images Pb1 to Pbn as the subject cutout image Pb used for generating the representative image, all the subject images G and the predetermined background of the plurality of subject cutout images Pb1 to Pbn are specified. A thumbnail image Ps2 (see FIG. 10B) of the subject composite image Pd combined with the image Pc can be generated and displayed on the external device. Further, by specifying a plurality of subject cut images Pb,... With imaging timings spaced by a predetermined interval among the plurality of subject cut images Pb1 to Pbn as the subject cut images Pb used for generating the representative image. A thumbnail image Ps3 (see FIG. 10C) of the subject composite image Pd in which all the subject images G of the plurality of subject cut-out images Pb,... And the predetermined background image Pc are combined and generated in the external device. Can be displayed.
When a plurality of subject cutout images Pb,... Are combined with a predetermined background image Pc, a subject cutout image Pb corresponding to an image Pa with a newer imaging timing is displayed on the front side (FIG. 10B). Etc.).

また、代表画像の生成に用いられる被写体切り抜き画像Pbとして、複数の被写体切り抜き画像Pb1〜Pbnの中で、一の被写体切り抜き画像Pb（例えば、最初の被写体切り抜き画像Pb1等）と、当該一の被写体切り抜き画像Pbに基づく第１サムネイル画像の表示後に新たに表示される第２サムネイル画像の生成に用いられる一の被写体切り抜き画像と異なる被写体切り抜き画像（例えば、最後の被写体切り抜き画像Pbn等）とが特定されることで、一の被写体切り抜き画像Pbの被写体画像Ｇと所定の背景画像Pcとが合成された被写体合成画像Pdの第１サムネイル画像Ps4（図１０（ｄ）参照）や、例えば、当該第１サムネイル画像Ps4の表示後に所定時間の経過やユーザからの他のサムネイル画像Psの表示指示に基づいて、一の被写体切り抜き画像Pbと異なる被写体切り抜き画像Pbの被写体画像Ｇと所定の背景画像Pcとが合成された被写体合成画像Pdの第２サムネイル画像Ps5（図１０（ｅ）参照）等を生成して外部機器に表示させることができる。   Further, as the subject cutout image Pb used for generating the representative image, among the plurality of subject cutout images Pb1 to Pbn, one subject cutout image Pb (for example, the first subject cutout image Pb1) and the one subject A subject cut-out image (for example, the last subject cut-out image Pbn, etc.) that is different from one subject cut-out image used to generate a second thumbnail image that is newly displayed after the display of the first thumbnail image based on the cut-out image Pb is specified As a result, the first thumbnail image Ps4 (see FIG. 10D) of the subject composite image Pd in which the subject image G of the one subject cutout image Pb and the predetermined background image Pc are combined, for example, the first Based on the elapse of a predetermined time after the display of one thumbnail image Ps4 and the display instruction of another thumbnail image Ps from the user, a subject different from the one subject cutout image Pb A second thumbnail image Ps5 (see FIG. 10E) of the subject composite image Pd in which the subject image G of the body cutout image Pb and a predetermined background image Pc are combined can be generated and displayed on an external device. .

また、複数の画像Pa1〜Panを撮像して、当該複数の画像Pa1〜Panから被写体領域をそれぞれ抽出し、抽出された被写体領域の被写体画像Ｇの各々と所定の単一色の背景画像とを合成して複数の被写体切り抜き画像Pb1〜Pbnを生成するので、当該撮像装置１００を用いて生成された複数の被写体切り抜き画像の中で、複数の被写体合成画像Pd1〜Pdnを代表する代表画像の生成に用いられる被写体切り抜き画像Pbを所定条件に基づいて特定することができる。そして、特定された被写体切り抜き画像Pbの識別用情報と、複数の被写体切り抜き画像Pb1〜Pbnと、所定の背景画像Pcと、サムネイル画像Psの生成指示とを対応付けて記録媒体Ｍに記録させておくので、代表画像の生成に用いられる被写体切り抜き画像Pbの識別用情報を用いて、当該被写体切り抜き画像Pbと背景画像Pcとを合成した被写体合成画像Pdの代表画像Psを外部機器の表示部に表示させることができる。   In addition, a plurality of images Pa1 to Pan are captured, subject areas are extracted from the plurality of images Pa1 to Pan, and each of the subject images G of the extracted subject areas is synthesized with a predetermined single color background image. Thus, a plurality of subject clipped images Pb1 to Pbn are generated, so that a representative image representative of the plurality of subject composite images Pd1 to Pdn among the plurality of subject clipped images generated using the imaging device 100 is generated. The subject clipped image Pb to be used can be specified based on a predetermined condition. Then, the identification information of the identified subject clipped image Pb, the plurality of subject clipped images Pb1 to Pbn, the predetermined background image Pc, and the generation instruction of the thumbnail image Ps are associated with each other and recorded on the recording medium M. Therefore, using the identification information of the subject cutout image Pb used for generating the representative image, the representative image Ps of the subject composite image Pd obtained by combining the subject cutout image Pb and the background image Pc is displayed on the display unit of the external device. Can be displayed.

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、複数の被写体合成画像Pd1〜Pdnを代表する代表画像として、所定の被写体合成画像Pdを所定の比率で縮小したサムネイル画像Psを例示したが、一例であってこれに限られるものではなく、代表画像の寸法などは適宜任意に変更可能である。 The present invention is not limited to the above-described embodiment, and various improvements and design changes may be made without departing from the spirit of the present invention.
For example, as a representative image representing the plurality of subject composite images Pd1 to Pdn, the thumbnail image Ps obtained by reducing the predetermined subject composite image Pd at a predetermined ratio is illustrated, but the example is not limited thereto. The dimensions and the like of the representative image can be arbitrarily changed as appropriate.

さらに、上記実施形態にあっては、ファイル生成部８により生成された画像ファイルＦを記録媒体Ｍに記録させるようにしたが、これに限られるものではなく、画像特定部７ｇにより特定された被写体切り抜き画像Pbの識別用情報と、複数の被写体切り抜き画像Pb1〜Pbnと、所定の背景画像Pcと、サムネイル画像Psの生成指示とを対応付けて記録媒体Ｍに記録させる構成であれば如何なる構成であっても良い。   Furthermore, in the above embodiment, the image file F generated by the file generation unit 8 is recorded on the recording medium M. However, the present invention is not limited to this, and the subject specified by the image specifying unit 7g Any configuration can be used as long as the information for identifying the clipped image Pb, the plurality of clipped images Pb1 to Pbn, the predetermined background image Pc, and the instruction for generating the thumbnail image Ps are associated with each other and recorded on the recording medium M. There may be.

また、撮像装置１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。例えば、被写体切り抜き画像Pbは、当該撮像装置１００とは異なる外部装置（図示略）で生成し、外部装置から所定の通信回線を介して送信されることで当該撮像装置１００が取得して画像ファイル生成処理を実行する構成としても良い。
さらに、被写体切り抜き画像Pbの生成方法、即ち、被写体領域の抽出方法として例示したものは一例であってこれに限られるものではなく、適宜任意に変更可能である。 In addition, the configuration of the imaging apparatus 100 is merely an example illustrated in the above embodiment, and is not limited thereto. For example, the subject cut-out image Pb is generated by an external device (not shown) different from the imaging device 100, and is transmitted from the external device via a predetermined communication line, so that the imaging device 100 acquires the image file. It is good also as a structure which performs a production | generation process.
Furthermore, the method for generating the subject cutout image Pb, that is, the method for extracting the subject region is merely an example, and the present invention is not limited to this, and can be arbitrarily changed as appropriate.

加えて、上記実施形態にあっては、取得手段、合成手段、特定手段、記録制御手段としての機能を、中央制御部１３の制御下にて、画像取得部７ｅ、画像合成部７ｆ、画像特定部７ｇ、記録制御部９が駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１３によって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、取得処理ルーチン、合成処理ルーチン、特定処理ルーチン、記録制御ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンにより中央制御部１３のＣＰＵを、連続して撮像された背景内に被写体Ｓが存在する複数の画像Pa1〜Panから被写体Ｓが含まれる被写体領域が抽出された複数の被写体切り抜き画像Pb1〜Pbnを取得する取得手段として機能させるようにしても良い。また、合成処理ルーチンにより中央制御部１３のＣＰＵを、取得手段により取得された複数の被写体切り抜き画像Pb1〜Pbnの被写体領域の被写体画像Ｇと所定の背景画像Pcとを合成して複数の被写体合成画像Pd1〜Pdnを生成する合成手段として機能させるようにしても良い。また、特定処理ルーチンにより中央制御部１３のＣＰＵを、複数の被写体切り抜き画像Pb1〜Pbnの中で、合成手段により生成される複数の被写体合成画像Pd1〜Pdnを代表する代表画像の生成に用いられる被写体切り抜き画像Pbを所定条件に基づいて特定する特定手段として機能させるようにしても良い。また、記録制御処理ルーチンにより中央制御部１３のＣＰＵを、特定手段により特定された被写体切り抜き画像Pbの識別用情報と、取得手段により取得された複数の被写体切り抜き画像Pb1〜Pbnと、所定の背景画像Pcと、代表画像の生成指示とを対応付けて記録媒体Ｍに記録させる記録制御手段として機能させるようにしても良い。 In addition, in the above-described embodiment, the functions as the acquisition unit, the synthesis unit, the identification unit, and the recording control unit are controlled under the control of the central control unit 13, and the image acquisition unit 7e, the image synthesis unit 7f, The configuration is realized by driving the unit 7g and the recording control unit 9. However, the configuration is not limited to this, and the configuration may be realized by executing a predetermined program or the like by the central control unit 13. .
That is, a program memory (not shown) that stores a program stores a program including an acquisition processing routine, a synthesis processing routine, a specific processing routine, and a recording control routine. Then, by the acquisition processing routine, the CPU of the central control unit 13 causes the subject area including the subject S to be extracted from the plurality of images Pa1 to Pan in which the subject S exists in the continuously captured background. You may make it function as an acquisition means which acquires image Pb1-Pbn. Further, the CPU of the central control unit 13 combines the subject images G of the subject regions of the plurality of clipped images Pb1 to Pbn acquired by the acquisition unit and the predetermined background image Pc by the combining processing routine to combine a plurality of subjects. You may make it function as a synthetic | combination means which produces | generates image Pd1-Pdn. In addition, the CPU of the central control unit 13 is used to generate a representative image representing the plurality of subject composite images Pd1 to Pdn generated by the combining unit among the plurality of subject cutout images Pb1 to Pbn by the specific processing routine. The subject clipped image Pb may be made to function as a specifying unit that specifies based on a predetermined condition. In addition, the CPU of the central control unit 13 causes the CPU of the central control unit 13 to identify the subject clipped image Pb specified by the specifying unit, the plurality of subject clipped images Pb1 to Pbn acquired by the acquiring unit, and a predetermined background. The image Pc and the representative image generation instruction may be associated with each other and function as recording control means for recording on the recording medium M.

さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。   Furthermore, as a computer-readable medium storing a program for executing each of the above processes, a non-volatile memory such as a flash memory or a portable recording medium such as a CD-ROM is applied in addition to a ROM or a hard disk. Is also possible. A carrier wave is also used as a medium for providing program data via a predetermined communication line.

１００ 撮像装置
１ 撮像部
７ 画像処理部
７ｂ 被写体領域抽出部
７ｄ 切抜画像生成部
７ｅ 画像取得部
７ｆ 画像合成部
７ｇ 画像特定部
８ ファイル生成部
９ 記録制御部
１０ 表示制御部
１１ 表示部
Ｍ 記録媒体 DESCRIPTION OF SYMBOLS 100 Imaging device 1 Imaging part 7 Image processing part 7b Subject area extraction part 7d Cutout image generation part 7e Image acquisition part 7f Image composition part 7g Image specification part 8 File generation part 9 Recording control part 10 Display control part 11 Display part M Recording medium

Claims (8)

連続して撮像された背景内に被写体が存在する複数の被写体存在画像から被写体が含まれる被写体領域が抽出された複数の被写体切り抜き画像を取得する取得手段と、
この取得手段により取得された前記複数の被写体切り抜き画像の前記被写体領域の被写体画像と所定の背景画像とを合成して複数の被写体合成画像を生成する合成手段と、
前記複数の被写体切り抜き画像の中で、前記合成手段により生成される前記複数の被写体合成画像を代表する代表画像の生成に用いられる被写体切り抜き画像を所定条件に基づいて特定する特定手段と、
この特定手段により特定された前記被写体切り抜き画像の識別用情報と、前記取得手段により取得された前記複数の被写体切り抜き画像と、前記所定の背景画像と、前記代表画像の生成指示とを対応付けて記録媒体に記録させる記録制御手段と、
を備えたことを特徴とする画像処理装置。 Acquisition means for acquiring a plurality of subject clipped images in which a subject region including a subject is extracted from a plurality of subject presence images in which the subject is present in a continuously captured background;
Synthesizing means for synthesizing a subject image of the subject area of the plurality of subject cut-out images acquired by the acquiring unit and a predetermined background image to generate a plurality of subject composite images;
A specifying unit that specifies a subject cut-out image used for generating a representative image representing the plurality of subject composite images generated by the combining unit among the plurality of subject cut-out images based on a predetermined condition;
The identification information of the subject clipped image specified by the specifying means, the plurality of subject cutout images acquired by the acquiring means, the predetermined background image, and the representative image generation instruction are associated with each other. Recording control means for recording on a recording medium;
An image processing apparatus comprising: 前記識別用情報と、前記複数の被写体切り抜き画像と、前記所定の背景画像とを含む一の画像ファイルを生成するファイル生成手段を備え、
前記記録制御手段は、
前記ファイル生成手段により生成された前記一の画像ファイルを前記記録媒体に記録させることを特徴とする請求項１に記載の画像処理装置。 File generating means for generating one image file including the identification information, the plurality of subject cut-out images, and the predetermined background image;
The recording control means includes
The image processing apparatus according to claim 1, wherein the one image file generated by the file generation unit is recorded on the recording medium. 前記代表画像は、前記特定手段により特定された前記被写体切り抜き画像の前記被写体画像と前記所定の背景画像とを合成して生成された被写体合成画像を所定の比率で縮小した縮小画像であることを特徴とする請求項１又は２に記載の画像処理装置。   The representative image is a reduced image obtained by reducing a subject composite image generated by combining the subject image of the subject clipped image specified by the specifying unit and the predetermined background image at a predetermined ratio. The image processing apparatus according to claim 1, wherein the image processing apparatus is an image processing apparatus. 前記特定手段は、
前記縮小画像の生成に用いられる被写体切り抜き画像として、前記取得手段により取得された前記複数の被写体切り抜き画像の中で、最初に撮像された被写体存在画像に対応する被写体切り抜き画像を特定することを特徴とする請求項３に記載の画像処理装置。 The specifying means is:
A subject cutout image corresponding to a subject existing image captured first among the plurality of subject cutout images acquired by the acquisition unit is specified as a subject cutout image used for generation of the reduced image. The image processing apparatus according to claim 3. 前記特定手段は、
前記縮小画像の生成に用いられる被写体切り抜き画像として、前記取得手段により取得された前記複数の被写体切り抜き画像の全てを特定するか、或いは、前記複数の被写体切り抜き画像の中で、撮像タイミングが所定の間隔ずつ空けられた複数の被写体存在画像に対応する被写体切り抜き画像をそれぞれ特定することを特徴とする請求項３に記載の画像処理装置。 The specifying means is:
All of the plurality of subject cutout images acquired by the acquisition unit are specified as subject cutout images used for generation of the reduced image, or the imaging timing is predetermined among the plurality of subject cutout images. The image processing apparatus according to claim 3, wherein the subject cut-out images corresponding to the plurality of subject-existing images spaced by intervals are specified. 前記特定手段は、
前記縮小画像の生成に用いられる被写体切り抜き画像として、前記取得手段により取得された前記複数の被写体切り抜き画像の中で、一の被写体切り抜き画像と、当該一の被写体切り抜き画像に基づく第１縮小画像の表示後に新たに表示される第２縮小画像の生成に用いられる前記一の被写体切り抜き画像と異なる被写体切り抜き画像と、を特定することを特徴とする請求項３に記載の画像処理装置。 The specifying means is:
Among the plurality of subject cutout images acquired by the acquisition unit, the subject cutout image used for generating the reduced image and a first reduced image based on the one subject cutout image are obtained. The image processing apparatus according to claim 3, wherein a subject cut-out image different from the one subject cut-out image used for generating a second reduced image that is newly displayed after display is specified. 前記複数の被写体存在画像を撮像する撮像手段と、
この撮像手段により撮像された前記複数の被写体存在画像から被写体領域をそれぞれ抽出する抽出手段と、
この抽出手段により抽出された前記被写体領域の被写体画像の各々と所定の単一色の背景画像とを合成して複数の被写体切り抜き画像を生成する切り抜き画像生成手段と、を更に備え、
前記取得手段は、
前記切り抜き画像生成手段により生成された前記複数の被写体切り抜き画像を取得することを特徴とする請求項１〜６の何れか一項に記載の画像処理装置。 Imaging means for imaging the plurality of subject existing images;
Extraction means for extracting subject areas from the plurality of subject existing images imaged by the imaging means;
Clipped image generating means for generating a plurality of clipped images by combining each of the subject images of the subject area extracted by the extracting means and a background image of a predetermined single color;
The acquisition means includes
The image processing apparatus according to claim 1, wherein the plurality of subject cutout images generated by the cutout image generation unit are acquired. 画像処理装置のコンピュータを、
連続して撮像された背景内に被写体が存在する複数の被写体存在画像から被写体が含まれる被写体領域が抽出された複数の被写体切り抜き画像を取得する取得手段、
この取得手段により取得された前記複数の被写体切り抜き画像の前記被写体領域の被写体画像と所定の背景画像とを合成して複数の被写体合成画像を生成する合成手段、
前記複数の被写体切り抜き画像の中で、前記合成手段により生成される前記複数の被写体合成画像を代表する代表画像の生成に用いられる被写体切り抜き画像を所定条件に基づいて特定する特定手段、
この特定手段により特定された前記被写体切り抜き画像の識別用情報と、前記取得手段により取得された前記複数の被写体切り抜き画像と、前記所定の背景画像と、前記代表画像の生成指示とを対応付けて記録媒体に記録させる記録制御手段、
として機能させることを特徴とするプログラム。 The computer of the image processing device
Acquisition means for acquiring a plurality of subject clipped images in which a subject region including a subject is extracted from a plurality of subject presence images in which a subject is present in a continuously captured background;
Synthesizing means for synthesizing a subject image of the subject area of the plurality of subject cut-out images acquired by the acquiring unit and a predetermined background image to generate a plurality of subject composite images;
A specifying unit for specifying, based on a predetermined condition, a subject cut-out image used for generating a representative image representing the plurality of subject combined images generated by the combining unit among the plurality of subject cut-out images;
The identification information of the subject clipped image specified by the specifying means, the plurality of subject cutout images acquired by the acquiring means, the predetermined background image, and the representative image generation instruction are associated with each other. Recording control means for recording on a recording medium,
A program characterized by functioning as

Images