JP2010016678A

JP2010016678A - Image synthesizer, image synthesis program, and image synthesis method

Info

Publication number: JP2010016678A
Application number: JP2008175625A
Authority: JP
Inventors: Kenji Yoshizawa; 賢治吉沢
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2008-07-04
Filing date: 2008-07-04
Publication date: 2010-01-21
Anticipated expiration: 2028-07-04
Also published as: JP5136245B2

Abstract

<P>PROBLEM TO BE SOLVED: To prevent quality deterioration of a synthetic image by reducing the synthesized number of partial images. <P>SOLUTION: When continuous shooting of captured images (1)-(4) in which all the faces become a rank (a) or higher is performed, determination in a step S12 becomes YES, it progresses from the step S12 to a step S13, combination candidates of the synthetic image are selected, and a base image is determined next (a step S14). When the base image is determined, a captured image in which more face images of "face evaluation (a)" exist is selected as the base image in the captured images in the combination candidates. Then, the respective partial images are determined (a step S 15), and the respective determined image parts are synthesized with the base image (a step S16). <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、画像合成装置、この画像合成装置を制御するための画像合成プログラム、及び画像合成方法に関する。 The present invention relates to an image composition device, an image composition program for controlling the image composition device, and an image composition method.

従来、特許文献１記載の画像合成装置が知られている。この画像合成装置は、複数人が写っている画像を撮像するに際し、連写を行ってその連写した各画像から各人毎に表情評価値の最も高い顔画像部分を抽出する。また、顔画像部分を除く背景画像を生成して、この生成した背景画像に前記抽出した各人の顔画像部分を合成する。これにより、全員が笑顔である等の全員の表情評価値が高い合成画像が得られるとするものである。
特開２００７−２９９２９７号公報 Conventionally, an image synthesizing apparatus described in Patent Document 1 is known. When capturing an image in which a plurality of people are photographed, the image composition device performs continuous photographing and extracts a face image portion having the highest facial expression evaluation value for each person from the continuously photographed images. Further, a background image excluding the face image portion is generated, and the extracted face image portion of each person is combined with the generated background image. Thereby, it is assumed that a composite image having a high facial expression evaluation value such as that all are smiling is obtained.
JP 2007-299297 A

しかしながら、このような従来の画像合成装置の場合、前記全員の表情評価値が高い合成画像を得るためには、全員分に加えベース画像分の画像をも撮影しなければならない。このため、合成回数が増大することとなり、この合成回数の増大に伴って特に合成箇所の輪郭部分において、合成画像の品質が低下してしまうという問題があった。 However, in the case of such a conventional image synthesizing apparatus, in order to obtain a synthesized image having a high facial expression evaluation value for all the members, an image for the base image must be taken in addition to the images for all the members. For this reason, the number of synthesizing increases, and there is a problem that the quality of the synthesized image deteriorates with the increase in the number of synthesizing, especially in the outline portion of the synthesizing part.

本発明は、かかる従来の課題に鑑みてなされたものであり、撮影回数を減らしつつ、好適な合成画像を得ることを目的とする。 The present invention has been made in view of such conventional problems, and an object of the present invention is to obtain a suitable composite image while reducing the number of photographing.

前記課題を解決するため請求項１記載の発明に係る画像合成装置にあっては、複数の撮影対象を含む撮影画像を、複数取得する取得手段と、この取得手段により取得された複数の撮影画像夫々について、前記複数の撮影対象の夫々の撮影状態が予め設定された基準を満たすか否かを判断する判断手段と、この判断手段により基準を満たすと判断された撮影対象を最も多く含む撮影画像を、ベース画像として選択する選択手段と、この選択手段により選択されたベース画像以外の撮影画像に含まれ、前記判断手段により基準を満たすと判断された撮影対象の部分画像を抽出する抽出手段と、この抽出手段により抽出された部分画像を、前記選択手段により選択されたベース画像の前記撮影対象部分に合成する合成手段とを備えることを特徴とする。 In order to solve the above-described problem, in the image composition device according to the first aspect of the present invention, an acquisition unit that acquires a plurality of captured images including a plurality of imaging targets, and a plurality of captured images acquired by the acquisition unit About each, the judgment means which judges whether each photography state of a plurality of above-mentioned photography subjects fulfills the standard set up beforehand, and the photography picture which contains most photography subjects judged to meet the standard by this judgment means Selecting means as a base image; and extracting means for extracting a partial image to be imaged that is included in a captured image other than the base image selected by the selecting means and that satisfies the criteria by the determining means; And combining means for combining the partial image extracted by the extracting means with the photographing target portion of the base image selected by the selecting means. .

また、請求項２記載の発明に係る画像合成装置にあっては、前記選択手段は、前記ベース画像として選択すべき撮影画像が複数存在する場合には、前記撮影対象を除いた背景部分が最も明瞭な撮影画像を前記ベース画像として選択することを特徴とする。 In the image composition device according to the second aspect of the present invention, when there are a plurality of photographed images to be selected as the base image, the selection means has a background portion excluding the photographing object being the most. A clear photographed image is selected as the base image.

また、請求項３記載の発明に係る画像合成装置にあっては、前記取得手段は、時間的に連続して前記複数の撮影画像を取得することを特徴とする。 The image synthesizing apparatus according to the invention of claim 3 is characterized in that the acquisition means acquires the plurality of captured images continuously in time.

また、請求項４記載の発明に係る画像合成装置にあっては、前記撮影対象は人物における顔であるとともに、人物の顔の撮影状態を評価する評価手段を更に備え、前記判断手段は、前記評価手段による評価が所定以上の撮影状態を、前記基準を満たす撮影状態と判断することを特徴とする。 Further, in the image composition device according to the invention of claim 4, the photographing object is a face in a person, and further includes an evaluation unit that evaluates a photographing state of the person's face, and the determination unit includes: It is characterized in that a shooting state evaluated by the evaluation means is determined to be a shooting state satisfying the above criteria.

また、請求項５記載の発明に係る画像合成装置にあっては、前記評価手段が評価する顔の撮影状態には、笑顔の撮影状態か否か、目が開いている撮影状態か否か、目線が所定方向を向いている撮影状態か否かのいずれか１つを含むことを特徴とする。 In the image composition device according to the invention of claim 5, whether or not the photographing state of the face evaluated by the evaluation unit is a smiling photographing state, a photographing state with open eyes, It includes any one of a shooting state in which the line of sight faces a predetermined direction.

また、請求項６記載の発明に係る画像合成装置にあっては、表示手段と、前記取得手段により取得された撮影画像を前記表示手段に表示させる際、前記撮像画像に含まれる複数の撮影対象の撮影状態が、前記判断手段により基準を満たすもの否かを識別可能に表示するよう制御する表示制御手段とを更に備えることを特徴とする。 In the image composition device according to the sixth aspect of the present invention, when the captured image acquired by the display unit and the acquisition unit is displayed on the display unit, a plurality of shooting targets included in the captured image are displayed. And a display control means for controlling to display whether or not the photographing state satisfies a criterion by the determination means.

また、請求項７記載の発明に係る画像合成装置にあっては、前記取得手段により取得された複数の撮影画像に基づき、前記複数の撮影対象の少なくともいずれか１つが所定以上動いたか否かを判断する動き判断手段と、この動き判断手段により前記複数の撮影対象の少なくともいずれか１つが所定以上動いたと判断された場合、前記取得手段による取得を停止させる停止手段とを更に備えることを特徴とする。 In the image composition device according to the invention described in claim 7, whether or not at least one of the plurality of photographing objects has moved a predetermined amount or more based on the plurality of photographed images obtained by the obtaining means. A motion determining means for determining; and a stop means for stopping acquisition by the acquiring means when it is determined by the motion determining means that at least one of the plurality of photographing objects has moved a predetermined amount or more. To do.

また、請求項８記載の発明に係る１乃至７のいずれか１項に記載の画像合成装置にあっては、前記合成手段により合成された合成画像を、前記合成手段の合成に用いられた撮影画像と関連付けて記録する記録手段を設けたことを特徴とする。 Further, in the image synthesizing apparatus according to any one of 1 to 7 according to the invention described in claim 8, the composite image synthesized by the synthesizing means is used for photographing which is used for synthesizing the synthesizing means. Recording means for recording in association with an image is provided.

また、請求項９記載の発明に係る６乃至８のいずれか１項に記載の画像合成装置にあっては、前記合成画像が前記記録手段に記録された後に、当該合成画像を表示する前記表示手段に表示するよう制御する表示制御手段を更に備えることを特徴とする。 Further, in the image composition device according to any one of 6 to 8 according to the invention of claim 9, the display for displaying the composite image after the composite image is recorded in the recording means. It is further characterized by further comprising display control means for controlling display on the means.

また、請求項１０記載の発明に係る画像合成装置にあっては、前記表示手段は、前記合成画像における前記撮影対象部分を更に拡大表示することを特徴とする。 Further, in the image composition device according to the invention of claim 10, the display means further enlarges and displays the photographing target portion in the composite image.

また、請求項１１記載の発明に係る画像合成装置にあっては、前記取得手段は、被写体を撮像する撮像手段を含むことを特徴とする。 The image synthesizing apparatus according to claim 11 is characterized in that the acquisition means includes an imaging means for imaging a subject.

また、請求項１２記載の発明に係る画像合成プログラムにあっては、画像合成装置が有するコンピュータを、複数の撮影対象を含む撮影画像を、複数取得する取得手段、この取得手段により取得された複数の撮影画像夫々について、前記複数の撮影対象の夫々の撮影状態が予め設定された基準を満たすか否かを判断する判断手段、この判断手段により基準を満たすと判断された撮影対象を最も多く含む撮影画像を、ベース画像として選択する選択手段、この選択手段により選択されたベース画像以外の撮影画像に含まれ、前記判断手段により基準を満たすと判断された撮影対象の部分画像を抽出する抽出手段、この抽出手段により抽出された部分画像を、前記選択手段により選択されたベース画像の前記撮影対象部分に合成する合成手段して機能させることを特徴とする。 In the image composition program according to the twelfth aspect of the present invention, an acquisition means for acquiring a plurality of photographed images including a plurality of photographing objects by a computer included in the image composition apparatus, and a plurality of images acquired by the acquisition means. Each of the captured images includes a determination unit that determines whether each of the shooting states of the plurality of shooting targets satisfies a preset criterion, and includes the largest number of shooting targets that are determined to satisfy the criterion by the determination unit. Selection means for selecting a photographed image as a base image, and extraction means for extracting a partial image to be photographed that is included in a photographed image other than the base image selected by the selection means and that satisfies the criteria by the judging means A combining unit that combines the partial image extracted by the extracting unit with the shooting target portion of the base image selected by the selecting unit; Characterized in that to ability.

また、請求項１３記載の発明に係る画像合成方法にあっては、複数の撮影対象を含む撮影画像を、複数取得する取得ステップと、この取得ステップにて取得された複数の撮影画像夫々について、前記複数の撮影対象の夫々の撮影状態が予め設定された基準を満たすか否かを判断する判断ステップと、この判断ステップにて基準を満たすと判断された撮影対象を最も多く含む撮影画像を、ベース画像として選択する選択ステップと、この選択ステップにて選択されたベース画像以外の撮影画像に含まれ、前記判断ステップにより基準を満たすと判断された撮影対象の部分画像を抽出する抽出ステップと、この抽出ステップにて抽出された部分画像を、前記選択ステップにて選択されたベース画像の前記撮影対象部分に合成する合成ステップとを含むことを特徴とする。 Moreover, in the image composition method according to the invention of claim 13, for the acquisition step of acquiring a plurality of captured images including a plurality of shooting targets, and for each of the plurality of captured images acquired in this acquisition step, A determination step for determining whether or not each of the shooting states of the plurality of shooting targets satisfies a preset criterion, and a captured image including the largest number of shooting targets determined to satisfy the criterion in this determination step, A selection step for selecting as a base image, and an extraction step for extracting a partial image to be imaged that is included in a captured image other than the base image selected in this selection step and that is determined to satisfy the criteria by the determination step; Combining the partial image extracted in the extraction step with the shooting target portion of the base image selected in the selection step; And wherein the Mukoto.

本発明によれば、撮影回数を減らしつつ、好適な合成画像を得ることができる。 According to the present invention, it is possible to obtain a suitable composite image while reducing the number of times of photographing.

以下、本発明の実施の形態を図にしたがって説明する。図１は、本発明一実施の形態を適用したデジタルカメラ１の電気的構成の概略を示すブロック図である。デジタルカメラ１は、固定されたレンズ２を備えるとともに、それぞれモータ５、６によって光軸方向に駆動されるズームレンズ３及びフォーカスレンズ４を備えている。これらレンズ２〜４の後方には、撮像部７及び測距部８が配置されている。測距部８は、コントラストＡＦとハイブリットＡＦとに切り換えて使用することが可能である。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing an outline of an electrical configuration of a digital camera 1 to which an embodiment of the present invention is applied. The digital camera 1 includes a fixed lens 2 and a zoom lens 3 and a focus lens 4 that are driven in the optical axis direction by motors 5 and 6, respectively. An imaging unit 7 and a distance measuring unit 8 are disposed behind these lenses 2 to 4. The distance measuring unit 8 can be used by switching between contrast AF and hybrid AF.

撮像部７は、ＣＣＤ等の撮像素子、タイミング発生器、垂直ドライバ、サンプルホールド回路、Ａ／Ｄ変換器等を備え、一定周期で１画面分の撮像信号をデジタルデータに変換してカラープロセス回路９に送る。カラープロセス回路９は画像補間処理を含むカラープロセス処理により、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを生成し、ＤＭＡ（ＤｉｒｅｃｔＭｅｍｏｒｙＡｃｃｅｓｓ）ＤＭＡコントローラ１０に出力する。ＤＭＡコントローラ１０は輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、カラープロセス回路９からの複合同期信号、メモリ書込みイネーブル信号、及びクロック信号を用いて一度ＤＭＡコントローラ１０内部のバッファに書込み、ＤＲＡＭインタフェース（Ｉ／Ｆ）１１を介してＤＲＡＭ１２にＤＭＡ転送する。 The image pickup unit 7 includes an image pickup device such as a CCD, a timing generator, a vertical driver, a sample hold circuit, an A / D converter, and the like, and converts an image pickup signal for one screen into digital data at a constant period to provide a color process circuit. Send to 9. The color process circuit 9 generates digital value luminance signals Y and color difference signals Cb and Cr by color process processing including image interpolation processing, and outputs them to a DMA (Direct Memory Access) DMA controller 10. The DMA controller 10 once writes the luminance signal Y and the color difference signals Cb and Cr into the buffer inside the DMA controller 10 using the composite synchronization signal, the memory write enable signal, and the clock signal from the color process circuit 9, and the DRAM interface (I / F) DMA transfer to DRAM 12 via 11.

制御部２０は、上記輝度及び色差信号データ、つまり画像データのＤＲＡＭ１２へのＤＭＡ転送終了後に、その画像データを、ＤＲＡＭインタフェース１１を介してＤＲＡＭ１２から読み出し、ＶＲＡＭコントローラ１４を介してＶＲＡＭ１５に書き込む。 The control unit 20 reads the image data from the DRAM 12 via the DRAM interface 11 and writes it to the VRAM 15 via the VRAM controller 14 after the DMA transfer of the luminance and color difference signal data, that is, the image data to the DRAM 12 is completed.

デジタルビデオエンコーダ１６は、上記画像データを、ＶＲＡＭコントローラ１４を介してＶＲＡＭ１５より定期的に読出し、これらのデータを元にビデオ信号を発生して表示部１７に出力する。表示部１７は、液晶モニタとその駆動回路等により構成され、デジタルビデオエンコーダ１６からのビデオ信号に基づいた表示を行うことで、その時点でＶＲＡＭコントローラ１４から取り込まれている画像情報に基づくスルー画像を表示する。 The digital video encoder 16 periodically reads out the image data from the VRAM 15 via the VRAM controller 14, generates a video signal based on these data, and outputs the video signal to the display unit 17. The display unit 17 includes a liquid crystal monitor and a drive circuit thereof, and performs a display based on a video signal from the digital video encoder 16, thereby allowing a through image based on image information captured from the VRAM controller 14 at that time. Is displayed.

この表示部１７の画面上には、タッチパネル１８が積層されており、タッチパネル１８は、タッチ位置を検出して制御部１３に出力する。 A touch panel 18 is stacked on the screen of the display unit 17, and the touch panel 18 detects a touch position and outputs it to the control unit 13.

キー入力部１９は、電源キー、シャッタキー、撮影モードと再生モードを切り換え設定するモード設定キー等の各キーを含み、スルー画像が表示されている状態でシャッタキーが操作されると、撮像開始用のトリガ信号を発生する。撮影モードにおける静止画撮像モード時には、上記トリガ信号に応じて制御部２０が撮像部７からのＤＲＡＭ１２への経路を停止し、ＤＲＡＭ１２に書込まれている１フレーム分の画像データを、ＤＲＡＭインタフェース１１を介して読み出し、画像処理部２０に送る。画像処理部２０では送られた画像データを圧縮符号化し、圧縮された画像データは制御部２０によって読み出され、静止画ファイルとしてメモリカード２１に記録される。 The key input unit 19 includes keys such as a power key, a shutter key, and a mode setting key for switching between a shooting mode and a playback mode. When the shutter key is operated while a through image is displayed, imaging starts. Generate a trigger signal. In the still image shooting mode in the shooting mode, the control unit 20 stops the path from the imaging unit 7 to the DRAM 12 according to the trigger signal, and the image data for one frame written in the DRAM 12 is stored in the DRAM interface 11. Are sent to the image processing unit 20. The image processing unit 20 compresses and encodes the transmitted image data, and the compressed image data is read by the control unit 20 and recorded in the memory card 21 as a still image file.

また、撮影モードによる動画撮像モード時には、上記トリガ信号に応じて制御部２０が撮像部７からのＤＲＡＭ１２への経路を停止し、ＤＲＡＭ１２に順次書込まれている複数フレーム分の画像データを、ＤＲＡＭインタフェース１１を介して読み出し、画像処理部２０に送る。画像処理部２０では送られた複数フレーム分の画像データを圧縮符号化し、圧縮された画像データは制御部２０によって読み出され、動画ファイルとしてメモリカード２１に記録される。 Further, in the moving image capturing mode in the photographing mode, the control unit 20 stops the path from the image capturing unit 7 to the DRAM 12 according to the trigger signal, and image data for a plurality of frames sequentially written in the DRAM 12 is stored in the DRAM. The data is read out via the interface 11 and sent to the image processing unit 20. The image processing unit 20 compresses and encodes the sent image data for a plurality of frames, and the compressed image data is read by the control unit 20 and recorded in the memory card 21 as a moving image file.

メモリカード２１に記録された画像ファイルは、再生モードにおいて、操作キー等による選択操作に応じて画像処理部２０に読み込まれ、そこで画像データに復号された後、必要に応じて制御部２０で輝度、コントラスト、シャープネスを制御されて、ＶＲＡＭコントローラ１４を介してＶＲＡＭ１５へ送られ、表示部１７で表示される。 The image file recorded on the memory card 21 is read into the image processing unit 20 in accordance with a selection operation using an operation key or the like in the reproduction mode, and is decoded into image data there, and then the luminance is obtained by the control unit 20 as necessary. The contrast and sharpness are controlled and sent to the VRAM 15 via the VRAM controller 14 and displayed on the display unit 17.

また、制御部２０は、主としてＣＰＵ及びその周辺回路と、プログラム等を記憶したＲＯＭ、ＣＰＵの作業用メモリであるＲＡＭ（内部メモリ）、及びカレンダ機能を有する内蔵時計から構成されるマイクロコンピュータであり、前記ＲＯＭに確保されているプログラム領域に格納されているプログラムに基づき動作し、前述した各部の動作を制御するとともに、ストロボ駆動部２２を介してストロボ発光部２３の発光動作を制御する。 The control unit 20 is a microcomputer mainly composed of a CPU and its peripheral circuits, a ROM storing programs and the like, a RAM (internal memory) which is a working memory of the CPU, and a built-in clock having a calendar function. It operates based on a program stored in a program area secured in the ROM, controls the operation of each unit described above, and controls the light emission operation of the strobe light emitting unit 23 via the strobe drive unit 22.

マイク２４は、前記動画撮像モード時において周囲の音声を検出し、この検出された音声は音声処理部２６で符号化処理等が施されて、前記動画ファイル内に音声データが記録される。また、動画再生モードにおいては、動画ファイルから音声データが読み出され、音声処理部２６で復号化処理等が施されて、スピーカ２５より放音される。 The microphone 24 detects ambient sound in the moving image capturing mode, and the detected sound is subjected to encoding processing or the like by the sound processing unit 26, and sound data is recorded in the moving image file. In the moving image reproduction mode, audio data is read from the moving image file, decoded by the audio processing unit 26, and emitted from the speaker 25.

なお、制御部１３内のＲＯＭには、前記プログラム等とともに図２に示す顔画像評価テーブル１３１が予め記憶されている。この顔画像評価テーブル１３１には、笑顔の特徴データに対応してランク「顔評価ａ」が記憶されているとともに、笑顔以外の他の顔特徴データに対応してランク「顔評価ｂ」又は「顔評価ｃ」が記憶されている。 2 is stored in advance in the ROM in the control unit 13 together with the program and the like. The face image evaluation table 131 stores a rank “face evaluation a” corresponding to smile feature data, and ranks “face evaluation b” or “corresponding to other face feature data other than smiles. “Face evaluation c” is stored.

なお、ここでは顔特徴データは３段階なので、笑顔に相当する特徴データは「顔評価ａ」のみであるが、実際には、より多段階に構成して段階的に評価することがより好ましい。 Here, since the facial feature data has three stages, the feature data corresponding to a smile is only “face evaluation a”. However, in practice, it is more preferable to make a multi-stage evaluation and evaluate in stages.

以上の構成に係る本実施の形態において、撮影モードにおける静止画撮像モードが設定
されると、表示部１７には、前述のようにその時点でＶＲＡＭコントローラ１４から取り込まれている画像情報に基づくスルー画像が表示される。撮影者が、この表示部１４に表示されたスルー画像により被写体を確認して、キー入力部１９にてシャッタキーを操作すると、制御部２０は前記プログラムに基づき、図３のフローチャートに示す処理を開始する。 In the present embodiment having the above-described configuration, when the still image shooting mode in the shooting mode is set, the display unit 17 has a through based on the image information fetched from the VRAM controller 14 at that time as described above. An image is displayed. When the photographer confirms the subject with the through image displayed on the display unit 14 and operates the shutter key with the key input unit 19, the control unit 20 performs the processing shown in the flowchart of FIG. 3 based on the program. Start.

（撮影画像（１）処理）
すなわち、撮影画像を取得するとともに、この撮影画像毎のテーブルである個別テーブルを作成する（ステップＳ１）。したがって、現時点がシャッタキーを操作した直後であるとすると、図４（ａ）に示すように、最初に撮影された撮影画像（１）が取得されるとともに、同図（ｂ）に示すように、撮影画像（１）の個別テーブルＴ１が作成される。この個別テーブルＴ１には、図示のように、「顔Ｎｏ．」、「顔座標」、「特徴情報」、「顔評価」、「顔画像」の各欄が設けられる。 (Processed image (1) processing)
That is, a captured image is acquired, and an individual table that is a table for each captured image is created (step S1). Therefore, assuming that the current time is immediately after the shutter key is operated, as shown in FIG. 4A, the first captured image (1) is acquired and as shown in FIG. 4B. The individual table T1 of the photographed image (1) is created. As shown in the figure, the individual table T1 includes “Face No.”, “Face Coordinates”, “Feature Information”, “Face Evaluation”, and “Face Image” columns.

なお、撮影者はシャッタキーを操作する際、あるいは操作中に適宜「笑ってください」等の笑顔を誘導する音声を発することが好ましい。 Note that it is preferable that the photographer emit a sound for inducing a smile such as “Please laugh” when operating the shutter key or during the operation.

次に、前記撮影画像の例えば、左端部から走査することにより、当該撮影画像中における顔部分の部分画像を検出する（ステップＳ２）。したがって、このステップＳ２での処理により、前記撮影画像（１）においては先ず人物Ａの顔画像部分が検出されることとなり、人物Ａを顔Ｎｏ．「１」として、撮影画像（１）の個別テーブルＴ１の「顔Ｎｏ．」欄に記憶するとともに、対応する「顔画像」欄に人物Ａの顔画像を記憶する。 Next, a partial image of the face portion in the photographed image is detected by scanning from the left end of the photographed image, for example (step S2). Accordingly, by the processing in step S2, the face image portion of the person A is first detected in the photographed image (1). “1” is stored in the “face No.” field of the individual table T1 of the photographed image (1), and the face image of the person A is stored in the corresponding “face image” field.

引き続き、この検出した顔画像の撮影画像（１）上における座標を取得し、個別テーブルＴ１の対応する「顔座標」欄に記憶する（ステップＳ３）。また、当該顔画像の特徴情報を取得して、対応する「特徴情報」欄に記憶する（ステップＳ４）。さらに、前記顔画像評価テーブル１３１を参照して、当該顔画像が評価ａ〜ｃのいずれであるかを判断し、その評価結果を、対応する「顔評価」欄に記憶する（ステップＳ５：撮影状態の評価）。 Subsequently, the coordinates of the detected face image on the captured image (1) are acquired and stored in the corresponding “face coordinates” column of the individual table T1 (step S3). Further, the feature information of the face image is acquired and stored in the corresponding “feature information” column (step S4). Further, referring to the face image evaluation table 131, it is determined whether the face image is one of the evaluations a to c, and the evaluation result is stored in the corresponding “face evaluation” column (step S5: photographing). Condition assessment).

このステップＳ５で実行される顔評価については、例えば特開２００５−２３４６８６号公報に開示されており、この開示技術を適宜用いることができる。 The face evaluation executed in step S5 is disclosed in, for example, Japanese Patent Application Laid-Open No. 2005-234686, and this disclosed technique can be used as appropriate.

したがって、以上のステップＳ２〜Ｓ５の処理が人物Ａの顔画像に対して実行されることにより、図４（ｂ）に示すように、個別テーブルＴ１の１行目には、人物Ａの顔Ｎｏ．「１」、顔座標「５０，２０」、特徴情報「人物Ａ」、顔評価「ｂ」及び顔画像が記憶されることとなる。つまり、撮影画像（１）において人物Ａの顔は、顔評価ｂに対応する表情であることから、顔評価として「ｂ」が記憶される。 Therefore, when the processes in steps S2 to S5 described above are performed on the face image of the person A, the face No. of the person A is displayed in the first row of the individual table T1, as shown in FIG. . “1”, face coordinates “50, 20”, feature information “person A”, face evaluation “b”, and face image are stored. That is, since the face of the person A in the captured image (1) is an expression corresponding to the face evaluation b, “b” is stored as the face evaluation.

次に、撮影画像（１）における人物全員に対して以上のステップＳ２〜Ｓ５の処理である評価を終了したか否かを判断し（ステップＳ６）、全員に対して以上の処理が終了するまで、ステップＳ２〜Ｓ５の処理を繰り返す。したがって、２回目においては、人物Ｂに対してステップＳ２〜Ｓ５の処理が繰り返され、これにより、図４（ｂ）に示すように、個別テーブルＴ１の２行目には、人物Ｂの顔Ｎｏ．「２」、顔座標「５０，５０」、特徴情報「人物Ｂ」、顔評価「ａ」及び顔画像が記憶されることとなる。つまり、撮影画像（１）において人物Ｂの顔は、顔評価ａに対応する表情であることから、顔評価として「ａ」が記憶される。 Next, it is determined whether or not the evaluation of the above steps S2 to S5 has been completed for all the persons in the photographed image (1) (step S6), and the above processes are completed for all of the persons. , Steps S2 to S5 are repeated. Accordingly, in the second time, the processes of steps S2 to S5 are repeated for the person B. As a result, as shown in FIG. 4B, the face No. of the person B is displayed in the second row of the individual table T1. . “2”, face coordinates “50, 50”, feature information “person B”, face evaluation “a”, and face image are stored. That is, since the face of the person B in the photographed image (1) is an expression corresponding to the face evaluation a, “a” is stored as the face evaluation.

また、３回目においては、人物Ｃに対してステップＳ２〜Ｓ５の処理が繰り返され、これにより、図４（ｂ）に示すように、個別テーブルＴ１の３行目には、人物Ｃの顔Ｎｏ．「３」、顔座標「５０，８０」、特徴情報「人物Ｃ」、顔評価「ｃ」及び顔画像が記憶されることとなる。つまり、撮影画像（１）において人物Ｃの顔は、顔評価ｃに対応する表情であることから、顔評価として「ｃ」が記憶される。 Further, in the third time, the processes of steps S2 to S5 are repeated for the person C. As a result, as shown in FIG. 4B, the face No. of the person C is displayed in the third row of the individual table T1. . “3”, face coordinates “50, 80”, feature information “person C”, face evaluation “c”, and face image are stored. That is, since the face of the person C in the photographed image (1) is an expression corresponding to the face evaluation c, “c” is stored as the face evaluation.

このようにして、人物Ａ，Ｂ，Ｃの全員に対してステップＳ２〜Ｓ５の処理が実行されると、ステップＳ６の判断がＹＥＳとなる。したがって、ステップＳ６からステップＳ７に進み、総合テーブルを作成又は更新する（ステップＳ７）。ここで、作成又は更新とは、総合テーブルが未だ作成されていない場合には作成し、既に作成されている場合には、これを更新することを意味する。 In this way, when the processes in steps S2 to S5 are executed for all the persons A, B, and C, the determination in step S6 is YES. Therefore, the process proceeds from step S6 to step S7, and the general table is created or updated (step S7). Here, creation or update means creating a general table if it has not yet been created, and updating it if it has already been created.

この総合テーブル１３２は、図８（ａ）に示すように、「顔Ｎｏ．」、「評価ａの撮影画像」、「組合せ候補」及び「最終組合せ」の欄で構成されている。「顔Ｎｏ．」欄には、前述した個別テーブルと同様の顔Ｎｏ．「１」〜「３」が記憶され、「評価ａの撮影画像」には当該顔Ｎｏ．の顔画像が顔評価ａであった撮影画像の番号が記憶される。また、「組合せ候補」には、全ての人物が顔画像が顔評価ａとなる撮影画像の番号の組合せが記憶され、「最終組合せ」には、最終的に合成する撮影画像の番号の組合せが記憶される。 As shown in FIG. 8A, the general table 132 includes columns of “face No.”, “photographed image of evaluation a”, “combination candidate”, and “final combination”. In the “Face No.” column, the same face No. “1” to “3” are stored, and the face No. The number of the photographed image whose face image is face evaluation a is stored. Further, “combination candidates” stores combinations of numbers of photographed images whose face images are face evaluation a for all persons, and “final combinations” include combinations of numbers of photographed images to be finally combined. Remembered.

したがって、撮影画像（１）に対しての処理のみが実行された現時点においては、評価ａの顔画像は顔Ｎｏ．「２」のみであったことから、総合テーブル１３２において、図８（ａ）に示すように、顔Ｎｏ．「２」に対応して撮影画像（１）が記憶されるのみである。 Therefore, at the present time when only the processing for the photographed image (1) is executed, the face image of the evaluation a is the face number. Since it was only “2”, in the general table 132, as shown in FIG. The captured image (1) is only stored corresponding to “2”.

次に、顔検出枠、笑顔検出マークと共に、撮影画像を重畳表示する（ステップＳ８）。このステップＳ７での処理により図４（ａ）に示すように、各顔画像の周囲に顔検出枠１７１が表示される。また、前記総合テーブル１３２を参照し、笑顔となった人物Ｂの上部に「○」からなる笑顔検出マーク１７２が重畳表示され、これにより、人物Ｂについては笑顔であることが識別可能になるように撮影画像（１）が表示される。 Next, the captured image is superimposed and displayed together with the face detection frame and the smile detection mark (step S8). As a result of the processing in step S7, a face detection frame 171 is displayed around each face image as shown in FIG. Further, referring to the general table 132, a smile detection mark 172 consisting of “◯” is superimposed on the top of the person B who is smiling, so that the person B can be identified as smiling. The captured image (1) is displayed on the screen.

引き続き、この撮影画像内における人物Ａ、Ｂ、Ｃのブレに基づき、所定以上動いてしまった人物がいるか否かを判断する（ステップＳ９）。この判断は、例えば顔座標が「５」以上変化した場合に所定以上動いてしまったとする。そして、動いてしまった人物がいる場合には、図９に示すように、表示部１７に「人が動いたので撮影を中止します。」や、動いた人物の上部に「×」印を表示する警告表示を行う（ステップＳ１０）。しかる後に、取得した全撮影画像やテーブルを削除して（ステップＳ１１）、エンドに進みスルー画像表示状態に戻る。よって、後述する合成に不適な所定以上動いてしまった人物がいる画像が撮影された場合には、連写を中止して無用な連写を防止することができる。 Subsequently, based on the blurring of the persons A, B, and C in the photographed image, it is determined whether or not there is a person who has moved more than a predetermined amount (step S9). For example, it is assumed that the determination has moved a predetermined amount or more when the face coordinate changes by “5” or more. If there is a person who has moved, as shown in FIG. 9, “Since shooting has been stopped because the person has moved” or an “x” mark is displayed above the moved person. A warning display is performed (step S10). Thereafter, all acquired captured images and tables are deleted (step S11), and the process proceeds to the end and returns to the through image display state. Therefore, when an image with a person who has moved more than a predetermined value unsuitable for composition, which will be described later, is taken, continuous shooting can be stopped to prevent unnecessary continuous shooting.

また、ステップＳ８の判断がＮＯであって、撮影画像内に動いてしまった人物がいない場合には、このステップＳ７で作成又は更新される総合テーブル１３２の記憶内容に基づき、全員がランクａ以上となったか否かを判断する（ステップＳ１２：撮影状態が基準を満たすか否かの判断）。このとき、図８（ａ）を参照すると、ランクａ以上となっているのは、顔Ｎｏ．「１」のみである。よって、ステップＳ１２の判断はＮＯとなり、ステップＳ１からの処理を再度実行する。 If the determination in step S8 is NO and there is no person who has moved in the photographed image, all members are ranked a or higher based on the stored contents of the general table 132 created or updated in step S7. (Step S12: Determination of whether or not the shooting state satisfies the standard). At this time, referring to FIG. 8 (a), the face No. Only “1”. Therefore, the determination in step S12 is NO, and the processing from step S1 is executed again.

（撮影画像（２）処理）
したがって、２回目のステップＳ１での処理により、図５（ａ）に示すように、次に連写撮影された撮影画像（２）が取得されるとともに、同図（ｂ）に示すように、撮影画像（２）の個別テーブルＴ２が作成される。また、ステップＳ２〜Ｓ５の処理は、前述と同様に３回繰り返される。そして、撮影画像（２）の処理１回目においては、図５（ｂ）に示すように、個別テーブルＴ２の１行目には、人物Ａの顔Ｎｏ．「１」、顔座標「５０，２１」、特徴情報「人物Ａ」、顔評価「ａ」及び顔画像が記憶されることとなる。つまり、撮影画像（２）において人物Ａの顔は、顔評価ａに対応する表情であることから、顔評価として「ａ」が記憶される。 (Captured image (2) processing)
Therefore, as shown in FIG. 5 (a), the captured image (2) taken continuously next time is acquired by the processing in the second step S1, and as shown in FIG. 5 (b), An individual table T2 for the photographed image (2) is created. Moreover, the process of step S2-S5 is repeated 3 times similarly to the above. Then, in the first processing of the photographed image (2), as shown in FIG. 5B, the face No. of the person A is displayed in the first row of the individual table T2. “1”, face coordinates “50, 21”, feature information “person A”, face evaluation “a”, and face image are stored. That is, since the face of the person A in the captured image (2) is an expression corresponding to the face evaluation a, “a” is stored as the face evaluation.

また、撮影画像（２）の処理２回目においては、人物Ｂに対してステップＳ２〜Ｓ５の処理が繰り返され、これにより、図５（ｂ）に示すように、個別テーブルＴ２の２行目には、人物Ｂの顔Ｎｏ．「２」、顔座標「５０，５１」、特徴情報「人物Ｂ」、顔評価「ａ」及び顔画像が記憶されることとなる。つまり、撮影画像（２）において人物Ｂの顔は、顔評価ａに対応する表情であることから、顔評価として「ａ」が記憶される。 Further, in the second processing of the photographed image (2), the processing of steps S2 to S5 is repeated for the person B, and as a result, as shown in FIG. 5B, the second row of the individual table T2 is displayed. Is the face No. of person B. “2”, face coordinates “50, 51”, feature information “person B”, face evaluation “a”, and face image are stored. That is, since the face of the person B in the captured image (2) is an expression corresponding to the face evaluation a, “a” is stored as the face evaluation.

また、３回目においては、人物Ｃに対してステップＳ２〜Ｓ５の処理が繰り返され、これにより、図５（ｂ）に示すように、個別テーブルＴ２の３行目には、人物Ｃの顔Ｎｏ．「３」、顔座標「５０，８１」、特徴情報「人物Ｃ」、顔評価「ｂ」及び顔画像が記憶されることとなる。つまり、撮影画像（２）において人物Ｃの顔は、顔評価ｂに対応する表情であることから、顔評価として「ｂ」が記憶される。 Further, in the third time, the processes of steps S2 to S5 are repeated for the person C. As a result, as shown in FIG. 5B, the face No. of the person C is displayed in the third row of the individual table T2. . “3”, face coordinates “50, 81”, feature information “person C”, face evaluation “b”, and face image are stored. That is, since the face of the person C in the captured image (2) is an expression corresponding to the face evaluation b, “b” is stored as the face evaluation.

このようにして、人物Ａ，Ｂ，Ｃの全員に対してステップＳ２〜Ｓ５の処理が実行されると、ステップＳ６の判断がＹＥＳとなる。したがって、ステップＳ６からステップＳ７に進み、総合テーブル１３２を更新する。よって、撮影画像（２）に対しての処理が実行されると、評価ａの顔画像は顔Ｎｏ．「１」と「２」であったことから、総合テーブル１３２において、図８（ｂ）に示すように、顔Ｎｏ．「１」「２」に対応して撮影画像（２）が追記される。 In this way, when the processes in steps S2 to S5 are executed for all the persons A, B, and C, the determination in step S6 is YES. Therefore, the process proceeds from step S6 to step S7, and the general table 132 is updated. Therefore, when the process for the photographed image (2) is executed, the face image of the evaluation a is the face number. Since it was “1” and “2”, in the general table 132, as shown in FIG. The captured image (2) is additionally written corresponding to “1” and “2”.

また、ステップＳ８での処理により、図５（ａ）に示すように、各顔画像の周囲に顔検出枠１７１が表示され、かつ、笑顔となった人物ＡとＢの上部に「○」からなる笑顔検出マーク１７２が重畳表示された撮影画像（２）が表示される。 In addition, as shown in FIG. 5A, the face detection frame 171 is displayed around each face image by the processing in step S8, and “○” is placed on the upper part of the persons A and B who are smiling. The captured image (2) on which the smile detection mark 172 is superimposed is displayed.

また、ステップＳ８の判断がＮＯであって、撮影画像内に動いてしまった人物がいない場合には、ステップＳ７で更新される総合テーブル１３２の記憶内容に基づき、全員がランクａ以上となったか否かを判断する（ステップＳ１２）。このとき、図８（ｂ）を参照すると、ランクａ以上となっているのは、顔Ｎｏ．「１」と顔Ｎｏ．「２」のみである。よって、ステップＳ１２の判断はＮＯとなり、ステップＳ１からの処理を再度実行する。 If the determination in step S8 is NO and there is no person who has moved in the captured image, whether or not all have rank a or higher based on the stored contents of the general table 132 updated in step S7. It is determined whether or not (step S12). At this time, referring to FIG. 8B, the face No. “1” and face no. Only “2”. Therefore, the determination in step S12 is NO, and the processing from step S1 is executed again.

（撮影画像（３）処理）
したがって、３回目のステップＳ１での処理により、図６（ａ）に示すように、次に連写撮影された撮影画像（３）が取得されるとともに、同図（ｂ）に示すように、撮影画像（３）の個別テーブルＴ３が作成される。また、ステップＳ２〜Ｓ５の処理は、前述と同様に３回繰り返される。そして、撮影画像（３）の処理１回目においては、図６（ｂ）に示すように、個別テーブルＴ３の１行目には、人物Ａの顔Ｎｏ．「１」、顔座標「５０，２０」、特徴情報「人物Ａ」、顔評価「ａ」及び顔画像が記憶されることとなる。つまり、撮影画像（３）において人物Ａの顔は、顔評価ａに対応する表情であることから、顔評価として「ａ」が記憶される。 (Photographed image (3) processing)
Therefore, as shown in FIG. 6 (a), the captured image (3) taken next continuously is acquired by the process in the third step S1, and as shown in FIG. An individual table T3 of the photographed image (3) is created. Moreover, the process of step S2-S5 is repeated 3 times similarly to the above. In the first processing of the photographed image (3), as shown in FIG. 6B, the face No. of the person A is displayed in the first row of the individual table T3. “1”, face coordinates “50, 20”, feature information “person A”, face evaluation “a”, and face image are stored. That is, since the face of the person A in the captured image (3) is an expression corresponding to the face evaluation a, “a” is stored as the face evaluation.

また、撮影画像（３）の処理２回目においては、人物Ｂに対してステップＳ２〜Ｓ５の処理が繰り返され、これにより、図６（ｂ）に示すように、個別テーブルＴ３の２行目には、人物Ｂの顔Ｎｏ．「２」、顔座標「５０，５０」、特徴情報「人物Ｂ」、顔評価「ａ」及び顔画像が記憶されることとなる。つまり、撮影画像（３）において人物Ｂの顔は、顔評価ａに対応する表情であることから、顔評価として「ａ」が記憶される。 Further, in the second processing of the photographed image (3), the processing of steps S2 to S5 is repeated for the person B, and as a result, as shown in FIG. 6B, the second row of the individual table T3. Is the face No. of person B. “2”, face coordinates “50, 50”, feature information “person B”, face evaluation “a”, and face image are stored. That is, since the face of the person B in the captured image (3) is an expression corresponding to the face evaluation a, “a” is stored as the face evaluation.

また、３回目においては、人物Ｃに対してステップＳ２〜Ｓ５の処理が繰り返され、これにより、図６（ｂ）に示すように、個別テーブルＴ３の３行目には、人物Ｃの顔Ｎｏ．「３」、顔座標「５０，８０」、特徴情報「人物Ｃ」、顔評価「ｃ」及び顔画像が記憶されることとなる。つまり、撮影画像（３）において人物Ｃの顔は、顔評価ｃに対応する表情であることから、顔評価として「ｃ」が記憶される。 Further, in the third time, the processes of steps S2 to S5 are repeated for the person C. As a result, as shown in FIG. 6B, the face No. of the person C is displayed in the third row of the individual table T3. . “3”, face coordinates “50, 80”, feature information “person C”, face evaluation “c”, and face image are stored. That is, since the face of the person C in the photographed image (3) is an expression corresponding to the face evaluation c, “c” is stored as the face evaluation.

このようにして、人物Ａ，Ｂ，Ｃの全員に対してステップＳ２〜Ｓ５の処理が実行されると、ステップＳ６の判断がＹＥＳとなる。したがって、ステップＳ６からステップＳ７に進み、総合テーブル１３２を更新する。よって、撮影画像（３）に対しての処理が実行されると、評価ａの顔画像は顔Ｎｏ．「１」と「２」であったことから、総合テーブル１３２において、図８（ｃ）に示すように、顔Ｎｏ．「１」「２」に対応して撮影画像（３）が追記される。 In this way, when the processes in steps S2 to S5 are executed for all the persons A, B, and C, the determination in step S6 is YES. Therefore, the process proceeds from step S6 to step S7, and the general table 132 is updated. Therefore, when the process for the photographed image (3) is executed, the face image of the evaluation a is the face number. Since it was “1” and “2”, in the general table 132, as shown in FIG. The captured image (3) is additionally written corresponding to “1” and “2”.

また、ステップＳ８での処理により、図６（ａ）に示すように、各顔画像の周囲に顔検出枠１７１が表示され、かつ、笑顔となった人物ＡとＢの上部に「○」からなる笑顔検出マーク１７２が重畳表示された撮影画像（３）が表示される。 In addition, as shown in FIG. 6A, the face detection frame 171 is displayed around each face image by the processing in step S8, and “○” is displayed on the upper part of the persons A and B who are smiling. A captured image (3) on which a smile detection mark 172 is superimposed is displayed.

また、ステップＳ８の判断がＮＯであって、撮影画像内に動いてしまった人物がいない場合には、ステップＳ７で更新される総合テーブル１３２の記憶内容に基づき、全員がランクａ以上となったか否かを判断する（ステップＳ１２）。このとき、図８（ｃ）を参照すると、ランクａ以上となっているのは、顔Ｎｏ．「１」と顔Ｎｏ．「２」のみである。よって、ステップＳ１２の判断はＮＯとなり、ステップＳ１からの処理を再度実行する。 If the determination in step S8 is NO and there is no person who has moved in the captured image, whether or not all members have rank a or higher based on the stored contents of the general table 132 updated in step S7. It is determined whether or not (step S12). At this time, referring to FIG. 8 (c), the face No. “1” and face no. Only “2”. Therefore, the determination in step S12 is NO, and the processing from step S1 is executed again.

（撮影画像（４）処理）
したがって、４回目のステップＳ１での処理により、図７（ａ）に示すように、次に連写撮影された撮影画像（４）が取得されるとともに、同図（ｂ）に示すように、撮影画像（４）の個別テーブルＴ４が作成される。また、ステップＳ２〜Ｓ５の処理は、前述と同様に３回繰り返される。そして、撮影画像（４）の処理１回目においては、図７（ｂ）に示すように、個別テーブルＴ４の１行目には、人物Ａの顔Ｎｏ．「１」、顔座標「５０，２０」、特徴情報「人物Ａ」、顔評価「ｃ」及び顔画像が記憶されることとなる。つまり、撮影画像（４）において人物Ａの顔は、顔評価ｃに対応する表情であることから、顔評価として「ｃ」が記憶される。 (Photographed image (4) processing)
Therefore, as shown in FIG. 7 (a), the captured image (4) taken continuously is acquired by the process in the fourth step S1, and as shown in FIG. An individual table T4 for the photographed image (4) is created. Moreover, the process of step S2-S5 is repeated 3 times similarly to the above. In the first processing of the photographed image (4), as shown in FIG. 7B, the face No. of the person A is displayed in the first row of the individual table T4. “1”, face coordinates “50, 20”, feature information “person A”, face evaluation “c”, and face image are stored. That is, since the face of the person A in the captured image (4) is an expression corresponding to the face evaluation c, “c” is stored as the face evaluation.

また、撮影画像（４）の処理２回目においては、人物Ｂに対してステップＳ２〜Ｓ５の処理が繰り返され、これにより、図７（ｂ）に示すように、個別テーブルＴ４の２行目には、人物Ｂの顔Ｎｏ．「２」、顔座標「５１，５０」、特徴情報「人物Ｂ」、顔評価「ｂ」及び顔画像が記憶されることとなる。つまり、撮影画像（４）において人物Ｂの顔は、顔評価ｂに対応する表情であることから、顔評価として「ｂ」が記憶される。 Further, in the second processing of the photographed image (4), the processing of steps S2 to S5 is repeated for the person B, and as a result, as shown in FIG. 7B, the second row of the individual table T4. Is the face No. of person B. “2”, face coordinates “51, 50”, feature information “person B”, face evaluation “b”, and face image are stored. That is, since the face of the person B in the captured image (4) is an expression corresponding to the face evaluation b, “b” is stored as the face evaluation.

また、３回目においては、人物Ｃに対してステップＳ２〜Ｓ５の処理が繰り返され、これにより、図７（ｂ）に示すように、個別テーブルＴ４の３行目には、人物Ｃの顔Ｎｏ．「３」、顔座標「５１，８０」、特徴情報「人物Ｃ」、顔評価「ａ」及び顔画像が記憶されることとなる。つまり、撮影画像（４）において人物Ｃの顔は、顔評価ａに対応する表情であることから、顔評価として「ａ」が記憶される。 Further, in the third time, the processes of steps S2 to S5 are repeated for the person C, and as a result, as shown in FIG. 7B, the face No. of the person C is displayed in the third row of the individual table T4. . “3”, face coordinates “51, 80”, feature information “person C”, face evaluation “a”, and face image are stored. That is, since the face of the person C in the captured image (4) is an expression corresponding to the face evaluation a, “a” is stored as the face evaluation.

このようにして、人物Ａ，Ｂ，Ｃの全員に対してステップＳ２〜Ｓ５の処理が実行されると、ステップＳ６の判断がＹＥＳとなる。したがって、ステップＳ６からステップＳ７に進み、総合テーブル１３２を更新する。よって、撮影画像（４）に対しての処理が実行されると、評価ａの顔画像は顔Ｎｏ．「３」のみであったことから、総合テーブル１３２において、図８（ｄ）に示すように、顔Ｎｏ．「３」に対応して撮影画像（４）が追記される。 In this way, when the processes in steps S2 to S5 are executed for all the persons A, B, and C, the determination in step S6 is YES. Therefore, the process proceeds from step S6 to step S7, and the general table 132 is updated. Therefore, when the process for the photographed image (4) is executed, the face image of the evaluation a is the face number. Since it was only “3”, as shown in FIG. The captured image (4) is additionally written corresponding to “3”.

また、ステップＳ８での処理により、図７（ａ）に示すように、各顔画像の周囲に顔検出枠１７１が表示され、かつ、笑顔となった人物ＡとＢ及びＣの上部に「○」からなる笑顔検出マーク１７２が重畳表示された撮影画像（４）が表示される。 Further, as a result of the processing in step S8, as shown in FIG. 7A, a face detection frame 171 is displayed around each face image, and “○” is placed above the persons A, B, and C who are smiling. The photographed image (4) on which the smile detection mark 172 consisting of “is superimposed and displayed is displayed.

したがって、撮影者が笑顔検出マーク１７２を見ることにより、撮影対象とする人物全員が笑顔である画像が撮影されたか否かを確認することができる。 Therefore, when the photographer looks at the smile detection mark 172, it can be confirmed whether or not an image in which all the persons to be photographed are smiling is photographed.

また、ステップＳ８の判断がＮＯであって、撮影画像内に動いてしまった人物がいない場合には、ステップＳ７で更新される総合テーブル１３２の記憶内容に基づき、全員がランクａ以上となったか否かを判断する（ステップＳ１２）。このとき、図８（ｄ）を参照すると、顔Ｎｏ．「１」〜「３」が全てランクａ以上となっている。 If the determination in step S8 is NO and there is no person who has moved in the captured image, whether or not all have rank a or higher based on the stored contents of the general table 132 updated in step S7. It is determined whether or not (step S12). At this time, referring to FIG. “1” to “3” are all rank a or higher.

（合成処理等）
このように、顔Ｎｏ．「１」〜「３」が全てランクａ以上となっている時間的に連続する撮影画像（１）〜（４）が連写されると、ステップＳ１２の判断はＹＥＳとなり、ステップＳ１２からステップＳ１３に進んで、合成画像の組合せ候補を選出する。この組合せ候補の選出は、図８（ｄ）に示した総合テーブル１３２の最終結果に基づいて行う。つまり、総合テーブル１３２における「評価ａ撮影画像」欄を参照すると、顔Ｎｏ．「１」は、「（２）、（３）」であり、顔Ｎｏ．「２」は、「（１）、（２）、（３）」であり、顔Ｎｏ．「３」は、「（４）」である。したがって、評価ａの顔Ｎｏ．「１」〜「３」の顔画像を全て含んで、尚且つ最小限枚数の撮影画像となる撮影画像の組合せは、「（２）＋（４）」又は「（３）＋（４）」である。よって、この最少限の撮影枚数の組合せである「（２）＋（４）」又は「（３）＋（４）」を組合せ候補として選出し、図８（ｄ）に示すように、総合テーブル１３２の「組合せ候補」欄に書き込む（ステップＳ１３） (Synthesis processing, etc.)
In this way, face no. If continuously photographed images (1) to (4) in which “1” to “3” are all rank a or higher are continuously shot, the determination in step S12 is YES, and steps S12 to S13 are performed. Proceed to, and select a combination candidate of the composite image. This combination candidate selection is performed based on the final result of the general table 132 shown in FIG. That is, referring to the “evaluation a captured image” field in the general table 132, the face No. “1” is “(2), (3)”. “2” is “(1), (2), (3)”. “3” is “(4)”. Therefore, the face no. The combination of photographed images that include all the face images “1” to “3” and that is the minimum number of photographed images is “(2) + (4)” or “(3) + (4)”. It is. Therefore, “(2) + (4)” or “(3) + (4)”, which is the minimum combination of the number of shots, is selected as a combination candidate, and as shown in FIG. 132 is written in the “combination candidate” field (step S13).

次に、ベース画像を決定する（ステップＳ１４）。図１２は、このステップＳ１４におけるベース画像決定処理の処理手順を示すサブルーチンである。このベース画像の決定に際しては、前記組合せ候補内の撮影画像において、「顔評価ａ」の顔画像がより多く存在する撮影画像をベース画像として選択する（ステップＳ１４１）。次に、この選択されたベース画像が複数であるか否かを判断する（ステップＳ１４２）。そして、複数ではなく単一の画像がステップＳ１４１で選択された場合には、当該選択された画像をベース画像として決定する（ステップＳ１４３）。しかし、ステップＳ１０１で複数の画像がベース画像として選択された場合には、選択された場合は、その中からより背景が明瞭な撮影画像、つまり背景のブレが少なくコントラストピーク値が最も高い画像をベース画像として決定する（ステップＳ１４４）。 Next, a base image is determined (step S14). FIG. 12 is a subroutine showing the procedure of the base image determination process in step S14. In determining the base image, a captured image having more face images of “face evaluation a” among the captured images in the combination candidates is selected as a base image (step S141). Next, it is determined whether there are a plurality of selected base images (step S142). If a single image is selected instead of a plurality of images in step S141, the selected image is determined as a base image (step S143). However, if a plurality of images are selected as the base image in step S101, a captured image with a clearer background, that is, an image with the highest contrast peak value from the background blur is selected. The base image is determined (step S144).

したがって、本例の組合せ候補「（２）＋（４）」又は「（３）＋（４）」において、撮影画像（４）は「顔評価ａ」の顔画像が人物Ｃのみである一方、撮影画像（２）（３）は「顔評価ａ」の顔画像が人物Ａ，Ｂであるので、このステップＳ１４１では先ず撮影画像（２）（３）が選択される。また、ステップＳ１４１での選択は複数画像であるので、ステップＳ１４２の判断はＹＥＳとなる。したがって、ステップＳ１４２からＳ１４４に進み、撮影画像（２）（３）を比較して、例えば撮影画像（２）の方がより背景が明瞭であれば、撮影画像（２）がベース画像として決定されることとなる。 Therefore, in the combination candidate “(2) + (4)” or “(3) + (4)” in this example, the captured image (4) has only the person C as the face image of “face evaluation a”, In the captured images (2) and (3), since the face images of “Face evaluation a” are the persons A and B, first in this step S141, the captured images (2) and (3) are selected. Since the selection at step S141 is a plurality of images, the determination at step S142 is YES. Therefore, the process proceeds from step S142 to S144, and the captured images (2) and (3) are compared. If the background of the captured image (2) is clearer, for example, the captured image (2) is determined as the base image. The Rukoto.

これにより、後述する合成画像Ｐの背景を明瞭なものにすることができる。 Thereby, the background of the composite image P to be described later can be made clear.

また、このように撮影画像（２）をベース画像として決定すると、組合せ候補「（２）＋（４）」又は「（３）＋（４）」において、最終的な組合せは「（２）＋（４）」となることから、図８（ｄ）に示すように、「（２）＋（４）」が総合テーブル１３２の「最終組合せ」欄に書き込まれる。 Further, when the photographed image (2) is determined as the base image in this way, in the combination candidate “(2) + (4)” or “(3) + (4)”, the final combination is “(2) + (4) ”, therefore,“ (2) + (4) ”is written in the“ final combination ”column of the general table 132 as shown in FIG.

なお、このように組合せが複数存在する場合は、各組合せ候補を時系列に並べてみて、最初の画像と最後の画像との時間的な差が最少となる組合せ候補を選択した上で、合成数が一番少なく出来る画像をベース画像として選択しても良い。 In addition, when there are a plurality of combinations in this way, try combining the combination candidates in time series, and select the combination candidate that minimizes the temporal difference between the first image and the last image. An image that can be minimized is selected as the base image.

例えば、上記のケースにおいては、「（２）＋（４）」よりも「（３）＋（４）」の方が時間的な差が小さいので、最終組合せを「（３）＋（４）」として選択した上で、（３）と（４）を比較し、（３）のほうが（４）よりも顔評価ａの画像が多く含まれているため、（３）をベース画像として選択するように構成しても良い。 For example, in the above case, since “(3) + (4)” has a smaller temporal difference than “(2) + (4)”, the final combination is “(3) + (4)”. Then, (3) and (4) are compared. Since (3) contains more images with face evaluation a than (4), (3) is selected as the base image. You may comprise as follows.

このように構成することで、場合によっては、画像を合成した時に、合成対象とする画像が時間的に近接している為、より自然な風合いの合成画像を取得し易くなる、というメリットがある。 With this configuration, there is a merit that in some cases, when images are combined, images to be combined are close in time, so that it is easy to acquire a combined image with a more natural texture. .

また、上記開示した２つの画像合成のアルゴリズムの両方を参酌した上で、合成画像がより自然となるものを選択するように構成しても構わない。 Further, in consideration of both of the two disclosed image synthesis algorithms, a configuration in which a synthesized image becomes more natural may be selected.

そして、図３のフローにおける次のステップＳ１５においては、この総合テーブル１３２の「最終組合せ」欄と前記ステップＳ１４で決定されたベース画像とに基づき、各顔部分画像を決定する。つまり、最終的な組合せは「（２）＋（４）」であり、「（２）＋（４）」において、ベース画像が撮影画像（２）であるとすると、ベース画像である撮影画像（２）において人物Ａ、Ｂは笑顔であるから、そのまま撮影画像（２）に残存させることができる。したがって、撮影画像（２）において笑顔ではない人物Ｃ部分である顔部分画像Ｇ４−３を撮影画像（４）から切り出して、撮影画像（２）の人物Ｃ部分に上書き合成すればよいことになる。よって、ステップＳ１５においては、撮影画像（２）の人物Ｃ部分が上書き部分として決定され、かつ、撮影画像（４）の人物Ｃ部分が切り出し部分として決定される。 Then, in the next step S15 in the flow of FIG. 3, each face partial image is determined based on the “final combination” column of the general table 132 and the base image determined in step S14. That is, the final combination is “(2) + (4)”. If the base image is the captured image (2) in “(2) + (4)”, the captured image ( Since the persons A and B in 2) are smiling, they can be left in the captured image (2) as they are. Accordingly, the face partial image G4-3, which is the portion of the person C who is not smiling in the photographed image (2), may be cut out from the photographed image (4) and overwritten on the person C portion of the photographed image (2). . Therefore, in step S15, the person C portion of the captured image (2) is determined as the overwritten portion, and the person C portion of the captured image (4) is determined as the cut-out portion.

なお、人物Ｃ部分を単に上書き合成すると書いたが、これに限らない。 In addition, although it wrote that the person C part was simply overwritten and combined, it is not restricted to this.

例えば、撮影画像（４）から切り出した顔部分画像Ｇ４−３の輪郭付近を間引く処理を行なった上で、上書き合成しても良い。 For example, overwriting may be performed after thinning the outline of the face partial image G4-3 cut out from the photographed image (4).

これにより、合成画像の輪郭部分がより自然な風合いとした合成画像を取得することが可能となる。 As a result, it is possible to acquire a composite image in which the contour portion of the composite image has a more natural texture.

次に、これら決定した各画像部分を合成する（ステップＳ１６）。つまり、図５（ｂ）の撮影画像（２）テーブルＴ２における人物Ｃの顔座標「５０，８１」に基づいて、前述のように撮影画像（２）の人物Ｃ部分に、図７（ｂ）の撮影画像（４）テーブルＴ４における人物Ｃの「顔画像」を読み出して、この読み出した撮影画像（４）の人物Ｃ部分を撮影画像（２）の消去した人物Ｃ部分に顔座標が示す位置に上書き合成して、合成画像を生成する。 Next, the determined image portions are synthesized (step S16). That is, based on the face coordinates “50, 81” of the person C in the photographed image (2) table T2 in FIG. 5B, the person C portion of the photographed image (2) is shown in FIG. The face image of the person C in the photographed image (4) table T4 is read out, and the position indicated by the facial coordinates of the person C portion of the photographed image (4) that has been read is erased from the photographed image (2) Overwrite and combine to generate a composite image.

なお、撮影画像（４）の人物Ｃ部分を切り出し、この撮影画像（４）に係る人物Ｃの顔座標「５１，８０」に基づいて、人物Ｃ部分を撮影画像（２）の人物Ｃ部分に上書き合成して、合成画像を生成してもよい。 The person C portion of the photographed image (4) is cut out, and the person C portion is changed to the person C portion of the photographed image (2) based on the face coordinates “51, 80” of the person C related to the photographed image (4). A composite image may be generated by overwriting composition.

また、撮影画像（２）と撮影画像（４）とでは、正確には人物Ｃの位置がずれているので、合成箇所の輪郭部分に不自然な風合いが生じる可能性があり、種々の対策を施すことが望ましく、例えば上記に尚書きしたように、輪郭部分周囲を間引いた顔部分画像を合成するようにすることが好ましい。 In addition, since the position of the person C is accurately deviated between the photographed image (2) and the photographed image (4), an unnatural texture may occur in the contour portion of the composite part, and various countermeasures are taken. For example, as described above, it is preferable to synthesize a face part image with the outline part thinned out.

また、画像合成にあっては、ＪＰＥＧ画像は８×８ビットや１６×１６ビット毎に圧縮されて画像生成されるので、これを考慮して顔部分画像の切取り範囲を決定して、画像合成することが好ましい。 Also, in image composition, JPEG images are compressed and generated every 8 × 8 bits or 16 × 16 bits. Therefore, the cutout range of the face partial image is determined in consideration of this, and image composition is performed. It is preferable to do.

したがって、本例においては、１回の合成のみにより、図１０（ａ）に示すように、人物Ａ，Ｂ，Ｃ全員が笑顔である合成画像Ｐを得ることができる。よって、顔部分画像の合成数を減らすことができ、これにより合成画像の品質低下を抑制することができる。また、合成回数を減らすことができる結果、処理速度を高めることもできる。 Therefore, in the present example, as shown in FIG. 10A, a composite image P in which all the persons A, B, and C are smiling can be obtained by only one synthesis. Therefore, the number of face partial images to be combined can be reduced, thereby suppressing deterioration in the quality of the combined image. In addition, the processing speed can be increased as a result of reducing the number of times of synthesis.

しかも、時間的に連続する連写された撮影画像を用いて合成画像を生成することから、合成された画像に違和感が生ずることもない。 In addition, since the composite image is generated using the continuously captured images continuously taken in time, there is no sense of incongruity in the composite image.

次に、このステップＳ１６で生成した合成画像Ｐをメモリカード２１に記録する（ステップＳ１７）。このとき、合成画像Ｐに関連付けて、イグジフに前記総合テーブル１３２の「最終組合せ」（図８（ｄ）参照）に基づいて図１０（ｂ）に示す合成画像の個別テーブルＴＧを、Ｔ２とＴ４より生成して保存しておく。 Next, the composite image P generated in step S16 is recorded on the memory card 21 (step S17). At this time, in association with the composite image P, the individual table TG of the composite image shown in FIG. 10B based on the “final combination” of the general table 132 (see FIG. 8D) is assigned to T2 and T4. Generate and save.

ここで、Ｔ２とＴＧとは殆ど同じものであるが、人物Ｃ部分については、撮影画像（４）に係る人物Ｃの顔座標「５１，８０」に基づいて切り出した顔部分画像Ｇ４−３を記録している点がＴ２とＴＧとの相違点である。 Here, T2 and TG are almost the same, but for the person C portion, a face partial image G4-3 cut out based on the face coordinates “51, 80” of the person C related to the captured image (4) is obtained. The point of recording is the difference between T2 and TG.

引き続き、レックビュー表示１回目を実行して、前記合成画像Ｐを表示部１７に表示する（ステップＳ１８）。このとき、図１１（ａ）に示すように、合成画像Ｐとともに、各人物Ａ，Ｂ，Ｃ毎に顔検出枠１７１と、笑顔検出マーク１７２を表示させる。 Subsequently, the first REC view display is executed, and the composite image P is displayed on the display unit 17 (step S18). At this time, a face detection frame 171 and a smile detection mark 172 are displayed for each person A, B, and C together with the composite image P as shown in FIG.

これにより、撮影者は顔検出枠１７１により、被写体の全員の顔が検出されて合成されたこと、及び全員が笑顔であることを確認することができる。 As a result, the photographer can confirm that the faces of all subjects in the subject have been detected and combined by the face detection frame 171 and that everyone is smiling.

次に、合成画像Ｐ内の顔部分画像を表示部１７に、顔Ｎｏ．順に拡大表示させる（ステップＳ１９）。そして、全員の顔部分画像の拡大表示を終了するまで（ステップＳ２０）、ステップＳ１９の処理を繰り返す。したがって、このステップＳ１９での処理により、図１１（ｂ）に示すように、人物Ａ，Ｂ，Ｃの顔部分画像が順次拡大して表示される。 Next, the face partial image in the composite image P is displayed on the display unit 17 with the face number. The images are enlarged and displayed in order (step S19). Then, the process of step S19 is repeated until the enlargement display of the face partial images of all members is completed (step S20). Therefore, by the processing in step S19, as shown in FIG. 11B, the face partial images of the persons A, B, and C are sequentially enlarged and displayed.

よって、撮影者がこの拡大して表示される人物Ａ，Ｂ，Ｃの顔部分画像を視認することより、合成画像Ｐ内の各人物Ａ，Ｂ，Ｃの顔が笑顔であるか否かを明瞭に確認することができる。 Therefore, the photographer visually recognizes the face partial images of the persons A, B, and C displayed in an enlarged manner, thereby determining whether or not the faces of the persons A, B, and C in the composite image P are smiling. It can be clearly confirmed.

なお、人物Ａ，Ｂ，Ｃの顔部分画像のみならず、人物Ａ，Ｂ，Ｃの顔部分画像とその周囲とを含む部分画像を拡大表示するようにしてもよい。これにより、当該顔部分画像の合成境界部分が拡大して表示され、撮影者は合成の良否を確認することできる。 It should be noted that not only the face partial images of the persons A, B, and C but also the partial images including the face partial images of the persons A, B, and C and their surroundings may be enlarged and displayed. Thereby, the composite boundary part of the face partial image is enlarged and displayed, and the photographer can check the quality of the composite.

全員の顔部分画像の拡大表示が終了したならば、レックビュー表示２回目を実行する（ステップＳ２１）。このレックビュー表示２回目においては、図１１（ｃ）に示すように、前記レックビュー表示１回目と異なり、顔検出枠１７１や笑顔検出マーク１７２を表示させることなく、合成画像Ｐのみを表示させる。 When the enlarged display of all the face partial images is completed, the second REC view display is executed (step S21). In the second REC view display, as shown in FIG. 11C, unlike the first REC view display, only the composite image P is displayed without displaying the face detection frame 171 and the smile detection mark 172. .

したがって、撮影者はこのレックビュー表示２回目により、顔検出枠１７１や笑顔検出マーク１７２によって妨げられることなく、記録された画像そのままの合成画像Ｐを確認することができる。 Therefore, the photographer can confirm the recorded composite image P as it is without being interrupted by the face detection frame 171 and the smile detection mark 172 by the second rec view display.

さらに、取得した撮影画像、つまり図４（ａ）〜図７（ａ）に示した撮影画像（１）〜（４）を削除して（ステップＳ２２）、スルー画像表示状態に戻る。したがって、合成画像Ｐを生成することにより不要となった撮影画像（１）〜（４）がメモリカード２１に残存してしまうことがなく、メモリカード２１の記憶容量を有効に使用することができる。 Furthermore, the acquired captured images, that is, the captured images (1) to (4) shown in FIGS. 4A to 7A are deleted (step S22), and the display returns to the through image display state. Therefore, the captured images (1) to (4) that are no longer required by generating the composite image P do not remain in the memory card 21, and the storage capacity of the memory card 21 can be used effectively. .

なお、このように本実施の形態においては、撮影画像（１）〜（４）を削除するようにしたが、合成画像Ｐに関連付けてメモリカード２１に保存しておくようにしてもよい。これにより、一部の人物が笑顔ではない撮影画像（１）〜（４）を後日観賞することもできる。この場合、各撮影画像（１）〜（４）のイグジグに図４（ｂ）〜図７（ｂ）に示した個別テーブルＴ１〜Ｔ４を保存しておくことにより、合成画像から対応する撮影画像を検索することができる。 As described above, in the present embodiment, the photographed images (1) to (4) are deleted, but may be stored in the memory card 21 in association with the composite image P. Thereby, it is possible to view the captured images (1) to (4) where some persons are not smiling at a later date. In this case, by storing the individual tables T1 to T4 shown in FIGS. 4B to 7B in the fixtures of the respective captured images (1) to (4), the corresponding captured images from the composite image are stored. Can be searched.

また、レックビュー表示２回目処理（ステップＳ２１）の後に、ＯＫであるか否かの判断ステップを設け、ＯＫであった場合には、撮影画像を削除する（ステップＳ２２）。しかし、ＯＫでない場合には、撮影画像（１）〜（４）を表示させて、手動操作により合成を可能としてもよい。 In addition, after the second REC view display process (step S21), a step for determining whether or not the image is OK is provided. If the image is OK, the photographed image is deleted (step S22). However, if it is not OK, the captured images (1) to (4) may be displayed to allow composition by manual operation.

また、実施の形態においては、全員がランクａ以上（ステップＳ１２→ＹＥＳ）となった場合に連写を終了するようにしたが、所定枚数となった時点で連写を終了するようにしてもよい。これにより、連写が過剰に継続する不都合を未然に防止することができる。 Further, in the embodiment, the continuous shooting is ended when all the members are ranked a or higher (step S12 → YES). However, the continuous shooting is ended when the predetermined number is reached. Good. Thereby, it is possible to prevent inconvenience that continuous shooting continues excessively.

また、実施の形態においては、人物が笑顔である場合を「顔評価ａ」としたが、人物の目が開いていること、あるいは人物の目線がデジタルカメラ１方向を指向していること等を「顔評価ａ」としてもよく、またこれらの組合せであってもよい。これにより、全員が目を開いている合成画像、あるいは全員の目線がカメラ方向に統一された合成画像を生成、記録することができる。なお、撮影画像において人物の目が開いているか否か、あるいは全員の目線がカメラ方向に向いているか否かの判断処理に関しては、特開２００４−３３６２６５号に開示されている技術を適宜用いることができる。 In the embodiment, the case where the person is smiling is set as “face evaluation a”. However, the person's eyes are open or the person's eyes are pointing in the direction of the digital camera 1. “Face evaluation a” may be used, or a combination thereof. This makes it possible to generate and record a composite image in which everyone has eyes open, or a composite image in which the eyes of all are unified in the camera direction. Note that the technique disclosed in Japanese Patent Application Laid-Open No. 2004-336265 is appropriately used for determining whether a person's eyes are open in the captured image or whether all the eyes are facing the camera. Can do.

また、実施の形態においては、デジタルカメラに本発明を適用するようにしたが、デジタルカメラに限らず、携帯電話機やＰＤＡ等の撮像機能を備えた各種機器、あるいは画像合成システムに適用することができる。 In the embodiments, the present invention is applied to a digital camera. However, the present invention is not limited to a digital camera, and may be applied to various devices having an imaging function such as a mobile phone and a PDA, or an image composition system. it can.

本発明の一実施の形態を適用したデジタルカメラの電気的構成の概略を示すブロック図である。1 is a block diagram illustrating an outline of an electrical configuration of a digital camera to which an embodiment of the present invention is applied. 顔画像評価テーブルの構成を示す概念図である。It is a conceptual diagram which shows the structure of a face image evaluation table. 本実施の形態の処理手順を示すフローチャートである。It is a flowchart which shows the process sequence of this Embodiment. （ａ）は撮影画像（１）を示す図であり、（ｂ）は撮影画像（１）の個別テーブルＴ１を示す図である。(A) is a figure which shows the picked-up image (1), (b) is a figure which shows the separate table T1 of a picked-up image (1). （ａ）は撮影画像（２）を示す図であり、（ｂ）は撮影画像（２）の個別テーブルＴ１を示す図である。(A) is a figure which shows a picked-up image (2), (b) is a figure which shows the separate table T1 of a picked-up image (2). （ａ）は撮影画像（３）を示す図であり、（ｂ）は撮影画像（３）の個別テーブルＴ１を示す図である。(A) is a figure which shows the picked-up image (3), (b) is a figure which shows the separate table T1 of a picked-up image (3). （ａ）は撮影画像（４）を示す図であり、（ｂ）は撮影画像（４）の個別テーブルＴ１を示す図である。(A) is a figure which shows a picked-up image (4), (b) is a figure which shows the separate table T1 of a picked-up image (4). 総合テーブルの遷移図である。It is a transition diagram of a general table. 警告表示の画面例を示す図である。It is a figure which shows the example of a screen of a warning display. （ａ）合成画像を示す図であり、（ｂ）は合成画像の個別テーブルＴＧを示す図である。(A) It is a figure which shows a synthesized image, (b) is a figure which shows the separate table TG of a synthesized image. （ａ）はレックビュー１回目表示例、（ｂ）は部部画像表示例、（ｃ）はレックビュー２回目表示例を示す図である。(A) is a REC view first display example, (b) is a partial image display example, and (C) is a REC view second display example. ステップＳ１４におけるベース画像決定処理の処理手順を示すサブルーチンである。It is a subroutine which shows the process sequence of the base image determination process in step S14.

符号の説明Explanation of symbols

１デジタルカメラ
７撮像部
９カラープロセス回路
１０ＤＭＡコントローラ
１２ＤＲＡＭ
１３制御部
１４表示部
１５ＶＲＡＭ
１６デジタルビデオエンコーダ
１７表示部
１９キー入力部
２０制御部
２０画像処理部
２１メモリカード
１３１顔画像評価テーブル
１３２総合テーブル
１７１顔検出枠
１７２笑顔検出マーク DESCRIPTION OF SYMBOLS 1 Digital camera 7 Imaging part 9 Color process circuit 10 DMA controller 12 DRAM
13 Control unit 14 Display unit 15 VRAM
16 Digital Video Encoder 17 Display Unit 19 Key Input Unit 20 Control Unit 20 Image Processing Unit 21 Memory Card 131 Face Image Evaluation Table 132 General Table 171 Face Detection Frame 172 Smile Detection Mark

Claims

複数の撮影対象を含む撮影画像を、複数取得する取得手段と、
この取得手段により取得された複数の撮影画像夫々について、前記複数の撮影対象の夫々の撮影状態が予め設定された基準を満たすか否かを判断する判断手段と、
この判断手段により基準を満たすと判断された撮影対象を最も多く含む撮影画像を、ベース画像として選択する選択手段と、
この選択手段により選択されたベース画像以外の撮影画像に含まれ、前記判断手段により基準を満たすと判断された撮影対象の部分画像を抽出する抽出手段と、
この抽出手段により抽出された部分画像を、前記選択手段により選択されたベース画像の前記撮影対象部分に合成する合成手段と
を備えることを特徴とする画像合成装置。 An acquisition means for acquiring a plurality of captured images including a plurality of imaging targets;
For each of the plurality of captured images acquired by the acquisition unit, a determination unit that determines whether each of the shooting states of the plurality of shooting targets satisfies a preset criterion;
A selection unit that selects, as a base image, a captured image including the largest number of imaging targets determined to satisfy the criterion by the determination unit;
Extraction means for extracting a partial image to be imaged that is included in a captured image other than the base image selected by the selection means and determined to satisfy the criteria by the determination means;
An image synthesizing apparatus comprising: synthesizing means for synthesizing the partial image extracted by the extracting means with the photographing target portion of the base image selected by the selecting means.

前記選択手段は、前記ベース画像として選択すべき撮影画像が複数存在する場合には、前記撮影対象を除いた背景部分が最も明瞭な撮影画像を前記ベース画像として選択することを特徴とする請求項1記載の画像合成装置。 The selection means, when there are a plurality of photographed images to be selected as the base image, selects the photographed image with the clearest background portion excluding the photographing object as the base image. The image composition device according to 1.

前記取得手段は、時間的に連続して前記複数の撮影画像を取得することを特徴とする請求項１又は２記載の画像合成装置。 The image synthesizing apparatus according to claim 1, wherein the acquisition unit acquires the plurality of captured images continuously in time.

前記撮影対象は人物における顔であるとともに、人物の顔の撮影状態を評価する評価手段を更に備え、
前記判断手段は、前記評価手段による評価が所定以上の撮影状態を、前記基準を満たす撮影状態と判断することを特徴とする請求項１、２又は３記載の画像合成装置。 The subject to be photographed is a face in a person, and further comprises an evaluation means for evaluating the photographing state of the person's face,
The image synthesizing apparatus according to claim 1, wherein the determination unit determines that a shooting state evaluated by the evaluation unit is equal to or greater than a predetermined value as a shooting state satisfying the criterion.

前記評価手段が評価する顔の撮影状態には、笑顔の撮影状態か否か、目が開いている撮影状態か否か、目線が所定方向を向いている撮影状態か否かのいずれか１つを含むことを特徴とする請求項４記載の画像合成装置。 The face photographing state evaluated by the evaluation means is any one of a photographing state with a smile, a photographing state with an open eye, and a photographing state with a line of sight facing a predetermined direction. The image synthesizing apparatus according to claim 4, further comprising:

表示手段と、
前記取得手段により取得された撮影画像を前記表示手段に表示させる際、前記撮像画像に含まれる複数の撮影対象の撮影状態が、前記判断手段により基準を満たすもの否かを識別可能に表示するよう制御する表示制御手段と
を更に備えることを特徴とする請求項１乃至５のいずれか１項に記載の画像合成装置。 Display means;
When displaying the captured image acquired by the acquisition unit on the display unit, the determination unit displays whether or not the imaging states of a plurality of imaging targets included in the captured image satisfy the criteria. 6. The image synthesizing apparatus according to claim 1, further comprising display control means for controlling.

前記取得手段により取得された複数の撮影画像に基づき、前記複数の撮影対象の少なくともいずれか１つが所定以上動いたか否かを判断する動き判断手段と、
この動き判断手段により前記複数の撮影対象の少なくともいずれか１つが所定以上動いたと判断された場合、前記取得手段による取得を停止させる停止手段と
を更に備えることを特徴とする請求項１乃至６のいずれか１項に記載の画像合成装置。 Movement determining means for determining whether or not at least one of the plurality of photographing objects has moved a predetermined amount or more based on the plurality of photographed images obtained by the obtaining means;
7. The apparatus according to claim 1, further comprising: a stopping unit that stops acquisition by the acquiring unit when it is determined by the movement determining unit that at least one of the plurality of photographing objects has moved a predetermined amount or more. The image composition device according to any one of the preceding claims.

前記合成手段により合成された合成画像を、前記合成手段の合成に用いられた撮影画像と関連付けて記録する記録手段を設けたことを特徴とする１乃至７のいずれか１項に記載の画像合成装置。 The image composition according to any one of claims 1 to 7, further comprising recording means for recording the composite image synthesized by the synthesis means in association with the photographed image used for the synthesis of the synthesis means. apparatus.

前記合成画像が前記記録手段に記録された後に、当該合成画像を表示する前記表示手段に表示するよう制御する表示制御手段を更に備えることを特徴とする６乃至８のいずれか１項に記載の画像合成装置。 9. The display control unit according to claim 6, further comprising a display control unit configured to control the composite image to be displayed on the display unit after the composite image is recorded on the recording unit. Image composition device.

前記表示手段は、前記合成画像における前記撮影対象部分を更に拡大表示することを特徴とする請求項９記載の画像合成装置。 The image synthesizing apparatus according to claim 9, wherein the display unit further enlarges and displays the photographing target portion in the synthesized image.

前記取得手段は、被写体を撮像する撮像手段を含むことを特徴とする請求項１乃至１０のいずれか１項に記載の画像合成装置。 The image synthesizing apparatus according to claim 1, wherein the acquisition unit includes an imaging unit that images a subject.

画像合成装置が有するコンピュータを、
複数の撮影対象を含む撮影画像を、複数取得する取得手段、
この取得手段により取得された複数の撮影画像夫々について、前記複数の撮影対象の夫々の撮影状態が予め設定された基準を満たすか否かを判断する判断手段、
この判断手段により基準を満たすと判断された撮影対象を最も多く含む撮影画像を、ベース画像として選択する選択手段、
この選択手段により選択されたベース画像以外の撮影画像に含まれ、前記判断手段により基準を満たすと判断された撮影対象の部分画像を抽出する抽出手段、
この抽出手段により抽出された部分画像を、前記選択手段により選択されたベース画像の前記撮影対象部分に合成する合成手段
して機能させることを特徴とする画像合成プログラム。 A computer included in the image composition device,
Acquisition means for acquiring a plurality of photographed images including a plurality of photographing objects;
A determination unit that determines whether each of the shooting states of the plurality of shooting targets satisfies a preset criterion for each of the plurality of shot images acquired by the acquisition unit;
Selecting means for selecting, as a base image, a photographed image including the largest number of photographing objects determined to satisfy the criteria by the judging means;
An extraction unit that extracts a partial image of a shooting target that is included in a captured image other than the base image selected by the selection unit and that is determined to satisfy a criterion by the determination unit;
An image synthesizing program for causing a partial image extracted by the extracting unit to function as a synthesizing unit that synthesizes the partial image extracted by the selecting unit with the shooting target portion of the base image selected by the selecting unit.

複数の撮影対象を含む撮影画像を、複数取得する取得ステップと、
この取得ステップにて取得された複数の撮影画像夫々について、前記複数の撮影対象の夫々の撮影状態が予め設定された基準を満たすか否かを判断する判断ステップと、
この判断ステップにて基準を満たすと判断された撮影対象を最も多く含む撮影画像を、ベース画像として選択する選択ステップと、
この選択ステップにて選択されたベース画像以外の撮影画像に含まれ、前記判断ステップにより基準を満たすと判断された撮影対象の部分画像を抽出する抽出ステップと、
この抽出ステップにて抽出された部分画像を、前記選択ステップにて選択されたベース画像の前記撮影対象部分に合成する合成ステップと
を含むことを特徴とする画像合成方法。 An acquisition step of acquiring a plurality of captured images including a plurality of shooting targets;
For each of the plurality of captured images acquired in this acquisition step, a determination step of determining whether or not the respective shooting states of the plurality of shooting targets satisfy a preset criterion;
A selection step of selecting, as a base image, a captured image that includes the largest number of imaging targets determined to satisfy the criteria in this determination step;
An extraction step for extracting a partial image to be imaged that is included in the captured image other than the base image selected in the selection step and that is determined to satisfy the criteria in the determination step;
An image synthesizing method comprising: a synthesizing step of synthesizing the partial image extracted in the extracting step with the photographing target portion of the base image selected in the selecting step.