JP5424827B2 - 画像処理装置 - Google Patents

Description

本発明は、画像に対して処理を施す画像処理装置に関する。

従来、デジタルカメラやデジタルビデオカメラ等の撮像装置においては、撮影した画像に対して様々な画像処理を施す技術が知られている。例えば、撮影者の手ぶれや被写体の動きによってぶれた画像を撮影してしまった場合、その画像を自動的に消去する技術が知られている（例えば、特許文献１を参照）。この技術では、被写体画像の輝度信号に含まれる顔の特徴部分の高域成分を検索し、その高域成分が一定レベル未満の画像をぶれた画像とみなして消去する。

また、コマ撮りされた複数の画像フレームの各々について、撮影時刻が隣接する二つの画像フレームの重なり具合が最大となる画像位置を判別し、この判別した画像位置に基づいて各画像フレームの出力位置を揃える技術が知られている（例えば、特許文献２を参照）。この技術では、撮影時刻が隣接する二つの画像フレームの一方に対する他方の移動方向を算出することにより、重なり具合が最大となる画像位置を判別する。

特許第４０６３５９２号公報 特開２００５−２６７００５号公報

ところで、動画で人物を撮影したり人物を連写したりする場合には、その人物の表情や動きの変化を楽しみたいという欲求が根底にある。しかしながら、例えば人物の表情の変化に注目する場合には、その人物の顔を拡大して撮影するため、その人物の動きの変化が分かりにくくならざるを得なかった。また、人物の動きの変化に注目する場合には、その人物の身体を撮影するため、画面全体に占める顔の割合が小さくなり、表情の変化を捉えにくくなっていた。このように、従来の画像処理技術では、ユーザが、連続して撮影された複数の画像を用いて被写体の様々な状態変化を楽しむことができなかった。

本発明は、上記に鑑みてなされたものであって、連続して撮影された複数の画像を用いてユーザが被写体の様々な状態変化を楽しむことを可能にする画像処理装置を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、連続して撮影された複数の画像からなる連続画像群および前記複数の画像の各々と関連する情報を記憶する記憶部と、前記記憶部が記憶する前記連続画像群を撮影順に連続して表示可能な表示部と、前記記憶部が記憶する前記複数の画像にそれぞれ含まれる同一の顔を検出する顔検出部と、前記顔検出部が検出した同一の顔の各画像における位置および大きさが揃うように各画像を補正する画像補正手段と、前記画像補正手段が補正した各画像の補正画像からなる補正画像群および前記連続画像群のいずれか一方の画像群を前記表示部に表示させる制御を行う表示制御部と、を備えたことを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記画像補正手段は、前記複数の画像から比較基準画像を定め、該比較基準画像と比較して前記同一の顔の大きさおよび位置が変化した画像に対して画像の補正を行うことを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記画像補正手段は、前記複数の画像の各々におけるトリミング領域を決定するトリミング領域決定部と、前記トリミング領域決定部が決定したトリミング領域に応じて各画像のトリミングを行うトリミング部と、前記トリミング部がトリミングした画像を前記複数の画像と同じサイズに拡大することによって前記補正画像を生成する画像拡大部と、を有することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記画像補正手段は、前記同一の顔の所定方向の長さの最大値を各画像における前記長さで除した商で与えられる拡大率によって各画像を拡大する画像拡大部と、前記画像拡大部が拡大した画像におけるトリミング領域を決定するトリミング領域決定部と、前記トリミング領域決定部が決定したトリミング領域に応じて各画像のトリミングを行うことによって前記補正画像を生成するトリミング部と、を有することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記画像拡大部は、前記同一の顔の所定方向の長さの最大値を該長さの最小値で除した商が基準拡大率より大きい場合、前記拡大率に１より小さい定数を乗じた積を真の拡大率として各画像を拡大することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記トリミング領域の縦横比は、前記複数の画像の縦横比と等しいことを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記補正画像を縮小し、この縮小した前記補正画像を、補正前の画像の一部の領域に配置することによって合成画像を生成する画像合成部を備えたことを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記画像補正手段は、前記複数の画像の全てに共通した領域であって前記同一の顔が含まれない領域を抽出する領域抽出部を有し、前記画像合成部は、各画像の前記領域抽出部が抽出した領域に、各画像と対応する前記補正画像を配置することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記画像補正手段は、前記複数の画像のうち撮影時刻が隣接する二つの画像間における前記同一の顔の表情の変化を該同一の顔の特徴点の変位量に基いて検出する変化検出部を有し、前記画像合成部は、前記変化検出部が検出した前記同一の顔の表情の変化が基準より大きい場合、表情の変化が大きいことを示す画像を、前記二つの画像のうち後で撮影された画像に合成することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記表示制御部は、前記補正画像群および前記連続画像群に前記画像合成部が合成した各画像の合成画像からなる合成画像群を加えた三つの画像群のうちいずれか一つの画像群を前記表示部に表示させる制御を行うことを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、所定の領域から光を集光して該領域内の被写体を撮像し、この撮像した画像の電子的なデータを生成する撮像部を備え、前記記憶部は、前記撮像部が連続的に撮影した複数の撮影画像を記憶し、前記表示制御部は、前記撮像部が前記複数の撮影画像の撮影を終了した後、前記三つの画像群のうちいずれか一つの画像群を前記表示部に表示させる制御を行うことを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、所定の領域から光を集光して該領域内の被写体を撮像し、この撮像した画像の電子的なデータを生成する撮像部を備え、前記記憶部は、前記撮像部が連続的に撮影した複数の撮影画像を記憶し、前記表示制御部は、前記撮像部が前記複数の撮影画像の撮影を行っている最中に、前記表示部に対し、最新の撮影画像に対応する前記補正画像または前記合成画像を順次表示させる制御を行うことを特徴とする。

本発明によれば、連続して撮影された連続画像群を構成する複数の画像にそれぞれ含まれる同一の顔を検出し、検出した同一の顔の各画像における大きさおよび位置が揃うように各画像を補正して補正画像を生成し、この生成した補正画像からなる補正画像群または連続画像群を表示することが可能な構成を有しているため、ユーザは、連続して撮影された複数の画像を用いて被写体の様々な状態変化を楽しむことができる。

図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。 図２は、本発明の実施の形態１に係る画像処理装置が撮影した連続画像群を示す図である。 図３は、撮影画像におけるトリミング領域を示す図である。 図４は、本発明の実施の形態１に係る画像処理装置が表情再生モードに設定されている場合の表示部における表示例を示す図である。 図５は、本発明の実施の形態１に係る画像処理装置が合成表示モードに設定されている場合の表示部における表示例を示す図である。 図６は、本発明の実施の形態１に係る画像処理装置が行う処理の概要を示すフローチャートである。 図７は、本発明の実施の形態１に係る画像処理装置が行う合成表示処理の概要を示すフローチャートである。 図８は、本発明の実施の形態１の変形例１に係る画像処理装置が行う処理の概要を示すフローチャートである。 図９は、本発明の実施の形態１の変形例２に係る画像処理装置が行う処理の概要を示すフローチャートである。 図１０は、本発明の実施の形態２に係る画像処理装置が行う処理の概要を示すフローチャートである。 図１１は、本発明の実施の形態２に係る画像処理装置が行う撮影処理の概要を示すフローチャートである。 図１２は、本発明の実施の形態２に係る画像処理装置が行う画像加工処理の概要を示すフローチャートである。 図１３は、本発明の実施の形態２に係る画像処理装置が行う拡大画像の生成処理を模式的に示す図である。 図１４は、本発明の実施の形態２に係る画像処理装置が生成した拡大画像群を示す図である。 図１５は、本発明の実施の形態３に係る画像処理装置が行う画像加工処理の概要を示すフローチャートである。 図１６は、顔の高さの最大値を最小値で除した商が基準拡大率より大きい場合の拡大画像の生成処理を模式的に示す図である。 図１７は、顔の高さの最大値を最小値で除した商が基準拡大率である場合に生成された拡大画像群を示す図である。 図１８は、本発明の実施の形態４に係る画像処理装置が行う処理の概要を示すフローチャートである。

以下、添付図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）を説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置の一例である撮像装置の構成を示すブロック図である。同図に示す撮像装置１は、主として動画を撮影するとともに、撮影した動画やその動画に基いて画像処理が施された画像を再生する機能を有する。具体的には、撮像装置１は、所定の領域からの光を集光し、この集光した光を光電変換することによって得られる画像信号からデジタルの画像データを生成する撮像部２と、撮像部２が生成した画像データに対応する画像に対して画像処理を施す画像処理部３と、画像処理部３で処理が施された画像を含む各種情報を表示する表示部４と、撮像部２が生成した画像データ等を一時的に記憶する仮記憶部５と、撮像部２が撮影した画像の画像データを含む各種情報を記憶する記憶部６と、レリーズ信号を含む撮像装置１の操作信号等の入力を受け付ける操作入力部７、タイマー機能を備えた時計８と、撮像装置１の動作を制御する制御部９と、を備える。

撮像部２は、一または複数のレンズによって構成され、所定の視野領域に存在する被写体からの光を集光する光学系と、光学系が集光した光の入射量を調整する絞りと、レリーズ入力に応じて動作するシャッタと、絞りおよびシャッタを通過した光を受光して電気信号に変換するＣＣＤ（Charge Coupled Device）等の撮像素子と、撮像素子から出力されるアナログ信号に増幅やホワイトバランス等の信号処理を施した後、Ａ／Ｄ変換を行うことによってデジタルの画像データを生成する信号処理回路とを有する。

表示部４は、液晶または有機ＥＬ（Electro Luminescence）等からなる表示パネルを用いて実現され、画像データのほかに撮像装置１の操作情報や撮影に関する情報を適宜表示する。

画像処理部３は、画像に含まれる人物の顔を検出する顔検出部３１と、画像のトリミングを行うトリミング部３２と、トリミング部３２によってトリミングされた画像を拡大する画像拡大部３３と、複数の画像を合成する画像合成部３４と、画像データの圧縮または伸張を行う圧縮伸張部３５とを有する。

記憶部６は、撮像部２が撮影し、画像処理部３によって処理が施された画像の画像データを記憶する画像データ記憶部６１と、顔検出部３１が画像中の顔を検出する際に参照する顔情報を記憶する顔情報記憶部６２と、撮像装置１が実行する各種プログラムを記憶するプログラム記憶部６３とを有する。記憶部６は、撮像装置１の内部に固定的に設けられるフラッシュメモリやＤＲＡＭ（Dynamic Random Access Memory）等の半導体メモリを用いて実現される。なお、記憶部６が、外部から装着されるメモリカード等のコンピュータ読取可能な記録媒体に対して情報を記録する一方、記録媒体が記録する情報を読み出す記録媒体インターフェースとしての機能を有してもよい。

操作入力部７は、撮像装置１の電源スイッチ、撮像指示を与えるレリーズ信号を入力するレリーズスイッチ、撮像装置１で設定可能な各種動作モードの切替を行うモード切替スイッチなどを有する。また、表示部４に積層したタッチパネルによって操作入力部７を実現し、ユーザが表示部４で表示される情報に基いた操作信号の入力を行えるようにしてもよい。

制御部９は、画像でトリミングする領域を決定するトリミング領域決定部９１と、撮影時刻が隣接する画像間における特徴点の変位量等に基いた変化を検出する変化検出部９２と、一連の複数の画像において同一の顔が含まれない領域を抽出する領域抽出部９３と、表示部４の表示を制御する表示制御部９４とを有する。制御部９は、ＣＰＵ（Central Processing Unit）等を用いて実現され、制御対象である撮像装置１の各構成部位とバスラインを介して接続されている。

トリミング部３２、画像拡大部３３、トリミング領域決定部９１、変化検出部９２および領域抽出部９３は、動画像を構成する各フレームに対し、顔検出部３１が検出した同一の顔の画像における位置および大きさが揃うように補正を加える画像補正手段を構成する。ここで、顔の位置は、例えば顔の画像の一または複数の代表点の座標によって定められ、顔の大きさは、例えば顔の画像の輪郭部分の面積として定められる。また、顔の位置が揃うとは、二つの顔の画像における一または複数の代表点の一部または全部の座標同士の差が所定の範囲よりも小さくなることを意味する。さらに、顔の大きさが揃うとは、二つの顔の画像における顔の画像の輪郭部分の面積の差が所定の範囲よりも小さくなることを意味する。

ここで、図２〜図５を参照して、以上の構成を有する撮像装置１が行う処理の特徴を説明する。図２は、撮像装置１が連続して撮影した複数の画像からなる連続画像群としての撮影画像群を示す図である。図２に示す動画は、Ｎ枚の撮影画像（フレーム）からなり、図２で画面の下に描かれた矢印に沿って撮影順に並んでいる。なお、図２では、Ｎ枚の撮影画像のうち、７枚の撮影画像Ｆ₁、Ｆ_i、Ｆ_i+1、Ｆ_j、Ｆ_k、Ｆ_k+1、Ｆ_Nを記載している（１＜ｉ＜ｊ＜ｋ＜Ｎ）。このうち、撮影画像Ｆ_i、Ｆ_i+1は、撮影時刻が隣接している。また、撮影画像Ｆ_k、Ｆ_k+1も撮影画像が隣接している。

撮像装置１は、図２に示す一連の動画を撮影する際、顔検出部３１が各撮影画像における同一人物の顔を検出し、トリミング領域決定部９１によって決定されたトリミング領域をトリミング部３２がトリミングし、このトリミングした領域を画像拡大部３３が拡大することによって補正画像としての拡大画像を生成する。

図３は、トリミング領域決定部９１が決定したトリミング領域を示す図である。図３に示す場合、トリミング領域Ｔ₁、Ｔ_i、Ｔ_i+1、Ｔ_j、Ｔ_k、Ｔ_k+1、Ｔ_Nは、撮影画像Ｆ₁、Ｆ_i、Ｆ_i+1、Ｆ_j、Ｆ_k、Ｆ_k+1、Ｆ_Nに対してそれぞれ決定された領域であり、被写体の顔が画面全域となるように設定された領域である。なお、図３に示す場合、各トリミング領域の縦横比は、撮影画像の縦横比と等しい。

図４は、画像拡大部３３が、撮影画像群をなす各画像を拡大した拡大画像からなる拡大画像群を示す図である。同図に示す拡大画像群は、画像補正手段によって補正された補正画像群に相当するものである。なお、図４では、拡大画像群の一部の拡大画像のみを示している。拡大画像Ｅ₁、Ｅ_i、Ｅ_i+1、Ｅ_j、Ｅ_k、Ｅ_k+1、Ｅ_Nは、画像拡大部３３によってトリミング領域Ｔ₁、Ｔ_i、Ｔ_i+1、Ｔ_j、Ｔ_k、Ｔ_k+1、Ｔ_Nがそれぞれ拡大された画像である。このようにして、被写体の顔の部分を拡大した画像からなる画像を連続的に表示することにより、ユーザは特定のシーンにおける被写体の顔の表情変化を楽しむことができるようになる。拡大画像Ｅ₁、Ｅ_i、Ｅ_i+1、Ｅ_j、Ｅ_k、Ｅ_k+1、Ｅ_Nは、撮像装置１が再生モードの一種である表情再生モードに設定されている場合、表示部４によって再生表示される。

撮像装置１では、表情再生モードを設定した状態で、さらに合成表示モードを設定することができる。図５は、撮像装置１が合成表示モードに設定されている場合に表示部４で表示される画像群の表示例を示す図である。同図に示す画像群は、画像合成部３４によって合成された合成画像群である。なお、図５では、合成画像群の一部の合成画像のみを示している。図５に示す合成画像Ｃ₁、Ｃ_i、Ｃ_i+1、Ｃ_j、Ｃ_k、Ｃ_k+1、Ｃ_Nは、撮影画像Ｆ₁、Ｆ_i、Ｆ_i+1、Ｆ_j、Ｆ_k、Ｆ_k+1、Ｆ_Nの所定領域に拡大画像Ｅ₁、Ｅ_i、Ｅ_i+1、Ｅ_j、Ｅ_k、Ｅ_k+1、Ｅ_Nを縮小して配置した画像である。合成画像を生成する際には、まず領域抽出部９３が一連の全ての撮影画像Ｆ₁〜Ｆ_Nの顔が含まれない領域を抽出する。この抽出される領域は、例えば撮影画像と同じ縦横比を有し、かつ画像の面積が最大となる領域である。領域抽出部９３による処理に続いて、画像合成部３４は、領域抽出部９３によって抽出された領域にトリミング領域を縮小して配置することにより、合成画像を生成する。

図５に示す合成画像群においては、合成画像Ｃ_i+1、Ｃ_k+1の拡大画像表示領域に強調用アイコンｍがそれぞれ重畳して表示されている。この強調用アイコンｍは、直前の撮影画像からの被写体の表情変化が大きい撮影画像を含む合成画像から所定枚数分の合成画像に重畳して表示されるものである。なお、強調用アイコンｍのデザイン、表示位置、大きさは、図５に示すものに限られるわけではない。また、強調用アイコンｍを表示する代わりに、例えば音声を出力したり、撮像装置１の本体を振動させたりすることにより、顔の表情変化が大きいことを報知するようにしてもよい。

以上の説明においては、被写体が撮像装置１へ徐々に近づいてくる状況を動画で撮影する場合を説明したが、被写体が撮像装置１から遠ざかる場合であっても、同様の画像処理を行うことが可能である。

図６は、撮像装置１が行う処理の概要を示すフローチャートである。まず、撮像装置１が撮影モードに設定されている場合（ステップＳ１：Ｙｅｓ）、表示制御部９４は表示部４にスルー画表示を開始させる（ステップＳ２）。

その後、操作入力部７のレリーズスイッチが押されると（ステップＳ３：Ｙｅｓ）、撮像部２は画像の撮影を行う（ステップＳ４）。続いて、顔検出部３１は、撮影された画像に含まれる顔を検出する（ステップＳ５）。この際、顔検出部３１は、顔情報記憶部６２が記憶する顔情報を参照し、パターンマッチング等の手法によって顔を検出する。

顔検出部３１が画像に含まれる顔を検出した場合（ステップＳ６：Ｙｅｓ）、制御部９は、顔検出部３１によって検出された顔の位置や大きさを含む顔情報を撮影画像とともに仮記憶部５へ記録する（ステップＳ７）。ステップＳ７において、顔検出部３１が複数の顔を検出した場合には、例えば画面の中央部に最も近い画像のみを仮記憶部５へ記録するようにすればよい。なお、顔検出部３１が複数の顔を検出した場合、最も面積が大きい顔のみを仮記憶部５へ記録するようにしてもよい。

続いて、顔検出部３１が検出した顔の画像が拡大可能である場合（ステップＳ８：Ｙｅｓ）、制御部９は、顔位置で露出、ピント調整を行う（ステップＳ９）。ここで、顔の画像を拡大可能であるか否かは、顔を所定の大きさに拡大する際の拡大率が予め定められた閾値以下であるか否かに応じて判定される。ここでの閾値は、その閾値以下の拡大率で拡大した場合に顔を明確に認識できるような値であることが望ましい。

この後、トリミング領域決定部９１が撮影画像中でトリミングする領域を決定する（ステップＳ１０）。この場合のトリミング領域は、たとえば図３で示したように、顔の大きさが画面のほぼ全域となるような領域として設定される。トリミング部３２は、トリミング領域決定部９１によって決定された領域にしたがって画像のトリミングを行う（ステップＳ１１）。その後、画像拡大部３３は、トリミング領域を拡大して拡大画像を生成し、この生成した拡大画像を仮記憶部５へ記録する（ステップＳ１２）。

仮記憶部５で仮記憶する拡大画像が二つ以上ある場合（ステップＳ１３：Ｙｅｓ）、変化検出部９２は、直近の二つの拡大画像を比較して両拡大画像に共通する被写体の顔の表情変化を検出し、検出結果を仮記憶部５へ記録する（ステップＳ１４）。

撮像装置１がステップＳ４〜Ｓ１４の処理を行う間に操作入力部７から撮影終了指示が入力された場合（ステップＳ１５：Ｙｅｓ）、撮像装置１は撮影を終了する（ステップＳ１６）。これに対し、操作入力部７からの終了指示が入力されない場合（ステップＳ１５：Ｎｏ）、撮像装置１はステップＳ４に戻って処理を繰り返す。ステップＳ１５での撮影終了指示は、例えばレリーズスイッチを押すことによって入力される。

撮像装置１が撮影を終了した後、制御部９は、撮影画像や拡大画像の画像データを仮記憶部５から読み出し、この読み出した画像データを圧縮伸張部３５によって圧縮させた後、記憶部６へ記録する（ステップＳ１７）。この際、制御部９は、仮記憶部５からの画像データの消去も合わせて行う。その後、撮像装置１はステップＳ１へ戻る。

ステップＳ６において、顔検出部３１が画像に含まれる顔を検出しなかった場合（ステップＳ６：Ｎｏ）、およびステップＳ８において、顔検出部３１が検出した顔の画像が拡大可能でない場合（ステップＳ８：Ｎｏ）、撮像装置１はステップＳ１３へ移行する。

ステップＳ１３において、仮記憶部５で仮記憶する拡大画像が二つ以上ない場合（ステップＳ１３：Ｎｏ）、撮像装置１はステップＳ１５へ移行する。

次に、撮像装置１が撮影モードに設定されていない場合（ステップＳ１：Ｎｏ）を説明する。この場合において、撮像装置１が再生モードに設定されているとき（ステップＳ２１：Ｙｅｓ）、撮像装置１は、設定されている再生モードの種類に応じた処理を行う。

撮像装置１が表情再生モードに設定され（ステップＳ２２：Ｙｅｓ）、かつ合成表示モードに設定されている場合（ステップＳ２３：Ｙｅｓ）、撮像装置１は、図５に示すように、撮影した画像と拡大画像との合成画像を撮影順に表示する（ステップＳ２４）。合成表示のより詳細な処理内容については、図７を参照して後述する。一方、撮像装置１が表情再生モードに設定され（ステップＳ２２：Ｙｅｓ）、かつ合成表示モードに設定されていない場合（ステップＳ２３：Ｎｏ）、撮像装置１は、拡大画像群（図４を参照）を用いて動画再生を行う（ステップＳ２５）。ステップＳ２４またはＳ２５の後、操作入力部７から終了指示が入力された場合（ステップＳ２６：Ｙｅｓ）、撮像装置１は一連の処理を終了する。

ステップＳ２２において、表情再生モードに設定されていない場合（ステップＳ２２：Ｎｏ）、撮像装置１は通常の動画再生を行い（ステップＳ２７）、ステップＳ２６へ移行する。この場合に再生される動画像は、撮影画像群（図２を参照）である。

次に、ステップＳ２４における合成表示処理の概要を、図７に示すフローチャートを参照して説明する。図７において、まず領域抽出部９３は、全ての撮影画像Ｆ₁〜Ｆ_Nの顔の位置を顔情報記憶部６２から取得し、この取得した位置情報に基づいて、全ての撮影画像で顔が含まれない領域を抽出する（ステップＳ３１）。

続いて、全ての撮影画像Ｆ₁〜Ｆ_Nに対してループ処理を行う（ステップＳ３２）。このループ処理では、まず画像合成部３４が、圧縮伸張部３５を介して互いに対応する撮影画像およびトリミング画像のペアを記憶部６から取得する（ステップＳ３３）。続いて、変化検出部９２が、例えば顔の代表点の前の画像からの変位量に基づいて表情変化の有無を検出する（ステップＳ３４）。この際、最初の撮影画像に対しては、表情変化がないものとして取り扱うように予め設定しておく。

ステップＳ３４において、変化検出部９２が表情変化を検出した場合（ステップＳ３４：Ｙｅｓ）、画像合成部３４が変化強調合成画像を生成し、この生成された変化強調合成画像を表示部４が表示する（ステップＳ３５）。ここでいう変化強調合成画像とは、表情変化が大きい箇所で変化を強調する情報を合わせて表示する合成画像のことであり、具体的には図５に示す合成画像Ｃ_i+1、Ｃ_k+1のことである。これらの合成画像Ｃ_i+1、Ｃ_k+1の場合には、強調用アイコンｍが変化を強調する情報に他ならない。

一方、ステップＳ３４において、変化検出部９２が表情変化を検出しなかった場合（ステップＳ３４：Ｎｏ）、処理対象の撮影画像が、変化検出部９２によって最後に表情変化が検出されてから所定時間（例えば０．５〜２秒程度）経過後に撮影された画像であるとき（ステップＳ３６：Ｙｅｓ）、画像合成部３４が通常の合成画像を生成し、この生成された合成画像を表示部４が表示する（ステップＳ３７）。このステップＳ３７で表示する合成画像は、例えば図５に示す合成画像Ｃ_iのような画像である。

ステップＳ３６において、処理対象の画像が、変化検出部９２によって最後に表情変化が検出されてから所定時間経過する前に撮影された画像であるとき（ステップＳ３６：Ｎｏ）、撮像装置１はステップＳ３５へ移行する。これにより、表示部４では、変化検出部９２が表情変化を検出してから所定枚数分連続して強調用アイコンｍが表示されることとなる。このように強調用アイコンｍを連続して表示することにより、ユーザは強調用アイコンｍが表示されていることを確実に認識することができる。

以上説明したステップＳ３２のループ処理（ステップＳ３３〜Ｓ３７）を全ての撮影画像に対して実行した場合、撮像装置１はメインルーチンへ戻る。

以上説明した本発明の実施の形態１によれば、連続的に撮影された連続画像群（撮影画像群）を構成する複数の画像にそれぞれ含まれる同一の顔を検出し、検出した同一の顔の各画像における大きさおよび位置が揃うように各画像を補正して補正画像を生成し、この生成した補正画像からなる補正画像群または連続画像群を表示することが可能な構成を有しているため、ユーザは、連続的に撮影された複数の画像を用いて被写体の様々な状態変化を楽しむことができる。

また、本実施の形態１によれば、撮影画像に顔の拡大画像を合成して表示するため、顔の表情変化と体の動きをあわせて表示することができる。

また、本実施の形態１によれば、合成画像を表示する際に、顔の表情変化が大きい場合に強調用アイコンを重畳して表示するため、顔の表情変化が大きいことを視覚的に強調することができる。

（変形例１）
図８は、本実施の形態１の変形例１に係る撮像装置が行う処理の概要を示すフローチャートである。本変形例１に係る撮像装置の構成は、撮像装置１の構成と同様である。図８において、図６のフローチャートと異なるのは、ステップＳ１４とステップＳ１５との間に処理が追加されている点である。以下、ステップＳ１４において、変化検出部９２が直近の二つの拡大画像を比較して両拡大画像に共通する被写体の顔の表情変化を検出し、検出結果を仮記憶部５へ記録した後に続く処理（ステップＳ４１〜Ｓ４３）を説明する。

変化検出部９２によって表情変化が検出された場合（ステップＳ４１：Ｙｅｓ）、画像合成部３４が変化強調合成画像を生成し、この生成された変化強調合成画像を表示部４が表示する（ステップＳ４２）。この後、撮像装置１はステップＳ１５へ移行する。

これに対し、変化検出部９２によって顔の表情変化が検出されなかった場合（ステップＳ４１：Ｎｏ）、処理対象の画像が、変化検出部９２によって最後に表情変化が検出されてから所定時間（例えば０．５〜２秒程度）経過後に撮影された画像であるとき（ステップＳ４３：Ｙｅｓ）、画像合成部３４が通常の合成画像を生成し、この生成された合成画像を表示部４が表示する（ステップＳ４４）。この後、撮像装置１はステップＳ１５へ移行する。

ステップＳ４３において、処理対象の画像が、変化検出部９２によって最後に表情変化が検出されてから所定時間経過する前に撮影された画像であるとき（ステップＳ４３：Ｎｏ）、撮像装置１はステップＳ４２へ移行する。

以上説明した本実施の形態１の変形例１によれば、撮影者は、ほぼリアルタイムで合成画像による動画を見ながら撮影を行うことができる。

（変形例２）
図９は、本実施の形態１の変形例２に係る撮像装置の制御の流れを示すフローチャートである。本変形例２に係る撮像装置の構成も、撮像装置１の構成と同様である。図９において、図６のフローチャートと異なるのは、撮像装置１が撮影を終了し（ステップＳ１６）、撮影画像や拡大画像の画像データを仮記憶部５から読み出し、圧縮伸張部３５を介して記憶部６に記憶（ステップＳ１７）した後、図６におけるステップＳ２４と同じ合成表示（ステップＳ４５）を行う点である。このような本実施の形態１の変形例２によれば、撮影者は、撮影を終了した直後に撮影した画像の合成画像による動画を見て被写体の表情変化を楽しむことができる。

（実施の形態２）
本発明の実施の形態２は、一連の画像の中で被写体の顔の大きさが最大である画像に合わせて他の画像を拡大することを特徴とする。本実施の形態２に係る撮像装置は、上記実施の形態１で説明した撮像装置１と同様の構成を有している。

図１０は、本実施の形態２に係る撮像装置１が行う処理の概要を示すフローチャートである。まず、撮像装置１が撮影モードに設定されている場合（ステップＳ５１：Ｙｅｓ）、表示制御部９４は表示部４にスルー画表示を開始させる（ステップＳ５２）。

その後、操作入力部７のレリーズスイッチが押されると（ステップＳ５３：Ｙｅｓ）、撮像装置１は画像の撮影処理を行う（ステップＳ５４）。図１１は、ステップＳ５４の撮影処理の概要を示すフローチャートである。図１１において、まず撮像部２が画像の撮影を行う（ステップＳ７１）。その後、顔検出部３１は、顔情報記憶部６２が記憶する顔情報を参照することにより、撮像部２が撮影した画像に含まれる顔を検出する（ステップＳ７２）。

顔検出部３１が画像に含まれる顔を検出した場合（ステップＳ７３：Ｙｅｓ）、制御部９は、顔検出部３１によって検出された顔の位置や大きさを含む顔情報を撮影画像とともに仮記憶部５へ記録する（ステップＳ７４）。

続いて、顔検出部３１が検出した顔の大きさが所定の大きさ以上である場合（ステップＳ７５：Ｙｅｓ）、仮記憶部５に撮影画像の比較対象である比較基準画像が仮記憶されていれば（ステップＳ７６：Ｙｅｓ）、変化検出部９２が撮影画像と比較基準画像とを比較する（ステップＳ７７）。比較の結果、顔の位置、大きさに所定の基準を超える変化があった場合（ステップＳ７８：Ｙｅｓ）、制御部９は撮影画像を加工用画像として記憶し（ステップＳ７９）、図１０に示すメインルーチンへ戻る。この際には、撮影画像の画像データに加工用画像であることを示す識別情報を付加したものを画像データ記憶部６１へ記録する。

ステップＳ７６において、比較基準画像が仮記憶部５に記憶されていない場合（ステップＳ７６：Ｎｏ）、制御部９は撮影画像を比較基準画像として仮記憶部５へ記録し（ステップＳ８０）、図１０に示すメインルーチンへ戻る。例えば、図２に示す撮影画像群では、撮影画像Ｆ₁が比較基準画像となる。この場合、撮影画像Ｆ_i、Ｆ_i+1、Ｆ_j、Ｆ_j+1、Ｆ_k、Ｆ_k+1、Ｆ_Nも比較基準画像と顔の位置や大きさが異なるため、加工用画像として画像データ記憶部６１に記憶される。

ステップＳ７５において、顔の大きさが所定の大きさよりも小さい場合（ステップＳ７５：Ｎｏ）、仮記憶部５に比較基準画像が仮記憶されていれば（ステップＳ８１：Ｙｅｓ）、制御部９は比較基準画像を消去して（ステップＳ８２）、図１０に示すメインルーチンへ戻る。

顔の大きさが所定の大きさよりも小さく（ステップＳ７５：Ｎｏ）、かつ仮記憶部５に比較基準画像が仮記憶されていない場合（ステップＳ８１：Ｎｏ）、制御部９はメインルーチンへ戻る。

撮像装置１がステップＳ５４の撮影処理（ステップＳ７１〜Ｓ８２）を行っている最中に、操作入力部７によって撮影終了指示が入力された場合（ステップＳ５５：Ｙｅｓ）、撮像装置１は撮影を終了し（ステップＳ５６）、所定の画像（加工用画像）の加工を行う（ステップＳ５７）。一方、撮像装置１がステップＳ５４の撮影処理を行っている最中に、操作入力部７によって撮影終了指示が入力されない場合（ステップＳ５５：Ｎｏ）、撮像装置１はステップＳ５４の撮影処理を繰り返す。

図１２は、ステップＳ５７の画像加工処理の概要を示すフローチャートである。まず、画像データ記憶部６１に記憶されている加工用画像が所定枚数以上ある場合（ステップＳ９１：Ｙｅｓ）、面積が最大である顔画像を含む加工用画像を抽出して最大加工用画像Ｉ_maxとし（ステップＳ９２）、その最大加工用画像Ｉ_maxの顔の高さ（縦の長さ）をｆ_maxとする（ステップＳ９３）。

この後、撮像装置１は、全ての加工用画像Ｆ_nに対するループ処理を行う（ステップＳ９４）。制御部９は、まず加工用画像Ｆ_nにおける顔の高さｆ_nの拡大率Ｋ（ｎ）＝ｆ_max／ｆ_nを算出する（ステップＳ９５）。その後、画像拡大部３３は、最大加工用画像Ｉ_maxの顔位置に加工用画像Ｆ_nの顔位置を揃えて拡大率Ｋ（ｎ）で加工用画像Ｆ_nを拡大する（ステップＳ９６）。

続いて、トリミング領域決定部９１がトリミング領域を決定する（ステップＳ９７）。この後、トリミング部３２は、トリミング領域決定部９１によって決定されたトリミング領域にしたがって画像のトリミングを行う（ステップＳ９８）。その後、制御部９は、トリミングされた拡大画像を記憶部６へ記録する（ステップＳ９９）。

ステップＳ９４のループ処理（ステップＳ９５〜Ｓ９９）が終了した後、撮像装置１は、図１０に示すメインルーチンへ戻る。

ステップＳ９１で加工用画像が所定枚数よりも少ない場合（ステップＳ９１：Ｎｏ）を説明する。この場合、変化検出部９２が検出した顔の表情変化が大きいとき（ステップＳ１００：Ｙｅｓ）、画像処理部３は、加工用画像に対してスローモーション対応処理を施す（ステップＳ１０１）。このステップＳ１０１におけるスローモーション対応処理は、例えば、各加工用画像の表示時間を通常よりも長くするような処理である。この後、撮像装置１は、図１０に示すメインルーチンへ戻る。ステップＳ１００において、顔の表情変化が小さいとき（ステップＳ１００：Ｎｏ）、撮像装置１は、図１０に示すメインルーチンへ戻る。

図１３は、ステップＳ９４のループ処理における拡大画像の生成を模式的に示す図である。図１３において、加工用画像Ｆ_１の拡大画像Ｅ'₁は、拡大率Ｋ（１）＝ｆ_max／ｆ₁で拡大されている。その結果、拡大画像Ｅ'₁における顔の高さはｆ_maxとなっている。

図１４は、生成された拡大画像群を示す図である。図１４において、拡大画像Ｅ'₁、Ｅ'_i、Ｅ'_i+1、Ｅ'_j、Ｅ'_k、Ｅ'_k+1、Ｅ'_Nは、加工用画像Ｆ₁、Ｆ_i、Ｆ_i+1、Ｆ_j、Ｆ_k、Ｆ_k+1、Ｆ_Nをそれぞれトリミングした後に拡大した画像である。これらの拡大画像における顔の位置および大きさは、最大加工用画像Ｉ_maxの顔の位置および大きさにほぼ揃えて表示される。したがって、図１４に示す拡大画像群を撮影順に表示することにより、ユーザは被写体の表情変化を認識することができる。このように、本実施の形態２においては、大きさがある程度大きい比較基準画像からの顔の位置および大きさの変化が大きい画像のみを抽出し、この抽出した撮影画像を加工用画像としているため、画像処理を行う際に撮像装置１に加わる負荷を軽減させることができる。

撮像装置１が撮影モードに設定されていない場合（ステップＳ５１：Ｎｏ）に続くステップＳ６１〜Ｓ６７の処理は、図６に示すステップＳ２１〜Ｓ２７の処理に順次対応している。なお、ステップＳ６４における合成表示で表示する合成画像は、加工用画像として選択された撮影画像Ｆ_nに、その撮影画像Ｆ_nを所定の拡大率Ｆ（ｎ）で拡大した拡大画像Ｅ_n'を合成することによって得られる画像である。

以上説明した本発明の実施の形態２によれば、上記実施の形態１と同様、ユーザは、連続的に撮影された複数の画像を用いて被写体の様々な状態変化を楽しむことができる。

また、本実施の形態２によれば、大きさがある程度大きい比較基準画像からの顔の位置および大きさの変化が大きい画像のみを抽出し、この抽出した撮影画像のみを加工用画像としているため、画像処理を行う際に撮像装置に加わる負荷を軽減させ、処理の高速化、安定化を実現することができる。

また、本実施の形態２によれば、顔の大きさが最大である最大加工用画像に合わせて顔を拡大するため、最大加工用画像に身体も表示されている場合、ユーザは顔と身体の動きの変化を同時に楽しむことができる。

（実施の形態３）
本発明の実施の形態３は、上述した実施の形態２と同様に、一連の画像の中で被写体の顔の大きさが最大である画像に合わせて他の画像を拡大するが、拡大率が大きすぎて画像の解像度が低下する可能性がある場合には、拡大率を小さくして画像の解像度の低下を抑制することを特徴とする。本実施の形態３に係る撮像装置は、上記実施の形態１で説明した撮像装置１と同じ構成を有している。

本実施の形態３に係る撮像装置１が行う処理の概要は、画像加工処理を除いて、上記実施の形態２で図１０に示すフローチャートを参照して説明した処理の概要と同様である。そこで、以下では、本実施の形態３に係る撮像装置１が行う画像加工処理の概要について、図１５に示すフローチャートを参照して説明する。まず、画像データ記憶部６１に記憶されている加工用画像が所定枚数以上ある場合（ステップＳ１１１：Ｙｅｓ）、制御部９は、面積が最大である顔画像を含む加工用画像を抽出して最大加工用画像Ｉ_maxとし（ステップＳ１１２）、その最大加工用画像Ｉ_maxの顔の高さをｆ_maxとする（ステップＳ１１３）。続いて、面積が最小である顔画像を含む加工用画像を抽出して最小加工用画像Ｉ_minとし（ステップＳ１１４）、その最小加工用画像Ｉ_minの顔の高さをｆ_minとする（ステップＳ１１５）。図２に示す場合、最大加工用画像Ｉ_maxは撮影画像Ｆ_Nであり、最小加工用画像Ｉ_minは撮影画像Ｆ₁である。

この後、撮像装置１は、全ての加工用画像Ｆ_nに対するループ処理を行う（ステップＳ１１６）。まず、最大加工用画像Ｉ_maxにおける顔の高さｆ_maxを最小加工用画像Ｉ_minにおける顔の高さｆ_minで除した商ｆ_max／ｆ_minが所定の基準拡大率Ｍよりも大きい場合（ステップＳ１１７：Ｙｅｓ）、制御部９は、加工用画像Ｆ_nにおける顔の高さｆ_nの拡大率Ｋ（ｎ）＝ｆ_max／ｆ_nを、１より小さい定数αを乗じた値α×Ｋ（ｎ）を真の拡大率とする（ステップＳ１１８）。ここで、基準拡大率Ｍは、画像の解像度に応じて定められる値であり、例えばＭ＝５である。また、定数αは、例えばα＝０．５とおくことができる。

ステップＳ１１７において、商ｆ_max／ｆ_minが基準拡大率Ｍ以下である場合（ステップＳ１１７：Ｎｏ）、制御部９は拡大率Ｋ（ｎ）としてｆ_max／ｆ_nを算出する（ステップＳ１１９）。

ステップＳ１１８またはＳ１１９の後、画像拡大部３３は、最大加工用画像Ｉ_maxの顔の位置に加工用画像Ｆ_nの顔の位置を揃えて拡大率Ｋ（ｎ）で拡大する（ステップＳ１２０）。その後、トリミング領域決定部９１が加工用画像Ｆ_nでトリミングする領域を決定し（ステップＳ１２１）。続いて、トリミング部３２は、トリミング領域決定部９１によって決定されたトリミング領域にしたがって画像のトリミングを行う（ステップＳ１２２）。その後、制御部９は、トリミングされた拡大画像を記憶部６へ記録する（ステップＳ１２３）。

図１６は、ステップＳ１１６のループ処理において、ｆ_max／ｆ_min＞Ｍである場合の拡大画像の生成を模式的に示す図である。図１６において、最小加工用画像Ｉ_minである加工用画像Ｆ_１の拡大画像Ｅ''₁は、拡大率Ｋ（１）＝α×ｆ_max／ｆ₁で拡大されている。その結果、拡大画像Ｅ''₁における顔の高さはα×ｆ_max（＜ｆ_max）となっている。

図１７は、ｆ_max／ｆ_min＞Ｍである場合に生成された拡大画像群を示す図である。図１７において、拡大画像Ｅ''₁、Ｅ''_i、Ｅ''_i+1、Ｅ''_j、Ｅ''_k、Ｅ''_k+1、Ｅ''_Nは、図２に示す撮影画像Ｆ₁、Ｆ_i、Ｆ_i+1、Ｆ_j、Ｆ_k、Ｆ_k+1、Ｆ_Nをそれぞれトリミングした後で拡大した画像である。これらの拡大画像は、画面の縦の長さと顔の高さが加工用画像Ｆ_Lほど大きくはないが、表情を識別できる程度に拡大されている。したがって、ユーザは、顔の表情変化を十分に認識することができる。

ステップＳ１１１で加工用画像が所定時間の動画に相当する枚数よりも少ない場合（ステップＳ１１１：Ｎｏ）に続けて行うステップＳ１２４、Ｓ１２５の処理は、図１２のステップＳ１００、Ｓ１０１の処理に順次対応している。

以上説明した本発明の実施の形態３によれば、上記実施の形態１と同様、ユーザは、連続的に撮影された複数の画像を用いて被写体の様々な状態変化を楽しむことができる。

また、本実施の形態３によれば、拡大率が大きすぎて解像度が低くなってしまう恐れがある場合には、拡大率を小さくして解像度を優先させることにより、表情や身体の動きを明確に表示することができる。

（実施の形態４）
図１８は、本発明の実施の形態４に係る撮像装置が行う処理の概要を示すフローチャートである。本実施の形態４においては、顔部分の画像を拡大してトリミングする処理を再生モードを実行する際に行う。本実施の形態４に係る撮像装置は、上記実施の形態１で説明した撮像装置１と同じ構成を有している。

撮像装置１が撮影モードに設定されている場合（ステップＳ１３１：Ｙｅｓ）のステップＳ１３２〜Ｓ１３６の処理は、図１０のステップＳ５２〜Ｓ５６の処理に順次対応している。撮像装置１は、撮影が終了（ステップＳ１３６）した後、ステップＳ１３１へ戻る。

次に、撮像装置１が撮影モードに設定されていない場合（ステップＳ１３１：Ｎｏ）を説明する。この場合、撮像装置１が再生モードに設定され（ステップＳ１３７：Ｙｅｓ）、かつ表情再生モードに設定されている場合（ステップＳ１３８：Ｙｅｓ）、制御部９は、再生対象となる撮影画像群に含まれる加工用画像に対し、画像データ記憶部６１が記憶する情報をもとに、処理対象の顔に関する顔判定を行う（ステップＳ１３９）。ここでいう顔判定とは、処理対象の顔が継続して撮影されている時間の判定、ならびに変化検出部９２によって検出された顔の位置および大きさの変化の判定のことを意味する。顔判定の結果、同じ顔が所定時間（例えば２秒）以上継続して撮影されており（ステップＳ１４０：Ｙｅｓ）、かつ顔の位置および大きさの変化が大きいとき（ステップＳ１４１：Ｙｅｓ）、制御部９は、一連の画像の中で面積が最大の顔画像を含む加工用画像を最大加工用画像Ｉ_maxとし（ステップＳ１４２）、その最大加工用画像Ｉ_maxにおける顔の高さをｆ_maxとする（ステップＳ１４３）。

続いて、全ての再生対象の加工用画像Ｆ_nに対してループ処理を行う（ステップＳ１４４）。ここで行うループ処理（ステップＳ１４５〜Ｓ１４９）は、図１２のステップＳ９４のループ処理（ステップＳ９５〜Ｓ９９）と実質的に同じである。

ステップＳ１４４のループ処理が終了した後、表示制御部９４は、表示部４に拡大画像の動画を再生させる（ステップＳ１５０）。この動画は、例えば図１４に示すような一連の拡大画像群を連続的に表示したものである。

その後、操作入力部７によって終了指示が入力された場合（ステップＳ１５１：Ｙｅｓ）、撮像装置１は一連の処理を終了する。一方、操作入力部７によって終了指示が入力されない場合（ステップＳ１５１：Ｎｏ）、撮像装置１はステップＳ１３１に戻る。

ステップＳ１３７において、再生モードが設定されていない場合（ステップＳ１３７：Ｎｏ）、撮像装置１はステップＳ１５０へ移行する。

ステップＳ１３８において、撮像装置１が表情再生モードに設定されていない場合（ステップＳ１３８：Ｎｏ）、撮像装置１は通常再生を行い（ステップＳ１５３）、ステップＳ１５０へ移行する。

ステップＳ１４０において同じ顔が所定時間以上継続して撮影されていない場合（ステップＳ１４０：Ｎｏ）、およびステップＳ１４１において顔の位置や大きさの変化が基準よりも大きくない場合（ステップＳ１４１：Ｎｏ）、表示制御部９４は表示部４に表情再生モードで行われるべき表情を強調した再生ができない旨を示すメッセージを表示させる（ステップＳ１５２）。その後、撮像装置１はステップＳ１５０へ移行する。

以上説明した本発明の実施の形態４によれば、上記実施の形態１と同様、ユーザは、連続的に撮影された複数の画像を用いて被写体の様々な状態変化を楽しむことができる。

なお、本実施の形態４において、ステップＳ１４４のループ処理に代えて、上記実施の形態３で説明した図１５のステップＳ１１６のループ処理と同様のループ処理を行うことも可能である。

ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した４つの実施の形態によって限定されるべきものではない。例えば、本発明は、連写した静止画像を用いて上記同様の処理を行うことも可能である。

また、本発明において、実施の形態４のように画像再生時に画像の拡大およびトリミングを行って補正画像を生成する場合には、少なくとも再生対象の加工用画像が記憶部に記憶されていればよい。したがって、この場合には、図１に示す撮像装置１から撮像部２を除いた構成を有する画像処理装置によって本発明を実現することも可能である。

１ 撮像装置
２ 撮像部
３ 画像処理部
４ 表示部
５ 仮記憶部
６ 記憶部
７ 操作入力部
８ 時計
９ 制御部
３１ 顔検出部
３２ トリミング部
３３ 画像拡大部
３４ 画像合成部
３５ 圧縮伸張部
６１ 画像データ記憶部
６２ 顔情報記憶部
６３ プログラム記憶部
９１ トリミング領域決定部
９２ 変化検出部
９３ 領域抽出部
９４ 表示制御部
ｍ 強調用アイコン

Claims (12)

1. 連続して撮影された複数の画像からなる連続画像群および前記複数の画像の各々と関連する情報を記憶する記憶部と、
   前記記憶部が記憶する前記連続画像群を撮影順に連続して表示可能な表示部と、
   前記記憶部が記憶する前記複数の画像にそれぞれ含まれる同一の顔を検出する顔検出部と、
   前記顔検出部が検出した同一の顔の各画像における位置および大きさが揃うように各画像を補正する画像補正手段と、
   前記画像補正手段が補正した各画像の補正画像からなる補正画像群および前記連続画像群のいずれか一方の画像群を前記表示部に表示させる制御を行う表示制御部と、
   を備え、
   前記画像補正手段は、
   前記同一の顔の所定方向の長さの最大値を各画像における前記長さで除した商で与えられる拡大率によって各画像を拡大する画像拡大部と、
   前記画像拡大部が拡大した画像におけるトリミング領域を決定するトリミング領域決定部と、
   前記トリミング領域決定部が決定したトリミング領域に応じて各画像のトリミングを行うことによって前記補正画像を生成するトリミング部と、
   を有し、
   前記画像拡大部は、
   前記同一の顔の所定方向の長さの最大値を該長さの最小値で除した商が基準拡大率より大きい場合、前記拡大率に１より小さい定数を乗じた積を真の拡大率として各画像を拡大することを特徴とする画像処理装置。
2. 前記画像補正手段は、
   前記複数の画像から比較基準画像を定め、該比較基準画像と比較して前記同一の顔の大きさおよび位置が変化した画像に対して画像の補正を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記トリミング領域の縦横比は、前記複数の画像の縦横比と等しいことを特徴とする請求項１または２に記載の画像処理装置。
4. 連続して撮影された複数の画像からなる連続画像群および前記複数の画像の各々と関連する情報を記憶する記憶部と、
   前記記憶部が記憶する前記連続画像群を撮影順に連続して表示可能な表示部と、
   前記記憶部が記憶する前記複数の画像にそれぞれ含まれる同一の顔を検出する顔検出部と、
   前記顔検出部が検出した同一の顔の各画像における位置および大きさが揃うように各画像を補正する画像補正手段と、
   前記画像補正手段が補正した各画像の補正画像からなる補正画像群および前記連続画像群のいずれか一方の画像群を前記表示部に表示させる制御を行う表示制御部と、
   前記補正画像を縮小し、この縮小した前記補正画像を、補正前の画像の一部の領域に配置することによって合成画像を生成する画像合成部と、
   を備え、
   前記画像補正手段は、
   前記複数の画像の全てに共通した領域であって前記同一の顔が含まれない領域を抽出する領域抽出部を有し、
   前記画像合成部は、
   各画像の前記領域抽出部が抽出した領域に、各画像と対応する前記補正画像を配置し、 前記画像補正手段は、
   前記複数の画像のうち撮影時刻が隣接する二つの画像間における前記同一の顔の表情の変化を該同一の顔の特徴点の変位量に基いて検出する変化検出部を有し、
   前記画像合成部は、
   前記変化検出部が検出した前記同一の顔の表情の変化が基準より大きい場合、表情の変化が大きいことを示す画像を、前記二つの画像のうち後で撮影された画像に合成することを特徴とする画像処理装置。
5. 前記画像補正手段は、
   前記複数の画像から比較基準画像を定め、該比較基準画像と比較して前記同一の顔の大きさおよび位置が変化した画像に対して画像の補正を行うことを特徴とする請求項４に記載の画像処理装置。
6. 前記画像補正手段は、
   前記複数の画像の各々におけるトリミング領域を決定するトリミング領域決定部と、
   前記トリミング領域決定部が決定したトリミング領域に応じて各画像のトリミングを行うトリミング部と、
   前記トリミング部がトリミングした画像を前記複数の画像と同じサイズに拡大することによって前記補正画像を生成する画像拡大部と、
   を有することを特徴とする請求項４または５に記載の画像処理装置。
7. 前記画像補正手段は、
   前記同一の顔の所定方向の長さの最大値を各画像における前記長さで除した商で与えられる拡大率によって各画像を拡大する画像拡大部と、
   前記画像拡大部が拡大した画像におけるトリミング領域を決定するトリミング領域決定部と、
   前記トリミング領域決定部が決定したトリミング領域に応じて各画像のトリミングを行うことによって前記補正画像を生成するトリミング部と、
   を有することを特徴とする請求項４または５に記載の画像処理装置。
8. 前記画像拡大部は、
   前記同一の顔の所定方向の長さの最大値を該長さの最小値で除した商が基準拡大率より大きい場合、前記拡大率に１より小さい定数を乗じた積を真の拡大率として各画像を拡大することを特徴とする請求項７に記載の画像処理装置。
9. 前記トリミング領域の縦横比は、前記複数の画像の縦横比と等しいことを特徴とする請求項６〜８のいずれか一項に記載の画像処理装置。
10. 前記表示制御部は、
    前記補正画像群および前記連続画像群に前記画像合成部が合成した各画像の合成画像からなる合成画像群を加えた三つの画像群のうちいずれか一つの画像群を前記表示部に表示させる制御を行うことを特徴とする請求項４〜９のいずれか一項に記載の画像処理装置。
11. 所定の領域から光を集光して該領域内の被写体を撮像し、この撮像した画像の電子的なデータを生成する撮像部を備え、
    前記記憶部は、
    前記撮像部が連続的に撮影した複数の撮影画像を記憶し、
    前記表示制御部は、
    前記撮像部が前記複数の撮影画像の撮影を終了した後、前記三つの画像群のうちいずれか一つの画像群を前記表示部に表示させる制御を行うことを特徴とする請求項１０に記載の画像処理装置。
12. 所定の領域から光を集光して該領域内の被写体を撮像し、この撮像した画像の電子的なデータを生成する撮像部を備え、
    前記記憶部は、
    前記撮像部が連続的に撮影した複数の撮影画像を記憶し、
    前記表示制御部は、
    前記撮像部が前記複数の撮影画像の撮影を行っている最中に、前記表示部に対し、最新の撮影画像に対応する前記補正画像または前記合成画像を順次表示させる制御を行うことを特徴とする請求項４〜１１のいずれか一項に記載の画像処理装置。

Images