JP2015029178A - 撮像装置、撮像方法及びプログラム - Google Patents

Abstract

【課題】良好な複数の被写体像を含む撮影範囲の拡張された画像を生成することができる。【解決手段】ＣＰＵ１１は、撮像範囲を変化させながら撮影した複数の画像を部分画像として順次取得する。顔領域評価処理部５４は、取得された撮影範囲の異なる複数の部分画像各々から被写体像を検出する。また、顔領域評価処理部５４は、検出された各被写体像を評価する。画像合成処理部５６は、同じ被写体像を含む複数の部分画像については、より高い評価を得た被写体像を含む画像を、合成対象とする画像として選択する。また、画像合成処理部５６は、取得された異なる被写体像を含む複数の部分画像と、同じ被写体像を含む複数の部分画像のうち、合成対象として選択された部分画像と、を合成して撮影範囲の拡張された１枚の画像を生成する。【選択図】図２

Description

本発明は、撮像装置、撮像方法及びプログラムに関する。

撮像範囲を変化させながら複数枚の画像を撮影してつなげるように合成することで、１回の撮影では得られない広い画角のパノラマ画像を生成する技術が、特許文献１のように公知となっている。

特開平１１−２８２１００号公報

しかしながら、集合写真を特許文献１のように撮像範囲を変化させながら複数回画像を撮影してパノラマ画像を生成する際に、笑顔でない、目つぶり等があった場合には、全ての被写体像の撮影状態が良好な画像を生成するのは難しいという問題がある。

本発明は、このような状況に鑑みてなされたものであり良好な複数の被写体像を含む撮影範囲の拡張された画像を生成することを目的とする。

上記目的を達成するため、本発明の一態様の撮像装置は、
撮像範囲を変化させながら撮影した複数の画像を部分画像として順次取得する画像取得手段と、
前記画像取得手段により取得された撮影範囲の異なる複数の部分画像各々から被写体像を検出する検出手段と、
前記検出手段により検出された各被写体像を評価する被写体像評価手段と、
前記被写体像評価手段により、同じ被写体像を含む複数の部分画像については、より高い評価を得た被写体像を含む部分画像を、合成対象として選択する被写体像選択手段と、
前記画像取得手段により取得された異なる被写体像を含む複数の部分画像と、同じ被写体像を含む複数の部分画像のうち、前記被写体像選択手段により前記合成対象として選択された部分画像と、を合成して撮影範囲の拡張された１枚の画像を生成する画像生成手段と、
を備えることを特徴とする。

本発明によれば、良好な複数の被写体像を含む撮影範囲の拡張された画像を生成することができる。

本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。 図１の撮像装置の機能的構成のうち、撮像処理を実行するための機能的構成を示す機能ブロック図である。 ズーム比の調整を説明するための模式図である。 非良好顔領域表示について説明するための模式図である。 図２の機能的構成を有する図１の撮像装置が実行するパノラマ撮影処理の流れを説明するフローチャートである。 撮影フラグを説明するための図である。 パノラマ撮影処理のうち、ズーム比調整処理の詳細な流れを説明するフローチャートである。 パノラマ撮影処理のうち、非良好顔領域表示処理の詳細な流れを説明するフローチャートである。 パノラマ撮影処理のうち、顔領域評価処理の詳細な流れを説明するフローチャートである。 パノラマ撮影処理のうち、画像合成処理の詳細な流れを説明するフローチャートである。 パノラマ撮影処理のうち、非良好顔領域表示処理の変形例の詳細な流れを説明するフローチャートである。 変形例における非良好顔領域表示を説明するための模式図である。 図２の機能的構成を有する図１の撮像装置が実行する他の実施形態におけるパノラマ撮影処理の流れを説明するフローチャートである。 他の実施形態のパノラマ撮影処理のうち、顔領域評価処理の詳細な流れを説明するフローチャートである。 他の実施形態のパノラマ撮影処理のうち、画像合成処理の詳細な流れを説明するフローチャートである。

以下、本発明の実施形態について、図面を用いて説明する。

図１は、本発明の一実施形態に係る撮像装置１のハードウェアの構成を示すブロック図である。
撮像装置１は、例えばデジタルカメラとして構成される。

撮像装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、加速度センサ１７と、入力部１８と、出力部１９と、記憶部２０と、通信部２１と、ドライブ２２と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部２０からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、加速度センサ１７、入力部１８、出力部１９、記憶部２０、通信部２１及びドライブ２２が接続されている。

撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。

光学レンズ部は、被写体像を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１６の出力信号として出力される。
このような撮像部１６の出力信号を、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、ＣＰＵ１１や画像処理部等に適宜供給される。
また、撮像画像のうち、ライブビュー表示中において表示画面にリアルタイムに表示される撮像画像を「ライブビュー画像」、ユーザによる撮像操作後の確認のために表示される撮像画像を「レビュー画像」と呼ぶ。

加速度センサ１７は、撮像装置１の速度や加速度を検出可能に構成される。加速度センサ１７で検出される速度や加速度により、撮像装置１の移動を撮像装置１の位置変化から検出することができる。

入力部１８は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部１９は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部２０は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２１は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

ドライブ２２には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２２によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部２０にインストールされる。また、リムーバブルメディア３１は、記憶部２０に記憶されている画像のデータ等の各種データも、記憶部２０と同様に記憶することができる。

このような撮像装置１においては、複数の被写体像がそれぞれ主要な被写体像となるような、例えば、集合写真を撮影したい場合に、各被写体像を良好な撮影条件で撮影した状態となる１枚の撮像画像を生成することができる機能を有する。
なお、被写体像における「良好な撮影条件」とは、画像の使用目的における被写体像自体の良好な条件（例えば、笑顔の状態、目つぶりしていない状態、赤目でない状態等）や被写体像に対応する外部環境の条件（例えば、ピントあっているブレてない状態、日陰がない状態、逆光等）を含む。
また、本実施形態において、撮像装置１は、集合写真を撮影することを例として、パノラマ撮影を行い、複数枚の撮像画像から１枚のパノラマ画像を生成するように構成する。
この場合、撮像装置１では、良好な撮影条件として、被写体像である人の顔の状態を撮影条件として判断する。具体的には、良好な撮影条件としては、例えば、顔が笑顔である状態、目をつぶっていない状態とする。即ち、顔が笑顔でない状態や目をつぶっている状態は、良好でない撮影条件として判断することになる。

図２は、このような撮像装置１の機能的構成のうち、パノラマ撮影処理を実行するための機能的構成を示す機能ブロック図である。
パノラマ撮影処理とは、パノラマ画像としたい画角となる撮影を予定する領域（以下、「撮影予定領域」という）を、撮像装置１を移動させながら順次撮影し、最終的に取得した複数枚の撮像画像を合成して１枚の合成画像となるパノラマ画像を生成するまでの一連の処理をいう。また、パノラマ撮影処理では、撮像画像中の被写体像が良好な撮影条件でない場合には、再度撮影し、再度撮影した撮像画像を上書き合成してパノラマ画像を生成する。なお、本実施形態においては、目的とする撮像範囲を撮影予定領域とするパノラマ画像は、撮影予定領域を部分的に撮影した複数の撮像画像が部分画像となるように構成される。

パノラマ撮影処理を実行する場合には、ＣＰＵ１１において、ズーム比調整処理部５１と、顔領域検出処理部５２と、移動検出部５３と、顔領域評価処理部５４と、非良好顔領域表示処理部５５と、画像合成処理部５６と、が機能する。

記憶部２０の一領域には、画像のデータや画像に関する情報を記憶する画像記憶部７１が設けられる。

ズーム比調整処理部５１は、ズーム比調整処理を実行する。
「ズーム比調整処理」とは、評価対象において評価値を算出可能なサイズで撮影を行うようにズーム比を調整するまでの一連の処理である。
具体的には、ズーム比調整処理では、撮影予定領域において、評価対象として被写体像となる顔の状態を評価可能な程度までズーム比を調整する。

顔領域検出処理部５２は、ズーム比調整処理を実行する。詳細には、顔領域検出処理部５２は、ズーム比調整処理において、画像記憶部７１に記憶される画像の顔領域の検出を行う。画像における顔領域の検出は、周知の顔検出技術を用いる。

ここで、ズーム比調整処理で実行されるズーム比の調整について説明する。
図３は、ズーム比の調整を説明するための模式図である。
ズーム比調整処理では、まず、図３（ａ）に示すように、撮影予定領域Ｒ１を撮影した画像を取得する。そして、全ての評価対象である顔Ｆを検出して、各顔Ｆの顔領域Ｒ２のサイズを取得する。
また、取得した全ての顔領域Ｒ２のサイズに基づいて、全ての顔領域Ｒ２において評価値を算出するのに必要なサイズとなるズーム比、即ち、全ての顔領域Ｒ２において評価値を算出可能なサイズとなるズーム比を算出して、当該算出したズーム比で調整を行う。図３（ａ）の例では、各顔領域Ｒ２のサイズから、図３（ｂ）に示す撮影領域Ｒ３のサイズで撮像を行うと各顔Ｆの評価値が算出可能となる。
その結果、ユーザは、図３（ｃ）に示すように、撮影領域Ｒ３のサイズとなるズーム比で撮影予定領域Ｒ１を所定のルートを辿るように撮像装置１を移動させて、順次撮影を行う。撮像装置１においては、移動と共に撮影予定領域Ｒ１を包含した複数枚の撮像画像を取得して、当該取得した撮像画像を合成して、撮影予定領域Ｒ１を画角とする１枚のパノラマ画像を生成する。

図２に戻り、移動検出部５３は、撮像装置１が移動したか否かを加速度センサ１７から出力される値から検出する。

顔領域評価処理部５４は、顔領域評価処理を実行する。
「顔領域評価処理」とは、取得した画像の顔領域を評価する一連の処理である。顔領域評価処理で行われる評価により、良好でない顔領域が決定される。
本実施形態においては、評価値が所定値未満である場合には、良好でない顔領域として、評価値と、当該良好でない顔領域の位置を記憶する。
なお、顔領域評価処理部５４において行われる顔領域の評価値の算出は、周知の顔領域判定の技術を用いる。

非良好顔領域表示処理部５５は、非良好顔領域表示処理を実行する。「非良好顔領域表示処理」とは、顔領域評価処理において評価された良好でない顔領域を含む画像を取得した場合に、良好でない顔領域を示す指標をライブビュー画像中に表示（以下、「非良好顔領域表示」という）するまでの一連の処理である。この非良好顔領域表示処理部５５では、ライブビュー画像内に良好でない顔領域がある場合には、当該良好でない顔領域を囲い、良好でない原因により色分けした色枠を指標して表示する。また、非良好顔領域表示処理部５５では、ライブビュー画像外に良好でない顔領域がある場合には、当該画像が現在表示しているライブビュー画像に対してどの方向にあるかを示す矢印のアイコンを指標として表示する。
なお、「良好でない顔領域」とは、検出された顔の領域の顔の表情が、例えば、目つぶりや笑顔でないような顔等の撮影者の意図にそぐわない顔を含む領域である。逆に言えば、撮影者の意図がポジティブなものでない場合には、目が開いている状態や笑顔が良好でない顔領域であると判断される場合も含む。

ここで、非良好顔領域表示処理で実行される非良好顔領域表示について説明する。
図４は、非良好顔領域表示について説明するための模式図である。なお、図４の例では、図３（ａ）に示す撮影予定領域Ｒ１を包含するように、ズーム比調整処理で調整されたズーム比で順次撮像を行う。
非良好顔領域表示では、順次撮影を行い、図４（ａ）に示すように、笑顔ではない良好でない顔を含むが撮影され、その後も撮影が行われる。そして、図４（ｂ）に示すように、笑顔ではない良好でない顔領域Ｒ２の下方において撮影が行われた場合、ライブビュー画像には、図４（ｃ）に示すように、現在表示しているライブビュー画像との位置から見た良好でない顔領域Ｒ２の方向が指標（上向きの矢印のアイコンｄ１）としてライブビュー画像と共に表示される。
このような表示が行われることで、ユーザは、再度撮り直しを行う必要がある場所があることを方向と共に知ることができる。

画像合成処理部５６は、画像合成処理を実行する。
「画像合成処理」とは、複数の画像を合成すると共に、評価が満たない領域があった場合には再合成して、最終的に撮影予定領域の画角とする画像にする一連の処理である。
画像合成処理における複数枚の一連の画角で撮像された画像を合成する技術は、パノラマ合成等の周知の技術を用いる。
また、画像合成処理部５６は、取得した画像で順次、撮影予定領域を画角とする画像を合成して行き、良好でない顔領域を含む場合には、当該顔領域に再度撮影した画像を上書き合成して、最終的に撮影予定領域の画角となるパノラマ画像を生成する。即ち、画像合成処理部５６は、より高い評価を得た被写体像を含む画像を、合成対象とする画像として選択し、既に合成されている合成画像とを合成して、１枚のパノラマ画像を生成する。

次に、このような撮像装置１が実行するパノラマ撮影処理の流れについて説明する。
図５は、図２の機能的構成を有する図１の撮像装置１が実行するパノラマ撮影処理の流れを説明するフローチャートである。

パノラマ撮影処理は、ユーザによる入力部１８に対するパノラマ撮影処理開始の操作によって開始される。パノラマ撮影処理では、ズーム比の調整が行われた後に、撮像装置１の移動と共に、撮像部１６における撮像が行われて、複数枚の撮像画像が画像記憶部７１に記憶される。

ステップＳ１において、ズーム比調整処理部５１は、ズーム比調整処理を実行する。これにより、撮影予定領域を画角とする画像を撮像する場合におけるズーム比を調整する。

ステップＳ２において、移動検出部５３は、撮像装置１が移動したか否かを判定する。
撮像装置１が移動していない場合には、ステップＳ２においてＮＯと判定されて、撮像装置１が移動するまで待機する。
これに対して、撮像装置１が移動している場合には、ステップＳ２においてＹＥＳと判定されて、ステップＳ３に進む。

ステップＳ３において、非良好顔領域表示処理部５５は、非良好顔領域表示処理を実行する。
これにより、ライブビュー画像において、良好でない顔領域を示す非良好顔領域表示が行われる。ユーザは、非良好顔領域表示によって、再撮影の有無と、どの方向に良好でない顔領域があるかを知ることができる。

ステップＳ４において、ＣＰＵ１１は、ライブビュー画像内に記憶されている顔領域があるか否かを判定する。
ライブビュー画像内に記憶されている評価値が所定値未満の顔領域がある場合には、ステップＳ４においてＹＥＳと判定され、処理はステップＳ５に進む。

ステップＳ５において、ＣＰＵ１１は、撮影フラグを「１」に設定する。その後処理は、ステップＳ８に進む。ステップＳ８以降の処理については後述する。

ここで、撮影フラグについて説明する。
図６は、撮影フラグを説明するための図である。
本実施形態のパノラマ撮像処理においては、撮影フラグを用いて、良好でない顔領域の有無を認識する。

撮影フラグは、図６に示すように、「値：０」を設定した場合には、「記憶されている（評価値が所定値未満の）顔領域なし」として、評価値が所定値未満である顔領域、即ち、良好でない顔領域がないと認識する。
また、「値：１」を設定した場合には、「記憶されている（評価値が所定値未満の）顔領域あり」として、価値が所定値未満でない顔領域、即ち、良好でない顔領域があると認識する。

これに対して、初めて撮影する範囲のように、ライブビュー画像内に記憶されている評価値が所定値未満の顔領域がない場合には、ステップＳ４においてＮＯと判定され、処理はステップＳ６に進む。

ステップＳ６において、移動検出部５３は、撮像装置１が所定距離移動したか否かを判定する。
撮像装置１が所定距離移動していない場合には、ステップＳ６においてＮＯと判定されて、処理はステップＳ２に戻る。
これに対して、撮像装置１が所定距離移動している場合には、ステップＳ６においてＹＥＳと判定されて、処理はステップＳ７に進む。

ステップＳ７において、ＣＰＵ１１は、撮影フラグを「０」に設定する。

ステップＳ８において、ＣＰＵ１１は、画像データを取得する。即ち、ＣＰＵ１１は、撮像装置１の移動に伴って撮像部１６において自動的に順次撮像され、画像記憶部７１に記憶される画像データを取得する。

ステップＳ９において、顔領域評価処理部５４は、顔領域評価処理を実行する。
これにより、取得した画像の顔領域が評価されて、良好でない顔領域を含むか否か決定される。

ステップＳ１０において、画像合成処理部５６は、画像合成処理を実行する。
これにより、取得した複数の撮像画像が合成されて、撮影予定領域を画角とする画像を合成する。また、合成に際して、良好でない顔領域がある場合には、再撮影で取得した画像を上書きして、撮影予定領域を画角とする画像を合成する。

ステップＳ１１において、ＣＰＵ１１は、撮影が終了したか否かを判断する。
撮影が終了していない場合には、ステップＳ１１においてＮＯと判断されて、ステップＳ２に戻る。
これに対して、撮影が終了した場合には、ステップＳ１１においてＹＥＳと判断されて、パノラマ撮影処理は終了する。

図７は、パノラマ撮影処理のうち、ズーム比調整処理の詳細な流れを説明するフローチャートである。

ステップＳ３１において、ズーム比調整処理部５１は、画像を取得する。本ステップでは、ズーム比調整処理部５１は、生成したいパノラマ画像の画角となる撮影予定領域を撮影した画像を取得する。
具体的には、ズーム比調整処理部５１は、図３（ａ）に示すような集合写真において人物全員が含まれる画角の撮像画像を撮影してズーム比の算出に用いる画像を取得する。

ステップＳ３２において、ズーム比調整処理部５１は、取得画像内に顔領域があるか否かを判定する。
取得画像内に顔領域がない場合には、ステップＳ３２においてＮＯと判定されて、ズーム比調整処理は終了する。
これに対して、取得画像内に顔領域がある場合には、ステップＳ３２においてＹＥＳと判定されて、処理はステップＳ３３に進む。

ステップＳ３３において、顔領域検出処理部５２は、取得した画像から、顔領域を検出する。
具体的には、ズーム比調整処理部５１は、図３（ａ）に示すように、撮影予定領域を撮影した画像に含まれる顔領域Ｒ２を検出する。

ステップＳ３４において、ズーム比調整処理部５１は、検出した顔領域（以下「検出顔領域」という。）の取得画像に対するサイズを取得する。
具体的には、ズーム比調整処理部５１は、図３（ａ）に示す顔領域Ｒ２を検出顔領域として各顔領域Ｒ２のサイズを取得する。

ステップＳ３５において、ズーム比調整処理部５１は、検出したサイズの平均から、評価値の算出に必要なズーム比を算出する。検出したサイズの平均とすることで、平均近傍の所定の範囲内にあるサイズは評価値を算出する評価対象とし、大きく平均から外れるようなサイズの顔領域は外すことができる。

ステップＳ３６において、ズーム比調整処理部５１は、算出したズーム比に設定して、ズーム比を調整する。
具体的には、ズーム比調整処理部５１は、検出したサイズの平均から好適とされるズーム比として、図３（ｂ）に示すような撮影領域Ｒ３となるズーム比で調整を行う。その結果、以降の処理においては、図３（ｃ）に示すように、撮影領域Ｒ３のズーム比で撮影予定領域Ｒ１を包含するようにして順次撮影が行われる。
その後、ズーム比調整処理は終了する。

図８は、パノラマ撮影処理のうち、非良好顔領域表示処理の詳細な流れを説明するフローチャートである。

ステップＳ５１において、非良好顔領域表示処理部５５は、ライブビュー画像内に記憶されている評価値が所定値未満の顔領域があるか否かを判定する。
ライブビュー画像内に記憶されている評価値が所定値未満の顔領域がない場合には、ステップＳ５１においてＮＯと判定されて、処理はステップＳ５３に進む。ステップＳ５３以降の処理は後述する。
これに対して、ライブビュー画像内に記憶されている評価値が所定値未満の顔領域がある場合には、ステップＳ５１においてＹＥＳと判定されて、処理はステップＳ５２に進む。

ステップＳ５２において、非良好顔領域表示処理部５５は、当該顔領域を色枠表示するように出力部１９を制御する。即ち、非良好顔領域表示処理部５５は、顔領域がライブビュー画像内にあるために、表示しているライブビュー画像内の該当箇所を枠で表示するように出力部１９を制御する。色枠は、例えば、笑顔でない場合は「赤色」や目つぶりの場合は、「緑色」等の良好でない原因に応じて異なる色で表示する。
このような非良好顔領域表示を見て、ユーザは、再撮影等の所定の動作が促されることとなる。

なお、本実施形態においては、図４（ａ）乃至図４（ｃ）の例で示すように、色分けに代えて、線種を異ならせることで表現することも可能である。図４（ａ）乃至図４（ｃ）では、ライブビュー画像で現在検出中である顔領域は実線で表示し、笑顔でない場合は、破線の線種で表現する、また、例えば、目つぶり等の笑顔でない以外の場合は、例えば、一点鎖線の線種で表現することができる。
また、図４（ｂ）の下段左から２番目の目つぶりの人物は、まだ撮影されていないので、色枠表示は行っていない。

ステップＳ５３において、非良好顔領域表示処理部５５は、ライブビュー画像外に記憶されている評価値が所定値未満の顔領域があるか否かを判定する。
ライブビュー画像外に記憶されている評価値が所定値未満の顔領域がない場合には、ステップＳ５３においてＮＯと判定されて、非良好顔領域表示処理は終了する。
これに対して、ライブビュー画像外に記憶されている評価値が所定値未満の顔領域がある場合には、ステップＳ５３においてＹＥＳと判定されて、処理はステップＳ５４に進む。

ステップＳ５４において、非良好顔領域表示処理部５５は、当該顔領域の方向を示す矢印表示をするように出力部１９を制御する。即ち、非良好顔領域表示処理部５５は、顔領域がライブビュー画像外にあるために、表示しているライブビュー画像からどの方向にあるかを示す矢印を表示するように出力部１９を制御する。矢印は、例えば、笑顔でない場合は「赤色」や目つぶりの場合は、「緑色」等の良好でない原因に応じて異なる色で表示する。

具体的には、図４（ｃ）に示すように、ライブビュー画像外に記憶されている評価値が所定値未満の顔領域がある場合には、矢印のアイコンｄ１を表示する。また、良好でない原因に応じて矢印のアイコンｄ１のハッチングの種類を変更してもよい。当該表示を見て、ユーザは、再撮影等の所定の動作が促されることとなる。
その後、非良好顔領域表示処理は終了する。
なお、非良好表示領域が複数ある場合は、矢印のアイコンを複数表示してもよいし、一番近い方向の１つの矢印のアイコンだけを表示して、その矢印のアイコンが指し示した位置に移動すると、その位置から一番近い方向の１つ矢印のアイコンを表示するようにしてもよい。

このように撮像装置１においては、被写体像の評価値が所定値未満の場合のみ、その位置と評価値を記憶しておき、ライブビュー画像内に被写体像がある場合には色枠表示し、ライブビュー画像外に被写体像がある場合には方向を示す矢印を表示する。撮像装置１では、色枠表示や矢印を表示することでライブビュー画像内外に応じて、評価値が所定値未満の被写体像を識別可能に表示することができる。

図９は、パノラマ撮影処理のうち、顔領域評価処理の詳細な流れを説明するフローチャートである。

ステップＳ７１において、顔領域評価処理部５４は、取得画像内に顔領域があるか否かを判定する。
取得画像内に顔領域がない場合には、ステップＳ７１においてＮＯと判定されて、顔領域評価処理は終了する。
これに対して、取得画像内に顔領域がある場合には、ステップＳ７１においてＹＥＳと判定されて、処理はステップＳ７２に進む。

ステップＳ７２において、顔領域評価処理部５４は、撮影フラグが「１」であるか否かを判定する。
撮影フラグが「１」でない、即ち「０」の場合には、ステップＳ７２においてＮＯと判定されて、処理はステップＳ７６に進む。ステップＳ７６以降の処理については、後述する。
これに対して、撮影フラグが「１」の場合には、ステップＳ７２においてＹＥＳと判定されて、処理はステップＳ７３に進む。

ステップＳ７３において、顔領域評価処理部５４は、記憶されている位置の顔領域の評価値を算出する。評価値によって、笑顔でない・目つぶり等の良好でないものか否かの判定か可能となる。

ステップＳ７４において、顔領域評価処理部５４は、評価値が所定値未満であるか否かを判定する。
評価値が所定値未満の場合には、ステップＳ７４においてＹＥＳと判定されて、処理はステップＳ８０に進む。
これに対して、評価値が所定値未満でない、即ち、所定値以上である場合には、ステップＳ７４においてＮＯと判定されて、処理はステップＳ７５に進む。

ステップＳ７５において、顔領域評価処理部５４は、当該顔領域の評価値を更新し、評価値を更新したことを示す更新フラグを立てる。

一方、ステップＳ７６において、顔領域評価処理部５４は、顔領域を検出する。即ち、顔領域評価処理部５４は、図４（ａ）の例に示すように、取得した画像から顔領域Ｒ２を検出する。

ステップＳ７７において、顔領域評価処理部５４は、検出顔領域の評価値を算出する。顔領域評価処理部５４は、図４（ａ）の例に示す顔領域Ｒ２の評価値を算出する。算出された評価値が所定値未満であった場合には、良好でない顔領域（例えば、目つぶりや笑顔でない顔領域）となり、算出された評価値が所定値以上であった場合には、良好な顔領域（例えば、笑顔の顔領域）となる。

ステップＳ７８において、顔領域評価処理部５４は、評価値が所定値未満であるか否かを判定する。
評価値が所定値未満でない、即ち、所定値以上である場合には、ステップＳ７８においてＮＯと判定されて、処理はステップＳ８０に進む。
これに対して、評価値が所定値未満の場合には、ステップＳ７８においてＹＥＳと判定されて、処理はステップＳ７９に進む。

ステップＳ７９において、顔領域評価処理部５４は、当該顔領域の位置と評価値を画像記憶部７１に記憶させる。

ステップＳ８０において、顔領域評価処理部５４は、他に顔領域がないか否かを判定する。
他に顔領域がある場合には、ステップＳ８０においてＮＯと判定されて、ステップＳ７２に戻る。
これに対して、他に顔領域がない場合には、ステップＳ８０においてＹＥＳと判定されて、顔領域評価処理は終了する。

図１０は、パノラマ撮影処理のうち、画像合成処理の詳細な流れを説明するフローチャートである。

ステップＳ１０１において、画像合成処理部５６は、取得画像内に未合成領域があるか否を判定する。
取得画像内に未合成領域がない場合には、ステップＳ１０１においてＮＯと判定されて、処理はステップＳ１０３に進む。ステップＳ１０３以降の処理については後述する。
これに対して、取得画像内に未合成領域がある場合には、ステップＳ１０１においてＹＥＳと判定されて、処理はステップＳ１０２に進む。

ステップＳ１０２において、画像合成処理部５６は、重複部分を判別してつながるように合成処理をする。

ステップＳ１０３において、画像合成処理部５６は、撮影フラグが「１」であるか否かを判定する。
撮影フラグが「１」でない「０」の場合、即ち、記憶されている評価値が所定値未満の顔領域がない場合には、ステップＳ１０３においてＮＯと判定されて、画像合成処理は終了する。
これに対して、撮影フラグが「１」の場合、即ち、記憶されている評価値が所定値未満の顔領域がある場合には、ステップＳ１０３においてＹＥＳと判定されて、処理はステップＳ１０４に進む。

ステップＳ１０４において、画像合成処理部５６は、更新フラグが立っている顔領域があるか否かを判定する。
更新フラグが立っている顔領域がない場合には、ステップＳ１０４においてＮＯと判定されて、画像合成処理は終了する。
これに対して、更新フラグが立っている顔領域がある場合には、ステップＳ１０４においてＹＥＳと判定されて、処理はステップＳ１０５に進む。

ステップＳ１０５において、画像合成処理部５６は、今回撮像画像の当該顔領域を抽出する。

ステップＳ１０６において、画像合成処理部５６は、合成済み画像の該当顔領域に抽出した顔領域を上書き合成する。その結果、最終的に、画像合成処理部５６は、複数枚の撮像画像から、検出した顔領域が良好な状態となる１枚のパノラマ画像を生成する。

ステップＳ１０７において、画像合成処理部５６は、上書き合成した顔領域の記憶をクリアする。

ステップＳ１０８において、画像合成処理部５６は、他に顔領域がないか否かを判定する。
他に顔領域がある場合には、ステップＳ１０８においてＮＯと判定されて、処理はステップＳ１０４に戻る。
これに対して、他に顔領域がない場合には、ステップＳ１０８においてＹＥＳと判定されて、画像合成処理は終了する。

＜変形例＞
上述した実施形態では、ライブビュー画像を表示して、表示している画像に対して、評価が所定値未満となる被写体像を表示するように構成した。これに対して、本変形例では、撮影中も合成中の画像をレビュー画像として表示するように構成し、所定値未満の被写体像を識別表示する。また、本変形例を撮像装置１で実行する場合、パノラマ撮影処理のうち、非良好顔領域表示処理のみが上述した実施形態と異なる。即ち、上述した実施形態と異なる非良好顔領域表示処理のみについて説明する。

図１１は、パノラマ撮影処理のうち、非良好顔領域表示処理の変形例の詳細な流れを説明するフローチャートである。

ステップＳ１２１において、非良好顔領域表示処理部５５は、合成画像を表示する。即ち、非良好顔領域表示処理部５５は、撮影予定領域を出力部１９の表示画面として、逐次合成される合成画像を表示する。

ステップＳ１２２において、非良好顔領域表示処理部５５は、記憶されている評価値が所定値未満の顔領域があるか否かを判定する。
記憶されている評価値が所定値未満の顔領域がない場合には、ステップＳ１２２においてＮＯと判定されて、非良好顔領域表示処理は終了する。
これに対して、記憶されている評価値が所定値未満の顔領域がある場合には、ステップＳ１２２においてＹＥＳと判定されて、処理はステップＳ１２３に進む。

ステップＳ１２３においては、非良好顔領域表示処理部５５は、当該顔領域を色枠表示する。このように非良好顔領域表示を行うことで、ユーザは、良好でない顔領域の位置関係を把握しやすくなる。
その後、非良好顔領域表示処理は終了する。

図１２は、変形例における非良好顔領域表示を説明するための模式図である。
具体的には、図１２（ａ）に示すように、撮影予定領域Ｒ１を予めレビュー画像として表示しておき、取得した画像を順次撮影予定領域Ｒ１に埋め込んで表示していく。そして、取得した画像内で顔領域Ｒ２を検出した場合には、図１２（ｂ）に示すように検出した旨を表示する枠を表示する。当該検出した顔領域Ｒ２の評価を行って、評価が所定値未満であった場合には、図１２（ｃ）に示すように、良好でない顔領域を示す枠アイコンｄ１を表示して非良好顔領域表示をする。ユーザは、撮影中、良好でない顔領域、即ち、再撮影が必要な領域の有無と、撮影予定領域Ｒ１中のどこに良好でない顔領域が位置しているかを一覧的に把握することができ、再撮影等の所定の動作が促されることとなる。

＜他の実施形態＞
上述の実施形態では、評価値が所定値以上の場合は、合成用の画像として採用するように構成した。これに対して、本実施形態では、評価値が所定値以上のものがあっても、再度取得した場合に評価値の比較を行い、より高い評価値となった方を合成用の画像として採用するように構成する。

図１３は、図２の機能的構成を有する図１の撮像装置１が実行する他の実施形態におけるパノラマ撮影処理の流れを説明するフローチャートである。

ステップＳ２０１において、ズーム比調整処理部５１は、ズーム比調整処理を実行する。なお、本実施形態のズーム比調整処理は、上述した実施形態のズーム比調整処理と同様の処理を行うために、説明を省略する。

ステップＳ２０２において、移動検出部５３は、撮像装置１が所定距離以上移動したか否かを判定する。
撮像装置１が所定距離以上移動していない場合には、ステップＳ２０２においてＮＯと判定されて、撮像装置１が所定距離以上移動するまで待機する。
これに対して、撮像装置１が所定距離以上移動している場合には、ステップＳ２０２においてＹＥＳと判定されて、処理はステップＳ２０３に進む。

ステップＳ２０３において、ＣＰＵ１１は、画像データを取得する。即ち、ＣＰＵ１１は、画像記憶部７１に記憶される撮像画像を取得する。

ステップＳ２０４において、顔領域評価処理部５４は、顔領域評価処理を実行する。本実施形態の顔領域評価処理については後述する。

ステップＳ２０５において、画像合成処理部５６は、画像合成処理を実行する。本実施形態の画像合成処理については後述する。

ステップＳ２０６において、ＣＰＵ１１は、撮影が終了したか否かを判断する。
撮影が終了していない場合には、ステップＳ２０６においてＮＯと判断されて、ステップＳ２０２に戻る。
これに対して、撮影が終了した場合には、ステップＳ２０６においてＹＥＳと判断されて、パノラマ撮影処理は終了する。

図１４は、他の実施形態のパノラマ撮影処理のうち、顔領域評価処理の詳細な流れを説明するフローチャートである。

ステップＳ２２１において、顔領域評価処理部５４は、ライブビュー画像内に顔領域があるか否かを判定する。
ライブビュー画像内に顔領域がない場合には、ステップＳ２２１においてＮＯと判定されて、顔領域評価処理は終了する。
これに対して、ライブビュー画像内に顔領域がある場合には、ステップＳ２２１においてＹＥＳと判定されて、処理はステップＳ２２２に進む。

ステップＳ２２２において、顔領域を検出する。
ステップＳ２２３において、顔領域評価処理部５４は、検出顔領域の位置を取得する。

ステップＳ２２４において、顔領域評価処理部５４は、検出顔領域の評価値を算出する。

ステップＳ２２５において、顔領域評価処理部５４は、略同一位置の顔領域があるか否かを判定する。
略同一位置の顔領域がない場合には、ステップＳ２２５においてＮＯと判定されて、処理はステップＳ２２９に進む。

ステップＳ２２９において、顔領域評価処理部５４は、今回の位置と評価値を画像記憶部７１に記憶させる。その後、処理はステップＳ２３０に進む。ステップＳ２３０以降の処理は後述する。
これに対して、略同一位置の顔領域がある場合には、ステップＳ２２５においてＹＥＳと判定されて、処理はステップＳ２２６に進む。

ステップＳ２２６において、顔領域評価処理部５４は、記憶されている評価値と、今回の評価値を比較する。

ステップＳ２２７において、顔領域評価処理部５４は、今回の評価値が記憶されている評価値よりも高いか否かを判定する。
今回の評価値が記憶されている評価値よりも低い場合には、ステップＳ２２７においてＮＯと判定されて、処理はステップＳ２２９に進む。
これに対して、今回の評価値が記憶されている評価値よりも高い場合には、ステップＳ２２７においてＹＥＳと判定されて、処理はステップＳ２２８に進む。

ステップＳ２２８において、顔領域評価処理部５４は、評価値を今回の算出値で更新し、更新フラグを立てる。

ステップＳ２３０において、顔領域評価処理部５４は、他に顔領域がないか否かを判定する。
他に顔領域がある場合には、ステップＳ２３０においてＮＯと判定されて、処理はステップＳ２２２に進む。
これに対して、他に顔領域がない場合には、ステップＳ２３０においてＹＥＳと判定されて、顔領域評価処理は終了する。

図１５は、他の実施形態のパノラマ撮影処理のうち、画像合成処理の詳細な流れを説明するフローチャートである。

ステップＳ２５１において、画像合成処理部５６は、取得画像内に未合成領域があるか否かを判定する。
取得画像内に未合成領域がない場合には、ステップＳ２５１においてＮＯと判定されて、処理はステップＳ２５３に進む。ステップＳ２５３以降の処理については、後述する。
これに対して、取得画像内に未合成領域がある場合には、ステップＳ２５１においてＹＥＳと判定されて、処理はステップＳ２５２に進む。

ステップＳ２５２において、画像合成処理部５６は、重複部分を判別してつながるように合成処理を行う。

ステップＳ２５３において、画像合成処理部５６は、更新フラグが立っている顔領域があるか否かを判定する。
更新フラグが立っている顔領域がない場合には、ステップＳ２５３においてＮＯと判定されて、画像合成処理は終了する。
これに対して、更新フラグが立っている顔領域がある場合には、ステップＳ２５３においてＹＥＳと判定されて、処理はステップＳ２５４に進む。

ステップＳ２５４において、画像合成処理部５６は、今回撮像画像の当該顔領域を抽出する。

ステップＳ２５５において、画像合成処理部５６は、合成済み画像の該当顔領域に抽出した顔領域を上書き合成する。

ステップＳ２５６において、画像合成処理部５６は、上書き合成した顔領域の更新フラグをクリアする。

ステップＳ２５７において、画像合成処理部５６は、他に顔領域がないか否かを判定する。
他に顔領域がある場合には、ステップＳ２５７においてＮＯと判定されて、処理はステップＳ２５３に進む。
これに対して、他に顔領域がない場合には、ステップＳ２５７においてＹＥＳと判定されて、画像合成処理は終了する。

以上のように構成される撮像装置１は、ＣＰＵ１１と、顔領域評価処理部５４と、画像合成処理部５６と、を備える。
ＣＰＵ１１は、撮像範囲を変化させながら部分的に撮影した複数の画像を部分画像として順次取得する。
顔領域評価処理部５４は、ＣＰＵ１１により取得された撮影範囲の異なる複数の部分画像各々から被写体像を検出する。
また、顔領域評価処理部５４は、検出された各被写体像を評価する。
画像合成処理部５６は、顔領域評価処理部５４により、同じ被写体像を含む複数の部分画像については、より高い評価を得た被写体像を含む部分画像を、合成対象とする画像として選択する。
画像合成処理部５６は、取得された異なる被写体像を含む複数の部分画像と、同じ被写体像を含む複数の部分画像のうち、合成対象として選択された部分画像と、を合成して撮影範囲の拡張された１枚の画像を生成する。
これにより、撮像装置１においては、撮像装置を移動させながら複数枚の画像を取得してつなげるように合成してパノラマ画像を生成する場合であっても、より目つぶりしていない、笑顔等の良好な画像の被写体像からなる画像を生成することができる。また、既取得の被写体像であっても取り直したほうがよいと思われるような場合に、再度その被写体像に撮像装置を移動させることで、より良好な画像が得られる可能性が広げることができる。
よって、撮像装置１においては、全ての被写体像の撮影状態が良好な画像を生成することができる。

また、撮像装置１は、取得した部分画像内に評価が所定未満である被写体像が含まれている場合に、その旨を報知出力する出力部１９を備える。
これにより、撮像装置１においては、目つぶりしている、笑顔でないといった良好でない顔が取得した部分画像に含まれている場合には、ユーザに報知されるため、撮りなおしの有無を判断することができる。

また、画像合成処理部５６は、出力部１９による報知出力に応じて同じ被写体像が再取得された場合に、被写体像の選択を行う。
これにより、撮像装置１では、同じ被写体像が再取得されない場合には、被写体像の選択を行わないために、処理負担を軽減することができる。

非良好顔領域表示処理部５５は、取得した画像を表示するように出力部１９を制御する。また、非良好顔領域表示処理部５５は、表示している画像内に評価が所定未満である被写体像が含まれている場合に、その被写体像を識別可能に表示するように出力部１９を制御する。
これにより、撮像装置１においては、目つぶりしている、笑顔でないといった良好でない顔を容易に識別できるので、どこを撮りなおせばよいか容易に判別することができる。

また、非良好顔領域表示処理部５５は、表示している画像内に評価が所定未満である被写体像が含まれていない場合に、その被写体像の位置を示す表示をするように出力部１９を制御する。
これにより、撮像装置１においては、撮像装置１を移動させながら撮影していて良好でない顔を通り過ぎて表示部から外れてしまったような場合であっても、どこを撮りなおせばよいか容易に判別することができる。

また、非良好顔領域表示処理部５５は、被写体像の位置を示す表示を、現在の画角に対する当該被写体像の方向を示すように表示するように出力部１９を制御する。
これにより、撮像装置１においては、処理負担を軽減して、どこを撮りなおせばよいか容易に判別することができる。

また、非良好顔領域表示処理部５５は、複数の部分画像を取得毎に随時に合成表示すると共に、被写体像の位置を示す表示を、合成表示の画面内における当該被写体像の位置を示す表示をするように出力部１９を制御する。
これにより、撮像装置１においては、一覧的に表示されるために、ユーザにとってはどこを撮りなおせばよいか容易に判別することができる。

また、撮像装置１は、ズーム比調整処理部５１を備える。
ズーム比調整処理部５１は、部分画像の取得サイズを、評価が可能なサイズに調整する。
これにより、撮像装置１においては、確実に評価値を算出することができる。

また、ズーム比調整処理部５１は、評価が可能なサイズへの調整を、評価するために必要な被写体像の大きさを得るためのズーム比で行う。
これにより、撮像装置１においては、サイズの調整を自動で行うことができる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

上述の実施形態では、画像合成処理においては、より良好な顔領域がある場合には、上書きで合成するように構成したがこれに限られない。再撮影した場合は、より良好な顔領域である蓋然性が高い。このため、例えば、処理の簡略化も含めて、後から撮影したものを優先的に合成するように構成することができる。

また、上述の実施形態では、評価値が再撮影によりいずれ所定値以上となる前提としているため、何回撮影をしても所定値以上とならない場合には、非良好顔領域表示が消えない。そこで、所定回数以上評価値が所定値以上とならない場合、或いは、撮影開始等から所定時間以上経過した場合には、非良好顔領域表示を消すように構成してもよい。
具体的には、非良好顔領域表示処理部５５は、評価が所定未満の被写体像を所定回数以上取得した、或いは、撮影開始から所定時間以上経過した場合は、その被写体像の位置を示す表示を停止するように出力部１９を制御するように構成することができる。

また、上述の実施形態では、表示により良好でない顔領域を報知するように構成したがこれに限られない。例えば、ブザー等の音や、ランプ等の光で報知するように構成してもよい。この際、報知のタイミングで、再撮影を行い良好な撮像画像を取得するように構成してもよい。これにより、軽い処理でユーザに取りなおしを促すことができる。
具体的には、撮像装置１は、出力部１９において、評価が所定未満の被写体像を検出した場合に当該被写体像の再取得を促す報知出力を行う。また、顔領域評価処理部５４は、出力部１９による報知出力に応じて同じ被写体像が再取得された場合に、再取得された被写体像を含む画像を高い評価とするように構成することができる。

また、上述の実施形態では、より高い評価値が算出されたものを合成する画像として採用するように構成したがこれに限られない。例えば、評価値が所定値以上であった場合には、以降の評価を行わずに合成する画像とするように構成してもよい。このように構成することで、必ずしも行わなくてもよい処理を省略することができる。
具体的には、顔領域評価処理部５４は、既に評価が所定以上であると評価された被写体像が、再度検出された場合には、当該被写体像に対する評価を行わないように構成することができる。

上述の実施形態では、ズーム比は、検出したサイズの平均から好適とされるズーム比としたがこれに限られず、例えば、良好でない顔領域として、例えば、笑顔を評価するために表情を検出できるように、或いは目つぶりを検出するために目を検出できるようにといった評価される項目に応じてズームの比率を変えるように構成してもよい。このように構成することにより、より適切なズーム比となるため、必要以上にズームアップするといったことを防止することができる。
具体的には、ズーム比調整処理部５１は、評価する内容に応じてズーム比の調整を行うように構成することができる。

また、上述の実施形態では、ズーム比調整処理により、自動的にズーム比を調整してから撮影を行うように構成したがこれに限られない。撮影時に評価値を算出可能なズーム又は被写体像への距離となるようなガイド表示を行うように構成してもよい。ガイド表示は例えば、被写体像を検出したら枠等を表示し、評価値を算出可能状態となったら枠の表示が変化する等で行うことができる。ユーザは、このようなガイド表示で、被写体像に近づいたり、ズームを調整したりすることでサイズを調整することができ、確実に評価値を算出することができるようになる。

また、上述の実施形態では、良好でない顔として、集合写真の場合、笑顔でない、目つぶり等を例示として挙げたがこれに限られず、例えば、赤目、ブレや逆光等でもよい。また、良好でない顔は、ユーザの撮像画像の取得目的に応じて任意に設定することができ、写りが悪いというネガティブなものであってもよく、良好である顔を逆に悲しい顔や悔しがっている顔として、ポジティブなものを良好でない顔としてもよい。

また、上述の実施形態では、顔領域の検出技術を利用しているために、顔の状態の善し悪しを評価基準に良好でない領域の表示処理や画像の合成処理等を行ったがこれに限られず、被写体像の状態から善し悪しを評価できるものであれば、当該評価に基づいて、良好でない領域の表示処理や画像の合成処理等を行うことができる。

また、上述の実施形態では、本発明が適用される撮像装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、撮像処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図２の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ），Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部２０に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
撮像範囲を変化させながら撮影した複数の画像を部分画像として順次取得する画像取得手段と、
前記画像取得手段により取得された撮影範囲の異なる複数の部分画像各々から被写体像を検出する検出手段と、
前記検出手段により検出された各被写体像を評価する被写体像評価手段と、
前記被写体像評価手段により、同じ被写体像を含む複数の部分画像については、より高い評価を得た被写体像を含む部分画像を、合成対象として選択する被写体像選択手段と、
前記画像取得手段により取得された異なる被写体像を含む複数の部分画像と、同じ被写体像を含む複数の部分画像のうち、前記被写体像選択手段により前記合成対象として選択された部分画像と、を合成して撮影範囲の拡張された１枚の画像を生成する画像生成手段と、
を備えることを特徴とする撮像装置。
［付記２］
前記取得した部分画像内に評価が所定未満である被写体像が含まれている場合に、その旨を報知する報知手段を備える、
ことを特徴とする付記１に記載の撮像装置。
［付記３］
前記被写体像選択手段は、前記報知手段による報知に応じて同じ被写体像が再取得された場合に、被写体像の選択を行う、
ことを特徴とする付記２に記載の撮像装置。
［付記４］
前記報知手段は、表示している画像内に評価が所定未満である被写体像が含まれている場合に、その被写体像を識別可能に表示するように表示手段を制御する第１の表示制御手段を備える、
ことを特徴とする付記２又は３に記載の撮像装置。
［付記５］
前記報知手段は、表示している画像内に評価が所定未満である被写体像が含まれていない場合に、その被写体像の位置を示す表示をするように表示手段を制御する第２の表示制御手段を備える、
ことを特徴とする付記２乃至４のいずれか１つに記載の撮像装置。
［付記６］
前記第２の表示制御手段は、前記被写体像の位置を示す表示を、現在の画角に対する当該被写体像の方向を示すように表示するように前記表示手段を制御する、
ことを特徴とする付記５に記載の撮像装置。
［付記７］
前記第２の表示制御手段は、複数の部分画像を取得毎に随時に合成表示すると共に、前記被写体像の位置を示す表示を、前記合成表示の画面内における当該被写体像の位置を示す表示をするように表示手段を制御する、
ことを特徴とする付記５又は６に記載の撮像装置。
［付記８］
前記第２の表示制御手段は、評価が所定未満の被写体像を所定回数以上取得した、或いは、撮影開始から所定時間以上経過した場合は、その被写体像の位置を示す表示を停止するように前記表示手段を制御する、
ことを特徴とする付記５乃至７のいずれか１つに記載の撮像装置。
［付記９］
前記報知手段による報知に応じて同じ被写体像が再取得された場合に、前記被写体像評価手段は、再取得された被写体像を含む画像を高い評価とする、
ことを特徴とする付記２に記載の撮像装置。
［付記１０］
前記被写体像評価手段は、既に評価が所定以上であると評価された被写体像が、再度検出された場合には、当該被写体像に対する評価を行わない、
ことを特徴とする付記１乃至９のいずれか１つに記載の撮像装置。
［付記１１］
部分画像の取得サイズを、評価が可能なサイズに調整する調整手段を備える、
ことを特徴とする付記１乃至１０のいずれか１つに記載の撮像装置。
［付記１２］
前記調整手段は、評価が可能なサイズへの調整を、評価するために必要な被写体像の大きさを得るためのズーム比で行う、
ことを特徴とする付記１１に記載の撮像装置。
［付記１３］
前記調整手段は、評価する内容に応じてズーム比の調整を行う、
ことを特徴とする付記１２に記載の撮像装置。
［付記１４］
撮像範囲を変化させながら撮影した複数の画像を部分画像として順次取得する画像取得ステップと、
前記画像取得ステップにより取得された撮影範囲の異なる複数の部分画像各々から被写体像を検出する検出ステップと、
前記検出ステップにより検出された各被写体像を評価する被写体像評価ステップと、
前記被写体像評価ステップにより、同じ被写体像を含む複数の部分画像については、より高い評価を得た被写体像を含む部分画像を、合成対象として選択する被写体像選択ステップと、
前記画像取得ステップにより取得された異なる被写体像を含む複数の部分画像と、同じ被写体像を含む複数の部分画像のうち、前記被写体像選択ステップにより前記合成対象として選択された部分画像と、を合成して撮影範囲の拡張された１枚の画像を生成する画像生成ステップと、
を含むことを特徴とする撮像方法。
［付記１５］
撮像装置を制御するコンピュータを、
撮像範囲を変化させながら撮影した複数の画像を部分画像として順次取得する画像取得手段、
前記画像取得手段により取得された撮影範囲の異なる複数の部分画像各々から被写体像を検出する検出手段、
前記検出手段により検出された各被写体像を評価する被写体像評価手段、
前記被写体像評価手段により、同じ被写体像を含む複数の部分画像については、より高い評価を得た被写体像を含む部分画像を、合成対象として選択する被写体像選択手段、
前記画像取得手段により取得された異なる被写体像を含む複数の部分画像と、同じ被写体像を含む複数の部分画像のうち、前記被写体像選択手段により前記合成対象として選択された部分画像と、を合成して撮影範囲の拡張された１枚の画像を生成する画像生成手段、
として機能させることを特徴とするプログラム。

１・・・撮像装置，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・撮像部，１７・・・加速度センサ，１８・・・入力部，１９・・・出力部，２０・・・記録部，２１・・・通信部，２２・・・ドライブ，３１・・・リムーバブルメディア，５１・・・ズーム比調整処理部，５２・・・顔領域検出処理部，５３・・・移動検出部，５４・・・顔領域評価処理部，５５・・・非良好顔領域表示処理部，５６・・・画像合成処理部，７１・・・画像記憶部

Claims (15)

1. 撮像範囲を変化させながら撮影した複数の画像を部分画像として順次取得する画像取得手段と、
   前記画像取得手段により取得された撮影範囲の異なる複数の部分画像各々から被写体像を検出する検出手段と、
   前記検出手段により検出された各被写体像を評価する被写体像評価手段と、
   前記被写体像評価手段により、同じ被写体像を含む複数の部分画像については、より高い評価を得た被写体像を含む部分画像を、合成対象として選択する被写体像選択手段と、
   前記画像取得手段により取得された異なる被写体像を含む複数の部分画像と、同じ被写体像を含む複数の部分画像のうち、前記被写体像選択手段により前記合成対象として選択された部分画像と、を合成して撮影範囲の拡張された１枚の画像を生成する画像生成手段と、
   を備えることを特徴とする撮像装置。
2. 前記取得した部分画像内に評価が所定未満である被写体像が含まれている場合に、その旨を報知する報知手段を備える、
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記被写体像選択手段は、前記報知手段による報知に応じて同じ被写体像が再取得された場合に、被写体像の選択を行う、
   ことを特徴とする請求項２に記載の撮像装置。
4. 前記報知手段は、表示している画像内に評価が所定未満である被写体像が含まれている場合に、その被写体像を識別可能に表示するように表示手段を制御する第１の表示制御手段を備える、
   ことを特徴とする請求項２又は３に記載の撮像装置。
5. 前記報知手段は、表示している画像内に評価が所定未満である被写体像が含まれていない場合に、その被写体像の位置を示す表示をするように表示手段を制御する第２の表示制御手段を備える、
   ことを特徴とする請求項２乃至４のいずれか１項に記載の撮像装置。
6. 前記第２の表示制御手段は、前記被写体像の位置を示す表示を、現在の画角に対する当該被写体像の方向を示すように表示するように前記表示手段を制御する、
   ことを特徴とする請求項５に記載の撮像装置。
7. 前記第２の表示制御手段は、複数の部分画像を取得毎に随時に合成表示すると共に、前記被写体像の位置を示す表示を、前記合成表示の画面内における当該被写体像の位置を示す表示をするように表示手段を制御する、
   ことを特徴とする請求項５又は６に記載の撮像装置。
8. 前記第２の表示制御手段は、評価が所定未満の被写体像を所定回数以上取得した、或いは、撮影開始から所定時間以上経過した場合は、その被写体像の位置を示す表示を停止するように前記表示手段を制御する、
   ことを特徴とする請求項５乃至７のいずれか１項に記載の撮像装置。
9. 前記報知手段による報知に応じて同じ被写体像が再取得された場合に、前記被写体像評価手段は、再取得された被写体像を含む画像を高い評価とする、
   ことを特徴とする請求項２に記載の撮像装置。
10. 前記被写体像評価手段は、既に評価が所定以上であると評価された被写体像が、再度検出された場合には、当該被写体像に対する評価を行わない、
    ことを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
11. 部分画像の取得サイズを、評価が可能なサイズに調整する調整手段を備える、
    ことを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
12. 前記調整手段は、評価が可能なサイズへの調整を、評価するために必要な被写体像の大きさを得るためのズーム比で行う、
    ことを特徴とする請求項１１に記載の撮像装置。
13. 前記調整手段は、評価する内容に応じてズーム比の調整を行う、
    ことを特徴とする請求項１２に記載の撮像装置。
14. 撮像範囲を変化させながら撮影した複数の画像を部分画像として順次取得する画像取得ステップと、
    前記画像取得ステップにより取得された撮影範囲の異なる複数の部分画像各々から被写体像を検出する検出ステップと、
    前記検出ステップにより検出された各被写体像を評価する被写体像評価ステップと、
    前記被写体像評価ステップにより、同じ被写体像を含む複数の部分画像については、より高い評価を得た被写体像を含む部分画像を、合成対象として選択する被写体像選択ステップと、
    前記画像取得ステップにより取得された異なる被写体像を含む複数の部分画像と、同じ被写体像を含む複数の部分画像のうち、前記被写体像選択ステップにより前記合成対象として選択された部分画像と、を合成して撮影範囲の拡張された１枚の画像を生成する画像生成ステップと、
    を含むことを特徴とする撮像方法。
15. 撮像装置を制御するコンピュータを、
    撮像範囲を変化させながら撮影した複数の画像を部分画像として順次取得する画像取得手段、
    前記画像取得手段により取得された撮影範囲の異なる複数の部分画像各々から被写体像を検出する検出手段、
    前記検出手段により検出された各被写体像を評価する被写体像評価手段、
    前記被写体像評価手段により、同じ被写体像を含む複数の部分画像については、より高い評価を得た被写体像を含む部分画像を、合成対象として選択する被写体像選択手段、
    前記画像取得手段により取得された異なる被写体像を含む複数の部分画像と、同じ被写体像を含む複数の部分画像のうち、前記被写体像選択手段により前記合成対象として選択された部分画像と、を合成して撮影範囲の拡張された１枚の画像を生成する画像生成手段、
    として機能させることを特徴とするプログラム。

Images