JP2010183317A - 撮像装置、画像合成表示装置、画像合成表示方法、およびプログラム - Google Patents

Abstract

【課題】簡単な構成で人物を背景画像に合成することのできる撮像装置、画像合成表示装置、画像合成表示方法、およびプログラムを提供する。
【解決手段】被写体の人物２１を撮像する撮像部２と、人物２１の撮像結果より顔部２１ａを検出する顔検出部３を有し、顔検出部３によって検出された顔に従って、複数のパネル画像のデータからパネル画像２３を選択し、選択されたパネル画像２３と顔画像２１ａを合成し、第１の合成画像に、さらに背景画像を合成する。
【選択図】 図３

Description

本発明は、撮像装置、画像合成表示装置、画像合成表示方法、およびプログラムに関し、詳しくは、人物画像内の人物部分を背景画像に合成できる撮像素子、画像合成表示装置、画像表示方法、およびプログラムに関する。

近年、撮影画像はデジタル化しており、人物画像から顔の部分を切り出し、この顔の部分を背景画像に合成する等、様々な画像加工が容易になってきている。このような合成画像を目にする機会も増え、撮影者自ら画像合成を行ってみたいと思うユーザが増えてきている。

例えば、特許文献１には、原画像から人物画像の抽出が正確に行われない場合でも、人物画像と背景画像とを自然な感じで画像合成する人物画像処理方法が開示されている。この人物画像処理方法では、原画像から抽出した人物と背景の境界線が、正確であったか否かを判定し、正確ではなかった場合には、不正確であった境界線の部分を隠すようにしている。

特開２００４−２４６６３５号公報

特許文献１に開示の人物画像処理方法では、境界線の検出に、非常に複雑な技術が必要である。小型で廉価な携帯タイプの撮像装置等では、大きさやコスト、さらには消費電力の制限があり、このような機能を搭載することは困難である。

本発明は、このような事情を鑑みてなされたものであり、簡単な構成で人物を背景画像に合成することのできる撮像装置、画像合成表示装置、画像合成表示方法、およびプログラムを提供することを目的とする。

上記目的を達成するため第１の発明に係わる撮像装置は、被写体の人物を撮像する撮像部と、上記人物の撮像結果より顔部を検出する顔検出部と、上記顔検出部によって検出された顔に従って、複数の装飾画像データから装飾画像を選択する装飾画像選択部と、上記選択された装飾画像と上記顔画像を合成する第１の合成部と、上記第１の合成部の合成画像に、さらに背景画像を合成する第２の合成部と、を有する。

第２の発明に係わる撮像装置は、上記第１の発明において、上記複数の装飾画像データは、顔に相当する部分を差し替え可能なように、顔に相当する部分の大きさと位置の情報を有する。
第３の発明に係わる撮像装置は、上記第１の発明において、上記顔検出部は、上記複数の装飾画像データの差し替え可能な上記顔に相当する部分に、上記顔を合成可能かを判定するために、顔の角度や大きさを判定可能である。
第４の発明に係わる撮像装置は、上記第１の発明において、上記装飾画像は、上記背景画像と合成するために、輪郭情報を有する。

第５の発明に係わる画像合成表示装置は、画像データを記憶する記憶部と、上記画像データ中の人物画像より顔部を検出する顔検出部と、上記顔検出部によって検出された顔に従って、複数の装飾画像データから装飾画像を選択する装飾画像選択部と、上記選択された装飾画像と上記顔画像を合成する第１の合成部と、上記第１の合成部の合成画像に、さらに背景画像を合成する第２の合成部と、を有する。

第６の発明に係わる画像合成表示方法は、記憶されている画像データ中の人物画像より顔部を検出し、上記検出された顔に従って、複数の装飾画像データから装飾画像を選択し、上記選択された装飾画像と上記顔部の画像について第１の画像合成を行い、上記第１の画像合成によって合成された合成画像と、背景画像をさらに第２の画像合成を行う。

第７の発明に係わるプログラムは、記憶されている画像データ中の人物画像より顔部を検出し、上記検出された顔に従って、複数の装飾画像データから装飾画像を選択し、上記選択された装飾画像と上記顔部の画像について第１の画像合成を行い、上記第１の画像合成によって合成された合成画像と、背景画像をさらに第２の画像合成を行う。

本発明によれば、簡単な構成で人物を背景画像に合成することのできる撮像装置、画像合成表示装置、画像合成表示方法、およびプログラムを提供することができる。

本発明の一実施形態に係わるカメラにおける電気回路を示すブロック図である。 本発明の一実施形態に係わるカメラにおいて、パネルデータベースに記憶されているパネル画像の例を示す図である。 本発明の一実施形態に係わるカメラにおいて、人物画像から顔の部分を抽出し、これをパネル画像に合成した後に、背景画像に合成した背景合成画像の生成を説明する図である。 本発明の一実施形態におけるカメラにおけるカメラ制御の動作を示すフローチャートである。 本発明の一実施形態におけるカメラにおける画像分類の動作を示すフローチャートである。 本発明の一実施形態におけるカメラにおける風景合成の動作を示すフローチャートである。 本発明の一実施形態に係わるカメラにおいて、顔の向きの検出の仕方を説明する図である。 本発明の一実施形態に係わるカメラにおいて、画像分類を行うにあたって使用する画像情報を説明する図である。 本発明の一実施形態の変形例に係わるカメラにおいて、人物画像の顔の部分をパネル画像に合成する様子を説明する図である。

以下、図面に従って本発明を適用したカメラを用いて好ましい一実施形態について説明する。図１は、本発明の一実施形態に係わるカメラ１０の電気回路を示すブロック図である。カメラ１０は、デジタルカメラであり、画像処理及び制御部１、撮像部２、加速度センサ４、操作部６、記録部７、表示部８、時計部９等から構成される。

撮像部２は、ズーム機能を有する撮影レンズや、シャッタ等の露出制御部、撮像素子、撮像素子の駆動及び読出回路等を含み、撮影レンズによって形成された被写体像を撮像素子によって画像データに変換する。

画像処理及び制御部１は、記憶されているプログラムに従ってカメラ１０の全体のシーケンスを制御する。また、撮像部２から出力される画像信号を取り込み、間引き処理、エッジ強調、色補正、画像圧縮等の種々の画像処理を行い、ライブビュー表示、記録部７への記録、再生表示、後述するパネル表示等の画像処理を行う。画像処理及び制御部１内には、焦点距離判定部２ｂ、顔検出部３、顔角度検出部３ａ、合成処理部５を含む。

焦点距離判定部２ｂは、撮像部２におけるズームレンズの焦点距離を判定し、この焦点距離情報を出力する。顔検出部３は、撮像部２で取得した画像データに基づいて、画像の中に顔の部分が含まれるか否かを判定する。また、顔の部分が含まれていた場合には、その顔の位置、大きさ等を検出する。撮像部２は顔検出部３において検出された顔部分にピントが合うようにピント合わせを行うことようにしてもよい。顔角度検出部３ａは、顔検出部３によって検出された顔について、その顔が向いている向き（角度）や顔の大きさ等を検出する。合成処理部５は、顔検出部３で検出された顔の部分について、後述する記録部７内のパネルデータベース７ｂに記憶されているパネル画像や、風景データベースに記憶されている風景画像との画像合成を行う。

加速度センサ４は、カメラ１０に加えられた加速度を検出し、カメラ１０の撮影の際の仰角を測定する。仰角が測定できるものであれば、加速度センサ以外にも、ジャイロ、角速度センサ等、他のセンサでも良い。操作部６は、レリーズ釦、パワースイッチ、再生モード設定釦、再生画像送り・戻し釦、サムネイル釦、選択釦、パネル表示釦、風景変更釦等、種々の操作部材を含み、これらの操作部材の操作状態を判定し、画像処理及び制御部１に判定結果を送る。画像処理及び制御部１は、操作部材の操作状態に応じて、所定のシーケンスで撮影や再生の制御を行う。

記録部７は、レリーズ釦によって撮影の指示がなされた際に、撮像部２によって取得され、画像処理及び制御部１によって画像処理された画像データを記録する。また、画像データを記録するにあたって、画像分類情報や顔の特徴等の情報と関連付けられ、この関連情報を記憶する。また、関連情報としては、後述する時計部９によって取得する撮影日時情報や、焦点距離判定部２ｂによって判定された焦点距離情報や、加速度センサによって検出された撮影時の仰角情報等も含まれる。

記録部７内には、パネルデータベース７ｂと風景データベース７ｃが記憶されている。パネルデータベース７ｂは、顔部分をくり抜いたパネル画像（人型看板）を記憶している。このパネル画像は、「姫」「武将」「妖怪」等、様々のキャラクタを示しており、観光地等における記念撮影用の人型看板等を含んでいる。また、このパネル画像は、人物の身体を覆い隠すことができ、顔の部分に撮影画像の人物の顔の部分を嵌め込むことが可能である。パネル画像では輪郭部分が既知であることから、風景画像等の背景画像に合成する際に、人物画像の複雑な輪郭に沿って切り出すことが不要となる。

図２にパネルデータベース７ｂに記憶されているパネル画像の例を示す。このパネル画像のデータベースには、カテゴリー別に（図２において、「姫」「妖怪」「武将」）、顔部分の位置、顔の大きさ（図２においては、大きさをＤ１〜Ｄ３）、顔の角度に関する情報（図２においては、左１５°〜右５°）がパネル画像と共に記憶されている。また、パネル画像の境界に関する情報や、パネル画像の性別（男女）に関する情報や、パネル画像の向いている方向に関する情報が記憶されている。

風景データベース７ｃには、日本や世界各地の有名な風景画像や、ユーザが撮影した風景画像等が複数、記憶されている。この風景画像は、人物の顔部分が嵌め込まれたパネル画像と合成する際に使用される。この風景データベース７ｃには、個々の風景画像に関連付けて、仰角情報や、空・地平線位置が記憶されている。本実施形態においては、加速度センサ４によって撮影時の仰角情報を検出し、この仰角情報と画像データを関連付けて記録部７に記録するが、風景データベース７ｃに記録される風景画像データの中には、仰角情報を有しない場合がある。そこで、仰角情報を有しない場合でも、適切な風景画像を選択できるように、空・地平線位置情報を記憶している。また、風景データベース７ｃに記憶されている風景画像には、画像内の人物の数情報、撮影時の焦点距離情報、撮影時の明るさ情報等の情報も併せて記録している。

表示部８は、画像合成部５において合成されたパネル表示の画像データを表示する。また、合成された画像以外にも、撮影前のライブビュー表示や、記録済みの画像の通常再生表示等がある。また、表示部８は、ライブビュー表示の際に、パネル表示を行うためのパネル画像が有るか否かの判定結果を表示する。時計部９は、カレンダー機能や時計機能を有し、前述したように撮影時には撮影日時情報を出力する。これらの撮影位置情報や撮影日情報は、画像整理や画像検索の際に利用できる。

次に、本実施形態における画像合成の仕方について、図３を用いて説明する。図３（ａ）は、ユーザによってカメラ１０を用いて人物２１を撮影した画像である。この撮影画像は、人物２１以外にも背景が含まれており、また人物２１の顔２１ａはカメラ１０に対して角度θだけ左を向いている。この人物２１の顔２１ａの角度の求め方については、図４を用いて後述する。

撮影画像が決まると、次に、この撮影画像中の人物２１の顔２１ａに相応しいパネル画像２３を選択する。パネル画像の選択にあたっては、撮影画像の画像データに関連して記録されている人物２１の顔２１ａの位置、大きさＷｆ、向きθ等と、略一致するパネル画像をパネルデータベース７ｂの中から検索する。パネル画像の幅Ｗｓが人物２１の幅より、小さい場合には、図３（ｃ）に示すように、人物２１の一部がはみ出てしまう（図３（ｃ）の例では、手がはみ出ている）。しかし、図３（ｄ）に示すように、パネル画像２３の顔２３ａの部分に、人物２１の顔２１ａの部分を嵌め込んだパネル合成画像を生成すると、上述のはみ出た部分は消去される。

人物２１の顔２１ａを嵌め込んだパネル合成画像ができると、次に、図３（ｅ）（ｆ）に示すように、パネル合成画像に風景画像を合成し、背景合成画像を生成する。風景画像との合成にあたっては、パネル合成画像の輪郭を示す輪郭情報が、パネル画像２３に関連付けて記憶されていることから、画像合成を簡単に行うことができる。

次に、人物２１の顔２１ａの向いている角度の求め方について、図４を用いて説明する。図４（ａ）に示すような人物２１を含む画像が取得された場合、この中から人物２１の顔２１ａを図４（ｂ）に示すように抽出する。続いて、人物２１の顔の輪郭線から、図４（ｂ）（ｃ）に示すように、楕円近似で顔輪郭３１を抽出する。この楕円の長軸と短軸の交点を求め、この交点を顔輪郭中心３２とする。また、人物２１の顔２１ａの陰影の交点、例えば、両目を結ぶ線と、鼻を結ぶ線の交点を顔陰影中心３４とする。それぞれの交点を通る線のズレから、目や鼻に相当する陰影のズレ量ΔＸ、ΔＹを求める。また、顔陰影中心３４を通る長軸方向の長さから顔の大きさＤを求める。

また、画面上下ライン３５と、顔陰影中心３４を上下方向に通る顔陰影上下ライン３３（図４（ｃ）では中心３４を通るラインと平行なラインで示している）との傾きθを求める。これらのΔＸ、ΔＹ、Ｄ、θは、人物２１の顔の特徴を表しているので、これらの特徴値を図４（ａ）の画像に関連付けて記憶し、この特徴値と略一致するパネル画像２３を検索して、画像合成すれば、自然な合成となる。

次に、本実施形態におけるカメラ制御の動作を図５に示すフローチャートを用いて説明する。カメラ制御のフローに入ると、まず、電源がオンか否かの判定を行う（Ｓ１００）。このステップでは、カメラ１０の操作部材としてのパワースイッチがオンか否かを判定し、パワースイッチがオフの場合には、カメラ制御のフローを終了する。なお、カメラ制御のフローを終了しても、パワースイッチの状態を検知しており、パワースイッチがオンとなると、ステップＳ１００から動作を開始する。

ステップＳ１００における判定の結果、電源がオンであった場合には、次に、撮影モードか否かの判定を行う（Ｓ１０１）。この判定の結果、撮影モードであった場合には、次に、ライブビュー表示を行う（Ｓ１０２）。ここでは、撮像部２によって取得された画像データに基づいて、表示部８に毎秒３０コマ程度で被写体像をライブビュー表示する。ユーザは、ライブビュー表示に基づいて、構図を決めたり、シャッタチャンスを決定し、レリーズ動作を行うことができる。

ライブビュー表示を開始すると、次に、顔検出を行う（Ｓ１０３）。ここでは、撮像部２からの画像データに基づいて、顔検出部３によって顔が含まれているか否かの判定を行う。続いて、向き、大きさ判定を行う（Ｓ１０４）。ここでは、顔角度検出部３ａによって、図４を用いて説明した方法によって、顔の向いている方向や、顔の大きさを判定する。

ステップＳ１０４において顔の向きや大きさの判定を行うと、次に、パネル画像が有るか否かの判定を行う（Ｓ１０５）。ここでは、ステップＳ１０３やＳ１０４において判定した顔の位置、大きさ、向き等の情報を用いて、パネルデータベース７ｂに、略一致するようなパネル画像が有るか否かの判定を行う。この判定の結果、パネル画像が存在した場合には、表示部８にＯＫ表示を行う（Ｓ１０６）。このように、ステップＳ１０３〜Ｓ１０６において、パネル表示のための画像合成ができるか否かを撮影者に告知している。ユーザはこの表示を見ることによって、パネル表示、すなわち、人物の顔をパネル画像に嵌め込んだパネル合成画像の表示や、さらに風景画像と合成した背景合成画像の表示を行うことができるかを、構図を決める際に、知ることができる。なお、パネル表示の可否について事前に表示する必要がなければ、ステップＳ１０５〜Ｓ１０６を省略しても構わない。

ステップＳ１０６におけるＯＫ表示を行うと、またはステップＳ１０５における判定の結果、パネル画像がない場合には、次に、レリーズを行うか否かの判定を行う（Ｓ１０７）。ここでは、レリーズ釦が操作されたか否かを操作判定部６によって判定する。この判定の結果、レリーズでなかった場合には、ステップＳ１００に戻る。一方、ステップＳ１０７における判定の結果、レリーズであった場合には、次に、撮影・記録を行う（Ｓ１０８）。

ステップＳ１０８の撮影・記録においては、撮像部２によって取得された画像データを、画像処理及び制御部１によって画像処理し、この画像処理された画像データを、記録部７に記録する。画像データの記録にあたっては、時計部９によって取得した撮影日時情報を併せて記録する。

撮影・記録を行うと、次に、画像分類・記録を行う（Ｓ１０９）。ここでは、撮影画像をスナップ、ポートレート、風景等の撮影主題ごとに分類し、また、撮影画像中の顔の数、位置、大きさ、向き等の特徴を検出し、また、風景画像の場合には、合成可能であるか否か等、種々の情報を得られるよう、画像分類を行う。画像分類を行うと、この分類結果の記録を行う。ステップＳ１０８において画像データを記録するが、ステップＳ１０９では、記録された画像データに関連付けて、後述する図８（ａ）に示すような表形式で関連情報記録部７に記録する。分類結果の記録を行うと、ステップＳ１００に戻る。

ステップＳ１０１における判定の結果、撮影モードでなかった場合には、再生モードか否かの判定を行う（Ｓ１１１）。この判定の結果、再生モードでなかった場合には、ステップＳ１００に戻る。一方、再生モードであった場合には、パネル表示を行うか否かの判定を行う（Ｓ１１２）。ユーザがパネル表示による画像再生を鑑賞したい場合には、パネル表示釦を操作するので、このステップでは、パネル表示釦を操作したか否かの判定を行う。パネル表示モードは、図３を用いて説明したように、撮影した画像の人物２１の顔２１ａに、パネル画像２３を嵌め込んだパネル合成画像や、このパネル合成画像に風景画像等の背景画像を合成した背景合成画像を表示するモードである。ステップＳ１１２における判定の結果、パネル表示モードでなければ、通常の再生を行う（Ｓ１１３）。

通常再生モードを行うと、次に、操作されたか否かの判定を行う（Ｓ１２１）。ここでは、操作部６によって、再生表示されている画像の送り釦または戻し釦の操作、またはサムネイル表示するためのサムネイル釦がなされたか否かを判定する。この判定の結果、これらの操作が行われていなかった場合には、ステップＳ１００に戻る。一方、操作が行われていた場合には、次に、操作されていたのが、サムネイル釦であったか否かの判定を行う（Ｓ１２２）。この判定の結果、サムネイル釦が操作れていなかった場合、すなわち、画像の送り釦または戻し釦であった場合には、操作に応じた次の画像を記録部７から読み出し、表示部８に表示する（Ｓ１２６）。次の画像を表示すると、ステップＳ１１２に戻る。

ステップＳ１２２における判定の結果、サムネイル釦が操作されていた場合には、サムネイル表示を行う（Ｓ１２３）。サムネイル表示は、記録部７に記録されている複数の撮影画像を一覧形式で表示部８に表示する形式である。サムネイル表示すると、サムネイル表示の中から画像が選択されたか否かの判定を行う（Ｓ１２４）。ユーザがサムネイル表示の中から拡大して見たい画像を、選択釦によって選択するので、このステップでは選択釦が操作されたか否かの判定を行う。

ステップＳ１２４における判定の結果、選択されていなかった場合には、ステップＳ１１２に戻る。一方、判定の結果、選択されていた場合には、選択された画像を表示部８に拡大表示する（Ｓ１２５）。選択画像を拡大表示すると、ステップＳ１１２に戻る。

ステップＳ１１２における判定の結果、パネル表示を行う場合には、次に、画像合成再生を行う（Ｓ１１４）。この画像合成再生では、現在選択されている画像に対して、パネル表示の画像合成を行う。再生モードに入ったばかりのタイミングでは、直近の撮影画像が再生表示されているので、この画像に対して、パネル表示の画像合成を行う。また、ステップＳ１２５、Ｓ１２６において画像が選択された後に、パネル表示モードに切り替えた場合には、この選択されている画像に対して画像合成を行う。

このパネル表示の画像合成は、図３を用いて説明したように、まず、選択されている画像に対して、人物２１の顔２１ａの部分を抽出する。続いて、抽出した顔２１ａの部分に略一致するパネル画像２３を、パネルデータベース７ｂの中から検索する。ここでは、パネル画像２３の顔の位置、大きさ、向き等が略一致するものを検索するが、「姫」「妖怪」「武将」等のカテゴリーはランダムに選択する。ランダムに選択することにより、ユーザはパネル表示された合成画像の意外性を楽しむことができる。勿論、カテゴリーを手動で選択できるようにしても構わない。

パネル画像２３を選択すると、次に、この選択されたパネル画像２３の顔２３ａに、人物２１の顔２１ａを嵌め込む。パネル画像２３の顔２３ａの部分の輪郭（境界）は予めデータとして記憶されているので、この輪郭にはまるように、撮影画像の顔２１ａを切り出し、パネル画像２３の顔２３ａに嵌め込むだけなので、簡単に画像処理することができる。なお、この際に、図３（ｃ）に示すように、人物の２１の身体の一部（図３では手）がはみ出るが、その部分は消去される。

ステップＳ１１４において、画像合成処理を行うと、背景は図３（ａ）（ｃ）に示したような撮影画像のままであるが、このパネル合成画像を表示部８に表示する。次に、風景変更を行うか否かの判定を行う（Ｓ１１５）。ユーザは、さらに背景部分の風景を変更したい場合には、操作部６の風景変更釦を操作するので、このステップでは、風景変更釦が操作されたか否かの判定を行う。

ステップＳ１１５における判定の結果、風景変更でなかった場合には、ステップＳ１００に戻る。一方、判定の結果、風景変更であった場合には、風景合成を行う（Ｓ１１６）。ここでは、顔２１ａが嵌め込まれたパネル画像２３と、風景データベース７ｃに記憶されている風景画像の合成を行い、図３（ｅ）（ｆ）に示されるような合成画像を表示する。この風景画像のサブルーチンについては、図７に示すフローを用いて後述する。風景合成を行うと、ステップＳ１００に戻る。

次に、ステップＳ１０９の画像分類・記録のサブルーチンについて、図６に示すフローを用いて説明する。撮影画像の情報としては、撮影日時情報や撮影位置情報のみならず、図６に示す画像分類のサブルーチンによって、カテゴリー分けしておくことにより、検索の効率化に役立つ。

図６に示す画像分類のサブルーチンに入ると、まず、画像の中に顔があるか否かの判定を行う（Ｓ３０１）。この判定は、顔検出部３によって行う。この判定の結果、顔が存在した場合には、次に、顔の大きさが大か否かの判定を行う（Ｓ３０２）。ここでは、顔角度検出部３ａによって検出された顔の大きさ（図４の大きさＤ）に基づいて、所定値より大きいか否かを判定する。

ステップＳ３０２における判定の結果、所定の大きさより大きかった場合にはポートレート写真とし（Ｓ３０４）、一方、所定の大きさよりも小さかった場合には、スナップ写真と判定する（Ｓ３０３）。したがって、ステップＳ３０２における判定値は、分類分けを行うに相応しい値とする。

ステップＳ３０３、Ｓ３０４において分類分けを行うと、次に、目、鼻の影から角度判定を行う（Ｓ３０５）。図４を用いて説明したように、目や鼻の影から、顔２１ａが向いている方向θを検出することができる。続いて、顔の数、位置、大きさ、特徴を検出し、判定する（Ｓ３０６）。ここでは、顔検出部３や顔角度検出部３ａによる検出結果に基づいて、顔の数、位置、大きさや、顔の特徴を判定する。次に、ステップＳ３０３〜Ｓ３０６における判定結果を、画像データに関連付けて記録する（Ｓ３０７）。

ステップＳ３０１における判定の結果、顔がなかった場合には、次に、遠距離か否かの判定を行う（Ｓ３１１）。この判定は、撮像部２でピント合わせを行った際のピント位置に基づいて行う。この判定の結果、遠距離でなかった場合には、次に、至近距離か否かの判定を行う（Ｓ３１２）。この判定も、撮像部２においてピント合わせを行った際のピント位置に基づいて、近距離側のマクロ領域での撮影か否かを判定する。この判定の結果、至近での撮影でなかった場合にはペットの写真と判定し、分類付けを行う（Ｓ３１６）。ペットの画像をさがす場合には、このペット分類から検索すれば、速く見つけることができる。

ステップＳ３１２における判定の結果、至近であった場合には、撮影画像の彩度が高いか否かの判定を行う（Ｓ３１３）。これは画像データの彩度に基づいて行う。この判定の結果、彩度が高かった場合には、花の写真と判定し、分類付けを行う（Ｓ３１４）。一方、判定の結果、彩度が低かった場合には、小物の写真と判定し、分類付けを行う（Ｓ３１５）。

ステップＳ３１１における判定の結果、遠距離にあった場合には、画像は風景写真と判定し、分類付けを行う（Ｓ３１７）。続いて、撮影画像が望遠で撮影したものか否かの判定を行う（Ｓ３１８）。撮影時の焦点距離情報が焦点距離判定部２ｂによって検出されるので、このステップでは、焦点距離判定部２ｂによって検出された焦点距離情報が所定焦点距離より長焦点側にあるか否かの判定を行う。

ステップＳ３１８における判定の結果、望遠側でなかった場合には、次に、被写体輝度が明るいか否かの判定を行う（Ｓ３１９）。ここでは、画像データの平均輝度が所定輝度より明るいか否かの判定を行う。この判定の結果、明るかった場合には、次に、撮影が水平で行われたか否かの判定を行う（Ｓ３２０）。撮影時の仰角が加速度センサ４によって検出されるので、このステップでは、この検出された仰角情報に基づいて、略水平か否かの判定を行う。この判定の結果、水平であった場合には、合成可と判定され、この判定結果を画像データの関連情報として記録する（Ｓ３２２）。この合成可の判定は、風景画像として、パネル合成画像に用いるのは可能であるとの判定である。

ステップＳ３１８における判定の結果、望遠側であった場合、またはステップＳ３１９における判定の結果、明るくなかった場合、またはステップＳ３２０における判定の結果、水平でなかった場合には、合成不可と判定され、この判定結果を画像データの関連情報として記録する（Ｓ３２１）。この合成不可の判定は、風景画像として、パネル合成画像に用いるのは不可であるとの判定である。すなわち、パネル表示を行う場合、風景画像を背景画像として合成する場合には、望遠側で撮影した画像や、暗い環境での画像、仰ぎ見ての画像等は、パネル画像２３と合成した場合には不自然であることから、このような風景画像とは合成しないようにするためである。

ステップＳ３０７、Ｓ３１４〜Ｓ３１６、Ｓ３２１、Ｓ３２２における処理が終わると、次に、焦点距離の記録を行う（Ｓ３３１）。焦点距離は、焦点距離判定部２ｂによって判定され、このステップで、画像データの関連情報として記録される。焦点距離の記録を行うと、元のフローに戻る。このように、画像分類・記録のフローでは、画像に顔があるか否かを判定し、顔がある場合には、その人物に関する情報を検出し、スナップか、ポートレートのいずれかに分類し記録する。また、画像に顔がなかった場合には、花、小物、ペット、風景に分類し記録する。さらに、風景に分類された場合には、パネル表示の際の合成が可か不可かを判定し記録する。

次に、画像分類・記録のフローにおいて分類され、画像データの関連情報として記録部７に記録された情報の一例を、図８（ａ）に示す。また、図８（ｂ）は、画面の分割例を示し、本実施形態においては、領域Ａ１〜Ａ９の９分割である。各領域Ａ１〜Ａ９では、顔の大きさをＤ１〜Ｄ３の３段階に分けている。

図８（ａ）の中で、画像１は、スナップ写真であり、顔の数が２つあり、領域Ａ４に右に１５°の方向を向き、顔の大きさＤ２の人物が映っており、領域Ａ６に右に１５°の方向を向き、顔の大きさＤ３の人物が映っている。また、画像１は合成不可であり、焦点距離は標準（ＳＴ）レンズの焦点距離であり、撮影日時は９月１５日である。画像２〜画像５にも画像に関連付けて情報が、図８（ａ）に示すように、記録されている。なお、図８（ａ）に示した例では、風景画像として合成可能なのは、画像５のみである。

このような画像分類しておくと、パネル表示で再生表示する際に、人物２１に略一致するパネル画像や、また、風景合成する際にも合成可能な風景画像の検索を迅速かつ効率的に行うことができる。例えば、風景画像を探す場合には、Ｓ３２１において合成不可と分類された画像は、検索対象外とすることができ、検索を迅速かつ効率化することができる。

次に、ステップＳ１１６における風景合成のサブルーチンについて、図７に示すフローを用いて説明する。風景合成のフローに入ると、まず、風景画像を選ぶ（Ｓ４０１）。このステップでは、画像データに関連して記録されている関連情報の中の画像分類が、風景であるものの中からユーザが選択する。続いて、選択された画像が合成可か否かの判定を行う（Ｓ４０２）。ここでは、関連情報の中に合成可または合成不可の情報が記録されているので、この情報に基づいて判定する。

ステップＳ４０２における判定の結果、合成可であった場合には、近い焦点距離か否かの判定を行う（Ｓ４０３）。ステップＳ１１４において画像合成した撮影画像の焦点距離情報と、風景画像の撮影時の焦点距離が近いか否かを判定する。判定にあたっては、撮影画像および風景画像に関連情報として記録されている焦点距離情報を用いる。

ステップＳ４０２における判定の結果、合成不可であった場合、またはステップＳ４０３における判定の結果、近い焦点距離でなかった場合には、別風景があるか否かの判定を行う（Ｓ４１１）。ここでは、風景データベース７ｃに記憶されている風景画像として別の画像があるか否かの判定を行う。この判定の結果、別風景画像があった場合には、次の風景画像を選択し（Ｓ４１３）、ステップＳ４０２に戻る。一方、ステップＳ４１１における判定の結果、別風景がない場合には、警告表示を表示部８に行う（Ｓ４１２）。なお、視覚警告表示以外にも音声警告表示でも良い。警告表示を行うと、元のフローに戻る。

ステップＳ４０３における判定の結果、近い焦点距離であった場合には、ステップＳ４０５以下において、パネル合成画像に風景画像を合成し、背景合成画像（図３（ｅ）（ｆ）参照）の生成を行う。まず、パネル輪郭内のみ取り出しを行う（Ｓ４０５）。ここでは、パネル合成画像の輪郭情報はパネル画像２３に関連付けて記憶されているので、この情報を用いて、パネル輪郭内の画像データを抽出する。なお、このパネル合成画像には、人物２１の顔２１ａが嵌め込まれた画像である。

続いて、風景をバックに重ねる（Ｓ４０６）。ここでは、ステップＳ４０１において選択された風景画像を背景画像として、ステップＳ４０５で取りだされたパネル合成画像に重ねる。この重ね合わされた画像が背景合成画像として、表示部８に表示される。背景合成画像を表示すると、元のフローに戻る。

このように、本発明の一実施形態においては、まず、人物２１の顔２１ａを抽出して、これをパネル画像２３の顔の部分に嵌め込みパネル画像を生成する。その上で、パネル画像を風景画像等の背景画像に重畳させて背景合成画像を生成している。つまり、２段階で画像合成を行っている。パネル画像２３の輪郭線は予め画像データに関連して記憶しておくことができることから、人物２１の輪郭線を抽出するような複雑な処理を必要としない。また、人物２１の顔２１ａをパネル画像２３に嵌め込む場合も、パネル画像２３の顔２３ａの部分の輪郭線のデータを予め記憶しておくことにより、複雑な処理を必要としない。

次に、本発明の一実施形態における変形例について、図９を用いて説明する。一実施形態の図３（ｃ）に示した例では、パネル画像２３に対して人物２１が大きかった場合には、体の一部がはみ出る場合がある。このような場合でも、パネル合成画像を生成する際には、はみ出た体の部分を消去することができるので、大きな問題はない。しかし、身体の一部を消去することにより、不自然な画像となる場合もある。そこで、本変形例においては、はみ出し部分が目立たないようにしている。

図９（ａ）に示すように、人物２１に対して、はみ出し部２１ｃが有る場合には、パネル画像２３の幅が大きく、はみ出し部２１ｃを覆うようなパネル画像を選択するようにしている。このために、図５のステップＳ１１４における画像合成再生において、画像パネルを検索する際に、人物２１の大きさより大きい画像パネルを検索するようにすれば良い。

以上説明したように、本発明の実施形態においては、装飾画像として選択されたパネル画像２３と顔画像２１ａを合成する第１の合成部（Ｓ１１４）と、第１の合成部の合成画像（パネル合成画像）に、さらに背景画像を合成する第２の合成部（Ｓ１１６）を備えるようにしている。このため、簡単な構成で人物を背景画像に合成することができる。

なお、本発明の実施形態においては、パネル画像として、日本の観光地でしばしば見られる顔出し看板の例を取り上げて説明した。しかし、パネル画像としては、このような顔出し看板に限らず、背景と分離し易く、人物の輪郭を隠すことのできるものであれば、パネルである必要はなく、例えば、衣装や動物のぬいぐるみ、アニメキャラクター、建物、山などの風景等、人物の顔を出して装飾できる画像パターンのデジタルデータであれば良い。また、このような装飾用の画像データを、カメラ１０に追加したり、置き換えるようにしても良い。

また、本発明の実施形態においては、カメラ１０が撮影時に画像分類を行っていたが、撮影時には焦点距離情報等最小限の関連情報を記録し、再生時にまたは再生に先立って、画像分類を行うようにしても良い。また、本実施形態においては、カメラ１０が撮影と画像合成（パネル表示）の両方を実行するようにしていたが、カメラ１０は撮影のみとし、パーソナルコンピュータ等の画像合成表示装置において、画像合成を行うようにしても良い。この場合には、画像合成表示装置に撮影画像、パネル画像、風景画像等の画像データを格納し、ステップＳ１１１以下のフローを実行するようにしても良い。また、画像分類の機能を画像合成表示装置において実行しても良い。

さらに、本実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでも構わない。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１・・・画像処理及び制御部、２・・・撮像部、２ｂ・・・焦点距離判定部、３・・・顔検出部、３ａ・・・顔角度検出部、４・・・加速度センサ、５・・・合成処理部、６・・・操作判定部、７・・・記録部、７ｂ・・・パネルデータベース、７ｃ・・・風景データベース、８・・・表示部、９・・・時計部、１０・・・カメラ、２１・・・人物、２１ａ・・・顔、２１ｃ・・・はみ出し部、２３・・・パネル画像、２３ａ・・・顔、３１・・・顔輪郭、３２・・・顔輪郭中心、３３・・・顔陰影上下ライン、３４・・・顔陰影中心、３５・・・画面上下ライン

Claims (7)

1. 被写体の人物を撮像する撮像部と、
   上記人物の撮像結果より顔部を検出する顔検出部と、
   上記顔検出部によって検出された顔に従って、複数の装飾画像データから装飾画像を選択する装飾画像選択部と、
   上記選択された装飾画像と上記顔画像を合成する第１の合成部と、
   上記第１の合成部の合成画像に、さらに背景画像を合成する第２の合成部と、
   を有することを特徴とする撮像装置。
2. 上記複数の装飾画像データは、顔に相当する部分を差し替え可能なように、顔に相当する部分の大きさと位置の情報を有することを特徴とする請求項１に記載の撮像装置。
3. 上記顔検出部は、上記複数の装飾画像データの差し替え可能な上記顔に相当する部分に、上記顔を合成可能かを判定するために、顔の角度や大きさを判定可能であることを特徴とする請求項２に記載の撮像装置。
4. 上記装飾画像は、上記背景画像と合成するために、輪郭情報を有することを特徴とする請求項１に記載の撮像装置。
5. 画像データを記憶する記憶部と、
   上記画像データ中の人物画像より顔部を検出する顔検出部と、
   上記顔検出部によって検出された顔に従って、複数の装飾画像データから装飾画像を選択する装飾画像選択部と、
   上記選択された装飾画像と上記顔画像を合成する第１の合成部と、
   上記第１の合成部の合成画像に、さらに背景画像を合成する第２の合成部と、
   を有することを特徴とする画像合成表示装置。
6. 記憶されている画像データ中の人物画像より顔部を検出し、
   上記検出された顔に従って、複数の装飾画像データから装飾画像を選択し、
   上記選択された装飾画像と上記顔部の画像について第１の画像合成を行い、
   上記第１の画像合成によって合成された合成画像と、背景画像をさらに第２の画像合成を行う、
   ことを特徴とする画像合成表示方法。
7. 記憶されている画像データ中の人物画像より顔部を検出し、
   上記検出された顔に従って、複数の装飾画像データから装飾画像を選択し、
   上記選択された装飾画像と上記顔部の画像について第１の画像合成を行い、
   上記第１の画像合成によって合成された合成画像と、背景画像をさらに第２の画像合成を行う、
   ことをコンピュータに実行させることを特徴とするプログラム。