JP4853320B2 - 画像処理装置、画像処理方法 - Google Patents

Description

本発明は、撮像画像データについての合成処理を行う画像処理装置、及び画像処理方法に関する。

特開２００４−１３４９５０号公報

上記特許文献１には、カメラで撮像された画像に、コンピュータグラフィックスなどで作成した素材画像を合成する技術が開示されている。

一般にユーザがカメラ撮像を行う場合、被写体となった人がシャッタタイミングで眼をつむってしまったり、表情が悪くなったりして、あまり好ましい撮像画像ではなくなる場合がある。特に集合写真を撮ったときに、被写体の人のうちの一部の人が眼を閉じてしまっているといった撮像画像となる場合が多々ある。

まばたきや表情の変化を考慮して、良好な表情で人を撮像するためには、例えば撮像装置側で被写体となった人の笑顔検出やまばたき検出を行うことも考えられている。これは撮像装置側でシャッタタイミング前のモニタ状態において、取り込まれる画像データについて顔画像の解析を行い、笑顔になった瞬間にシャッタが切られるような制御を行ったり、また、まばたきなどで眼を閉じている間はシャッタが切られないように制御するものである。ところがこのような技術は、被写体が一人の場合には問題ないと考えられるが、集合写真で多数の人を写す場合には、なかなかシャッタが切られないといったことも発生する。

また被写体とする目的の人や物以外の人や物が撮し込まれて、画像に対する満足度が低下するといったことや、日光や照明による明暗の関係により、部分的に暗すぎたり明るすぎる画像となる場合もある。

これらのように通常、撮像を行った際には、撮像者にとって満足の行かない画像となることが多いが、本発明では容易に、満足度の高い撮像画像が得られるようにすることを目的とする。

本発明の画像処理装置は、合成処理に用いる撮像画像データとして、異なる時間として連続的に撮像された複数のフレームの撮像画像データを取得する取得手段と、上記取得手段により取得した上記複数のフレームのうちの或るフレーム内で合成対象領域を設定し、上記合成対象領域における画素データを、上記複数のフレームのうちの他のフレームの画素データに置き換えるとともに、上記合成対象領域と上記或るフレームの撮像画像データの境界領域については、上記或るフレームと上記他のフレームの時間的に中間のフレームが存在する場合には、該中間のフレームの、上記境界領域に相当する画素データを上記境界領域に割り当てて合成処理を行って合成画像データを生成する画像合成手段と、上記画像合成手段で生成された合成画像データについて保存処理を行う保存処理手段とを備える。

また上記取得手段は、画像撮像を行う撮像部を有し、上記撮像部での撮像により、上記合成処理に用いる撮像画像データに含まれる少なくとも１フレーム、或いは合成処理に用いる複数フレームの撮像画像データを取得する。上記撮像部は、撮像素子としてＣＣＤセンサ又はＣＭＯＳセンサを用いて構成されている。
また上記取得手段は、外部機器と通信を行う通信部を有し、上記通信部での外部機器と通信により、上記合成処理に用いる撮像画像データに含まれる少なくとも１フレームの撮像画像データを受信して取得する。
また上記取得手段は、可搬性記録媒体から情報を再生する再生部を有し、上記再生部による上記可搬性記録媒体の再生により、上記合成処理に用いる撮像画像データに含まれる少なくとも１フレームの撮像画像データを取得する。
また上記保存処理手段は、記録媒体に対して情報の記録を行う記録部を有し、上記保存処理として、上記合成画像データを上記記録媒体に記録する。
また上記保存処理手段は、外部機器と通信を行う通信部を有し、上記保存処理として、上記合成画像データを外部機器に送信する。

また上記画像合成手段は、画像解析処理により、上記合成対象領域を設定する。特に、上記画像解析処理により、フレーム画像内に存在する人の顔画像についての眼の開閉、又は顔の表情、又は顔の向き、又は眼球の色の全部又は一部を判別し、判別結果に基づいて上記合成対象領域を設定する。
また操作入力手段をさらに備え、上記画像合成手段は、上記操作入力手段からの入力に従って、上記合成対象領域を設定する。
また上記画像合成手段は、上記複数のフレームのそれぞれについての画像解析処理により、上記他のフレームとなるフレームを選定し、選定したフレームから、上記合成対象領域に合成する画素データを取り出す。
また上記画像合成手段は、上記操作入力手段からの入力に従って、上記複数のフレームのうちから上記他のフレームとなるフレームを選定し、選定したフレームから、上記合成対象領域に合成する画素データを取り出す。

さらに、上記合成画像データについての出力処理を行う画像出力手段を備える。
上記画像出力手段は、表示部を有し、上記出力処理として、上記表示部において上記合成画像データについての表示出力を行う。
上記画像出力手段は、外部機器と通信を行う通信部を有し、上記出力処理として、上記通信部により上記合成画像データについての外部機器への送信出力を行う。
上記画像出力手段は、可搬性記録媒体に情報を記録する記録部を有し、上記出力処理として、上記記録部によって上記可搬性記録媒体に上記合成画像データを記録する。

本発明の画像処理方法は、合成処理に用いる撮像画像データとして、異なる時間として連続的に撮像された複数のフレームの撮像画像データを取得するステップと、取得した上記複数のフレームのうちの或るフレーム内で合成対象領域を設定し、上記合成対象領域における画素データを、上記複数のフレームのうちの他のフレームの画素データに置き換えるとともに、上記合成対象領域と上記或るフレームの撮像画像データの境界領域については、上記或るフレームと上記他のフレームの時間的に中間のフレームが存在する場合には、該中間のフレームの、上記境界領域に相当する画素データを上記境界領域に割り当てて合成処理を行って合成画像データを生成するステップと、生成した合成画像データについて保存処理を行うステップとを備える。

即ち以上の本発明では、例えば撮像したり、或いは外部の撮像装置で撮像した画像データを入力するなどして異なる時間に撮像された複数のフレームの撮像画像データを所得する。異なる時間に撮像された複数のフレームの撮像画像データとは、例えば動画撮像のように連続したフレームの画像であったり、数１００ｍ秒間隔、１秒間隔、数秒間隔などで撮像した各フレームの画像であったりすればよい。もちろんさらに長い時間間隔（例えば数分間隔、数時間間隔、日単位の間隔、年単位の間隔など）で撮像された複数のフレームの画像であってもよい。
これらの複数のフレームの画像を取得した際には、例えば或る１つのフレームの画像を基準とし（以下、基準とする画像を合成ベース画像という）、他のフレームの画像を用いた合成処理を行う。即ち合成ベース画像としたフレーム画像内で、合成対象領域を設定し、その合成対象領域の画素データを、他のフレームの画素データに置き換える処理を行う。
例えば集合写真画像としての合成ベース画像内で眼を閉じている人がいた場合、その人の顔の部分を合成対象領域とする。そして他のフレームとして、その人が眼を開いている画像を探し、その眼を開いている顔画像の部分の画素データを取り出して、合成ベース画像に合成する。この処理を行うことで、全員が眼を開いている集合写真を容易に生成できる。

本発明によれば、画像内の一部としての合成対象領域を、他のフレームの画像における画素データに置き換える合成処理をおこなうことで、ユーザの満足度の高い撮像画像を容易に生成できるという効果がある。

以下、本発明の画像処理装置、画像処理方法の実施の形態を説明する。ここでは画像処理装置の例として撮像装置を挙げて説明する。なお後に変形例、拡張例として述べるが本発明の画像処理装置は、撮像装置以外の機器でも実現できる。
説明は次の順序で行う。
［１．撮像装置の外観例］
［２．撮像装置の構成例］
［３．画像合成及び保存］
［４．画像合成処理］
［５．実施の形態の効果、及び変形例、拡張例］

［１．撮像装置の外観例］

実施の形態の撮像装置１としては、各種の形態が想定されるが、それらの外観例を図１（ａ）（ｂ）（ｃ）（ｄ）に例示する。
図１（ａ）は、眼鏡型ディスプレイカメラとした撮像装置１を示している。撮像装置１は、例えば両側頭部から後頭部にかけて半周回するようなフレームの構造の装着ユニットを持ち、図のように両耳殻にかけられることでユーザに装着される。
この撮像装置１は、ユーザが装着した状態において、ユーザの視界方向を被写体方向として撮像するように、前方に向けて撮像レンズ３ａが配置されている。
また図示のような装着状態において、ユーザの両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用と右眼用の一対の表示パネル部２ａ、２ａが配置される構成とされている。この表示パネル部２ａには、例えば液晶パネルが用いられ、透過率を制御することで、図のようなスルー状態、即ち透明又は半透明の状態とできる。表示パネル部２ａがスルー状態とされることで、眼鏡のようにユーザが常時装着していても、通常の生活には支障がない。
なお、表示パネル部２ａは、両眼に対応して一対設けられる他、片側の眼に対応して１つ設けられる構成も考えられる。

図１（ｂ）は、同じくユーザが頭部に装着する撮像装置１を示しているが、図１（ａ）のような表示パネル部２ａを備えない構成である。例えば耳殻に掛けられるような装着ユニットによりユーザ頭部に装着される。そしてこの状態でユーザの視界方向を被写体方向として撮像するように、前方に向けて撮像レンズ３ａが配置されている。

これら図１（ａ）（ｂ）では、眼鏡型或いは頭部装着型の装着ユニットによりユーザの頭部に装着される撮像装置１を挙げたが、撮像装置１をユーザが装着するための構造は多様に考えられる。例えばヘッドホン型、ネックバンドタイプ、耳掛け式など、どのような装着ユニットでユーザに装着されるものであってもよい。さらには、例えば通常の眼鏡やバイザー、或いはヘッドホン等に、クリップなどの取付具で取り付けることでユーザに装着させる形態であってもよい。また必ずしもユーザの頭部に装着されるものでなくても良い。
また、撮像方向をユーザの視界方向としているが、装着時にユーザの後方、側方、上方、足下方向などを撮像するように撮像レンズ３ａが取り付けられている構成や、撮像方向が同一又は異なる方向とされた複数の撮像系が設けられている構成も考えらえる。
さらには、１又は複数の撮像レンズ３ａについて、被写体方向を手動又は自動で可変できる撮像方向可変機構を設けても良い。

図１（ｃ）は一般にデジタルスチルカメラとして知られているような形態の撮像装置１を示している。
また図１（ｄ）は一般にビデオカメラとして知られているような形態の撮像装置１を示している。
これら図１（ｃ）（ｄ）のようにユーザが所持して使用する撮像装置１も、本発明の実施の形態の一態様となる。そして図では撮像レンズ３ａしか示していないが、撮像モニタ用のパネル表示部やビューファインダなどの表示デバイスも設けられている。

なお、静止画撮像や動画撮像を行う撮像装置として、これら図１（ａ）（ｂ）（ｃ）（ｄ）に示す以外の形態も考えられることは言うまでもない。例えば携帯電話機やＰＤＡ（Personal Digital Assistant）、携帯用パーソナルコンピュータなどの機器であって、撮像装置としての機能を備えているものも本実施の形態の撮像装置１として想定できる。
また、これらの各種形態において、例えば外部音声を集音するマイクロホンを設け、撮像時に、画像データと共に記録する音声信号を得るようにしてもよい。また音声出力を行うスピーカ部やイヤホン部を形成するようにしても良い。
また撮像レンズ３ａの近辺に、被写体方向への照明を行う発光部を、例えばＬＥＤ（Light Emitting Diode）等により設けたり、静止画撮像のためのフラッシュ発光部を設けることも考えられる。

［２．撮像装置の構成例］

撮像装置１の構成例を図２で説明する。
システムコントローラ１０は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、不揮発性メモリ部、インターフェース部を備えたマイクロコンピュータにより構成され、撮像装置１の全体を制御する制御部とされる。このシステムコントローラ１０は内部のＲＯＭ等に保持したプログラムに基づいて、各種演算処理やバス１３を介した各部と制御信号等のやりとりを行い、各部に所要の動作を実行させる。

撮像部３は、撮像光学系、撮像素子部、撮像信号処理部を有する。
撮像部３における撮像光学系では、図１に示した撮像レンズ３ａや、絞り、ズームレンズ、フォーカスレンズなどを備えて構成されるレンズ系や、レンズ系に対してフォーカス動作やズーム動作を行わせるための駆動系等が備えられる。
また撮像部３における撮像素子部では、撮像光学系で得られる撮像光を検出し、光電変換を行うことで撮像信号を生成する固体撮像素子アレイが設けられる。固体撮像素子アレイは、例えばＣＣＤ（Charge Coupled Device）センサアレイや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサアレイとされる。
また撮像部３における撮像信号処理部では、固体撮像素子によって得られる信号に対するゲイン調整や波形整形を行うサンプルホールド／ＡＧＣ(Automatic Gain Control)回路や、ビデオＡ／Ｄコンバータを備え、デジタルデータとしての撮像画像データを得る。また撮像画像データに対してホワイトバランス処理、輝度処理、色信号処理、ぶれ補正処理などを行う。

これらの撮像光学系、撮像素子部、撮像信号処理部を有する撮像部３により、撮像が行われ、撮像画像データが得られる。
この撮像部３の撮像動作によって得られた画像データは、撮像制御部６で処理される。
撮像制御部６は、システムコントローラ１０の制御に従って、撮像画像データを所定の画像データフォーマットに変換する処理や、変換した撮像画像データを、動作状況に応じて画像解析／合成部１２，ストレージ部１４，通信部１５，表示制御部７へ供給する処理を行う。
また撮像制御部６はシステムコントローラ１０の指示に基づいて、撮像部３における撮像動作のオン／オフ制御、撮像光学系のズームレンズ、フォーカスレンズの駆動制御、撮像素子部の感度やフレームレートの制御、撮像信号処理部の各処理のパラメータ制御や実行処理の設定などを行う。

また、撮像部３で静止画撮像を行う際には、いわゆる連続シャッタ機能として、連続的に撮像画像を取り込む動作を実行することができる。例えば撮像制御部６は、ユーザの１回のシャッタ操作に応じて、数１０ｍ秒間隔、数１００ｍ秒間隔、１秒間隔、数秒間隔などの所定の時間間隔で、連続的に撮像画像データを取り込む処理を行う。即ち撮像部３では、フレーム単位で撮像画像データを生成して撮像制御部６に出力できるが、撮像制御部６は、１回の静止画撮像において、そのシャッタタイミングのフレームに加えて、異なる時間で撮像された複数のフレームの撮像画像データを取り込むようにする。
なお、連続シャッタ機能で複数フレームの撮像画像データを取り込む場合、撮像制御部６は、各フレームの取込タイミング毎に、撮像信号処理に関するパラメータを変更させ、信号処理上で輝度レベルを異なるものとしたり、色合いを変えたり、感度を変更するようにしても良い。また、フォーカス状態（焦点距離）を変更しながら複数フレームを取り込んでいくことで、各フレームとして異なる焦点距離の撮像画像を得るようにしても良い。
また、いわゆる動画撮像と同様にして連続的に各フレームを撮像画像データとして取り込んでもよい。

画像解析／合成部１２は、この撮像装置１が取得した複数のフレームの撮像画像データを用いて、画像合成処理を行う。
合成処理の対象とする複数のフレームの撮像画像データとは、例えば上記のように連続シャッタ機能で撮像された複数のフレームの撮像画像データである。
なお、撮像装置１が取得できる撮像画像データとしては、外部の撮像装置で撮像された撮像画像データもあり得る。例えば外部の撮像装置で撮像された撮像画像データが、その撮像装置やサーバ装置等から送信され、通信部１５で受信される場合がある。
また外部の撮像装置で撮像された撮像画像データが可搬性記録媒体に記録され、その可搬性記録媒体をストレージ部１４（ストレージ部１４が可搬性記録媒体に対する再生機能を備えている場合）で再生することで取得する場合もある。
このため、例えば通信部１５で受信した複数のフレームの撮像画像データを、画像解析／合成部１２での合成処理の対象とすることもできる。
また可搬性記録媒体から再生して読み出した複数のフレームの撮像画像データを、画像解析／合成部１２での合成処理の対象とすることもできる。
さらに、撮像部３，撮像制御部６で、連続シャッタ機能ではなく、通常の静止画撮像としてシャッタタイミングで１枚（１フレーム）の撮像画像データを取得した場合に、その撮像画像データと、通信部１５で受信した撮像画像データ、或いは可搬性記録媒体から読み出した撮像画像データとを合わせて、合成処理の対象とする複数のフレームの撮像画像データとすることができる。

この画像解析／合成部１２は、マイクロコンピュータやビデオプロセッサとしてのＤＳＰ（Digital Signal Processor）などで構成できる。また、この図２ではマイクロコンピュータによるシステムコントローラ１０と別ブロックで示しているが、システムコントローラ１０内で起動されるソフトウエアにより画像解析／合成部１２としての動作が実現されても良い。
画像解析／合成部１２で実行される画像合成処理の例については後述する。

撮像装置１においてユーザに対して表示を行う構成としては、表示部２、表示制御部７が設けられる。
この表示部２は、上述した液晶パネル等による表示パネル部２ａと、表示パネル部２ａを表示駆動する表示駆動部が設けられる。
表示駆動部は、撮像制御部６から供給される画像データを、例えば液晶ディスプレイとされる表示パネル部２ａにおいて表示させるための画素駆動回路で構成されている。画素駆動回路は表示パネル部２ａにおいてマトリクス状に配置されている各画素について、それぞれ所定の水平／垂直駆動タイミングで映像信号に基づく駆動信号を印加し、表示を実行させる。

表示制御部７は、システムコントローラ１０の制御に基づいて、表示部２における画素駆動回路を駆動し、表示パネル部２ａに所定の表示を実行させる。
即ち、撮像部３での撮像モニタとしての表示や、ストレージ部１４に取り込まれた撮像画像データの再生表示、さらには通信部１５で受信したデータの表示、各種キャラクタの表示などを、表示パネル部２ａにおいて実行させる。
またこれらの表示のために、例えば輝度レベル調整、色補正、コントラスト調整、シャープネス（輪郭強調）調整などを行うことができる。また画像データの一部を拡大した拡大画像の生成、或いは縮小画像の生成、ソフトフォーカス、モザイク、輝度反転、画像内の一部のハイライト表示（強調表示）、全体の色の雰囲気の変化などの画像エフェクト処理、撮像画像の分割表示のための画像の分離や合成、キャラクタ画像やイメージ画像の生成及び生成した画像を撮像画像に合成する処理なども行うことができる。
また表示制御部７は、システムコントローラ１０の指示に基づいて表示駆動部を制御し、表示パネル部２ａの各画素の透過率を制御して、スルー状態（透明又は半透明の状態）とすることもできる。

ストレージ部１４は、各種データの保存に用いられる。例えば撮像画像データや合成画像データの保存に用いられる。
このストレージ部１４は、ＲＡＭ或いはフラッシュメモリなどの固体メモリにより構成されても良いし、例えばＨＤＤ（Hard Disk Drive）により構成されてもよい。
また内蔵の記録媒体ではなく、可搬性の記録媒体、例えば固体メモリを内蔵したメモリカード、光ディスク、光磁気ディスク、ホログラムメモリなどの記録媒体に対応する記録再生ドライブなどとされても良い。
もちろん、固体メモリやＨＤＤ等の内蔵タイプのメモリと、可搬性記録媒体に対する記録再生ドライブの両方が搭載されてもよい。
このストレージ部１４は、システムコントローラ１０の制御に基づいて、撮像画像データや合成画像データを記録し、保存する。
またシステムコントローラ１０の制御に基づいて、記録したデータを読み出し、システムコントローラ１０や表示制御部７などに供給する。

通信部１５は外部機器との間でのデータの送受信を行う。この通信部１５は、無線ＬＡＮ、ブルートゥースなどの方式で、例えばネットワークアクセスポイントに対する近距離無線通信を介してネットワーク通信を行う構成としても良いし、対応する通信機能を備えた外部機器との間で直接無線通信を行うものでもよい。
また、必ずしも無線通信ではなく、外部機器との間の有線接続により外部機器と通信を行うものでもよい。

この撮像装置１では、ユーザの操作のために操作入力部１１が設けられる。
操作入力部１１は、例えばキー、ダイヤル等の操作子を有するようにし、キー操作等としてのユーザの操作を検知する構成としてもよいし、或いはユーザの意識的な挙動を検知する構成としても良い。
操作子を設ける場合、例えば、電源オン／オフ操作、撮像系の操作（例えばシャッタ操作、ズーム等の操作や、信号処理の指示操作）、表示関連操作（例えば表示内容の選択や表示調整操作）などに用いる操作子が形成されればよい。

また、操作子としてタッチパッドやタッチパネルを設けても良い。例えば表示部２においてタッチパネルを配し、表示画面上にユーザがタッチすることで操作入力が行われるようにする。
また、画面上でカーソル等のポインタを移動させる操作子として、上記タッチパネルや十字キー、ジョグダイヤル等を備えるようにしてもよい。或いは、加速度センサ、角速度センサ等を内蔵したリモートコントローラにより、ユーザがリモートコントローラを手に持って動かすことで、画面上のカーソル等が移動するような操作が実行可能としても良い。
例えば図１（ｃ）（ｄ）のような撮像装置を考えた場合、操作キー、ダイヤル、タッチパネル等により各種の操作を行うことが好適である。

一方、図１（ａ）（ｂ）のような頭部に装着する撮像装置の場合、操作キー、ダイヤル、タッチパネル等を設けてもよいし、リモートコントローラを使用する形態も想定されるが、多数の操作子等の配置が難しいことを考慮すれば、ユーザの挙動を検知して操作入力とみなす構成を採ることも好適となる。

ユーザの挙動を検知する構成とする場合は、加速度センサ、角速度センサ、振動センサ、圧力センサ等を設けることが考えられる。
例えばユーザが撮像装置１を側面側からコツコツと軽く叩くといったことを、加速度センサ、振動センサ等で検知し、例えば横方向の加速度が一定値を越えたときにシステムコントローラ１０がユーザの操作として認識するようにすることができる。また、加速度センサや角速度センサによりユーザが右側から側部（眼鏡のツルに相当する部分）を叩いたか、左側から側部を叩いたかを検出できるようにすれば、それらを、それぞれ所定の操作として判別することもできる。
またユーザが頭を回す、首を振るなどとすることを加速度センサや角速度センサで検知し、これをシステムコントローラ１０がユーザの操作として認識することができる。
また、撮像装置１の左右の側部（眼鏡のツルに相当する部分）等に圧力センサを配置し、右側部をユーザが指で押したときは望遠方向のズーム操作、左側部をユーザが指で押したときは広角方向のズーム操作などとすることもできる。

さらには、生体センサとしての構成を備えるようにし、ユーザの生体情報を検出して、操作入力と認識するようにしても良い。生体情報とは、脈拍数、心拍数、心電図情報、筋電、呼吸情報（例えば呼吸の速さ、深さ、換気量など）、発汗、ＧＳＲ（皮膚電気反応）、血圧、血中酸素飽和濃度、皮膚表面温度、脳波（例えばα波、β波、θ波、δ波の情報）、血流変化、眼の状態などである。
そしてシステムコントローラ１０は生体センサの検出情報を、ユーザの操作入力として認識する。例えばユーザの意識的な挙動として目の動き（視線方向の変化やまばたき）が考えられるが、ユーザが３回まばたきをしたことを検知したら、それを特定の操作入力と判断するなどである。さらには、上記生体情報の検知によりユーザが撮像装置１を装着したことや外したこと、あるいは特定のユーザが装着したことなども検出可能であり、システムコントローラ１０がその検出に応じて電源オン／オフなどを行うようにしてもよい。
なお生体センサは、例えば眼鏡型の撮像装置１の装着フレーム内側に配置することで、例えばユーザの側頭部や後頭部に接触して、上記各種情報を検知できるようにしてもよいし、撮像装置１の装着フレーム部分とは別体として、身体の所定箇所に装着されるようにしてもよい。
また眼の状態や動き、瞳孔などの状態の検出のためには、ユーザの眼部を撮像するカメラを用いることが考えられる。

操作入力部２０は、このように操作子、加速度センサ、角速度センサ、振動センサ、圧力センサ、生体センサ等として得られる情報をシステムコントローラ１０に供給し、システムコントローラ１０はこれらの情報によりユーザの操作を検知する。
なお、ユーザの挙動を検出するための構成としては、さらにユーザの声を検知するセンサ、唇の動きを検知するセンサなど、他のセンサが設けられても良い。
本例の撮像装置１において、シャッタ操作や、後述する画像合成処理において手動操作を行う場合における合成対象領域の選定、合成する他のフレームとして時間軸上で並ぶフレーム選定などの操作には、上記のタッチパネル操作、カーソル移動操作、ユーザ挙動による操作を割り当てることができる。

以上、撮像装置１の構成を示したが、これは一例にすぎない。実際に実施される動作例や機能に応じて各種の構成要素の追加や削除は当然考えられる。

図３は撮像装置１の動作形態を、外部機器との関連において例示したものである。
図３（ａ）は撮像装置１が単体で動作する場合であり、この場合、撮像装置１では、例えば撮像動作により取得した複数のフレームの撮像画像データを用いて画像合成処理を行うことができる。撮像した複数のフレームの撮像画像データや、合成処理により生成した合成画像データは、保存処理としてストレージ部１４に保存する。
またストレージ部１４として、光ディスク、メモリカードなどの可搬性記録媒体に対する再生部を備える場合は、可搬性記録媒体から読み出した撮像画像データを利用した合成処理も可能である。

図３（ｂ）は撮像装置１が通信部１５により外部機器７０と通信を行う例である。この場合、撮像動作により取得した撮像画像データを用いて画像合成処理を行う他、撮像画像データを外部機器７０から取得して、画像合成処理に用いることも想定される。例えば外部機器７０が撮像装置である場合や、外部機器７０が他の撮像装置で撮像した撮像画像データを格納している場合、この外部機器７０から撮像画像データを送信させ、通信部１５で受信する。このように通信部１５で受信した撮像画像データを用いて画像合成処理を行う。
また画像合成処理により生成した合成画像データについての保存処理としては、撮像装置１の内部のストレージ部１４に保存する他、通信部１５から外部機器に合成画像データを送信し、外部機器７０の画像格納部７１に保存させるという動作例が考えられる。
外部機器７０との通信は、無線通信だけでなく、有線通信も想定される。

図３（ｃ）は、撮像装置１の通信部１５が、特にインターネット等のネットワーク６０を介した通信アクセス機能を備えることで、ネットワーク６０で接続される外部機器７０と通信を行う例である。動作例は上記図３（ｂ）の場合と同様に考えられる。
ネットワーク６０とは、インターネットの他に、携帯電話通信網、ＰＨＳ通信網、アドホックネットワーク、ＬＡＮなど、各種考えられる。
また図３（ｂ）（ｃ）における外部機器７０とは、図２のような構成の他の撮像装置１も想定できるし、通信機能を備えたデータサーバ、パーソナルコンピュータ、ビデオプレーヤ、ビデオカメラ、デジタルスチルカメラ、撮像機能を備えた携帯電話機、ＰＤＡなど多様な機器が想定できる。

［３．画像合成及び保存］

画像解析／合成部１２で行われる合成処理について説明する。
上述のように画像解析／合成部１２では、複数のフレームの撮像画像データを用いて合成処理を行う。例えば撮像部３での連続シャッタ機能による複数のフレームの撮像画像データを対象として合成処理を行う。

図４（ａ）は、或る撮像画像データとしての複数のフレーム（Ｆ＃１、Ｆ＃２、Ｆ＃３・・・）を示している。これは集合写真の撮像を行った場合であり、各フレームはｔ１時点、ｔ２時点、ｔ３時点・・・で示す異なるタイミングで取り込まれたフレームである。例えば数１００ｍ秒間隔で撮像されたフレームであるとする。例えばユーザがシャッタ操作を行ったタイミングの撮像画像フレームがフレームＦ＃１であり、これに続いてフレームＦ＃２以降がそれぞれ数１００ｍ秒間隔で取り込まれたとする。
ここで、図４（ａ）に示すフレームＦ＃１としての撮像画像内容をみると、被写体となっている多数の人の内、人物Ｈ１，Ｈ２，Ｈ３の３人が眼を閉じている。
例えばこのような画像となったときに、フレームＦ＃１を合成処理の基本画像となる合成ベース画像とし、この合成ベース画像上で選定した合成対象領域にフレームＦ＃２以降の画素データを当てはめていくような合成を行い、結果として図４（ｂ）のような合成画像を生成する。この図４（ｂ）の合成画像は、被写体となっている全ての人が眼を開いた画像となっている。

被写体となった人々のまばたきにより、ユーザがシャッタ操作を行ったタイミングで取り込んだフレームＦ＃１の画像において、眼を閉じている人がいるが、数１００ｍ秒間隔である他のフレームＦ＃２、Ｆ＃３、Ｆ＃４・・・では、フレームＦ＃１で眼を閉じていた人が眼を開いている可能性が高い。
フレームＦ＃２、Ｆ＃３、Ｆ＃４、Ｆ＃５，Ｆ＃６の画像例を図５に示す。
例えば人物Ｈ１については、フレームＦ＃４、Ｆ＃５、Ｆ＃６の画像では眼を開いている。人物Ｈ２は、フレームＦ＃３、Ｆ＃４、Ｆ＃５の画像では眼を開いている。人物Ｈ３は、フレームＦ＃２、Ｆ＃３、Ｆ＃５、Ｆ＃６の画像では眼を開いている。
この場合、フレームＦ＃１の画像において眼を閉じている人物Ｈ１、Ｈ２，Ｈ３の顔画像部分をそれぞれ合成対象領域とし、それぞれ人物Ｈ１、Ｈ２，Ｈ３が眼を開いている画像に置き換えればよい。
例えば人物Ｈ１の顔の部分を１つめの合成対象領域とし、その領域の画素データを、フレームＦ＃４の画素データに置き換える。
また人物Ｈ２の顔の部分を２つめの合成対象領域とし、その領域の画素データを、フレームＦ＃３の画素データに置き換える。
また人物Ｈ３の顔の部分を３つめの合成対象領域とし、その領域の画素データを、フレームＦ＃２の画素データに置き換える。
このようにすることで、フレームＦ＃１の画像上で人物Ｈ１、Ｈ２，Ｈ３の顔画像が目を開いた画像に置き換えられたことになり、図４（ｂ）のように全員が眼を開いた合成画像が生成できる。

なお、置き換える画素データを抽出するフレームは、合成ベース画像であるフレームＦ＃１になるべく時間的に近いフレームが好ましい。合成対象領域の内外での画像の差異をなるべく少なくするためである。

図６は、合成処理の前後でのストレージ部１４の画像保存状態を模式的に示している。
例えば撮像部３での撮像動作が行われる毎に、撮像画像データＶＤ１，ＶＤ２，ＶＤ３・・・がストレージ部１４において記録されていく。
撮像画像データＶＤ１に関していえば、画像管理情報Ｃ１と、複数のフレームの撮像画像データＦ＃１、Ｆ＃２、Ｆ＃３・・・が保存されることになる。
画像管理情報Ｃ１は、例えば撮像画像データのファイル名、画像種別（動画／静止画の別など）、データサイズ、圧縮方式、日時情報、撮像を行った装置の識別情報などを含む。
複数のフレームの撮像画像データＦ＃１、Ｆ＃２、Ｆ＃３・・・については、時間差情報ＴＭを含むようにする。例えば先頭のフレームＦ＃１を基準とし、フレームＦ＃２以降は、それぞれ先頭のフレームＦ＃１からの撮像タイミングとしての時間差を時間差情報ＴＭとする。例えば０．４秒毎に各フレームを取り込んだとすると、フレームＦ＃１の時間差情報ＴＭ１は「０秒」、フレームＦ＃２の時間差情報ＴＭ２は「＋０．４秒」、フレームＦ＃３の時間差情報ＴＭ３は「＋０．８秒」、フレームＦ＃４の時間差情報ＴＭ４は「＋１．２秒」・・・などとする。なお時間差情報ＴＭは、フレーム取込の実時刻（年／月／日／時／分／秒／フレーム）の情報であってもよい。
そして、例えば１回の撮像画像データＶＤ１として撮像を行った場合、システムコントローラ１０は、その撮像画像データＶＤ１についての画像管理情報を生成すると共に、撮像画像データとしての複数のフレームＦ＃１、Ｆ＃２、Ｆ＃３・・・について、それぞれ時間差情報ＴＭ１，ＴＭ２，ＴＭ３・・・を付加してストレージ部１４に記録させる。

静止画撮像毎にこのような動作をおこなうことで、撮像画像データＶＤ２，ＶＤ３・・・も同様に複数のフレームの撮像画像データが記録される。
なお、複数の各フレームの撮像画像データは、撮像部３での連続撮像によるものだけでなく、通信部１５で受信された複数フレームであったり、可搬性記録媒体から読み出された複数フレームである場合もある。
また、１又は複数のフレームを撮像により取り込んだ後、さらに通信部１５で受信したり可搬性記録媒体から読み出したフレームを追加してもよい。例えば撮像画像データＶＤ１として１枚のフレームＦ＃１を取り込んだ後、受信したり再生して取得したフレーム画像を、撮像画像データＶＤ１に含まれるフレームＦ＃２以降として記録しても良い。

ここで、撮像画像データＶＤ１が図４（ａ）の画像であるとすると、撮像画像データＶＤ１として図６（ａ）のように記録されている複数のフレームＦ＃１、Ｆ＃２・・・が、図４（ａ）及び図５に示した内容の画像データである。
画像解析／合成部１２では、このようにストレージ部１４に記録されたフレームＦ＃１、Ｆ＃２・・・を用いて上述のように合成処理を行い、例えば図４（ｂ）の合成画像データを生成する。合成画像データが生成されたら、システムコントローラ１０は、それを撮像画像データＶＤ１に対応する合成画像データｍＶＤ１としてストレージ部１４に保存させる。
図６（ｂ）は、ストレージ部１４において合成画像データｍＶＤ１が、撮像画像データＶＤ（Ｆ＃１、Ｆ＃２・・・）に対応づけられて保存された様子を示している。
また、撮像画像データＶＤ２に対応する合成画像データｍＶＤ２や、撮像画像データＶＤ３に対応する合成画像データｍＶＤ３も、それぞれ生成されて記憶された状態を示している。
このように合成画像データｍＶＤが保存されることで、その後、合成画像データｍＶＤを表示部２において表示出力することができる。

なお、ストレージ部１４において合成画像データｍＶＤを記録したら、元の複数のフレームの撮像画像データＦ＃１、Ｆ＃２・・・を削除するようにしても良い。もちろん、そのまま削除せずに保存しておいてもよいし、保存しておくことで、他の合成画像データｍＶＤを作成することができるようにしてもよい。
また、ここではストレージ部１４に保存する例を述べたが、保存処理としては、合成画像データｍＶＤを、通信部１５から送信出力するという処理を行っても良い。即ち図３（ｂ）（ｃ）のような形態において、外部機器７０の画像格納部７１に合成画像データｍＶＤの保存を行うようにすることも考えられる。

ところで、図４，図５で述べた合成処理は、被写体の全員が眼が開いた状態になるようにする例としたが、もちろんその他にも多様な合成処理が想定される。
図７，図８，図９，図１０に例を示す。
図７（ａ）は、或る撮像画像データとしての複数のフレーム（Ｆ＃１、Ｆ＃２、Ｆ＃３・・・）を示している。これは５人の人物の写真の撮像を行った場合であり、各フレームは例えば数１００ｍ秒間隔で撮像されたフレームであるとする。
この図７（ａ）に示されたフレームＦ＃１の画像内容としては、前列左側の人物が横を向いてしまった瞬間の画像となっており、また後列左側の人物の表情が変な表情の画像となってしまった場合を示している。
このような場合も、これらの人物の顔の部分を合成対象領域とし、その各合成対象領域の画素データを、他のフレームＦ＃２、Ｆ＃３・・・から探し出して合成することで、例えば図７（ｂ）のように、全員が前を向き、また良い表情で写された画像とすることができる。

図８（ａ）は一人の人物を被写体としたときの撮像画像データとしての複数のフレーム（Ｆ＃１、Ｆ＃２、Ｆ＃３・・・）を示している。図８（ａ）に示すフレームＦ＃１の画像内容としては、バックに無関係な人物が撮し込まれた画像となっている。
例えばこの無関係な人物の部分を合成対象領域とし、他のフレームＦ＃２、Ｆ＃３・・・からその人物が写っていない画像を探し出して合成することで、図８（ｂ）のように、目的の人物のみが写された画像とすることができる。

図９（ａ）は、或る撮像画像データとして、日なたと日陰の影響で、画像内で明暗が大きく分かれてしまった状態を示している。この場合、画像の上半分は日陰となって、明度が低く、見えにくい画像となっており、画像の下半分は、良好な明度となっている。
一方、図９（ｂ）は、撮像感度を上げて撮像した場合の画像であり、図９（ａ）とは逆に、上半分は良好な明度となっているが、感度を上げたことにより下半分が明るさが過剰となって見えにくい画像となっているものである。
例えば１秒おきなどの連続撮像の際に、感度を変化させながら撮像をおこなって複数フレームを取り込むことで、その複数フレームの中に、図９（ａ）（ｂ）のような画像が含まれることになる。
この場合、図９（ａ）のフレームを合成ベース画像とし、上半分の日陰部分を合成対象領域とする。そしてその合成対象領域の画素データを、図９（ｂ）のフレームの画素データに置き換える合成処理を行うことで、図９（ｃ）のように、画面全面が適度な明度となった合成画像データを得ることができる。

図１０（ａ）は例えば撮像装置１の位置から距離が異なる複数の人物を被写体としたときの撮像画像データとしての複数のフレーム（Ｆ＃１、Ｆ＃２、Ｆ＃３・・・）を示している。図１０（ａ）に示すフレームＦ＃１の画像内容としては、例えば最も近い位置（画像上左側）にいる人物に焦点が合っているが、離れた位置にいる他の人物は、焦点距離が合わず、ボケた画像となっている。
ここで、複数のフレーム（Ｆ＃１、Ｆ＃２、Ｆ＃３・・・）を撮像しているときに、撮像部３で焦点距離を徐々に変化させるようにする。すると、或るフレームとして真ん中の人物に焦点が合った画像が得られ、また或るフレームとして右側の人物に焦点が合った画像が得られる。
この場合、図１０（ａ）のフレームを合成ベース画像とし、被写体がボケている領域を合成対象領域とする。そしてその合成対象領域の画素データを、その領域がボケていない他のフレームの画素データに置き換える合成処理を行うことで、図１０（ｂ）のように、例えば距離が異なる人物の全員がボケていない良好な合成画像データを得ることができる。
もちろん、これら例示した以外にも多様な合成処理が可能である。

［４．画像合成処理］

上記のような画像合成を行うためのシステムコントローラ１０の処理及び画像解析／合成部１２の処理を図１１，図１２に示す。
まず図１１でシステムコントローラ１０の処理を述べる。
システムコントローラ１０はステップＦ１０１で合成トリガの発生をチェックする。システムコントローラ１０は、撮像装置１において合成処理を開始させる際の何らかの信号や動作状態を合成トリガ発生として認識する。

例えばシステムコントローラ１０は、図６（ａ）のように記録された或る撮像画像データを表示部２において表示出力している際に、ユーザが合成処理の操作を行った場合に、合成トリガ発生と認識する。
なお、図６（ａ）のような保存状況の際の撮像画像データの表示とは、例えば撮像画像データＶＤとしての先頭のフレームＦ＃１の撮像画像データを表示するものとすればよい。ユーザがシャッタ操作を行う毎に、撮像処理が行われて撮像画像データＶＤ１，ＶＤ２・・・が保存されていくが、本例の場合、１回の撮像において複数フレームが取り込まれる。このときに、例えば先頭のフレームＦ＃１が、ユーザの操作によるシャッタタイミングでの画像データであり、フレームＦ＃２以降は、シャッタタイミングより所定時間間隔で取り込んだ画像データとした場合、フレームＦ＃１の画像データを、基本的な撮像画像データとみなせばよい。従って、撮像直後のモニタリングや、ユーザが保存した撮像画像のモニタリングを行おうとして表示を求める操作を行った場合、各撮像画像データＶＤ１，ＶＤ２・・・として、フレームＦ＃１の画像データを表示する。
或る撮像画像データＶＤを表示させているときに、ユーザが合成処理の指示の操作を行った場合は、その撮像画像データＶＤについての合成処理を開始することになる。

また、保存された撮像画像データＶＤ１，ＶＤ２・・・を一覧表示を実行させているときに、ユーザが操作入力により、１又は複数の撮像画像データを指定して、合成処理の操作を行った場合も、システムコントローラ１０は合成トリガの発生として認識し、指定された１又は複数の撮像画像データＶＤについての合成処理を開始することになる。
またユーザ操作により、保存された全撮像画像データＶＤ１，ＶＤ２・・・についての合成処理の指示があった場合も、システムコントローラ１０は合成トリガの発生として認識し、全ての撮像画像データＶＤについての合成処理を開始する。

さらに、撮像時に自動的に合成処理が実行されることも考えられる。例えば撮像画像データＶＤ１としてフレームＦ＃１、Ｆ＃２・・・の取込が行われた際に、システムコントローラ１０は合成トリガの発生と認識し、自動的にフレームＦ＃１、Ｆ＃２・・・を用いた合成処理に進むような動作例である。
また図３（ｂ）（ｃ）のような形態で通信部１５によって外部機器７０から送信されてきた撮像画像データ（他の撮像装置で撮像された複数フレームの撮像画像データ）を受信した場合や、可搬性記録媒体に対する記録再生ドライブが装備されている構成において可搬性記録媒体から複数フレームの撮像画像データが再生された場合なども、システムコントローラ１０は合成トリガの発生と認識して、取得した複数フレームの撮像画像データを用いた合成処理に進むような動作例も考えられる。

さらに、上述のように生体センサを備える場合、ユーザの主観的な評価に基づいて合成トリガの判別を行ってもよい。例えば、撮像画像データを表示させてユーザに提示したときに検出される脳波等から、撮像画像に対するユーザの満足度を推定する。そしてユーザが不満を感じていると推定した場合に、合成トリガ発生と判断し、当該撮像画像データについての合成処理に進むという動作例も考えられる。

例えば以上のような各種の状況として、合成トリガの発生を認識したら、システムコントローラ１０は処理をステップＦ１０１からＦ１０２に進め、画像解析／合成部１２に処理対象画像についての合成処理の実行を指示する。
例えば上記のようなユーザ操作や、撮像動作等に応じて、１又は複数の撮像画像データＶＤについての合成処理を行う場合、ステップＦ１０２では、システムコントローラ１０は、１又は複数の処理対象のうちの１つの撮像画像データＶＤを指定して画像解析／合成部１２に合成処理を指示する。
このステップＦ１０２の指示に応じて、画像解析／合成部１２では後述する図１２の画像合成処理を実行する。

画像解析／合成部１２に合成処理の開始を指示したら、システムコントローラ１０は、ステップＦ１０３で、画像解析／合成部１２での合成処理が完了したか否かを確認する。またステップＦ１０４で画像解析／合成部１２から合成処理が不要もしくは不能との通知があったか否かを確認する。
画像解析／合成部１２から、合成処理完了の通知があった場合は、システムコントローラ１０は処理をステップＦ１０３からＦ１０５に進め、生成された合成画像データの保存のための制御処理を行う。即ち図６（ｂ）で説明したように、生成された合成画像データｍＶＤをストレージ部１４に転送し、記録させる。或いは、外部機器７０において保存が行われるように、生成された合成画像データｍＶＤを通信部１５から外部機器７０に送信させる制御を行う。

合成画像データｍＶＤの保存制御を行ったらステップＦ１０６に進む。また合成不要又は合成不能の通知を受け取った場合は、ステップＦ１０４からＦ１０６に進む。
システムコントローラ１０はステップＦ１０６で、まだ他に合成処理対象の撮像画像データＶＤが存在するか否かを確認する。複数の撮像画像データＶＤを処理対象として合成処理を開始した場合であって、まだ処理対象とされた全ての撮像画像データＶＤについての処理を終えていなければ、ステップＦ１０２に戻って、次の撮像画像データＶＤについて、同様にステップＦ１０２〜Ｆ１０５の処理を行う。

処理対象とされた全ての撮像画像データＶＤについてステップＦ１０２〜Ｆ１０５の処理を終えたら、ステップＦ１０７に進み、合成結果を表示部２に表示させ、合成処理を終える。例えば合成結果として、対象とされた撮像画像データＶＤについての合成完了／合成不要／合成不能をユーザに提示したり、生成された合成画像データｍＶＤを表示させるなどの処理を行う。

続いて、システムコントローラ１０の指示に応じて画像解析／合成部１２が実行する合成処理を図１２で説明する。
画像解析／合成部１２は、上記図１１のステップＦ１０２としてのシステムコントローラ１０からの合成処理の指示があることに応じて、図１２の処理をステップＦ２０１からＦ２０２に進め、画像合成処理を開始する。

画像解析／合成部１２は、ステップＦ２０２で、システムコントローラ１０から指示された処理対象の撮像画像データＶＤを取り込む。例えば図６（ａ）のように撮像画像データがストレージ部１４に記録されている際に、処理対象として撮像画像データＶＤ１を指示された場合は、その撮像画像データＶＤ１における各フレームＦ＃１、Ｆ＃２、Ｆ＃３・・・を取り込むことになる。

続いて画像解析／合成部１２はステップＦ２０３で、取り込んだ複数のフレームの撮像画像データの内の１つを合成ベース画像に設定し、その合成ベース画像上で１又は複数の合成対象領域ＡＲ（ＡＲ１〜ＡＲｎ）を選定する。

複数フレームのうちでどのフレームを合成ベース画像とするかの設定としては、自動設定と、ユーザ操作に基づく手動設定のいづれかが考えられる。
自動設定としては、例えば時間的に先頭となるフレームＦ＃１とすればよい。但し、複数フレームのうちで、時間的に中間となるフレームを合成ベース画像としてもよいし、時間的に終端となるフレームを合成ベース画像としてもよい。もちろんそれ以外で選択しても良い。また時間的な前後の条件ではなく、撮像パラメータなどに応じて設定してもよい。例えば複数フレームを撮像する際に、或る撮像パラメータ（例えば感度や輝度処理、色処理のパラメータ、或いは焦点距離など）を変更しながら各フレームを撮像した場合、そのパラメータが中間値となったフレームを合成ベース画像とするなどである。
手動設定としては、例えば各フレームＦ＃１、Ｆ＃２、Ｆ＃３・・・を順次表示部２において表示出力させたり、縮小画像で一覧表示させるなどして、ユーザに選択を求めるような手法が想定される。

合成ベース画像が選択されたら、その合成ベース画像上で合成対象領域を選定する。例えば図１３、図１４に選定された合成対象領域の例を示す。
図１３（ａ）（ｂ）（ｃ）（ｄ）及び図１４は、それぞれ合成ベース画像とされた或るフレームの画像例を示している。
図１３（ａ）は、集合写真としての画像であるが、この画像内で、眼を閉じている人物の顔領域が、それぞれ合成対象領域ＡＲ１，ＡＲ２，ＡＲ３として設定された例を示している。
図１３（ｂ）は、５人の人物の画像において、横を向いている人の顔領域や、変な表情になった人物の顔領域が合成対象領域ＡＲ１，ＡＲ２として設定された例を示している。
図１３（ｃ）は、画像内に無関係な人物が撮し込まれた場合に、その無関係な人物の領域が合成対象領域ＡＲ１と設定された例である。
図１３（ｄ）は、画像内で明度が大きく分かれた場合に、明度が低い領域（日陰となった領域）を、合成対象領域ＡＲ１と設定した例である。
図１４は、複数の人物の画像において、焦点がボケた状態となっている人物の領域が合成対象領域ＡＲ１，ＡＲ２として設定された例を示している。

例えばこのように合成対象領域を設定するが、その設定処理も自動設定と手動設定が想定される。
自動設定としては、例えば次のような例がある。
合成ベース画像について画像解析を行い、画像内に人物の顔が存在するか否かを判別する。１又は複数の人物の顔が存在したら、その人物が眼を開いているか否か（眼が検出できるか否か）を検出する。そして眼を閉じている（眼が検出できない）顔画像が存在したら、その顔画像の領域を合成対象領域とする。このような処理により図１３（ａ）のような合成対象領域の設定が可能である。

また、画像解析によって視線方向や顔の表情を判定できる場合は、視線が正面を向いていない顔画像の領域や、笑顔あるいは自然な表情でない顔画像の領域を検出し、その領域を合成対象領域とすることで、図１３（ｂ）のような設定が可能となる。

なお、顔の表情の判定の処理は各種考えられるが、例えば顔を構成するパーツを抽出し、各パーツに評価値を与えて、表情判定する方式が採用できる。
例えば笑顔を判定する場合、顔を構成するパーツとして、画像から眼、眉、唇の各部分を抽出する。そして例えば眉については、角度を判定する。いわゆる「つり上がり」の状態を低いポイントとし、眉の両端が下がるほど、高いポイントを付与するようにする。また眼については、瞳孔の開き具合を判定し、瞳孔が開いているほど高いポイントを付与するようにする。唇については、両端の角度が下がっているほど低く、逆に両端の角度が上がっているほど高いポイントを付与する。
例えばこのように各パーツに、笑顔判定のポイントを付与し、それらを加算（或いはパーツ毎に重み付けを変えて加算）し、笑顔ポイントとする。この笑顔ポイントが高いほど、「良い表情」と判定する。
もちろんこれは一例であり、頬の状態や、笑ったときに生じる皺などを判定要素としてもよい。
また、笑顔判定でなく、怒った表情や不機嫌な表情など、他の表情も、顔を構成する各パーツの画像から推定することも可能である。

また、被写体として無関係な人物が存在する場合、その検出も可能である。
例えば合成ベース画像上で顔画像を検出した場合、その前後のフレームで同じ位置に顔を検出できない画像があれば、その人物は、撮像時に背後を通り過ぎた人物と推定できる。特に、顔領域が画像の中心から外れており（例えば画像中心から１／２よりも外側であり）、その合成ベース画像の前後のフレームの画像で、同じ位置に顔を検出できない画像が存在すれば、その人物が無関係な人物である可能性は高い。
また、合成ベース画像上で顔画像を検出した場合、その顔領域の面積または対角線の長さが十分に小さい場合において、その合成ベース画像の前後のフレームの画像で、同じ位置に顔を検出できない画像があれば、その人物が無関係な人物である可能性は高い。十分い小さいとは、例えば画像全体の面積または画像の対角線の長さの１／１０以下などである。
さらに合成ベース画像上で複数の顔画像が存在する場合に、或る人物の顔画像の領域が、他の人物の顔画像の領域よりも十分に小さい場合も、背景にたまたま撮し込まれた人物と推定できる。例えば画像内の最大の顔領域の１／２以下などの顔画像である。この場合も、その合成ベース画像の前後のフレームの画像で、同じ位置に顔を検出できない画像が存在すれば、その人物が無関係な人物である可能性は高くなる。
例えばこのような処理により、自動的に無関係な人物の判定が可能となり、例えば図１３（ｃ）のような合成対象領域の設定が可能となる。

また、合成ベース画像内において、明暗の差、輝度の差、色合いの差を検出し、極端に異なる領域が存在すれば、その領域を合成対象領域とすることも可能である。これにより図１３（ｄ）のような合成対象領域の設定ができる。

また、合成ベース画像内において、部分的にボケた画像があることは、画像内で被写体の輪郭線となる部分の明確さを比較することなどで判定できる。例えば明瞭な輪郭線を持つ被写体と不明瞭な輪郭線を持つ被写体が混在していれば、不明瞭な輪郭線を持つ被写体は、焦点距離が合っていないボケた画像部分と判定できるため、その領域を合成対象領域とすることも可能である。これにより図１４のような合成対象領域の設定ができる。

例えば以上のような手法を用いることで、自動設定として合成対象領域の設定が可能となる。もちろんこれ以外にも自動設定の手法は考えられる。
なお自動設定で１又は複数の合成対象領域を設定した場合、例えば図１３，図１４のような合成対象領域を示す画像を表示部２において表示出力させ、当該合成対象領域において合成処理を行って良いか否かの判断をユーザに求めるようにしてもよい。その場合、ユーザが表示された各合成対象領域について合成実行のＯＫ・キャンセルの操作入力を行うことにより、合成対象領域を確定させる。

合成対象領域を手動設定とする場合は、表示部２において合成ベース画像を表示させ、その合成ベース画像上で、ユーザが合成対象領域とする領域を指定する操作を行うようにする。ユーザは、タッチパッド、タッチパネル、カーソル／ポインタ操作、数値入力などの方式で領域を指定する操作を行う。
領域指定入力の例を図１５，図１６，図１７，図１８に示す。各図の格子の一升は、画像を構成する１画素を示しているものとする。

図１５（ａ）は、ユーザが操作入力により画面上で２つの位置Ｐ１，Ｐ２を指定することに応じて、その位置Ｐ１，Ｐ２の画素を対角の点とする矩形の領域を合成対象領域ＡＲとする例である。
図１５（ｂ）は、ユーザが操作入力により画面上で１つの位置Ｐ１を指定するとともに、半径ｒの値を入力することに応じて、その位置Ｐ１の画素を中心とした半径ｒの円に含まれる、斜線部の画素領域を合成対象領域ＡＲとする例である。
図１６（ａ）は、ユーザが操作入力により画面上で４つの位置Ｐ１，Ｐ２，Ｐ３，Ｐ４を指定することに応じて、その位置Ｐ１，Ｐ２，Ｐ３，Ｐ４の画素を含む、斜線部の略楕円状の画素領域を合成対象領域ＡＲとする例である。
図１６（ｂ）は、ユーザが操作入力により画面上で３以上の任意の位置、例えばここでは５つの位置Ｐ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５を指定することに応じて、その位置Ｐ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５の画素をそれぞれ直線で結んだ範囲に含まれる、斜線部の画素領域を合成対象領域ＡＲとする例である。
図１７（ａ）は、ユーザが操作入力により画面上で閉曲線Ｌを描くことにより、その閉曲線Ｌの範囲に含まれる、斜線部の画素領域を合成対象領域ＡＲとする例である。
図１７（ｂ）は、ユーザが操作入力により画面上で閉曲線Ｌを描いた場合に、その閉曲線Ｌの範囲に含まれる画素を除いた、斜線部の画素領域を合成対象領域ＡＲとする例である。
図１８（ａ）（ｂ）は、ユーザが画像内の人物を指定する例である。図１８（ａ）のように画像内で或る人物を指定するように位置Ｐ１を入力する。これに応じて、位置Ｐ１の人物の顔画像の領域を判定し、図１８（ｂ）のように、その指定された人物の顔画像の領域を合成対象領域ＡＲとする例である。

例えば以上のような手法で手動設定として合成対象領域の設定が可能となる。もちろんこれ以外にも手動設定の手法は考えられる。

画像解析／合成部１２は、図１２のステップＦ２０３において上記の自動設定又は手動設定により合成対象領域ＡＲの設定処理を行ったら、ステップＦ２０４で、合成対象領域ＡＲの設定の有無を確認する。
例えば自動設定として上記のような各種の画像解析を行った場合に、合成対象領域とする画素領域が見つからなかったら合成対象領域無しとなる。或いは、自動設定で１又は複数の合成対象領域を設定しても、ユーザが全ての合成対象領域について合成処理の必要無しとしてキャンセル操作を行った場合は、合成対象領域無しとなる。
さらに、手動設定を行う場合に、表示された合成ベース画像において合成する領域（つまりユーザが修正したいと思う領域）が存在しないとして、ユーザが領域入力を行わなかった場合、或いは合成処理自体のキャンセル操作を行った場合は、合成対象領域無しと判定する。
合成対象領域無しと判定した場合は、システムコントローラ１０から指示された今回の撮像画像データについては、合成処理の必要はないとして、ステップＦ２０５でシステムコントローラ１０に合成不要通知を送信し、図１２の処理を終える。

１以上の合成対象領域が設定された場合、画像解析／合成部１２の処理はステップＦ２０６に進み、以降の処理のために処理制御変数ｘを「１」に設定する。
ステップＦ２０７では、合成対象領域ＡＲ（ｘ）について、他のフレームから合成用の部分画像（画素データ）を探索する処理を行う。つまりステップＦ２０３で設定した１又は複数の合成対象領域のうち、最初の合成対象領域ＡＲ１に当てはめる画素データを探索する。

この処理も自動処理と手動処理が想定される。
自動処理の場合は、画像解析／合成部１２が、合成ベース画像以外の各フレームにおいて、合成対象領域ＡＲと同一の領域の画像内容を解析し、以下の例のように合成用の画素データを抽出する。
例えば図１３（ａ）のように眼を閉じている顔画像を合成対象領域ＡＲとした場合、その合成ベース画像の前後のフレームにおける同一の画素領域において、眼を検出できる顔画像を探索する。合成対象領域ＡＲと同一の画素領域における顔画像が、眼を開いている顔画像であるフレームを検出したら、そのフレームの当該画素領域の画素データを、合成対象領域ＡＲに当てはめる画素データとする。
また図１３（ｂ）の合成対象領域ＡＲ１のように、正面を向いていない顔画像を合成対象領域ＡＲとした場合も、その合成ベース画像の前後のフレームにおける同一の画素領域において、正面を向いている顔画像を探索する。合成対象領域ＡＲと同一の画素領域における顔画像が、正面を向いている顔画像であるフレームを検出したら、そのフレームの当該画素領域の画素データを、合成対象領域ＡＲに当てはめる画素データとする。正面を向いた顔か否かの判別は、例えば眼球の位置や、顔の要素（目、鼻、口、耳等）の位置関係などから可能である。
また同じく図１３（ｂ）の合成対象領域ＡＲ２のように、表情が乱れた顔画像を合成対象領域ＡＲとした場合も、その合成ベース画像の前後のフレームにおける同一の画素領域において、笑顔や通常の表情の顔画像を探索する。合成対象領域ＡＲと同一の画素領域における顔画像が、笑顔や通常の表情の顔画像であるフレームを検出したら、そのフレームの当該画素領域の画素データを、合成対象領域ＡＲに当てはめる画素データとする。

図１３（ｃ）のように無関係な人物など、不要な被写体の領域を合成対象領域ＡＲとした場合は、その合成ベース画像の前後のフレームにおける同一の画素領域において、無関係な人物等が存在しないフレームを探索し、そのフレームの当該画素領域の画素データを、合成対象領域ＡＲに当てはめる画素データとする。
図１３（ｄ）のように、明暗、輝度差、色合いの差などが極端に異なる領域を合成対象領域ＡＲとした場合は、その合成ベース画像の前後のフレームにおける同一の画素領域において、合成ベース画像の合成対象領域ＡＲ以外の部分と比較して明暗、輝度差、色合いの差などが小さくなっているフレームを探索する。そしてその探索したフレームの当該画素領域の画素データを、合成対象領域ＡＲに当てはめる画素データとする。
図１４のように、焦点距離が合わずにボケた被写体の領域を合成対象領域ＡＲとした場合は、その合成ベース画像の前後のフレームにおいて、同一の画素領域が焦点の合った画像となっているフレームを検出し、そのフレームの当該画素領域の画素データを、合成対象領域ＡＲに当てはめる画素データとする。

一方、合成用の画素データの探索を手動処理で行う場合は、次のような例が考えられる。
例えば合成ベース画像を表示部２において表示出力するとともに、その合成対象領域ＡＲ（ｘ）について、順次、他のフレームの同一領域の画素データを合成させて表示させる。例えば合成ベース画像をフレームＦ＃１としているとき、合成対象領域ＡＲ１に、フレームＦ＃２の同一領域を当てはめて表示する。続いて合成対象領域ＡＲ１に、フレームＦ＃３の同一領域を当てはめて表示する。このように合成対象領域ＡＲ（ｘ）の画素領域を、順次他のフレームの画素に置き換えながら表示させ、それぞれユーザが確認できるようにする。そしてユーザが、適切な画像を決定する操作を行うことにより、合成を行うフレームを確定し、そのフレームの画素データを、合成対象領域ＡＲに当てはめる画素データとする。
なお、合成対象領域ＡＲ（ｘ）についての各フレームとの合成画像を順次表示するのではなく、各フレームとの合成画像を一覧表示させて、ユーザが各画像を同時に比較しながら選択操作できるようにしてもよい。

また順次各フレームとの合成画像を表示させる際には、ユーザの時間深さの操作に応じて合成フレームが変化するようなユーザインターフェースも適切である。例えば時間軸方向のスクロールバーを表示させたり、所定の操作子やユーザ挙動による操作に応じて、時間軸方向の移動をユーザが指定できるようにする。そして、その時間軸方向の連続的な操作によって、合成対象領域ＡＲ（ｘ）に画素データを当てはめるフレームを変動させていく。すると、画像上で、合成対象領域ＡＲ（ｘ）のみ、時間軸方向に前後する画像が表示できることになり、これによってもユーザは適切な合成フレームを選定できる。
時間軸方向の移動を指定する操作としては、例えばタッチパッドを備えるようにし、触った点からの移動量（ドラッグ移動量）及び方向により、時刻の移動量及び未来／過去の方向を指定できるようにすることが考えられる。方向については、例えば右や上への移動はプラス（未来方向）、左や下への移動はマイナス方向（過去方向）などとする。
また圧力検知可能なタッチパッドを備え、圧力の強さにより、時刻の移動量を指定するようにしてもよい。
もちろんユーザの挙動として、首を振ったり、頭部に装着した撮像装置１の側面を叩くなどの操作を、移動量及び方向の指定操作としてもよい。
移動量や方向の指定操作に応じては、各フレームの時間差情報ＴＭを参照して、指定操作に応じたフレームを選定し、合成画像を生成する。

画像解析／合成部１２は、ステップＦ２０７での自動解析又は手動操作に応じた合成用の画素データの探索の結果、合成用の部分画像として、合成対象領域ＡＲに当てはめる画素データがあれば、ステップＦ２０８からＦ２０９に進み、合成対象領域ＡＲ（ｘ）の合成処理を行う。つまり合成ベース画像の合成対象領域ＡＲ（ｘ）の画素データを、探索された他のフレームの画素データに置き換える。例えば図１３（ａ）の合成対象領域ＡＲ１について、図５に示した各フレームの画像のうちで、フレームＦ＃４の同一領域を合成用の部分画像とした場合、このフレームＦ＃４において、合成対象領域ＡＲ（ｘ）と同一領域の画素データを、合成ベース画像（フレームＦ＃１）の合成対象領域ＡＲ（ｘ）に当てはめる。

一方、ステップＦ２０７の他のフレームの画像内容の探索処理で、適切な合成用の部分画像が見つけられなかった場合は、ステップＦ２０８からＦ２１０に進み、合成対象領域ＡＲ（ｘ）については合成不能とする。

ステップＦ２１１では、処理制御変数ｘ＝ｎであるか否かを判別する。ｎはステップＦ２０３で設定された合成対象領域ＡＲの数である。つまり、設定された全ての合成対象領域ＡＲについて処理を終えたか否かを確認する。
また未処理の合成対象領域ＡＲが存在すれば、ステップＦ２１２で処理制御変数ｘをインクリメントしてステップＦ２０７に戻る。そして次の合成対象領域ＡＲ（ｘ）について、上記同様に処理を行う。

ステップＦ２１１でｘ＝ｎとなった時点で、ステップＦ２０３で設定した全ての合成対象領域ＡＲについての処理を完了したことになる。この場合、ステップＦ２１３で、全ての合成対象領域ＡＲが、ステップＦ２１０で合成不能とされたか否かを確認する。もし、全ての合成対象領域ＡＲが合成不能となっていた場合は、画像解析／合成部１２の処理はステップＦ２１５に進み、システムコントローラ１０に対して合成不能通知を送信する。
一方、少なくとも１つの合成対象領域ＡＲにおいてステップＦ２０９の合成処理を行っていれば、ステップＦ２１４に進み、システムコントローラ１０に対して合成完了通知を送信する。以上で図１２の処理を終える。

例えば以上の図１１，図１２としてのシステムコントローラ１０及び画像解析／合成部１２の処理により、図４（ｂ）、図７（ｂ），図８（ｂ），図９（ｂ），図１０（ｂ）で例示したような合成画像データが生成され、図６（ｂ）の合成画像データｍＶＤとして示すようにストレージ部１４に保存されることになる。

［５．実施の形態の効果、及び変形例、拡張例］

以上の実施の形態によれば、撮像画像データの１つのフレームを合成ベース画像とし、その合成ベース画像内で設定した合成対象領域ＡＲの画素データを、他のフレームの画像データに置き換える合成処理をおこなうことで、ユーザの満足度の高い撮像画像を容易に生成できるという効果がある。
例えば集合写真において、全員が眼を開けていたり、全員が良い表情であったり、全員が正面を向いているような合成画像、さらには全員がボケていない合成画像を容易に生成できる。また、不要な被写体を消したり、画面全体の統一感を出した画像なども、同様に容易に生成できる。これにより、いわゆる撮像に失敗したとユーザが思うような場合も、手軽に画像を修正できることになり、ユーザの写真撮像に対する満足度を向上させる。
さらには、合成処理において手動操作で、面白みのある画像を生成することもでき、一般ユーザの写真撮像の可能性や画像の利用範囲を広げることもできる。

合成画像データについては例えばストレージ部１４に保存されるが、これを表示することで、好適な撮像画像をユーザに提示できる。
図６（ｂ）のように各撮像画像データＶＤ１，ＶＤ２・・・について生成した合成画像データｍＶＤ１，ｍＶＤ２・・・については、例えばこれらをユーザの操作に応じて順次表示したり、スライドショウ方式で自動的に順次表示したり、縮小画像で一覧表示したりするなどの処理を行うことができる。

本発明は、上記実施の形態に限られず、撮像装置１の構成例や処理例として各種の変形例や拡張例が考えられる。
まず、図１２のステップＦ２０９で合成処理を行う場合、単に合成対象領域ＡＲの画素データを他のフレームの画素データに置き換えるだけでなく、より自然な合成画像が生成されるようにすることもできる。
つまり合成処理では時刻の違うフレーム同志の画像を合成することになるが、このときに両フレーム（合成ベース画像としたフレームと、合成用の画素データを抽出するフレーム）の境界をスムーズにするために、境界領域では現画像とターゲット画像の両方の画像の画素のブレンド（線形結合）を行うようにしてもよい。

また、同じく時刻の違う画像の境界をスムーズにするために、境界領域では時間がより連続的になるように、合成ベース画像としたフレームと、合成用の画素データを抽出するフレームの中間（時間的に中間）のフレームの画素を用いることも考えられる。
図１９（ａ）のように、或る合成ベース画像上で合成対象領域ＡＲ１，ＡＲ２が設定されたとする。この場合、図１９（ｂ）のように、斜線部とした合成対象領域ＡＲ１，ＡＲ２には、他のフレームから抽出した画素データを割り当てるが、その合成対象領域ＡＲ１、ＡＲ２の周囲には、中間フレームの画素を割り当てるようにする。
例えば合成ベース画像がフレームＦ＃１であり、合成対象領域ＡＲ１として、フレーム＃３の画素データを割り当てた場合、合成対象領域ＡＲ１の周囲の画素データＭＡとして、フレーム＃２の画素データを割り当てる。
また合成対象領域ＡＲ２として、フレーム＃６の画素データを割り当てた場合、合成対象領域ＡＲ２の周囲の画素データＭＡ１としてフレーム＃４の画素データを割り当て、さらにその周囲の画素データＭＡ２としてフレーム＃２の画素データを割り当てる。
このようにすると、合成箇所の境界での時間差が小さくなり、これによって合成画像データが、より自然な画像となる。

また、被写体の動きにより、他のフレームでは、合成ベース画像上の合成対象領域ＡＲと同じ画素領域に、同じ被写体が位置しないこともある。例えば被写体の人物が歩いているときに撮像したような場合、その人の顔領域となる画素範囲は、各フレームで異なってくる。
このため、例えば合成対象領域ＡＲとしての画像の特徴点を抽出し、合成ベース画像上の位置に対応する、他のフレームでの画像の位置を補正するようにしてもよい。
例えば画像の３つの特徴点から、移動・回転・拡大（アフィン変換）のマトリックスを計算して補正する。顔画像を対象とする場合、３つの特徴点として、顔の両眼と口を用いることが適切である。

また、本発明の画像処理装置は、撮像装置１として実現する以外に、多様な装置が想定される。
図２０は、本発明の画像処理装置としての構成要素として、制御手段としてのシステムコントローラ１０と、画像取得部２０と、画像解析／合成部１２と、保存処理部２２と、画像出力部２１を示している。
例えばこのような構成要素を備える各種機器として本発明の画像処理装置を実現できる。

画像取得部２０は、異なる時点に撮像された複数フレームの撮像画像データ、即ち合成処理の対象となる撮像画像データを取得する部位であり、上記実施の形態のような撮像装置１では、撮像部３及び撮像制御部６に相当する。
このような撮像機能としての部位以外に、例えば合成処理の対象となる複数フレームの撮像画像データを外部機器７０から受信する通信部１５も、画像取得部２０となり得る。もちろんケーブル接続により外部機器７０からの撮像画像データを受信するものであってもよい。さらに、例えば光ディスク、メモリカードなどの可搬性記録媒体に対して再生を行って、可搬性記録媒体に記録されている撮像画像データを読み出す再生ドライブも、画像取得部２０となり得る。
また画像取得部２０で取得する複数フレームの撮像画像データとは、複数枚の静止画データでもよいし、動画データでもよい。

保存処理部２２は、合成画像データを保存する処理を行う部位であるが、上記実施の形態のストレージ部１４に相当する。
但し、撮像画像データと評価データを外部機器７０に送信して、外部機器７０において保存を実行させるようにする場合、その送信を行う通信部１５は、保存処理部２２に相当することになる。もちろん無線送信、有線送信のいずれでも良い。

画像出力部２１は、上記実施の形態の場合では保存した撮像画像データを表示出力する表示部２が相当する。また、外部のモニタ装置において表示させるために画像信号を出力する出力部も、画像出力部２１となり得る。
また、保存した撮像画像データを外部機器７０に有線又は無線で送信する通信部１５も、画像出力部２１となり得る。
また、保存した撮像画像データを可搬性記録媒体に記録し、可搬性記録媒体によって装置外に持ち出せるようにする記録ドライブも画像出力部２１となり得る。

このように例えば画像取得部２０、画像出力部２１、保存処理部２２としては、非常に多様な形態が想定される。それらを考慮すると、本発明は、スチルカメラやビデオカメラ等の撮像装置として実現する他、撮像機能のない、モニタ表示装置、通信装置、画像データ保存装置、画像合成を行う画像編集装置などとしても実現できる。

また合成画像データを生成するための複数フレームの撮像画像データとは、略連続的に撮像された各フレーム画像データではなく、かなり離散的なタイミングで撮像されたものでもよい。
例えば図１（ａ）（ｂ）のようなウェアラブルな撮像装置１において、定期的に撮像を行っていると、例えばユーザの１日の行動において見た各種光景の撮像画像データが取得できることになる。このような、或る程度無関係な複数フレームの撮像画像データを用いても、合成処理を行うことができる。例えば１日の光景をコラージュ的に合成したような合成画像を生成できる。
同様に、例えば観光地などで、逐次撮像した撮像画像データを、画像共有サービスなどからの通信で取得した場合、そのような撮像画像データと、自分で同じ観光地で撮像した撮像画像データを用いて合成処理をおこなうことなども考えられる。

また、静止画としての合成画像データの生成について述べたが、動画としての合成画像データの生成にも拡張できる。
例えば合成対象領域ＡＲとしての画素領域のみ、その周囲と時間進行具合を変化させるような合成動画を実現できる。つまり、動画を構成する各フレームにおいて、合成対象領域ＡＲのみ、異なるフレームの画素データに置き換えることで、画面の一部のみ、遅い時間の光景となったっり、先の時間の光景となったり、時間の進行が早くなったり、時間の進行が遅くなったりするような合成動画を生成できる。
さらに３次元画像など、高次画像への適用も可能である。

本発明の実施の形態の撮像装置の外観例の説明図である。 実施の形態の撮像装置のブロック図である。 実施の形態の撮像装置の使用形態の説明図である。 実施の形態の合成画像の説明図である。 実施の形態の合成に用いる各フレーム画像の説明図である。 実施の形態の撮像画像データ、合成画像データの保存状態の説明図である。 実施の形態の合成画像の説明図である。 実施の形態の合成画像の説明図である。 実施の形態の合成画像の説明図である。 実施の形態の合成画像の説明図である。 実施の形態のシステムコントローラの処理のフローチャートである。 実施の形態の画像解析／合成部の合成処理のフローチャートである。 実施の形態の合成対象領域の設定の説明図である。 実施の形態の合成対象領域の設定の説明図である。 実施の形態の合成対象領域の手動設定方式の説明図である。 実施の形態の合成対象領域の手動設定方式の説明図である。 実施の形態の合成対象領域の手動設定方式の説明図である。 実施の形態の合成対象領域の手動設定方式の説明図である。 実施の形態の合成の際の境界領域の処理例の説明図である 本発明の構成要素の説明図である。

符号の説明

１ 撮像装置、２ 表示部、２ａ 表示パネル部、３ 撮像部、６ 撮像制御部、７ 表示制御部、１０ システムコントローラ、１１ 操作入力部、１２ 画像解析／合成部、１４ ストレージ部、１５ 通信部、２０ 画像取得部、２１ 画像出力部、２２ 保存処理部

Claims (17)

1. 合成処理に用いる撮像画像データとして、異なる時間として連続的に撮像された複数のフレームの撮像画像データを取得する取得手段と、
   上記取得手段により取得した上記複数のフレームのうちの或るフレーム内で合成対象領域を設定し、上記合成対象領域における画素データを、上記複数のフレームのうちの他のフレームの画素データに置き換えるとともに、上記合成対象領域と上記或るフレームの撮像画像データの境界領域については、上記或るフレームと上記他のフレームの時間的に中間のフレームが存在する場合には、該中間のフレームの、上記境界領域に相当する画素データを上記境界領域に割り当てて合成処理を行って合成画像データを生成する画像合成手段と、
   上記画像合成手段で生成された合成画像データについて保存処理を行う保存処理手段と、
   を備えた画像処理装置。
2. 上記取得手段は、上記撮像部での撮像により、上記合成処理に用いる複数のフレームの撮像画像データを取得する請求項１に記載の画像処理装置。
3. 上記撮像部は、撮像素子としてＣＣＤセンサ又はＣＭＯＳセンサを用いて構成されている請求項２に記載の画像処理装置。
4. 上記取得手段は、外部機器と通信を行う通信部を有し、上記通信部での外部機器と通信により、上記合成処理に用いる撮像画像データを受信して取得する請求項１に記載の画像処理装置
5. 上記取得手段は、可搬性記録媒体から情報を再生する再生部を有し、上記再生部による上記可搬性記録媒体の再生により、上記合成処理に用いる撮像画像データを取得する請求項１に記載の画像処理装置。
6. 上記保存処理手段は、記録媒体に対して情報の記録を行う記録部を有し、上記保存処理として、上記合成画像データを上記記録媒体に記録する請求項１に記載の画像処理装置。
7. 上記保存処理手段は、外部機器と通信を行う通信部を有し、上記保存処理として、上記合成画像データを外部機器に送信する請求項１に記載の画像処理装置。
8. 上記画像合成手段は、画像解析処理により、上記合成対象領域を設定する請求項１に記載の画像処理装置。
9. 上記画像合成手段は、上記画像解析処理により、フレーム画像内に存在する人の顔画像についての眼の開閉、又は顔の表情、又は顔の向き、又は眼球の色の全部又は一部を判別し、判別結果に基づいて上記合成対象領域を設定する請求項８に記載の画像処理装置。
10. 操作入力手段をさらに備え、
    上記画像合成手段は、上記操作入力手段からの入力に従って、上記合成対象領域を設定する請求項１に記載の画像処理装置。
11. 上記画像合成手段は、画像解析処理により、上記他のフレームとなるフレームを選定し、選定したフレームから、上記合成対象領域に合成する画素データを取り出す請求項１に記載の画像処理装置。
12. 操作入力手段をさらに備え、
    上記画像合成手段は、上記操作入力手段からの入力に従って、上記複数のフレームのうちから上記他のフレームとなるフレームを選定し、選定したフレームから、上記合成対象領域に合成する画素データを取り出す請求項１に記載の画像処理装置。
13. さらに、上記合成画像データについての出力処理を行う画像出力手段を備えた請求項１に記載の画像処理装置。
14. 上記画像出力手段は、表示部を有し、上記出力処理として、上記表示部において上記合成画像データについての表示出力を行う請求項１３に記載の画像処理装置。
15. 上記画像出力手段は、外部機器と通信を行う通信部を有し、上記出力処理として、上記通信部により上記合成画像データについての外部機器への送信出力を行う請求項１３に記載の画像処理装置。
16. 上記画像出力手段は、可搬性記録媒体に情報を記録する記録部を有し、上記出力処理として、上記記録部によって上記可搬性記録媒体に上記合成画像データを記録する請求項１３に記載の画像処理装置。
17. 合成処理に用いる撮像画像データとして、異なる時間として連続的に撮像された複数のフレームの撮像画像データを取得するステップと、
    取得した上記複数のフレームのうちの或るフレーム内で合成対象領域を設定し、上記合成対象領域における画素データを、上記複数のフレームのうちの他のフレームの画素データに置き換えるとともに、上記合成対象領域と上記或るフレームの撮像画像データの境界領域については、上記或るフレームと上記他のフレームの時間的に中間のフレームが存在する場合には、該中間のフレームの、上記境界領域に相当する画素データを上記境界領域に割り当てて合成処理を行って合成画像データを生成するステップと、
    生成した合成画像データについて保存処理を行うステップと、を備えた画像処理方法。

Images