JP5629564B2 - 画像処理装置およびその制御方法 - Google Patents

Description

本発明は、画像処理装置およびその制御方法に関し、特には撮像画像のホワイトバランス補正を行う画像処理装置及びその制御方法に関する。

従来、例えばデジタルスチルカメラのような撮像装置には、撮像画像のホワイトバランス補正を自動で行うオートホワイトバランス機能が設けられている。また、連続撮像された画像に対するホワイトバランス補正結果のバラツキを軽減するため、１コマ目（１枚目）に撮像された画像に基づいて算出されたホワイトバランス補正値を連続撮影中の次コマ（２枚目）以降に適用することが知られている。

しかし、この方法では、連続撮影中に被写体を照明している光の色温度が変化した場合、変化前後で撮像された画像の色が異なってしまうことがある。この問題を解決するため、特許文献１では、連続撮影して得た画像毎に被写体の輝度を測定し、１コマ前の画像の被写体輝度と最新のコマの画像の被写体輝度の変化量に応じて新たなホワイトバランス補正値を算出する技術が開示されている。

特許文献１記載の技術では、連続撮影中に被写体を照明している光の色温度が変化しない場合（輝度変化が少ない場合）は、一コマ前の画像に適用されたホワイトバランス補正値が最新コマの画像に適用される。そのため、連続撮像された画像のホワイトバランス補正結果のバラツキを軽減することができる。また、連続撮影中に被写体を照明している光の色温度が変化した場合（輝度変化が大きい場合）は、最新コマの画像のみに基づいて算出されたホワイトバランス補正値が最新コマの画像に適用される。そのため、１コマ前と最新コマの撮影間に被写体を照明している光の色温度が変化しても、最新コマの画像について適切なホワイトバランス補正結果が得られる。

特開２００２−２４７５９０号公報

しかしながら、特許文献１に開示された技術では、以下の２つの例で適切なオートホワイトバランス補正結果が得られない場合がある。

１つ目の例は、図３に示すような、連続撮影中に撮影範囲が日向から日陰に徐々に変化する場合である。３０１は連続撮影時１コマ目の撮影範囲であり、３０２〜３０６はそれぞれ連続撮影時２コマ目〜６コマ目の撮影範囲を示している。このように、撮像画像に占める複数光源の面積の割合が徐々に変化する場合、最新コマと１コマ前の輝度変化は少ない。そのため、特許文献１の方法では適切に光源変化を検出できない。その結果、１コマ目３０１で算出された日向用のホワイトバランス補正値が順次用いられ、６コマ目３０６の日陰の撮影でも使用されてしまう。

２つ目の例は、顔検出機能を有し、顔が検出された場合に顔の肌色が適切な色となるようにホワイトバランス補正を行う撮像装置において、図４（ａ）及び（ｂ）に示すような、連続撮像された画像における人物の状態が変化する場合である。４０１と４０２は同一シーンを示しており、４０３〜４０５は１コマ目〜３コマ目の撮影範囲を示している。人物が４０１では正面を向いているのに対し、４０２では横を向いている。

ここで、１コマ目４０３では人物が正面を向いて写っているため、顔検出処理により顔が検出される。そして、検出された顔の色情報を元に、顔色が適切な肌色になるようなオートホワイトバランス補正が実行される。これにより、顔検出を行わない場合よりも精度の良いホワイトバランス補正結果を得ることが出来る。

２コマ目４０４では、１コマ目４０３とは全く異なる範囲が撮影されており、特に空が含まれた範囲を撮影している為、１コマ目４０３との輝度変化量が大きい。従って、特許文献１記載の方法では、２コマ目４０４のホワイトバランス補正は、２コマ目の画像のみに基づいて行われる。

３コマ目４０５で再び１コマ目４０３と同一撮像範囲が撮像されると、やはり２コマ目４０４との輝度変化量が大きいため、３コマ目４０５についても３コマ目４０５の画像のみに基づいたホワイトバランス補正が実行される。ここで、３コマ目４０５では、顔が横向きであったため、顔が検出できなかったものとする。この場合、顔が検出できた１コマ目４０３と異なり、３コマ目４０５では顔の色情報を用いずにホワイトバランス補正が行われる。

その結果、顔の色情報を用いた１コマ目４０３と顔の色情報を用いない３コマ目４０５のホワイトバランス補正値が異なった値となり、結果として１コマ目４０３と３コマ目４０５はほぼ同じ撮影範囲であるにもかかわらず、異なる色味の画像となってしまう。

本発明はこのような従来技術の課題に鑑みてなされたものであって、時系列的に撮像された複数の画像の色調を安定して適切に補正することが可能な画像処理装置およびその制御方法を提供することをその一目的とする。

上述の目的は、時系列的に撮像された複数の画像の各々に対して適用する画像処理に用いるパラメータを算出する画像処理装置であって、画像から予め定められた被写体を検出する検出手段と、２つの画像間の類似度を、各々の画像から得られる予め定められた特徴から算出する類似度算出手段と、複数の画像の各々について、画像から得られる情報に基づいてパラメータを算出するパラメータ算出手段と、処理対象の画像より過去に撮像された画像のうち、予め定められた被写体が検出された画像から決定された被写体基準画像と、予め定められた被写体が検出されない画像から決定された通常基準画像を記憶する記憶手段と、制御手段と、を有し、制御手段は、被写体基準画像からパラメータ算出手段が算出した第１のパラメータと、処理対象の画像からパラメータ算出手段が算出した第２のパラメータとを、被写体基準画像と処理対象の画像のうち検出手段により検出した被写体の信頼度が高い画像から算出されたパラメータの重み付けが高くなるように加重加算することにより第３のパラメータを算出し、通常基準画像からパラメータ算出手段が算出した第４のパラメータと、第３のパラメータとを、類似度算出手段により算出された通常基準画像と処理対象の画像との類似度が高いほど第４のパラメータの重み付けが高くなるように加重加算することにより処理対象の画像に対して適用する画像処理に用いるパラメータを算出する、ことを特徴とする画像処理装置によって達成される。

このような構成により、本発明によれば、時系列的に撮像された複数の画像の色調を安定して適切に補正することが可能になる。

本発明の実施形態に係る画像処理装置の一例としての撮像装置の動作を説明するフローチャート。 本発明の実施形態に係る撮像装置の構成例を示すブロック図。 撮像条件が徐々に変化する場合の例を説明する図。 撮像範囲の変化が大きい場合の例を説明する図。 図３の事例における本発明の実施形態に係る撮像装置の動作を説明する図。 図４の事例における本発明の実施形態に係る撮像装置の動作を説明する図。

以下、添付図面を参照して、本発明をその例示的な実施形態に基づいて詳細に説明する。
図２は、本発明の実施形態に係る画像処理装置の一例としての撮像装置の構成例を示すブロック図である。なお、撮像に係る構成（レンズ、撮像素子など）は本発明に必須ではなく、本発明は撮像によって得られた画像を処理可能な任意の装置に適用可能である。

図２において、２００は撮像装置２２３に着脱可能な撮影レンズ、２０１は絞り、２０２はシャッター、２０３は光学像を電気信号に変換する撮像素子、２０４は撮像素子２０３のアナログ信号出力をデジタルデータに変換するＡ／Ｄ変換器である。タイミング発生部２０５は、撮像素子２０３、Ａ／Ｄ変換器２０４にクロック信号や制御信号を供給して、それらの動作を制御している。このタイミング発生部２０５はメモリ制御部２０６及びシステム制御部２１８により制御されている。

画像処理部２０８はＡ／Ｄ変換器２０４からのデータやメモリ制御部２０６からの画像データに対して、各種の画像処理を適用する。画像処理には、例えば、ホワイトバランス補正処理、ベイヤー配列の信号をＲＧＢ３プレーン信号に変換するための色補間処理、ガンマ補正処理、色補正処理、シャープネス処理、ノイズ低減処理などが含まれる。また、画像処理部２０８では、画像データを解析して特定の被写体を検出する被写体検出処理も行う。被写体検出処理には、上述した顔検出処理も含まれる。なお、画像処理部２０８が行う顔検出の方法には特に制限はなく、公知の方法のいずれかを適用することができる。また、検出する被写体は人間の顔に限定されず、動物、植物、建造物、乗り物、食物、空、地面、雲、山、川、海、天体、花火、雪、文字、美術品などの１つ以上を検出するようにしてもよい。これら個々の被写体の検出方法についても特に制限はなく、画像から検出可能なこれら被写体の特徴を予め登録しておき、撮像画像から得られる特徴との類似性によって検出することが可能である。

画像処理部２０８は、ホワイトバランス補正処理、明るさ補正処理、コントラスト補正処理、色補正処理、シャープネス処理、ノイズ低減処理といった画像処理のパラメータの算出に、検出された被写体の情報を反映させる。被写体の情報を画像処理パラメータの算出にどのように反映させるかは自由であるが、通常は検出された被写体の色味や明るさが予め定められた適切な範囲となるように画像処理パラメータが算出される。

また、画像処理部２０８は、最新の撮像画像（最新画像）について算出された画像処理パラメータと過去の撮像画像から選択された基準画像に対応した画像処理パラメータとを重み付け合成して、最新画像に適用する画像処理パラメータを算出する。本処理については後で詳細に説明する。

また、画像処理部２０８は、画像の輝度ヒストグラムやＲＧＢヒストグラムの算出、画像全体のＲＧＢ平均値、平均輝度値などの算出も行う。これらは、最新画像と基準画像との比較を行う際に使用する。本処理についても後述する。

メモリ制御部２０６は、Ａ／Ｄ変換器２０４、タイミング発生部２０５、画像処理部２０８、メモリ２０７を制御する。これにより、Ａ／Ｄ変換器２０４が出力するデジタルデータは、画像処理部２０８およびメモリ制御部２０６のうち少なくともメモリ制御部２０６を介してメモリ２０７に書き込まれる。

メモリ２０７は撮像画像を一時記憶するためのもので、所定枚数の静止画像を格納するのに十分な記憶容量を備えている。また、メモリ２０７はシステム制御部２１８や画像処理部２０８の作業領域としても使用することが可能である。

外部記憶装置２０９はメモリカードを代表とする着脱可能な記録媒体である。メモリ２０７に一時記憶された画像データは、必要に応じて符号化処理などが行われた後、最終的に外部記憶装置２０９に記録される。

ＲＧＢ測光センサ２１４は外測センサであり、撮影範囲内の被写体の色と輝度を画素単位で測定することができる。システム制御部２１８はＲＧＢ測光センサ２１４の出力に応じて撮像時の露光量（シャッタースピードおよび絞り値）を決定する。露光制御部２１０は、露光量に応じて絞り２０１とシャッター２０２を駆動する。

測距センサ２１３は被写体の距離情報を検出する。測距制御部２１１は測距センサ２１３の出力によりレンズ２００の焦点検出動作を制御する。
ズーム制御部２１２は、レンズ２００がレンズのズームリングなどの操作により手動でズーミングされた際のズーム量の検出や、カメラの操作部２１７に含まれるズームキーの操作がなされた場合のレンズのズーム量制御などを行う。

姿勢検知センサ２１６は撮像装置２２３の水平／垂直方向の振れを検知するセンサで、縦位置撮影、横位置撮影の判定などに用いられる。
システム制御部２１８は撮像装置２２３全体の動作を制御する。システム制御部２１８は例えばマイクロプロセッサと、制御プログラムを格納したＲＯＭと、作業領域として用いるＲＡＭを有する。ＲＯＭからＲＡＭに読み出されたプログラムをマイクロプロセッサによって実行することで、後述の動作を含め、撮像装置２２３の機能を実現する。

ＳＷ１はレリーズボタン２１５の第１ストローク（例えば半押し）でＯＮし、測光、測距を開始するスイッチである。ＳＷ２はレリーズボタン２１５の第２ストローク（例えば全押し）でＯＮし、露光動作を開始するスイッチである。

ストロボ２１９は撮影時に被写体を照明する、撮像装置２２３に着脱可能な補助光源である。ストロボ２１９は閃光発光モードとハイスピードシンクロ発光モードを備える。更に、照明角度を変更することでバウンス撮影を行うことも可能である。

ストロボ２１９の前面にはストロボ用光学フィルタ２２０を装着することもできる。ストロボ用光学フィルタ２２０の例としては、ストロボ光を拡散する拡散フィルタやストロボ光の色温度を変更する色温度変換フィルタ等が挙げられる。

またレンズ２００の前面にもレンズ用光学フィルタ２２１を装着することが可能である。レンズ用光学フィルタ２２１の例としては、色温度変換フィルタや偏光フィルタ等が挙げられる。

フィルタ検知センサ２２２は、レンズ用光学フィルタ２２１やストロボ用光学フィルタ２２０の種類を検知する。フィルタの検知方法は特に制限されないが、最も簡単なのは、装着したフィルタの種類をユーザが操作部２１７を通じて入力し、その入力内容を検知することである。

次に、図１のフローチャートを参照して、本実施形態における撮像装置２２３の撮像後の画像処理動作を説明する。
例えばレリーズボタン２１５が全押しされたことにより露光が行われると、撮像素子２０３から被写体像に対応するアナログ信号が画素単位で出力される。このアナログ信号はＡ／Ｄ変換器２０４で１２ビットのデジタルデータに変換され、画像データとして画像処理部２０８に送られる。

画像処理部２０８は、この１２ビット画像データを解析し、被写体、ここでは人物の検出を行う。ここで、人物とは顔のみならず、胴体を含んだ人体を指す。検出する被写体は人物に限定されず、動物、植物、建造物、乗り物、食物、空、地面、雲、山、川、海、天体、花火、雪、文字、美術品などの１つ以上を検出するようにしてもよい。ここで、動物は猫や犬等を指す。植物は草、木、花等を指す。建造物は家、ビル等の建物や橋、道路等を指す。乗り物は車、バイク、自転車、飛行機、電車などを指す。食べ物は皿に盛られた料理、飲み物、りんごやバナナといった一般的な果物、肉、魚等を指す。空は青空、曇り空、夕焼け（朝焼け）空、夜空等を指す。地面は土、芝、砂等を指す。雲、山、川、海は文字通りである。天体は星、月、太陽等を指す。花火は打ち上げ花火や手持ち花火等を指す。雪は雪山等の雪景色等を指す。文字は書籍等の文字や数字を指す。美術品は絵画や銅像等を指す。

これらの被写体検出は、例えば人物検出については顔のパターンを予めメモリ２０７に記憶しておき、そのパターンと一致もしくは類似度の高い被写体が画像に含まれているかどうかを解析する周知のパターンマッチング技術等を用いて行う。その他の被写体についてもパターンマッチング技術等を用いて検出する。そして、検出結果として、被写体の画像内での位置、大きさ、色、領域、信頼度等を得る。ここで信頼度とは被写体が検出すべき被写体であるかどうかの確からしさの指標であり、信頼度が高いほど被写体である確率が高いことを意味する。

次に、パラメータ算出手段としての画像処理部２０８は、Ｓ１０２において、撮像画像から画像処理パラメータを算出する。本実施形態において画像処理パラメータとは、ホワイトバランス補正処理、明るさ補正処理、コントラスト補正処理、色補正処理、ノイズ低減処理、シャープネス処理に用いるパラメータを指すものとする。以下に被写体検出として人物検出を用いた場合における、それぞれの画像処理パラメータの算出例について説明する。

なお、本実施形態では、ホワイトバランス補正処理、明るさ補正処理、コントラスト補正処理、色補正処理、ノイズ低減処理、シャープネス処理の順に画像処理が行われるものとする。

まず、ホワイトバランス補正処理用パラメータの算出例について説明する。
例えば、被写体検出で顔検出できていない場合、例えば撮像画像の全画素データをＲ、Ｇ、Ｂデータの種類毎に積分し、（式１）により算出する。
Ｒ補正値＝Ｇ積分値／Ｒ積分値
Ｇ補正値＝１ （式１）
Ｂ補正値＝Ｇ積分値／Ｂ積分値

被写体検出で人物検出結果が得られた場合には、人物の顔領域に対応した１２ビットＲＧＢデータを得る。そしてこの１２ビットＲＧＢ値と各肌色１２ビットＲＧＢデータに対応した適切なホワイトバランス補正値参照テーブルを用いてホワイトバランス補正パラメータを算出する。なお、各肌色に対応したホワイトバランス補正値参照テーブルは事前に算出しておきメモリ２０７に記録しておく。

次に、明るさ補正処理用パラメータの算出例について説明する。
被写体検出で顔検出されている場合、画像処理部２０８は、顔の明るさが目標の明るさになるように、１２ビットＲＧＢデータそれぞれに適用するゲインを明るさ補正パラメータとして算出する。被写体検出で顔検出されなかった場合、画像処理部２０８は、撮像画像全体の平均のＲＧＢ平均値が目標の明るさになるようなゲインを、明るさ補正パラメータとして算出する。なお、顔の明るさ目標値や顔検出されなかった場合の画像全体平均ＲＧＢ積分値の明るさ目標値は事前に算出しておきメモリ２０７に記録しておく。

次に、コントラスト補正処理用パラメータの算出例について説明する。
コントラスト補正処理は、１２ビットＲＧＢデータを８ビットＲＧＢデータに変換するガンマ補正処理も兼ねている。また、コントラスト補正処理前にはＲＧＢベイヤー配列の信号をＲＧＢ３プレーン信号に変換するための既知の技術による色補間処理も行われるものとする。

メモリ２０７には事前に、標準的なガンマカーブと、顔の各明るさに対応した複数のガンマカーブを記録しておく。
被写体検出で顔検出できない場合、画像処理部２０８はメモリ２０７内の標準的なガンマカーブを選択する。被写体検出で顔検出された場合、画像処理部２０８は検出された顔の明るさに対応したガンマカーブをメモリ２０７から選択する。
なお、顔検出できた場合に顔の明るさを適切に補正する処理は、明るさ補正処理又はコントラスト補正処理のどちらか一方のみで行うようにしても良い。

次に、色補正処理用パラメータの算出例について説明する。
色補正処理では、コントラスト補正処理後の８ビットＲＧＢデータに対してＲＧＢの３３×３３×３３の格子点を持つ３次元ルックアップテーブル（以下３ＤＬＵＴ）を適用することで、任意の色の色相、彩度、明度を補正する。なお本実施形態では３ＤＬＵＴの格子点を３３×３３×３３としているが、格子点の個数は幾つであっても良い。メモリ２０７には事前に、標準的な色調となる３ＤＬＵＴと、検出した顔の色毎に、標準的な色調の３ＤＬＵＴよりも肌色の彩度が低く明度が高い複数の３ＤＬＵＴ（例えば、検出した顔の色の彩度が高いほど低彩度化するような３ＤＬＵＴ）を記録しておく。

被写体検出で顔検出できない場合、画像処理部２０８はメモリ２０７内の標準的な３ＤＬＵＴを選択する。被写体検出で顔検出された場合、画像処理部２０８は検出された顔の色の彩度に応じて、対応した３ＤＬＵＴをメモリ２０７から選択する。

次に、ノイズ低減処理パラメータの算出例について説明する。
ノイズ低減処理は例えば、処理対象とする着目画素に対して上下左右それぞれＮ（Ｎは整数）画素のＲＧＢデータの平均値を有する画素で着目画素を置き換える処理を、各画素に対して行う処理である。なお、着目画素に対する上下左右の画素数Ｎがノイズ低減処理パラメータとして与えられ、Ｎを大きくするほどよりノイズ低減効果が大きくなる。

メモリ２０７には事前に、通常のノイズ低減処理パラメータと通常よりもノイズ低減効果の大きいパラメータを記録しておく。
被写体検出で顔検出できない場合、画像処理部２０８はメモリ２０７内の標準的なノイズ低減処理パラメータを選択する。被写体検出で顔検出された場合、画像処理部２０８はメモリ２０７に記録されている通常よりもノイズ低減効果が大きいノイズ低減処理パラメータを選択する。

次に、シャープネス処理パラメータの算出例について説明する。
シャープネス処理は既知の技術を用いて画像からエッジ信号を抽出し、抽出したエッジ信号を強調する処理を行った後、そのエッジ信号を元の画像に足し合わせることで実現する。

メモリ２０７には事前に、エッジ強調効果が標準的なシャープネス処理パラメータと標準的なものよりもエッジ強調効果が低いシャープネス処理パラメータを記録しておく。なお、シャープネス処理パラメータはエッジ信号にかけるゲインの量という形で記録しておく。

被写体検出で顔検出できない場合、画像処理部２０８はメモリ２０７内の標準的なシャープネス処理パラメータを選択する。被写体検出で顔検出された場合、画像処理部２０８はメモリ２０７に記録されている通常よりもエッジ強調効果が低いシャープネス処理パラメータを選択する。

以上のように、人物検出（顔検出）された場合とされない場合で異なる画像処理パラメータの算出を行うことで、人物撮影時に人物検出（顔検出）結果が得られた場合のほうが、より人物撮影に適した画像処理パラメータを算出することができる。

なお、本実施形態では被写体検出で人物検出（顔検出）を行う例について説明したが、他の被写体を検出する場合には、個々の被写体に適した画像処理パラメータを算出するような構成としても良い。

画像処理部２０８は、このようにして最新の撮像画像（最新画像）から算出した画像処理パラメータを、後述のＳ１０５又はＳ１１１の処理で使用するために、メモリ２０７に記録しておく。

次にＳ１０３においてシステム制御部２１８は、撮像装置２２３の撮像状態を検出する。本実施形態でシステム制御部２１８は、撮像状態としてストロボ２１９の発光有無を検出する。ストロボ２１９が発光した状態を撮像状態Ａとし、発光していない状態を撮像状態Ｂとして以降の処理を行う。

なお、本実施形態では撮像状態の一例として、ストロボ２１９が発光したかどうかを検出しているが、これに限定されない。例えば、ストロボ２１９の種類、発光種類（閃光／ハイスピードシンクロ）、バウンス撮影有無、ストロボ用光学フィルタ２２０の種類（ストロボ光拡散フィルタ、色温度変化フィルタなど）の１つ以上を検出してもよい。また、レンズ２００の種類、レンズ用光学フィルタ２２１の種類（色温度変化フィルタや偏光フィルタなど）、絞り２０１の値の１つ以上を検出してもよい。あるいは、ＩＳＯ感度、シャッタースピード、カメラの姿勢に関する情報の１つ以上を検出するような構成としても良い。
撮像状態の数には特に制限が無く、３つ以上の撮像状態が存在する場合、Ｓ１０３での分岐の数を増やせばよい。

Ｓ１０４においてシステム制御部２１８は、画像処理部２０８を用いて撮像状態Ａ用の被写体基準画像（被写体基準画像Ａ）と最新画像の類似度を算出する。
ここで被写体基準画像Ａについて詳細に説明する。被写体基準画像Ａは本実施形態では、過去（最新の撮像よりも前）のストロボ発光を伴う撮像画像であって、人物検出できた画像を指す。過去の撮像画像から被写体基準画像Ａを決定する方法については後述する。
本実施形態では、過去のストロボ発光を伴う撮像画像のうち、直近に人物検出できた撮像がＳ１０４での被写体基準画像Ａとなる。

次に、被写体基準画像Ａと最新画像と類似度算出方法の例について説明する。
画像処理部２０８は、２つの画像の類似度を、それぞれの画像に対応した以下に挙げる要素の１つ以上を比較することにより決定する。

〔類似度を決定する要素の例〕
ＲＧＢ測光センサ２１４で測定した輝度値、ＲＧＢ測光センサ２１４のＲＧＢ値、撮像画像のＲＧＢデータそれぞれの平均値、撮像画像のＲＧＢデータから算出した平均輝度値、撮像画像の輝度ヒストグラム、撮像画像のＲＧＢヒストグラム。撮像時刻、撮像時のＩＳＯ感度、撮像時のシャッタースピード、撮像時のレンズの絞り、撮像レンズの種類、撮像時のレンズの焦点距離、撮像時の被写体距離。撮像時のストロボの種類、撮像時のストロボ２１９バウンス発光有無、撮像時のストロボ２１９の発光量、撮像時のストロボ２１９発光時の電圧、撮像装置２２３の姿勢。

ここで、それぞれの要素の算出方法について説明する。
ＲＧＢ測光センサ２１４で測定した輝度値は簡易的に（式２）で表される。
ＲＧＢ測光センサ２１４輝度値＝３×Ｒ＋６×Ｇ＋Ｂ ・・・（式２）
（式２）においてＲ，Ｇ，ＢはそれぞれＲＧＢ測光センサ２１４のＲ，Ｇ，Ｂ値である。
ＲＧＢ測光センサ２１４のＲＧＢ値はＲＧＢ測光センサ２１４で算出される。

撮像画像のＲＧＢデータの輝度値は簡易的に（式３）で表される。
撮像画像のＲＧＢデータの輝度値＝３×Ｒ＋６×Ｇ＋Ｂ ・・・（式３）
（式３）においてＲ，Ｇ，Ｂはそれぞれ撮像画像全体のＲ，Ｇ，Ｂそれぞれの平均値である。

撮像画像の輝度ヒストグラムは、撮像画像の１２ビットＲＧＢデータから算出した各画素の輝度値の累積カウント数を求めることで算出する。なお各画素の輝度値は簡易的に（式４）で表される
ヒストグラム算出用各画素の輝度値＝３×Ｒ＋６×Ｇ＋Ｂ ・・・（式４）
（式４）においてＲ，Ｇ，Ｂはそれぞれ撮像画像の色補間後の各画素の１２ビットＲ，Ｇ，Ｂ値である。
撮像画像のＲＧＢヒストグラムは、撮像画像の各画素の１２ビットＲＧＢデータを値毎にカウントすることで算出する。

撮像時刻はシステム制御部２１８内に持つタイマーにより、撮像時刻が年月日時分秒単位で出力される。
撮像時のＩＳＯ感度、撮像時のシャッター秒時、撮像時のレンズの絞りは、それぞれ露光制御部２１０で制御された数値である。

レンズ２００には機種ＩＤが割り当てられており、撮像装置２２３に装着されたレンズ２００から撮像装置２２３に機種ＩＤ情報が通信されることで、システム制御部２１８はレンズ２００の種類（機種）を判定することができる。
撮像時のレンズの焦点距離はズーム制御部２１２で算出される。
撮像時の被写体距離は測距制御部２１１で算出される。

撮像時のストロボの種類については、レンズと同様にストロボ毎に機種ＩＤが割り当てられており、撮像装置２２３に装着されたストロボ２１９から撮像装置２２３にストロボの機種ＩＤ情報が通信され、ストロボの種類が判定される。

撮像時のストロボ２１９のバウンス発光有無、撮像時のストロボ２１９の発光量、撮像時のストロボ２１９発光時の電圧についてはストロボ２１９が発光時の状態を撮像装置２２３に通信することで判定される。
撮像装置２２３の姿勢については、姿勢検知センサ２１６で検出された撮像装置２２３の姿勢情報である。

このようにして算出される類似度決定要素を、被写体基準画像Ａと最新画像とで比較して、１つ以上の要素の比較結果を積分して最終的に１つの類似度を得る。
撮像画像の輝度ヒストグラム、撮像画像のＲＧＢヒストグラム、の類似度については、それぞれのヒストグラムの形状が比較する２つの画像で近いほど類似度が１００％に近づくようにし、離れるほど類似度が０％になるようにする。１００％と０％の間の類似度については例えば線形補間して算出する。

撮像時刻については、２つの画像の時刻が近いほど類似度が１００％に近づくようにし、離れるほど類似度が０％になるようにする。１００％と０％の間の類似度については例えば線形補間して算出する。

撮像レンズの種類、撮像ストロボの種類、ストロボ２１９バウンス発光有無、撮像装置２２３の姿勢については、２つの画像でそれぞれの要素の状態が同じかどうかの判定を行い、同じ場合類似度１００％、異なる場合類似度０％とする。

これ以外の要素については、値が近いほど類似度が１００％に近づくようにし、離れるほど類似度が０％に近づくようにする。１００％と０％の間の類似度については例えば線形補間して算出する。

なお、本実施形態ではＳ１０３でストロボ２１９の発光有無を判定し、それぞれの撮像状態毎に処理を行うため、ストロボ２１９の発光有無による類似度算出は行わない。しかし、撮像状態検出でストロボ２１９の発光有無以外の撮像状態を判定する場合、本ステップ１０４の類似度決定要素の一つとして撮像時のストロボ２１９発光有無を含めても良い。

なお、過去のストロボ撮像画像で人物検出できていない場合や、最新の撮像画像で人物検出できていない場合、類似度は０％とする。

次に、画像処理部２０８は、Ｓ１０５において、被写体基準画像Ａから算出された画像処理パラメータ（第１のパラメータ）と、最新画像から算出された画像処理パラメータ（第２のパラメータ）とを、（式５）及び（式６）を用いて加重加算する。そして、画像処理部２０８は、加重加算結果を新たな画像処理パラメータα（第３のパラメータ）とする。
α＝SpRef_A_Param × SpRef_A_Wt + CurrentParam × (1 - SpRef_A_Wt)
・・・（式５）
ここで、
α = 加重加算後の新たな画像処理パラメータ
SpRef_A_Param = 被写体基準画像Ａの画像処理パラメータ
CurrentParam = 最新画像の画像処理パラメータ
SpRef_A_Wt = 被写体基準画像Ａの画像処理パラメータの重み（０〜１）

又、SpRef_A_Wtは（式６）で与えられる。
SpRef_A_Wt = (SpRef_A_Reliability - CurrentReliability)×SpRef_A_Similarity
・・・（式６）
但し、SpRef_A_Wt < 0 の場合 SpRef_A_Wt = 0 とする。
SpRef_A_Reliability = 被写体基準画像Ａの被写体信頼度（０〜１）
CurrentReliability = 最新画像の被写体信頼度（０〜１）
SpRef_A_Similarity = Ｓ１０４で算出した被写体基準画像Ａと最新画像の類似度（０〜１）

（式５）及び（式６）による加重加算は、以下の（１）〜（３）のように説明できる。
（１）被写体基準画像Ａと最新画像のうち、検出した被写体の信頼度が高い画像の画像処理パラメータが優先的に使用される。
（２）被写体基準画像Ａと最新画像のうち、最新画像の被写体の信頼度が高い場合は最新画像の補正値が優先的に使用される。
（３）被写体基準画像Ａの被写体信頼度が最新画像の被写体信頼度よりも高くても、２つの画像の類似度が低い場合は、被写体基準画像Ａの画像処理パラメータは優先されない。

（式５）及び（式６）において画像処理パラメータは、ホワイトバランス補正処理、明るさ補正処理、コントラスト補正処理、色補正処理、ノイズ低減処理、シャープネス処理のそれぞれについて別々に算出される。

具体的には、ホワイトバランス補正処理用パラメータのＲ補正値の場合、（式５）の画像処理パラメータに被写体基準画像Ａと最新画像それぞれのＲ補正値を代入して演算を行う。Ｇ補正値、Ｂ補正値についても同様である。
明るさ補正処理の場合、（式５）及び（式６）の画像処理パラメータに被写体基準画像Ａと最新画像それぞれの明るさ補正用ゲインを代入して演算を行う。

コントラスト補正処理の場合、（式５）及び（式６）の画像処理パラメータに被写体基準画像Ａと最新画像それぞれのコントラスト補正用ガンマカーブの各入力値に対する出力値を代入して演算を行う。

色補正処理の場合、（式５）及び（式６）の画像処理パラメータに被写体基準画像Ａと最新画像それぞれの３ＤＬＵＴの入力Ｒに対する出力Ｒの格子点の値を代入して演算を行う。Ｇ，Ｂについても同様である。

ノイズ低減処理の場合、（式５）及び（式６）の画像処理パラメータに被写体基準画像Ａと最新画像それぞれの着目画素に対する上下左右の画素数Ｎを代入して演算を行う。
シャープネス処理の場合、（式５）及び（式６）の画像処理パラメータに被写体基準画像Ａと最新画像それぞれのエッジ信号にかけるゲインの量を代入して演算を行う。

次に、Ｓ１０６において画像処理部２０８は、撮像状態Ａ用の通常基準画像（通常基準画像Ａ）と最新画像の類似度を算出する。
ここで通常基準画像Ａについて詳細に説明する。通常基準画像Ａとは本実施形態では、過去（最新の撮像よりも前）の、ストロボ発光を伴って撮像された撮像画像のうち、被写体の検出結果によらない基準画像の決定方法に従い決定された画像を指す。この、通常基準画像Ａの決定方法（Ｓ１０９）の詳細は後述する。

次に通常基準画像Ａと最新画像の類似度算出方法について説明する。
２つの画像（通常基準画像Ａと最新画像）の類似度は、それぞれの画像に対応した上述の要素を、Ｓ１０４と同様の方法で比較することにより決定される。

次に、Ｓ１０７において画像処理部２０８は、通常基準画像Ａから算出した画像処理パラメータ（第４のパラメータ）とＳ１０５で算出した画像処理パラメータαとを類似度に応じて加重加算することで、最新画像に適用する画像処理パラメータを算出する。加重加算の例を（式７）に示す。
FinalParam = NormRef_A_Param × NormRef_A_Similarity + α×(1 - NormRef_A_Similarity) ・・・（式７）
ここで、
FinalParam = 最新画像に適用する画像処理パラメータ
NormRef_A_Param =通常基準画像Ａの画像処理パラメータ
α = Ｓ１０５の式（５）で算出した画像処理パラメータα
NormRef_A_Similarity = Ｓ１０６で算出した通常基準画像Ａと最新画像の類似度（０〜１）
である。

（式７）を用いた画像処理パラメータの計算は、Ｓ１０５の（式５）及び（式６）と同様に、ホワイトバランス補正処理、明るさ補正処理、コントラスト補正処理、色補正処理、ノイズ低減処理、シャープネス処理のそれぞれのパラメータについて別々に算出する。
それぞれの具体的な算出方法は、Ｓ１０５の（式５）及び（式６）と同様でよいため説明を割愛する。

Ｓ１０８において画像処理部２０８は、次撮像用の被写体基準画像Ａの更新処理を行う。この処理は、被写体基準画像Ａを今回の撮像画像で更新するかどうかを決定する処理である。

〔被写体基準画像Ａ更新条件〕
本実施形態において、被写体基準画像Ａは以下の更新条件が満たされた場合に更新される。
現在の被写体基準画像Ａの被写体信頼度（人物信頼度）≦最新画像の被写体信頼度（人物信頼度）
但し、最新画像での被写体（人物）が検出できなかった場合、被写体信頼度は０％とする。このように、最新画像で検出された被写体信頼度が、更新対象となる被写体基準画像Ａの被写体信頼度以上であれば、最新画像を新たな被写体基準画像Ａとする（メモリ２０７に記憶されている被写体基準画像Ａを最新画像で更新する）。

ここで、更新する内容としては、
Ｓ１０４とＳ１０６の類似度判定で説明した類似度を決定する要素と、
Ｓ１０２で算出した最新画像から算出したホワイトバランス補正処理、明るさ補正処理、コントラスト補正処理、色補正処理、ノイズ低減処理、シャープネス処理に関する画像処理パラメータである。
これらの情報は全てメモリ２０７に記録しておき、次撮像時に読み出せるようにしておく。

次に、Ｓ１０９において通常基準画像Ａの更新処理を行う。この処理は、今回の撮像画像を次回の撮像画像に対するＳ１０４，Ｓ１０５の処理における通常基準画像Ａとして用いるかどうかを決定する処理である。

〔通常基準画像Ａの更新条件〕
本実施形態において、通常基準画像Ａは、次の条件を満たす場合に更新される。
Ｓ１０６で算出した類似度≦Ｎ％
Ｎは０〜１００％の任意の数値でよいが、本実施形態では２０％とする。即ち、最新画像と通常基準画像Ａの類似度が予め定められた類似度以下（２０％以下）の場合、最新画像を新たな通常基準画像Ａとする（メモリ２０７に記憶されている通常基準画像Ａを最新画像で更新する）。

通常基準画像Ａの更新処理は、以下の情報の更新である。
・Ｓ１０６とＳ１０７の類似度判定で説明した類似度を決定する要素、
・Ｓ１０７で算出した最新画像に適用するホワイトバランス補正処理、明るさ補正処理、コントラスト補正処理、色補正処理、ノイズ低減処理、シャープネス処理に関する画像処理パラメータ。
これらの情報を、次の撮像画像に対する処理に用いるために、通常基準画像Ａの情報としてメモリ２０７に記録しておく。

Ｓ１０３の説明に戻り、撮像状態検出で撮像状態Ｂであった場合の処理（本実施形態ではストロボ非発光であった場合の処理）について説明する。

撮像状態Ｂの場合に行うＳ１１０〜Ｓ１１５の処理と、撮像状態Ａの場合に行うＳ１０４〜Ｓ１０９の処理とは、被写体基準画像Ａと通常基準画像Ａが被写体基準画像Ｂと通常基準画像Ｂとなること以外は同一であるため、詳細な説明は割愛する。
Ｓ１１６において画像処理部２０８は、最新画像に対して、Ｓ１０７またはＳ１１３で計算した画像処理パラメータを用いた現像処理を適用する。

次に、本実施形態の効果について説明する。
図３を参照して説明したような連続撮影が行われ、１コマ目〜６コマ目３０１〜３０６は全てストロボ非発光で撮像され、かつ各撮像画像において人物検出（顔検出）できていないものとする。さらに、１コマ目３０１の撮像画像に対する、２コマ目、３コマ目、４コマ目、５コマ目の撮像画像の類似度は、それぞれ１００％、８０％、６０％、４０％、２０％であるものとする。

また、図５に、１〜６コマ目３０１〜３０６の撮像画像についての各種パラメータの例を示す。なお、上述したように、図３の例では各コマ間の撮影範囲の変化が少ないため、１コマ前の画像と最新画像との類似度は高く、特許文献１の方法では２〜６コマ目の画像全てで１コマ目と同じ画像処理パラメータが適用される。

まず、図１の処理を１コマ目３０１の画像に対して適用した際の具体的な動作を説明する。
人物が存在しないため、Ｓ１０１で人物は検出できない。
Ｓ１０２では、最新画像（１コマ目３０１）から画像処理パラメータが算出される。ここでは例えば、１コマ目３０１の画像のみから算出したホワイトバランス補正値（各色信号に対して適用するゲイン）が以下のようになったものとする。
（最新画像のみから算出したホワイトバランス補正値）
Rgain = 2.0倍
Ggain = 1.0倍
Bgain = 2.0倍

Ｓ１０３では、撮像時にストロボ非発光であるため、撮像状態Ｂと判定される。
Ｓ１１０では、被写体（人物）が検出できていないため、被写体基準画像Ｂと最新画像との類似度は０％となる。

Ｓ１１１では、Ｓ１１０で算出した類似度が０％のため、（式５）及び（式６）より、加重加算後の画像処理パラメータαはＳ１０２で算出した最新画像（１コマ目３０１）から算出されたパラメータとなる。
Ｓ１１２では、１コマ目の撮像であり通常基準画像Ｂが存在しないため、通常基準画像Ｂと最新画像（１コマ目３０１）の類似度は０％となる。

Ｓ１１３では、（式７）より、最新画像（１コマ目３０１）に適用する画像処理パラメータは画像処理パラメータα（即ち１コマ目３０１の画像のみから算出された画像処理パラメータ）となる。ホワイトバランス補正値を例に挙げると、最新画像（１コマ目３０１）に適用するホワイトバランス補正値は以下のようになる。
（最新画像に適用するホワイトバランス補正値）
Rgain = 2.0倍
Ggain = 1.0倍
Bgain = 2.0倍

Ｓ１１４では、被写体（人物）が検出できていないため、被写体基準画像Ｂの更新処理は行われない。
Ｓ１１５では、類似度が０％のため、最新画像（１コマ目３０１）が、通常基準画像Ｂとして用いられるように更新される。

次に、２コマ目３０２に対する処理を説明する。
人物が存在しないため、Ｓ１０１で人物は検出できない。
Ｓ１０２では、最新画像（２コマ目３０２）から画像処理パラメータが算出される。ここでは例えば、２コマ目３０２の画像のみから算出したホワイトバランス補正値が以下のようになったものとする。
（最新画像のみから算出したホワイトバランス補正値）
Rgain = 2.2倍
Ggain = 1.0倍
Bgain = 1.8倍

Ｓ１０３では、撮像時にストロボ非発光であるため、撮像状態Ｂと判定される。
Ｓ１１０では、被写体（人物）が検出できていないため、被写体基準画像Ｂと最新画像との類似度は０％となる。

Ｓ１１１では、Ｓ１１０で算出した類似度が０％のため、（式５）及び（式６）より、加重加算後の画像処理パラメータαはＳ１０２で算出した最新画像から算出されたパラメータとなる。
Ｓ１１２では、通常基準画像Ｂ（１コマ目３０１）と最新画像の類似度が１００％と算出される。

Ｓ１１３では、（式７）より、最新画像（２コマ目３０２）に適用する画像処理パラメータは通常基準画像Ｂ（１コマ目３０１）に適用した画像処理パラメータが１００％用いられる。ホワイトバランス補正値を例に挙げると、最新画像（２コマ目３０２）に適用するホワイトバランス補正値は下記のようになる。
（最新画像に適用するホワイトバランス補正値）
Rgain = 2.0倍
Ggain = 1.0倍
Bgain = 2.0倍

Ｓ１１４では、被写体（人物）が検出できていないため、被写体基準画像Ｂの更新処理は行われない。
Ｓ１１５では、類似度が１００％のため、通常基準画像Ｂの更新処理は行われない。

次に、３コマ目３０３の画像に対する処理を説明する。
人物が存在しないため、Ｓ１０１で人物は検出できない。
Ｓ１０２では、最新画像（３コマ目３０３）から画像処理パラメータが算出される。ここでは例えば、３コマ目３０３の画像のみから算出したホワイトバランス補正値（各色信号に対して適用するゲイン）が以下のようになったものとする。
（最新画像のみから算出したホワイトバランス補正値）
Rgain = 2.4倍
Ggain = 1.0倍
Bgain = 1.6倍

Ｓ１０３では、撮像時にストロボ非発光であるため、撮像状態Ｂと判定される。
Ｓ１１０では、被写体（人物）が検出できていないため、被写体基準画像Ｂと最新画像との類似度は０％となる。

Ｓ１１１では、Ｓ１１０で算出した類似度が０％のため、（式５）及び（式６）より、加重加算後の画像処理パラメータαはＳ１０２で算出した最新画像から算出されたパラメータとなる。
Ｓ１１２では、通常基準画像Ｂ（１コマ目３０１）と最新画像の類似度が８０％と算出される。

Ｓ１１３では、（式７）より、最新画像（３コマ目３０３）に適用する画像処理パラメータは、通常基準画像Ｂ（１コマ目３０１）に適用した画像処理パラメータが８０％、最新画像から算出された画像処理パラメータが２０％加重加算されたものとなる。ホワイトバランス補正値を例に挙げると、最新画像（３コマ目３０３）に適用するホワイトバランス補正値は下記のようになる。
（最新画像に適用するホワイトバランス補正値）
Rgain = 2.0 × 0.8 + 2.4×0.2 = 2.1倍
Ggain = 1.0 × 0.8 + 1.0×0.2 = 1.0倍
Bgain = 2.0 × 0.8 + 1.6×0.2 = 1.9倍

Ｓ１１４では、被写体（人物）が検出できていないため、被写体基準画像Ｂの更新処理は行われない。
Ｓ１１５では、類似度が８０％のため、通常基準画像Ｂの更新処理は行われない。

４〜５コマ目３０４〜３０５の処理については２コマ目と同様のため説明は割愛し、６コマ目３０６に対する処理を説明する。
人物が存在しないため、Ｓ１０１で人物は検出できない。

Ｓ１０２では、最新画像（６コマ目３０６）から画像処理パラメータが算出される。ここでは例えば、６コマ目３０６の画像のみから算出したホワイトバランス補正値が以下のようになったものとする。
（最新画像のみから算出したホワイトバランス補正値）
Rgain = 3.0倍
Ggain = 1.0倍
Bgain = 1.0倍

Ｓ１０３では、撮像時にストロボ非発光であるため、撮像状態Ｂと判定される。
Ｓ１１０では、被写体（人物）が検出できていないため、被写体基準画像Ｂと最新画像との類似度は０％となる。

Ｓ１１１では、Ｓ１１０で算出した類似度が０％のため、（式５）及び（式６）より、加重加算後の画像処理パラメータαはＳ１０２で算出した最新画像から算出されたパラメータとなる。
Ｓ１１２では、通常基準画像Ｂ（１コマ目３０１の画像）と最新画像の類似度が２０％と算出される。

Ｓ１１３では、（式７）より、最新画像（６コマ目３０６）に適用する画像処理パラメータは、通常基準画像Ｂ（１コマ目３０１）に適用した画像処理パラメータが２０％、最新画像から算出された画像処理パラメータが８０％加重加算されたものとなる。ホワイトバランス補正値を例に挙げると、最新画像（６コマ目３０６）に適用するホワイトバランス補正値は下記のようになる。
（最新画像に適用するホワイトバランス補正値）
Rgain = 2.0 × 0.2 + 3.0×0.8 = 2.8倍
Ggain = 1.0 × 0.2 + 1.0×0.8 = 1.0倍
Bgain = 2.0 × 0.2 + 1.0×0.8 = 1.2倍

Ｓ１１４では、被写体（人物）が検出できていないため、被写体基準画像Ｂの更新処理は行われない。
Ｓ１１５では、類似度が２０％のため、最新画像（６コマ目３０６）が新たな通常基準画像Ｂとなるように更新される。

以上のようにして図３シーンの各画像の処理が行われるため、１コマ目３０１の画像との類似度が高い画像ほど１コマ目３０１に用いた画像処理パラメータに近い値が算出され、類似シーンの画像処理パラメータの変化における画像のバラツキを軽減できる。

一方、撮影範囲が徐々に変化して１コマ目の画像との類似度が低くなると、最新画像から算出された画像処理パラメータに近い画像パラメータが用いられる。そのため、図３シーンのように日向から日陰へ徐々に撮像範囲が変化した場合であっても、撮像範囲の変化に応じた画像処理パラメータが算出される。従って、１コマ目が日向で、６コマ目が日陰となるような場合でも、それぞれの環境に適した画像処理パラメータが算出される。このように、本実施形態によれば、類似シーンの画像処理パラメータのバラツキ軽減と、被写体環境が変化した場合の適切な画像処理パラメータの算出、の２つを両立することができる。

続いて、本実施形態の別の効果を、図４を参照して説明する。
図４を参照して説明したような連続撮影が行われ、１コマ目〜３コマ目４０３〜４０５は全てストロボ非発光で撮像されたものとする。また、１コマ目４０３と２コマ目４０４の画像の類似度は０％、１コマ目４０３と３コマ目４０５の画像の類似度は１００％、２コマ目４０４と３コマ目４０５の画像の類似度は０％とする。さらに、１コマ目４０３で検出された人物信頼度は１００％であり、２コマ目および３コマ目４０４および４０５では人物検出できず、人物信頼度は０％であるとする。

また、図６に、１〜３コマ目４０３〜４０５の撮像画像について、図５と同様に各種パラメータの例を示す。図４の例では各コマ間の撮影範囲の変化が大きく、１コマ前の画像と最新画像との類似度が低い（０％）。このような場合、特許文献１の方法では各コマにおいて最新画像のみから算出された画像処理パラメータのみが適用される。その結果、１コマ目４０３と３コマ目４０５が同一撮像範囲（または類似度１００％）であっても、人物が検出された１コマ目４０３と人物が検出されなかった３コマ目４０５では異なる画像処理パラメータが適用されてしまう。

まず、図１の処理を１コマ目４０３の画像に対して適用した際の具体的な動作を説明する。
Ｓ１０１では人物が正面を向いているため、被写体（人物）が検出される。

Ｓ１０２では、最新画像から被写体検出された場合の画像処理パラメータが算出される。すなわち、検出された被写体に応じて予め定められた特性を満たすように画像処理パラメータが算出される。ホワイトバランス補正値を例に挙げると、最新画像（１コマ目４０３）のみから算出したホワイトバランス補正値は以下のようになるものとする。また、このホワイトバランス補正値の算出にはＳ１０２で検出された人物情報を利用した結果であるとする。
（最新画像のみから算出したホワイトバランス補正値）
Rgain = 2.0倍
Ggain = 1.0倍
Bgain = 2.0倍

Ｓ１０３では、撮像時にストロボ非発光であるため、撮像状態Ｂと判定される。
Ｓ１１０では、１コマ目の撮像であり被写体基準画像Ｂが存在しないため、被写体基準画像Ｂと最新画像（１コマ目４０３）の類似度は０％となる。

Ｓ１１１では、Ｓ１１０で算出した類似度が０％のため、（式５）及び（式６）より、加重加算後の画像処理パラメータαはＳ１０２で算出した最新画像（１コマ目４０３）から算出されたパラメータとなる。
Ｓ１１２では、１コマ目の撮像であり通常基準画像Ｂが存在しないため、通常基準画像Ｂと最新画像（１コマ目４０３）の類似度は０％となる。

Ｓ１１３では、（式７）より、最新画像（１コマ目４０３）に適用する画像処理パラメータは画像処理パラメータα（即ち１コマ目４０３の画像のみから算出された画像処理パラメータ）となる。ホワイトバランス補正値を例に挙げると、最新画像（１コマ目４０３）に適用するホワイトバランス補正値は以下のようになったとする。
（最新画像に適用するホワイトバランス補正値）
Rgain = 2.0倍
Ggain = 1.0倍
Bgain = 2.0倍

Ｓ１１４では、被写体（人物）が１００％の信頼度で検出されているため、最新画像（１コマ目４０３）が、新たな被写体基準画像Ｂとなるように更新される。
Ｓ１１５では、類似度が０％のため、最新画像（１コマ目４０３）が、新たな通常基準画像Ｂとなるように更新される。

次に２コマ目４０４に対する処理を説明する。
人物が存在しないため、Ｓ１０１で人物は検出できない。
Ｓ１０２では、最新画像（２コマ目４０４）から画像処理パラメータが算出される。ここでは例えば、２コマ目４０４の画像のみから算出したホワイトバランス補正値が以下のようになったものとする。
（最新画像のみから算出したホワイトバランス補正値）
Rgain = 2.4倍
Ggain = 1.0倍
Bgain = 1.6倍

Ｓ１０３では、撮像時にストロボ非発光であるため、撮像状態Ｂと判定される。
Ｓ１１０では、被写体（人物）が検出できていないため、被写体基準画像Ｂと最新画像（２コマ目４０４）との類似度は０％となる。

Ｓ１１１では、Ｓ１１０で算出した類似度が０％のため、（式５）及び（式６）より、加重加算後の画像処理パラメータαはＳ１０２で算出した最新画像（２コマ目４０４）から算出されたパラメータとなる。
Ｓ１１２では、通常基準画像Ｂ（１コマ目４０３）と最新画像（２コマ目４０４）の類似度は０％となる。

Ｓ１１３では、（式７）より、最新画像（２コマ目４０４）に適用する画像処理パラメータは画像処理パラメータα（即ち２コマ目４０４の画像のみから算出された画像処理パラメータ）となる。ホワイトバランス補正値を例に挙げると、最新画像（２コマ目４０３）に適用するホワイトバランス補正値は以下のようになったとする。
（最新画像に適用するホワイトバランス補正値）
Rgain = 2.4倍
Ggain = 1.0倍
Bgain = 1.6倍

Ｓ１１４では、被写体（人物）が検出できていないため、被写体基準画像Ｂの更新処理は行われない。
Ｓ１１５では、類似度が０％のため、最新画像（２コマ目４０４）が新たな通常基準画像Ｂとなるように更新される。

次に３コマ目４０５に対する処理を説明する。
３コマ目４０５には人物が写っているが、横を向いているため、Ｓ１０１では被写体（人物）が検出できない。
Ｓ１０２では、最新画像から人物検出された場合の、画像処理パラメータが算出される。ホワイトバランス補正値を例に挙げると、最新画像（３コマ目４０５）のみから算出したホワイトバランス補正値は以下のようになったものとする。
（最新画像のみから算出したホワイトバランス補正値）
Rgain = 1.6倍
Ggain = 1.0倍
Bgain = 2.4倍

ここで、１コマ目４０３ではＳ１０１で被写体（人物）が検出されたため、被写体に適したホワイトバランス補正値が算出された。しかし、３コマ目４０５ではＳ１０１で人物が検出できないため、撮影範囲が１コマ目４０３と同一であるにもかかわらず、算出されるホワイトバランス補正値は異なっている。

Ｓ１０３では、撮像時にストロボ非発光であるため、撮像状態Ｂと判定される。
Ｓ１１０では、被写体（人物）が検出できていないが、人物が横を向いているか正面を向いているかの相違であるため、被写体基準画像Ｂと最新画像（３コマ目４０５）との類似度は１００％となる。

Ｓ１１１では、Ｓ１１０で算出した類似度が１００％のため、（式５）及び（式６）より、加重加算後の画像処理パラメータαは被写体基準画像Ｂ（即ち１コマ目４０３）の画像処理パラメータが１００％反映された値となる。すなわち、ホワイトバランス補正値を例に挙げると、最新画像（３コマ目４０５）に適用するホワイトバランス補正値は以下のようになる。
（最新画像に適用するホワイトバランス補正値）
Rgain = 2.0倍
Ggain = 1.0倍
Bgain = 2.0倍

Ｓ１１２では、通常基準画像Ｂ（２コマ目４０４）と最新画像（３コマ目４０５）の類似度は０％となる。
Ｓ１１３では、（式７）より、最新画像（３コマ目４０５）に適用する画像処理パラメータは画像処理パラメータα（即ち１コマ目４０３に適用された画像処理パラメータ）となる。

Ｓ１１４では、被写体（人物）が検出できていないため、被写体基準画像Ｂの更新処理は行われない。
Ｓ１１５では、類似度が０％のため、最新画像（３コマ目４０５）が新たな通常基準画像Ｂとなるように更新される。

以上のようにして図４に示す各コマの処理が行われるため、３コマ目４０５で人物が検出できなくても、人物が検出された１コマ目４０３との類似度に基づいて、１コマ目４０３と同様の画像処理パラメータが適用される。このように、被写体検出ができなくても、被写体検出できた画像との類似度を考慮して画像処理パラメータを決定するので、被写体の検出に失敗した場合であっても、被写体が正しく検出できた画像との現像結果のバラツキを抑制することが可能である。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

なお、上述の実施形態においては、連続的に撮像された複数の画像間の補正処理について説明した。ここでいう「連続的な撮像」は、時系列的な撮像を意味し、撮像間隔に関しては特に制限がない。つまり、本明細書で言う「連続的な撮像」とは、連写モードやオートブラケットモードでの撮像のような、短時間での連続撮像に限定されない。また、連続的に撮像された画像の撮像間隔が等しくなくてもよい。

また、上述の実施形態においては、撮像条件が複数ある場合について説明したが、本発明の効果は撮像条件が１つである場合であっても実現できる。従って、撮像条件ごとの処理を用いることは本発明において必須ではない。例えば、ストロボ点灯しないでの撮像が条件となっている場合には、図１におけるＳ１０３及びＳ１１０〜Ｓ１１５の処理は不要である。

Claims (6)

1. 時系列的に撮像された複数の画像の各々に対して適用する画像処理に用いるパラメータを算出する画像処理装置であって、
   画像から予め定められた被写体を検出する検出手段と、
   ２つの画像間の類似度を、各々の画像から得られる予め定められた特徴から算出する類似度算出手段と、
   前記複数の画像の各々について、画像から得られる情報に基づいて前記パラメータを算出するパラメータ算出手段と、
   処理対象の画像より過去に撮像された画像のうち、予め定められた被写体が検出された画像から決定された被写体基準画像と、前記予め定められた被写体が検出されない画像から決定された通常基準画像を記憶する記憶手段と、
   制御手段と、を有し、
   前記制御手段は、
   前記被写体基準画像から前記パラメータ算出手段が算出した第１のパラメータと、前記処理対象の画像から前記パラメータ算出手段が算出した第２のパラメータとを、前記被写体基準画像と前記処理対象の画像のうち前記検出手段により検出した被写体の信頼度が高い画像から算出されたパラメータの重み付けが高くなるように加重加算することにより第３のパラメータを算出し、
   前記通常基準画像から前記パラメータ算出手段が算出した第４のパラメータと、前記第３のパラメータとを、前記類似度算出手段により算出された前記通常基準画像と前記処理対象の画像との類似度が高いほど前記第４のパラメータの重み付けが高くなるように加重加算することにより前記処理対象の画像に対して適用する画像処理に用いるパラメータを算出する、
   ことを特徴とする画像処理装置。
2. 前記制御手段は、
   前記処理対象の画像から前記検出手段が検出した被写体の信頼度が前記被写体基準画像から前記検出手段が検出した被写体の信頼度以上の場合には、前記処理対象の画像が新たな被写体基準画像となるよう前記記憶手段を更新し、
   前記処理対象の画像から前記予め定められた被写体が検出されず、前記処理対象の画像と前記通常基準画像との類似度が予め定められた類似度以下の場合には、前記処理対象の画像が新たな通常基準画像となるように前記記憶手段を更新する、
   ことを特徴とする請求項１記載の画像処理装置。
3. 前記記憶手段は、予め定められた撮像状態ごとに前記被写体基準画像と前記通常基準画像とを記憶し、
   前記制御手段は、前記処理対象の画像の前記予め定められた撮像状態に対応した前記被写体基準画像と前記通常基準画像を用いることを特徴とする請求項１又は請求項２記載の画像処理装置。
4. 画像を撮像する撮像手段と、
   前記撮像手段によって時系列的に撮像された複数の画像の各々に対して適用する画像処理に用いるパラメータを算出する請求項１乃至請求項３のいずれか１項に記載の画像処理装置と、
   前記処理対象の画像に対して前記パラメータを用いた画像処理を適用する画像処理手段とを有することを特徴とする撮像装置。
5. 時系列的に撮像された複数の画像の各々に対して適用する画像処理に用いるパラメータを算出する画像処理装置の制御方法であって、
   前記画像処理装置が、
   画像から予め定められた被写体を検出する検出手段と、
   ２つの画像間の類似度を、各々の画像から得られる予め定められた特徴から算出する類似度算出手段と、
   前記複数の画像の各々について、画像から得られる情報に基づいて前記パラメータを算出するパラメータ算出手段と、
   処理対象の画像より過去に撮像された画像のうち、予め定められた被写体が検出された画像から決定された被写体基準画像と、前記予め定められた被写体が検出されない画像から決定された通常基準画像を記憶する記憶手段と、
   を有し、
   前記画像処理装置の制御方法が、
   前記画像処理装置の制御手段が、前記被写体基準画像から前記パラメータ算出手段が算出した第１のパラメータと、前記処理対象の画像から前記パラメータ算出手段が算出した第２のパラメータとを、前記被写体基準画像と前記処理対象の画像のうち前記検出手段により検出した被写体の信頼度が高い画像から算出されたパラメータの重み付けが高くなるように加重加算することにより第３のパラメータを算出するステップと、
   前記制御手段が、前記通常基準画像から前記パラメータ算出手段が算出した第４のパラメータと、前記第３のパラメータとを、前記類似度算出手段により算出された前記通常基準画像と前記処理対象の画像との類似度が高いほど前記第４のパラメータの重み付けが高くなるように加重加算することにより前記処理対象の画像に対して適用する画像処理に用いるパラメータを算出するステップと、
   を有することを特徴とする画像処理装置の制御方法。
6. コンピュータを、請求項１乃至請求項３のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。