JP4631199B2 - 画像処理装置および画像処理方法、記録媒体、並びにプログラム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および画像処理方法、記録媒体、並びにプログラムに関し、特に、背景領域と被写体領域とからなる画像から被写体領域のみを抽出する場合に用いて好適な、画像処理装置および画像処理方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
例えば、背景と被写体からなる画像データから被写体を抽出する場合など、画像の領域を分割する領域分割法として、従来、主に３つの方法が提案されている。
【０００３】
第１の方法は、画像データの画素値のみを利用するものであり、代表的なものとして、例えば、画素値の類似度を定義して、領域統合を繰り返す方法や、特徴空間におけるクラスタリングなどがある。
【０００４】
第２の方法は、画素値と他の付加情報を併用することによって、被写体領域を背景領域から分離して抽出するものであり、例えば、抽出すべき被写体領域の大まかな境界線を予め与え、その境界線近傍のみを画像処理することにより、正確に被写体領域を抽出するような方法である。この方法を動画像に適用する場合には、第１フレームにおいて抽出した領域に対して、動き検出やフレーム間差分、あるいは、Snakes（動的輪郭モデル）を用いることにより領域の変化を追跡したり、第１フレームと最終フレームにおいて、被写体領域を予め抽出しておき、その間の画像に対しては、これら２つのフレームにおいて抽出された被写体領域を基に補間を行う方法などが提案されている。
【０００５】
第２の方法において、抽出すべき被写体領域の大まかな境界線の入力などの手動操作の介入を避ける方法としては、例えば、被写体を含まない背景のみの画像を予め撮像しておき、被写体を含む画像を、背景のみの画像と比較して、その差分を演算することにより被写体を抽出する背景差分法がある。
【０００６】
また、撮像時に被写体以外の背景領域を一定の色のスクリーンで覆い、この色情報を用いて対象物を抽出するクロマキーという手法は、例えば、映像制作などに現在最も頻繁に用いられている手法である。
【０００７】
第３の方法は、特殊な撮像装置を用いて距離情報などを算出し、それに基づいて被写体を抽出する方法であり、例えば、視点の異なる複数のカメラによって得られた画像間の視差情報を用いる方法が多く提案されている。また、複数のカメラを用いずに、一台のカメラの撮像面位置を変化させ、そのときに画像上に生じるぼけの変化を利用して距離を算出する方法も提案されている。
【０００８】
【発明が解決しようとする課題】
被写体を背景から切り取り抽出するために、以上説明したような、様々な方法が用いられている。
【０００９】
しかしながら、第１の方法は、物理的に一様な局所領域（例えば、ある一定の色情報を有する領域や、境界線など）を抽出するための手段としては優れているが、意味のある被写体を１つの領域として抽出するためには、充分な方法ではない。
【００１０】
また、第３の方法として説明した視差情報を用いる方法では、複数のカメラが必要となる（もしくは、ひとつのカメラで複数の画像を撮像する必要があるため、撮像に時間がかかる）上に、画像間の対応を演算するための演算量が非常に多い。また、ぼけ情報を用いる場合、撮像装置における実現可能な被写界深度が問題となる。近年の撮像装置、特に民生用途の撮像装置は、小型化される傾向にある。そのため、被写界深度が深くなる場合が多く、撮像面位置の変化によるぼけの差が検出し難い場合が殆どである。
【００１１】
第２の方法において、手動操作に依存する方法を取る場合、柔軟なインターフェースが求められるため、アプリケーションとして実現するのが非常に困難である。また、時間的に領域を追跡している方法を採用する場合、動き検出などのエラーが蓄積されていく可能性が大きく、長時間のシーケンスを処理するのには向かない。更に、動き検出やSnakesは、演算量が多いため、リアルタイムに画像を処理するアプリケーションが限定される。
【００１２】
これらに対して、背景差分法は、演算が比較的簡単であるとともに、背景領域が変化しない限り、差分値が大きい画素は、非常に高い確率で被写体領域として抽出されることが期待できる上に、時間的なエラーの蓄積の恐れもない。
【００１３】
しかしながら、背景差分法においても、差分値が小さい場合（例えば、被写体が背景に近い色の部分を有する場合など）は、必ずしも正しい領域分割ができていると保証することはできず、このような場合は、被写体領域が背景領域として誤判定されやすい。差分値を統計的に処理することにより、被写体の抽出精度を向上させるような試みもなされているが、従来の方法では、必ずしも満足できる領域分割が実現できているとはいえない。
【００１４】
本発明はこのような状況に鑑みてなされたものであり、背景差分法の簡便さを利用しつつ、簡単な装置を用いて、簡単な演算によって、正確に被写体領域を抽出することができるようにするものである。
【００１５】
【課題を解決するための手段】
本発明の画像処理装置は、背景を表す背景領域と被写体を表す被写体領域からなる対象画像から、被写体領域を抽出する画像処理装置であって、背景領域のみからなる複数の背景画像それぞれの、対応する各画素の画素値の平均値を画素値とする平均値画像を少なくとも含む背景情報を生成する背景情報生成手段と、対象画像と平均値画像との、予め設定された設定領域における各画素の画素値どうしの差分絶対値が、予め決められた第１の閾値未満であって、対象画像と平均値画像との、設定領域における各画素の画素値が、いずれも、第２の閾値以上であって第３の閾値以下の、予め決められた範囲内に含まれるという条件を満たす状態で、対象画像上の設定領域の画素値の合計値を、平均値画像上の設定領域の画素値の合計値で除算して得られる補正係数を算出する補正係数算出手段と、補正係数に基づいて、対象画像を補正する補正手段と、補正後の対象画像、及び背景情報に基づいて、補正後の対象画像の各画素が、被写体領域の候補である被写体候補領域に対応するものであるか否かを表す被写体候補画像を生成する被写体候補画像生成手段と、補正後の対象画像、被写体候補画像、及び背景情報に基づき、ベイズ推定を用いて、補正後の対象画像から被写体領域を抽出する抽出手段とを備える。
【００１６】
複数の背景画像の入力を受ける入力手段を更に設けることができ、背景情報生成手段には、入力手段により受けられた複数の背景画像に基づいて、背景情報を生成させることができる。
【００１７】
背景情報生成手段には、複数の背景画像それぞれの、対応する各画素の画素値の最大値を画素値とする最大値画像も含む背景情報を生成させることができる。
【００１８】
背景情報生成手段には、複数の背景画像それぞれの、対応する各画素の画素値の最小値を画素値とする最小値画像も含む背景情報を生成させることができる。
【００１９】
前記被写体候補画像生成手段には、前記最大値画像の画素の画素値毎に、予め設定された第１の値を乗算して得られる上限閾値を算出する上限閾値算出手段と、前記最小値画像の画素の画素値毎に、予め設定された第２の値を乗算して得られる下限閾値を算出する下限閾値算出手段と、前記補正後の対象画像の画素の画素値が、前記補正後の対象画像の前記画素に対応する、前記最小値画像の前記画素の画素値に基づき算出された前記下限閾値以上であって、前記補正後の対象画像の前記画素に対応する、前記最大値画像の前記画素の画素値に基づき算出された前記上限閾値以下の範囲内に含まれない場合、前記補正後の対象画像の前記画素が前記被写体候補領域に対応するものであるものとして、前記被写体候補画像を生成する生成手段とを有するようにすることができる。
【００２０】
背景情報生成手段には、複数の背景画像それぞれの、対応する各画素の画素値の標準偏差を画素値とする偏差画像も含む背景情報を生成させることができる。
【００２１】
被写体候補画像生成手段には、偏差画像の画素の画素値毎に、予め設定された第１の値を乗算して得られる積算結果を、偏差画像の画素に対応する、平均値画像の画素の画素値と加算して得られる上限閾値を算出する上限閾値算出手段と、偏差画像の画素の画素値毎に、予め設定された第２の値を乗算して得られる積算結果を、偏差画像の画素に対応する、平均値画像の画素の画素値から減算して得られる下限閾値を算出する下限閾値算出手段と、補正後の対象画像の画素の画素値が、補正後の対象画像の画素に対応する、平均値画像及び偏差画像の画素の画素値に基づき算出された下限閾値以上であって、補正後の対象画像の画素に対応する、平均値画像及び偏差画像の画素の画素値に基づき算出された上限閾値以下の範囲内に含まれない場合、補正後の対象画像の画素が被写体候補領域に対応するものであるものとして、被写体候補画像を生成する生成手段とを有するようにすることができる。
【００２２】
補正手段には、対象画像と背景画像との撮像条件が異なる場合に、撮像条件が等しい場合に対応するように補正を行わせることができる。
【００２３】
撮像条件は、照明光の強度であるようにすることができる。
【００２４】
撮像条件は、対象画像の撮像におけるカメラパラメータであるようにすることができる。
【００２５】
抽出手段には、補正後の対象画像から被写体領域を抽出することにより、補正後の対象画像の各画素が、被写体領域であるか否かを表す被写体画像を生成して出力させることができる。
【００２６】
抽出手段には、被写体候補画像に基づいて、補正後の対象画像の各画素毎に、画素が被写体領域の画素である第１の確率、及び画素が背景領域である第２の確率を算出する被写体背景確率算出手段と、補正後の対象画像に基づいて、補正後の対象画像の各画素毎に、画素が被写体領域の画素であるという条件の基で画素が出現する第３の確率を算出する被写体条件確率算出手段と、背景情報に基づいて、補正後の対象画像の各画素毎に、画素が背景領域の画素であるという条件の基で前画素が出現する第４の確率を算出する背景条件確率算出手段と、算出された第１乃至第４の確率に基づき、ベイズ推定を用いて、補正後の対象画像の各画素毎に、画素が被写体領域の画素である第５の確率を算出するベイズ推定算出手段と、算出された第５の確率が、予め設定された確率比較閾値よりも大きいか否かを判定する判定手段と、第５の確率が確率比較閾値以上であるか否かに応じて、第５の確率に対応する画素の画素値が異なる準被写体画像を生成する準被写体画像生成手段と、準被写体画像及び被写体候補画像に基づいて、準被写体画像に対してベイズ推定による補正を施して得られる被写体画像を算出して出力する出力手段とを有するようにすることができる。
【００２７】
出力手段には、準被写体画像の各画素のうち、確率比較閾値未満となる第５の確率に対応する画素の画素値に対して、ベイズ推定による補正を施して得られる被写体画像を算出して出力させることができる。
【００２８】
抽出手段には、補正後の対象画像の各画素のうち、被写体候補画像上の被写体候補領域に対応する画素のヒストグラムを生成するヒストグラム生成手段を更に有することができ、被写体条件確率算出手段には、ヒストグラムにも基づいて、第３の確率を算出させることができる。
【００２９】
被写体画像は、被写体領域と背景領域とで異なる画素値を有するものであり、被写体画像を記憶する記憶手段を更に設けることができ、ヒストグラム生成手段には、補正後の対象画像の各画素のうち、記憶手段に記憶されている１つ前の時刻の被写体画像上の被写体領域に対応する画素のヒストグラムを生成させることができる。
【００３０】
被写体候補画像生成手段には、被写体候補画像として、被写体候補領域に対応する画素と、背景領域の候補である背景候補領域に対応する画素とで異なる値を有する２値画像を生成させ、抽出手段は、２値画像を平滑化する平滑化手段を更に有することができ、被写体背景確率算出手段には、２値画像である被写体候補画像に基づいて、補正後の対象画像の各画素毎に、第１及び第２の確率を算出させることができる。
【００３１】
背景情報生成手段には、背景画像が色情報を含む場合、色情報の成分毎に背景情報を生成させることができる。
【００３２】
被写体候補画像生成手段には、補正後の対象画像、及び色情報の成分毎に生成された背景情報に基づいて、被写体候補画像を生成させることができる。
【００３３】
抽出手段には、補正後の対象画像、被写体候補画像、及び色情報の成分毎に生成された背景情報に基づき、ベイズ推定を用いて、補正後の対象画像から被写体領域を抽出させることができる。
【００３４】
本発明の画像処理方法は、背景を表す背景領域と被写体を表す被写体領域からなる対象画像から、被写体領域を抽出する画像処理装置の画像処理方法であって、画像処理装置による、背景領域のみからなる複数の背景画像それぞれの、対応する各画素の画素値の平均値を画素値とする平均値画像を少なくとも含む背景情報を生成する背景情報生成ステップと、対象画像と平均値画像との、予め設定された設定領域における各画素の画素値どうしの差分絶対値が、予め決められた第１の閾値未満であって、対象画像と平均値画像との、設定領域における各画素の画素値が、いずれも、第２の閾値以上であって第３の閾値以下の、予め決められた範囲内に含まれるという条件を満たす状態で、対象画像上の設定領域の画素値の合計値を、平均値画像上の設定領域の画素値の合計値で除算して得られる補正係数を算出する補正係数算出ステップと、補正係数に基づいて、対象画像を補正する補正ステップと、補正後の対象画像、及び背景情報に基づいて、補正後の対象画像の各画素が、被写体領域の候補である被写体候補領域に対応するものであるか否かを表す被写体候補画像を生成する被写体候補画像生成ステップと、補正後の対象画像、被写体候補画像、及び背景情報に基づき、ベイズ推定を用いて、補正後の対象画像から被写体領域を抽出する抽出ステップとを含む。
【００３５】
本発明の記録媒体に記録されているプログラムは、背景を表す背景領域と被写体を表す被写体領域からなる対象画像から、被写体領域を抽出する画像処理装置を制御するコンピュータに、背景領域のみからなる複数の背景画像それぞれの、対応する各画素の画素値の平均値を画素値とする平均値画像を少なくとも含む背景情報を生成する背景情報生成ステップと、対象画像と平均値画像との、予め設定された設定領域における各画素の画素値どうしの差分絶対値が、予め決められた第１の閾値未満であって、対象画像と平均値画像との、設定領域における各画素の画素値が、いずれも、第２の閾値以上であって第３の閾値以下の、予め決められた範囲内に含まれるという条件を満たす状態で、対象画像上の設定領域の画素値の合計値を、平均値画像上の設定領域の画素値の合計値で除算して得られる補正係数を算出する補正係数算出ステップと、補正係数に基づいて、対象画像を補正する補正ステップと、補正後の対象画像、及び背景情報に基づいて、補正後の対象画像の各画素が、被写体領域の候補である被写体候補領域に対応するものであるか否かを表す被写体候補画像を生成する被写体候補画像生成ステップと、補正後の対象画像、被写体候補画像、及び背景情報に基づき、ベイズ推定を用いて、補正後の対象画像から被写体領域を抽出する抽出ステップとを含む処理を実行させる。
【００３６】
本発明のプログラムは、背景を表す背景領域と被写体を表す被写体領域からなる対象画像から、被写体領域を抽出する画像処理装置を制御するコンピュータに、背景領域のみからなる複数の背景画像それぞれの、対応する各画素の画素値の平均値を画素値とする平均値画像を少なくとも含む背景情報を生成する背景情報生成ステップと、対象画像と平均値画像との、予め設定された設定領域における各画素の画素値どうしの差分絶対値が、予め決められた第１の閾値未満であって、対象画像と平均値画像との、設定領域における各画素の画素値が、いずれも、第２の閾値以上であって第３の閾値以下の、予め決められた範囲内に含まれるという条件を満たす状態で、対象画像上の設定領域の画素値の合計値を、平均値画像上の設定領域の画素値の合計値で除算して得られる補正係数を算出する補正係数算出ステップと、補正係数に基づいて、対象画像を補正する補正ステップと、補正後の対象画像、及び背景情報に基づいて、補正後の対象画像の各画素が、被写体領域の候補である被写体候補領域に対応するものであるか否かを表す被写体候補画像を生成する被写体候補画像生成ステップと、補正後の対象画像、被写体候補画像、及び背景情報に基づき、ベイズ推定を用いて、補正後の対象画像から被写体領域を抽出する抽出ステップとを含む処理を実行させる。
【００３７】
本発明においては、背景領域のみからなる複数の背景画像それぞれの、対応する各画素の画素値の平均値を画素値とする平均値画像を少なくとも含む背景情報が生成され、対象画像と平均値画像との、予め設定された設定領域における各画素の画素値どうしの差分絶対値が、予め決められた第１の閾値未満であって、対象画像と平均値画像との、設定領域における各画素の画素値が、いずれも、第２の閾値以上であって第３の閾値以下の、予め決められた範囲内に含まれるという条件を満たす状態で、対象画像上の設定領域の画素値の合計値を、平均値画像上の設定領域の画素値の合計値で除算して得られる補正係数が算出され、算出された補正係数に基づいて、対象画像が補正され、補正後の対象画像、及び背景情報に基づいて、補正後の対象画像の各画素が、被写体領域の候補である被写体候補領域に対応するものであるか否かを表す被写体候補画像が生成され、補正後の対象画像、被写体候補画像、及び背景情報に基づき、ベイズ推定を用いて、補正後の対象画像から被写体領域が抽出される。
【００４５】
【発明の実施の形態】
以下、図を参照して、本発明の実施の形態について説明する。
【００４６】
まず、本発明の第１の実施の形態について説明する。図１は、本発明を適応した画像処理装置１の構成を示すブロック図である。
【００４７】
画像処理装置１は、動作モードとして、背景情報抽出モードと被写体抽出モードとの、２つのモードを有しており、ユーザは、図示しない操作部を操作することによって、背景情報抽出モードと被写体抽出モードを切り替えることができる。背景情報抽出モードでは、背景のみからなる画像の入力を受けて背景領域に関する情報を抽出する処理が実行される。一方、被写体抽出モードでは、背景情報抽出モードにおいて抽出された背景情報を基に、被写体と背景から構成された画像から被写体領域のみを抽出する処理が実行される。
【００４８】
撮像部１１は、例えばCCD（Charge Coupled Devices）カメラなどから構成されている。撮像部１１は、制御部１３の制御に従って画像を撮像し、画素値Ｉ（ｉ，ｊ）からなる画像データを被写体領域検出部１２に出力する。ここで、画素値Ｉ（ｉ，ｊ）は、撮像された画像データの二次元座標（ｉ，ｊ）上の画素値を表す。
【００４９】
被写体領域検出部１２は、スイッチ２１、背景情報抽出部２２、メモリ２３、被写体候補検出部２４、および被写体判定部２５で構成され、制御部１３の処理に従って、撮像部１１から入力された画像データを処理し、被写体領域を検出する処理を実行する。
【００５０】
スイッチ２１は、制御部１３から入力される信号を基に、背景情報抽出モードの場合、背景のみで構成される背景画像の画像データを背景情報抽出部２２に供給し、被写体抽出モードの場合、被写体を含む画像データを被写体候補検出部２４および被写体判定部２５に供給する。
【００５１】
制御部１３は、画像処理装置１の動作を制御するものであり、例えば、図示しない操作部から入力された信号を基に背景情報抽出モードか被写体抽出モードかを判断し、撮像部１１で撮像された画像データを被写体領域検出部１２の適する部分に供給するようにスイッチ２１を切り替えさせる。また、制御部１３にはドライブ１４も接続されている。ドライブ１４には、必要に応じて磁気ディスク３１、光ディスク３２、光磁気ディスク３３、および半導体メモリ３４が装着され、データの授受を行うようになされている。
【００５２】
背景情報抽出部２２の更に詳細な構成を示すブロック図を図２に示す。
【００５３】
背景抽出モードにおいて、スイッチ２１を介して入力された背景画像データは、最大値画像生成部４１、最小値画像生成部４２、および平均値画像生成部４３に供給される。最大値画像生成部４１は、入力された複数の画像の座標（ｉ，ｊ）毎の画素の最大値を、式（１）により算出し、それぞれの座標における最大の画素値Ｍａｘ（ｉ，ｊ）からなる最大値画像を背景情報として生成し、メモリ２３に出力して保存させる。
【数１】

・・・（１）
【００５４】
ここで、Ｉｋ（ｉ，ｊ）は、ｋ番目の画像の、座標（ｉ，ｊ）における画素値を示す。また、ＭＡＸ（・）は、括弧内に示される複数の数値の最大値を算出する演算を示す。
【００５５】
最小値画像生成部４２は、入力された複数の画像の座標（ｉ，ｊ）毎の画素の最小値を、式（２）により算出し、それぞれの座標における最小の画素値Ｍｉｎ（ｉ，ｊ）からなる最小値画像を背景情報として生成し、メモリ２３に出力して保存させる。平均値画像生成部４３は、入力された複数の画像の座標（ｉ，ｊ）毎の画素の平均値を、式（３）により算出し、それぞれの座標における平均の画素値Ａｖｅ（ｉ，ｊ）からなる平均値画像を背景情報として生成し、メモリ２３に出力して保存させる。
【数２】

・・・（２）
【数３】

・・・（３）
【００５６】
ここで、ＭＩＮ（・）は、括弧内に示される複数の数値の最小値を算出する演算を示す。また、Ｎは、背景情報抽出部２２に供給された画像の枚数を示す。
【００５７】
メモリ２３は、背景情報抽出部２２が抽出した背景情報の入力を受け、背景情報を保存するとともに、保存している背景情報を、被写体候補検出部２４および被写体判定部２５に供給する。
【００５８】
被写体候補検出部２４の更に詳細な構成を示すブロック図を図３に示す。
【００５９】
被写体候補検出部２４の２値化処理部５２は、スイッチ２１を介して入力画像データの画素値Ｉ（ｉ，ｊ）の供給を受ける。閾値算出部５１は、メモリ２３に記録されている背景情報から必要な情報（ここでは、最大値画像の画素値Ｍａｘ（ｉ，ｊ）および最小値画像の画素値Ｍｉｎ（ｉ，ｊ））を読み込み、背景領域か被写体かを判断するための、画素値の上限の閾値Ｔｍａｘおよび画素値の下限の閾値Ｔｍｉｎを算出する。
【００６０】
背景領域か被写体かを判断するための、画素値の上限の閾値Ｔｍａｘおよび画素値の下限の閾値Ｔｍｉｎの算出方法は、いかなる方法であってもかまわないが、この例においては、式（４）および式（５）を用いて画素値の上限の閾値Ｔｍａｘおよび画素値の下限の閾値Ｔｍｉｎを算出し、算出結果を２値化処理部５２に出力する。
【数４】

・・・（４）
【数５】

・・・（５）
【００６１】
式（４）の係数ａおよび式（５）の係数ｂは、それぞれ予め設定された係数であり、例えば、照明光の変動などによる画素値のゆらぎを吸収するために、通常、ａ＞１．０、ｂ＜１．０で、実験などにより、もしくは、経験的に求められる。
【００６２】
２値化処理部５２は、閾値算出部５１により算出された閾値の入力を受け、図示しない内部のメモリに保存する。２値化処理部５２は、スイッチ２１を介して画素値Ｉ（ｉ，ｊ）の入力を受け、内部のメモリに保存している閾値を用いて、次の式（６）に基づいて、２値化された画素値Ｂ（ｉ，ｊ）からなる２値画像を生成し、被写体判定部２５に出力する。
【数６】

・・・（６）
【００６３】
すなわち、２値化処理部５２は、入力された画素値Ｉ（ｉ，ｊ）のうち、閾値の範囲内の画素値に対応する画素には背景候補であることを示す値として０、閾値の範囲外の画素値に対応する画素は被写体候補であることを示す値として１を設定した２値画像の画素値Ｂ（ｉ，ｊ）を生成する。
【００６４】
図３においては、閾値算出部５１において、式（４）および式（５）を用いて最大値画像の画素値Ｍａｘ（ｉ，ｊ）および最小値画像の画素値Ｍｉｎ（ｉ，ｊ）に所定の係数を積算することにより、例えば、照明光の変動などによる画素値のゆらぎを吸収するようになされているが、閾値算出部５１を省略し、最大値画像の画素値Ｍａｘ（ｉ，ｊ）および最小値画像の画素値Ｍｉｎ（ｉ，ｊ）を直接２値化処理部５２に入力することにより、ゆらぎは吸収することができないが、その代わりに演算量を削減するようにしても良い。
【００６５】
被写体判定部２５には、被写体抽出モードにおいて、スイッチ２１から画素値Ｉ（ｉ，ｊ）が入力され、被写体候補検出部２４から２値画像の画素値Ｂ（ｉ，ｊ）が入力されるとともに、メモリ２３から最大値画像の画素値Ｍａｘ（ｉ，ｊ）、最小値画像の画素値Ｍｉｎ（ｉ，ｊ）、および平均値画像の画素値Ａｖｅ（ｉ，ｊ）が読み込まれる。被写体判定部２５の更に詳細な構成を示すブロック図を図４に示す。
【００６６】
背景条件確率検出部６１は、メモリ２３から背景情報（ここでは、最大値画像の画素値Ｍａｘ（ｉ，ｊ）、最小値画像の画素値Ｍｉｎ（ｉ，ｊ）、および平均値画像の画素値Ａｖｅ（ｉ，ｊ））を読み込み、式（７）を用いて、ガウス分布により、背景であるという条件の基で画素値Ｉ（ｉ，ｊ）が出現する確率Ｐ（Ｉ（ｉ，ｊ）｜ｂｇ）を算出し、ベイズ推定演算部６６に出力する。
【数７】

・・・（７）
【００６７】
ここで、確率Ｐ（Ａ｜Ｂ）とは、事象Ｂであるという条件の基で、事象Ａが発生する確率のことである。
【００６８】
式（７）の係数ｓは、ガウス分布の標準偏差であり、この例においては、最大値画像の画素値Ｍａｘ（ｉ，ｊ）、最小値画像の画素値Ｍｉｎ（ｉ，ｊ）、および平均値画像の画素値Ａｖｅ（ｉ，ｊ）を用いて、次の式（８）によって算出される。
【数８】

・・・（８）
【００６９】
すなわち、式（７）は、背景情報抽出モードにおいて、背景として出現した画素値に近い画素値であるほど、背景領域である確率が高いことを示している。
【００７０】
ヒストグラム生成部６２は、入力画像データの画素値Ｉ（ｉ，ｊ）および２値画像の画素値Ｂ（ｉ，ｊ）の入力を受け、２値画像の画素値Ｂ（ｉ，ｊ）が１である座標（すなわち、被写体候補検出部２４において被写体候補とみなされた画素の座標）に対応する画素値Ｉ（ｉ，ｊ）に対応するヒストグラムＨ（Ｉ（ｉ，ｊ））を生成し、被写体条件確率検出部６３に出力する。
【００７１】
被写体条件確率検出部６３は、入力画像データの画素値Ｉ（ｉ，ｊ）、およびヒストグラムＨ（Ｉ（ｉ，ｊ））の入力を受け、被写体であるという条件の基で画素値Ｉ（ｉ，ｊ）が出現する確率Ｐ（Ｉ（ｉ，ｊ）｜ｏｂｊ）を式（９）によって算出する。
Ｐ（Ｉ（ｉ，ｊ）｜ｏｂｊ）＝Ｈ（Ｉ（ｉ，ｊ））／obj_count・・・（９）
【００７２】
ここで、obj_countは、被写体候補の画素の総数（すなわち、２値画像の画素値Ｂ（ｉ，ｊ）のうち、画素値が１である画素の総数）である。
【００７３】
被写体候補検出部２４において、背景差分法により得られた被写体候補（すなわち、被写体候補と背景候補で異なる値を持つ画素値Ｂ（ｉ，ｊ）からなる２値画像）が得られる。この被写体候補は、背景情報抽出モードにおいて抽出された画素値の情報との差が小さい画素は必ずしも背景領域に属するとはいえないが、その差が大きい画素に関してはかなり高い確率で被写体領域に属するといえるという性質を利用して抽出される。式（９）における確率Ｐ（Ｉ（ｉ，ｊ）｜ｏｂｊ）の定義は、この性質に基づいたものであり、被写体候補検出部２４において検出された被写体候補に対応する画素のうち出現頻度が高い画素値（すなわち、ヒストグラムで高い数値を得ている画素値）ほど、被写体領域に出現する確率が高いことを示している。
【００７４】
多値マスク生成部６４は、入力された２値画像の画素値Ｂ（ｉ，ｊ）に対して、例えば、式（１０）で示されるような平滑化処理を施し、平滑化された画素値Ｍ（ｉ，ｊ）からなる帯域の狭い多値画像を生成し、被写体／背景確率検出部６５に出力する。
Ｍ（ｉ，ｊ）＝ＬＰＦ（Ｂ（ｉ，ｊ）×Ｃ）・・・（１０）
【００７５】
ここで、式（１０）において、画素値Ｂ（ｉ，ｊ）に乗算されている係数Ｃは、予め設定された定数であり、後述する被写体／背景確率検出部６５が実行する計算における、確率の値の精度を定めるものである。また、ＬＰＦとしては、例えば、平均値フィルタなどを用いることができる。
【００７６】
被写体／背景確率検出部６５は、多値マスク生成部６４から入力された多値画像の画素値Ｍ（ｉ，ｊ）を基に、次の式（１１）で示される被写体である確率Ｐ（ｏｂｊ）および式（１２）で示される背景である確率Ｐ（ｂｇ）を算出し、ベイズ推定演算部６６に出力する。
Ｐ（ｏｂｊ）＝Ｍ（ｉ，ｊ）／Ｃ・・・（１１）
Ｐ（ｂｇ）＝１．０−Ｐ（ｏｂｊ）・・・（１２）
【００７７】
ここで、式（１１）の係数Ｃは、式（１０）の係数Ｃと同一の値である。多値マスク生成部６４で生成された多値画像の画素値Ｍ（ｉ，ｊ）は、被写体候補検出部２４において被写体候補とされた画素（画素値１に設定された画素）に空間的に近いほど大きな画素値（１に近い画素値）となる。すなわち、式（１１）および式（１２）は、背景差分法によって抽出された被写体候補の空間的な分布によって被写体である確率、および背景である確率を定義するものであり、被写体候補の画素に近いほど被写体である確率が高いといえる。
【００７８】
ベイズ推定演算部６６は、入力された情報を基に、ベイズの定理に従って、画素値Ｉ（ｉ，ｊ）が被写体領域に属する確率Ｐ（ｏｂｊ｜Ｉ（ｉ，ｊ））を演算する。
【００７９】
２つの事象ＡおよびＢがあるとき、事象Ａであるという条件の基で、事象Ｂが発生する確率は、次の式（１３）で表わされる。これをベイズの定理という。
【数９】

・・・（１３）
【００８０】
すなわち、ベイズ推定演算部６６は、背景条件確率検出部６１から入力された、背景であるという条件の基で画素値Ｉ（ｉ，ｊ）が出現する確率Ｐ（Ｉ（ｉ，ｊ）｜ｂｇ）、被写体条件確率検出部６３から入力された被写体であるという条件の基で画素値Ｉ（ｉ，ｊ）が出現する確率Ｐ（Ｉ（ｉ，ｊ）｜ｏｂｊ）、並びに、被写体／背景確率検出部６５から入力された被写体である確率Ｐ（ｏｂｊ）および背景である確率Ｐ（ｂｇ）を用いて、次の式（１４）により、画素値Ｉ（ｉ，ｊ）が被写体領域に属する確率Ｐ（ｏｂｊ｜Ｉ（ｉ，ｊ））を演算する。
【数１０】

・・・（１４）
【００８１】
そして、ベイズ推定演算部６６は、式（１４）によって求められた画素値Ｉ（ｉ，ｊ）が被写体領域に属する確率Ｐ（ｏｂｊ｜Ｉ（ｉ，ｊ））が、予め設定された閾値Ｔより大きい場合には、対応する画素（ｉ，ｊ）は被写体領域であると判定し、閾値Ｔより小さい場合には、背景領域と判定し、次の式（１５）に従って、２値化された画素値Ｏ´（ｉ，ｊ）からなる２値画像を生成し、論理和演算部６７に出力する。
【数１１】

・・・（１５）
【００８２】
論理和演算部６７は、被写体候補検出部２４において背景の候補とされた画素についてのみベイズ推定による補正を反映させるため、被写体候補検出部２４から入力された２値画像の画素値Ｂ（ｉ，ｊ）と、ベイズ推定演算部６６から入力された２値画像の画素値Ｏ´（ｉ，ｊ）の座標毎の論理和を演算し、その結果得られた画素値Ｏ（ｉ，ｊ）からなる２値画像を出力する。
【００８３】
また、被写体候補検出部２４から入力された２値画像の画素値Ｂ（ｉ，ｊ）と、ベイズ推定演算部６６から入力された２値画像の画素値Ｏ´（ｉ，ｊ）の論理を逆（すなわち、背景であると判断された場合は１、被写体であると判断された場合は０）とし、論理和演算部６７に代わって、入力された２値画像の座標毎の論理積を演算する論理積演算部を備えるようにしても良い。
【００８４】
図１を用いて説明した画像処理装置１においては、メモリ２３に最大値画像の画素値Ｍａｘ（ｉ，ｊ）、最小値画像の画素値Ｍｉｎ（ｉ，ｊ）、および平均値画像の画素値Ａｖｅ（ｉ，ｊ）を保存させ、被写体候補検出部２４の閾値算出部５１に最大値画像の画素値Ｍａｘ（ｉ，ｊ）および最小値画像の画素値Ｍｉｎ（ｉ，ｊ）を読み込ませ、背景領域か被写体かを判断するための画素値の上限の閾値Ｔｍａｘおよび画素値の下限の閾値Ｔｍｉｎを、式（４）および式（５）を用いて算出させるようにしているが、背景情報抽出モード時に、背景情報抽出部２２に、式（４）および式（５）の演算を予め実行させ、メモリ２３に、画素値の上限の閾値Ｔｍａｘおよび画素値の下限の閾値Ｔｍｉｎを保存させるようにしても良い。その場合、閾値算出部５１を省略することができ、被写体抽出モードにおける演算時間を削減することが可能となる。
【００８５】
また、式（８）を用いて説明した標準偏差ｓも、背景情報抽出モード時に、背景情報抽出部２２により予め演算させるようにし、メモリ２３に保存させるようにしても良い。
【００８６】
また、被写体判定部２５において、背景であるという条件の基で画素値Ｉ（ｉ，ｊ）が出現する確率Ｐ（Ｉ（ｉ，ｊ）｜ｂｇ）を、式（８）によって算出される標準偏差ｓのガウス分布で近似しているが、標準偏差の算出に他の式を用いたり、あるいは、背景画像の性質に応じた他の分布関数を用いても良いことは言うまでもない。
【００８７】
また、被写体である確率Ｐ（ｏｂｊ）は、式（１１）以外にも、例えば、次の式（１６）に示されるような非線形関数を用いて求める（被写体領域、もしくは背景領域に重み付けを施す）ようにしても良い。
【数１２】

・・・（１６）
ここで、ｇは重み付けを行うのに適当な、予め定められた定数である。
【００８８】
次に、本発明の第２の実施の形態について説明する。図５は、本発明を適応した画像処理装置７１の構成を示すブロック図である。なお、図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【００８９】
すなわち、図５の画像処理装置７１は、被写体領域検出部１２に代わって、被写体領域検出部８１が設けられている以外は、図１の画像処理装置１と基本的に同様の構成を有しており、被写体領域検出部８１は、背景情報抽出部２２に代わって、背景情報抽出部９１が設けられている以外は、図１の被写体領域検出部１２と基本的に同様の構成を有している。
【００９０】
図６は、背景情報抽出部９１の更に詳細な構成を示すブロック図である。
【００９１】
平均値画像生成部４３は、図２を用いて説明したので、ここではその説明を省略する。
【００９２】
偏差画像生成部１０１は、入力された複数の画像データの画素値Ｉ（ｉ，ｊ）から、それぞれの座標毎に、次の式（１７）を用いて標準偏差を算出し、その値を画素値Ｓｄｖ１（ｉ，ｊ）とする偏差画像を背景情報として生成し、メモリ２３に出力する。
【数１３】

・・・（１７）
【００９３】
また、偏差画像生成部１０１における演算量の削減のために、式（１７）の演算において、平方根を省略し、分散値をメモリ２３に保存するようにしても良い。
【００９４】
被写体候補検出部２４は、メモリ２３から、背景情報（ここでは、平均値画像の画素値Ａｖｅ（ｉ，ｊ）および偏差画像の画素値Ｓｄｖ１（ｉ，ｊ））を読み出す。閾値算出部５１は、式（１８）および式（１９）を用いて、画素値の上限の閾値Ｔｍａｘおよび画素値の下限の閾値Ｔｍｉｎを算出し、算出結果を２値化処理部５２に出力する。２値化処理部５２は、第１の実施の形態と同様にして、２値画像の画素値Ｂ（ｉ，ｊ）を算出して出力する。
【数１４】

・・・（１８）
【数１５】

・・・（１９）
ここで、係数ｃおよび係数ｃ’は、予め設定された定数である。
【００９５】
そして、被写体判定部２５の背景条件確率検出部６１において、上述した式（７）を用いて背景であるという条件の基で画素値Ｉ（ｉ，ｊ）が出現する確率Ｐ（Ｉ（ｉ，ｊ）｜ｂｇ）が算出されるが、この場合、ガウス分布の標準偏差ｓには、式（８）を用いずに、メモリ２３に保存されている偏差画像の画素値Ｓｄｖ１（ｉ，ｊ）の各画素値を用いることができる。
【００９６】
また、照明光や撮像部１１の撮像パラメータの変動などを考慮して、例えば、偏差画像の画素値Ｓｄｖ１（ｉ，ｊ）の各画素値に、予め設定された係数を積算しておき、積算結果をガウス分布の標準偏差として用いるようにしても良い。
【００９７】
そして、第１の実施の形態と同様にして、被写体判定部２５において背景であると判定された場合は０、被写体であると判定された場合は１の画素値を有する２値画像の画素値Ｏ（ｉ，ｊ）が生成され、出力される。
【００９８】
第２の実施の形態によれば、メモリ２３において保存される情報が、平均値画像の画素値Ａｖｅ（ｉ，ｊ）および偏差画像の画素値Ｓｄｖ１（ｉ，ｊ）の２種類であるので、メモリ２３の容量を削減することが可能である。
【００９９】
次に、本発明の第３の実施の形態について説明する。図７は、本発明を適応した画像処理装置１１１の構成を示すブロック図である。なお、図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１００】
すなわち、図７の画像処理装置１１１は、被写体領域検出部１２に代わって、被写体領域検出部１２１が設けられている以外は、基本的に、図１を用いて説明した画像処理装置１と基本的に同様の構成を有し、被写体領域検出部１２１は、補正係数算出部１３１、メモリ１３２、および画素値補正部１３３が新たに設けられている以外は、図１を用いて説明した被写体領域検出部１２と基本的に同様の構成を有している。
【０１０１】
被写体抽出モードにおいて、撮像部１１において撮像された画像データは、被写体候補検出部２４および被写体判定部２５に入力される前に、補正係数算出部１３１、メモリ１３２、および画素値補正部１３３において、照明光や撮像部１１の撮像パラメータの変動成分の補正が実行される。撮像部１１において撮像された画像データの画素値Ｉ（ｉ，ｊ）は、スイッチ２１を介して、補正係数算出部１３１およびメモリ１３２に出力される。
【０１０２】
補正係数算出部１３１は、入力された画素値Ｉ（ｉ，ｊ）とメモリ２３から読み出した平均値画像の画素値Ａｖｅ（ｉ，ｊ）から、式（２０）を用いて補正係数ｐを算出し、画素値補正部１３３に出力する。
【数１６】

・・・（２０）
ここで、式（２０）中のdifは、入力された画素値Ｉ（ｉ，ｊ）と、平均値画像の画素値Ａｖｅ（ｉ，ｊ）との差の絶対値であり、次の式（２１）で示される。
【数１７】

・・・（２１）
【０１０３】
また、式（２０）のＬは、被写体領域以外の部分を示すが、実際には、この領域を事前に知ることはできないため、例えば、図８に示される画像の４すみなどのように、被写体が入り込みにくいと思われる領域が予め設定される。
【０１０４】
式（２０）のＴは、閾値であり、式（２１）で示される入力された画素値Ｉ（ｉ，ｊ）と、平均値画像の画素値Ａｖｅ（ｉ，ｊ）との差の絶対値がこの閾値を越える場合には、領域Ｌに含まれる座標（ｉ，ｊ）には被写体が撮像されているものとみなされ、補正係数の算出から除外されるようになされている。
【０１０５】
また、ＶｍｉｎおよびＶｍａｘは予め設定された定数であり、入力された画素値Ｉ（ｉ，ｊ）と、平均値画像の画素値Ａｖｅ（ｉ，ｊ）とが、いずれもＶｍｉｎ以上Ｖｍａｘ以下である場合にのみ、その値が補正係数の算出に用いられる。これは、画素の値が非常に大きい場合は、飽和している可能性が高く、逆に非常に小さい場合は、ノイズの影響を強く受けてしまうため、いずれも補正係数の算出に用いるのが好ましくないからである。
【０１０６】
メモリ１３２は、スイッチ２１を介して入力された画素値Ｉ（ｉ，ｊ）を、補正係数算出部１３１の補正係数算出処理の実行時間に合わせて一時保存する。
【０１０７】
画素値補正部１３３は、補正係数算出部１３１が算出した補正係数ｐの入力を受け、メモリ１３２から入力画像データの画素値Ｉ（ｉ，ｊ）を読み出し、次の式（２２）により、各画素値の補正を実行する。
Ｉ’（ｉ，ｊ）＝Ｉ（ｉ，ｊ）／ｐ・・・（２２）
【０１０８】
補正後の画素値Ｉ’（ｉ，ｊ）からなる補正画像は、被写体候補検出部２４および被写体判定部２５に供給され、図１を用いて説明した場合と同様にして、被写体領域が検出され、画素値Ｏ（ｉ，ｊ）からなる２値画像が出力される。
【０１０９】
図７を用いて説明した画像処理装置１１１においては、例えば、式（２０）を用いて説明した補正係数ｐの算出式において、分母と分子を入れ替えた算出式を用いて補正係数ｐを算出し、画素値補正部１３３において、メモリ１３２から読み出した入力画像データの画素値Ｉ（ｉ，ｊ）に、補正係数を積算するようにしても良い。
【０１１０】
また、図７の画像処理装置１１１においては、第１の実施の形態と同様に、背景情報抽出部２２を用いて背景情報を抽出し、その背景情報を用いて被写体領域を検出しているものとして説明しているが、背景情報抽出部２２に代わって、背景情報抽出部９１を設けるようにし、第２の実施の形態と同様に、背景情報９１を用いて背景情報を抽出し、その背景情報を用いて被写体領域を検出するようにしても良い。
【０１１１】
次に、本発明の第４の実施の形態について説明する。図９は、本発明を適応した画像処理装置１４１の構成を示すブロック図である。画像処理装置１４１は、特に、動画像から被写体領域を抽出する場合に適している。なお、図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１１２】
すなわち、図９の画像処理装置１４１は、被写体領域検出部１２に代わって、被写体領域検出部１５１が設けられている以外は、基本的に、図１を用いて説明した画像処理装置１と基本的に同様の構成を有し、被写体領域検出部１５１は、被写体判定部２５に代わって、被写体判定部１６１が設けられている以外は、図１を用いて説明した被写体領域検出部１２と基本的に同様の構成を有している。
【０１１３】
図１０は、被写体判定部１６１の更に詳細な構成を示すブロック図である。なお、図４における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１１４】
まず、１枚目の画像データに対応する画素値Ｉ（ｉ，ｊ）および背景情報（ここでは、最大値画像の画素値Ｍａｘ（ｉ，ｊ）、最小値画像の画素値Ｍｉｎ（ｉ，ｊ）、および平均値画像の画素値Ａｖｅ（ｉ，ｊ））が被写体判定部１６１に入力される。
【０１１５】
１枚目の画像データに対してのみ、被写体候補検出部２４から出力される２値画像の画素値Ｂ（ｉ，ｊ）は、論理和演算部６７およびメモリ１７２を介して、ヒストグラム生成部６２および多値マスク生成部６４に直接供給される。また、メモリ１７１に供給される入力画像データの画素値Ｉ（ｉ，ｊ）は、すぐにヒストグラム生成部６２に入力されるが、１枚目の入力画像データの画素値Ｉ（ｉ，ｊ）は、まだ、メモリ１７１に保存されたままであるものとする。
【０１１６】
ヒストグラム生成部６２は、メモリ１７２を介して入力された画素値Ｂ（ｉ，ｊ）およびメモリ１７１を介して入力された画素値Ｉ（ｉ，ｊ）を用いて、図４を用いて説明した方法と同様にしてヒストグラムＨ（Ｉ（ｉ，ｊ））を生成し、メモリ１７３を介して、被写体条件確率検出部６３に出力する。
【０１１７】
背景条件確率検出部６１、被写体条件確率検出部６３、多値マスク生成部６４、被写体／背景確率検出部６５、ベイズ推定演算部６６、および論理和演算部６７は、図４を用いて説明した処理と同様の処理を実行し、１枚目の画像データに対応する画素値Ｏ（ｉ，ｊ）からなる２値画像を生成する。生成された画素値Ｏ（ｉ，ｊ）からなる２値画像は、出力されるとともに、メモリ１７２に供給される。
【０１１８】
ヒストグラム生成部６２は、メモリ１７１から、１枚目の画像データに対応する画素値Ｉ（ｉ，ｊ）を読み込むとともに、メモリ１７２から、１枚目の画像データに対応する２値画像の画素値Ｏ（ｉ，ｊ）を読み込み、２値画像の画素値Ｏ（ｉ，ｊ）が１となる座標、すなわち、１枚目の画像データにおいて被写体候補とみなされた座標の画素値に関するヒストグラムＨ（Ｉ（ｉ，ｊ））を生成し、メモリ１７３に出力する。
【０１１９】
次に、２枚目の画像データに対応する画素値Ｉ（ｉ，ｊ）が被写体判定部１６１に入力される。
【０１２０】
メモリ１７１には、２枚目の画像データに対応する画素値Ｉ（ｉ，ｊ）が入力され、保存（１枚目の画像データに対応する画素値Ｉ（ｉ，ｊ）に上書き）される。
【０１２１】
背景条件確率検出部６１は、図４を用いて説明した処理と同様の処理を実行し、２枚目の画像データに対して、背景であるという条件の基で画素値Ｉ（ｉ，ｊ）が出現する確率Ｐ（Ｉ（ｉ，ｊ）｜ｂｇ）を算出し、ベイズ推定演算部６６に出力する。
【０１２２】
被写体条件確率検出部６３は、２枚目の画像データに対応する画素値Ｉ（ｉ，ｊ）の入力を受けるとともに、メモリ１７３から、１枚目の画像データにおいて被写体候補とみなされた座標に対応するヒストグラムＨ（Ｉ（ｉ，ｊ））を読み込み、式（９）を用いて、被写体であるという条件の基で画素値Ｉ（ｉ，ｊ）が出現する確率Ｐ（Ｉ（ｉ，ｊ）｜ｏｂｊ）を算出し、ベイズ推定演算部６６に出力する。
【０１２３】
多値マスク生成部６４は、メモリ１７２から、１枚目の画像データにおいて被写体候補とみなされた座標を示す２値画像の画素値Ｏ（ｉ，ｊ）を読み込み、例えば、式（１０）で示されるような平滑化処理を施し、平滑化された画素値Ｍ（ｉ，ｊ）からなる帯域の狭い多値画像生成し、被写体／背景確率検出部６５に出力する。
【０１２４】
被写体／背景確率検出部６５は、図４を用いて説明した処理（式（１１）および式（１２）を用いて説明した演算処理）と同様の処理を実行し、対応する画素が被写体である確率Ｐ（ｏｂｊ）および背景である確率Ｐ（ｂｇ）を算出し、ベイズ推定演算部６６に出力する。
【０１２５】
ベイズ推定演算部６６、および論理和演算部６７は、図４を用いて説明した処理と同様の処理を実行し、２枚目の画像データに対応する画素値Ｏ（ｉ，ｊ）からなる２値画像を生成する。生成された画素値Ｏ（ｉ，ｊ）からなる２値画像は、出力されるとともに、メモリ１７２に供給（上書き）される。
【０１２６】
ヒストグラム生成部６２は、メモリ１７１から、２枚目の画像データに対応する画素値Ｉ（ｉ，ｊ）を読み込むとともに、メモリ１７２から、２枚目の画像データに対応する２値画像の画素値Ｏ（ｉ，ｊ）を読み込み、２値画像の画素値Ｏ（ｉ，ｊ）が１となる座標、すなわち、２枚目の画像データにおいて被写体候補とみなされた座標の画素値に関するヒストグラムＨ（Ｉ（ｉ，ｊ））を生成し、メモリ１７３に出力する。
【０１２７】
そして、３枚目以降の画像データに対応する画素値Ｉ（ｉ，ｊ）および背景情報が被写体判定部１６１に入力され、同様の処理が繰り返されることにより、複数の連続した画像データからなる動画像データにおける被写体領域を、一つ前の画像データにおいて被写体領域であると推定された領域の情報を基に、精度よく検出することができる。
【０１２８】
また、図１０においては、１枚目の画像データに関して、被写体候補検出部２４から供給される２値画像の画素値Ｂ（ｉ，ｊ）を直接メモリ１７２に入力させ、１枚目の画像データに対するベイズ推定に必要な情報を生成する場合について説明したが、例えば、１枚目の画像データを表示させないものとし、１枚目の画像データは、２枚目の画像データに対するベイズ推定に必要な情報を生成するためのみに利用するようにしても良い。
【０１２９】
なお、図１０においては、１つ前の入力画像に対するヒストグラムおよび多値マスクを利用する場合について説明したが、ヒストグラム生成部６２、もしくは多値マスク生成部６４のうちのいずれか一方に、被写体候補検出部２４から供給される２値画像の画素値Ｂ（ｉ，ｊ）を直接供給して、現在処理中の画像データに対するヒストグラム、もしくは多値マスクを生成させて、ベイズ推論に用いるようにしても良い。
【０１３０】
また、図９の画像処理装置１４１においては、第１の実施の形態と同様に、背景情報抽出部２２を用いて背景情報を抽出し、その背景情報を用いて、補正係数の算出を行わずに、被写体領域を検出しているものとして説明しているが、背景情報抽出部２２に代わって、背景情報抽出部９１を設けるようにし、第２の実施の形態と同様に、背景情報９１を用いて背景情報を抽出し、その背景情報を用いて被写体領域を検出するようにしても良いし、第３の実施の形態と同様に、図７を用いて説明した補正係数算出部１３１、メモリ１３２、および画素値補正部１３３を設け、補正係数を算出するようにしても良い。
【０１３１】
以上説明した実施の形態１乃至実施の形態４においては、画素値が単独の値である場合について説明したが、次に、第５の実施の形態として、図１の画像処理装置１でカラー画像を処理する場合について説明する。
【０１３２】
撮像部１１から入力される画像データの画素Ｉ（ｉ，ｊ）には、例えば、輝度信号Ｙ（ｉ，ｊ）、色差信号Ｕ（ｉ，ｊ）および色差信号Ｖ（ｉ，ｊ）などの、色を表す複数の成分が含まれている。
【０１３３】
輝度信号Ｙ（ｉ，ｊ）、色差信号Ｕ（ｉ，ｊ）および色差信号Ｖ（ｉ，ｊ）は、背景情報抽出モードにおいては、スイッチ２１を介して背景情報抽出部２２に、被写体抽出モードにおいては、被写体候補検出部２４および被写体判定部２５に供給される。
【０１３４】
背景抽出モードにおいて、スイッチ２１を介して、図２を用いて説明した背景情報抽出部２２に入力された背景画像データは、最大値画像生成部４１、最小値画像生成部４２、および平均値画像生成部４３に供給される。最大値画像生成部４１、最小値画像生成部４２、および平均値画像生成部４３は、それぞれの画像データの輝度信号Ｙ（ｉ，ｊ）、色差信号Ｕ（ｉ，ｊ）および色差信号Ｖ（ｉ，ｊ）の成分毎に、画素値の最大値からなる最大値画像、画素値の最小値からなる最小値画像、および画素値の平均値からなる平均値画像をそれぞれ生成し、メモリ２３に出力する。
【０１３５】
最大値画像生成部４１は、次の式（２３）乃至式（２５）を用いて、輝度信号Ｙ（ｉ，ｊ）、色差信号Ｕ（ｉ，ｊ）および色差信号Ｖ（ｉ，ｊ）の成分毎に、画素値の最大値ＭａｘＹ（ｉ，ｊ）、ＭａｘＵ（ｉ，ｊ）、およびＭａｘＶ（ｉ，ｊ）、からなる最大値画像を生成する。
【数１８】

・・・（２３）
【数１９】

・・・（２４）
【数２０】

・・・（２５）
【０１３６】
ここで、Ｙｋ（ｉ，ｊ）は、ｋ番目の画像の、座標（ｉ，ｊ）における輝度信号の値を、Ｕｋ（ｉ，ｊ）およびＶｋ（ｉ，ｊ）は、ｋ番目の画像の、座標（ｉ，ｊ）におけるそれぞれの要素の色差信号の値を示す。また、ＭＡＸ（・）は、括弧内に示される複数の数値の最大値を算出する演算を示す。
【０１３７】
最小値画像生成部４２は、次の式（２６）乃至式（２８）を用いて、輝度信号Ｙ（ｉ，ｊ）、色差信号Ｕ（ｉ，ｊ）および色差信号Ｖ（ｉ，ｊ）の成分毎に、画素値の最小値ＭｉｎＹ（ｉ，ｊ）、ＭｉｎＵ（ｉ，ｊ）、およびＭｉｎＶ（ｉ，ｊ）、からなる最小値画像を生成する。
【数２１】

・・・（２６）
【数２２】

・・・（２７）
【数２３】

・・・（２８）
【０１３８】
ここで、ＭＩＮ（・）は、括弧内に示される複数の数値の最小値を算出する演算を示す。
【０１３９】
平均値画像生成部４３は、次の式（２９）乃至式（３１）を用いて、輝度信号Ｙ（ｉ，ｊ）、色差信号Ｕ（ｉ，ｊ）および色差信号Ｖ（ｉ，ｊ）の成分毎に、画素値の平均値ＡｖｅＹ（ｉ，ｊ）、ＡｖｅＵ（ｉ，ｊ）、およびＡｖｅＶ（ｉ，ｊ）からなる平均値画像を生成する。
【数２４】

・・・（２９）
【数２５】

・・・（３０）
【数２６】

・・・（３１）
ここで、Ｎは、背景情報抽出部２２に供給された画像の枚数を示す。
【０１４０】
図３を用いて説明した被写体候補検出部２４は、被写体抽出モードにおいて、スイッチ２１を介して入力画像データの画素値Ｉ（ｉ，ｊ）を供給されるとともに、メモリ２３に記録されている背景情報から必要な情報（ここでは、最大値画像の画素値Ｍａｘ（ｉ，ｊ）および最小値画像の画素値Ｍｉｎ（ｉ，ｊ））を読み込む。
【０１４１】
閾値算出部５１は、背景領域か被写体かを判断するために用いられる閾値を算出する。閾値算出部５１は、輝度信号Ｙ（ｉ，ｊ）、色差信号Ｕ（ｉ，ｊ）および色差信号Ｖ（ｉ，ｊ）の成分毎に、式（３２）乃至式（３４）を用いて画素値の上限の閾値Ｔｍａｘを算出し、式（３５）乃至式（３７）を用いて、画素値の下限の閾値Ｔｍｉｎを算出して、２値化処理部５２に出力する。
【０１４２】
【数２７】

・・・（３２）
【数２８】

・・・（３３）
【数２９】

・・・（３４）
【数３０】

・・・（３５）
【数３１】

・・・（３６）
【数３２】

・・・（３７）
【０１４３】
ここで、ａｙ，ａｕ，ａｖ，ｂｙ，ｂｕ，およびｂｖは、それぞれ予め設定された係数であり、照明光などによる画素値のゆらぎなどを吸収するために、通常、それぞれａｙ，ａｕ，ａｖ＞１．０、ｂｙ，ｂｕ，ｂｖ＜１．０となる値が設定される。
【０１４４】
２値化処理部５２は、スイッチ２１を介して入力画像データの画素値Ｉ（ｉ，ｊ）の入力を受け、式（３２）乃至式（３７）によって表わされる閾値Ｔｍａｘおよび閾値Ｔｍｉｎを用いて、次の式（３８）により、画素値Ｂ（ｉ，ｊ）によって構成される２値画像を生成し、被写体判定部２５に出力する。
【数３３】

・・・（３８）
【０１４５】
すなわち、２値化処理部５２は、入力された画像データの画素値Ｉ（ｉ，ｊ）の輝度信号Ｙ（ｉ，ｊ）、色差信号Ｕ（ｉ，ｊ）および色差信号Ｖ（ｉ，ｊ）の全ての成分が、閾値Ｔｍａｘと閾値Ｔｍｉｎとの範囲内である場合、対応する画素は背景候補であることを示す値として０を設定し、輝度信号Ｙ（ｉ，ｊ）、色差信号Ｕ（ｉ，ｊ）および色差信号Ｖ（ｉ，ｊ）のうちのいずれかの成分が閾値の範囲外である場合，対応する画素は被写体候補であることを示す値として１を設定した２値画像の画素値Ｂ（ｉ，ｊ）を生成する。
【０１４６】
図４を用いて説明した被写体判定部２５の背景条件確率検出部６１は、入力画像データの画素値Ｉ（ｉ，ｊ）の入力を受けるとともに、メモリ２３から式（２３）乃至式（３１）で示される背景情報を読み出し、背景であるという条件のもとで、色成分の組み合わせであるＩ（ｉ，ｊ）＝（Ｙ（ｉ，ｊ），Ｕ（ｉ，ｊ），Ｖ（ｉ，ｊ））が出現する確率であるＰ（Ｉ，（ｉ，ｊ）｜ｂｇ）を、次の式（３９）を用いて算出し、ベイズ推定演算部６６に出力する。
【数３４】

・・・（３９）
【０１４７】
ここで、Ｐ（Ｙ（ｉ，ｊ）｜ｂｇ）、Ｐ（Ｕ（ｉ，ｊ）｜ｂｇ）、およびＰ（Ｖ（ｉ，ｊ）｜ｂｇ）は、背景であるという条件のもとで、それぞれの成分が出現する確率であり、メモリ２３から式（２３）乃至式（３１）で示される背景情報を読み出し、式（７）および式（８）の画素値Ｉ（ｉ，ｊ）に代わって代入することによって、それぞれ算出することができる。
【０１４８】
ヒストグラム生成部６２は、入力画像データの画素値Ｉ（ｉ，ｊ）および２値画像の画素値Ｂ（ｉ，ｊ）の入力を受け、２値画像の画素値Ｂ（ｉ，ｊ）が１となる座標（ｉ，ｊ）、すなわち、被写体候補検出部２４が被写体候補とみなした画素の色成分に関する３次元ヒストグラムＨ（Ｙ（ｉ，ｊ），Ｕ（ｉ，ｊ），Ｖ（ｉ，ｊ））を生成し、被写体条件確率検出部６３に出力する。
【０１４９】
被写体条件確率検出部６３は、ヒストグラム生成部６２より入力された３次元ヒストグラムＨ（Ｙ（ｉ，ｊ），Ｕ（ｉ，ｊ），Ｖ（ｉ，ｊ））を用いて、被写体であるという条件のもとで、色成分の組み合わせであるＩ（ｉ，ｊ）＝（Ｙ（ｉ，ｊ），Ｕ（ｉ，ｊ），Ｖ（ｉ，ｊ））が出現する確率であるＰ（Ｉ（ｉ，ｊ）｜ｏｂｊ）を、次の式（４０）を用いて算出し、ベイズ推定演算部６６に出力する。
【数３５】

・・・（４０）
ここで、obj_countは、式（９）の場合と同様に、被写体候補の画素の総数（すなわち、２値画像の画素値Ｂ（ｉ，ｊ）のうち、画素値が１である画素の総数）である。
【０１５０】
そして、多値マスク生成部６４、被写体／背景確率検出部６５、ベイズ推定演算部６６、および論理和演算部６７においては、第１の実施の形態において説明した処理と同様の処理が実行され、背景であると判断された座標には０、被写体であると判断された座標には１の値を有する２値画像Ｏ（ｉ，ｊ）が、入力されたカラー画像の色情報を効果的に利用して生成され、出力されるので、より正確な被写体領域の抽出が可能となる。
【０１５１】
ここでは、図１の画像処理装置１でカラー画像を処理する場合について説明したが、図５、図７、および図９を用いて説明した画像処理装置においても、同様にしてカラー画像を処理することができるのはもちろんである。
【０１５２】
例えば、図５を用いて説明した画像処理装置７１においてカラー画像を処理する場合、背景情報抽出部９１の偏差画像生成部１０１で、式（１５）を用いて生成される偏差画像の画素値Ｓｄｖ１（ｉ，ｊ）を、輝度信号Ｙ（ｉ，ｊ）、色差信号Ｕ（ｉ，ｊ）および色差信号Ｖ（ｉ，ｊ）の全ての成分についてそれぞれ生成させ、閾値算出部５１で、各色成分毎の画素値の上限の閾値Ｔｍａｘ、および画素値の下限の閾値Ｔｍｉｎを算出させるようにすればよい。このとき、上限の閾値Ｔｍａｘ、および画素値の下限の閾値Ｔｍｉｎを算出するために乗算される係数は、色成分毎に異なる定数を用いるようにしても良い。
【０１５３】
また、図７を用いて説明した画像処理装置７１においてカラー画像を処理する場合、補正係数算出部１３１で、輝度信号Ｙ（ｉ，ｊ）、色差信号Ｕ（ｉ，ｊ）および色差信号Ｖ（ｉ，ｊ）の全ての成分についてそれぞれの補正係数を算出させ、画素値補正部１３３で、それぞれの成分の補正係数を用いて、輝度信号Ｙ（ｉ，ｊ）、色差信号Ｕ（ｉ，ｊ）および色差信号Ｖ（ｉ，ｊ）の全ての成分について補正を行うようにすればよい。
【０１５４】
これ以降の実施の形態においては、入力された画像データがカラー画像であるものとして説明するが、入力された画像に色情報が含まれていない場合についても、入力される情報が複数の色成分から成立していないだけで、基本的に同様の処理を実行するので、その説明については省略する。
【０１５５】
次に、本発明の第６の実施の形態について説明する。図１１は、本発明を適応した画像処理装置１８１の構成を示すブロック図である。なお、図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１５６】
すなわち、図１１の画像処理装置１８１は、被写体領域検出部１２に代わって、被写体領域検出部１９１が設けられている以外は、図１を用いて説明した場合と、基本的に同様の構成を有している。
【０１５７】
撮像部１１から入力される画像データの画素Ｉ（ｉ，ｊ）には、例えば、輝度信号Ｙ（ｉ，ｊ）、色差信号Ｕ（ｉ，ｊ）および色差信号Ｖ（ｉ，ｊ）などの、色を表す複数の成分が含まれている。輝度信号Ｙ（ｉ，ｊ）、色差信号Ｕ（ｉ，ｊ）および色差信号Ｖ（ｉ，ｊ）は、背景情報抽出モードにおいては、スイッチ２１を介して背景情報抽出部２０１に、被写体抽出モードにおいては、背景差分算出部２０２、背景補正部２０６、およびメモリ２０５に供給される。
【０１５８】
背景情報抽出部２０１は、図２を用いて説明した平均値画像生成部４３から構成され、背景情報抽出モードにおいて、式（２９）乃至式（３１）を用いて、画素値の平均値ＡｖｅＹ（ｉ，ｊ）、ＡｖｅＵ（ｉ，ｊ）、およびＡｖｅＶ（ｉ，ｊ）からなる平均値画像を生成し、メモリ２３に出力して保存させるとともに、照明光などの変動要素を考慮して、次の式（４１）乃至式（４３）を用いて、分散画像の画素値Ｓａｖ２（ｉ，ｊ）＝（Ｓａｖ２Ｙ（ｉ，ｊ），Ｓａｖ２Ｕ（ｉ，ｊ），ＳａｖＶ（ｉ，２ｊ））を生成し、この分散画像の画素値Ｓａｖ２（ｉ，ｊ）をメモリ２３に出力して保存させる。
【数３６】

・・・（４１）
【数３７】

・・・（４２）
【数３８】

・・・（４３）
【０１５９】
背景差分算出部２０２は、被写体抽出モードにおいて、スイッチ２１を介して、入力画像データの画素値Ｉ（ｉ，ｊ）の入力を受けるとともに、メモリ２３から背景情報を読み出して、次の式（４４）に従って、平均値画像と入力画像データの画素値を比較することにより、対応する座標の画素が被写体候補であるか背景候補であるかを判断し、対応する画素が被写体候補であれば１、背景候補であれば０である画素Ｂ（ｉ，ｊ）で構成される２値画像を生成して被写体確率算出部２０３に出力する。
【数３９】

・・・（４４）
【０１６０】
また、背景差分算出部２０２は、被写体確率算出部２０３が上述したベイズ推論を用いて被写体確率を算出する場合、画素Ｂ（ｉ，ｊ）で構成される２値画像とともに、スイッチ２１を介して入力された入力画像データの画素値Ｉ（ｉ，ｊ）を被写体確率算出部２０３に出力する。
【０１６１】
ここで、式（４４）に用いられている各成分の閾値Ｔｙ，ＴｕおよびＴｖは、例えば、背景情報抽出部２０１において算出された分散画像の画素値Ｓａｖ２（ｉ，ｊ）を用いて、次の式（４５）乃至式（４７）によって算出することができる。
【数４０】

・・・（４５）
【数４１】

・・・（４６）
【数４２】

・・・（４７）
ここで、ａｙ，ａｕ，およびａｖは、予め設定された係数である。
【０１６２】
被写体確率算出部２０３は、各座標が被写体領域に含まれる確率Ｐｏｂｊ（ｉ，ｊ）を算出する。各座標が被写体領域に含まれる確率Ｐｏｂｊ（ｉ，ｊ）を求める方法は、第１の実施の形態において説明したようなベイズ推定理論を用いた方法でも良いし、他の方法であっても良い。例えば、背景差分法の性質上、背景差分算出部２０２において被写体候補とされた画素は、実際に被写体である確率が高いので、入力された２値画像の画素値Ｂ（ｉ，ｊ）が１である画素に対しては、被写体確率Ｐｏｂｊ（ｉ，ｊ）を１．０とし、それ以外の画素については、経験的、もしくは実験的に領域毎の被写体確率を設定するようにしても良い。
【０１６３】
例えば、被写体領域が画像の中央に位置する確率が高い場合、画像上の座標による被写体確率を、図１２に示されるように予め設定されるようにしてもよい。このような場合、被写体確率算出部２０３に、座標によって被写体確率を参照するためのテーブルが予め用意され、画素の位置に応じてテーブルが参照されて、被写体確率Ｐｏｂｊ（ｉ，ｊ）が算出される。被写体確率Ｐｏｂｊ（ｉ，ｊ）は、メモリ２０４に出力されて保存される。
【０１６４】
また、被写体確率算出部２０３が、上述したベイズ推論を用いて被写体確率Ｐｏｂｊ（ｉ，ｊ）を求めるようになされている場合、被写体確率算出部２０３は、実質的に、図４の被写体判定部２５もしくは図１０の被写体判定部１６１と同様の構成を有して、同様の処理を実行する。そして、被写体確率算出部２０３は、式（１４）によるＰ（ｏｂｊ｜Ｉ（ｉ，ｊ））を被写体確率Ｐｏｂｊ（ｉ，ｊ）として出力する。
【０１６５】
また、被写体確率算出部２０３においては、必要に応じて、入力された２値画像の画素値Ｂ（ｉ，ｊ）を補正することもできる。例えば、被写体確率Ｐｏｂｊ（ｉ，ｊ）の閾値を予め設定しておき、画素値Ｂ（ｉ，ｊ）＝０である画素に対して、対応する被写体確率Ｐｏｂｊ（ｉ，ｊ）が閾値よりも大きい場合は、対応する画素を被写体とみなして、画素値Ｂ’（ｉ，ｊ）＝１とする。必要に応じて補正された画素値Ｂ’（ｉ，ｊ）は、被写体確率Ｐｏｂｊ（ｉ，ｊ）とともに、背景補正部２０６に出力される。
【０１６６】
メモリ２０４は、被写体確率算出部２０３から現在処理中の画像の被写体確率Ｐｏｂｊ（ｉ，ｊ）の入力を受け、保存するとともに、１つ前の画像の被写体確率をＰｐｒｖ（ｉ，ｊ）として、背景補正部２０６に出力する。
【０１６７】
メモリ２０５は、スイッチ２１を介して現在処理中の画像の画素値Ｉ（ｉ，ｊ）の入力を受け、保存するとともに、１つ前の画像の画素値を画素値Ｉｐｒｖ（ｉ，ｊ）として、背景補正部２０６に出力する。
【０１６８】
背景補正部２０６は、被写体確率算出部２０３から入力された２値画像の画素値Ｂ’（ｉ，ｊ）において、その値が０である画素、すなわち、背景候補とみなされている画素についてのみ補正を実行する。
【０１６９】
背景補正部２０６が、座標（ｉ，ｊ）で示される画素が背景であるか、被写体であるかを判断するためには、対応する座標の画素が、背景であると仮定した場合に適当であると考えられる画素値と、被写体であると仮定した場合に適当であると考えられる画素値とを算出し、実際に入力された画素値Ｉ（ｉ，ｊ）が、どちらに近いかを比較することによって行われる。
【０１７０】
背景候補とみなされている画素に対して、座標（ｉ，ｊ）の画素が背景であると仮定した場合に適当であると考えられる画素値Ｉ’ｂｇ＝（Ｙ’ｂｇ，Ｕ’ｂｇ，Ｖ’ｂｇ）、および被写体であると仮定した場合に適当であると考えられる画素値Ｉ’ｏｂｊ＝（Ｙ’ｏｂｊ，Ｕ’ｏｂｊ，Ｖ’ｏｂｊ）それぞれの値と、入力された画素値との三次元的な距離Ｄｂｇおよび距離Ｄｏｂｊは、次の式（４８）および式（４９）によって示される。
【数４３】

・・・（４８）
【数４４】

・・・（４９）
【０１７１】
そして、背景補正部２０６は、式（４８）を用いて算出した距離Ｄｂｇおよび距離Ｄｏｂｊを比較し、Ｄｏｂｊの方が小さい場合には、座標（ｉ，ｊ）で示される画素を被写体であると判定し、Ｄｂｇの方が小さい場合には、座標（ｉ，ｊ）で示される画素を背景であると判定する。
【０１７２】
背景の推定画素値Ｉ’ｂｇ（ｉ，ｊ）は、メモリ２３に保存されている背景画像データの平均値画像の画素値Ａｖｅ（ｉ，ｊ）を読み出して利用することができるので、式（２９）乃至式（３１）で示される、画素値の平均値ＡｖｅＹ（ｉ，ｊ）、ＡｖｅＵ（ｉ，ｊ）、およびＡｖｅＶ（ｉ，ｊ）を、上述した式（４８）に代入することにより、距離Ｄｂｇは算出可能である。
【０１７３】
しかしながら、被写体の推定画素値Ｉ’ｏｂｊ（ｉ，ｊ）は、対応する画素値が与えられていないため、背景補正部２０６は、メモリ２０４およびメモリ２０５に保存されている１つ前の入力画像の画素値Ｉｐｒｖ（ｉ，ｊ）およびその画像の各座標の被写体確率Ｐｐｒｖ（ｉ，ｊ）を利用して、被写体の推定画素値Ｉ’ｏｂｊ（ｉ，ｊ）を算出する。
【０１７４】
図１３は、背景補正部２０６の更に詳細な構成を示すブロック図である。
【０１７５】
背景距離算出部２１１は、現在処理中の画像データの画素値Ｉ（ｉ，ｊ）および平均値画像の画素値Ａｖｅ（ｉ，ｊ）の入力を受け、上述した式（４８）に、画素値の平均値ＡｖｅＹ（ｉ，ｊ）、ＡｖｅＵ（ｉ，ｊ）、およびＡｖｅＶ（ｉ，ｊ）を代入した次の式（５０）を用いて、距離Ｄｂｇを算出し、補正部２１５に出力する。
【数４５】

・・・（５０）
【０１７６】
前画像距離算出部２１２は、現在処理中の画像データの画素値Ｉ（ｉ，ｊ）およびメモリ２０５に保存されている１つ前の入力画像の画素値Ｉｐｒｖ（ｉ，ｊ）の入力を受け、上述した式（４９）に、１つ前の入力画像の画素値ＩｐｒｖＹ（ｉ，ｊ）、ＩｐｒｖＵ（ｉ，ｊ）、およびＩｐｒｖＶ（ｉ，ｊ）を代入した次の式（５１）を用いて、距離Ｄｐｒｖを求め、被写体距離算出部２１４に出力する。
【数４６】

・・・（５１）
【０１７７】
重み算出部２１３は、１つ前の画像の各座標の被写体確率Ｐｐｒｖ（ｉ，ｊ）の入力を受け、被写体距離算出部２１４において、前画像距離算出部２１２で算出された距離Ｄｐｒｖを補正し、距離Ｄｏｂｊを算出するための補正値ｗを、次の式（５２）を用いて算出し、被写体距離算出部２１４に出力する。
【数４７】

・・・（５２）
【０１７８】
被写体距離算出部２１４は、前画像距離算出部２１２から式（５１）に示される距離Ｄｐｒｖの入力を受けるとともに、重み算出部２１３から式（５２）に示される補正値ｗの入力を受け、次の式（５３）に示されるように、距離Ｄｐｒｖに補正値wを積算することにより補正を行い、距離Ｄｏｂｊを算出して補正部２１５に出力する。
Ｄｏｂｊ＝ｗ×Ｄｐｒｖ ・・・（５３）
【０１７９】
すなわち、被写体距離算出部２１４においては、１つ前の画像の各座標の被写体確率Ｐｐｒｖ（ｉ，ｊ）が１のとき、距離Ｄｏｂｊ＝距離Ｄｐｒｖとなり、被写体確率Ｐｐｒｖ（ｉ，ｊ）が小さくなるほど、距離Ｄｏｂｊが大きな値となるように補正される。
【０１８０】
補正部２１５は、被写体確率算出部２０３から２値画像の画素値Ｂ’（ｉ，ｊ）の入力を受けるとともに、背景距離算出部２１１から式（５０）に示される距離Ｄｂｇを、被写体距離算出部２１４から式（５３）に示される距離Ｄｏｂｊの入力を受ける。補正部２１５は、まず、初めに２値画像の画素値Ｂ’（ｉ，ｊ）を参照し、画素値Ｂ’（ｉ，ｊ）＝１である場合には、補正を行わず、対応する座標（ｉ，ｊ）の画素は被写体であると判定し、画素値Ｏ（ｉ，ｊ）＝１を出力する。
【０１８１】
それに対して、画素値Ｂ’（ｉ，ｊ）＝０である場合、補正部２１５は、距離Ｄｂｇと距離Ｄｏｂｊとを比較し、距離Ｄｏｂｊが距離Ｄｂｇよりも小さかった場合、対応する座標（ｉ，ｊ）の画素は被写体であると判定し、画素値Ｏ（ｉ，ｊ）＝１を出力し、距離Ｄｏｂｊが距離Ｄｂｇよりも大きかった場合、対応する座標（ｉ，ｊ）の画素は背景であると判定し、画素値Ｏ（ｉ，ｊ）＝０を出力する。
【０１８２】
なお、図１１を用いて説明した画像処理装置１８１においては、背景情報抽出モードにおいて、背景情報抽出部２０１が式（４１）乃至式（４３）を用いて説明した背景情報を抽出し、メモリ２３に出力して保存させるものとして説明したが、例えば、背景情報抽出部２０１に代わって、図２を用いて説明した背景情報抽出部２２を用いて背景情報を抽出し、式（２３）乃至式（３１）に示される画素値を算出させるとともに、背景差分算出部２０２に代わって、図２を用いて説明した被写体候補検出部２４を用いて、式（４４）の演算に代わって式（３２）乃至式（３８）の演算を実行することにより、画素値Ｂ（ｉ，ｊ）からなる２値画像を得るようにしても良い。
【０１８３】
また、第６の実施の形態においては、被写体確率Ｐｏｂｊ（ｉ，ｊ）を算出するための先見的知識として、図１２を用いて説明した、画面上で被写体が存在する確率が高い位置の情報を用いたが、例えば、被写体領域に出現する可能正の高い色情報など、被写体領域に関する他の情報を反映して被写体確率Ｐｏｂｊ（ｉ，ｊ）を算出するようにしても良い。
【０１８４】
次に、本発明の第７の実施の形態について説明する。第７の実施の形態は、上述した第６の実施の形態における画像処理に、図４および図１０を用いて説明した多値マスク生成部６４が実行したのと同様の平滑化処理を加えたものである。
【０１８５】
図１４は、本発明を適応した画像処理装置２２１の構成を示すブロック図である。なお、図１１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１８６】
すなわち、図１４の画像処理装置２２１は、被写体領域検出部１９１に代わって、被写体領域検出部２３１が設けられている以外は、図１１を用いて説明した場合と、基本的に同様の構成を有している。
【０１８７】
そして、被写体領域検出部２３１は、被写体確率算出部２０３に代わって被写体確率算出部２４１が設けられ、更に、メモリ２４２が新たに設けられている以外は、図１１を用いて説明した被写体領域検出部１９１と、基本的に同様の構成を有している。
【０１８８】
ここで、背景情報抽出部２０１、メモリ２３、および背景差分算出部２０２の処理は、第６の実施の形態における場合と同様であるので、その説明は省略する。
【０１８９】
被写体抽出モードの１枚目の画像データに対して、背景差分算出部２０２、被写体確率算出部２４１、背景補正部２０６、メモリ２０４、およびメモリ２０５は、第６の実施の形態における背景差分算出部２０２乃至背景補正部２０６と同様の処理を実行して、１枚目の画像データに対応する２値画像の画素値Ｏ（ｉ，ｊ）を生成して出力する。そして、メモリ２４２に、１枚目の画像データに対応する２値画像の画素値Ｏ（ｉ，ｊ）が入力されて、次の画像データの被写体領域を検出するために用いられる、一つ前の画像データに対応する２値画像の画素値Ｏｐｒｖ（ｉ，ｊ）として保存される。
【０１９０】
２枚目の画像データに対応する２値画像の画素値Ｂ（ｉ，ｊ）の入力を受けた被写体確率算出部２４１は、メモリ２４２から一つ前の画像データに対応する２値画像の画素値Ｏｐｒｖ（ｉ，ｊ）を読み込む。そして、被写体確率算出部２４１は、例えば、上述した式（１０）を用いて、２値画像の画素値Ｏｐｒｖ（ｉ，ｊ）を平滑化し、画素値Ｍ（ｉ，ｊ）からなる多値画像を生成する。例えば、２値画像の画素値Ｏｐｒｖ（ｉ，ｊ）が、図１５に示されるように平滑化された場合、画素値Ｍ（ｉ，ｊ）は、一つ前の画像データに対応する２値画像の画素値Ｏｐｒｖ（ｉ，ｊ）において、被写体領域であると判断されていた部分の中心点に近い位置ほど、１に近い数値になる（すなわち、被写体である確率が高いと判断される）。
【０１９１】
そして、被写体確率算出部２４１は、上述した式（１１）を用いて、画素値Ｍ（ｉ，ｊ）を正規化して被写体確率Ｐｏｂｊ（ｉ，ｊ）を生成し、メモリ２０４に出力する。すなわち、被写体確率Ｐｏｂｊ（ｉ，ｊ）は、一つ前の画像データに対応する２値画像の画素値Ｏｐｒｖ（ｉ，ｊ）において、被写体領域であると判断されていた部分の中心点に近い位置ほど、高い確率であるとされる。
【０１９２】
なお、第７の実施の形態においても、背景情報の抽出方法、および被写体確率Ｐｏｂｊ（ｉ，ｊ）の算出方法は、第６の実施の形態において説明したいずれの方法を用いても良いし、更に、被写体確率Ｐｏｂｊ（ｉ，ｊ）の算出に、１つ前の画像データに対応する２値画像の画素値Ｏｐｒｖ（ｉ，ｊ）において、被写体領域であると判断されていた画素に対応する入力画像の画素値のヒストグラムや背景画像のヒストグラムを生成して、これらのヒストグラムを比較することにより、ある色が被写体領域に現れる可能性を評価し、被写体確率を算出するようにしてもよい。
【０１９３】
次に、本発明の第８の実施の形態について説明する。
【０１９４】
図１６は、本発明を適応した画像処理装置２５１の構成を示すブロック図である。なお、図１１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１９５】
すなわち、図１６の画像処理装置２５１は、被写体領域検出部１９１に代わって、被写体領域検出部２６１が設けられている以外は、図１１を用いて説明した場合と、基本的に同様の構成を有している。
【０１９６】
そして、被写体領域検出部２６１は、背景補正部２０６に代わって背景補正部２７２が設けられ、更にメモリ２７１が新たに設けられている以外は、図１１の被写体領域検出部１９１と基本的に同様の構成を有するので、その説明は省略する。
【０１９７】
また、背景情報抽出部２０１、メモリ２３、背景差分算出部２０２、および被写体確率算出部２０３の処理は、第６の実施の形態における場合と同様であるので、その説明は省略する。
【０１９８】
被写体確率算出部２０３は、上述した処理により各座標が被写体領域に含まれる確率Ｐｏｂｊ（ｉ，ｊ）を算出し、メモリ２０４に出力するとともに、必要に応じて、背景差分算出部２０２から入力された２値画像の画素値Ｂ（ｉ，ｊ）を補正し、補正後の２値画像の画素値Ｂ’（ｉ，ｊ）をメモリ２７１に出力する。
【０１９９】
背景補正部２７２は、後述する補正処理において、２値画像の画素値Ｂ’（ｉ，ｊ）のうち、補正対象の座標（ｉ，ｊ）の近傍の領域の画素値を必要とする。メモリ２７１は、全画面分の２値画像の画素値Ｂ’（ｉ，ｊ）を保存し、背景補正部２７２の処理のタイミングにあわせて、補正に必要となる２値画像の画素値Ｒ（ｉ，ｊ）を出力するか、もしくは、背景補正部２７２が、メモリ２７１から、画素値Ｒ（ｉ，ｊ）を読み出す。
【０２００】
補正対象の座標に対する近傍領域は、例えば、補正対象の座標（ｉ，ｊ）から所定の距離内の画素（すなわち、補正対象の座標（ｉ，ｊ）を中心とした所定の半径の円内の画素）であっても良いし、次の式（５４）に示されるように、予め設定された定数ｍで決められる正方形の形状の領域内の画素であっても良いし、ほかの方法で設定された領域内の画素であってもよい。
【数４８】

・・・（５４）
【０２０１】
以下、近傍領域内の座標を座標（ｉ’，ｊ’）とする。
【０２０２】
背景補正部２７２は、背景補正部２０６と同様に、メモリ２７１を介して被写体確率算出部２０３から入力された２値画像の画素値Ｂ’（ｉ，ｊ）において、その値が０である画素、すなわち、背景候補とみなされている画素についてのみ補正を実行する。
【０２０３】
また、背景補正部２７２が、座標（ｉ，ｊ）で示される画素が背景であるか、被写体であるかを判断する方法も、背景補正部２０６と同様であり、上述した式（４８）および式（４９）を用いて、対応する座標の画素が、背景であると仮定した場合に適当であると考えられる画素と、被写体であると仮定した場合に適当であると考えられる画素とを算出し、実際に入力された画素値Ｉ（ｉ，ｊ）が、どちらに近いかを比較することによって行われる。
【０２０４】
従って、この場合においても、第７の実施の形態と同様に、距離Ｄｂｇは算出可能であるが、被写体の推定画素値Ｉ’ｏｂｊ（ｉ，ｊ）に対応する画素値は与えられていない。従って、背景補正部２７２は、メモリ２７１、メモリ２０４およびメモリ２０５に保存されている対応する座標の近傍の情報を利用して、被写体の推定画素値Ｉ’ｏｂｊ（ｉ，ｊ）を算出する。
【０２０５】
図１７は、背景補正部２７２の更に詳細な構成を示すブロック図である。なお、図１３における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０２０６】
背景距離算出部２１１は、図１３を用いて説明した場合と同様に、現在処理中の画像データの画素値Ｉ（ｉ，ｊ）および平均値画像の画素値Ａｖｅ（ｉ，ｊ）の入力を受け、式（５０）を用いて、距離Ｄｂｇを算出し、補正部２１５に出力する。
【０２０７】
被写体距離算出部２８１は、メモリ２７１から供給される画素値Ｒ（ｉ，ｊ）、メモリ２０４から供給される、上述した近傍領域（例えば、式（５４）で示される領域）の被写体確率Ｐｏｂｊ（ｉ’，ｊ’）、およびメモリ２０５から供給される、上述した近傍領域の画素値Ｉ（ｉ’，ｊ’）を用いて、次の式（５５）乃至式（５７）より、背景の推定画素値Ｉ’ｂｇ（ｉ，ｊ）を求める。
【数４９】

・・・（５５）
【数５０】

・・・（５６）
【数５１】

・・・（５７）
【０２０８】
ここで、被写体距離算出部２８１は、必要な領域の座標に対応する被写体確率Ｐｏｂｊ（ｉ’，ｊ’）および画素値Ｉ（ｉ’，ｊ’）を、選択的にメモリ２０４およびメモリ２０５から読み出すようにしても良い。
【０２０９】
式（５５）乃至式（５７）は、座標（ｉ，ｊ）の画素の近傍領域内において、背景差分算出部２０２もしくは被写体確率算出部２０３において被写体であると判断された画素のみを選択して、選択された画素値を、対応する被写体確率で重み付けしたのち平均するものである。
【０２１０】
補正部２１５は、背景距離算出部２１１から供給された距離Ｄｂｇおよび被写体距離算出部２８１から供給された距離Ｄｏｂｊを用いて、図１３を用いて説明した場合と同様の処理により補正を実行し、生成された２値画像の画素Ｏ（ｉ，ｊ）を出力する。
【０２１１】
なお、第８の実施の形態においても、背景情報の抽出方法、および被写体確率Ｐｏｂｊ（ｉ，ｊ）の算出方法は、第６の実施の形態、もしくは第７の実施の形態において説明したいずれの方法を用いても良い。
【０２１２】
次に、本発明の第９の実施の形態について説明する。
【０２１３】
図１８は、本発明を適応した画像処理装置２９１の構成を示すブロック図である。なお、図１６における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０２１４】
すなわち、図１８の画像処理装置２９１は、被写体領域検出部２６１に代わって、被写体領域検出部３０１が設けられている以外は、図１６を用いて説明した場合と、基本的に同様の構成を有している。
【０２１５】
そして、被写体領域検出部３０１は、被写体確率算出部２０３に代わって、被写体確率算出部３１１が設けられ、新たにメモリ３１２が設けられている以外は、図１６を用いて説明した場合と、基本的に同様の構成を有している。被写体確率算出部３１１およびメモリ３１２以外については、第８の実施の形態と同様の処理が実行されるので、その説明は省略する。
【０２１６】
メモリ３１２には、背景差分算出部２０２で算出された２値画像の画素値Ｂ（ｉ，ｊ）が供給され、保存される。メモリ３１２は、被写体確率算出部３１１が実行する処理に合わせたタイミングで、保存している２値画像の画素値Ｂ（ｉ，ｊ）を被写体確率算出部３１１に出力するか、もしくは、被写体確率算出部３１１によって２値画像の画素値Ｂ（ｉ，ｊ）を読み出される。
【０２１７】
被写体確率算出部３１１は、メモリ３１２から必要な情報の入力を受け、もしくは、必要な情報を読み出し、次の式（５８）に示されるような非線形平滑化処理を施して、多値画像Ｍ（ｉ，ｊ）を生成する。
【数５２】

・・・（５８）
【０２１８】
ここで、Ｃ’は予め定められた定数であり、被写体である確率Ｐｏｂｊ（ｉ，ｊ）の値の精度を定めるものである。また、ｄｍｉｎは、図１９に示されるように、対応する座標の近傍においてＢ（ｉ’，ｊ’）＝１である最も近い画素（ｉ’，ｊ’）までの距離であり、次の式（５９）および式（６０）によって算出される。
【数５３】

・・・（５９）
【数５４】

・・・（６０）
ここで、係数Ｄは、ｄｍｉｎが取り得る最大の値として予め設定された値である。
【０２１９】
式（５８）によって生成された多値画像Ｍ（ｉ，ｊ）は、次の式（６１）によって正規化され、被写体確率Ｐｏｂｊ（ｉ，ｊ）としてメモリ２０４に出力される。
Ｐｏｂｊ（ｉ，ｊ）＝Ｍ（ｉ，ｊ）／Ｃ’・・・（６１）
【０２２０】
その他の処理については、第８の実施の形態を用いて説明した場合と同じであるので、その説明は省略する。
【０２２１】
なお、第９の実施の形態においては、背景情報の抽出方法、および被写体確率Ｐｏｂｊ（ｉ，ｊ）の算出方法は、第６の実施の形態乃至第８の実施の形態において説明したいずれの方法を用いても良い。
【０２２２】
以上説明した第１乃至第９の実施の形態において、背景情報抽出モードと被写体抽出モードとで実行されている処理は、それぞれ異なる組み合わせにより実行するようにしても良いことは言うまでもない。
【０２２３】
また、以上説明した全ての処理においては、背景情報抽出モードにおいて、背景画像を複数枚撮像して、背景情報を抽出するものとして説明したが、背景画像を１枚だけ撮像して、その背景画像の各座標の画素値を用いるようにすることにより、背景情報抽出モードの処理を簡略化するようにしても良い。
【０２２４】
上述した一連の処理は、ソフトウェアにより実行することもできる。そのソフトウェアは、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０２２５】
この記録媒体は、図１などに示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク３１（フロッピーディスクを含む）、光ディスク３２（CD-ROM（Compact Disk-Read Only Memory），DVD（Digital Versatile Disk)を含む)、光磁気ディスク３３（ＭＤ(Mini-Disk)を含む）、もしくは半導体メモリ３４などよりなるパッケージメディアなどにより構成される。
【０２２６】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２２７】
【発明の効果】
本発明によれば、背景差分法の簡便さを利用しつつ、ベイズ推定を用いることにより、正確に被写体領域を抽出することができる。
【図面の簡単な説明】
【図１】本発明を適応した画像処理装置の構成を示すブロック図である。
【図２】図１の背景情報抽出部の更に詳細な構成を示すブロック図である。
【図３】図１の被写体候補検出部の更に詳細な構成を示すブロック図である。
【図４】図１の被写体判定部の更に詳細な構成を示すブロック図である。
【図５】本発明を適応した画像処理装置の構成を示すブロック図である。
【図６】図５の背景情報抽出部の更に詳細な構成を示すブロック図である。
【図７】本発明を適応した画像処理装置の構成を示すブロック図である。
【図８】被写体領域以外の部分として選択する領域の例について説明するための図である。
【図９】本発明を適応した画像処理装置の構成を示すブロック図である。
【図１０】図９の被写体判定部の更に詳細な構成を示すブロック図である。
【図１１】本発明を適応した画像処理装置の構成を示すブロック図である。
【図１２】被写体確率の設定例について説明するためのブロック図である。
【図１３】図１１の背景補正部の更に詳細な構成を示すブロック図である。
【図１４】本発明を適応した画像処理装置の構成を示すブロック図である。
【図１５】平滑化の例について説明するための図である。
【図１６】本発明を適応した画像処理装置の構成を示すブロック図である。
【図１７】図１６の背景補正部の更に詳細な構成を示すブロック図である。
【図１８】本発明を適応した画像処理装置の構成を示すブロック図である。
【図１９】非線形平滑化処理について説明するための図である。
【図２０】２値画像と被写体確率の関係について説明するための図である。
【符号の説明】
１ 画像処理装置， １１ 撮像部， １２ 被写体領域検出部， １３ 制御部， ２１ スイッチ， ２２ 背景情報抽出部， ２３ メモリ， ２４ 被写体候補検出部， ２５ 被写体判定部， ４１ 最大値画像生成部， ４２最小値画像生成部， ４３ 平均値画像生成部， ５１ 閾値算出部， ５２２値化処理部， ６１ 背景条件確率検出部， ６２ ヒストグラム生成部，６３ 被写体条件確率検出部， ６４ 多値マスク生成部， ６５ 被写体／背景確率検出部， ６６ ベイズ推定演算部， ６７ 論理和演算部， ７１ 画像処理装置， ８１ 被写体領域検出部， ９１ 背景情報抽出部， １０１偏差画像生成部， １１１ 画像処理装置， １２１ 被写体領域検出部， １３１ 補正係数算出部， １３２ メモリ， １３３ 画素値補正部， １４１ 画像処理装置， １５１ 被写体領域検出部， １６１ 被写体判定部， １７１乃至１７３ メモリ， １８１ 画像処理装置， １９１ 被写体領域検出部， ２０１ 背景情報抽出部， ２０２ 背景差分算出部， ２０３ 被写体確率算出部， ２０４，２０５ メモリ， ２０６ 背景補正部， ２１１ 背景距離算出部， ２１２ 前画像距離算出部， ２１３ 重み算出部， ２１４ 被写体距離算出部， ２１５ 補正部， ２２１ 画像処理装置， ２３１被写体領域検出部， ２４１ 被写体確率算出部， ２４２ メモリ， ２５１ 画像処理装置， ２６１ 被写体領域検出部， ２７１ メモリ， ２７２背景補正部， ２８１ 被写体距離算出部， ２９１ 画像処理装置， ３０１ 被写体領域検出部， ３１１ 被写体確率算出部， ３１２ メモリ

Claims (22)

1. 背景を表す背景領域と被写体を表す被写体領域からなる対象画像から、前記被写体領域を抽出する画像処理装置において、
   前記背景領域のみからなる複数の背景画像それぞれの、対応する各画素の画素値の平均値を画素値とする平均値画像を少なくとも含む背景情報を生成する背景情報生成手段と、
   前記対象画像と前記平均値画像との、予め設定された設定領域における各画素の画素値どうしの差分絶対値が、予め決められた第１の閾値未満であって、
   前記対象画像と前記平均値画像との、前記設定領域における各画素の画素値が、いずれも、第２の閾値以上であって第３の閾値以下の、予め決められた範囲内に含まれるという条件
   を満たす状態で、前記対象画像上の前記設定領域の画素値の合計値を、前記平均値画像上の前記設定領域の画素値の合計値で除算して得られる補正係数を算出する補正係数算出手段と、
   前記補正係数に基づいて、前記対象画像を補正する補正手段と、
   補正後の前記対象画像、及び前記背景情報に基づいて、前記補正後の対象画像の各画素が、前記被写体領域の候補である被写体候補領域に対応するものであるか否かを表す被写体候補画像を生成する被写体候補画像生成手段と、
   前記補正後の対象画像、前記被写体候補画像、及び前記背景情報に基づき、ベイズ推定を用いて、前記補正後の対象画像から前記被写体領域を抽出する抽出手段と
   を備える画像処理装置。
2. 前記複数の背景画像の入力を受ける入力手段を更に備え、
   前記背景情報生成手段は、前記入力手段により受けられた前記複数の背景画像に基づいて、前記背景情報を生成する
   請求項１に記載の画像処理装置。
3. 前記背景情報生成手段は、前記複数の背景画像それぞれの、対応する各画素の画素値の最大値を画素値とする最大値画像も含む前記背景情報を生成する
   請求項２に記載の画像処理装置。
4. 前記背景情報生成手段は、前記複数の背景画像それぞれの、対応する各画素の画素値の最小値を画素値とする最小値画像も含む前記背景情報を生成する
   請求項３に記載の画像処理装置。
5. 前記被写体候補画像生成手段は、
   前記最大値画像の画素の画素値毎に、予め設定された第１の値を乗算して得られる上限閾値を算出する上限閾値算出手段と、
   前記最小値画像の画素の画素値毎に、予め設定された第２の値を乗算して得られる下限閾値を算出する下限閾値算出手段と、
   前記補正後の対象画像の画素の画素値が、
   前記補正後の対象画像の前記画素に対応する、前記最小値画像の前記画素の画素値に基づき算出された前記下限閾値以上であって、
   前記補正後の対象画像の前記画素に対応する、前記最大値画像の前記画素の画素値に基づき算出された前記上限閾値以下の範囲内に含まれない場合、
   前記補正後の対象画像の前記画素が前記被写体候補領域に対応するものであるものとして、前記被写体候補画像を生成する生成手段と
   を有する請求項４に記載の画像処理装置。
6. 前記背景情報生成手段は、前記複数の背景画像それぞれの、対応する各画素の画素値の標準偏差を画素値とする偏差画像も含む前記背景情報を生成する
   請求項２に記載の画像処理装置。
7. 前記被写体候補画像生成手段は、
   前記偏差画像の画素の画素値毎に、予め設定された第１の値を乗算して得られる積算結果を、前記偏差画像の前記画素に対応する、前記平均値画像の画素の画素値と加算して得られる上限閾値を算出する上限閾値算出手段と、
   前記偏差画像の画素の画素値毎に、予め設定された第２の値を乗算して得られる積算結果を、前記偏差画像の前記画素に対応する、前記平均値画像の画素の画素値から減算して得られる下限閾値を算出する下限閾値算出手段と、
   前記補正後の対象画像の画素の画素値が、
   前記補正後の対象画像の前記画素に対応する、前記平均値画像及び前記偏差画像の前記画素の画素値に基づき算出された前記下限閾値以上であって、
   前記補正後の対象画像の前記画素に対応する、前記平均値画像及び前記偏差画像の前記画素の画素値に基づき算出された前記上限閾値以下の範囲内に含まれない場合、
   前記補正後の対象画像の前記画素が前記被写体候補領域に対応するものであるものとして、前記被写体候補画像を生成する生成手段と
   を有する請求項６に記載の画像処理装置。
8. 前記補正手段は、前記対象画像と前記背景画像との撮像条件が異なる場合に、前記撮像条件が等しい場合に対応するように補正を行う
   請求項１に記載の画像処理装置。
9. 前記撮像条件とは、照明光の強度である
   請求項８に記載の画像処理装置。
10. 前記撮像条件とは、前記対象画像の撮像におけるカメラパラメータである
    請求項８に記載の画像処理装置。
11. 前記抽出手段は、前記補正後の対象画像から前記被写体領域を抽出することにより、前記補正後の対象画像の各画素が、前記被写体領域であるか否かを表す被写体画像を生成して出力する
    請求項１に記載の画像処理装置。
12. 前記抽出手段は、
    前記被写体候補画像に基づいて、前記補正後の対象画像の各画素毎に、前記画素が前記被写体領域の画素である第１の確率、及び前記画素が前記背景領域である第２の確率を算出する被写体背景確率算出手段と、
    前記補正後の対象画像に基づいて、前記補正後の対象画像の各画素毎に、前記画素が前記被写体領域の画素であるという条件の基で前記画素が出現する第３の確率を算出する被写体条件確率算出手段と、
    前記背景情報に基づいて、前記補正後の対象画像の各画素毎に、前記画素が前記背景領域の画素であるという条件の基で前画素が出現する第４の確率を算出する背景条件確率算出手段と、
    算出された前記第１乃至第４の確率に基づき、ベイズ推定を用いて、前記補正後の対象画像の各画素毎に、前記画素が前記被写体領域の画素である第５の確率を算出するベイズ推定算出手段と、
    算出された前記第５の確率が、予め設定された確率比較閾値よりも大きいか否かを判定する判定手段と、
    前記第５の確率が前記確率比較閾値以上であるか否かに応じて、前記第５の確率に対応する前記画素の画素値が異なる準被写体画像を生成する準被写体画像生成手段と、
    前記準被写体画像及び前記被写体候補画像に基づいて、前記準被写体画像に対してベイズ推定による補正を施して得られる前記被写体画像を算出して出力する出力手段と
    を有する請求項１１に記載の画像処理装置。
13. 前記出力手段は、前記準被写体画像の各画素のうち、前記確率比較閾値未満となる前記第５の確率に対応する画素の画素値に対して、前記ベイズ推定による補正を施して得られる前記被写体画像を算出して出力する
    請求項１２に記載の画像処理装置。
14. 前記抽出手段は、前記補正後の対象画像の各画素のうち、前記被写体候補画像上の前記被写体候補領域に対応する画素のヒストグラムを生成するヒストグラム生成手段を更に有し、
    前記被写体条件確率算出手段は、前記ヒストグラムにも基づいて、前記第３の確率を算出する
    請求項１２に記載の画像処理装置。
15. 前記被写体画像は、前記被写体領域と前記背景領域とで異なる画素値を有するものであり、
    前記被写体画像を記憶する記憶手段を更に備え、
    前記ヒストグラム生成手段は、前記補正後の対象画像の各画素のうち、前記記憶手段に記憶されている１つ前の時刻の前記被写体画像上の前記被写体領域に対応する画素のヒストグラムを生成する
    を備える請求項１４に記載の画像処理装置。
16. 前記被写体候補画像生成手段は、前記被写体候補画像として、前記被写体候補領域に対応する画素と、前記背景領域の候補である背景候補領域に対応する画素とで異なる値を有する２値画像を生成し、
    前記抽出手段は、前記２値画像を平滑化する平滑化手段を更に有し、
    前記被写体背景確率算出手段は、前記２値画像である前記被写体候補画像に基づいて、前記補正後の対象画像の各画素毎に、前記第１及び第２の確率を算出する
    請求項１２に記載の画像処理装置。
17. 前記背景情報生成手段は、前記背景画像が色情報を含む場合、前記色情報の成分毎に前記背景情報を生成する
    請求項１に記載の画像処理装置。
18. 前記被写体候補画像生成手段は、前記補正後の対象画像、及び前記色情報の成分毎に生成された前記背景情報に基づいて、前記被写体候補画像を生成する
    請求項１７に記載の画像処理装置。
19. 前記抽出手段は、前記補正後の対象画像、前記被写体候補画像、及び前記色情報の成分毎に生成された前記背景情報に基づき、ベイズ推定を用いて、前記補正後の対象画像から前記被写体領域を抽出する
    請求項１８に記載の画像処理装置。
20. 背景を表す背景領域と被写体を表す被写体領域からなる対象画像から、前記被写体領域を抽出する画像処理装置の画像処理方法において、
    前記画像処理装置による、
    前記背景領域のみからなる複数の背景画像それぞれの、対応する各画素の画素値の平均値を画素値とする平均値画像を少なくとも含む背景情報を生成する背景情報生成ステップと、
    前記対象画像と前記平均値画像との、予め設定された設定領域における各画素の画素値どうしの差分絶対値が、予め決められた第１の閾値未満であって、
    前記対象画像と前記平均値画像との、前記設定領域における各画素の画素値が、いずれも、第２の閾値以上であって第３の閾値以下の、予め決められた範囲内に含まれるという条件
    を満たす状態で、前記対象画像上の前記設定領域の画素値の合計値を、前記平均値画像上の前記設定領域の画素値の合計値で除算して得られる補正係数を算出する補正係数算出ステップと、
    前記補正係数に基づいて、前記対象画像を補正する補正ステップと、
    補正後の前記対象画像、及び前記背景情報に基づいて、前記補正後の対象画像の各画素が、前記被写体領域の候補である被写体候補領域に対応するものであるか否かを表す被写体候補画像を生成する被写体候補画像生成ステップと、
    前記補正後の対象画像、前記被写体候補画像、及び前記背景情報に基づき、ベイズ推定を用いて、前記補正後の対象画像から前記被写体領域を抽出する抽出ステップと
    を含む画像処理方法。
21. 背景を表す背景領域と被写体を表す被写体領域からなる対象画像から、前記被写体領域を抽出する画像処理装置を制御するコンピュータに、
    前記背景領域のみからなる複数の背景画像それぞれの、対応する各画素の画素値の平均値を画素値とする平均値画像を少なくとも含む背景情報を生成する背景情報生成ステップと、
    前記対象画像と前記平均値画像との、予め設定された設定領域における各画素の画素値どうしの差分絶対値が、予め決められた第１の閾値未満であって、
    前記対象画像と前記平均値画像との、前記設定領域における各画素の画素値が、いずれも、第２の閾値以上であって第３の閾値以下の、予め決められた範囲内に含まれるという条件
    を満たす状態で、前記対象画像上の前記設定領域の画素値の合計値を、前記平均値画像上の前記設定領域の画素値の合計値で除算して得られる補正係数を算出する補正係数算出ステップと、
    前記補正係数に基づいて、前記対象画像を補正する補正ステップと、
    補正後の前記対象画像、及び前記背景情報に基づいて、前記補正後の対象画像の各画素が、前記被写体領域の候補である被写体候補領域に対応するものであるか否かを表す被写体候補画像を生成する被写体候補画像生成ステップと、
    前記補正後の対象画像、前記被写体候補画像、及び前記背景情報に基づき、ベイズ推定を用いて、前記補正後の対象画像から前記被写体領域を抽出する抽出ステップと
    を含む処理を実行させるためのプログラムが記録されているコンピュータ読み取り可能な記録媒体。
22. 背景を表す背景領域と被写体を表す被写体領域からなる対象画像から、前記被写体領域を抽出する画像処理装置を制御するコンピュータに、
    前記背景領域のみからなる複数の背景画像それぞれの、対応する各画素の画素値の平均値を画素値とする平均値画像を少なくとも含む背景情報を生成する背景情報生成ステップと、
    前記対象画像と前記平均値画像との、予め設定された設定領域における各画素の画素値どうしの差分絶対値が、予め決められた第１の閾値未満であって、
    前記対象画像と前記平均値画像との、前記設定領域における各画素の画素値が、いずれも、第２の閾値以上であって第３の閾値以下の、予め決められた範囲内に含まれるという条件
    を満たす状態で、前記対象画像上の前記設定領域の画素値の合計値を、前記平均値画像上の前記設定領域の画素値の合計値で除算して得られる補正係数を算出する補正係数算出ステップと、
    前記補正係数に基づいて、前記対象画像を補正する補正ステップと、
    補正後の前記対象画像、及び前記背景情報に基づいて、前記補正後の対象画像の各画素が、前記被写体領域の候補である被写体候補領域に対応するものであるか否かを表す被写体候補画像を生成する被写体候補画像生成ステップと、
    前記補正後の対象画像、前記被写体候補画像、及び前記背景情報に基づき、ベイズ推定を用いて、前記補正後の対象画像から前記被写体領域を抽出する抽出ステップと
    を含む処理を実行させるためのプログラム。

Images