JP6720876B2 - 画像処理方法及び画像処理装置 - Google Patents

Description

本発明は画像処理装置、画像処理方法及び画像処理プログラム、特に画像の補正を行う画像処理装置、画像処理方法及び画像処理プログラムに関する。

画像中に含まれる対象の画像の抽出にあたり、背景差分と呼ばれる方法が広く知られ一般的に用いられる（非特許文献１参照）。この方法は、別々に用意した、入力画像（以下、ある対象について撮像した画像をいう。）と、入力画像中の前景（以下、入力画像中の対象の画像をいう。）を含めずに撮像した画像である背景画像を比較し、背景画像からの変動のある領域を前景と判定して抽出する方法である。

背景差分法の課題は、影などの発生による背景自体の変動も前景と判定して抽出するため、抽出精度が低い点である。

この課題に対し、抽出された対象及び影を含む領域を解析し、影領域を判別する方法が提案されている。最も基本的な方法としては、ある程度許容範囲の広い明度の変動評価と、許容範囲の狭い色味（例：色相，及び彩度，色差等）の変動評価を統合することで、影領域を除いた前景を抽出する方法が提案されている。この方法では、単一色照明環境を仮定し、影による背景の変動は、明度（輝度方向成分）にのみ発生するとしている。

例えば、非特許文献２では、明るさ（明度）と色味（色相，及び彩度）を分離して処理するためＨＳＶ（色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ）、明度（Ｖａｌｕｅ））色空間を用いている。

また非特許文献３では、ＲＧＢ（赤色、緑色、青色）の各チャネルの値を正規化することで色度（以下、ＲＧＢ値などから明るさを除去した相対的な値をいう。ここで、ＲＧＢ値とは、コンピュータ等の画面に色を表示する際に広く一般的に用いられているＲＧＢ値をいう。）を比較する方法も提案されている。

これらの方法は、単一色照明下で影の色が背景の色から変化しない場合には適用可能であるが、複数色照明下で影の色が背景の色と異なる色に変動する場合には適用できない点が課題である。
また、非特許文献４には、照明が直射光（Ｉｄ）及び拡散光（Ｉｓ）の二色性照明環境において、影は直射光が遮られて発生するものと捉え、直射光の照射強度の変動と画素値の変動の関係を学習する下記の方法が開示されている。

二色性照明環境下での背景及び影領域における照明成分を図１４に図示した。ここで、直射光の照射強度の変動は、重み係数α（０≦α≦１．０）で制御される。この時、同じ背景において、影の無い状態（背景）と、影になっている状態（影）における色情報（以下、ＲＧＢやＹＵＶ（輝度、青の色差、赤との色差）、ＨＳＶなどで表現される数値化された色の値をいう。）に作用する照明成分は、それぞれＩｄ＋Ｉｓ及びαＩｄ＋Ｉｓで表現される。図１５は、ＲＧＢ色空間において上記関係を表した説明図である。実線は学習によって得られた影の無い状態と影になっている状態の関係を表しており、この背景において、実線上もしくは実線付近に存在する場合には、影であると判定される。また、この実線からの距離が大きい入力画素値は前景と判別される。

また、本発明に関連して、非特許文献５及び非特許文献６には、太陽光モデルを利用するスペクトルの算出方法が開示されている。

ウィキペディア フリー百科事典、"背景差分"、［２０１４年１２月５日検索］、インターネット（ｈｔｔｐ：／／ｊａ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／％Ｅ８％８３％８Ｃ％Ｅ６％９９％ＡＦ％Ｅ５％Ｂ７％ＡＥ％Ｅ５％８８％８６） Ｒ． Ｃｕｃｃｈｉａｒａ， Ｍ． Ｐｉｃｃａｒｄｉａｎｄ Ａ． Ｐｒａｔｉ著"Ｄｅｔｅｃｔｉｎｇ ＭｏｖｉｎｇＯｂｊｅｃｔｓ， Ｇｈｏｓｔｓ， ａｎｄ Ｓｈａｄｏｗｓ ｉｎＶｉｄｅｏ Ｓｔｒｅａｍｓ"， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎＰａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ ＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅ， Ｖｏｌ．２５， Ｎｏ．１０，ｐｐ．１３３７−１３４２， Ｏｃｔ． ２００３． Ａ． Ｃａｖａｌｌａｒｏ， Ｅ． Ｓａｌｖａｄｏｒａｎｄ Ｔ． Ｅｂｒａｈｉｍｉ， "Ｓｈａｄｏｗ−ａｗａｒｅｏｂｊｅｃｔ−ｂａｓｅｄ ｖｉｄｅｏ ｐｒｏｃｅｓｓｉｎｇ"，ＩＥＥＥ Ｐｒｏｃ． Ｖｉｓ． Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓ．，Ｖｏｌ． １５２， Ｎｏ． ４， Ａｕｇｕｓｔ ２００５． Ｊ． Ｂ． Ｈｕａｎｇ ａｎｄ Ｃ． Ｓ．Ｃｈｅｎ， "Ｍｏｖｉｎｇ ｃａｓｔ ｓｈａｄｏｗ ｄｅｔｅｃｔｉｏｎｕｓｉｎｇ ｐｈｙｓｉｃｓ−ｂａｓｅｄ ｆｅａｔｕｒｅｓ"，Ｉｎ ＩＥＥＥＣｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄＰａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， ｐｐ．２３１０−２３１７，２００９． Ｒｉｃｈａｒｄ Ｅ． Ｂｉｒｄ ａｎｄ ＣａｒｏｌＲｉｏｒｄａｎ，"Ｓｉｍｐｌｅ Ｓｏｌａｒ Ｓｐｅｃｔｒａｌ Ｍｏｄｅｌｆｏｒ Ｄｉｒｅｃｔ ａｎｄ Ｄｉｆｆｕｓｅ Ｉｒｒａｄｉａｎｃｅ ｏｎＨｏｒｉｚｏｎｔａｌ ａｎｄ Ｔｉｌｔｅｄ Ｐｌａｎｅｓ ａｔ ｔｈｅＥａｒｔｈ’ｓ Ｓｕｒｆａｃｅ ｆｏｒ ＣｌｏｕｄｌｅｓｓＡｔｍｏｓｐｈｅｒｅｓ"，Ｊｏｕｒｎａｌ ｏｆ Ｃｌｉｍａｔｅ ａｎｄＡｐｐｌｉｅｄ Ｍｅｔｅｏｒｏｌｏｇｙ， Ｖｏｌ．２５，Ｎｏ．１，ｐｐ．８７−９７， Ｊａｎｕａｒｙ １９８６． Ｅｉｊｉ． Ｋａｎｅｋｏ， Ｍａｓａｔｏ Ｔｏｄａ，Ｈｉｒｏｆｕｍｉ Ａｏｋｉ ａｎｄ Ｍａｓａｔｏ Ｔｓｕｋａｄａ，"Ｄａｙｌｉｇｈｔ Ｓｐｅｃｔｒｕｍ Ｍｏｄｅｌ ｕｎｄｅｒ Ｗｅａｔｈｅｒ Ｃｏｎｄｉｔｉｏｎｓ ｆｒｏｍ Ｃｌｅａｒ Ｓｋｙ ｔｏＣｌｏｕｄｙ"， Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎＰａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＩＣＰＲ）， ｐｐ． １４３８−１４３５， ２０１２．

非特許文献２及び３に開示される方式は、単一色照明下を仮定しているため、他の照明の影響で影の色が背景の色から変化する場合には正しく影を判別できない。

また、非特許文献４に開示される方式は、屋外環境の太陽光のように色が変動する環境、つまり直射光及び拡散光のスペクトルが変動する場合には適用できない。例として、図１６に、直射光及び拡散光の色情報が学習時と異なる場合についての説明図を示す。ある照明環境で学習された関係は実線で表されるが、太陽光のように時間とともに、直射光及び拡散光の色相及び彩度が変化すると、背景及び影の色情報の関係は学習時の実線とは異なる特徴（ここでは、破線で示す。）で表現される。この場合、破線で表現される関係を新たに学習し直さない限りこの環境での影は正しく判別されない。つまり、本方式は、刻一刻と太陽光の直射光と拡散光のスペクトルが変動する屋外環境には適用できない。

さらに、直射光の照射強度の変動と画素値の変動の関係の学習において、影の状態となっている状態にもかかわらず、誤って影の無い状態として学習してしまうことが実運用上良く発生する。このように誤った学習データによる背景と影の関係は図１７に示すような関係になる。この状態で、影のない日向で撮影された入力画像が用いられると、入力画像を構成する部分について前景か影かの判別ができない。非特許文献４の方法では、誤学習によって影の判定精度が低下するためである。この方法において、判定精度を向上させるためには、学習セットを増やす方法が考えられるが、この場合には計算処理コストが多大になり実用が困難であるという問題が生じる。

本発明の目的は、上記課題を解決し、屋外で撮影された入力画像を用いた場合に、多大な計算処理コストを要することなしに、その入力画像に近い背景画像を算出することができる画像処理装置、画像処理方法及び画像処理プログラムを提供することにある。

本発明の画像処理装置は、入力画像を撮像した時刻と、前記入力画像を撮像した位置と、を用いて太陽光スペクトルを算出する太陽光スペクトル算出部を備える。本発明の画像処理装置は、さらに、前記入力画像と、前記太陽光スペクトルとを用いることにより前記入力画像に含まれる背景に近いことが算出される予測背景を算出する予測背景算出部と、前記予測背景を出力する予測背景出力部とを備える。

本発明の画像処理装置は、屋外で撮像された入力画像を用いた場合に、入力画像に近い背景画像を算出することができる。

第一実施形態の画像処理装置を表わす概念図である。 第二実施形態の画像処理装置の構成を表わす概念図である。 第三実施形態の画像処理装置を表わす概念図である。 尤度関数の形状例を表わす概念図である。 第三実施形態の画像処理装置における処理フローを表わす概念図である。 第四実施形態の画像処理装置における処理フローを表わす概念図である。 第四実施形態の画像処理装置の処理フローのバリエーションを表わす概念図（その１）である。 第四実施形態の画像処理装置の処理フローのバリエーションを表わす概念図（その２）である。 第五実施形態の画像処理装置の構成を表わす概念図である。 第五実施形態の画像処理装置の処理フローを表わす概念図（その１）である。 第五実施形態の画像処理装置の処理フローを表わす概念図（その２）である。 第五実施形態の画像処理装置の処理フローの第一のバリエーションを表わす概念図（その１）である。 第五実施形態の画像処理装置の処理フローの第一のバリエーションを表わす概念図（その２）である。 第五実施形態の画像処理装置の処理フローの第一のバリエーションを表わす概念図（その３）である。 第五実施形態の画像処理装置の処理フローの第二のバリエーションを表わす概念図である。 第七実施形態の画像処理装置を表す概念図である。 第七実施形態の画像処理装置の処理フローを表す概念図である。 二色性照明環境下での背景及び影領域における照明成分についての説明図である。 影の無い状態と、影になっている状態における色情報に作用する照明成分についての説明図である 直射光及び拡散光の色情報が学習時と異なる場合についての説明図である。 誤った学習データによる背景と影の関係を表わす説明図である。

以下、本発明の画像処理装置、画像処理方法及び画像処理プログラムについて、図を参照して、その実施をするための形態を説明する。なお、以下に説明する実施形態において、画像処理装置には、静止画像を処理する画像処理装置と、時刻の経過とともに変化する静止画像の集合ととらえることのできる動画像すなわち映像を処理する映像処理装置の両方が含まれるものとする。画像処理方法及び画像処理プログラムについても同様である。
＜第一実施形態＞
第一実施形態は、本発明の最小限の画像処理装置についての実施形態である。
［構成と動作］
図１は、本実施形態の画像処理装置１１の構成を表わす概念図である。

本実施形態の画像処理装置１１は、日時指定部１２１と、位置指定部１３１と、太陽光スペクトル算出部１６１と、予測背景算出部１８１と、予測背景出力部１９１とを備える。

日時指定部１２１は、太陽光スペクトル算出部１６１での太陽光スペクトルの算出に用いられる日時を指定する。当該日時は、入力画像を撮像した日時である。

指定された日時を含む信号は、以降の処理用の信号になり、太陽光スペクトル算出部１６１に送られる。

位置指定部１３１は、太陽光スペクトル算出部１６１での太陽光スペクトルの算出に用いられる位置を指定する。当該位置は、入力画像を撮像した地球上での位置である。指定された位置は、以降での処理用の信号に含められ、太陽光スペクトル算出部１６１に送られる。

太陽光スペクトル算出部１６１は、日時指定部１２１から送られた日時と、位置指定部１３１から送られた位置とを用いて、太陽光モデルを用いた方法により、太陽光スペクトルを算出する。太陽光スペクトル算出部１６１は、算出した太陽光スペクトルを含む信号を、予測背景算出部１８１に送る。

予測背景算出部１８１には、屋外で撮像された入力画像を含む信号（以下、「入力画像信号」という。）Ｖ_ｉｎが入力される。予測背景算出部１８１は、入力画像の色情報と、太陽光スペクトルとから、予測背景を算出する。ここで、予測背景とは、算出した太陽光スペクトルを適用することにより、最も実際の背景に近いことが算出され予測される画像をいい、以下においても同じである。予測背景算出部１８１は、算出した予測背景を予測背景出力部１９１に送る。

予測背景出力部１９１は、予測背景算出部１８１から送られた予測背景を含む信号を信号Ｖ_ｂｏｕｔとして出力する。
［効果］
本実施形態の画像処理装置は、入力画像に近い背景画像の色情報を予測するため太陽光スペクトルモデルを用いて太陽光の直射光及び拡散光の強度、色相、彩度を算出し、入力画像に近い背景画像を算出する。本実施形態の画像処理装置は、太陽光スペクトルモデルを用いることにより、太陽光による照明が時間の経過にともない変化する屋外環境でも、入力画像に近い背景画像を算出する。そのため、本実施形態の画像処理装置は、屋外で撮像した画像を用いた場合に、多大な計算処理コストを要することなしに、入力画像に近い背景画像を算出することができる。
＜第二実施形態＞
本実施形態は、別々に撮像された入力画像と背景画像とから、入力画像に近い背景画像を算出する、画像処理装置についての実施形態である。
［構成と動作］
図２は、本実施形態の画像処理装置１１の構成を表わす概念図である。

本実施形態の画像処理装置１１は、日時指定部１２１と、位置指定部１３１と、太陽光スペクトル算出部１６１と、背景画像入力部１１１と、入力画像入力部１７１と、予測背景算出部１８１と、予測背景出力部１９１とを備える。

日時指定部１２１は、太陽光スペクトル算出部１６１での太陽光スペクトルの算出に用いられる日時を指定する。当該日時は、背景画像及び入力画像を撮像した日時である。

指定された日時を含む信号は、以降の処理用の信号になり、太陽光スペクトル算出部１６１に送られる。

位置指定部１３１は、太陽光スペクトル算出部１６１での太陽光スペクトルの算出に用いられる位置を指定する。当該位置は、背景画像及び入力画像を撮像した地球上での位置である。指定された位置は、以降での処理用の信号に含められ、太陽光スペクトル算出部１６１に送られる。

太陽光スペクトル算出部１６１は、日時指定部１２１から送られた日時と、位置指定部１３１から送られた位置とを用いて、太陽光モデルを用いた方法により、太陽光スペクトルを算出する。太陽光スペクトル算出部１６１は、算出した太陽光スペクトルを含む信号を、予測背景算出部１８１に送る。

背景画像入力部１１１は、入力された、背景画像を含む信号（以下、「背景画像信号」という。）Ｖ_ｂｉｎを以降の処理用の信号にする。背景画像は屋外で撮像された画像である。その信号は、予測背景算出部１８１に送られる。

入力画像入力部１７１は、入力された、入力画像を含む信号（以下、「入力画像信号」という。）Ｖ_ｉｎを、以降の処理用の信号にする。その信号は、予測背景算出部１８１に送られる。入力画像は屋外で撮像された画像である。

予測背景算出部１８１は、背景画像入力部１１１から入力された背景画像の色情報と、太陽光スペクトルとから、予測背景を算出する。予測背景算出部１８１は、算出した予測背景を予測背景出力部１９１に送る。

予測背景出力部１９１は、予測背景算出部１８１から送られた予測背景を含む信号を信号Ｖ_ｂｏｕｔとして出力する。
［効果］
本実施形態の画像処理装置は、入力画像に近い背景画像の色情報を予測するため太陽光スペクトルモデルを用いて太陽光の直射光及び拡散光の強度、色相、彩度を算出し、入力画像に近い背景画像を算出する。本実施形態の画像処理装置は、それにより、刻々と太陽光による照明が変化する屋外環境でも、入力画像に近い背景画像を算出する。そのため、本実施形態の画像処理装置は、屋外で撮像した画像を用いた場合に、多大な計算処理コストを要することなしに、入力画像に近い背景画像を算出することができる。
＜第三実施形態＞
第三実施形態は、入力画像を構成する画素についてその画素が前景である尤もらしさを評価する画像処理装置についての実施形態である。
［構成と動作］
図３は、本実施形態の画像処理装置の構成を表わす概念図である。

本実施形態の画像処理装置１２は、日時指定部１２２と、位置指定部１３２と、太陽光スペクトル算出部１６２と、背景画像入力部１１２と、入力画像入力部１７２と、予測背景算出部１８２と、評価部３２２と、評価出力部３５２とを備える。

日時指定部１２２は、太陽光スペクトル算出部１６２での太陽光スペクトルの算出に用いられる日時を指定する。当該日時は、背景画像及び入力画像を撮像した日時である。背景画像と入力画像とでは撮像時刻が異なることもあり得るが、その場合は、背景画像の撮像時刻と入力画像の撮像時刻との２つの時刻から算出もしくは選択した値を用いる。例えば背景画像の撮像時刻と入力画像の撮像時刻との２つの時刻の平均を算出した値を用いるか、背景画像の撮像時刻と入力画像の撮像時刻とのいずれかの時刻を用いる等をする。指定された日時を含む信号は、以降の処理用の信号になり、太陽光スペクトル算出部１６２に送られる。

位置指定部１３２は、太陽光スペクトル算出部１６２での太陽光スペクトルの算出に用いられる位置を指定する。この位置は、背景画像及び入力画像を撮像した地球上での位置である。指定された位置は、以降での処理用の信号に含められ、太陽光スペクトル算出部１６２に送られる。

太陽光スペクトル算出部１６２は、日時指定部１２２から送られた日時と、位置指定部１３２から送られた位置とを用いて、太陽光モデルを用いた方法により、太陽光スペクトルを算出する。当該算出は、予め作成した太陽光スペクトルのデータベースからの導出であってもよい。太陽光スペクトル算出部１６２は、算出した太陽光スペクトルを含む信号を、予測背景算出部１８２に送る。

背景画像入力部１１２は、入力された、背景画像信号Ｖ_ｂｉｎを以降の処理用の信号にする。背景画像は屋外で撮像される。その信号は、予測背景算出部１８２に送られる。

入力画像入力部１７２は、入力された入力画像信号Ｖ_ｉｎを、以降の処理用の信号にする。入力画像は屋外で撮像される。その信号は、予測背景算出部１８２に送られる。

予測背景算出部１８２は、太陽光スペクトル算出部１６２から送られた太陽光スペクトルと、背景画像のうちのある１画素についての色情報と、入力画像のうちの前記画素に対応する画素についての色情報とから、その座標についての予測背景を算出する。ここで、背景画像は背景画像入力部１１２から送られたものであり、入力画像は入力画像入力部１７２から送られたものである。予測背景算出部１８２は、算出したその画素についての予測背景を、評価部３２２に送る。予測背景を評価部３２２やその他に出力するために、図示しない予測背景出力部を別途設けることもできる。

評価部３２２は、前述の画素についての予測背景を用いて、その画素に相当する入力画像中の画素について、入力画像を評価する。その評価結果を含む信号は評価出力部３５２に送られる。

評価出力部３５２は、評価部３２２から送られた評価を含む信号Ｎ_ｏｕｔを出力する。

ここで、背景画像と入力画像とは、ほぼ同じ日時に撮像されるものとする。そのため、日時指定部１２２が指定する日時は、１対の背景画像及び入力画像に対して１つである。日時指定部１２２における日時の指定は、日時指定部１２２の外部からの入力によっても、日時指定部１２２が備える図示しない記憶部に記憶された情報によっても構わない。

背景画像入力部１１２から入力される背景画像と、入力画像入力部１７２から入力される入力画像とは、同じ場所で撮像されるものとする。そのため、位置指定部１３２が指定する位置は、１対の背景画像及び入力画像に対して１つである。位置としては、典型的には、緯度と経度を用いることができる。位置指定部１３２における位置の指定は、位置指定部１３２の外部からの入力によっても、位置指定部１３２が備える図示しない記憶部に記憶された情報によっても構わない。

太陽光スペクトル算出部１６２における太陽光スペクトルの算出は以下のように行う。

まず、太陽光スペクトル算出部１６２は、入力された日時と位置から晴天時の太陽光の直射光Ｉ_ｄ及び拡散光Ｉ_Ｓのスペクトルを算出する。太陽光スペクトル算出部１６２は、このスペクトルの計算に、例えば、非特許文献５及び非特許文献６に記載された太陽光モデルを利用することができる。太陽光スペクトル算出部１６２は、この太陽光モデルを用いて、入力された日時と位置情報から太陽天頂角を算出する。太陽光スペクトル算出部１６２は、この太陽天頂角から、大気圏外から入射する太陽光が大気内を透過する光路を得て、太陽光の直射光と拡散光のそれぞれのスペクトルを算出する。さらに、太陽光スペクトル算出部１６２は、算出したスペクトルを、例えばＲＧＢ空間における各チャネルの色情報に変換する。太陽光スペクトル算出部１６２は、これらをそれぞれ

とする。

予測背景算出部１８２は、予測背景の算出を、太陽光スペクトル算出部１６２から入力された現時刻での入力画像、背景画像及び太陽の直射光・拡散光の色情報

を用いて、背景画像を構成する画素について、入力画像に最も近くなる色情報（以下、「予測背景色」という。）を算出することにより行う。

予測背景算出部１８２は、まず、入力画像中のある画素（以下、「入力画像画素」という。）と背景画像中のその画素に相当する位置の画素（以下、「背景画像画素」）の色情報を比較する。そして、予測背景算出部１８２は、入力画像画素の色情報は背景画像画素の色情報から太陽光の変動の影響によって変動したことを仮定する。予測背景算出部１８２は、この仮定のもとで、太陽光による照明の影響によって背景画像画素の色情報が変動した場合に、入力画像画素の色情報と最も近くなる色情報（以下、「予測背景色情報」という。）を算出する。

以下、予測背景を構成する画素を「予測背景画素」ということにする。

予測背景算出部１８２は、具体的には、予測背景画素の色情報は以下のように算出する。予測背景算出部１８２は、直射光の強度は変動し、拡散光の強度は変動しないことを仮定する。

予測背景算出部１８２は、色情報としては種々の表現により表わされたものを用いることができる。ここでは理解容易のため、予測背景算出部１８２が、色情報として一般的に広く用いられているＲＧＢ値を用いた場合を例に説明する。

撮影シーンにおける直射光及び環境光のＲＧＢ値Ｌ_ｄ及びＬ_Ｓは、前記太陽光スペクトル算出部１６２で算出した晴天時の直射光Ｉ_ｄ及び拡散光Ｉ_Ｓを用いて次のように表現される。

ここで、ｉはＲＧＢ色空間でのチャネルＲ，Ｇ，Ｂのいずれか、ｐ，ｑ及びｌは直射光又は拡散光の強度を表す係数である。

背景のＲＧＢ値Ｂ^ｉ及び予測背景のＲＧＢ値Ｓ^ｉは、前記太陽光スペクトル算出部１６２で算出した直射光Ｉ_ｄ及び拡散光Ｉ_Ｓを用いて、次のように表現される。

ここで、ｒ^ｉはチャネルｉに対する床面の反射率を表す。

式（３）及び（４）より、背景のＲＧＢ値Ｂ^ｉと予測背景のＲＧＢ値Ｓ^ｉには以下のような関係が成り立つ。

ここで、ｍ＝（ｐ＋ｑ）／ｌ、ｎ＝ｑ／ｌである。また、ｍとｎは未知、その他の項は既知である。予測背景算出部１８２は、入力画像のＲＧＢ値Ｃ^ｉと、予測背景のＲＧＢ値Ｓ^ｉとの差分が最小になるようにパラメータｍ、ｎを設定する。予測背景算出部１８２は、パラメータｍ、ｎを設定するために、次式で与えられるエネルギー関数Ｅを最小化するｍ、ｎを導出することができる。

ＲＧＢ空間を用いる場合、Ｇチャネルの値が、一般的な撮像装置において最も感度が高く、明るさを最もよく表現するため、Ｇチャンネルにおいて予測背景と入力画像とは明るさが等しいことを仮定する。すなわちＣ^Ｇ＝Ｓ^Ｇとおく。Ｃ^Ｇ＝Ｓ^Ｇを式（６）に代入すると次のようになる。

式（７）の右辺の中括弧内を変形すると式（７）は以下のようになる。

また、Ｃ^Ｇ＝Ｓ^Ｇの仮定より、次式が成り立つ。

従い、次のようにｍをｎで表現できる。

式（８）の右辺中カッコ内を最適化するにあたり、予測背景算出部１８２は、式（８）の右辺中かっこ内の第１項と第２項の分母をそれぞれ払った以下に表わすＥ′の最適化を行う。Ｅ′の最適化を行う場合においても、予測背景算出部１８２は、式（８）の右辺中かっこ内の最適化を十分に行うことができると考えられる。

式（１０）を式（１１）に代入すると、次式が得られる。

Ｅ’はｎについての下に凸な２次関数であるため、微分した値が０になるｎ_０がｎの定義域内に存在すれば、ｎ_０が最小値を与えるｎである。予測背景算出部１８２は、微分した値が０になるｎがｎの定義域内に無い場合には、あらかじめ設定した下限値をｎとする。Ｅ’のｎについての１次微分Ｅ’（ｎ）が０になるｎを算出することにより、予測背景算出部１８２は次式を得る。

予測背景算出部１８２は、式（１３）に表されたｎを式（１０）に代入することでｍを得る。予測背景算出部１８２は、上記のように算出したｍ、ｎを式（５）に代入することで、その予測背景画素についてのＲＧＢ値Ｓを得る。

評価部３２２は、入力画像を構成する各画素が前景であるかの評価を、以下のように行う。この評価による評価結果を、以下において、単に「評価結果」ということにする。

まずは、評価結果が、入力画像画素の規格化されたＲＧＢ値と、その画素に対応する予測背景画素の規格化された色度との差（以下、「差分」という。）を用いた評価結果である場合について説明する。

評価部３２２は、まず、予測背景算出部１８２が算出した差分についての算出を行う。

評価部３２２は、予測背景算出部１８２が算出した差分を用いて、例えば、次のように正規化したＲＧＢ値の差分を求める。入力画像のＲＧＢ値の和をｓｕｍＣ、予測背景色のＲＧＢ値の和をｓｕｍＳと表記すると、次式が成り立つ。

入力画像及び予測背景のＲＧＢ値をｓｕｍＣ及びｓｕｍＳで正規化した値を_ｎｏｒｍＣ^Ｒ、_ｎｏｒｍＣ^Ｇ、_ｎｏｒｍＣ^Ｂ、_ｎｏｒｍＳ^Ｒ、_ｎｏｒｍＳ^Ｇ、_ｎｏｒｍＳ^Ｂとすると、次式が成り立つ。

差分ｄ^Ｒ，ｄ^Ｇ及びｄ^Ｂは次のように定義することができる。

差分ｄ^Ｒ，ｄ^Ｇ及びｄ^Ｂが、評価部３２２が求める評価結果である。差分ｄ^Ｒ，ｄ^Ｇ及びｄ^Ｂの値が小さいほど、その画素についての、前景である尤もらしさについての評価が高いことを意味する。

評価部３２２は、これらの評価結果を、そのまま評価結果としてもよいし、加工して評価結果とすることもできる。

加工する方法としては、例えば、これらの内の１又は２を選択する方法やこれらから選択した２又はこれら３に対して演算を行い、評価結果とする方法があり得る。以下は、評価結果の例示である。

差分ｄ^Ｒ，ｄ^Ｇ及びｄ^Ｂから一つを選択した場合 ｄ^Ｒ，ｄ^Ｇ、ｄ^Ｂ
差分ｄ^Ｒ，ｄ^Ｇ及びｄ^Ｂから二つを選択した場合 ｄ^Ｒとｄ^Ｂ等
差分ｄ^Ｒ，ｄ^Ｇ及びｄ^Ｂから選択した二つを足し合わせた場合 ｄ^Ｒ＋ｄ^Ｂ等
差分ｄ^Ｒ，ｄ^Ｇ及びｄ^Ｂの三つを足し合わせた場合 ｄ^Ｒ＋ｄ^Ｇ＋ｄ^Ｂ
差分ｄ^Ｒ，ｄ^Ｇ及びｄ^Ｂから選択した二つをかけ合わせた場合 ｄ^Ｒ×ｄ^Ｂ等
差分ｄ^Ｒ，ｄ^Ｇ及びｄ^Ｂの三つを掛け合わせた場合 ｄ^Ｒ×ｄ^Ｇ×ｄ^Ｂ
評価部３２２は、評価結果として、次に説明するように、尤度関数により求めた尤度を用いることもできる。

尤度関数ｆ（ｄ）は、差分ｄ^ｉ（ｉ＝Ｒ，Ｇ，Ｂ）が０のとき１をとり、差分ｄ^ｉが大きくなるにつれて０に漸近し、ある差分ｄ^ｉで０をとり、かつ値域が０以上１以下であるような関数である。尤度関数ｆ（ｄ）は、例えば、次のような尤度関数ｆ_１（ｄ^ｉ）が定義される。

ここで、ｄ^ｉは評価部３２２が算出した差分、ａは正の値をとるパラメータである。評価部３２２は、ａとして適当な値を設定する。尤度関数ｆ_１（ｄ^ｉ）は例えば図４（ａ）に示すような形状になる。

評価部３２２は、尤度関数として、式（１８）で表される一次関数のほかに、図４（ｂ）に示すような形状の尤度関数ｆ_２（ｄ^ｉ）を用いることもできる。

評価部３２２は、ｄ^Ｒ，ｄ^Ｇ及びｄ^Ｂに対する尤度ｆ（ｄ^Ｒ），ｆ（ｄ^Ｇ）及びｆ（ｄ^Ｂ）をそれぞれ算出する。

評価部３２２は、算出した尤度を、そのまま評価結果としてもよいし、算出した尤度を加工して得た値を評価結果としてもよい。

評価部３２２は、尤度を加工する方法として、例えば、尤度の内の１又は２を選択する方法や尤度から選択した２又はこれら３に対して演算を行い、演算結果を評価結果とすることができる。上記選択及び演算の例の説明は、評価結果として差分を用いた場合と同様であるので、省略する。
［処理フロー］
図５は、本実施形態の画像処理装置における処理フローを表わす概念図である。

日時指定部１２２は、太陽光スペクトル算出部１６２での太陽光スペクトルの算出に用いられる日時を指定する（Ｓ２０１）。日時指定部１２２は、さらに、指定された日時を含む信号Ｖａを太陽光スペクトル算出部１６２に送る。

位置指定部１３２は、太陽光スペクトル算出部１６２での太陽光スペクトルの算出に用いられる位置を指定する（Ｓ２０２）。位置指定部１３２は、さらに、指定された位置を含む信号Ｖｂを、太陽光スペクトル算出部１６２に送る。

太陽光スペクトル算出部１６２は、日時指定部１２２から送られた日時と、位置指定部１３２から送られた位置とを用いて、太陽光モデルを用いた方法により、太陽光スペクトルを算出する（Ｓ２０３）。太陽光スペクトル算出部１６２は、算出した太陽光スペクトルを含む信号Ｖｃを、予測背景算出部１８２に送る。

背景画像入力部１１２は、太陽光スペクトル算出部１６２から送られた、背景画像を含む信号Ｖ_ｂｉｎを背景画像を含む信号Ｖｄにし、予測背景算出部１８２に送る（Ｓ２０４）。

入力画像入力部１７２は、入力された入力画像信号Ｖ_ｉｎを、入力された入力画像を含む信号Ｖｅにし、予測背景算出部１８２に送る（Ｓ２０５）。

予測背景算出部１８２は、太陽光スペクトル算出部１６２から送られた太陽光スペクトルと、背景画像入力部１１２から送られた背景画像のうち、ある１画素について次を行う。すなわち、予測背景算出部１８２は、その色情報と、入力画像入力部１７２から送られた入力画像のうち、前記画素に対応する画素についての色情報とから、その座標についての予測背景を、前述の方法により算出する（Ｓ２０６）。予測背景算出部１８２は、算出した、その画素についての予測背景を含む信号Ｖｆを評価部３２２に送る。

評価部３２２は、前述の画素についての予測背景を用いて、その画素に相当する入力画像中の画素について、前述の方法により入力画像を評価する（Ｓ２０７）。評価部３２２は、その評価結果を含む信号Ｖｇを評価出力部３５２に送る。

評価出力部３５２は、評価部３２２から送られた評価結果を出力する（Ｓ２０８）。
［効果の説明］
本実施形態の画像処理装置は、まず、第二実施形態の画像処理装置と同じ効果を奏する。

本実施形態の画像処理装置は、それに加えて、屋外で撮像した入力画像について、入力画像に含まれる部分が前景であることの尤もらしさを評価することができる。
［第四実施形態］
第四実施形態の画像処理装置は、第三実施形態の画像処理装置の構成を用いて、入力画像を構成する画素のうち対象とする全画素について、その画素が前景であることを評価する、画像処理装置に関する実施形態である。
［構成と動作］
本実施形態画像処理装置の構成及び各構成要素の動作の説明は、第三実施形態の画像処理装置についての説明と同じであるので、省略する。
［処理フロー］
以下、第三実施形態の画像処理装置の、図３にその概念を表わした構成及び同図に関して説明した構成要素の動作を前提に、本実施形態の画像処理装置における処理フローを説明する。

図６は、図３に表した画像処理装置１２の処理フローを表わす概念図である。

日時指定部１２２は、太陽光スペクトル算出部１６２での太陽光スペクトルの算出に用いられる日時を指定する（Ｓ３０１）。日時指定部１２２は、さらに、指定された日時を含む信号を以降の処理用の信号にし、太陽光スペクトル算出部１６２に送る。

位置指定部１３２は、太陽光スペクトル算出部１６２での太陽光スペクトルの算出に用いられる位置を指定する（Ｓ３０２）。位置指定部１３２は、さらに、指定された位置を以降での処理用の信号にし、太陽光スペクトル算出部１６２に送る。

太陽光スペクトル算出部１６２は、日時指定部１２２から送られた日時と、位置指定部１３２から送られた位置とを用いて、太陽光モデルを用いた方法により、太陽光スペクトルを算出する（Ｓ３０３）。太陽光スペクトル算出部１６２は、算出した太陽光スペクトルを含む信号を、予測背景算出部１８２に送る。

背景画像入力部１１２は、太陽光スペクトル算出部１６２から入力された、背景画像を含む信号Ｖｂを以降の処理用の信号Ｖａにし、予測背景算出部１８２に送る（Ｓ３０４）。

入力画像入力部１７２は、入力された入力画像信号Ｖ_ｉｎを、以降の処理用の信号にし、予測背景算出部１８２に送る（Ｓ３０５）。

次に、予測背景算出部１８２は、背景画像入力部１１２から送られた背景画像のうち、ある１画素について注目する（Ｓ３０６）。

予測背景算出部１８２は、太陽光スペクトル算出部１６２から送られた太陽光スペクトルと、前記背景画像の１画素についての色情報と、入力画像のうちの前記画素に対応する画素についての色情報とから、その座標についての予測背景を算出する（Ｓ３０７）。

予測背景算出部１８２は、算出した、その画素についての予測背景を評価部３２２に出力する（Ｓ３０８）。

次に、評価部３２２は、予測背景算出部１８２から入力された、画素についての予測背景を用いて、その画素に相当する入力画像中の画素について、入力画像を評価する（Ｓ３０９）。

そして、評価部３２２は、図示しない記憶部に、その評価結果を記憶する（Ｓ３１０）。

次に、予測背景算出部１８２は、評価結果が未記憶の、背景画像の評価対象画素があるかを判定する（Ｓ３１１）。予測背景算出部１８２以外の構成が、評価結果が未記憶の、背景画像の評価対象画素があるかを判定を行ってもよい。

Ｓ３１１において、評価結果が未記憶の評価対象画素があると判定する場合（Ｓ３１１のＹｅｓの場合）には、予測背景算出部１８２は、それらの内の１画素に注目し、その画素についてＳ３０７以降の処理を行う（Ｓ３１２）。

Ｓ３１１において、評価結果が未記憶の評価対象画素があると判定しない場合（Ｓ３１１のＮｏの場合）には、Ｓ３１３に進む。

評価出力部３５２は、対象とするすべての背景画素に相当する入力画像中の画素について、その評価結果を出力する（Ｓ３１３）。

図７Ａ及び図７Ｂは、本実施形態の画像処理装置の処理フローのバリエーションを表わす概念図である。

同図中のＳ３０１乃至Ｓ３１２についての説明は、図６の同じ番号で示したステップについての説明と同様であるので、省略する。

図６の例では、画像処理装置１２は、Ｓ３１１の処理を行ってから、次の画素についてＳ３０７乃至Ｓ３１０の処理を行う。

一方、図７Ａ及び図７Ｂの例では、画像処理装置１２は、Ｓ３３１において予測背景が未記憶の評価対象画素があるかについて判定する（Ｓ３３１）。

画像処理装置１２は、Ｓ３３１において、未記憶の評価対象画素があると判定した場合（Ｓ３３１のＹｅｓの場合）には、予測背景が未記憶の次の評価対象画素に着目する（Ｓ３３２）。

そして、画像処理装置１２は、Ｓ３０７及びＳ３０８の処理を行う。

一方、画像処理装置１２は、Ｓ３３１において、未記憶の評価対象画素があると判定しなかった場合（Ｓ３３１のＮｏの場合）には、Ｓ３３３に進む。

そして、対象とする画素すべてについて予測背景を出力する（Ｓ３３３）。

さらに、本図の例では、画像処理装置１２は、Ｓ３３３の後に、あらためてある画素に注目する（Ｓ３３４）。

そして、画像処理装置１２は、Ｓ３３４において注目した画素についてＳ３０９とＳ３１１の処理を行う。

そして画像処理装置１２は、Ｓ３１１において評価結果が未記憶の評価対象画素があると判定した場合（Ｓ３１１のＹｅｓの場合）は、Ｓ３３５において、次の、評価結果が未記憶の評価対象画素に着目し、Ｓ３０９に移行する（図６の例はＳ３０７に移行）。
［効果の説明］
本実施形態の画像処理装置は、第三実施形態の画像処理装置と同じ効果を奏する。

それに加えて、本実施形態の画像処理装置は、入力画像中の対象とするすべての画素について、前景であることの尤もらしさを求めることができる。
［第五実施形態］
本実施形態は、評価結果を用いて、入力画像から前景を抽出する画像処理装置に関する実施形態である。
［構成と動作］
図８は、本実施形態の画像処理装置１４の構成を表わす概念図である。

本実施形態の画像処理装置１４は、日時指定部１２２と、位置指定部１３２と、太陽光スペクトル算出部１６２と、背景画像入力部１１２と、を備える。画像処理装置１４は、さらに、入力画像入力部１７２と、予測背景算出部１８２と、評価部３２２と、前景画像分離部３８４と、前景画像出力部３９４とを備える。

同図において点線で囲んだ条件指定部３１４、前景画像分離部３８４及び前景画像出力部３９４が、本実施形態の特徴箇所である。各構成についての上記以外の説明は、本実施形態において説明する内容を除いて、第三実施形態の場合と同じであるので、省略する。

評価部３２２は、評価結果を含む信号を前景画像分離部３８４に送る。

条件指定部３１４は、前景画像分離部３８４で評価結果の判定に用いる条件を指定し、以降の処理用の信号にする。

前景画像分離部３８４は、評価部３２２から送られた評価結果をもとに、入力画像入力部１７２から直接あるいは予測背景算出部１８２を通して送られた入力画像から前景画像を抽出する。前景画像分離部３８４は、抽出した前景画像を含む信号を前景画像出力部３９４に送る。

前景画像出力部３９４は、前景画像分離部３８４から送られた前景画像を含む信号Ｖ_ｇｏｕｔを出力する。

条件指定部３１４で指定される、前景画像分離部３８４で評価結果の判定に用いる条件は、前景画像分離部３８４で前景画像の分離に用いる評価部３２２での評価結果のタイプにより適宜定められる。指定される条件は、条件指定部３１４の外部から入力されても、条件指定部３１４が備える図示しない記憶部に入力されている情報でもよい。

前景画像分離部３８４は、入力画像の各画素について、その画素の評価結果が条件指定部３１４から送られた条件に合致する場合には、その画素について前景画像と同じ色情報を記憶する。前景画像分離部３８４は、入力画像の各画素について、その画素の評価結果が条件指定部３１４から送られた条件に合致しない場合には、その画素について色情報を記憶しない。その動作を以下に例示する。

例１・・・入力画像のある画素についての評価結果が尤度ｆ（ｄ^Ｒ）であり、条件が、尤度ｆ（ｄ^Ｒ）がＡ以下である場合の例である。尤度ｆ（ｄ^Ｒ）がＡ以下であるときに、前景画像分離部３８４は前記画素の色情報と同じ色情報を記憶する。前景画像分離部３８４は、尤度ｆ（ｄ^Ｒ）がＡより大きいときには、色情報を記憶しない。

例２・・・入力画像のある画素についての評価結果が尤度ｆ（ｄ^Ｒ）と尤度ｆ（ｄ^Ｂ）であり、条件が尤度ｆ（ｄ^Ｒ）についてＡ以下かつ尤度ｆ（ｄ^Ｂ）についてＢ以下である場合の例である。前記条件に合う場合に、前景画像分離部３８４は入力画像のその画素と同じ色情報を記憶する。前景画像分離部３８４は、尤度ｆ（ｄ^Ｒ）についてＡより大きいか尤度ｆ（ｄ^Ｂ）についてＢより大きいかのいずれかの場合には、色情報を記憶しない。

例３・・・入力画像のある画素についての評価結果が尤度ｆ（ｄ^Ｒ）と尤度ｆ（ｄ^Ｂ）と尤度ｆ（ｄ^Ｇ）であり、条件が尤度ｆ（ｄ^Ｒ）はＡ以下かつ尤度ｆ（ｄ^Ｂ）はＢ以下かつｆ（ｄ^Ｇ）はＣ以下である場合の例である。前景画像分離部３８４は、前記条件に合う場合に、入力画像のその画素と同じ色情報を記憶する。前景画像分離部３８４は、尤度ｆ（ｄ^Ｒ）がＡより大きいか尤度ｆ（ｄ^Ｂ）がＢより大きいか尤度ｆ（ｄ^Ｇ）がＣより大きいかのいずれかの場合には、色情報を記憶しない。

例４・・・入力画像のある画素についての評価結果が尤度ｆ（ｄ^Ｒ）と尤度ｆ（ｄ^Ｂ）の積であり、条件が尤度ｆ（ｄ^Ｒ）と尤度ｆ（ｄ^Ｂ）の積がｄ以下である場合の例である。前景画像分離部３８４は、前記条件に合う場合に、入力画像のその画素と同じ色情報を記憶する。前景画像分離部３８４は、尤度ｆ（ｄ^Ｒ）と尤度ｆ（ｄ^Ｂ）の積がｄより大きい場合には色情報を記憶しない。

例５・・・入力画像のある画素の評価結果が尤度ｆ（ｄ^Ｒ）と尤度ｆ（ｄ^Ｂ）と尤度ｆ（ｄ^Ｇ）の積で、条件が尤度ｆ（ｄ^Ｒ）と尤度ｆ（ｄ^Ｂ）と尤度ｆ（ｄ^Ｇ）の積がｅ以下である場合の例である。前景画像分離部３８４は、前記条件に合う場合に入力画像のその画素と同じ色情報を記憶する。前景画像分離部３８４は、尤度ｆ（ｄ^Ｒ）と尤度ｆ（ｄ^Ｂ）と尤度ｆ（ｄ^Ｇ）の積がｅより大きい場合には色情報を記憶しない。

評価結果として、尤度ではなく差分ｄ^Ｒ、ｄ^Ｂ、ｄ^Ｇを用いる場合の説明は、上記例１乃至例５の説明において、尤度ｆ（ｄ^Ｒ）を差分ｄ^Ｒと、尤度ｆ（ｄ^Ｂ）を差分ｄ^Ｂと、尤度ｆ（ｄ^Ｇ）を差分ｄ^Ｇとそれぞれ置き換えたものになる。
［処理フロー］
図９Ａ及び図９Ｂは、本実施形態の画像処理装置１４の処理フローを表わす概念図である。

画像処理装置１４は、第四実施形態の図６にその概念図を表わした処理フローの後に、Ｓ４０１以降の処理を行う。同図において、Ｓ３０１乃至Ｓ３１２の処理についての説明は、図６についての同じ番号で表した処理についての説明と同様である。

まず、条件指定部３１４は、前景画像分離部３８４で評価結果の判定に用いる条件を指定し、以降の処理用の信号にする（Ｓ４０１）。

次に、前景画像分離部３８４は、入力画像入力部１７２から直接あるいは予測背景算出部１８２を通して送られた入力画像のある画素に注目し、その画素について以降の処理を行うことを決定する（Ｓ４０２）。ただし、この決定は、前景画像分離部３８４以外の構成が、送られた入力画像のある画素に注目し、その画素について以降の処理を行うことを決定を行っても構わない。

さらに、前景画像分離部３８４は、評価部３２２から送られたその画素についての評価結果が、条件指定部３１４から送られた条件を満たすかについて判定する（Ｓ４０３）。

前景画像分離部３８４は、Ｓ４０３において、条件指定部３１４から送られた条件を満たすことを判定しない場合（Ｓ４０３のＮｏの場合）は、その画素について色情報がないことを記憶する。そして、画像処理装置１４はＳ４０６に進む（Ｓ４０４）。

前景画像分離部３８４は、Ｓ４０３において、条件指定部３１４から送られた条件を満たすことを判定した場合は、その画素について、入力画像の色情報を記憶する（Ｓ４０５）。

次に、画像処理装置１４は、色情報について記憶されていない入力画像の対象画素があるかを判定する（Ｓ４０６）。

画像処理装置１４は、Ｓ４０６において、色情報について記憶されていない入力画像の対象画素があると判定した場合（Ｓ４０６のＹｅｓの場合）には、それらのうちの１画素に着目し、Ｓ４０３に移行する（Ｓ４０７）。

画像処理装置１４は、Ｓ４０６において、色情報について記憶されていない入力画像の対象画素があると判定しなかった場合（Ｓ４０６のＮｏの場合）には、Ｓ４０８に移行する。

そして、前景画像出力部３９４は、すべての画素についての色情報、すなわち前景画像を含む信号を出力する（Ｓ４０８）。

図１０Ａ乃至図１０Ｃは、本実施形態の画像処理装置の処理フローの第一のバリエーションを表わす概念図である。

本バリエーションは、図７Ａ及び図７Ｂに示した処理の後で、図９Ｂに表したＳ４０１以降の処理を行う処理フローである。

図１０Ａ乃至図１０Ｃに表した各処理についての説明は、図５及び図８において同じ番号で示した処理についての説明と同様である。

図１０Ａ乃至図１０Ｃに表した処理は、Ｓ３３３において、対象とするすべての画素についての予測背景を出力する。そのため、Ｓ３３３における予測背景の出力が、例えば画面や紙面への出力を伴う場合には、作業者が画面や紙面への予測背景の出力結果を視認することができる。

図１１は、本実施形態の画像処理装置１４の処理フローの第二のバリエーションを表わす概念図である。

本バリエーションは、Ｓ３１０の処理後に、それより前の処理に戻らずに、Ｓ３１０以前において注目している画素に注目したまま、その画素についてＳ４０２以降の処理を行う処理フローである。

前述の、図９Ｂ及び図１０Ｃの処理フローでは、画像処理装置１４は、Ｓ４０６において色情報について未記憶の評価対象画素があると判定した場合（Ｓ４０６のＹｅｓの場合）には、Ｓ４０３に移行する。

それに対し、本処理フローでは、画像処理装置１４は、Ｓ４０６において色情報について未記憶の評価対象画素があると判定した場合（Ｓ４０６のＹｅｓの場合）には、Ｓ４１０に移行する。そして、Ｓ４１０において、画像処理装置１４は、それらのうちの１画素に着目し、Ｓ３０７に移行する。

図１１に示した各処理についての上記以外の説明は、図６及び図９において同じ番号で示した処理についての説明と同様であるので、省略する。

図１１に示した処理フローは、図９や図１０に示した処理フローと比べて、処理フローにおける少ないステップ数で前景を抽出することができる。
［効果］
本実施形態の画像処理装置は、第四実施形態の画像処理装置と同じ効果を奏する。

それに加えて、本実施形態の画像処理装置は、屋外で撮像された入力画像から、頑健にその前景を抽出することができる。
［第六実施形態］
本実施形態は、背景画像を入力画像と別に入力せずに、背景画像として入力画像から導出した背景画像を用いる画像処理装置に関する実施形態である。
［構成と動作］
本実施形態の画像処理装置の構成は、図８に表わした第五実施形態の画像処理装置から、背景画像入力部１１２を取り除いた構成である。
［処理フロー］
本実施形態の画像処理装置は、入力画像から背景画像を導出する。以下、その処理フローについて述べる。

まず、入力画像入力部１７２にある時刻ｔ＝Ｔにおける入力画像が入力される。入力画像入力部１７２は、入力された入力画像を含む信号を予測背景算出部１８２に送る。（Ｓ５０１）
次に、入力画像入力部１７２に、ＴからΔＴの時間が経過した時刻ｔ＝Ｔ＋ΔＴにおける入力画像が入力される。入力画像入力部１７２は、その画像を含む信号を予測背景算出部１８２に送る。（Ｓ５０２）
予測背景算出部１８２は、自己に入力された入力画像のある画素に注目し、以下の処理を行う。（Ｓ５０３）
入力画像入力部１７２は、Ｂ（Ｔ＋ΔＴ）＝（１−α）Ｂ（Ｔ）＋αＣ（Ｔ＋ΔＴ）とする。ここで、Ｂ（ｔ）はその画素について入力画像から導出される背景画像である。Ｃ（ｔ）はその画素についての入力画像である。また、αは入力画像の重みを決定するパラメータである。Ｂ（Ｔ）の初期値は、Ｓ５０１で入力したＣ（Ｔ）である。（Ｓ５０４）
入力画像入力部１７２は、入力された入力画像の対象となるすべての画素について、Ｓ５０３及びＳ５０４の処理を行う。

その後、本実施形態の画像処理装置は、図１１における、Ｓ３０８乃至Ｓ４１０の処理を行う。その結果、本実施形態の画像処理装置が行う処理は、Ｓ４０８に到達する。

次に、本実施形態の画像処理装置は、ｔ＝ｔ＋ΔＴの時刻について、Ｓ５０２乃至Ｓ５０４及び図１１におけるＳ３０８乃至Ｓ４１０の処理を行う（Ｓ５０５）。

Ｓ５０４の処理において、本処理フローの２周め以降においては、本実施形態の画像処理装置はαを入力画像Ｃ（ｔ）の各画素の前景尤度に比例するように設定することもできる。本実施形態の画像処理装置は、本フローの１周めではαに任意の値を入力する。

本実施形態の画像処理装置における処理は、入力画像中の前景が比較的短時間内に移動して、入力画像中に存在しなくなることを利用している。例えば、入力画像中の前景が人、動物、自動車等の移動体である場合である。入力画像中の前景が比較的短時間内に移動して、入力画像中に存在しなくなるような場合には、本実施形態の画像処理装置は、上記フロー中の処理をある程度繰り返すことにより、入力画像から背景を抽出することができる。本実施形態の画像処理装置は、入力画像から抽出した背景を用いて、予測背景算出部１８２における予測背景の算出、評価部３２２における評価及び前景画像分離部３８４における前景画像の分離等の第一乃至五実施形態において説明した処理を行うことができる。
［効果］
本実施形態は、まず、第五実施形態と同じ効果を奏する。

本実施形態は、それに加えて、入力画像とは別に背景画像を入力しなくても上記効果を奏するというメリットを有する。
［第七実施形態］
本実施形態は、第六実施形態の画像処理装置の説明を補充する目的で設けた実施形態である。
［構成と動作］
図１２は、本実施形態の画像処理装置を表す概念図である。

本実施形態の画像処理装置１３は、入力画像入力部１７６と、背景画像生成部１５６と、背景画像入力部１１６と、日時指定部１２６と、位置指定部１３６と、太陽光スペクトル算出部１６６と、予測背景算出部１８６と、予測背景出力部１９６とを備える。

太陽光スペクトル算出部１６６及び予測背景算出部１８６についての説明は、本実施形態における説明を除いて、図３における、太陽光スペクトル算出部１６２及び予測背景算出部１８２についての説明と同じであるので、省略する。以下においては、それら以外の構成について説明する。

日時指定部１２６は、太陽光スペクトル算出部１６６での太陽光スペクトルの算出に用いられる日時を指定する。指定された日時を含む信号は、以降の処理用の信号になり、太陽光スペクトル算出部１６６に送られる。

位置指定部１３６は、太陽光スペクトル算出部１６６での太陽光スペクトルの算出に用いられる位置を指定する。この位置は、入力画像を撮像した地球上での位置である。指定された位置は、以降での処理用の信号に含められ、太陽光スペクトル算出部１６６に送られる。

入力画像入力部１７６には、同一の場所について異なる時刻において撮像された複数の入力画像が入力される。ただし、本実施形態においては、その複数の入力画像の撮像を行う間に、その入力画像中の前景は移動して、入力画像からなくなることを想定している。入力画像入力部１７６は、入力画像を含む信号を、背景画像生成部１５６に送る。

背景画像生成部１５６は、入力画像入力部１７６から送られた、撮像時刻の異なる複数の入力画像から背景画像を生成する。背景画像生成部１５６は、生成された背景画像を含む信号を、背景画像入力部１１６に送る。

背景画像入力部１１６は、背景画像生成部１５６から送られた背景画像を、予測背景算出部１８６に入力する。

予測背景出力部１９６は、予測背景算出部１８６から送られた予測背景を含む信号Ｖ_ｏｕｔを出力する。
［処理フロー］
図１３は本実施形態の画像処理装置１３における処理フローの一例を表わす概念図である。

まず、位置指定部１３６は、太陽光スペクトル算出部１６６での太陽光スペクトルの算出に用いられる位置を指定する（Ｓ６０１）。位置指定部１３６は、さらに、指定された位置を以降での処理用の信号にし、太陽光スペクトル算出部１６６に送る。

次に、日時指定部１２６は、太陽光スペクトル算出部１６６での太陽光スペクトルの算出に用いられる日時ｔを指定する（Ｓ６０２）。ここで、日時指定部１２６は、日時ｔの初期値をＴとする。日時指定部１２６は、さらに、指定された日時を含む信号を以降の処理用の信号にし、太陽光スペクトル算出部１６６に送る。

太陽光スペクトル算出部１６６は、日時指定部１２６から送られた日時と、位置指定部１３６から送られた位置とを用いて、太陽光モデルを用いた方法により、太陽光スペクトルを算出する（Ｓ６０３）。太陽光スペクトル算出部１６６は、算出した太陽光スペクトルを含む信号を、予測背景算出部１８６に送る。

入力画像入力部１７６には、時刻Ｔ−ΔＴ以降、ΔＴごとの間隔で撮像された複数の入力信号が入力されるものとする。ここで、Ｔは入力画像を撮像した期間における任意の撮像時刻であり、ΔＴは任意の時間である。ΔＴは必ずしも一定である必要はなく、時刻により変わる値であっても構わない。また、Ｔ±ΔＴの時刻には入力画像の撮像が行われるものとする。入力画像入力部１７６は入力された画像信号のそれぞれを、背景画像生成部１５６に送る（Ｓ６０４）。

背景画像生成部１５６は、入力画像入力部から送られた時刻ｔにおおいて撮像された入力画像を選択する（Ｓ６０５）。

そして、背景画像生成部１５６は、その入力画像のある画素に注目する（Ｓ６０６）。

背景画像生成部１５６は、Ｓ６０６で注目したある画素の画素位置について、背景画像の色情報Ｂ（Ｔ）を、下記式１９により求める（Ｓ６０７）。
Ｂ（ｔ）＝（１−α）Ｂ（ｔ−ΔＴ）＋αＣ（Ｔ） （式１９）
ここで、Ｃ（Ｔ）はその画素位置の入力画像の色情報である。また、αは入力画像の重みを決定する、１より小さい正のパラメータである。

背景画像生成部１５６は、Ｂ（ｔ）の初期値Ｂ（Ｔ）に、同時刻における入力画像Ｃ（Ｔ）を設定することもできる。背景画像生成部１５６は、あるいは、同じ撮像範囲の画像であり、照明環境が時刻Ｔのときと比較して変化が少なかったことがわかっている時刻Ｔより前の任意の時刻（Ｔ−Ｔ’）の入力画像Ｃ（Ｔ−Ｔ’）を使用してもよい。背景画像生成部１５６は、求めた色情報を、背景画像入力部１１６に送る。

背景画像入力部１１６は、背景画像生成部１５６から送られた、その画素についての色情報を、予測背景算出部１８６に入力する（Ｓ６０８）。

予測背景算出部１８６は、太陽光スペクトル算出部１６６から送られた太陽光スペクトルと、前記背景画像の１画素についての色情報と、入力画像のうちの前記画素に対応する画素についての色情報とから、その画素についての予測背景を算出する（Ｓ６０９）。予測背景算出部１８６は、算出した予測背景を、予測背景出力部１９６に送る。

次に、予測背景算出部１８６は、時刻ｔにおいて撮像された入力画像にＳ６０９の処理を行っていない画素があるかを判定する（Ｓ６１０）。

画像処理装置１３は、Ｓ６１０において、Ｓ６０９の処理を行っていない画素があると判定した場合（Ｓ６１０のＹｅｓの場合）は、Ｓ６１１に進む。

画像処理装置１３は、Ｓ６１０において、Ｓ６０９の処理を行っていない画素があると判定しなかった場合（Ｓ６１０のＮｏの場合）には、Ｓ６１２に進む。

画像処理装置１３がＳ６１１に進んだ場合は、背景画像生成部１５６は、時刻ｔにおいて撮像された入力画像中の、Ｓ６０９の処理を行っていない次の画素に注目する（Ｓ６１１）。

そして、背景画像生成部１５６はＳ６０７に進む。

画像処理装置１３は、Ｓ６１２に進んだ場合は、本処理を終了するかを判定する（Ｓ６１２）。画像処理装置１３がＳ６１２の判定において終了すると判定するための条件の設定は任意である。終了するための条件は、外部からの終了指定によってもよいし、予め、時刻Ｔからある時間が経過したのちに終了することを設定しておいてもよい。あるいは、入力画像中の前景が移動によりその入力画像に存在しなくなってから所定の時間が経過することを終了するという判定をするための条件にしてもよい。

画像処理装置１３は、Ｓ６１２で終了することを判定しなかった場合（Ｓ６１２のＮｏの場合）は、Ｓ６１３に進む。

画像処理装置１３は、Ｓ６１２で終了することを判定した場合（Ｓ６１２のＹｅｓの場合）は、Ｓ６１４に進む。

そして、予測背景出力部１９６は、予測背景を出力する。

そして、画像処理装置１３は、図１３に表した処理を終了する。

画像処理装置１３は、Ｓ６１３に進んだ場合は、時刻ｔにｔ＋ΔＴを入力する（Ｓ６１３）。

そして、画像処理装置１３はＳ６０２に進む。

本実施形態の画像処理装置１３は、入力画像中の前景が比較的短い時間内に移動して、入力画像中に存在しなくなることを前提にし、利用している。入力画像中の前景が比較的短い時間内に移動して、入力画像中に存在しなくなる場合は、典型的には、前景が人、動物、自動車等の移動体である場合である。入力画像中の前景が比較的短い時間内に移動して、入力画像中に存在しなくなるような場合には、上記フロー中の処理をある程度繰り返すことにより、入力画像から背景のみを抽出することができる。入力画像から背景のみを抽出する抽出は、Ｂ（Ｔ）に設定した画像に背景以外の前景が含まれる場合も行うことができる。

上記処理により求めた背景画像は、第二乃至第五実施形態の画像処理装置で用いられる背景画像として利用することが可能である。例えば、図３に表わした画像処理装置１２や図８に表わした画像処理装置１４において、背景画像入力部１１２に入力する背景画像Ｖ_ｂｉｎに用いることができる。

また、本実施形態の画像処理装置１３により求めた、ある画素についての予測背景は、第三乃至第五実施形態の画像処理装置で用いられる予測背景として利用することが可能である。例えば、図３に表わした画像処理装置１２や図８に表わした画像処理装置１４において、評価部３２２に入力される予測背景画像に用いることができる。
［効果］
本実施形態の画像処理装置により求められる背景画像や予測背景画像は、第三乃至第五実施形態の画像処理装置で用いられる予測背景画像として利用することが可能である。従い、本実施形態の画像処理装置は、まず第三乃至第五実施形態の画像処理装置と同じ効果を奏する。

本実施形態の画像処理装置は、それに加えて、入力画像とは別に背景画像を用意し、画像処理装置に入力しなくても上記効果を奏するというメリットを有する。

以上好ましい実施形態をあげて本発明を説明したが、本発明は必ずしも上記実施形態に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。

また、上記の実施形態において説明した各図面中の矢印の向きは一例を示すものであり、ブロック間の信号の向きを限定するものではない。

また、上記の実施形態の一部又は全部は、以下の付記のようにも記述され得るが、以下には限られない。
（付記１）
入力画像を撮像した時刻と、前記入力画像を撮像した位置と、を用いて太陽光スペクトルを算出する太陽光スペクトル算出部と、
前記入力画像と、前記太陽光スペクトルとを用いることにより前記入力画像に含まれる背景に近いことが算出される予測背景を算出する予測背景算出部と、
前記予測背景を出力する予測背景出力部と、
を備える画像処理装置。
（付記２）
前記入力画像が、撮像時刻の異なる複数の入力画像である、付記１に記載された画像処理装置。
（付記３）
前記太陽光スペクトル算出部が、前記入力画像及び背景画像を撮像した時刻と、前記入力画像及び前記背景画像を撮像した位置と、を用いて太陽光スペクトルを算出し、
前記予測背景算出部が、前記入力画像と、前記背景画像と、前記太陽光スペクトルとを用いることにより前記予測背景を算出する、付記１又は２に記載された画像処理装置。
（付記４）
前記背景画像が、前記複数の入力画像から導出される背景画像である、付記３に記載された画像処理装置。
（付記５）
前記予測背景が、前記入力画像を構成する画素ごとに算出される付記１乃至４のうちのいずれか一に記載された画像処理装置。
（付記６）
前記入力画像と前記予測背景から、前記入力画像の部分が前景であることの尤もらしさの評価をする評価部と、
前記評価の評価結果を出力する評価出力部と、
をさらに備える付記１乃至５のうちのいずれか一に記載された画像処理装置。
（付記７）
前記評価結果が、前記入力画像を構成する画素ごとに算出される付記６に記載された画像処理装置。
（付記８）
前記評価結果が、ある色についての入力画像の色度を、色情報の和で規格化した値についての、入力画像の前記値と予測背景画像の前記値との差分により求めた情報を含む付記６又は７に記載された画像処理装置。
（付記９）
前記評価結果が、ある色についての入力画像の色度を、色情報の和で規格化した値についての、入力画像の前記値と予測背景画像の前記値との差分により求めた情報と尤度関数とを用いて求めた尤度により求めた情報を含む付記６又は７に記載された画像処理装置。
（付記１０）
前記評価結果の判定をするための条件を指定する条件指定部と、
前記条件により前記評価結果を判定し、前記条件に合致する前記入力画像中の部分について、前記入力画像と同じ画像を前景として出力する、前景画像分離部と、
前記前景を出力する前景画像出力部と、
をさらに備える、付記６乃至９のうちのいずれか一に記載された画像処理装置。
（付記１１）
前記判定が、前記入力画像を構成する画素ごとに行われる、付記１０に記載された画像処理装置。
（付記１２）
ある画素に注目し、その画素について前記予測背景を算出し、その画素について前記評価を行い、その画素について前記前景を抽出した後に、
次の画素に注目し、その画素について前記予測背景を予測し、その画素について前記評価を行い、その画素について前記前景を抽出する、付記１１に記載された画像処理装置。
（付記１３）
入力画像を撮像した時刻と、前記入力画像を撮像した位置と、を用いて太陽光スペクトルを算出するステップと、
前記入力画像と、前記太陽光スペクトルとを用いることにより前記入力画像に含まれる背景に近いことが算出される予測背景を算出するステップと、
前記予測背景を出力するステップと
を含む画像処理方法。
（付記１４）
入力画像を撮像した時刻と、前記入力画像を撮像した位置と、を用いて太陽光スペクトルを算出する処理と、
前記入力画像と、前記太陽光スペクトルとを用いることにより前記入力画像に含まれる背景に近いことが算出される予測背景を算出する処理と、
前記予測背景を出力する処理と
を含む処理をコンピュータに実行させる画像処理プログラム。
（付記１５）
入力画像を撮像した時刻と、前記入力画像を撮像した位置と、を用いて太陽光スペクトルを算出する太陽光スペクトル算出部と、
前記入力画像と、前記入力画像から算出した背景画像と、前記太陽光スペクトルとを用いることにより前記入力画像に含まれる背景に近いことが算出される予測背景を算出する予測背景算出部と、
前記予測背景を出力する予測背景出力部と、
を備える画像処理装置。
（付記１６）
前記背景画像が、複数の時刻において撮像した入力画像により算出した背景画像である、付記１５記載の画像処理装置。

以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。

この出願は、２０１４年１２月２５日に出願された日本出願特願２０１４−２６１４２１及び２０１５年２月１７日に出願された日本出願特願２０１５−０２８３４０を基礎とする優先権を主張し、それらの開示の全てをここに取り込む。

１１、１２、１４、１３ 画像処理装置
１１１、１１２、１１６ 背景画像入力部
１２１、１２２、１２６ 日時指定部
１３１、１３２、１３６ 位置指定部
１５６ 背景画像生成部
１６１、１６２、１６６ 太陽光スペクトル算出部
１７１、１７２、１７６ 入力画像入力部
１８１、１８２、１８６ 予測背景算出部
１９１、１９６ 予測背景出力部
３１４ 条件指定部
３２２ 評価部
３５２ 評価出力部
３８４ 前景画像分離部
３９４ 前景画像出力部

Claims (9)

1. 入力画像を撮像した時刻と、前記入力画像を撮像した位置と、を用いて太陽光スペクトルを算出する太陽光スペクトル算出手段と、
   前記入力画像と、前記太陽光スペクトルとを用いることにより前記入力画像に含まれる背景に近いことが算出される予測背景を算出する予測背景算出手段と、
   前記予測背景を出力する予測背景出力手段と、
   を備え、
   前記太陽光スペクトル算出手段が、前記入力画像及び背景画像を撮像した時刻と、前記入力画像及び前記背景画像を撮像した位置とを用いて太陽光スペクトルを算出し、
   前記予測背景算出手段が、前記入力画像と、前記背景画像と、前記太陽光スペクトルとを用いることにより前記予測背景を算出する、
   画像処理装置。
2. 前記背景画像が、前記複数の入力画像から導出される背景画像である、請求項１に記載された画像処理装置。
3. 前記入力画像が、撮像時刻の異なる複数の入力画像である、請求項１又２に記載された画像処理装置。
4. 前記予測背景が、前記入力画像を構成する画素ごとに算出される請求項１乃至３のうちのいずれか一に記載された画像処理装置。
5. 前記入力画像と前記予測背景から、前記入力画像の部分が前景であることの尤もらしさの評価をする評価手段と、
   前記評価の評価結果を出力する評価出力手段と、
   をさらに備える請求項１乃至４のうちのいずれか一に記載された画像処理装置。
6. 前記評価結果が、ある色についての入力画像の色情報を、各色の色情報の和で規格化した値についての、入力画像の前記値と予測背景画像の前記値との差分により求めた情報を含む請求項５に記載された画像処理装置。
7. 前記評価結果が、ある色についての入力画像の色度を、色情報の和で規格化した値についての、入力画像の前記値と予測背景画像の前記値との差分により求めた情報と尤度関数とを用いて求めた尤度により求めた情報を含む請求項５に記載された画像処理装置。
8. 前記評価結果の判定をするための条件を指定する条件指定手段と、
   前記条件により前記評価結果を判定し、前記条件に合致する前記入力画像中の部分について、前記入力画像と同じ画像を前景として出力する、前景画像分離手段と、
   前記前景を出力する前景画像出力手段と、
   をさらに備える、請求項５乃至７のうちのいずれか一に記載された画像処理装置。
9. 入力画像及び背景画像を撮像した時刻と、前記入力画像及び前記背景画像を撮像した位置と、を用いて太陽光スペクトルを算出し、
   前記入力画像と、前記背景画像と、前記太陽光スペクトルとを用いることにより前記入力画像に含まれる背景に近いことが算出される予測背景を算出し、
   前記予測背景を出力する、
   画像処理方法であり、
   前記太陽光スペクトルを、前記入力画像及び背景画像を撮像した時刻と、前記入力画像及び前記背景画像を撮像した位置とを用いて算出し、
   前記予測背景を、前記入力画像と、前記背景画像と、前記太陽光スペクトルとを用いることにより算出する、
   画像処理方法。

Images