JP7129271B2 - 画像処理装置 - Google Patents

Description

本発明は、画像内から検出対象を検出する画像処理装置に関する。

従来、監視領域をカメラにて撮影して取得される撮影画像と、基準画像とを比較することで、両画像間において変化のある領域である変化領域を求め、変化領域の大きさあるいは形状などの画像特徴に基づいて「人物らしさ」を判定して、撮影画像内から侵入者などの検出対象を検出する画像処理装置がある。

基準画像は、過去において、監視領域に検出対象が存在していないときに撮影された過去画像に基づいて設定することができる。なお、監視領域の明るさが１日のうちの時間帯によって異なり得ることなどに応じて、基準画像は数分毎あるいは十数分毎に更新されるのが一般的である。

また従来、監視領域を撮影する撮影方法が変更される場合がある。撮影方法が変更され、それにより撮影画像の画素値が全体的に変更された場合、撮影方法変更前に用いていた基準画像では、変化量域が大量に抽出されるため変更後の撮影方法で取得された撮影画像との比較が適切に行えなくなる。したがって、従来、撮影画像の撮影方法が変更された場合に、変更後の撮影画像が数フレーム取得されるのを待ち、当該数フレームに基づいて基準画像を更新した上で、撮影画像と基準画像とを比較することが行われていた。

例えば、特許文献１には、監視領域を可視光で撮影したカラー画像を撮影画像として出力する昼間モードと、監視領域に赤外光照明を当てて撮影した画像を撮影画像として出力する夜間モードを備える警備システムであって、撮影モード（昼間モードあるいは夜間モード）が切り替わる度に、基準画像を更新する警備システムが開示されている。

特開２００９－２３９７３９号公報

上述のように、撮影画像の撮影方法が変更された場合に基準画像が更新される。しかしながら、従来においては、撮影画像の撮影方法が変更された直後、すなわち撮影方法が変更されてから基準画像が更新されるまでの間においては、変更後の撮影方法に応じた基準画像が存在しないことになる。したがって、撮影画像の撮影方法が変更された直後であって、基準画像が更新されるまでの間、撮影画像から検出対象を検出することができない監視不能期間が生じるという問題があった。

また、同様の問題が、監視領域の明るさが急激に変化した場合（例えば消灯していた監視領域内の照明が点灯した場合）にも生じ得る。すなわち、監視領域の明るさが急激に変化した場合であっても、撮影画像の画素値が全体的に変更され、それまで用いていた基準画像との比較では適切に検出対象を検出できなくなるからである。

本発明の目的は、撮影画像の撮影方法が変更された場合、あるいは、監視領域の明るさが急激に変化した場合であっても、監視不能期間を生じさせることなく、撮影画像から検出対象を検出可能とすることにある。

本発明は、撮影環境に応じた撮影方法で順次撮影された撮影画像のうち、処理対象の対象画像について基準画像との変化領域を抽出する画像処理装置であって、前記対象画像を含む所定期間の前記撮影画像を記憶する記憶手段と、前記対象画像の撮影方法と、当該対象画像の直前に撮影された撮影画像又は前記基準画像の撮影方法とが一致する場合、当該対象画像よりも時間的に前に撮影された前記撮影画像である過去画像を用いて設定した前記基準画像と当該対象画像とから前記変化領域を抽出し、前記撮影方法が相違する場合には、前記記憶されている前記撮影画像のうち当該対象画像よりも時間的に後に撮影された前記撮影画像である未来画像を用いて設定した前記基準画像と当該対象画像とから前記変化領域を抽出する抽出手段と、を有することを特徴とする画像処理装置である。

望ましくは、前記記憶手段は、前記過去画像を用いて設定した前記基準画像を更に記憶し、前記対象画像の撮影方法と、当該対象画像の直前に撮影された撮影画像又は前記基準画像の撮影方法とが相違するか否かを判定し、前記撮影方法が相違すると判定したとき、前記抽出手段による抽出処理の前に、前記未来画像を用いて前記基準画像を更新する基準画像更新手段を、更に有することを特徴とする。

望ましくは、前記基準画像更新手段は、前記未来画像を用いて前記基準画像を更新する際、複数の前記未来画像間の差分領域が抽出されなかった場合は、比較に用いた前記未来画像のいずれか一つを前記基準画像とする、ことを特徴とする。

望ましくは、前記基準画像更新手段は、前記未来画像を用いて前記基準画像を更新する際、複数の前記未来画像間差分領域が抽出された場合は、前記未来画像における前記差分領域以外の各画素の画素値と、更新前の前記基準画像における前記差分領域以外の対応する各画素の画素値とから求められる画素値変化量に基づいて、更新前の前記基準画像における前記差分領域内の各画素の画素値を補正して、更新後の前記基準画像の差分領域の対応する各画素の画素値とし、前記未来画像における前記差分領域以外の領域の画素値を更新後の前記基準画像の差分領域以外の各画素の画素値とする、ことを特徴とする。

望ましくは、前記基準画像更新手段は、前記未来画像における前記差分領域の周辺領域内の各画素の画素値と、前記周辺領域に対応する更新前の前記基準画像の画像領域の各画素の画素値とから前記画素値変化量を求める、ことを特徴とする。

また、本発明は、監視領域が順次撮影された撮影画像のうち、処理対象の対象画像について基準画像との変化領域を抽出する画像処理装置であって、前記監視領域の明るさ及び前記撮影画像の輝度の少なくとも一方から前記監視領域の明るさに水準以上の変化があるか否かを判定する明るさ変化判定手段と、前記対象画像を含む所定期間の前記撮影画像を記憶する記憶手段と、前記対象画像の撮影時と、当該対象画像の直前の撮影画像又は前記基準画像の撮影時とにおいて、前記明るさ変化判定手段により前記水準以上の変化がないと判定された場合、当該対象画像よりも時間的に前に撮影された前記撮影画像である過去画像を用いて設定した前記基準画像と当該対象画像とから前記変化領域を抽出し、前記水準以上の変化があると判定された場合には、前記記憶されている前記撮影画像のうち当該対象画像よりも時間的に後に撮影された未来画像を用いて設定した前記基準画像と当該対象画像とから前記変化領域を抽出する抽出手段と、を有することを特徴とする画像処理装置である。

本発明によれば、撮影画像の撮影方法が変更された場合、あるいは、監視領域の明るさが変化した場合であっても、監視不能期間を生じさせることなく、撮影画像から検出対象を検出可能とすることができる。

本実施形態に係る警備システムの構成概略図である。 本実施形態に係る画像センサの構成概略図である。 取得時刻順に並ぶ複数の撮影画像を示す概念図である。 背景画像及び未来画像における第２変化領域を示す図である。 背景画像及び未来画像における周辺領域を示す図である。 背景画像及び未来画像における推定人領域及び周辺領域の輝度値を示す図である。 変化率テーブルの内容を示す図である。 更新された背景画像における推定人領域の輝度値を示す図である。 更新された背景画像における推定人領域及び周辺領域の輝度値を示す図である。 変形実施形態に係る画像センサの構成概略図である。 侵入者判定処理の流れを示すフローチャートである。

以下、本発明の実施形態について説明する。

図１は、本実施形態に係る警備システム１０の構成概略図である。警備システム１０は、店舗、オフィス、マンション、倉庫、家屋などの各監視対象物件１２に設置される警備装置１４、公衆電話回線などの通信網１６を介して各警備装置１４と接続される警備センタ装置１８、及び利用者装置２０とを含んで構成される。さらに、警備システム１０は、監視対象物件１２の監視領域を撮影した撮影画像に基づいて監視対象物件１２内の監視領域から検出対象（本実施形態では人物像）を検出するための１以上の画像センサ２２（画像処理装置）、及び、画像センサ２２により撮影された撮影画像を記録する録画装置２４を含んで構成される。画像センサ２２及び録画装置２４は警備装置１４と通信可能に接続される。

警備装置１４は、構内ＬＡＮなどを介してそれ自体に接続された画像センサ２２からアラーム信号を受信すると、そのアラーム信号及び警備装置１４自体の識別信号、又は、監視対象物件１２あるいは異常を検出した画像センサ２２の識別信号を警備センタ装置１８へ送信する。そのために、警備装置１４は、画像センサ２２と通信するための通信インタフェースと、警備センタ装置１８及び利用者装置２０と通信するための通信インタフェースと、それらを制御するための制御ユニットを有する。

警備センタ装置１８は、いわゆるコンピュータで構成され、通信網１６を介して警備装置１４と通信するための通信インタフェースと、液晶ディスプレイなどの表示装置と、ブザーやＬＥＤなどで構成される報知部を備える。警備センタ装置１８は、警備装置１４から通信網１６を介してアラーム信号を受信すると、そのアラーム信号を送信した警備装置１４が設置された監視対象物件１２及び検出された異常の内容を報知部及び表示装置を通じて監視員に報知する。

利用者装置２０も、いわゆるコンピュータで構成され、通信網１６を介して警備装置１４と通信するための通信インタフェース、液晶ディスプレイなどの表示装置、及び、キーボートやマウスなど、警備装置１４を遠隔操作するための操作コマンドを入力するためのユーザインターフェースを備える。利用者装置２０は、ユーザインターフェースを介して予め登録されている監視対象物件１２を観察する操作がなされると、登録されている監視対象物件１２に設置された警備装置１４に対して、現在撮影中の撮影画像又は録画装置２４に記録されている撮影画像を利用者装置２０に送信することを要求する各種の画像要求信号を送信する。そして、警備装置１４から撮影画像を受信すると、利用者装置２０は表示部に要求された撮影画像を表示する。

録画装置２４は、ＨＤＤなどの磁気ディスク装置、ＤＡＴなどの磁気テープ、ＤＶＤ－ＲＡＭなどの光記録媒体のように、録画装置２４に着脱自在となる記録媒体と、それら記録媒体にアクセスしてデータの読み書きを行う装置で構成される。録画装置２４は、画像センサ２２が撮影した撮影画像を警備装置１４から受け取り、撮影時刻と関連付けて記録する。

図２は、画像センサ２２の構成概略図である。

通信部３０は、画像センサ２２と警備装置１４との間で構内ＬＡＮなどの通信ネットワークを介して各種の設定信号及び制御信号などを送受信する入出力インタフェースであり、イーサネット（登録商標）などの各種の通信インタフェース回路及びそれらを駆動するドライバソフトウェアなどで構成される。具体的には、通信部３０は、後述の信号処理部４４によって侵入者が検出された場合に、侵入者を検出したことを示す侵入アラーム信号を警備装置１４に出力する。

撮影部３２は、監視対象物件１２における監視領域を撮影して撮影画像を取得する。本実施形態に係る撮影部３２は、複数の撮影方法にて同一の画角で監視領域を撮影することが可能となっている。ここでの複数の撮影方法とは、同一の監視領域を撮影した撮影画像の画素値が全体的に異なる方法を意味する。例えば、可視光で撮影する方法（可視画像を撮影）と、近赤外照明を当てて撮影する方法（近赤外画像を撮影）と、撮影部３２から撮影した物体までの距離を示す距離画像を撮影する方法と、撮影した物体の温度を示す熱画像を撮影する方法などを組み合わせて撮影を行う。なお、撮影画像の画素値が全体的に異なるとは、偶々少数の画素の画素値が同一となる場合も含むものである。

それ故、撮影部３２は、ＣＣＤなどの、可視光や赤外光などに感度を有する光電変換器、光電変換器上に監視領域の像を結像する結像光学系、結像工学系に設けられるＩＲカットフィルタ（赤外線カットフィルタ）、撮影対象物までの距離を計測するための投光ＬＥＤ、あるいは撮影対象物の温度を検出するための赤外線イメージセンサなどを含んで構成される。

本実施形態では、撮影部３２は、複数の撮影方法として、監視領域を可視光で撮影する昼間モードと、監視領域に近赤外光照明を当てて撮影する夜間モードの２つの撮影モードを切り替えて撮影するものとする。詳しくは、昼間モードでは、近赤外光をカットするようにＩＲカットフィルタが結像光学系の光路内に挿入され、撮像部２１の２次元検出器は可視光画像を取得する。一方、夜間モードでは、ＩＲカットフィルタは結像光学系の光路外へ外され、２次元検出器は近赤外画像を取得する。なお、可視光画像を取得する可視カメラと、近赤外光画像を取得する近赤外線カメラを別個に設ける方式、積層型構造を有する有機薄膜へ加える電圧を変えることにより光電変換器の感度波長域を制御する方式などにより、昼間モードのときは可視画像の撮影を行い、夜間モードのときは近赤外画像の撮影を行うようにしてもよい。ちなみに、撮影モードの切り替えは、後述の撮影モード切替手段４８により実行される。

本実施形態では、撮影部３２は、一定の時間間隔（例えば１／５秒）ごとに撮影を行って撮影画像を取得するが、撮影部３２の撮影間隔はこれには限られない。取得された撮影画像は記憶部３８に記憶される。なお、本実施形態では、撮影部３２が画像センサ２２に含まれているが、撮影部３２は画像センサ２２の外部に設けられてもよい。

照度センサ３４は、例えばフォトダイオードなどを含んで構成される。照度センサ３４は、監視領域の照度（明るさ）を検出し、検出した照度を示す照度信号を後述の信号処理部４４へ出力する。なお、照度センサ３４として、公知の様々な照度センサを使用することができる。

照明部３６は、例えば近赤外線ＬＥＤなどを含んで構成される。照明部３６は、撮影部３２の撮影モードが夜間モードである場合に、監視領域に向けて近赤外光を照射する。一方、撮影部３２の撮影モードが昼間モードである場合には、照明部３６は消灯される。

記憶部３８（記憶手段）は、半導体メモリ、磁気ディスク（ＨＤＤ）、又はＣＤ－ＲＯＭ、ＤＶＤ－ＲＡＭなどの光ディスクドライブ及びその記録媒体で構成される。記憶部３８には、画像センサ２２の各部を動作させるための画像処理プログラムが記憶される。また、図２に示される通り、記憶部３８には、撮影部３２が取得した撮影画像４０及び背景画像４２が記憶される。

撮影画像４０は、撮影部３２が監視領域を順次撮影することで取得される画像である。記憶部３８には、数十フレーム（画像）分の撮影画像４０が記憶され、新たなフレームが撮影された場合には、記憶部３８に記憶された複数の撮影画像４０のうち最も取得時刻が古いフレームを削除した上で最新のフレームが記憶される。すなわち、記憶部３８には、所定期間分の撮影画像４０が蓄積記憶される。

図３に、記憶部３８に記憶された、取得時刻順に並んだ複数の撮影画像４０の概念図が示されている。本明細書においては、記憶部３８に記憶された複数の撮影画像４０のうち、人物像検出の処理対象となる画像をセンシング画像４０ｔ（対象画像）と呼び、センシング画像４０ｔよりも時間的に前に撮影された画像を過去画像４０ｐと呼び、センシング画像４０ｔよりも時間的に後に撮影された画像を未来画像４０ｆと呼ぶ。本実施形態では、記憶部３８には、過去画像４０ｐが１０フレーム、センシング画像４０ｔが１フレーム、未来画像４０ｆが１０フレーム記憶され、センシング画像４０ｔは後述の侵入者判定処理（図１１参照）が終了すると、センシング画像４０ｔの次に撮影された撮影画像４０（センシング画像４０ｔの１フレーム後の未来画像４０ｆ）が新たなセンシング画像４０ｔとなる。このように、本実施形態では、センシング画像４０ｔは最新の（取得時刻が最も新しい）撮影画像４０ではない。また、記憶部３８に記憶されている撮影画像４０が撮影された撮影方法は、例えば、過去画像４０ｐは可視画像であり、センシング画像４０ｔ及び未来画像４０ｆは近赤外画像である。

背景画像４２（基準画像）は、過去画像４０ｐを用いて設定されるものである。具体的には、過去画像４０ｐのうち、監視領域内に人物などの移動物体が存在していないときの過去画像４０ｐに基づいて、後述の信号処理部４４により生成される。例えば、信号処理部４４は、時系列的に隣接する２つの過去画像４０ｐのフレーム間差分を求め、フレーム間での対応画素間の輝度差の絶対値の平均値を求める。両フレームの双方に移動物体が存在していない場合は、当該両フレーム間の輝度差の絶対値の平均値はかなり小さくなる。したがって、信号処理部４４は、その平均値が所定の基準よりも小さいフレーム間差分した過去画像４０ｐのいずれかを背景画像４２として記憶部３８に記憶させる。背景画像４２は、照明状態の変動、太陽の日周変動などによる監視領域の明るさの変動に対応するために、一定周期（例えば、１０分間隔）毎に更新される。なお、記憶している背景画像４２は、過去画像４０ｐよりも過去に撮影された撮影画像でもよい。

なお、本実施形態では、撮影画像４０及び背景画像４２が画像センサ２２内の記憶部３８に記憶されているが、撮影画像４０及び背景画像４２は、画像センサ２２の外部に設けられた記憶部であって画像センサ２２からアクセス可能な記憶部に記憶されてもよい。

信号処理部４４は、組み込み型のマイクロプロセッサユニットと、ＲＯＭ、ＲＡＭなどのメモリと、その周辺回路とを有し、画像センサ２２の各種信号処理を実行する。図２に示されるように、信号処理部４４は、明るさ検出手段４６、撮影モード切替手段４８、背景画像更新手段５０、抽出手段５２、及び判定手段５４の機能を発揮する。信号処理部４４がこれらの手段を発揮することで、撮影部３２の撮影モードを好適に切り替えた上で、撮影モードが切り替えられた場合であっても、監視不能期間を生じさせることなく、センシング画像４０ｔにおいて、人物に相当する画像領域である人領域が検出される。以下、信号処理部４４が有する各手段について説明する。

明るさ検出手段４６は、監視領域の明るさを検出した上で、監視領域の明るさが、撮影部３２の撮影モードのうち昼間モードに適した明るさであるか、夜間モードに適した明るさであるかを判定する。本実施形態では、明るさ検出手段４６は、照度センサ３４から受け取った照度信号に基づいて、監視領域の明るさを検出する。

例えば、明るさ検出手段４６は、照度信号に示される照度が第１照度閾値以上である状態が所定時間（例えば３０秒間）継続した場合に昼間モードに適した明るさであると判定し、照度信号に示される照度が第１照度閾値より小さい第２照度閾値未満である状態が所定時間継続した場合に夜間モードに適した明るさであると判定する。なお、第１照度閾値と第２照度閾値は同じであってもよい。また、所定時間の要件は省略されてもよく、すなわち、明るさ検出手段４６は、照度信号に示される照度が第１照度閾値以上である状態が生じた場合に直ちに昼間モードに適した明るさであると判定し、照度信号に示される照度が第２照度閾値未満である状態が生じた場合に直ちに夜間モードに適した明るさであると判定するようにしてもよい。

また、明るさ検出手段４６は、撮影画像４０（例えば最新の撮影画像４０）の画素の値から監視領域の明るさを推定するようにしてもよい。例えば、撮影画像４０全体あるいは一部を構成する複数の画素の平均輝度値を算出し、当該平均輝度値に基づいて、監視領域が昼間モードに適した明るさであるか夜間モードに適した明るさであるかを判定するようにしてもよい。詳しくは、平均輝度値が閾値以上である場合に昼間モードに適した明るさであると判定し、平均輝度値が閾値未満である場合に夜間モードに適した明るさであると判定することができる。なお、明るさ検出手段４６が撮影画像４０に基づいて監視領域の明るさを推定する場合、照度センサ３４は省略することができる。

撮影モード切替手段４８は、明るさ検出手段４６の判定結果に基づいて、撮影環境の明るさに適した撮影方法で撮影画像を撮影するために、撮影部３２の撮影モードを切り替える。具体的には、撮影モード切替手段４８は、監視領域の明るさが昼間モードに適した明るさであると判定された場合には、撮影部３２の撮影モードを昼間モードに設定し、監視領域の明るさが夜間モードに適した明るさであると判定された場合には、撮影部３２の撮影モードを夜間モードに設定する。なお、撮影モード切替手段４８は、利用者からの指示に応じて撮影部３２の撮影モードを切り替えるようにしてもよい。

背景画像更新手段５０（基準画像更新手段）は、記憶部３８に記憶された背景画像４２を更新する。具体的には、背景画像更新手段５０は、センシング画像４０ｔの撮影方法と、センシング画像４０ｔの直前に撮影された過去画像４０ｐの撮影方法とが異なる場合に、背景画像４２をセンシング画像４０ｔの撮影方法に適した画像に更新する。なお、「直前」という用語には、取得時刻順に並べた場合（図３参照）、センシング画像４０ｔの１つ前の過去画像４０ｐのみならず、センシング画像４０ｔの複数前までの複数の過去画像４０ｐが含まれていてもよい。背景画像更新手段５０の処理の詳細については後述する。

抽出手段５２は、センシング画像４０ｔと基準画像（本実施形態では背景画像４２）とを比較して、両画像間で画素値が相違する画素からなる１又は複数の変化領域を抽出する。また、抽出手段５２は、変化領域を構成する各画素に対して識別子（ラベル）を付与するラベリング処理を行う。ラベルとしては、例えば当該変化領域画像内でユニークな数値を用いることができる。ラベリング処理では、ある抽出画素に注目したとき、当該抽出画素に隣接している他の抽出画素からなる一塊の抽出画素群を１つの変化領域とみなす。なお、抽出画素に隣接する画素とは、抽出画素の上下左右方向に隣接する画素であってもよいし、斜め方向に隣接する画素まで含めてもよい。その上で、各変化領域に対して異なるラベルを付与し、変化領域画像の画素値として記憶する処理を行う。さらに、抽出手段５２は、ラベルが付与された変化領域に対して、より好適に人領域を求めるために、統合、分離、あるいは削除などの整形処理を行う。

本実施形態では、抽出手段５２は、センシング画像４０ｔと背景画像４２とを比較してセンシング画像４０ｔから変化領域を抽出しているが、抽出手段５２は、フレーム間差分、すなわち、センシング画像４０ｔと、センシング画像４０ｔの直前に取得された過去画像４０ｐとを比較して変化領域を抽出するようにしてもよい。その場合は、当該過去画像４０ｐが基準画像となる。

判定手段５４は、抽出手段５２が抽出した変化領域が人領域であるか否かの判定を行う。例えば、判定手段５４は、整形された変化領域のサイズ（幅・高さ）などの特徴量を求め、求めた特徴量と予め記憶された人らしさを表す特徴量とを比較することにより、当該変化領域が人らしいかを判定する。また、複数の撮影画像４０間において、変化領域の追跡処理を行った上で、各撮影画像４０における変化領域の位置と各撮影画像４０の取得時刻から変化領域の移動速度を算出し、変化領域の移動速度と、予め記憶された人らしい速度との比較をさらに行って、当該変化領域が人領域であるか否かを判定するようにしてもよい。

判定手段５４が、センシング画像４０ｔから抽出された変化領域が人領域であると判定すると、通信部３０から侵入アラーム信号が警備装置１４へ送信される。

画像センサ２２の構成概要としては以上の通りである。以下、背景画像更新手段５０の処理の詳細について説明する。

本実施形態では、まず、背景画像更新手段５０は、撮影モード切替手段４８により撮影部３２の撮影モードが切り替えられ、センシング画像４０ｔの撮影モードと、センシング画像４０ｔの直前に撮影された過去画像４０ｐの撮影モードとが互いに異なるか否かを判定する。なお、手動操作などにより撮影モードが切替えられ、モード変更入力を撮影モード切替手段４８から受けた場合は、その入力を受けたか否かから、撮影モードが互いに異なるか判定してもよい。また、センシング画像４０ｔの直前に撮影された過去画像４０ｐの代わりに、背景画像４２（以下、２つの画像をまとめて「判定対象画像」と記載する場合がある）と比較をして、撮影モードが互いに異なるか否かを判定してもよい。

各画像の撮影モードは、各画像のメタデータ（属性情報）に記録されていてよく、背景画像更新手段５０は、各画像のメタデータを確認することで撮影モードを確認することができる。あるいは、背景画像更新手段５０は、各画像の画素値に基づいて各画像の撮影モードを判定することもできる。例えば、可視光ＲＧＢ成分は分けて光を通すが、ＩＲ成分は同程度の光を通す性質を持つカラーフィルタを有する撮像素子を使う場合、画像の各画素のＲＧＢ値のバラツキ（分散）から当該画像の撮影モードを判定できる。具体的には、画像の全画素のＲＧＢ値の分散値を算出し、算出した分散値が所定値以上である（ＲＧＢ値のバラツキが大きい）場合は、当該画像が可視画像である、つまり昼間モードで撮影されたと判定し、算出した分散値が所定値未満である（ＲＧＢ値のバラツキが小さい）場合は、当該画像が近赤外画像である、つまり夜間モードで撮影されたと判定する。これは、昼間モードにおいては、明るい環境で可視画像を撮影するため、撮影画像に写る物体の色に応じて各画素のＲＧＢ値のバラツキが大きく、夜間モードにおいては、真っ暗な状態で近赤外ライトを投射して近赤外画像を撮影するため、各画素のＲＧＢ値が似たような値を示し、そのバラツキが小さくなるという特徴に基づくものである。また、撮像素子にＩＲ素子がある場合は、ＩＲ値が所定値以上か否かから画像の撮影モードを判定してもよい。また、各画像が撮影されたときの明るさ検出手段４６の判定結果に基づいて、各画像の撮影モードを判定してもよい。また、撮影モード切替手段４８が撮影モードを切替えた結果を示すデータを、撮影モードを切替えて撮影した撮影画像４０にメタデータとして記憶してもよく、背景画像更新手段５０は撮影画像のメタデータを確認し、撮影モードを切替えた結果を示す情報があるか否かから、撮影モードが互いに異なるか否かを判定してもよい。

センシング画像４０ｔの撮影モードと判定対象画像の撮影モードとが異なる場合、背景画像更新手段５０は、抽出手段５２による抽出処理の前に、記憶部３８に記憶された未来画像４０ｆを用いて背景画像４２を更新する背景画像更新処理を実行する。

背景画像更新処理において、まず、背景画像更新手段５０は、記憶部３８に記憶された複数の未来画像４０ｆの比較により差分領域を抽出し、移動物体が写っているか否かを判定する。ここで、本実施形態では移動物体が検出対象である人であることを想定して説明するが、移動物体としては人に限られず、例えばその他の動物などであってもよい。詳しくは、背景画像更新手段５０は、複数の未来画像４０ｆの比較により、未来画像４０ｆにおいて比較対象の画像から変化した領域である推定人領域（第２変化領域）が抽出されたか否かを判定する。

本実施形態では、背景画像更新手段５０は、時系列的に隣接する未来画像４０ｆ間毎に、両画像の対応する画素の画素値に所定値以上の差がある画素の集合である差分領域を表す差分画像を生成する。これにより、複数の差分画像が得られる。そして、得られた複数の差分画像において、所定回数以上、差分領域として抽出された領域があるか否かを判定する。具体的には、背景画像更新手段５０は、差分領域に含まれる画素の画素値を「１」とし、その他の画素（画素値の差が所定値未満である画素）の画素値を「０」とした２値化画像を差分画像として生成し、複数の２値化画像の同座標の画素の画素値の合計値を算出し、当該合計値が所定値以上である画素の集合である差分領域を推定人領域とする。なお、予め設定した所定値ではなく、２値化画像の画素値が「０」以外である画素から求めた平均値と合計値を比較して、合計値が平均値以上である差分領域を推定人領域としてもよい。また、差分領域は、抽出された領域が全て含まれる最小の矩形で囲まれた領域でもよい。

未来画像４０ｆにおいて推定人領域が抽出されなかった場合、背景画像更新手段５０は、複数の未来画像４０ｆのいずれかを背景画像４２とする。換言すれば、更新後の背景画像４２は複数の未来画像４０ｆのいずれかとする。一方、未来画像４０ｆにおいて推定人領域が抽出された場合、背景画像更新手段５０は、以下に説明する背景画像生成処理を行う。

背景画像生成処理において、背景画像更新手段５０は、複数の未来画像４０ｆのうちのいずれか１つ（以下単に「未来画像４０ｆ」と記載する）における推定人領域以外の各画素の画素値と、更新前の背景画像４２における推定人領域以外の対応する各画素の画素値とに基づいて、背景画像４２から未来画像４０ｆへの画素値変化量を算出する。

背景画像４２における推定人領域とは、未来画像４０ｆの推定人領域に含まれる複数の画素と同じ座標の複数の画素からなる領域である。図４（ａ）に背景画像４２が示され、図４（ｂ）に未来画像４０ｆが示されている。図４（ｂ）には、未来画像４０ｆにおいて検出された推定人領域６０が示され、図４（ａ）には背景画像４２における推定人領域６０’が示されている。

好ましくは、図５に示すように、背景画像更新手段５０は、未来画像４０ｆにおける推定人領域６０の周辺領域６２（図５（ｂ）参照）内の各画素の画素値と、当該周辺領域６２に対応する更新前の背景画像４２の画像領域の各画素の画素値（換言すれば、背景画像４２における推定人領域６０’の周辺領域６２’（図５（ａ）参照）内の各画素の画素値）とに基づいて、画素値変化量を算出する。

本実施形態では、背景画像更新手段５０は、背景画像４２から未来画像４０ｆへの、同じ座標の画素の輝度値の変化の倍率（変化率）を算出して、輝度値毎の変化率を表す変化率テーブルを生成する。例えば、背景画像４２の周辺領域６２’に含まれる各画素の輝度値が図６（ａ）に示すものであり、未来画像４０ｆの周辺領域６２に含まれる各画素の輝度値が図６（ｂ）に示すものである場合を例に説明する。なお、図６は簡略的な図であり、実際には、周辺領域６２，６２’あるいは推定人領域６０，６０’はもっと多くの数の画素から構成される。また、本実施形態では、変化率を算出するための画素値として輝度値を用いているが、画素値としてはこれには限られず、例えば色相などの値であってもよい。

周辺領域６２’の一番左上の画素に着目すると、背景画像４２では当該画素の輝度値が「２」であるが、未来画像４０ｆでは対応する画素の輝度値が「６」となっている。したがって、変化率テーブルにおいては、輝度値「２」に対する変化率「３倍」となる。同様に、周辺領域６２’の一番右上の画素に着目すると、背景画像４２では当該画素の輝度値が「３６」であるが、未来画像４０ｆでは対応する画素の輝度値が「１２」となっている。したがって、変化率テーブルにおいては、輝度値「３６」に対する変化率「１／３倍」となる。

このようにして、背景画像更新手段５０は、各輝度値に対する変化率を求め、図７に示すような変化率テーブルを生成する。なお、背景画像更新手段５０は、周辺領域６２’の画素の輝度値として存在しなかった輝度値（例えば図７の例だと輝度値「１」あるいは「３」など）に対する変化率を補完するようにしてもよい。例えば、近い輝度値の変化率を用いる（例えば輝度値「１」に対する変化率を「３倍」、輝度値「３」に対する変化率を「２倍」とする）か、あるいは、近い輝度値の変化率に基づいて変化率を算出する（例えば輝度値「３」に対する変化率を輝度値「２」に対する変化率「３倍」と輝度値「４」に対する変化率「２倍」の中央値「２．５倍」とする）ようにしてもよい。

次いで、背景画像更新手段５０は、生成した変化率テーブルに基づいて、更新前の背景画像４２における推定人領域６０’内の各画素の輝度値を補正して、補正後の輝度値を更新後の背景画像４２’の推定人領域６０’’の対応する画素の輝度値とする。例えば、図６（ａ）に示される通り、推定人領域６０’内の一番左上の画素の輝度値が「５」となっており、図７に示される通り、変化率テーブルにおいては、輝度値「５」に対応する変化率が「３倍」となっている。したがって、背景画像更新手段５０は、図８に示す通り、更新後の背景画像４２’における推定人領域６０’’内の一番左上の画素の輝度値を５×３の「１５」とする。

さらに、背景画像更新手段５０は、未来画像４０ｆの推定人領域６０以外の領域の画素値を、更新後の背景画像４２’の推定人領域６０’’以外の各画素の画素値とする。これにより、図９に示される通り、更新後の背景画像４２’が生成され、つまり背景画像４２が更新される。

上述のように、背景画像更新手段５０は、変更前の撮影モードに対応する背景画像４２から変更後の撮影モードに対応する未来画像４０ｆへの画素値変化量に基づいて、移動物体である人物像が存在しない、更新前の背景画像４２の推定人領域６０’内の各画素値を補正して、更新後の背景画像４２’の推定人領域６０’’内の画素の画素値とする。これにより、更新後の背景画像４２’の推定人領域６０’’内の各画素値を、人物像が存在せず、且つ、変更後の撮影モードに対応した画素値とすることができる。また、更新後の背景画像４２’の推定人領域６０’’以外の各画素の画素値は、もとより人物像が存在せず、変更後の撮影モードに対応した、未来画像４０ｆの推定人領域６０以外の各画素の画素値としている。これにより、更新後の背景画像４２’を、移動物体である人物像が存在せず、変更後の撮影モードに対応したものとすることができる。

特に、周辺領域６２，６２’は、画素値の補正が必要な推定人領域６０，６０’の近傍に位置しているため、背景画像４２の周辺領域６２’内の画素の画素値と、未来画像４０ｆの周辺領域６２内の画素の画素値とに基づいて画素値変化量を求めることで、背景画像４２の推定人領域６０’内の画素の画素値を補正するに適した画素値変化量を求めることができる。つまり、推定人領域の画素と、隣接する周辺領域の画素の輝度値が近しい場合、周辺領域に写る物体が推定人領域にも続いている可能性が高く、さらに撮影モードの切り替え前後で画像に写っている同一の物体は、同様の輝度変化が起こる。したがって、周辺領域６２、６２’から画素値変化量を求めることで、推定人領域６０’’内に写る物体に適した画素値変化量を求めることができる。これにより、更新後の背景画像４２’において、推定人領域６０’’内の画素の画素値が不自然な値となる可能性が低減され、より自然な背景画像４２’を生成することができる。

抽出手段５２は、センシング画像４０ｔの撮影モードと、センシング画像４０ｔの直前に撮影された過去画像４０ｐ又は背景画像４２の撮影モードとが一致する場合、当該過去画像４０ｐ又は背景画像４２を基準画像として、センシング画像４０ｔから変化領域を抽出する。一方、センシング画像４０ｔの撮影モードと、センシング画像４０ｔの直前に撮影された過去画像４０ｐ又は背景画像４２の撮影モードとが相違する場合、上述のように背景画像更新手段５０により更新された基準画像に基づいて、センシング画像４０ｔから変化領域を抽出する。

このように、撮影画像４０の撮影方法が変更された場合に、未来画像４０ｆを用いて背景画像４２を現在の撮影方法に適したものに更新することで、監視不能期間を生じさせることなく、センシング画像４０ｔにおいて、人物に相当する画像領域である人領域を検出することができるようになる。

本実施形態では、撮影部３２は、可視画像と近赤外画像の２種類の撮影方法にて監視領域を撮影していたが、３種類以上の撮影方法にて監視領域を撮影してもよい。例えば、可視画像、距離画像及び熱画像の３種類の撮影方法にて監視領域の撮影を行う。

また、本実施形態では、推定人領域を抽出する場合に、未来画像毎に差分画像を生成し、得られた複数の差分画像から、所定回数以上、差分領域として抽出された領域を推定人領域としていたが、生成する差分画像は１枚でも良い。例えば、センシング画像の直後に撮影された未来画像２枚から差分画像を作成し、作成した差分画像に差分領域が抽出されなかった場合は、差分画像の作成に用いた未来画像のいずれかを背景画像とし、差分画像に差分領域が抽出されたら、抽出された差分領域を推定人領域としてもよい。

また、本実施形態では、背景画像更新手段５０が変化率テーブルを生成していたが、背景画像４２の推定人領域６０’内の各画素の輝度値を補正するにあたり、変化率テーブルを生成しなくてもよい。例えば、背景画像４２の推定人領域６０’以外の領域内の複数の画素の輝度値の平均値と、未来画像４０ｆの推定人領域６０以外の領域内の複数の画素の輝度値の平均値との差分から画素値変化量を求めてもよい。特に、背景画像４２の周辺領域６２’内の複数の画素の輝度値の平均値と、未来画像４０ｆの周辺領域６２内の複数の画素の輝度値の平均値との差分から画素値変化量を求めてもよい。

また、本実施形態では、複数の未来画像４０ｆから選択された１つの未来画像４０ｆと、背景画像４２とに基づいて、画素値変化量を求めていたが、複数の未来画像４０ｆの対応する画素の画素値を平均化した平均未来画像を生成し、当該平均未来画像と背景画像４２とに基づいて画素値変化量を求めるようにしてもよい。

また、背景画像更新手段５０がセンシング画像４０ｔの撮影モードと判定対象画像の撮影モードとが異なる場合に背景画像４２を更新する際、未来画像４０ｆの撮影モードを判定してセンシング画像４０ｔの撮影モードと同じ未来画像４０ｆを用いて背景画像を更新すると尚よい。つまり、未来画像４０ｆの中で撮影モードが切替られた場合、撮影モードが切替えられる前の未来画像４０ｆ、すなわちセンシング画像４０ｔと同じ撮影モードで撮影された未来画像４０ｆを用いて背景画像４２を更新する。なお、未来画像４０ｆの撮影方法が１フレーム毎に切替わって撮影された（例えば、センシング画像４０ｔが近赤外画像、センシング画像４０ｔの１フレーム後が可視画像、センシング画像４０ｔの２フレーム後が近赤外画像）場合、未来画像４０ｆのうち、センシング画像４０ｔの撮影方法と同じ撮影方法で撮影された未来画像４０ｆを用いて、背景画像４２を更新するとよい。

また、抽出手段５２が上述のフレーム間差分によってセンシング画像４０ｔから変化領域を抽出する場合、背景画像更新手段５０は、センシング画像４０ｔの撮影モードと、センシング画像４０ｔの直前に撮影された過去画像４０ｐの撮影モードとが互いに異なる場合、未来画像４０ｆ（好適にはセンシング画像４０ｔの１フレーム後の未来画像４０ｆ）を基準画像とする。その上で、抽出手段５２は、センシング画像４０ｔと当該未来画像４０ｆとを比較して、センシング画像４０ｔにおいて変化領域を抽出する。

また、本実施形態では、センシング画像４０ｔの撮影モードと、判定対象画像の撮影モードとが互いに異なる場合に、背景画像更新手段５０が背景画像４２を更新していたが、背景画像更新手段５０は、センシング画像４０ｔの撮影時と、判定対象画像の撮影時とにおいて、監視領域において所定の水準以上の明るさの変化があったと判定した場合に、背景画像４２を更新するようにしてもよい。なお、この場合であっても、背景画像４２の更新方法は上述と同様であってよい。

この場合、図１０に示すように、変形例に係る画像センサ２２’は、基本実施形態に係る画像センサ２２に比して、明るさ検出手段４６及び撮影モード切替手段４８に代えてあるいは加えて、明るさ変化判定手段７０を備える。

明るさ変化判定手段７０は、監視領域において、ある時点から他の時点までの間において、所定の水準以上の明るさの変化があるか否かを判定する。

例えば、明るさ変化判定手段７０は、照度センサ３４からの照度信号に基づいて、監視領域の明るさの変化を判定することができる。なお、この場合、撮影部３２により撮影画像４０が撮影される度に、撮影時の監視領域の明るさを示す照度情報を当該撮影画像４０のメタデータとして付与しておき、明るさ変化判定手段７０が、ある撮影画像４０の撮影時から他の撮影画像４０の撮影時までの間における監視領域の明るさの変化（量）を求められるようにしておく。

また、例えば、明るさ変化判定手段７０は、センシング画像４０ｔの平均輝度値と、センシング画像４０ｔの直前の過去画像４０ｐの平均輝度値とを算出し、算出した平均輝度値の差分（平均輝度差）が予め設定した所定値以上であるか否かを判定する。所定値以上である場合、監視領域において水準以上の明るさの変化が生じたと判定し、所定値以下の場合は、監視領域において水準以上の明るさの変化が生じていないと判定する。あるいは、センシング画像４０ｔの平均輝度値が第１閾値以下であり、且つ、センシング画像４０ｔの直前の過去画像４０ｐの平均輝度値が第１閾値よりも高い第２閾値以上である場合、又は、センシング画像４０ｔの平均輝度値が第２閾値以上であり、且つ、センシング画像４０ｔの直前の過去画像４０ｐの平均輝度値が第１閾値以下である場合に、監視領域において水準以上の明るさの変化が生じたと判定してもよい。なお、センシング画像４０ｔの直前の過去画像４０ｐの代わりに、背景画像４２とセンシング画像４０ｔとを比較して監視領域において水準以上の明るさの変化が生じたか否かを判定してもよい。

なお、水準以上の明るさの変化の有無を判定するために、センシング画像４０ｔと過去画像４０ｐの平均輝度値に代えて、平均明度などの他の指標を用いてもよい。また、画像全体の平均輝度値ではなく、予め設定した画像内の所定領域の平均輝度値に基づいて、監視領域における水準以上の明るさの変化の有無を判定してもよい。また、輝度変化のパターン（輝度変化のグラフなどを用いて）などが予め設定したパターンと一致するか否かに基づいて、監視領域における水準以上の明るさの変化の有無を判定してもよい。

抽出手段５２は、センシング画像４０ｔの撮影時と、センシング画像４０ｔの直前に撮影された過去画像４０ｐ又は背景画像４２の撮影時とにおいて、明るさ変化判定手段７０により、監視領域の明るさに水準以上の変化がないと判定された場合、当該過去画像４０ｐ又は背景画像４２を基準画像として、センシング画像４０ｔから変化領域を抽出する。一方、センシング画像４０ｔの撮影時と、センシング画像４０ｔの直前に撮影された過去画像４０ｐ又は背景画像４２の撮影時とにおいて、明るさ変化判定手段７０により、監視領域の明るさに水準以上の変化があると判定された場合、上述のように背景画像更新手段５０により更新された基準画像に基づいて、センシング画像４０ｔから変化領域を抽出する。

以下、図１１に示すフローチャートに従って、基本実施形態における侵入者判定処理の流れを説明する。

ステップＳ１０において、背景画像更新手段５０は、撮影モード切替手段４８により撮影部３２の撮影モードが切り替えられ、センシング画像４０ｔの撮影モードと、センシング画像４０ｔの直前に撮影された過去画像４０ｐ又は背景画像４２の撮影モードとが互いに異なるか否かを判定する。両画像の撮影モードが異なる場合はステップＳ１２に進む。両画像の撮影モードが同じである場合はステップＳ２２に進む。

ステップＳ１２において、背景画像更新手段５０は、複数の未来画像４０ｆ間の差分画像に基づいて、未来画像４０ｆに推定人領域６０が存在するか否かを判定する。

未来画像４０ｆに推定人領域６０が存在しない場合、ステップＳ１４において、背景画像更新手段５０は、複数の未来画像４０ｆのいずれかを背景画像４２とし、ステップＳ２２に進む。

未来画像４０ｆに推定人領域６０が存在する場合、ステップＳ１６において、背景画像更新手段５０は、未来画像４０ｆにおける推定人領域６０の周辺領域６２内の各画素の画素値と、背景画像４２における推定人領域６０’の周辺領域６２’内の各画素の画素値とに基づいて、背景画像４２から未来画像４０ｆへの輝度値毎の変化率を表す変化率テーブルを生成する。

ステップＳ１８において、背景画像更新手段５０は、ステップＳ１６で生成した変化率テーブルに基づいて、更新前の背景画像４２における推定人領域６０’内の各画素の輝度値を補正して、補正後の輝度値を更新後の背景画像４２’の推定人領域６０’’の対応する画素の輝度値とする。

ステップＳ２０において、背景画像更新手段５０は、未来画像４０ｆの推定人領域６０以外の領域の画素値を、更新後の背景画像４２’の推定人領域６０’’以外の各画素の画素値とする。これにより、更新後の背景画像４２’が生成される。

ステップＳ２２において、抽出手段５２は、センシング画像４０ｔと背景画像４２とを比較して、センシング画像４０ｔから変化領域を抽出する。ここで、ステップＳ１０でセンシング画像４０ｔの撮影モードと、センシング画像４０ｔの直前に撮影された過去画像４０ｐ又は背景画像４２の撮影モードとが互いに異なると判定された場合（すなわちステップＳ１２～２０を経由した場合）には、ステップＳ２２で用いられる背景画像４２は、ステップＳ１２～２０の処理で更新された背景画像４２である。一方、ステップＳ１０でセンシング画像４０ｔの撮影モードと、センシング画像４０ｔの直前に撮影された過去画像４０ｐ又は背景画像４２の撮影モードとが一致すると判定された場合には、当該過去画像４０ｐ又は背景画像４２を基準画像として、センシング画像４０ｔから変化領域を抽出する。

ステップＳ２４において、背景画像更新手段５０は、背景画像４２を更新する条件を満たすか否かを判定する。具体的には、所定期間（例えば、２０フレーム間隔）背景画像４２の更新が行われていないか否か、さらに、センシング画像の変化領域が所定範囲以下か否かを判定する。

条件を満たす場合、ステップＳ２６において、背景画像更新手段５０は、センシング画像４２ｔを背景画像４２とする。条件を満たさなかった場合、ステップＳ２６をバイパスし、つまり背景画像４２の更新は行わずにステップＳ２８に進む。

ステップＳ２８において、判定手段５４は、ステップＳ２２において抽出された変化領域が人領域であるか否かの判定を行う。人領域である場合には、通信部３０から侵入アラーム信号が警備装置１４へ送信され、そうでない場合は通知は行われない。

以上、本発明に係る実施形態を説明したが、本発明は上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない限りにおいて種々の変更が可能である。

１０ 警備システム、１２ 監視対象物件、１４ 警備装置、１６ 通信網、１８ 警備センタ装置、２０ 利用者装置、２２ 画像センサ、２４ 録画装置、３０ 通信部、３２ 撮影部、３４ 照度センサ、３６ 照明部、３８ 記憶部、４０ 撮影画像、４２ 背景画像、４４ 信号処理部、４６ 明るさ検出手段、４８ 撮影モード切替手段、５０ 背景画像更新手段、５２ 抽出手段、５４ 判定手段。

Claims (6)

1. 撮影環境に応じた撮影方法で順次撮影された撮影画像のうち、処理対象の対象画像について基準画像との変化領域を抽出する画像処理装置であって、
   前記対象画像を含む所定期間の前記撮影画像を記憶する記憶手段と、
   前記対象画像の撮影方法と、当該対象画像の直前に撮影された撮影画像又は前記基準画像の撮影方法とが一致する場合、当該対象画像よりも時間的に前に撮影された前記撮影画像である過去画像を用いて設定した前記基準画像と当該対象画像とから前記変化領域を抽出し、前記撮影方法が相違する場合には、前記記憶されている前記撮影画像のうち当該対象画像よりも時間的に後に撮影された前記撮影画像である未来画像を用いて設定した前記基準画像と当該対象画像とから前記変化領域を抽出する抽出手段と、
   を有することを特徴とする画像処理装置。
2. 前記記憶手段は、前記過去画像を用いて設定した前記基準画像を更に記憶し、
   前記対象画像の撮影方法と、当該対象画像の直前に撮影された撮影画像又は前記基準画像の撮影方法とが相違するか否かを判定し、前記撮影方法が相違すると判定したとき、前記抽出手段による抽出処理の前に、前記未来画像を用いて前記基準画像を更新する基準画像更新手段を、
   更に有することを特徴とする請求項１に記載の画像処理装置。
3. 前記基準画像更新手段は、前記未来画像を用いて前記基準画像を更新する際、複数の前記未来画像間の差分領域が抽出されなかった場合は、比較に用いた前記未来画像のいずれか一つを前記基準画像とする、
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記基準画像更新手段は、前記未来画像を用いて前記基準画像を更新する際、複数の前記未来画像間の差分領域が抽出された場合は、前記未来画像における前記差分領域以外の各画素の画素値と、更新前の前記基準画像における前記差分領域以外の対応する各画素の画素値とから求められる画素値変化量に基づいて、更新前の前記基準画像における前記差分領域内の各画素の画素値を補正して、更新後の前記基準画像の差分領域の対応する各画素の画素値とし、前記未来画像における前記差分領域以外の領域の画素値を更新後の前記基準画像の差分領域以外の各画素の画素値とする、
   ことを特徴とする請求項２又は３に記載の画像処理装置。
5. 前記基準画像更新手段は、前記未来画像における前記差分領域の周辺領域内の各画素の画素値と、前記周辺領域に対応する更新前の前記基準画像の画像領域の各画素の画素値とから前記画素値変化量を求める、
   ことを特徴とする請求項４に記載の画像処理装置。
6. 監視領域が順次撮影された撮影画像のうち、処理対象の対象画像について基準画像との変化領域を抽出する画像処理装置であって、
   前記監視領域の明るさ及び前記撮影画像の輝度の少なくとも一方から前記監視領域の明るさに水準以上の変化があるか否かを判定する明るさ変化判定手段と、
   前記対象画像を含む所定期間の前記撮影画像を記憶する記憶手段と、
   前記対象画像の撮影時と、当該対象画像の直前の撮影画像又は前記基準画像の撮影時とにおいて、前記明るさ変化判定手段により前記水準以上の変化がないと判定された場合、当該対象画像よりも時間的に前に撮影された前記撮影画像である過去画像を用いて設定した前記基準画像と当該対象画像とから前記変化領域を抽出し、前記水準以上の変化があると判定された場合には、前記記憶されている前記撮影画像のうち当該対象画像よりも時間的に後に撮影された未来画像を用いて設定した前記基準画像と当該対象画像とから前記変化領域を抽出する抽出手段と、
   を有することを特徴とする画像処理装置。

Images