JP2012118680A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】 背景差分法により撮影画像から異物を検出する動作を安定化すること。
【解決手段】 差分画像を閾値処理で２値化し（Ｓ１０３）、異物と異物以外（ノイズ）とを判別した後、該閾値を画素毎に調整する（Ｓ１０４）。この閾値は、撮影環境で生じるノイズの大きさに応じて予め定められた閾値ＴＨ１と閾値ＴＨ１よりも所定値だけ低い閾値ＴＨ２との間で閾値を切り替え可能とする。上記所定値は、実測するノイズの変動量を基づいて決める。閾値調整（Ｓ１０４）では、初期の閾値ＴＨ１で異物が判別された場合に、閾値ＴＨ２値に調整し、その後、引き続いて行う閾値ＴＨ２による２値化処理で異物と判別されなくなったときに再び閾値ＴＨ１に戻す閾値調整を画素毎に実行し、この調整によって、発生するほとんどのノイズの影響を受けることがなく、異物検出動作が不安定になることを防ぐことができる。
【選択図】 図２

Description

本発明は、動画を撮るカメラの撮影画像を処理し画像に現れる異物を検出する処理を行う画像処理装置及び画像処理方法に関する。

いわゆる異物を検出する装置として、例えば、動画像を撮るビデオカメラ等の撮像装置を監視場所に設置し、ビデオカメラの撮影画像を処理することによって、撮影した画面内に現れる物体を異物として検出する移動体検出装置が既に知られている(特許文献１参照)。
この移動体検出装置では、ＣＣＤ（Charge Coupled Device）等を変換手段とするビデオカメラによって撮影し画素の単位で変換される画像信号から異物を検出する手法が用いられる。この検出手法は、いわゆる背景差分法、即ち、予め監視対象の異物が存在しない状態で撮影しておいた監視場所の背景画像と、その後、その場所の監視時における撮影画像との差分をとって、監視対象の異物が存在する場合に現れる差分値から異物を検出する手法である。

ところで、カメラの入力画像には、変動成分として、撮影環境に応じたノイズが多かれ少なかれ重畳されることが知られている。このため、背景差分法を用いた異物検出では、求めた差分に含まれる異物の信号成分のほかに加わるノイズ成分を異物として検出することがないように、ノイズを除く処理を行う。即ち、この処理により、画素毎に求めた差分値に対し、閾値による２値化処理によって、ノイズを含む差分画像からノイズ分だけの画素を除き、異物成分を含む画素の存在を２値信号で示す、つまり、閾値以上であれば異物、閾値未満であればノイズとして区別し異物を検出することができる。

ここで、２値化に用いる閾値は、撮影環境の変化が小さければ固定値でもよいが、撮影環境が大きく変化する場合には、その変化に合わせて、動的に閾値を変える必要がある。即ち、一般に、明るい環境下においてはノイズの変動は小さく、暗い環境下においてはノイズの変動は大きくなる傾向があるため、これに対応して、ノイズを異物として誤検知しないように、２値化のための閾値を動的に変更することで、ノイズを有効に除くことによってノイズによる誤検出率を下げ、異物の検出精度を上げる必要がある。

しかし、従来の閾値に基づく２値化処理による異物検出方法では、差分画像の異物成分を検知する際に、撮影画像の異物自体に生じるノイズで検出動作が不安定になるという問題がある。つまり、異物の差分値が上記２値化の閾値とほぼ等しい大きさであると、ノイズにより異物画素の差分値が変動するため、差分画像の画素毎の差分値が閾値以上と未満とを行き来するという状態になり得る。そのため、正確な異物検出が難しくなる。その結果、異物検出の通報を監視システムの制御部に繰り返し行ってしまい、当該システムの正常な動作の障害となる。また、一定時間、異物が継続的に検出されたことを条件に通報を行うようにする置き去り又は持ち去り検知を行う場合には、通報が行われなくなってしまう、等の問題が生じる。

特開平７−１６０８５８号公報

本発明は、上記従来技術の問題を解決すべくなされたものであって、その目的は、いわゆる背景差分法により撮影画像から異物を検出する処理を行う際に、異物の存否を検出するための閾値と同等の大きさの差分値を有する異物が存在した場合にも、ノイズの影響を抑えつつ異物検出を正確に行えるようにすることである。

本発明は、所定の場所に設置される動画を撮るカメラにより背景を撮影し画素の単位で変換される背景画像と背景撮影後に同場所を前記カメラにより撮影し得られる撮影画像との差分画像を基に異物を検出する処理を行う画像処理装置であって、前記差分画像を予め定めた閾値と画素毎に比較し、比較結果によって異物画素とそれ以外の画素に判別する閾値処理手段と、前記閾値処理手段によって判別された異物画素よりなる画像を基に検出対象の異物であるか否かを判定する異物判定手段と、前記異物判定手段の判定結果を異物検出結果として出力する手段と、前記閾値処理手段で用いる閾値の設定を、撮影環境で生じるノイズの大きさに応じてノイズを検出しないように予め定められた第１閾値と第１閾値よりも所定値だけ低い第２閾値との間で切り替え可能として、異物画素と判別した場合に用いていた閾値が第１閾値であれば、該当する画素に対し次に前記閾値処理手段で処理に用いる閾値の設定を第２閾値に切り替える一方、異物画素ではないと判別した場合に用いていた閾値が前記第２閾値であれば、設定を第１閾値に切り替えて閾値を調整する閾値調整手段と、を有したことを特徴とする。
本発明は、所定の場所に設置される動画を撮るカメラにより背景を撮影し画素の単位で変換される背景画像と背景撮影後に同場所を前記カメラにより撮影し得られる撮影画像との差分画像を基に異物を検出する処理を行う画像処理方法であって、前記差分画像を予め定めた閾値と画素毎に比較し、比較結果によって異物画素とそれ以外の画素に判別する閾値処理工程と、前記閾値処理工程で判別された異物画素よりなる画像を基に検出対象の異物であるか否かを判定する異物判定工程と、前記異物判定工程の判定結果を異物検出結果として出力する工程と、前記閾値処理工程で用いる閾値の設定を、撮影環境で生じるノイズの大きさに応じてノイズを検出しないように予め定められた第１閾値と第１閾値よりも所定値だけ低い第２閾値との間で切り替え可能として、異物画素と判別した場合に用いていた閾値が第１閾値であれば、該当する画素に対し次に行う閾値処理で用いる閾値の設定を第２閾値に切り替える一方、異物画素ではないと判別した場合に用いていた閾値が前記第２閾値であれば、設定を第１閾値に切り替えて閾値を調整する閾値調整工程と、を有したことを特徴とする。

本発明によれば、異物の存否を検出するための閾値と同等の大きさの差分値を有する異物が存在する場合にも、ノイズの影響を抑えつつ異物検出を安定して正確に行うことができる。

本発明に係る画像処理装置の概略構成を示すブロック図である。 本発明に係る画像処理装置（図１）が行う異物を検出する処理のフロー図である。 異物を検出する処理（図２）の閾値調整ステップのサブシーケンスのフロー図である。 閾値調整値の決定過程で求められる差分値を説明する図である。 ノイズ量の算出ステップを付加した異物を検出する処理の１実施形態に係るフロー図である。 ノイズ量の算出ステップを付加した異物を検出する処理の他の実施形態に係るフロー図である。 ノイズ量の算出ステップを付加した異物を検出する処理の他の実施形態に係るフロー図である。

本発明の実施形態の説明に先立って、まず、本発明の原理について説明する。
本発明は背景差分法、即ち、所定の場所に設置される動画を撮るカメラにより背景を撮影し画素単位で変換される、背景画像と背景撮影後に同場所を前記カメラにより撮影し得られる撮影画像との画素毎の画素値の差分をとる背景差分法、によって得られる画像を基に異物を検出する処理を行う。
背景差分法によって得られる差分画像は、ノイズがなければ背景が除かれた異物の存在によって現れる差分のみの画像となるが、実際には重畳されるノイズ分が差分画像に現れるので、ノイズ分の差分値を検出しないように考慮して設定された閾値により差分画像を２値化処理し、異物とそれ以外の画素を判別する。
しかし、実際には異物画像自体にもノイズが含まれるため、異物画素の差分値が閾値程度の場合には、当該差分値に生じるノイズの影響により異物検出動作が不安定になり正確な異物検出が難しくなる。

「安定化手法」
そこで、本発明では、閾値調整、即ち画素毎に異物とそれ以外の画素を判別する２値化の閾値を調整（変更）することで、検出動作の安定化を図る。
この閾値調整では、異物画素の検出動作中に閾値を変動させる、つまり、１つの撮影画像に対する２値化の結果を基に次の撮影画像に対する閾値を変更する方式をとる。
閾値は、異物検出処理システムを起動したときなどに設定される値（「第１閾値ＴＨ１」という）と、第１閾値ＴＨ１よりも所定値（以下、「閾値調整値」或いは単に「調整値」という）だけ輝度値が低い閾値（「第２閾値ＴＨ２」という）との間で切り替える。

なお、第１閾値ＴＨ１は、異物検出処理システムの起動時などに設定される値を各画素に共通に用いる。設定される第１閾値ＴＨ１は、撮影環境によって生じるノイズ分の差分値が異なるので、撮影環境で生じるノイズの大きさに応じてノイズを検出しないように予め定められた閾値を適用する。第１閾値ＴＨ１を決める方法は、既存の方法を採用することによって実施することが可能であり、例えば、現場の撮影環境で実験を行い、そのときの撮影環境の変化に応じて変わるノイズ量を基に、異物とそれ以外の画素を誤りなく判別するために適する値を決める。
また、調整値は、画像のノイズ量を基にした統計的な手法で決定する（後記実施例における“調整値の決定”で詳述）。つまり、異物画素自体に含まれる撮影画像のノイズによる変動量を考慮する。

閾値の切り替えは、第１閾値ＴＨ１により異物と判別された画素があれば、その画素の閾値を第１閾値ＴＨ１よりも所定値だけ低い第２閾値ＴＨ２に切り替え、その後、引き続いてこの低い第２閾値ＴＨ２で処理を行って、この閾値を越えることが途切れたとき、即ち、異物判別がなされなかったときは、その画素の閾値を再び第１閾値ＴＨ１に戻すことで行う。

この閾値の切り替えを行う理由は、第１閾値ＴＨ１のみで全ての異物判別処理を行うと、異物画素自体に含まれるノイズの影響で本来は第１閾値ＴＨ１を越える差分値であるにもかかわらず、第１閾値ＴＨ１未満の差分値となる可能性があるからである。また、閾値を第２閾値ＴＨ２に下げるのは、第１閾値を越えて異物と判別された画素が引き続いて次に処理される差分画像における差分値で第１閾値ＴＨ１未満となった場合でも、その画素の差分値はこの第２閾値ＴＨ２は越えるようにして、異物画像の画素を確実に判別できるようにするためである。
また、第２閾値ＴＨ２を越えることが途切れたときに再び第１閾値ＴＨ１に戻すのは、第２閾値ＴＨ２はノイズを検出しないように定められた閾値ではなく、異物を安定して検出するための閾値であり、ノイズを異物と誤判別する可能性があるため、ノイズを検出しないように定められた第１閾値ＴＨ１に戻せばその可能性が低減することから、第１閾値ＴＨ１に基づいて、再度異物画素の検知を行うためである。

なお、第１閾値ＴＨ１から第２閾値ＴＨ２への調整の際、必要以上に閾値を下げてしまうと、最悪の場合第１閾値ＴＨ１に戻す切り替えができなくなる(つまり、異物画素を検出し続ける)可能性があるため、この点を考慮して適用する値を定めることが必要である。

このような閾値の調整を行うことにより、異物とそれ以外の画素を判別する２値化処理の出力を安定化することができる。
特に、上述のように、一定時間、異物が継続的に検出されたことを条件に通報を行うようにする置き去り又は持ち去り検知では、有効性をより高めることができる。
なお、以上述べたように、この実施形態の安定化の手法は、画素毎に閾値を調整して異物検出を安定化させる手法であるため、背景差分法を用いた異物検出システム全般にプラスαの機能として利用可能である。

以下、上記原理を用いた画像処理装置及び画像処理方法に係る実施形態を図面を参照して説明する。
ここでは、背景差分法によって得られる差分画像を基に異物検出処理を行う画像処理装置についてその概要を説明する。
図１は、本実施形態に係る画像処理装置の概略構成を示すブロック図である。
図１に示すように、画像処理装置１０は、制御部１１と、制御部１１の制御下で動作する画像処理部１２、撮影環境検知部１３、記憶部１４、表示部１５、入力部１６及びインターフェース部１７の各部と、データをやり取りするために上記各部１１〜１７を相互に接続するバス１８を有する。

制御部１１は、画像処理装置全体を制御し、異物検出処理等を実行するためのデータ処理等を行う手段として、図示しないが、ＣＰＵ（Central Processing Unit）、ＣＰＵの処理に必要なプログラムやデータ等を一時的に記憶しておくためのＲＡＭ（Random Access Memory）及びＣＰＵを駆動して演算や処理等を実行させるためのプログラム等を格納したＲＯＭ（Read Only Memory）を備えたコンピュータ等を備える。
画像処理部１２は、撮影画像から異物を検出する処理を行う手段であり、後記で図２、３及び図５〜７の処理フローを参照して詳述する検出処理を実行する手段を備える。なお、画像処理部１２は、異物検出処理を行う専用の画像処理回路で構成してもよいが、異物検出処理を実行するプログラムを制御部１１のコンピュータで駆動することにより実施してもよい。

撮影環境検知部１３は、撮影環境の変化を検知するために設け、屋内、屋外、昼、夜、日照の有無、等の撮影環境の変化によって異物検出処理の処理条件（例えば、後述する２値化に用いる閾値）を変更する場合に、変更に必要な情報を制御部１１へ知らせる手段である。なお、後述する実施形態では、撮影画像全体の変化に基づいて検知する手段を採用している。
記憶部１４は、撮影画像や処理画像等の画像データを含む各種データを記憶する手段であるが、そのほかに制御部１１のコンピュータが用いる異物検出処理や画像処理等に必要な各種プログラムを保存する。

入力部１６は、異物検出処理に対する指示や操作、或いは異物検出処理の処理（制御）条件の設定等、異物検出に必要な設定データを含む各種データ等を入力するための、例えばマウスやキーボード又はタッチパネル等である。
表示部１５は、入力部１６とともにユーザーインターフェースとしての機能を提供する手段であり、入力部１６を介して入力されたデータやカメラ１による撮影画像或いは画像処理部１２によって処理された処理画像等のデータを表示するモニタ等の表示手段であり、異物検出処理の結果を撮影画像上で表示する際、入力時の設定データや検知結果等を表示する際に使用される。
インターフェース部１７は、外部機器との間でデータを交換するための手段であり、この実施形態では、ここを介して検出対象を撮影するカメラ１からの撮影画像を画像処理部１２等に取り込む。

「異物検出処理」
画像処理装置１０が行う異物検出処理の処理例を示す。なお、以下に示す処理例は、所定の監視場所に現れる異物を設置されたカメラ１により監視するシステムに実施し得る画像処理装置の処理例であり、この監視システムが立ち上げられると、すぐに異物検出の処理が起動されて処理を開始し、システムのシャットダウンにより処理を終了する。

図２は、本実施形態の異物検出処理における処理フロー図である。
制御部１１は、図２に示すように、監視システムが起動されると処理を開始し、先ず、インターフェース部１７を通してカメラ１により撮影された画像が入力される（ステップＳ１０１）。
次に、制御部１１の制御下で画像処理部１２は、入力された撮影画像と予め作成され記憶部１４に保存しておいた背景画像の各画素の画素値との差分値(絶対値)を画素単位で求め、差分画像を生成する（ステップＳ１０２）。
次いで、画像処理部１２は、異物とそれ以外の画素を判別するために画素毎に設定される閾値によって前段で求めた差分画像を２値化処理し、意図する２値画像を得る（ステップＳ１０３）。

次に、制御部１１は、異物検出動作を安定化させるためにステップＳ１０３で用いる閾値を画素毎に調整する（ステップＳ１０４）。
ここで、このステップで行う処理例を下記“閾値調整処理”にて説明し、また、調整値の決め方についての処理例を下記“調整値の決定”にて説明する。

“閾値調整処理”
図３は、異物検出処理フロー（図２）の閾値調整ステップ（ステップＳ１０４）のサブシーケンスのフロー図である。なお、このサブシーケンスは、上述の「安定化手法」を適用して異物検出処理を実施する手順である。

図３のシーケンスに示すように、先ず、制御部１１は、判別対象となった画素がステップＳ１０３で閾値による２値化処理で異物と判別されたか否かを確認する（ステップＳ２０１）。
ここで、異物と判別されたことを確認した場合には（ステップＳ２０１-YES）、そのときの閾値が第１閾値ＴＨ１（上記「安定化手法」、参照）であるか否かを確認する（ステップＳ２０２）。
この確認の結果、閾値が第１閾値ＴＨ１であれば（ステップＳ２０２-YES）、既に述べた理由により、第１閾値ＴＨ１よりも所定値だけ低い第２閾値ＴＨ２（上記「安定化手法」、参照）に変更して閾値を調整し（ステップＳ２０３）、このシーケンスを終える。
他方、ステップＳ２０２の確認の結果、閾値が第１閾値ＴＨ１でなければ（ステップＳ２０２-NO）、その場合の閾値は第２閾値ＴＨ２であるから、閾値を変更せずそのままの値（第２閾値ＴＨ２）にしておき、このシーケンスを終える。

また、ステップＳ２０１で判別対象となる画素が異物と判別されなかった場合には（ステップＳ２０１-NO）、そのときの閾値が第２閾値ＴＨ２であるか否かを確認する（ステップＳ２０４）。
この確認の結果、閾値が第２閾値ＴＨ２であれば（ステップＳ２０４-YES）、これも既に述べた理由により、第１閾値ＴＨ１に変更して閾値を初期値に戻し（ステップＳ２０５）、このシーケンスを終える。
他方、ステップＳ２０４の確認の結果、閾値が第２閾値ＴＨ２でなければ（ステップＳ２０４-NO）、その場合の閾値は第１閾値ＴＨ１であるから、閾値を変更せずそのままの値（第１閾値ＴＨ１）にしておく。

“閾値調整値の決定”
上記の閾値調整（図３）で異物検出動作を安定化させるために初期値の第１閾値ＴＨ１よりも所定値だけ輝度値が低い第２閾値ＴＨ２値に調整する際に適用する閾値調整値（前記所定値）の決定方法について説明する。
なお、この調整値は、監視場所の撮影環境下で生じるノイズ量に適応したものであることが求められ、具体的には監視場所に設置されたカメラ１の撮影画像を基にノイズ量を実測し、実測値からノイズの影響を受けずに異物検出を確実に行える、つまり異物検出を安定して行える調整値を決める。
下記の決定処理例では、監視場所を実際にカメラ１で撮影した画像のノイズ量を元にした統計的な手法で決定する方法について示す。また、撮影環境に適応すべく実測値に基づく閾値調整値の決定を異物検出においてどのようなタイミングで行うかについては、後述する「ノイズ量算出処理」にて説明する。

調整値の決定処理例について、〈処理例１〉及び〈処理例２〉の２例を示す。
〈処理例１〉
この処理例は、下記１．〜５．に示す処理手順に従って実行する。
１．撮影画像のうちノイズ量の検出対象とする画像領域として、異物の入らない小領域を設定する。なお、この設定を行う理由は、異物が入らない画像領域の方が安定したノイズ量情報の取得ができるからである。また、小領域の設定方法は、モニタ画像上で上記の条件を満たす画像領域をマウスクリックなどにより手動で設定する方式や異物が入らない画像領域を自動設定する既知のアルゴリズムを用いる画像処理によって自動的に設定する方式が採用できるが、いずれの方式を用いてもよい。
２．上記１．で設定した小領域に対しフレーム間差分を求めることにより、画素毎の輝度値の変化量を差分値（絶対値）として得る。
３．上記２．で差分値を得た各画素のうち差分値の小さい方から該当する差分値を持つ画素の画素数を順に足していき、総数が小領域の画素数の大部分の割合（予め定められた割合であり、撮影環境により変動する経験値として、例えば、小領域の画素数の８〜９割）を占めたときに該当する画素の差分値を求める差分値とし、求めた差分値を記憶する。

図４は、上記の方法で求める差分値を説明するグラフである。図４におけるグラフは、差分値（縦軸）に対する画素数（横軸）の分布を示している。同図に示すように、ノイズに基づき発生する差分値は、差分値が０の画素数を最大に差分値が大きくなるに連れ画素数は徐々に少なくなり、或る差分値より大きくなると急激に画素数が少なくなる分布となる傾向にある。画素数が急激に少なくなる値を越える差分値は、異常値とみなすことができ、この値を限界値と定めることが適当である。この限界値以内に収まる差分値を持つ画素は検出対象とする画像領域内の大部分を占め、普通に発生するほとんどのノイズは、この限界値以内に収まる差分値を持つ。よって、この限界値を求める差分値としてこの値を閾値調整値とする。ただ、ここでは、求めた差分値を基礎として下記４．で調整値を決定する。
なお、この方法によって求める差分値は、明るさ等の撮影環境によって異なった値となる。

４．上記３．の処理を数秒間繰り返し行い、この数秒間に求めた全ての値を基礎にして、これらの値の平均値、最頻値、中間値のいずれか１つを算出し、算出した値を基に閾値調整値を定める。この方法で求めた調整値によって、異物検出動作を安定化することができる。なお、３．及び４．の処理によって求める閾値調整値の精度を向上させるために、この処理で得られる閾値調整値に所定の上限値を設定し、精度を確保する。即ち、得られる閾値調整値が所定の上限値を越えたときは、検出対象として設定した小領域に異物が入るか、もしくは画像全体に影響する状況の変化（照明変化や日照変化、カメラ絞りの変化など）が生じたことが推測できるので、３．及び４．の処理をやり直す、という対処などが行える。

５．上記４．で得られた差分値（大部分の画素が占める限界を定める差分値）を、撮影画像の実測ノイズ量として、このノイズ量を示す値を初期値の第１閾値ＴＨ１から下げる閾値調整値とする。つまり、第２閾値ＴＨ２は、第１閾値ＴＨ１からこの調整値を引いた値となる。

〈処理例２〉
上記〈処理例１〉では、ノイズ量の検出対象とする画像領域として、撮影画像のうちの異物の入らない小領域を設定したが、この処理例では、撮影画像の全画面を検出対象とする。なお、全画面とした場合も、処理中には撮影画像に異物が映り込まないという条件が必要であり、この条件を満たせば、上記〈処理例１〉と同じ方法による処理を行っても問題は生じない。
ただ、一定時間毎など決められたタイミングでこの決定処理を行う場合には、全画面を検出対象とすると、ノイズによる差分値（限界値）を求めるために得る撮影画像中に何かしらの異物が映り込む可能性が高くなるため、その分だけ精度が落ちてしまうおそれがある。求めるノイズ量に影響する何かしらの異物の映り込みが起きる状況では、この点を考慮して、ノイズによる差分値の限界値を求める上記〈処理例１〉の３．の手順において、対象画像領域の画素数の大部分を占めるとする割合を、上記〈処理例１〉のときに定めたよりは低くすることで精度の低下を抑制することができる。

ここで、図２のフローに戻ると、ステップＳ１０４の閾値調整ステップ（図３のサブシーケンス）を抜けると、次に、ステップＳ１０３の２値化処理により得た異物とそれ以外の画素を判別するため２値化画像に対しラベリングを行う（ステップＳ１０５）。このステップでは、異物と判別された画像を連結画素領域(異物画素が連結し、１かたまりとなった画像領域）単位に分け、領域ごとに領域を識別するラベルを付し、管理情報として用いる。
次いで、ラベルの付された各領域の画像が検出対象の異物であるか否かを判定する（ステップＳ１０６）。このステップでは、異物と判定されてラベルの付された画像の中から、検出対象の異物（例えば、人間）らしいとみなされる画像を検出するために、当該異物が有する画像の大きさ、形状、等の特徴に合致する画像を判定し、その結果を得る。

次いで、前段で行った異物の判定結果を利用先に出力する（ステップＳ１０７）。出力形態は、例えば、表示部１５の原撮影画像を表示する画面上に検出結果として得られた異物の部分を識別可能に表示する方法等を採用することができる。また、検出結果として得たデータを、異物を管理する他の制御システムで利用してもよい。

検出結果の出力を行った後、次の撮影画像に対する異物検出処理に移行するが、その前に背景画像の更新処理を行う（ステップＳ１０８）。背景画像は、ステップＳ１０２において差分画像を生成する際に用いるために記憶部１４に保存されるが、撮影環境の経時変化が想定される場合には、この処理フローにおけるように、異物検出動作を行うたびに撮影した最新の背景画像によって記憶部１４の保存データを更新することが検出を高精度に保つために必要である。背景更新の方法については、既知のアルゴリズムが採用できる。
背景更新を行った後、次の撮影画像に対する異物検出処理を実行するために、ステップＳ１０１に戻る。

異物検出の処理フロー（図２）において、閾値調整ステップ（図３のサブシーケンス）で、初期値の第１閾値ＴＨ１で異物が判別された場合に、第１閾値ＴＨ１よりも上記“閾値調整値の決定”で述べた方法で決定した閾値調整値だけ低い第２閾値ＴＨ２値に調整し、その後、引き続いて行う第２閾値ＴＨ２による２値化処理で異物と判別される画素が検出されなくなったときに再び第１閾値ＴＨ１に戻す閾値調整を実行し、この閾値調整を画素毎に行うことによって、発生する殆どのノイズの影響を受けることがなく、異物検出動作が不安定になることを防ぐことができ、正確な異物検出ができる。特に、本実施形態では、ノイズにより検出が断続されることがないため、異物が継続的に検出されることを条件に通報を行う置き去り又は持ち去り検知では、有効性をより高めることができる。

次に、“調整値の決定”に必要なノイズ量の算出（以下「ノイズ量算出」処理という）をどのようなタイミングで行うかについて説明する。
ノイズ量算出処理は、調整値を決定するために、上述のように、監視場所を撮影した画像の画素値を基に統計的な処理手法を用いて実測ノイズ量を算出するので、相当の処理負担が生じる。この処理負担を軽減するためには、異物検出の精度が保たれる撮影環境があれば、できるだけ少なくすることが望ましい。そこで、以下の実施形態では、異物検出処理を行う度ごとに行わずに、処理負担が軽減できる所定のタイミングでノイズ量算出処理を行う方法について説明する。

「ノイズ量算出処理」
異物検出処理におけるノイズ量算出処理を、処理負担が軽減できる所定のタイミングで行う方法は、主に次の２通りである。
１つは、予め決められた所定タイミングでノイズ量算出処理を行う方法であり、もう１つは、撮影環境が変化したタイミングでノイズ量算出処理を行う方法である。
以下、上記２方法を“所定タイミングによる処理”と“撮影環境の変化に対応する処理”と命名して、それぞれの処理例を示す。

“所定タイミングによる処理”
まず、ノイズ量算出処理を所定タイミングで行う手順として、異物検出の処理が起動される時にだけ行うようにする。例えば、外光がなく、室内照明だけといった一定の条件で撮影場所が照明されているような撮影環境においては、動作が終了するまでノイズの変動がほとんどない、という前提のもとに異物検出動作を行う場合に適した処理である。この処理例では、起動時だけにノイズ量算出処理を行い、その後算出したノイズ量を使い続けて閾値を調整するので、最も処理負担の少ない処理といえる。

図５は、異物検出処理の起動時だけにノイズ量の算出を行うようにした異物検出処理の処理例に係るフロー図である。
図５の処理フローによると、制御部１１は、監視システムが起動されると処理を開始し、先ず、ノイズ量の算出処理を行い（ステップＳ３０１）、閾値調整値（上記“閾値調整値の決定”、参照）を求める。なお、求めた閾値調整値は、後段の閾値調整（ステップＳ３０５）で第１閾値ＴＨ１から第２閾値ＴＨ２値への調整に用いる。
ステップＳ３０１の処理後、異物検出動作をステップＳ３０２〜Ｓ３０９の異物検出の処理フローに従って行う。なお、ステップＳ３０２〜Ｓ３０９の処理は、上記「異物検出処理」において図２及び３を参照して説明した異物検出の基本処理（ステップＳ１０１〜Ｓ１０８）と同じであるから、先の説明を参照することとし、ここでは説明を省略する。

ノイズ量算出処理を所定タイミングで行う手順について、次に示す処理例では、異物検出処理の起動時にノイズ量算出処理を行い、その後一定時間周期でノイズ量算出処理を行うようにする。例えば、撮影場所が日照の影響を受けるような撮影環境であっても、急激な明るさの変化ではなければ、一定時間周期で変化に追従してノイズ量を算出し、求めた閾値調整値によって、許容範囲の精度で閾値調整を行う。この処理例によれば、起動時だけにノイズ量算出処理を行う上記処理例に比べて処理負担が大きくなるが、撮影環境の制限をより緩和することができる。

図６は、一定時間周期でノイズ量の算出を行うようにした異物検出処理の処理例に係るフロー図である。
なお、異物検出動作をステップＳ４０２〜Ｓ４１１の異物検出の処理フローに従って行う。ただ、ステップＳ４０３及びＳ４０４を除くステップＳ４０２〜Ｓ４１１の処理は、上記「異物検出処理」において図２及び３を参照して説明した異物検出の基本処理（ステップＳ１０１〜Ｓ１０８）と同じである。したがって、先の説明を参照することとし、ここでは説明を省略する。

図６の処理フローに示すように、制御部１１は、監視システムが起動されると処理を開始し、先ず、ノイズ量の算出処理を行い（ステップＳ４０１）、閾値調整値を求める（上記“閾値調整値の決定”、参照）。
ここで、ステップＳ４０１のノイズ量の算出処理を行ったとき、次にノイズ量の算出処理を行う時間を管理するためにタイマーを始動する。なお、このステップで求めた閾値調整値は、後段の閾値調整（ステップＳ４０７）で第１閾値ＴＨ１から第２閾値ＴＨ２値への調整に用いる。

また、この実施形態の処理フローでは、先にノイズ量の算出処理を行ったときに始動したタイマーを確認するステップを入れて、タイマーに設定しておいた一定時間が経過した時に再びノイズ量の算出処理を行う。フローとしては、ステップＳ４０３で一定時間の経過をタイマーにより確認し、一定時間が経過した場合には（ステップＳ４０３-YES）、ノイズ量の算出処理を行う。なお、このノイズ量の算出処理を行ったときにも、次にノイズ量の算出処理を行う時間を管理するためにタイマーをリセットし、再び始動する。
他方、ステップＳ４０３で一定時間の経過をタイマーにより確認し、一定時間が経過していない場合には（ステップＳ４０３-NO）、ノイズ量の算出処理を行うことなく、異物検出処理を進める。

“撮影環境の変化に対応する処理”
この撮影環境の変化に対応する処理では、異物検出処理を行う度ごとに撮影環境の変化を調べて、調べた結果を基にノイズ量を算出し直すか否かを確認し、確認結果によってノイズ量算出処理を行う。例えば、撮影場所が日照の影響を受けるような撮影環境であり、雲によって日照が遮られ急激な明るさの変化が起きる場合、ノイズ量算出を上記のように一定時間周期で行うと、日照の変化に追従できない、という不都合が生じるが、この処理例では、異物検出処理時に撮影環境の変化を調べて、必要性を確認して実行することで、撮影環境の変化に追従したノイズ量の算出を行い、常時検出を高精度に保つことができる。この処理例によれば、所定のタイミングでノイズ量算出処理を行う上記処理例に比べて処理負担が大きくなる可能性があるが、撮影環境の制限をさらに緩和することができる。

本実施形態では、撮影環境の変化を調べるため、撮影環境検知部１３が設けられている（図１参照）。撮影環境検知部１３は、屋内、屋外、昼、夜、日照の有無、撮影場所の転移等の撮影環境の変化を検知する手段として、変化を推定する方法によるものを含め諸種の手段を利用することができるが、ここでは撮影場所の明るさを検知する方法による。
また、撮影場所の明るさを検知する方法として、この実施形態では、カメラ１の撮影画像を基に画像全体の変化に基づいてこの検知を行う方法を採用する。

撮影環境の変化を撮影画像全体の変化の検知に基づいて行う方法の処理例を以下に示す。
この処理例は、下記１．〜５．に示す処理手順に従って実行する。
１．撮影画像のうち処理対象とする画像領域として、異物の入らない小領域を設定する。なお、この設定を行う理由は、異物が入らない画像領域の方が安定した検知処理ができるからである。
２．上記１．で設定した小領域に対し背景差分を求めることにより、画素毎の輝度値の変化量を差分値（絶対値）として得る。なお、背景差分を求めるときに用いる背景画像は、異物検出の処理に用いるために保存されているものである。
３．上記２．で差分値を得た各画素のうち差分値の小さい方から該当する値を持つ画素の画素数を順に足していき、総数が小領域の画素数の大部分の割合（予め定められた割合であり、経験値として、例えば、小領域の画素数の９割といった数値を当てる）を占めたときの差分値を求める値とし、求めた値を記憶する。

４．上記３．の処理を数秒間繰り返し行い、この数秒間に求めた全ての値を基礎にして、これらの値の平均値、最頻値、中間値のいずれか１つを算出し、算出した値を求める撮影環境の変化を示す値とする。
５．上記４．で得られた差分値（大部分の画素が占める限界を定める差分値）を、ノイズ量を算出し直すか否かを判定するために設定した閾値と比較し、比較結果によりこの判定をする。なお、この判定は、異物検出処理を行うたびごとに行い、処理を繰り返す間に一定時間以上閾値を越え続けた場合に、画像全体の明るさの変化、つまり意図する（ノイズ量の算出を実行する）撮影環境の変化が生じたと判定する手順としてもよい。

図７は、撮影環境の変化に対応してノイズ量の算出を行うようにした異物検出処理の処理例に係るフロー図である。
なお、図示のフローにおいて、ステップＳ５０３〜Ｓ５０５を除くステップＳ５０２〜Ｓ５１２の処理は、上記「異物検出処理」において図２及び３を参照して説明した異物検出の基本処理（ステップＳ１０１〜Ｓ１０８）と同じである。したがって、先の説明を参照することとし、ここでは説明を省略する。

図７の処理フローに示すように、制御部１１は、監視システムが起動されると処理を開始し、先ず、ノイズ量の算出処理を行い（ステップＳ５０１）、閾値調整値（上記“閾値調整値の決定”、参照）の初期値を求める。なお、このステップで求めた閾値調整値は、後段の閾値調整（ステップＳ５０８）で第１閾値ＴＨ１から第２閾値ＴＨ２値への調整に用いる。

また、この実施形態の処理フローでは、異物検出処理を行うたびごとに撮影環境の変化を判定し、判定結果からノイズ量を算出し直すか否かを判定するステップを入れて、この判定に従いノイズ量の算出処理を行う。
処理フローとしては、撮影画像を入力し（ステップＳ５０２）、その後、撮影画像全体の明るさ（撮影環境）の変化によりノイズ量を算出するか否かの判定をする（ステップＳ５０３）。
次いで、ステップＳ５０３の判定結果を確認して（ステップＳ５０４）、ノイズ量を算出すると判定された場合には（ステップＳ５０４-YES）、ノイズ量の算出処理を行う（ステップＳ５０５）。なお、このとき、先にノイズ量の算出処理により求められ、保存されている閾値調整値を今回求めた値で更新する。
他方、ステップＳ５０４でノイズ量を算出する必要がないと判定された場合には（ステップＳ５０４-NO）、ノイズ量の算出処理を行うことなく、異物検出処理を進める。

異物検出の処理フロー(図５〜７)において、監視場所に設置されたカメラ１の撮影画像を基にノイズ量算出処理を行い、算出結果に基づいて決定される閾値調整値を異物検出動作に反映させることにより、ノイズの影響を低減しつつ異物検出を高精度に保つことができ、異物検出をより安定して行うことができる。
また、起動時だけにノイズ量算出処理を行う処理フロー(図５)によれば、ノイズ量算出処理の負担が少なくて済む。
また、一定時間周期にノイズ量算出処理を行う処理フロー(図６)によれば、起動時だけの処理に比べて処理負担が大きくなるが、撮影環境の制限を緩和することができる。撮影環境の変化に対応する処理フロー(図７)によれば、所定のタイミングでノイズ量算出処理を行う図５及び６の処理例に比べて処理負担が大きくなる可能性があるが、撮影環境の制限をさらに緩和することができる。

１・・カメラ、１０・・画像処理装置、１１・・制御部、１２・・画像処理部、１３・・撮影環境検知部、１４・・記憶部、１５・・表示部、１６・・入力部、１７・・インターフェース部、１８・・バス。

Claims (6)

1. 所定の場所に設置される動画を撮るカメラにより背景を撮影し画素の単位で変換される背景画像と背景撮影後に同場所を前記カメラにより撮影し得られる撮影画像との差分画像を基に異物を検出する処理を行う画像処理装置であって、
   前記差分画像を予め定めた閾値と画素毎に比較し、比較結果によって異物画素とそれ以外の画素に判別する閾値処理手段と、
   前記閾値処理手段によって判別された異物画素よりなる画像を基に検出対象の異物であるか否かを判定する異物判定手段と、
   前記異物判定手段の判定結果を異物検出結果として出力する手段と、
   前記閾値処理手段で用いる閾値の設定を、撮影環境で生じるノイズの大きさに応じてノイズを検出しないように予め定められた第１閾値と第１閾値よりも所定値だけ低い第２閾値との間で切り替え可能として、異物画素と判別した場合に用いていた閾値が第１閾値であれば、該当する画素に対し次に前記閾値処理手段で処理に用いる閾値の設定を第２閾値に切り替える一方、異物画素ではないと判別した場合に用いていた閾値が前記第２閾値であれば、設定を第１閾値に切り替えて閾値を調整する閾値調整手段と、
   を有したことを特徴とする画像処理装置。
2. 請求項１に記載された画像処理装置において、
   前記カメラにより撮影される画像のうち異物が入らない画像領域の画素を対象にフレーム間差分値を得、得られる各画素のフレーム間差分値の中の異常値を除く画素の差分値の大部分が収まる限界値を求め、求めた限界値を第２閾値に係る前記所定値として前記閾値処理手段で用いる第２閾値を生成する第２閾値生成手段を有したことを特徴とする画像処理装置。
3. 請求項２に記載された画像処理装置において、
   前記第２閾値生成手段は、前記所定値を求める処理を複数回繰り返し、求まる複数の所定値の平均値、最頻値、中間値のいずれか１つを基に第２閾値を生成する手段であることを特徴とする画像処理装置。
4. 請求項２又は３に記載された画像処理装置において、
   予め定めたタイミングで前記第２閾値生成手段を動作させて第２閾値を生成することを特徴とする画像処理装置。
5. 請求項２又は３に記載された画像処理装置において、
   前記カメラにより撮影される画像全体の輝度値が変化したことを検出する撮影環境検知手段を有し、
   前記撮影環境検知手段によって画像全体の輝度値の変化が検知されたときに前記第２閾値生成手段は、画像全体の変化を検出したときに前記第２閾値生成手段を動作させて第２閾値を生成することを特徴とする画像処理装置。
6. 所定の場所に設置される動画を撮るカメラにより背景を撮影し画素の単位で変換される背景画像と背景撮影後に同場所を前記カメラにより撮影し得られる撮影画像との差分画像を基に異物を検出する処理を行う画像処理方法であって、
   前記差分画像を予め定めた閾値と画素毎に比較し、比較結果によって異物画素とそれ以外の画素に判別する閾値処理工程と、
   前記閾値処理工程で判別された異物画素よりなる画像を基に検出対象の異物であるか否かを判定する異物判定工程と、
   前記異物判定工程の判定結果を異物検出結果として出力する工程と、
   前記閾値処理工程で用いる閾値の設定を、撮影環境で生じるノイズの大きさに応じてノイズを検出しないように予め定められた第１閾値と第１閾値よりも所定値だけ低い第２閾値との間で切り替え可能として、異物画素と判別した場合に用いていた閾値が第１閾値であれば、該当する画素に対し次に行う閾値処理で用いる閾値の設定を第２閾値に切り替える一方、異物画素ではないと判別した場合に用いていた閾値が前記第２閾値であれば、設定を第１閾値に切り替えて閾値を調整する閾値調整工程と、
   を有したことを特徴とする画像処理方法。

Images