JP4858846B2 - 検知エリア設定装置及び同設定システム - Google Patents

Description

本発明は、画像認識による検知エリア設定装置及び同設定システムに関する。

従来の画像認識による検知エリアの設定は、カメラからの取得画像をモニターして、モニター上でマウスをクリックする方式や、モニター上のタッチパネルを用いた方式で行っている。
また、自動ドア用センサでは、検知エリアの設定（即ち、奥行き、幅）をディップスイッチや例えば、赤外線センサの設置角度を調整するレバーによる調整で行っている。

しかしながら、モニターを用いた設定では、監視カメラからの取得画像をモニタするための画像出力回路を備えることが必要であり、コストが嵩むだけではなくハードウエアのスペースが大きくなる等の問題がある。
また、自動ドア用センサを用いた設定方式では、奥行き、幅をそれぞれ手動で設定しなければならないだけではなく、設定した検知エリアが意図した範囲になっているかどうかその都度確認する必要があるが、自動ドア用センサは、一般に比較的高い位置に設置するため、検知エリアの位置・角度の設定・修正を高いところで行い、床に下りて動作確認をする作業を繰り返して行わなければならない。そのため、自動ドア用センサの調整等に手間が掛かるという問題がある。

更に、監視カメラの画像から監視領域（即ち検知エリア）を自動的に設定するものも知られている（特許文献１参照）。この装置は、監視対象となる水平面上に３個のマーカーを置き、これを画像中で検出して、これらの画像中の座標及びカメラ高さとマーカー間隔の情報から、水平面上でマーカーが構成する直線と平行な一定の間隔を隔てた直線を決定して、これらに囲まれた監視エリア（領域）を計算で得るものである。

しかしながら、この監視領域設定装置では、マーカーが正しく検出されることが前提となっており、画像処理した結果マーカーが検出されないときの対策についてはとくになされていない。しかしながら、現実には、マーカーが床などの背景色に隠れて検出し難いときがある。このような場合は、マーカーが正しく認識されず、したがって、監視エリアの設定は正しく行われないことがある。
特開２００１−２０４００７

本発明は、上記従来の問題に鑑みてなされたものであって、コストやスペースを必要とする画像モニターを用いることなく、監視カメラで撮像した画像から検知エリアを自動的に設定すると共に、設定に当たっては、マーカーを正しく検出して確実に検知エリアが設定できるようにすることである。
また、検出できなかったマーカーがあるときは、どのマーカーが検知できなかったかを通知して、検出可能なマーカーに代えることができるようにすることである。

請求項１の発明は、異なるマーカーを同一の位置に配置した二枚の画像を差分処理する手段と、撮像画像を設置するマーカーの数に応じて複数の分割エリアに分割する分割手段と、差分処理して得た差分値を閾値を基に二値化して各分割エリア毎に異物を抽出する手段と、抽出した異物から各分割エリア毎にマーカーを検出する手段と、検出したマーカーの座標に基づき、各マーカー座標を頂点として各頂点を結ぶ領域を検知エリアに設定する検知エリア設定手段と、を有する検知エリア設定装置であって、前記抽出した異物から各分割エリア毎にマーカーを検出する手段は、抽出した異物の数を各分割エリア毎に計数する手段と、該計数する手段の計数値に応じて前記閾値を変更する手段と、を有し、前記閾値を変更する手段は、前記計数する手段が当該分割エリアでただ一つの異物を計数したときの閾値になるよう、前記閾値を変更することを特徴とする。
請求項２の発明は、請求項１に記載された検知エリア設定装置において、前記分割エリアで異物が抽出されないとき、検出できなかったマーカーを通知する手段を有することを特徴とする。
請求項３の発明は、請求項１又は２に記載された検知エリア設定装置において、前記検知エリア設定手段は、ただ一つの異物が抽出された分割エリアの当該異物の座標に基づき、異物が抽出されない他の分割エリアの異物の座標を判定して検知エリアを設定することを特徴とする。
請求項４の発明は検知エリア設定システムであって、請求項１ないし３のいずれかに記載された検知エリア設定装置と、マーカーの撮像画像を取得するイメージセンサとからなることを特徴とする。

本発明によれば、画像モニターを用いることなく、監視カメラで撮像した画像から検知エリアを自動的に設定できると共に、設定に当たっては、マーカーを正しく検出して確実に検知エリアを設定することができる。
また、検出できなかったマーカーがあるときは、どのマーカーが検出できなかったかを通知することで、検出可能なマーカーに代えることができ、マーカーが検知できない場合でも検知エリアの設定作業のやり直しを迅速に行うことができる。
また、一部の分割エリアでマーカーが検出できなくとも、そのマーカー位置が他の検出されたマーカーの位置座標から判別できるときは、検出されたマーカーの座標を用いて目的とする検知エリアを設定することができる。

本発明の画像認識による検知エリア設定装置の実施の形態をドアの検知エリア設定に例を採って添付図面を参照して説明する。
図１は、本検知エリア設定システムを概略的に説明するためのブロック図である。
図示のように、本検知エリア設定システム１は、本システム全体を制御するＣＰＵ１０、ＲＡＭ１２及びＲＯＭ１４とを備えたコンピュータからなる検知エリア設定装置１０と、この検知エリア設定装置１０に接続された、例えば監視カメラからなるイメージセンサ２０と、検知エリアの初期設定用のディップスイッチ２２と、ドアの開閉駆動用コントローラに接続するドアコントローラインターフェース２４と、表示用などのためのＬＥＤ（発光ダイオード）２６とから成っている。なお、２８は電源である。

検知エリア設定装置１０は、イメージセンサ２０で取り込んだ撮像画像の処理や、検知エリア設定のため等の各種処理を行う演算部１０１と、例えばＲＡＭ１２に記録された閾値データと画像処理して抽出した各画素の階調度（ここでは輝度）との比較結果から、異物を判定したり後述する最適な閾値を判定したりする判定部１０２と、ディップスイッチ２２による初期設定部１０３、演算部１０１の処理結果や命令を外部機器（ドアコントローラインターフェース、ＬＥＤ等）に送出する出力部１０４からなっている。

本実施形態に係る検知エリア設定システムでは、その検知エリア設定に当たり、例えば、ドア入口に監視カメラ２０を設置すると共に、床面上に設定する検知エリアの各頂点にマーカーを配置する。そのマーカーの互いに反対色の色毎の撮像画像から、画像の各画素毎の輝度の差分値を求め、その差分値を閾値で２値化してマーカーを異物として抽出する。その撮像画像に所定の画像処理を施して画像内のマーカーの座標を検出し、検出した座標に従って検知エリアを設定する。その場合、閾値を可変にすることで、ノイズを除去し、最適な閾値を設定して上記２値化を行うようにしている。また、マーカーが抽出できない場合は、マーカーが抽出できなかったエリア等の通知を行う。

その処理動作は、上記検知エリア設定装置１０の例えば、演算部１０１がＲＯＭ１４に記録されているエリア設定用のプログラムに従って実行する。図示しない入力部から入力したマーカーの設置位置情報に従って、演算部１０１は判定部１０２と共に、以下で説明する撮像画像をマーカーの数に応じて複数の分割エリアに分割する分割処理、上記撮像画像の差分処理、閾値による差分値の２値化処理、異物の抽出処理、抽出された異物のラベリング処理、各分割エリア毎の異物有無及び数の監視処理、閾値の変更処理、異物座標に基づく領域の作成処理や、イメージセンサ２０、電源２８、図示しないドアコントローラや、ＬＥＤ等の制御を行う。

次に、本検知エリア設定装置を用いた検知エリア設定手順について図２のフロー図に従って説明する。
なお、ここでは、１例として、マーカーとして、例えばオセロのような両面が白と黒のように互いに反対色となる厚紙等を用意して四角形の各頂点に１個づつ配置して検知エリアを設定する場合を例に採って説明する。

図中、まず、図３Ａに示すように、設定するエリアの頂点に床と反対色のマーカーＭ（白または黒）を置き、そのときの画像を撮像し、その撮像画像（１）をＲＡＭ１２に記録（又は保存）する（Ｓ１０１）。次に図３Ｂに示すように、マーカーの色を変更して同じ位置に置いてその画像を撮像し、その撮像画像（２）を同様にＲＡＭ１２に記録する（Ｓ１０２）。続いて、上記画像（１）と（２）の各画素毎の輝度差分値を抽出し（Ｓ１０３）、抽出した輝度差分値を設定された閾値に基づき２値化する。即ち、ここでは所定の閾値を越えた画素を異物として抽出し（Ｓ１０４）、抽出したそれぞれの画素の連結成分にネーミングを行うラベリング処理を施して分割（ここでは４分割）する（Ｓ１０５）。

次に、４分割したそれぞれのエリア毎にラベリングされた異物の有無・数を検知し、各エリアに１つのラベリングされた異物が抽出されているか否かを判定し（Ｓ１０６）。各エリアに１つのラベリングされた異物が抽出されれば（Ｓ１０６，ＹＥＳ）、演算部１０１でその異物の座標を検知エリアの頂点として各頂点を結んだエリアを検知エリアとして設定する（Ｓ１０７）。

ステップＳ１０６において、各エリアに１つのラベリングされた異物が抽出されなければ（Ｓ１０６、ＮＯ）、４分割された各エリアにおいて、ラベリングされた異物が１つ以上抽出されるエリアがあるか否かを判定し（Ｓ１０８）、あれば（Ｓ１０８、ＹＥＳ）、閾値（ＴＨ）を上げて（Ｓ１０９）、異物が１つ以上抽出されたエリアがなくなれば（Ｓ１１０、ＮＯ）、異物が１つになった時の値を最適閾値として現在の閾値を更新すると共に、検知エリアを設定する（Ｓ１０７）。なお、この最適閾値はＲＡＭ１２に記録しておき、つぎの検知エリア設定処理に使用する。

ステップＳ１０８において、ラベリングされた異物が１つ以上抽出されたエリアがなければ（Ｓ１０８、ＮＯ）、この場合は、４分割されたエリアにおいてラベリングされた異物が抽出されないエリアが存在することを意味するから、閾値（ＴＨ）を下げていく（Ｓ１１１）。全てのエリアで１つだけラベリングされた異物が抽出されたか否かをチェックし（Ｓ１１２）、抽出されたとき（Ｓ１１２、ＹＥＳ）、その閾値の値を最適閾値として現在の閾値を更新すると共に、検知エリアを設定する（Ｓ１０７）。

また、上記ステップＳ１１２において各エリアで一つの異物が抽出されないときは（Ｓ１１２、ＮＯ）、異物が一つ以上抽出されたエリアがあるか否かをチェックし（Ｓ１１３）、あれば（Ｓ１１３、ＹＥＳ）、閾値（ＴＨ）を上げ（Ｓ１１４）、その閾値の値を最適閾値として現在の閾値を更新し、異物が抽出されなかったエリアがなければ（Ｓ１１５、ＮＯ）、検知エリアを設定する（Ｓ１０７）。ステップＳ１１５で異物が抽出されなかったエリアがあれば（Ｓ１１５、ＹＥＳ）、さらに検出されたマーカーの座標位置から検出されなかったマーカーの座標が判別できるかどうかチェックし（Ｓ１１６）、判別できれば（Ｓ１１６、ＹＥＳ）、検知エリアを設定する（Ｓ１０７）。また、ステップＳ１１６で検出されなかったマーカーの座標が判別できなければ（Ｓ１１６、ＮＯ）、マーカーが検出されなかったエリアを、分割したエリア毎に対応した個別のアクション（例えばＬＥＤの組み合わせ表示などによる）で通知して（Ｓ１１７）、処理を終了する。

上記Ｓ１０４において、４分割したエリアのうち、各画素毎の輝度差分値を抽出できなかったエリアの通知があった場合、検知エリアの設定ができない場合は、検知エリアの設定者は、上記通知によりマーカーが背景色に紛れていることを確認し、マーカーを裏返して例えば、白から黒に色を変えて再度設定作業を行う。

次に、以上で説明した検知エリア設定の各手順に対応した画像を示す図３〜図７にしたがって説明する。
図３Ａは、マーカーＭを床面上においたときの画像であり、ここでは各マーカーＭは４個で、四角な検知エリアの各頂点に配置されている。
図３Ｂは、最初においたマーカーＭと反対色のマーカーＭを床面上の同じ位置においた状態を示す。なお、床面の色と最初に配置したマーカーＭの色の差が大きい場合（例えば黒のマーカーに対して床面が黒である場合など）は、反対色のマーカーＭを置く代わりに床面画像自体を第２の画像とすることもできる。
図３Ｃは、画像を四分割して異物の抽出を行った画像の状態を示す。この場合は各分割エリア毎に異物が１つ抽出された理想的な状態を示している。
図３Ｄは、各分割エリアにおける異物の２次元座標から、４つの座標を結ぶ線を算出し、その線内の領域を検知エリアとして設定することを示している。

図４Ａは、分割エリアの２カ所において異物が抽出されない状態を示している。この場合は閾値（ＴＨ）を段階的に下げていき、それに伴って二値化レベルを下げていき、マーカーの第１及び第２画像の輝度差がより小さい場合でもやがて異物として検出できるので、図４Ｂの状態になり、図３Ｄの場合と同様にエリア設定ができる。

図５Ａは、逆に、一つの分割エリアで２カ所以上の異物が抽出された状態を示す。この場合は閾値を上げていって二値化レベルを上げていき、図５Ｂに示すように、上記分割エリア内のノイズが消えた段階で検知エリアの設定を行う。

図６Ａは図４Ａと同様の画像で、閾値を下げたところ、図６Ｂに示すように異物が２個現れる分割エリアが出現し、ノイズを同時に検出した場合を示す。この場合は、閾値を再度段階的に上げて行ってノイズが消えたとき、即ち、ノイズを抽出する直前の状態の閾値を最適な閾値とし保存する。異物が抽出されなかった分割エリアについては、上述の報知に基づき、マーカーの色の選択ミスであるとして通知して、その部分のマーカーの色を変えて再度検知エリア設定手順を繰り返すか、或いは、次の、図７Ａ、７Ｂに示すように、抽出されたマーカーの二次元座標から抽出されなかったマーカーの頂点座標を判定して検知エリアを設定することもできる。

即ち、図７Ａの場合は、１個の分割エリアを除き他の３個の分割エリアの座標が分かっている場合を示す。この場合は、マーカーＭ１とマーカーＭ３の座標からマーカーＭ２の座標ｘ、ｙ座標を、マーカーＭ１のｘ座標とマーカーＭ３のｙ座標からなると判定する。同様に、図７Ｂでは、マーカーＭ２の座標は上述のとおりであり、マーカーＭ４の座標ｘ、ｙ座標を、マーカーＭ１のｙ座標とマーカーＭ３のｘ座標からなると判定する。
このように、一部の分割エリア内のマーカーが検出できない場合でも、他の検出されたマーカーの座標からその座標が判定できる場合は、その判定結果に基づいて検知区域を設定し、他の判定できたマーカーの座標のみからでは、検知区域の判定ができない場合に限って、マーカーの置き直しを行えばよい。

以上説明したように、本願発明によれば、処理画像の各エリア内における異物の検知に基づき常に最適な閾値を用いることで、マーカーを正しく検知することができる。

マーカー色を白から黒に変更した場合は、背景差分の輝度差分値はプラスとなり、黒から白に変更した場合はマイナスになるから、これを利用して、マーカー全ての差分値がプラスの場合は検知エリア設定、マーカー全ての差分値がマイナスの場合は非検知エリアの設定とすることができ、後者の場合は検知エリア内に非検知エリアを設定する場合に用いることができる。このように使用するマーカーの色の差を利用して、マーカーの色にエリア設定上の意味を持たせることができる。
また、同様にカラー画像を用いることにより、ＲＧＢの階調度の各差分値を利用して、例えばＲ差分の大きいものは高さが○○ｃｍ、等というようにマーカーの色で検知エリアの高さを設定することもできる。
さらに、マーカーの大きさに、検知エリア設定上の意味を持たせることもできる。
以上の説明では、検知エリアを四角形のものとして説明したが、これに限定されず当然のことながら任意の多角形に設定できる。
ただ、以上のように画像分割を行う場合は、分割されたエリア毎に１つのマーカーが検出されることが条件となるから、分割エリアには必ず１つのマーカーを置くことが前提である。

以上の説明では、撮像画像を分割処理して各分割エリア毎に異物の抽出を行う実施形態を例に採ったが、例えば、マーカーを黒から白に変える等により大きな輝度差分値が得られる場合は、マーカーの検出精度が高くなるので必ずしも画像分割を行う必要はない。この場合は、設定したい検出エリアの頂点の数をメモリ（ＲＡＭ１２）に設定しておき、撮像画像を処理してその数と同じ数の異物を検出し、得られた座標位置をマーカーの座標位置とみなして検知エリアを設定することができる。

更に精度を上げるためには、上記得られた座標位置から設定したい検知エリアかどうかの判別を行って、検知エリアであると判別されたときのみ当該エリアを検知エリアとして設定することもできる。
また、設定したい検知エリアが、設定したいエリアの形になっていないと判別されたときにはエラー通知を行う。その場合のエラー通知は、ＬＥＤの組み合わせ等によりマーカーの位置を確認し調整し直す（つまり、検知出来るように色の変更等を行う）ことを促す表示となる。
このように、画面分割を行わずに検知エリアを設定する場合は、画面分割を行う方式におけるように決められた形にしか設定できないということがなく、検知エリアの設定の自由度が高いという利点がある。

また、上記実施形態では、異物の輝度差分値による閾値の調整のみでマーカーの検出を行っている。
別の方法として、マーカーの形状やサイズ等を予めメモリに登録しておくことで、撮像されたマーカーの形状やサイズ等から異物がマーカーらしいかどうか判別して、マーカーを検出することもできる。また、この方法では、マーカー以外のマーカーらしい異物（人物）が画像に含まれてしまうことがある場合に、上記輝度差分値による閾値の調整を組み合わせるとマーカー検出の精度を更に向上させることができる。

以上で説明した本発明の検知エリア設定装置は、入り口の管理だけではなく、防犯や、安全その他の用途のために広く用いることができる。

本検知エリア設定システムを概略的に説明するためのブロック図である。 本検知エリア設定装置を用いた検知エリア設定手順を説明するフロー図である。 図２で説明した検知エリア設定の他の手順に対応した画像を示す図である。 図２で説明した検知エリア設定の他の手順に対応した画像を示す図である。 図２で説明した検知エリア設定の他の手順に対応した画像を示す図である。 図２で説明した検知エリア設定の他の手順に対応した画像を示す図である。 検知されたマーカーの座標から未検知マーカーの座標を判定して検知エリアを設定する処理手順を説明する図である。

符号の説明

１・・・検知エリア設定システム、１０・・・検知エリア設定装置、１２・・・ＲＡＭ、１４・・・ＲＯＭ、２０・・・イメージセンサ、２２・・・ディップスイッチ（ＤＩＰ ＳＷ）、２４・・・ドアコントローラインターフェース、２６・・・ＬＥＤ、２８・・・電源、１０１・・・演算部、１０２・・・判定部、１０３・・・初期設定部、１０４・・・出力部。

Claims (4)

1. 異なるマーカーを同一の位置に配置した二枚の画像を差分処理する手段と、撮像画像を設置するマーカーの数に応じて複数の分割エリアに分割する分割手段と、差分処理して得た差分値を閾値を基に二値化して各分割エリア毎に異物を抽出する手段と、抽出した異物から各分割エリア毎にマーカーを検出する手段と、検出したマーカーの座標に基づき、各マーカー座標を頂点として各頂点を結ぶ領域を検知エリアに設定する検知エリア設定手段と、を有する検知エリア設定装置であって、
   前記抽出した異物から各分割エリア毎にマーカーを検出する手段は、抽出した異物の数を各分割エリア毎に計数する手段と、該計数する手段の計数値に応じて前記閾値を変更する手段と、を有し、
   前記閾値を変更する手段は、前記計数する手段が当該分割エリアでただ一つの異物を計数したときの閾値になるよう、前記閾値を変更することを特徴とする検知エリア設定装置。
2. 請求項１に記載された検知エリア設定装置において、
   前記分割エリアで異物が抽出されないとき、検出できなかったマーカーを通知する手段を有することを特徴とする検知エリア設定装置。
3. 請求項１又は２に記載された検知エリア設定装置において、
   前記検知エリア設定手段は、ただ一つの異物が抽出された分割エリアの当該異物の座標に基づき、異物が抽出されない他の分割エリアの異物の座標を判定して検知エリアを設定することを特徴とする検知エリア設定装置。
4. 請求項１ないし３のいずれかに記載された検知エリア設定装置と、マーカーの撮像画像を取得するイメージセンサとからなることを特徴とする検知エリア設定システム。
   

Images