JP5892542B2 - 画像処理装置、画像処理方法、および画像処理プログラム - Google Patents

Description

この発明は、制止バーやチェーン等の開閉部材によって、物体の通過を制限する出入口を撮像した撮像画像を処理して、この出入口における物体の通過が適正であるか、不適正であるかを判定する画像処理装置、画像処理方法、および画像処理プログラムに関する。

従来、ＥＴＣ（Electronic Toll Collection System）レーンや、踏み切り等では開閉式の制止バーを設け、車両や人の通過を制限することを行っている。

また、制止バー（遮断棒）の開閉信号を用いて、踏み切りへの不正侵入を検出する装置が提案されている（特許文献１参照）。特許文献１では、遮断棒の閉信号等によって、この遮断棒の降下を検出したときに、踏み切り内に侵入している不正進入車両があれば、この不正進入車両を撮像した撮像画像を処理してナンバープレートに表記されているナンバーを認識する等の処理を行っている。

特開２００５−２５４９３０号公報

しかしながら、特許文献１は、制止バー（遮断棒）の開閉信号を用いて、適正な通過であるか、不適正な通過であるかを判定している。このため、何らかの障害や、ノイズの発生によって、制止バーの開閉信号が、制止バーが開しているにもかかわらず閉を示したり、逆に、制止バーが閉しているにもかかわらず開を示したりすると、車両等の物体の通過が適正であるか、不適正であるかの判定が正確に行えない。すなわち、特許文献１は、制止バーの開閉信号が常に正常であるということを前提にしたものであって、制止バーの開閉信号が何らかの障害や、ノイズの発生によって正常でなくなったときのことを想定していなかった。

この発明の目的は、開閉部材の開閉信号を用いることなく、この開閉部材によって物体の通過を制限する出入口を撮像した撮像画像を処理して、この出入口における物体の通過が適正であるか、不適正であるかを精度よく判定することができる、画像処理装置、画像処理方法、および画像処理プログラムを提供することにある。

この発明の画像処理装置は、上記課題を解決し、その目的を達するために、以下のように構成している。

画像入力部には、撮像装置で撮像した撮像画像が入力される。この撮像装置は、物体の通過を、制止バーやチェーン等の開閉部材によって制限しているＥＴＣ（Electronic Toll Collection System）レーンや、駐車場の入出庫口等の出入口を撮像する。

画像処理部が、画像入力部に入力された撮像画像を処理して、出入口を通過する物体（人、自動車、バイク、自転車等）を検出する。この画像処理部は、検出した物体について、その種類を判別する機能を有する必要はなく、出入口を通過する物体を検出できればよい。

また、画像処理部は、検出した物体が出入口を通過するときに、開閉部材が物体の通過を制限している閉状態であるかどうかを検出する。具体的には、画像処理部は、画像入力部に入力された撮像画像についてエッジ検出を行い、検出したエッジに基づき開閉部材が閉状態であるかどうかを検出する。開閉部材は、出入口における物体の通過を許可するときに開し、出入口における物体の通過を許可しないときに閉している。すなわち、物体が出入口を通過するときに、開閉部材が開していれば、出入口におけるこの物体の通過は適正であり、反対に、物体が出入口を通過するときに、開閉部材が閉していれば、出入口におけるこの物体の通過は不適正である、といえる。

判定部は、画像処理部が開閉部材が閉状態であるときに、出入口を通過した物体を検出したときに、出入口における、この物体の通過が不適正であると判定する。

このように、この画像処理装置は、開閉部材の開閉信号を用いることなく、出入口における物体の通過が適正であるか、不適正であるかを判定することができる。したがって、開閉部材の開閉信号が何らかの障害や、ノイズの発生によって正常でなくなったときであっても、出入口における物体の通過が適正であるか、不適正であるかを精度よく判定することができる。

特に、ＥＴＣレーンでは、ゲートをすり抜けて高速道路に進入する、１２５ｃｃ未満のバイク（原動機付自転車を含む）、自転車、人等を検知することができる。

また、判定部が出入口における物体の通過が不適正であると判定したとき、その旨を出力する出力部を設けてもよい。このように構成すれば、出入口の通過が不適正であった物体を検出したことを、係員等に通知し、この出入口の通過が不適正であった物体に対して、迅速に対応させることができる。

また、開閉部材が閉状態であるときに、撮像装置で撮像した撮像画像上における開閉部材の位置を記憶部に記憶しておき、画像処理部は、画像入力部に入力された撮像画像について、この記憶部が記憶する撮像画像上における開閉部材の位置でエッジ検出を行い、検出したエッジから開閉部材の有無の検出することにより、開閉部材が閉状態であるかどうかを検出する構成するのが好ましい。

このように構成すれば、開閉部材が開状態であるか、閉状態であるかの検出にかかる画像処理の処理量を抑えることができ、出入口における物体の通過が適正であるか、不適正であるかの判定が迅速に行える。

画像処理部は、例えば、画像入力部に入力された撮像画像について、記憶部が記憶する撮像画像上における開閉部材の位置で行ったエッジ検出で検出したエッジ量と、予め定めた判定量との比較により、開閉部材の有無を検出すればよい。また、この判定量は、開閉部材が閉状態であるときに、撮像装置で撮像した撮像画像について、記憶部が記憶する撮像画像上における開閉部材の位置で行ったエッジ検出で検出したエッジ量に基づいて定めればよい。

この発明によれば、開閉部材の開閉信号を用いることなく、出入口における物体の通過が適正であるか、不適正であるかを判定することができる。したがって、開閉部材の開閉信号が何らかの障害や、ノイズの発生によって正常でなくなったときであっても、出入口における物体の通過が適正であるか、不適正であるかを精度よく判定することができる。

画像処理装置の主要部の構成を示すブロック図である。 撮像装置の撮像エリアを示す図である。 制止バー検知領域データを説明する図である。 ゲートを不正に通過する物体の例を示す図である。 画像処理装置の動作を示すフローチャートである。 オブジェクトマップを説明する図である。 適正／不適正判定処理を示すフローチャートである。

以下、この発明の実施形態である画像処理装置について説明する。

図１は、この画像処理装置の主要部の構成を示すブロック図である。この画像処理装置１は、制御部１１と、画像入力部１２と、画像処理部１３と、記憶部１４と、タイマ１５と、出力部１６と、を備えている。

制御部１１は、画像処理装置１本体各部の動作を制御する。

画像入力部１２には、撮像装置２が撮像エリアを撮像したフレーム画像（撮像画像）が入力される。画像入力部１２は、入力されたフレーム画像を一時的に記憶するフレームメモリを有している。

撮像装置２は、１秒間に数十フレーム（１０〜３０フレーム程度）のフレーム画像を撮像し、画像入力部１２に入力する。撮像装置２は、撮像エリアを、図２に示すように、ＥＴＣ（Electronic Toll Collection System）レーンにあわせている。ＥＴＣレーンには、車両等の物体の通過を制限する制止バーが設けられている。図２（Ａ）は、ＥＴＣレーンに設けた制止バーを閉している状態のフレーム画像であり、図２（Ｂ）は、ＥＴＣレーンに設けた制止バーを開している状態のフレーム画像である。制止バーは、図示していない開閉器によって開閉される。

公知のように、ＥＴＣでは、ＥＴＣレーンを走行している車両に搭載されている車載機との無線通信により、この車両についてゲート（出入口）の通過を許可するかどうかを判定している。ＥＴＣでは、ゲートの通過を許可すると判定した場合に、制止バーを一時的に開し、その車両のゲート通過を許可する。反対に、ゲートの通過を許可しないと判定した場合に、制止バーを開することなく（閉状態を保持する。）、その車両のゲート通過を制限する。

画像処理部１３は、画像入力部１２に入力されたフレーム画像（撮像装置２の撮像画像）を処理し、撮像されている物体（人、自動車、バイク、自転車等）を検出する。また、時間的に連続する複数のフレーム画像により、撮像装置２の撮像エリア内（特にＥＴＣレーン）を移動している物体を追跡する。画像処理部１３は、時空間ＭＲＦ(Markov Random Field)モデルを利用して、フレーム画像に撮像されている物体の抽出（検出）や、抽出した物体の追跡を行う。時空間ＭＲＦモデルは、公知のように、時空間画像の時間軸方向の相関関係に着目し、ＭＲＦモデルを時空間モデルとして拡張したものである。この時空間ＭＲＦモデルは、処理対象であるフレーム画像に対して数画素×数画素（例えば、８画素×８画素）のブロックで領域分割を行い、時間的に連続するフレーム画像間でのブロック毎の動きベクトルを参照した時間軸方向の相関を定義したモデルである。この画像処理部１３における画像処理の詳細については後述する。

記憶部１４は、本体を動作させる動作プログラムや、動作時に利用する設定データ、動作時に発生した処理データ等を記憶する。設定データには、制止バー検知領域データ、制止バー有無判定エッジ量が含まれている。制止バー検知領域データは、撮像装置２が撮像したフレーム画像において、制止バーの有無を検知する画像上の領域（制止バー検知領域）を示す。具体的には、図３に示す、撮像装置２が、制止バーが閉状態であるときに撮像したフレーム画像において、この制止バーが位置するフレーム画像上の領域（図３において破線で囲んだ領域）の位置を示すデータである。

また、制止バー有無判定エッジ量は、図３に示すフレーム画像（制止バーが閉状態であるときのフレーム画像）において、上述した制止バー検知領域に対して行ったエッジ検出により検出されたエッジ量（エッジとして検出された画素の総数）に基づいて定めた値である。具体的には、制止バー検知領域に対して行ったエッジ検出により検出されたエッジ量をＡとすると、
制止バー有無判定エッジ量＝α×Ａ
により設定した値である。但しαは、０＜α＜１である。

詳細については後述するが、αを小さくしすぎると、制止バー検知領域に制止バーが位置していないのに制止バーがあるとする誤検出の発生確率が高くなり、逆にαを大きくしすぎると、制止バー検知領域に制止バーが位置しているのに制止バーがないとする誤検出の発生確率が大きくなる。αは、０．６〜０．８程度の大きさが適当であり、撮像装置２の性能や、撮像環境等に応じて決定すればよい。

タイマ１５は、現在時刻を計時する。

出力部１６は、ゲートを不正に通過した物体を検出したときに、その旨を、図示していない警報装置等の外部機器に出力する。この外部機器は、ゲートを不正に通過した物体の存在を係員等に通知する。

ここで言う、ゲートを不正に通過した物体とは、主に図４（Ａ）に示すようなバイク（原動機付自転車を含む）や、図４（Ｂ）に示すような人等、閉状態の制止バーの間をすり抜けてゲートを通過した物体である。

次に、この画像処理装置の動作について説明する。図５は、画像処理装置の動作を示すフローチャートである。

撮像装置２は、撮像エリアを撮像したフレーム画像を画像入力部１２に入力している。画像処理装置１は、画像処理部１３が画像入力部１２に入力されたフレーム画像を、時系列に１フレームずつ取り込み、以下に示す処理を繰り返し行う。

画像処理部１３は、１フレーム分のフレーム画像を取り込み（ｓ１）、このフレーム画像に対して照度変化対応フィルタリング処理を行う（ｓ２）。この照度変化対応フィルタリング処理は、撮像エリア周辺の天候（晴れ，曇り等）等の変化によって、フレーム画像の照度が変化するのを考慮し、入力されたフレーム画像を正規化したフレーム画像に変換するフィルタリング処理である。

画像処理部１３は、背景モデル画像を生成し（ｓ３）、ｓ２でフィルタリング処理を行ったフレーム画像と、ｓ３で生成した背景モデル画像と、の差分画像を生成する（ｓ４）。画像処理部１３は、ｓ４で生成した差分画像から撮像されている物体を抽出する（ｓ５）。ｓ５では、予め定めた大きさ以上の物体を抽出する。すなわち、予め定めた大きさ未満の物体については、物体として抽出しない。ｓ５で、人や自転車等を物体として抽出し、ノイズであったり、風に飛ばされた落ち葉等を物体として抽出しないように、抽出する物体の大きさを決めている。

画像処理部１３は、前回処理したフレーム画像で抽出した物体と、ｓ５で抽出した物体と、を対応付ける（ｓ６）。画像処理部１３は、時空間ＭＲＦモデルを用い、物体を、ｎ画素×ｎ画素（例えば、８画素×８画素）のブロックを単位とする物体領域として抽出する。ｓ６で、前回処理したフレーム画像で抽出した物体と、ｓ５で抽出した物体と、を対応付けることにより、今回抽出した物体の移動方向や移動量を得ることができる。

また、今回の処理で抽出した物体であって、前回の処理で抽出されていなかった物体（すなわち、今回初めて抽出した物体）があれば、今回初めて抽出した物体毎にＩＤを付与する（ｓ７、ｓ８）。

画像処理部１３は、今回処理したフレーム画像に対する、オブジェクトマップを作成する（ｓ９）。このオブジェクトマップは、図６に示すように、今回抽出した物体毎に、その物体に付与されているＩＤ（今回、ｓ８で付与した場合もある。）と、今回処理したフレーム画像上における座標位置とを対応付けた情報である。また、画像処理部１３は、タイムスタンプをオブジェクトマップに付与する。このタイムスタンプは、ｓ１でフレーム画像を取り込んだ時刻であってもよいし、付与するときにタイマ１５で計時している時刻（現在時刻）であってもよい。また、ｓ９でオブジェクトマップを作成するときには、今回抽出した物体が路面上に接している位置の中心を、その物体の座標位置として検出している。画像処理装置１は、画像処理部１３がｓ９で作成したオブジェクトマップを記憶部１４に記憶する（ｓ１０）。

したがって、画像処理装置１は、記憶部１４に記憶しているオブジェクトマップを時系列に並べることにより、ｓ５で抽出した物体毎に、その物体について、撮像装置２の撮像エリア内おける移動を追跡することができる。

また、画像処理部１３は、ｓ５で抽出した物体のいずれかの位置が、ゲートの通過位置であるかどうかを判定する（ｓ１１）。すなわち、ゲートの通過位置に、物体が位置しているかどうかを判定する。

ここで言うゲートの通過位置とは、制止バーから路面に対して下ろした垂線を中心とした所定の範囲である。画像処理部１３は、ｓ１１で、ゲートの通過位置に、物体が位置していないと判定すると、ｓ１に戻り、上記処理を繰り返す。一方、画像処理部１３は、ｓ１１で、ゲートの通過位置に、物体が位置していると判定すると、適正／不適正判定処理を実行し（ｓ１２）、その後、ｓ１に戻り、上記処理を繰り返す。

図７は、適正／不適正判定処理を示すフローチャートである。

画像処理部１３は、ｓ２で照度変化対応フィルタリング処理を行ったフレーム画像について、図３で示した制止バー検知領域でエッジ検出処理を行う（ｓ２１）。ｓ２１では、フレーム画像の制止バー検知領域外については、このエッジ検出処理を行わない。このｓ２１にかかるエッジ検出処理では、制止バーと、他の物体（背景を含む）と、の境界がエッジとして検出される。すなわち、制止バーが、図２（Ａ）や、図４（Ａ）、（Ｂ）に示した閉状態であるときに、エッジとして検出される画素数が多くなる。一方、制止バーが、図２（Ｂ）に示した開状態であるときに、エッジとして検出される画素数が少なくなる。

画像処理部１３は、記憶部１４に記憶している制止バー有無判定エッジ量と、ｓ２１におけるエッジ検出処理でエッジとして検出した画素数と、を比較することにより、制止バー検知領域内に制止バーが位置しているかどうかを判定する（ｓ２２）。ｓ２２判定では、
（１）制止バー有無判定エッジ量＞エッジとして検出した画素数
であれば、制止バー検知領域内に制止バーが無いと判定し、一方、
（２）制止バー有無判定エッジ量≦エッジとして検出した画素数
であれば、制止バー検知領域内に制止バーがあると判定する。

画像処理装置１は、ｓ２２で、制止バー検知領域内に制止バーが位置していない、すなわち制止バーが閉状態ではなく、開状態であると判定すると、適正な通過であると判定し（ｓ２３）、本処理を終了する。

また、画像処理装置１は、ｓ２２で、制止バー検知領域内に制止バーが位置している、すなわち制止バーが開状態ではなく、閉状態であると判定すると、不適正な通過であると判定する（ｓ２４）。

画像処理装置１は、画像処理部１３がｓ２４で不適正な通過であると判定すると、不適正な通過があったことを出力部１６から外部機器に通知し（ｓ２５）、本処理を終了する。ｓ２５では、ゲートの不正通過があったことだけでなく、上述のｓ１で取り込んだフレーム画像も外部機器に通知してもよい。

このように、この画像処理装置１は、制止バーの開閉信号を用いることなく、物体のゲートの通過が適正であるか、不適正であるかを判定することができる。したがって、制止バーの開閉信号が何らかの障害や、ノイズの発生によって正常でなくなったときであっても、ゲートにおける物体の通過が適正であるか、不適正であるかを精度よく判定することができる。

なお、上記の説明では、本願発明を、ＥＴＣレーンに設けたゲートにおける物体の通過が適正であるかどうかを判定する画像処理装置１を例にして説明したが、制止バーやチェーン等の開閉部材によって車両や人の通行を制限している駐車場や、工事現場等の出入口においても利用できる。

１…画像処理装置
２…撮像装置
１１…制御部
１２…画像入力部
１３…画像処理部
１４…記憶部
１５…タイマ
１６…出力部

Claims (7)

1. 物体の通過が開閉部材によって制限される出入口を撮像装置で撮像した撮像画像を入力する画像入力部と、
   前記画像入力部に入力された撮像画像を処理して、前記出入口を通過する物体を検出するとともに、前記出入口における物体の通過時に前記開閉部材が物体の通過を制限している閉状態であるかどうかを検出する画像処理部と、
   前記画像処理部が、前記開閉部材が閉状態であるときに、前記出入口を通過した物体を検出したときに、前記出入口における物体の通過が不適正であると判定する判定部と、を備え、
   前記画像処理部は、前記画像入力部に入力された撮像画像についてエッジ検出を行い、検出したエッジに基づき前記開閉部材が閉状態であるかどうかを検出する、画像処理装置。
2. 前記開閉部材が閉状態であるときに、前記撮像装置で撮像した撮像画像上における前記開閉部材の位置を記憶する記憶部を備え、
   前記画像処理部は、前記画像入力部に入力された撮像画像について、前記記憶部が記憶する撮像画像上における前記開閉部材の位置でエッジ検出を行い、検出したエッジから前記開閉部材の有無の検出することにより、前記開閉部材が閉状態であるかどうかを検出する、請求項１に記載の画像処理装置。
3. 前記画像処理部は、前記画像入力部に入力された撮像画像について、前記記憶部が記憶する撮像画像上における前記開閉部材の位置で行ったエッジ検出で検出したエッジ量と、予め定めた判定量との比較により、前記開閉部材の有無を検出する。請求項２に記載の画像処理装置。
4. 前記判定量は、前記開閉部材が閉状態であるときに、前記撮像装置で撮像した撮像画像について、前記記憶部が記憶する撮像画像上における前記開閉部材の位置で行ったエッジ検出で検出したエッジ量に基づいて定めている、請求項３に記載の画像処理装置。
5. 前記判定部が前記出入口における物体の通過が不適正であると判定したとき、その旨を出力する出力部を備えた請求項１〜４のいずれかに記載の画像処理装置。
6. 物体の通過が開閉部材によって制限される出入口を撮像装置で撮像した撮像画像を処理して、前記出入口を通過する物体を検出するとともに、前記出入口における物体の通過時に前記開閉部材が物体の通過を制限している閉状態であるかどうかを検出する第１のステップと、
   前記第１のステップで、前記開閉部材が閉状態であるときに、前記出入口を通過した物体を検出したときに、前記出入口における物体の通過が不適正であると判定する第２のステップと、をコンピュータが実行する画像処理方法であって、
   前記第１のステップは、前記撮像装置で撮像した撮像画像についてエッジ検出を行い、検出したエッジに基づき前記開閉部材が閉状態であるかどうかを検出するステップである、画像処理方法。
7. 物体の通過が開閉部材によって制限される出入口を撮像装置で撮像した撮像画像を処理して、前記出入口を通過する物体を検出するとともに、前記出入口における物体の通過時に前記開閉部材が物体の通過を制限している閉状態であるかどうかを検出する第１のステップと、
   前記第１のステップで、前記開閉部材が閉状態であるときに、前記出入口を通過した物体を検出したときに、前記出入口における物体の通過が不適正であると判定する第２のステップと、をコンピュータに実行させる画像処理プログラムであって、
   前記第１のステップは、前記撮像装置で撮像した撮像画像についてエッジ検出を行い、検出したエッジに基づき前記開閉部材が閉状態であるかどうかを検出するステップである、画像処理プログラム。

Images