JP3853574B2 - 移動体検出システム - Google Patents
移動体検出システム Download PDFInfo
- Publication number
- JP3853574B2 JP3853574B2 JP2000182085A JP2000182085A JP3853574B2 JP 3853574 B2 JP3853574 B2 JP 3853574B2 JP 2000182085 A JP2000182085 A JP 2000182085A JP 2000182085 A JP2000182085 A JP 2000182085A JP 3853574 B2 JP3853574 B2 JP 3853574B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature point
- vehicle
- background image
- captured image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は撮像手段で捉えた画像に基づいて移動体を検出する移動体検出システムに係り、特に夜間やトンネル内であったとしても好適に移動体を検出することができる移動体検出システムに関するものである。
【０００２】
【従来の技術】
図１８は特開平９−８１８８８号公報に開示された従来の移動体検出システムの構成を示すシステム構成図である。図において、３８は撮像カメラ、３９は画像を記憶する画像入力手段、４０は画像処理手段である。
【０００３】
図１９は当該撮像カメラ３８で撮像した画像の一例である。図において、４１は撮像画像、４２は道路左側端部、４３は道路右側端部、４４はセンターライン、４５は車両、４６は移動体検出領域、４７は検出領域、４８は計測領域、４９は移動体移動速度判別領域である。そして、当該車両４５は道路のセンターライン４４に沿って移動する。
【０００４】
次に動作について説明する。
撮像カメラ３８が撮像した画像が画像入力手段３９に記憶されると、画像処理手段４０はこの撮像画像に対して車両４５の検出処理を行う。まず、移動体検出領域４６における輝度変化を判定し、図１９に示すように輝度が変化した検出領域４７が生じたら車両検出と判断する。更にこの検出領域４７の移動体検出領域４６に対する割合に基づいて車両４５のサイズ、例えば大型車や小型車などの判定を行う。また、小型車と判定している状態において計測領域４８においても同時に輝度変化が生じた場合には、小型車が連続して走行していると判断する。更に、連続する複数の撮像画像の移動体移動速度判別領域４９の画像を解析し、それぞれの撮像画像において各車両４５の後方路面に生じる陰を検出し、これら複数の影の位置変化に基づいて各車両の移動速度を検出する。
【０００５】
【発明が解決しようとする課題】
従来の移動体検出システムは以上のように構成されているので、画像の輝度そのものを比較に用いており、車両４５のヘッドライトの光などによって撮像画像に輝度変化が生じると、これを誤って車両４５などの移動体による輝度変化として捉えてしまうなどの課題があった。
【０００６】
特に、当該従来の移動体検出システムでは、輝度が変化した領域の大きさに基づいて車両４５の大きさを判定したり、車両４５の後方に生じる影の画像上の位置の変化に基づいて車両４５の移動速度を検出したりしているので、上記ヘッドライトの光による輝度変化、太陽や雲の位置に応じた影の発生状態の変化、夜間照明の位置に応じた影の発生状態の変化などの影響を受けやすいなどの課題もある。
【０００７】
この発明は上記のような課題を解決するためになされたもので、車両のヘッドライトの光などによる撮像画像の輝度変化があったとしても、この輝度変化に影響されることなく移動体を好適に検出することができる移動体検出システムを得ることを目的とする。
【０００８】
【課題を解決するための手段】
この発明に係る移動体検出システムは、所定の空間を撮像し撮像画像を出力する撮像手段と、当該撮像手段が過去に出力した撮像画像あるいはそれを加工した画像を背景画像として記憶する背景画像記憶手段と、上記撮像画像と上記背景画像の移動体の侵入側に設定された移動体検出領域において、画素毎に周囲の画素との相対輝度差を演算し、演算した画素毎の相対輝度差を上記移動体検出領域全体に渡って加算し、上記撮像画像と上記背景画像における画素毎の相対輝度差の加算値の差を画像差信号として演算する画像差演算手段と、上記画像差信号と所定の閾値とを比較して移動体の検出判定を行う判定手段とを備えるものである。
【０００９】
この発明に係る移動体検出システムは、判定手段が移動体を検出と判定した後に非検出と判定したタイミングにおいて、撮像画像と背景画像の移動体検出領域の移動体の進行方向の下流側に設定された移動体判定領域において、上記撮像画像と上記背景画像の輝度変化値を各列毎に累積加算し、累積加算値が周囲の列よりも大きい列のまとまりを抽出し、抽出した列のまとまりにおいて、上記撮像画像における画素毎の相対輝度差が他の画素よりも大きい画素のまとまりを特徴点として切り出す特徴点抽出手段を設けたものである。
【００１０】
この発明に係る移動体検出システムは、移動体の移動方向に沿った方向に対して０度あるいは９０度以外の撮像角度となるように撮像手段を設置するとともに、特徴点抽出手段が抽出した特徴点と移動体検出領域の移動体移動方向下流側端辺との画像上の距離に基づいて移動体のサイズを判定するサイズ判定手段を設けたものである。
【００１１】
この発明に係る移動体検出システムは、移動体の複数の特徴点を抽出する特徴点抽出手段と、上記特徴点抽出手段が複数の特徴点を抽出した後の撮像画像に対して、上記特徴点抽出手段と同様の処理を行って小領域を抽出し、この小領域と各特徴点とを比較してマッチング判定を行い、少なくとも１つの特徴点においてマッチすると判定される小領域が存在する場合に、この小領域の撮像画像上の位置に基づいて移動体の追跡位置情報を出力する追跡手段とを設けたものである。
【００１２】
この発明に係る移動体検出システムは、移動体の１乃至複数の特徴点を抽出する特徴点抽出手段と、上記特徴点抽出手段が特徴点を抽出した後の撮像画像に対して、上記特徴点抽出手段と同様の処理を行って小領域を抽出し、この小領域と各特徴点とを比較してマッチング判定を行い、少なくとも１つの特徴点においてマッチすると判定される小領域が存在する場合に、この小領域の撮像画像上の位置に基づいて移動体の追跡位置情報を出力する追跡手段と、上記追跡手段がマッチすると判定できなかった特徴点について、以前の当該特徴点の軌跡あるいはマッチすると判定された他の特徴点がある場合にはそれを利用して推定位置情報を出力する推定手段とを設けたものである。
【００１３】
この発明に係る移動体検出システムは、移動体は車両であり、特徴点抽出手段は当該車両のテールランプを特徴点として抽出するものである。
【００１４】
この発明に係る移動体検出システムは、撮像手段から出力された撮像画像を２つ以上記憶する撮像画像記憶手段と、この撮像画像記憶手段に記憶された複数の撮像画像同士を比較し、画像の変化の少なさを判定する安定度判定手段と、安定度判定手段において所定の回数連続して安定と判断されたら上記撮像画像記憶手段に記憶されている撮像画像を用いて背景画像を生成する背景画像生成手段とを設け、背景画像記憶手段は当該背景画像を記憶するものである。
【００１５】
この発明に係る移動体検出システムは、背景画像記憶手段の記憶する画像が更新されたら当該画像を記憶するコピー記憶手段を設け、背景画像生成手段は、安定度判定手段において判定に用いられた撮像画像のうちの１つと当該コピー記憶手段に記憶されている画像とを合成して新たな背景画像を生成するものである。
【００１６】
【発明の実施の形態】
以下、この発明の実施の一形態を説明する。
実施の形態１．
図１はこの発明の実施の形態１による移動体検出システムの構成を示すシステム構成図である。この移動体検出システムは道路上を走行する自動車の交通量や移動速度を検出するために用いられるものである。図において、１は所定の監視空間を一定の周期にて撮像してデジタル方式の撮像画像を出力する監視用ＩＴＶ（産業用テレビジョン）カメラ（撮像手段）、２はこの撮像画像が入力され、この撮像画像に基づいて各種の処理を行う画像処理ユニット、３はこの画像処理ユニット２の処理結果や撮像画像などが入力される車両監視センタである。
【００１７】
画像処理ユニット２において、４は監視用ＩＴＶカメラ１から入力された撮像画像を記憶する撮像画像記憶手段、５は監視用ＩＴＶカメラ１が過去に撮像した撮像画像あるいはそれを加工した画像を背景画像として記憶する背景画像記憶手段、６は撮像画像および背景画像のそれぞれの画素毎に周囲の画素との相対輝度差を演算し、この画素毎の相対輝度差をそれぞれに累積加算し、その加算値の差を画像差信号として演算し、更にこの画像差信号同士の差が所定の閾値よりも大きい場合には車両検出と判定して出力する車両検出手段（画像差演算手段、判定手段）である。
【００１８】
図２はこの発明の実施の形態１による監視用ＩＴＶカメラ１の撮像画像の一例を示す説明図である。図において、７は撮像画像、８は道路左側端部、９は道路右側端部、１０はセンターライン、１１は車両、１２は移動体検出領域、１３は検出領域である。そして、当該車両１１は道路のセンターライン１０に沿ってその左側を矢印の方向に移動するものとし、監視用ＩＴＶカメラ１は道路を斜め上方から（車両１１の移動方向が水平方向である場合には０度よりも大きく且つ９０度よりも小さい俯角にて）撮像していることになる。なお、上記移動体検出領域１２は撮像画像７の車両１１が撮像空間に進入する側に設定されている。
【００１９】
次に動作について説明する。
監視用ＩＴＶカメラ１から撮像画像が出力されると、この撮像画像は撮像画像記憶手段４に一旦記憶される。また、背景画像記憶手段５には図２に示す監視空間に車両１１が存在しない状況の背景画像が予め格納されている。この背景画像としては、実際に車両１１が存在しない状況の撮像画像をそのまま用いても、車両１１が存在する状況の撮像画像から当該車両１１を削除するように加工したものを用いてもよい。
【００２０】
このように撮像画像記憶手段４に撮像画像が記憶されると、車両検出手段６は図３に示すフローチャートに従って車両１１の検出判定を行い、その判定結果と撮像画像とを車両監視センタ３に送信する。図において、ＳＴ１は撮像画像および背景画像のそれぞれについて画素毎に周囲の画素との相対輝度差を演算し、この画素毎の相対輝度差をそれぞれの移動体検出領域１２全体に渡って加算し、更にその加算値の差を画像差信号として演算する未検出時演算ステップ、ＳＴ２はこの画像差信号の値が所定の閾値Ａ１よりも大きいか否か判定する検出判定ステップ、ＳＴ３はこの車両１１の検出結果を出力する検出判定出力ステップ、ＳＴ４は未検出時演算ステップＳＴ１と同様の処理により画像差信号を演算する検出時演算ステップ、ＳＴ５はこの画像差信号の値が所定の閾値Ａ２よりも小さいか否か判定する未検出判定ステップ、ＳＴ６はこの車両１１の検出結果を出力する未検出判定出力ステップである。従って、車両１１が撮像されている場合にはその期間において車両検出を意味する処理結果が出力され続けることになる。
【００２１】
図４はこの発明の実施の形態１による相対輝度差演算処理を説明するための説明図である。図において、（ａ）は横方向エッジ検出フィルタ、（ｂ）は縦方向エッジ検出フィルタ、（ｃ）は画像例である。これらの図において、各枡は各画素に相当し、（ａ），（ｂ）において各枡の中に記載された数値は重み付け係数であり、また、その中央に相当する画素が注目画素となる。（ｃ）において各枡の中に記載された値は各画素の輝度（値が大きいほど白くなる０から２５５までの数値）である。ちなみに、（ｃ）に示す画像はその右半分が白っぽく、左半分が黒っぽい画像であり、それらの領域の境界となる画像のエッジが縦に存在している。なお、同図に示す横方向エッジ検出フィルタおよび縦方向エッジ検出フィルタは一例であり、同等のエッジ検出機能をもつ手段であれば他の手段（他のフィルタ）を用いてもよい。
【００２２】
このような（ｃ）の画素群１４に対して例えば（ａ）の横方向エッジ検出フィルタを適用した場合、その演算式は下記式１となり注目画素の横方向エッジ強度として「２４８」という値が得られる。同様に、（ｃ）の画素群１４に対して（ｂ）の縦方向エッジ検出フィルタを適用した場合、その演算式は下記式２となり注目画素の縦方向エッジ強度として「５９０」という値が得られる。また、当該注目画素の相対輝度差は下記式３により求められ「８３８」という値になる。
【００２３】
同様に画素群１５については、下記式４に基づいて注目画素の横方向エッジ強度は「２６」、下記式５に基づいて注目画素の縦方向エッジ強度は「８」、下記式６に基づいて相対輝度差は「３４」となる。この２つの注目画素と画像全体の輝度値のバランスとを比較すれば明らかなように、この相対輝度差は車両１１や車両１１と道路との境などの画像のエッジ部分で値が大きくなり、道路面などの模様が無いのっぺりした部分においては値が小さくなる傾向にある。
【００２４】
そして、上記車両検出手段６は、この画素毎の相対輝度差をそれぞれの移動体検出領域１２全体に渡って加算し、その加算値の差が所定の閾値よりも大きい場合には車両検出と判定して出力する。従って、例えば車両１１が進入してその結果幾つかの画素においてこの相対輝度差が大きくなり、その累積値が所定の閾値を超えればこれを検出することができる。
【００２５】
逆に、逆方向から向かってくる車両１１のヘッドライトの光などにより撮像画像の一部が明るくなってしまったような場合には、その画像部分および周辺がなだらかに明るくなるので、各画素の相対輝度差は比較的小さな値となり、それを上記移動体検出領域１２全体に渡って累積したとしても閾値を超えてしまうことはなく、車両１１のヘッドライトの光などを誤って車両１１として判定してしまうことはない。
【００２６】
【００２７】
以上のように、この実施の形態１によれば、撮像画像と背景画像とを比較して車両１１を検出するに当たって車両検出手段６は、撮像画像および背景画像のそれぞれの画素毎に周囲の画素との相対輝度差を演算し、この画素毎の相対輝度差をそれぞれに累積加算し、その加算値の差を画像差信号として演算し、更にこの画像差信号同士の差が所定の閾値よりも大きい場合には車両検出と判定して出力するので、撮像画像と背景画像とは各領域毎にそれぞれの画像内での相対輝度差でもって比較されることになり、車両１１のヘッドライトの光などによる画像の輝度変化があったとしてもこの輝度変化を抑制した状態で撮像画像と背景画像とを比較することができ、これに影響されることなく車両１１を好適に検出することができる効果がある。
【００２８】
実施の形態２．
図５はこの発明の実施の形態２による移動体検出システムの構成を示すシステム構成図である。図において、１６は車両検出手段６が車両非検出と判定したタイミングの撮像画像を用いて車両１１の画像を特徴点として抽出するとともにその特徴点の路面からの高さを判定する車両判定手段（特徴点抽出手段、サイズ判定手段）である。なお、この特徴点としては例えば、２つのテールランプ、昼間屋外のナンバープレートなどが挙げられる。
【００２９】
図６はこの発明の実施の形態２による監視用ＩＴＶカメラ１の撮像画像の一例を示す説明図である。図において、（ａ）は時刻ｔ（０）での撮像画像、（ｂ）は時刻ｔ（１）（＝ｔ（０）＋Δｔ：但しΔｔは監視用ＩＴＶカメラ１の撮像周期１周期分）での撮像画像、１７は移動体検出領域１２の上（車両１１の進行方向下流側）に隣接する位置に設定された移動体判定領域、１８は移動体検出領域１２の車両移動方向下流側端辺、１９はそれぞれ車両１１のテールランプである。これ以外の構成は実施の形態１と同様であり説明を省略する。
【００３０】
次に動作について説明する。
図６（ａ）に示す撮像画像では車両検出手段６から車両検出を意味する処理結果が出力され、これが同図（ｂ）に示す撮像画像に変化すると、車両検出手段６から出力される処理結果は車両検出から車両非検出に変化する。車両判定手段１６は、この車両検出手段６の出力の処理結果が車両非検出に変化したタイミングの撮像画像（図６（ｂ））の移動体判定領域１７を用いて、車両１１の特徴点を抽出するとともにその特徴点の路面からの高さを判定する。
【００３１】
図７はこの発明の実施の形態２による車両判定手段１６の処理を示すフローチャートである。図において、ＳＴ７は撮像画像を構成する各画素がマトリックス状に配列されていることを前提として、移動体判定領域１７内の各画素の相対輝度差および背景画像のものとの輝度変化値（＝判定に用いる撮像画像における輝度−背景画像における輝度）を各列毎に累積加算する列別累積加算ステップ、ＳＴ８は各列の累積加算値が周囲の列よりも特に大きい列のまとまり（１乃至複数）を抽出する列抽出ステップ、ＳＴ９は当該各組の列のまとまりそれぞれについてそれぞれの範囲内において現画像に戻って相対輝度差が他の部分よりも高い画素のまとまり（以下小領域と呼ぶ）をテンプレートとして切出す切出ステップ、ＳＴ１０は当該小領域と移動体検出領域１２との撮像画像上の距離に基づいて当該特徴点の路面からの高さを特定する高さ判定ステップである。
【００３２】
そして、このような処理では、累積加算値が大きくなる列において、更にその他の画素よりも相対輝度差が大きい画素の集まりが小領域として抽出されることになり、この実施の形態２のように車両１１をその後方から撮像した場合、最も撮像輝度が明るくなる例えばテールランプなどについてその輪郭に沿った形状の小領域を抽出することができる。
【００３３】
図８はこの発明の実施の形態２による現画像と輝度変化値の列毎の累積加算値との関係を示す説明図である。同図（ａ）は図６（ｂ）と同じ画像、同図（ｂ）はそのときの輝度変化値の列毎の累積加算値グラフである。同図（ｂ）において横軸は画像上の列、縦軸は累積加算値である。そして、同図に示すように、車両を後方から撮像した場合に移動体判定領域１７の各列毎の累積加算値は画像の２つのテールランプを含む列の輝度が他の列の輝度よりも相対的に高くなっており、図７においはこの性質を利用して車両の特徴点を抽出している。また、同図に示すように、輝度変化値の累積加算値が生じる（０よりも大きい値をとる）列の範囲は車両の車幅とほぼ一致する。従って、この累積加算値が生じた列の数に基づいて車幅、ひいては車種を判定することができる。
【００３４】
また、図９はこの小領域と移動体検出領域１２との撮像画像上の距離に基づいて当該小領域の路面からの高さを特定することができる理由を説明するための説明図である。撮像画像としては図６（ｂ）の撮像画像が相当する。図において、２０は車両１１が走行する路面、２１は撮像画像においては車両移動方向下流側端辺１８となる視野方向、２２は特徴点（テールランプ１９）の視野方向、２３は移動体検出領域１２に相当する路面位置である。
【００３５】
そして、同図に示すように図６（ｂ）の撮像タイミングは車両１１の後端が路面位置２３を通過しきったタイミングに相当し、このタイミングにおいては車両移動方向下流側端辺１８の真上に特徴点（テールランプ１９）が位置すると考えることができる。従って、撮像画像上における車両移動方向下流側端辺１８と特徴点（テールランプ１９）との距離を角度θに変換し、そのθに基づいて特徴点の路面２０からの高さｈを求めることができる。これ以外の動作は実施の形態１と同様であり説明を省略する。
【００３６】
以上のように、この実施の形態２によれば、一方向に沿って移動する車両１１を監視用ＩＴＶカメラ１にて撮像し、車両判定手段１６が移動体検出領域１２を車両１１が通過したタイミングの撮像画像を用いて車両１１の後方の最も輝度が高くなる小領域、すなわちテールランプ１９などを特徴点として抽出しているので、移動体判定領域１７に確実に車両１１が存在する状態で特徴点抽出処理を行うことができ、確実に車両１１の特徴点を抽出することができる効果がある。
【００３７】
この実施の形態２によれば、車両１１の移動方向に沿った方向に対して、０度あるいは９０度以外の角度にて撮像するように監視用ＩＴＶカメラ１を設置するとともに、車両判定手段１６が抽出した特徴点と移動体検出領域１２の車両移動方向下流側端辺１８との画像上の距離に基づいて特徴点の路面２０からの高さを判定するので、車両１１の特徴点（テールランプ１９）の高さに基づいて車両１１のサイズを判定することができる。また、累積加算値が生じた列の数に基づいて車幅、ひいては車種を判定することができる。
【００３８】
実施の形態３．
図１０はこの発明の実施の形態３による移動体検出システムの構成を示すシステム構成図である。図において、２４は撮像画像記憶手段４が記憶する撮像画像が入力され、これに基づいて背景画像を生成して背景画像記憶手段５へ出力する背景画像生成部である。
【００３９】
図１１はこの発明の実施の形態３による背景画像生成部２４の構成を示すシステム構成図である。図において、２５は上記撮像画像記憶手段４からの撮像画像を最新画像として記憶する最新画像バッファ（撮像画像記憶手段）、２６はこの最新画像バッファ２５が１つ前に出力した画像（１フレーム前の画像）を直前画像として記憶する直前画像バッファ（撮像画像記憶手段）、２７はこの最新画像と直前画像とが入力され、各画素毎にこれら２つの画像の輝度差が所定の閾値よりも低いか否かを判定し、当該閾値よりも輝度差が小さくなっている期間を示す輝度安定性情報を出力する安定度判定手段、２８は背景画像記憶手段５に記憶されている背景画像のコピーを記憶するコピー記憶手段、２９は上記輝度安定性情報に示される期間が所定の期間以上となると、各画素毎の輝度安定性情報をリセットするとともに当該画素の背景画像における輝度値を最新画像の輝度値に置き換える背景画像生成手段である。これ以外の構成は実施の形態２と同様であり説明を省略する。
【００４０】
次に動作について説明する。
撮像画像記憶手段４に監視用ＩＴＶカメラ１から出力された最新の撮像画像が記憶されると、最新画像バッファ２５にも同一の画像が記憶され、直前画像バッファ２６には当該最新画像バッファ２５が直前に記憶していた直前画像が記憶される。なお、この実施の形態３では、これらバッファの画像の記憶周期は監視用ＩＴＶカメラ１から出力される撮像画像の出力周期と同一として説明するが、撮像画像を適当に間引くような記憶周期であってもよい。また、背景画像記憶手段５およびコピー記憶手段２８には同一の背景画像が記憶されているものとする。
【００４１】
図１２はこのように最新画像バッファ２５および直前画像バッファ２６に撮像時間が相前後する２つの撮像画像が記憶された状態で実施される背景画像更新処理を示すフローチャートである。図において、ＳＴ１１は安定度判定手段２７が撮像画像において或る座標（画素）について最新画像における輝度と直前画像における輝度との輝度差が所定の判定値よりも小さいか否かを判定する輝度差判定ステップ、ＳＴ１２は安定度判定手段２７が輝度安定性情報に含まれる期間に「１」加える期間加算ステップ、ＳＴ１３は安定度判定手段２７が輝度安定性情報に含まれる期間を「０」にリセットする期間リセットステップ、ＳＴ１４は背景画像生成手段２９がこの期間が所定の安定度判定期間よりも長いか否かを判定する安定期間判断ステップ、ＳＴ１５は背景画像生成手段２９が背景画像の上記座標（画素）の輝度を最新画像の輝度に変更する輝度更新ステップ、ＳＴ１６は背景画像生成手段２９が背景画像の上記座標（画素）の輝度をそのままとする輝度未更新ステップ、ＳＴ１７は背景画像の全ての座標（画素）に対して当該処理を繰り返し実行させる繰返制御ステップである。
【００４２】
そして、全ての画素について当該処理が完了したら、背景画像記憶手段５には新たな背景画像が記憶されることになり、コピー記憶手段２８にはこの新たな背景画像がコピー記憶されることになる。これ以外の動作は実施の形態３と同様であり説明を省略する。
【００４３】
以上のように、この実施の形態３によれば、最新画像バッファ２５および直前画像バッファ２６に時間的に相前後する２つの撮像画像を記憶すると共に、安定度判定手段２７が各画素毎に輝度変化量に基づいて安定度を判定し、更に、この安定と判定される期間が所定の期間以上であれば背景画像生成手段２９が新たな背景画像を生成するので、背景画像を更新することができる。しかも、所定の期間において殆ど変化がなかった撮像画像を用いて背景画像を生成するので、車両１１などが含まれる可能性が低い画像を用いて適切に背景画像を生成することができ、しかも、例え含まれていたとしても所定の期間の後にはそれを画像から削除することができるので誤った移動体検出をし続けてしまうことはない。従って、環境の変化に追従した最適な背景画像を用いて２４時間３６５日の監視を行うことができる。
【００４４】
この実施の形態３によれば、背景画像記憶手段５の記憶する画像が更新されたら当該画像を記憶するコピー記憶手段２８を設け、背景画像生成手段２９は、安定度判定情報に基づいて各画素毎に最新画像の輝度と背景画像の輝度とのうちから一方を選択し、これを組み合わせることで新たな背景画像を生成するので、撮像画像や現在の背景画像自体に車両１１などが含まれていたとしても、その影響を削減するように画像を合成し、それを背景画像とすることができる。従って、単に撮像画像を用いた場合や従来の背景画像更新処理に比べても背景画像に含まれる車両１１などを誤って検出してしまうことを抑制することができる効果がある。
【００４５】
実施の形態４．
図１３はこの発明の実施の形態４による移動体検出システムの構成を示すシステム構成図である。図において、３０は車両判定手段１６と同様の処理をして車両１１の特徴点およびその路面２０からの高さを求めた後に更に、それ以降の撮像画像に対して当該特徴点に基づく車両追跡処理を行う車両追跡手段（特徴点抽出手段、サイズ判定手段、追跡手段）である。これ以外の構成は実施の形態３と同様であり説明を省略する。
【００４６】
次に動作について説明する。
図１４はこの発明の実施の形態４による車両追跡手段３０の処理を示すフローチャートである。図において、ＳＴ１８はそれ以降の撮像画像に対しても列別累積加算ステップＳＴ７から切出ステップＳＴ９までの処理を行うと共にその結果得られた各小領域とテンプレートとを比較して例えば相似形状であると推定されるなどのマッチング判定により車両１１の移動先判定を行う移動先判定ステップ、ＳＴ１９は相前後する撮像画像において同一のテンプレートにマッチングすると判定された小領域の画像上の位置変化に基づいて当該画像間における車両１１の移動速度を判定する移動速度判定ステップである。そして、この移動速度情報は特徴点の路面２０からの高さ情報などと共に車両監視センタ３へ出力される。
【００４７】
また、移動速度は例えば以下の手順にて求めることができる。まず、各画像における小領域の撮像位置と車両１１の高さ情報とを用いて当該車両１１の後部のそれぞれの撮像タイミングにおける路面２０上の位置を特定する。次に当該２つの撮像画像における車両後部の位置同士の差を移動距離として求め、更に当該２つの画像の撮像時間間隔（これは監視用ＩＴＶカメラ１の撮像周期に基づいて予め特定できる）で除算することで移動速度を求めることができる。これ以外の動作は実施の形態３と同様であり説明を省略する。
【００４８】
そして、このように車両１１の移動を特徴点の移動として捕捉するとともに、その特徴点の路面２０からの高さを予め特定しておくことで、速度演算に用いる２つの画像における当該車両１１の路面２０上の位置を精度良く特定することができるので、車両１１の移動速度を精度良く求めることができる。
【００４９】
また、このように特徴点を抽出しているので、従来のように影の発生状態変化などの影響を受けてしまうことなく確実に車両１１の移動を捕捉することができ、しかも、車両１１が横方向に移動したとしてもその移動距離を確実に捕捉することができる。
【００５０】
更に、車両１１を後方から捕らえると共に輝度が高い部分を特徴点として抽出しているので、車両１１の後部に必ず２つ設けられているテールランプ１９，１９を特徴点として抽出することができる。このように少なくとも２つの特徴点を抽出することができるので、そのうちの一つの特徴点が例え支柱、電信柱、道路標識、他の移動体などによって隠蔽されてしまったとしても、他の特徴点に基づいてパターンマッチング判定を行い、車両１１を継続して追跡することができる効果がある。
【００５１】
従って、この特徴点の画像上の位置変化に基づく車両１１の追跡位置情報を用いることで、上記ヘッドライトの光による輝度変化、太陽の位置に応じた影の発生状態の変化、夜間照明の位置に応じた影の発生状態の変化などの影響を受けることなく、車両１１の移動距離や移動速度を精度良く得ることができる効果がある。
【００５２】
実施の形態５．
図１５はこの発明の実施の形態５による移動体検出システムの構成を示すシステム構成図である。図において、３１は実施の形態４の車両追跡手段３０と同様の処理を行った後更に、テンプレートマッチング判定にて一致する小領域を特定することができなかったテンプレートがある場合にはそのテンプレートに一致するであろう小領域の位置を推定する車両追跡手段（特徴点抽出手段、サイズ判定手段、追跡手段、推定手段）である。これ以外の構成は実施の形態４と同様であり説明を省略する。
【００５３】
次に動作について説明する。
図１６はこの発明の実施の形態５による車両追跡手段３１の処理を示すフローチャートである。図において、ＳＴ２０はテンプレートマッチング判定にて一致する小領域を特定することができなかったテンプレートがある場合にはそのテンプレートに一致するであろう小領域の位置を推定する推定ステップである。そして、この推定した小領域の推定位置情報は他のマッチングが得られた小領域の情報とともに車両監視センタ３へ出力される。
【００５４】
また、小領域の位置推定は例えば以下の手順にて求めることができる。マッチすると判定された他の特徴点がある場合には、例えば他の特徴点に基づいて得られた車両１１の後部位置情報に基づいて当該位置における撮像画像上の特徴点同士の位置関係（間隔）を演算し、次にその位置関係（間隔）、車両後部の位置情報、特徴点の高さ情報などを用いて当該特徴点の位置を推定すれば良い。また、マッチすると判定された特徴点が１つも無いような場合においては、それ以前の撮像画像における特徴点の位置変化、それに基づいて得られた車両１１の移動速度などの情報を用いて例えば車両１１はこれらの画像間においては直線的に移動しているなどの推定条件の下で今回の撮像画像における車両１１の路面上の位置を推定し、その位置における各特徴点の位置を更に推定すれば良い。これ以外の動作は実施の形態４と同様であり説明を省略する。
【００５５】
以上のように、この実施の形態５によれば、テンプレートマッチング判定においてマッチすると判定されなかった特徴点について、車両追跡手段３１がそのテンプレートに一致するであろう小領域の位置を推定するので、例え全ての特徴点が例えば支柱、電信柱、道路標識、他の移動体などによって隠蔽されてしまったとしてもその位置を推定し、その後の撮像画像に対しても継続して追跡することができる効果がある。
【００５６】
なお、以上の実施の形態では、背景画像を生成するに当たり各画素毎に当該画素の撮像画像における輝度安定性を判定し、所定の期間以上にわたって安定状態にある輝度を用いて更新しているが、他にも、図１７に示すようなやり方で背景画像を生成しても良い。同図において、３２は最新の撮像画像、３３は背景画像、３４はそれぞれ瞬時的な変化が生じている部分、３５は差分画像、３６は反転二値化画像、３７は新しい背景画像である。そして、同図においては、まず、最新の撮像画像３２と背景画像３３との差分画像３５を生成し、この差分画像３５を所定の閾値に基づいて二値化し更に反転して反転二値化画像３６を生成し、更に、最新の撮像画像３２や背景画像３３とともにこの反転二値化画像３６を用いて新しい背景画像３７を生成するものである。
【００５７】
但し、この背景画像の生成方法では同図に示すように、車両１１などの移動体や車両１１のヘッドライトの光などによって瞬時的な輝度変化が生じている部分が背景画像に残ってしまうので、以上の実施の形態に示すように輝度が安定していると判断された輝度のみを順次各画素に適用する更新方法の方が、この瞬時的な輝度変化を取り除いたより適した背景画像を生成することができる効果がある。
【００５８】
【発明の効果】
以上のように、この発明によれば、所定の空間を撮像し撮像画像を出力する撮像手段と、当該撮像手段が過去に出力した撮像画像あるいはそれを加工した画像を背景画像として記憶する背景画像記憶手段と、上記撮像画像と上記背景画像の移動体の侵入側に設定された移動体検出領域において、画素毎に周囲の画素との相対輝度差を演算し、演算した画素毎の相対輝度差を上記移動体検出領域全体に渡って加算し、上記撮像画像と上記背景画像における画素毎の相対輝度差の加算値の差を画像差信号として演算する画像差演算手段と、上記画像差信号と所定の閾値とを比較して移動体の検出判定を行う判定手段とを備えるので、撮像画像と背景画像とは各領域毎にそれぞれの画像内での相対輝度差でもって比較されることになる。従って、車両のヘッドライトの光などによる画像の輝度変化があったとしてもこの輝度変化を抑制した状態で撮像画像と背景画像とを比較することができ、これに影響されることなく移動体を好適に検出することができる効果がある。
【００５９】
この発明によれば、判定手段が移動体を検出と判定した後に非検出と判定したタイミングにおいて、撮像画像と背景画像の移動体検出領域の移動体の進行方向の下流側に設定された移動体判定領域において、上記撮像画像と上記背景画像の輝度変化値を各列毎に累積加算し、累積加算値が周囲の列よりも大きい列のまとまりを抽出し、抽出した列のまとまりにおいて、上記撮像画像における画素毎の相対輝度差が他の画素よりも大きい画素のまとまりを特徴点として切り出す特徴点抽出手段を設けたので、上記移動体判定領域に移動体が存在する状態で特徴点抽出処理を行うことができ、確実に移動体の特徴点を抽出することができる効果がある。
【００６０】
この発明によれば、移動体の移動方向に沿った方向に対して０度あるいは９０度以外の撮像角度となるように撮像手段を設置するとともに、特徴点抽出手段が抽出した特徴点と移動体検出領域の移動体移動方向下流側端辺との画像上の距離に基づいて移動体のサイズを判定するサイズ判定手段を設けたので、移動体のサイズに基づいて移動体の種類などを判別することができる効果がある。
【００６１】
この発明によれば、移動体の複数の特徴点を抽出する特徴点抽出手段と、上記特徴点抽出手段が複数の特徴点を抽出した後の撮像画像に対して、上記特徴点抽出手段と同様の処理を行って小領域を抽出し、この小領域と各特徴点とを比較してマッチング判定を行い、少なくとも１つの特徴点においてマッチすると判定される小領域が存在する場合に、この小領域の撮像画像上の位置に基づいて移動体の追跡位置情報を出力する追跡手段とを設けたので、１つの特徴点が例えば支柱、電信柱、道路標識、他の移動体などによって隠蔽されてしまったとしても、他の特徴点に基づいて移動体を継続して追跡することができる効果がある。
【００６２】
また、相対輝度差に基づいて複数の特徴点を抽出しているので、車両のヘッドライトの光などに影響されることなく、それらの相互の位置関係などに基づいて車両の大きさなどを判定することができる効果もある。
【００６３】
更に、この特徴点の画像上の位置変化に基づく移動体の追跡位置情報を用いることで、上記ヘッドライトの光による輝度変化、太陽の位置に応じた影の発生状態の変化、夜間照明の位置に応じた影の発生状態の変化などの影響を受けることなく、移動体の移動距離や移動速度を得ることができる効果がある。
【００６４】
この発明によれば、移動体の１乃至複数の特徴点を抽出する特徴点抽出手段と、
上記特徴点抽出手段が特徴点を抽出した後の撮像画像に対して、上記特徴点抽出手段と同様の処理を行って小領域を抽出し、この小領域と各特徴点とを比較してマッチング判定を行い、少なくとも１つの特徴点においてマッチすると判定される小領域が存在する場合に、この小領域の撮像画像上の位置に基づいて移動体の追跡位置情報を出力する追跡手段と、上記追跡手段がマッチすると判定できなかった特徴点について、以前の当該特徴点の軌跡あるいはマッチすると判定された他の特徴点がある場合にはそれを利用して推定位置情報を出力する推定手段とを設けたので、例え全ての特徴点が例えば支柱、電信柱、道路標識、他の移動体などによって隠蔽されてしまったとしてもその位置を推定し、継続して追跡することができる効果がある。
【００６５】
また、相対輝度差に基づいて複数の特徴点を抽出しているので、車両のヘッドライトの光などに影響されることなく、それらの相互の位置関係などに基づいて車両の大きさなどを判定することができる効果もある。
【００６６】
更に、この特徴点の画像上の位置変化に基づく移動体の追跡位置情報を用いることで、上記ヘッドライトの光による輝度変化、太陽の位置に応じた影の発生状態の変化、夜間照明の位置に応じた影の発生状態の変化などの影響を受けることなく、移動体の移動距離や移動速度を得ることができる効果がある。
【００６７】
そして、例えば、移動体は車両であり、特徴点抽出手段は当該車両のテールランプを特徴点として抽出するものであればよい。
【００６８】
この発明によれば、撮像手段から出力された撮像画像を２つ以上記憶する撮像画像記憶手段と、この撮像画像記憶手段に記憶された複数の撮像画像同士を比較し、画像の変化の少なさを判定する安定度判定手段と、安定度判定手段において所定の回数連続して安定と判断されたら上記撮像画像記憶手段に記憶されている撮像画像を用いて背景画像を生成する背景画像生成手段とを設け、背景画像記憶手段は当該背景画像を記憶するので、背景画像を逐次更新することができる。
【００６９】
しかも、所定の回数に相当する期間において殆ど変化がなかった撮像画像を用いて背景画像を生成するので、移動体などが含まれる可能性が低い画像を用いて適切に背景画像を生成することができ、しかも、例え含まれていたとしても所定の期間の後にはそれが更新されるので誤った移動体検出をし続けてしまうことはない。従って、環境の変化に追従した最適な背景画像を用いて２４時間３６５日の監視を行うことができる。
【００７０】
この発明によれば、背景画像記憶手段の記憶する画像が更新されたら当該画像を記憶するコピー記憶手段を設け、背景画像生成手段は、安定度判定手段において判定に用いられた撮像画像のうちの１つと当該コピー記憶手段に記憶されている画像とを合成して新たな背景画像を生成するので、撮像画像や現在の背景画像に移動体が含まれていたとしても、その影響を削減するように画像を合成し、それを背景画像とすることができる。従って、単に撮像画像を用いた場合に比べて背景画像に含まれる移動体を誤って検出してしまうことを抑制することができる効果がある。
【図面の簡単な説明】
【図１】 この発明の実施の形態１による移動体検出システムの構成を示すシステム構成図である。
【図２】 この発明の実施の形態１による監視用ＩＴＶカメラの撮像画像の一例を示す説明図である。
【図３】 この発明の実施の形態１による両検出フローを示すフローチャートである。
【図４】 この発明の実施の形態１による相対輝度差演算処理を説明するための説明図である。
【図５】 この発明の実施の形態２による移動体検出システムの構成を示すシステム構成図である。
【図６】 この発明の実施の形態２による監視用ＩＴＶカメラの撮像画像の一例を示す説明図である。
【図７】 この発明の実施の形態２による車両判定手段の処理を示すフローチャートである。
【図８】 この発明の実施の形態２による現画像と輝度変化値の列毎の累積加算値との関係を示す説明図である。
【図９】 小領域と車両検出領域との撮像画像上の距離に基づいて当該小領域の路面からの高さを特定することができる理由を説明するための説明図である。
【図１０】 この発明の実施の形態３による移動体検出システムの構成を示すシステム構成図である。
【図１１】 この発明の実施の形態３による背景画像生成部の構成を示すシステム構成図である。
【図１２】 この発明の実施の形態３による背景画像更新処理を示すフローチャートである。
【図１３】 この発明の実施の形態４による移動体検出システムの構成を示すシステム構成図である。
【図１４】 この発明の実施の形態４による車両追跡手段の処理を示すフローチャートである。
【図１５】 この発明の実施の形態５による移動体検出システムの構成を示すシステム構成図である。
【図１６】 この発明の実施の形態５による車両追跡手段の処理を示すフローチャートである。
【図１７】 他の背景画像生成処理を示す図である。
【図１８】 従来の移動体検出システムの構成を示すシステム構成図である。
【図１９】 従来の移動体検出システムにおいて撮像カメラで撮像した画像の一例である。
【符号の説明】
１ 監視用ＩＴＶカメラ（撮像手段）、２ 画像処理ユニット、３ 車両監視センタ、４ 撮像画像記憶手段、５ 背景画像記憶手段、６ 車両検出手段（画像差演算手段、判定手段）、７ 撮像画像、８ 道路左側端部、９ 道路右側端部、１０ センターライン、１１ 車両、１２ 移動体検出領域、１３ 検出領域、１４，１５ 画素群、１６ 車両判定手段（特徴点抽出手段、サイズ判定手段）、１７ 移動体判定領域、１８ 車両移動方向下流側端辺、１９ テールランプ、２０ 路面、２１ 視野方向、２２ 特徴点の視野方向、２３ 移動体検出領域に相当する路面位置、２４ 背景画像生成部、２５ 最新画像バッファ（撮像画像記憶手段）、２６ 直前画像バッファ（撮像画像記憶手段）、２７ 安定度判定手段、２８ コピー記憶手段、２９ 背景画像生成手段、３０ 車両追跡手段（特徴点抽出手段、サイズ判定手段、追跡手段）、３１ 車両追跡手段（特徴点抽出手段、サイズ判定手段、追跡手段、推定手段）、３２ 最新の撮像画像、３３ 背景画像、３４ 瞬時的な変化が生じている部分、３５ 差分画像、３６ 反転二値化画像、３７ 新しい背景画像。
【発明の属する技術分野】
この発明は撮像手段で捉えた画像に基づいて移動体を検出する移動体検出システムに係り、特に夜間やトンネル内であったとしても好適に移動体を検出することができる移動体検出システムに関するものである。
【０００２】
【従来の技術】
図１８は特開平９−８１８８８号公報に開示された従来の移動体検出システムの構成を示すシステム構成図である。図において、３８は撮像カメラ、３９は画像を記憶する画像入力手段、４０は画像処理手段である。
【０００３】
図１９は当該撮像カメラ３８で撮像した画像の一例である。図において、４１は撮像画像、４２は道路左側端部、４３は道路右側端部、４４はセンターライン、４５は車両、４６は移動体検出領域、４７は検出領域、４８は計測領域、４９は移動体移動速度判別領域である。そして、当該車両４５は道路のセンターライン４４に沿って移動する。
【０００４】
次に動作について説明する。
撮像カメラ３８が撮像した画像が画像入力手段３９に記憶されると、画像処理手段４０はこの撮像画像に対して車両４５の検出処理を行う。まず、移動体検出領域４６における輝度変化を判定し、図１９に示すように輝度が変化した検出領域４７が生じたら車両検出と判断する。更にこの検出領域４７の移動体検出領域４６に対する割合に基づいて車両４５のサイズ、例えば大型車や小型車などの判定を行う。また、小型車と判定している状態において計測領域４８においても同時に輝度変化が生じた場合には、小型車が連続して走行していると判断する。更に、連続する複数の撮像画像の移動体移動速度判別領域４９の画像を解析し、それぞれの撮像画像において各車両４５の後方路面に生じる陰を検出し、これら複数の影の位置変化に基づいて各車両の移動速度を検出する。
【０００５】
【発明が解決しようとする課題】
従来の移動体検出システムは以上のように構成されているので、画像の輝度そのものを比較に用いており、車両４５のヘッドライトの光などによって撮像画像に輝度変化が生じると、これを誤って車両４５などの移動体による輝度変化として捉えてしまうなどの課題があった。
【０００６】
特に、当該従来の移動体検出システムでは、輝度が変化した領域の大きさに基づいて車両４５の大きさを判定したり、車両４５の後方に生じる影の画像上の位置の変化に基づいて車両４５の移動速度を検出したりしているので、上記ヘッドライトの光による輝度変化、太陽や雲の位置に応じた影の発生状態の変化、夜間照明の位置に応じた影の発生状態の変化などの影響を受けやすいなどの課題もある。
【０００７】
この発明は上記のような課題を解決するためになされたもので、車両のヘッドライトの光などによる撮像画像の輝度変化があったとしても、この輝度変化に影響されることなく移動体を好適に検出することができる移動体検出システムを得ることを目的とする。
【０００８】
【課題を解決するための手段】
この発明に係る移動体検出システムは、所定の空間を撮像し撮像画像を出力する撮像手段と、当該撮像手段が過去に出力した撮像画像あるいはそれを加工した画像を背景画像として記憶する背景画像記憶手段と、上記撮像画像と上記背景画像の移動体の侵入側に設定された移動体検出領域において、画素毎に周囲の画素との相対輝度差を演算し、演算した画素毎の相対輝度差を上記移動体検出領域全体に渡って加算し、上記撮像画像と上記背景画像における画素毎の相対輝度差の加算値の差を画像差信号として演算する画像差演算手段と、上記画像差信号と所定の閾値とを比較して移動体の検出判定を行う判定手段とを備えるものである。
【０００９】
この発明に係る移動体検出システムは、判定手段が移動体を検出と判定した後に非検出と判定したタイミングにおいて、撮像画像と背景画像の移動体検出領域の移動体の進行方向の下流側に設定された移動体判定領域において、上記撮像画像と上記背景画像の輝度変化値を各列毎に累積加算し、累積加算値が周囲の列よりも大きい列のまとまりを抽出し、抽出した列のまとまりにおいて、上記撮像画像における画素毎の相対輝度差が他の画素よりも大きい画素のまとまりを特徴点として切り出す特徴点抽出手段を設けたものである。
【００１０】
この発明に係る移動体検出システムは、移動体の移動方向に沿った方向に対して０度あるいは９０度以外の撮像角度となるように撮像手段を設置するとともに、特徴点抽出手段が抽出した特徴点と移動体検出領域の移動体移動方向下流側端辺との画像上の距離に基づいて移動体のサイズを判定するサイズ判定手段を設けたものである。
【００１１】
この発明に係る移動体検出システムは、移動体の複数の特徴点を抽出する特徴点抽出手段と、上記特徴点抽出手段が複数の特徴点を抽出した後の撮像画像に対して、上記特徴点抽出手段と同様の処理を行って小領域を抽出し、この小領域と各特徴点とを比較してマッチング判定を行い、少なくとも１つの特徴点においてマッチすると判定される小領域が存在する場合に、この小領域の撮像画像上の位置に基づいて移動体の追跡位置情報を出力する追跡手段とを設けたものである。
【００１２】
この発明に係る移動体検出システムは、移動体の１乃至複数の特徴点を抽出する特徴点抽出手段と、上記特徴点抽出手段が特徴点を抽出した後の撮像画像に対して、上記特徴点抽出手段と同様の処理を行って小領域を抽出し、この小領域と各特徴点とを比較してマッチング判定を行い、少なくとも１つの特徴点においてマッチすると判定される小領域が存在する場合に、この小領域の撮像画像上の位置に基づいて移動体の追跡位置情報を出力する追跡手段と、上記追跡手段がマッチすると判定できなかった特徴点について、以前の当該特徴点の軌跡あるいはマッチすると判定された他の特徴点がある場合にはそれを利用して推定位置情報を出力する推定手段とを設けたものである。
【００１３】
この発明に係る移動体検出システムは、移動体は車両であり、特徴点抽出手段は当該車両のテールランプを特徴点として抽出するものである。
【００１４】
この発明に係る移動体検出システムは、撮像手段から出力された撮像画像を２つ以上記憶する撮像画像記憶手段と、この撮像画像記憶手段に記憶された複数の撮像画像同士を比較し、画像の変化の少なさを判定する安定度判定手段と、安定度判定手段において所定の回数連続して安定と判断されたら上記撮像画像記憶手段に記憶されている撮像画像を用いて背景画像を生成する背景画像生成手段とを設け、背景画像記憶手段は当該背景画像を記憶するものである。
【００１５】
この発明に係る移動体検出システムは、背景画像記憶手段の記憶する画像が更新されたら当該画像を記憶するコピー記憶手段を設け、背景画像生成手段は、安定度判定手段において判定に用いられた撮像画像のうちの１つと当該コピー記憶手段に記憶されている画像とを合成して新たな背景画像を生成するものである。
【００１６】
【発明の実施の形態】
以下、この発明の実施の一形態を説明する。
実施の形態１．
図１はこの発明の実施の形態１による移動体検出システムの構成を示すシステム構成図である。この移動体検出システムは道路上を走行する自動車の交通量や移動速度を検出するために用いられるものである。図において、１は所定の監視空間を一定の周期にて撮像してデジタル方式の撮像画像を出力する監視用ＩＴＶ（産業用テレビジョン）カメラ（撮像手段）、２はこの撮像画像が入力され、この撮像画像に基づいて各種の処理を行う画像処理ユニット、３はこの画像処理ユニット２の処理結果や撮像画像などが入力される車両監視センタである。
【００１７】
画像処理ユニット２において、４は監視用ＩＴＶカメラ１から入力された撮像画像を記憶する撮像画像記憶手段、５は監視用ＩＴＶカメラ１が過去に撮像した撮像画像あるいはそれを加工した画像を背景画像として記憶する背景画像記憶手段、６は撮像画像および背景画像のそれぞれの画素毎に周囲の画素との相対輝度差を演算し、この画素毎の相対輝度差をそれぞれに累積加算し、その加算値の差を画像差信号として演算し、更にこの画像差信号同士の差が所定の閾値よりも大きい場合には車両検出と判定して出力する車両検出手段（画像差演算手段、判定手段）である。
【００１８】
図２はこの発明の実施の形態１による監視用ＩＴＶカメラ１の撮像画像の一例を示す説明図である。図において、７は撮像画像、８は道路左側端部、９は道路右側端部、１０はセンターライン、１１は車両、１２は移動体検出領域、１３は検出領域である。そして、当該車両１１は道路のセンターライン１０に沿ってその左側を矢印の方向に移動するものとし、監視用ＩＴＶカメラ１は道路を斜め上方から（車両１１の移動方向が水平方向である場合には０度よりも大きく且つ９０度よりも小さい俯角にて）撮像していることになる。なお、上記移動体検出領域１２は撮像画像７の車両１１が撮像空間に進入する側に設定されている。
【００１９】
次に動作について説明する。
監視用ＩＴＶカメラ１から撮像画像が出力されると、この撮像画像は撮像画像記憶手段４に一旦記憶される。また、背景画像記憶手段５には図２に示す監視空間に車両１１が存在しない状況の背景画像が予め格納されている。この背景画像としては、実際に車両１１が存在しない状況の撮像画像をそのまま用いても、車両１１が存在する状況の撮像画像から当該車両１１を削除するように加工したものを用いてもよい。
【００２０】
このように撮像画像記憶手段４に撮像画像が記憶されると、車両検出手段６は図３に示すフローチャートに従って車両１１の検出判定を行い、その判定結果と撮像画像とを車両監視センタ３に送信する。図において、ＳＴ１は撮像画像および背景画像のそれぞれについて画素毎に周囲の画素との相対輝度差を演算し、この画素毎の相対輝度差をそれぞれの移動体検出領域１２全体に渡って加算し、更にその加算値の差を画像差信号として演算する未検出時演算ステップ、ＳＴ２はこの画像差信号の値が所定の閾値Ａ１よりも大きいか否か判定する検出判定ステップ、ＳＴ３はこの車両１１の検出結果を出力する検出判定出力ステップ、ＳＴ４は未検出時演算ステップＳＴ１と同様の処理により画像差信号を演算する検出時演算ステップ、ＳＴ５はこの画像差信号の値が所定の閾値Ａ２よりも小さいか否か判定する未検出判定ステップ、ＳＴ６はこの車両１１の検出結果を出力する未検出判定出力ステップである。従って、車両１１が撮像されている場合にはその期間において車両検出を意味する処理結果が出力され続けることになる。
【００２１】
図４はこの発明の実施の形態１による相対輝度差演算処理を説明するための説明図である。図において、（ａ）は横方向エッジ検出フィルタ、（ｂ）は縦方向エッジ検出フィルタ、（ｃ）は画像例である。これらの図において、各枡は各画素に相当し、（ａ），（ｂ）において各枡の中に記載された数値は重み付け係数であり、また、その中央に相当する画素が注目画素となる。（ｃ）において各枡の中に記載された値は各画素の輝度（値が大きいほど白くなる０から２５５までの数値）である。ちなみに、（ｃ）に示す画像はその右半分が白っぽく、左半分が黒っぽい画像であり、それらの領域の境界となる画像のエッジが縦に存在している。なお、同図に示す横方向エッジ検出フィルタおよび縦方向エッジ検出フィルタは一例であり、同等のエッジ検出機能をもつ手段であれば他の手段（他のフィルタ）を用いてもよい。
【００２２】
このような（ｃ）の画素群１４に対して例えば（ａ）の横方向エッジ検出フィルタを適用した場合、その演算式は下記式１となり注目画素の横方向エッジ強度として「２４８」という値が得られる。同様に、（ｃ）の画素群１４に対して（ｂ）の縦方向エッジ検出フィルタを適用した場合、その演算式は下記式２となり注目画素の縦方向エッジ強度として「５９０」という値が得られる。また、当該注目画素の相対輝度差は下記式３により求められ「８３８」という値になる。
【００２３】
同様に画素群１５については、下記式４に基づいて注目画素の横方向エッジ強度は「２６」、下記式５に基づいて注目画素の縦方向エッジ強度は「８」、下記式６に基づいて相対輝度差は「３４」となる。この２つの注目画素と画像全体の輝度値のバランスとを比較すれば明らかなように、この相対輝度差は車両１１や車両１１と道路との境などの画像のエッジ部分で値が大きくなり、道路面などの模様が無いのっぺりした部分においては値が小さくなる傾向にある。
【００２４】
そして、上記車両検出手段６は、この画素毎の相対輝度差をそれぞれの移動体検出領域１２全体に渡って加算し、その加算値の差が所定の閾値よりも大きい場合には車両検出と判定して出力する。従って、例えば車両１１が進入してその結果幾つかの画素においてこの相対輝度差が大きくなり、その累積値が所定の閾値を超えればこれを検出することができる。
【００２５】
逆に、逆方向から向かってくる車両１１のヘッドライトの光などにより撮像画像の一部が明るくなってしまったような場合には、その画像部分および周辺がなだらかに明るくなるので、各画素の相対輝度差は比較的小さな値となり、それを上記移動体検出領域１２全体に渡って累積したとしても閾値を超えてしまうことはなく、車両１１のヘッドライトの光などを誤って車両１１として判定してしまうことはない。
【００２６】
以上のように、この実施の形態１によれば、撮像画像と背景画像とを比較して車両１１を検出するに当たって車両検出手段６は、撮像画像および背景画像のそれぞれの画素毎に周囲の画素との相対輝度差を演算し、この画素毎の相対輝度差をそれぞれに累積加算し、その加算値の差を画像差信号として演算し、更にこの画像差信号同士の差が所定の閾値よりも大きい場合には車両検出と判定して出力するので、撮像画像と背景画像とは各領域毎にそれぞれの画像内での相対輝度差でもって比較されることになり、車両１１のヘッドライトの光などによる画像の輝度変化があったとしてもこの輝度変化を抑制した状態で撮像画像と背景画像とを比較することができ、これに影響されることなく車両１１を好適に検出することができる効果がある。
【００２８】
実施の形態２．
図５はこの発明の実施の形態２による移動体検出システムの構成を示すシステム構成図である。図において、１６は車両検出手段６が車両非検出と判定したタイミングの撮像画像を用いて車両１１の画像を特徴点として抽出するとともにその特徴点の路面からの高さを判定する車両判定手段（特徴点抽出手段、サイズ判定手段）である。なお、この特徴点としては例えば、２つのテールランプ、昼間屋外のナンバープレートなどが挙げられる。
【００２９】
図６はこの発明の実施の形態２による監視用ＩＴＶカメラ１の撮像画像の一例を示す説明図である。図において、（ａ）は時刻ｔ（０）での撮像画像、（ｂ）は時刻ｔ（１）（＝ｔ（０）＋Δｔ：但しΔｔは監視用ＩＴＶカメラ１の撮像周期１周期分）での撮像画像、１７は移動体検出領域１２の上（車両１１の進行方向下流側）に隣接する位置に設定された移動体判定領域、１８は移動体検出領域１２の車両移動方向下流側端辺、１９はそれぞれ車両１１のテールランプである。これ以外の構成は実施の形態１と同様であり説明を省略する。
【００３０】
次に動作について説明する。
図６（ａ）に示す撮像画像では車両検出手段６から車両検出を意味する処理結果が出力され、これが同図（ｂ）に示す撮像画像に変化すると、車両検出手段６から出力される処理結果は車両検出から車両非検出に変化する。車両判定手段１６は、この車両検出手段６の出力の処理結果が車両非検出に変化したタイミングの撮像画像（図６（ｂ））の移動体判定領域１７を用いて、車両１１の特徴点を抽出するとともにその特徴点の路面からの高さを判定する。
【００３１】
図７はこの発明の実施の形態２による車両判定手段１６の処理を示すフローチャートである。図において、ＳＴ７は撮像画像を構成する各画素がマトリックス状に配列されていることを前提として、移動体判定領域１７内の各画素の相対輝度差および背景画像のものとの輝度変化値（＝判定に用いる撮像画像における輝度−背景画像における輝度）を各列毎に累積加算する列別累積加算ステップ、ＳＴ８は各列の累積加算値が周囲の列よりも特に大きい列のまとまり（１乃至複数）を抽出する列抽出ステップ、ＳＴ９は当該各組の列のまとまりそれぞれについてそれぞれの範囲内において現画像に戻って相対輝度差が他の部分よりも高い画素のまとまり（以下小領域と呼ぶ）をテンプレートとして切出す切出ステップ、ＳＴ１０は当該小領域と移動体検出領域１２との撮像画像上の距離に基づいて当該特徴点の路面からの高さを特定する高さ判定ステップである。
【００３２】
そして、このような処理では、累積加算値が大きくなる列において、更にその他の画素よりも相対輝度差が大きい画素の集まりが小領域として抽出されることになり、この実施の形態２のように車両１１をその後方から撮像した場合、最も撮像輝度が明るくなる例えばテールランプなどについてその輪郭に沿った形状の小領域を抽出することができる。
【００３３】
図８はこの発明の実施の形態２による現画像と輝度変化値の列毎の累積加算値との関係を示す説明図である。同図（ａ）は図６（ｂ）と同じ画像、同図（ｂ）はそのときの輝度変化値の列毎の累積加算値グラフである。同図（ｂ）において横軸は画像上の列、縦軸は累積加算値である。そして、同図に示すように、車両を後方から撮像した場合に移動体判定領域１７の各列毎の累積加算値は画像の２つのテールランプを含む列の輝度が他の列の輝度よりも相対的に高くなっており、図７においはこの性質を利用して車両の特徴点を抽出している。また、同図に示すように、輝度変化値の累積加算値が生じる（０よりも大きい値をとる）列の範囲は車両の車幅とほぼ一致する。従って、この累積加算値が生じた列の数に基づいて車幅、ひいては車種を判定することができる。
【００３４】
また、図９はこの小領域と移動体検出領域１２との撮像画像上の距離に基づいて当該小領域の路面からの高さを特定することができる理由を説明するための説明図である。撮像画像としては図６（ｂ）の撮像画像が相当する。図において、２０は車両１１が走行する路面、２１は撮像画像においては車両移動方向下流側端辺１８となる視野方向、２２は特徴点（テールランプ１９）の視野方向、２３は移動体検出領域１２に相当する路面位置である。
【００３５】
そして、同図に示すように図６（ｂ）の撮像タイミングは車両１１の後端が路面位置２３を通過しきったタイミングに相当し、このタイミングにおいては車両移動方向下流側端辺１８の真上に特徴点（テールランプ１９）が位置すると考えることができる。従って、撮像画像上における車両移動方向下流側端辺１８と特徴点（テールランプ１９）との距離を角度θに変換し、そのθに基づいて特徴点の路面２０からの高さｈを求めることができる。これ以外の動作は実施の形態１と同様であり説明を省略する。
【００３６】
以上のように、この実施の形態２によれば、一方向に沿って移動する車両１１を監視用ＩＴＶカメラ１にて撮像し、車両判定手段１６が移動体検出領域１２を車両１１が通過したタイミングの撮像画像を用いて車両１１の後方の最も輝度が高くなる小領域、すなわちテールランプ１９などを特徴点として抽出しているので、移動体判定領域１７に確実に車両１１が存在する状態で特徴点抽出処理を行うことができ、確実に車両１１の特徴点を抽出することができる効果がある。
【００３７】
この実施の形態２によれば、車両１１の移動方向に沿った方向に対して、０度あるいは９０度以外の角度にて撮像するように監視用ＩＴＶカメラ１を設置するとともに、車両判定手段１６が抽出した特徴点と移動体検出領域１２の車両移動方向下流側端辺１８との画像上の距離に基づいて特徴点の路面２０からの高さを判定するので、車両１１の特徴点（テールランプ１９）の高さに基づいて車両１１のサイズを判定することができる。また、累積加算値が生じた列の数に基づいて車幅、ひいては車種を判定することができる。
【００３８】
実施の形態３．
図１０はこの発明の実施の形態３による移動体検出システムの構成を示すシステム構成図である。図において、２４は撮像画像記憶手段４が記憶する撮像画像が入力され、これに基づいて背景画像を生成して背景画像記憶手段５へ出力する背景画像生成部である。
【００３９】
図１１はこの発明の実施の形態３による背景画像生成部２４の構成を示すシステム構成図である。図において、２５は上記撮像画像記憶手段４からの撮像画像を最新画像として記憶する最新画像バッファ（撮像画像記憶手段）、２６はこの最新画像バッファ２５が１つ前に出力した画像（１フレーム前の画像）を直前画像として記憶する直前画像バッファ（撮像画像記憶手段）、２７はこの最新画像と直前画像とが入力され、各画素毎にこれら２つの画像の輝度差が所定の閾値よりも低いか否かを判定し、当該閾値よりも輝度差が小さくなっている期間を示す輝度安定性情報を出力する安定度判定手段、２８は背景画像記憶手段５に記憶されている背景画像のコピーを記憶するコピー記憶手段、２９は上記輝度安定性情報に示される期間が所定の期間以上となると、各画素毎の輝度安定性情報をリセットするとともに当該画素の背景画像における輝度値を最新画像の輝度値に置き換える背景画像生成手段である。これ以外の構成は実施の形態２と同様であり説明を省略する。
【００４０】
次に動作について説明する。
撮像画像記憶手段４に監視用ＩＴＶカメラ１から出力された最新の撮像画像が記憶されると、最新画像バッファ２５にも同一の画像が記憶され、直前画像バッファ２６には当該最新画像バッファ２５が直前に記憶していた直前画像が記憶される。なお、この実施の形態３では、これらバッファの画像の記憶周期は監視用ＩＴＶカメラ１から出力される撮像画像の出力周期と同一として説明するが、撮像画像を適当に間引くような記憶周期であってもよい。また、背景画像記憶手段５およびコピー記憶手段２８には同一の背景画像が記憶されているものとする。
【００４１】
図１２はこのように最新画像バッファ２５および直前画像バッファ２６に撮像時間が相前後する２つの撮像画像が記憶された状態で実施される背景画像更新処理を示すフローチャートである。図において、ＳＴ１１は安定度判定手段２７が撮像画像において或る座標（画素）について最新画像における輝度と直前画像における輝度との輝度差が所定の判定値よりも小さいか否かを判定する輝度差判定ステップ、ＳＴ１２は安定度判定手段２７が輝度安定性情報に含まれる期間に「１」加える期間加算ステップ、ＳＴ１３は安定度判定手段２７が輝度安定性情報に含まれる期間を「０」にリセットする期間リセットステップ、ＳＴ１４は背景画像生成手段２９がこの期間が所定の安定度判定期間よりも長いか否かを判定する安定期間判断ステップ、ＳＴ１５は背景画像生成手段２９が背景画像の上記座標（画素）の輝度を最新画像の輝度に変更する輝度更新ステップ、ＳＴ１６は背景画像生成手段２９が背景画像の上記座標（画素）の輝度をそのままとする輝度未更新ステップ、ＳＴ１７は背景画像の全ての座標（画素）に対して当該処理を繰り返し実行させる繰返制御ステップである。
【００４２】
そして、全ての画素について当該処理が完了したら、背景画像記憶手段５には新たな背景画像が記憶されることになり、コピー記憶手段２８にはこの新たな背景画像がコピー記憶されることになる。これ以外の動作は実施の形態３と同様であり説明を省略する。
【００４３】
以上のように、この実施の形態３によれば、最新画像バッファ２５および直前画像バッファ２６に時間的に相前後する２つの撮像画像を記憶すると共に、安定度判定手段２７が各画素毎に輝度変化量に基づいて安定度を判定し、更に、この安定と判定される期間が所定の期間以上であれば背景画像生成手段２９が新たな背景画像を生成するので、背景画像を更新することができる。しかも、所定の期間において殆ど変化がなかった撮像画像を用いて背景画像を生成するので、車両１１などが含まれる可能性が低い画像を用いて適切に背景画像を生成することができ、しかも、例え含まれていたとしても所定の期間の後にはそれを画像から削除することができるので誤った移動体検出をし続けてしまうことはない。従って、環境の変化に追従した最適な背景画像を用いて２４時間３６５日の監視を行うことができる。
【００４４】
この実施の形態３によれば、背景画像記憶手段５の記憶する画像が更新されたら当該画像を記憶するコピー記憶手段２８を設け、背景画像生成手段２９は、安定度判定情報に基づいて各画素毎に最新画像の輝度と背景画像の輝度とのうちから一方を選択し、これを組み合わせることで新たな背景画像を生成するので、撮像画像や現在の背景画像自体に車両１１などが含まれていたとしても、その影響を削減するように画像を合成し、それを背景画像とすることができる。従って、単に撮像画像を用いた場合や従来の背景画像更新処理に比べても背景画像に含まれる車両１１などを誤って検出してしまうことを抑制することができる効果がある。
【００４５】
実施の形態４．
図１３はこの発明の実施の形態４による移動体検出システムの構成を示すシステム構成図である。図において、３０は車両判定手段１６と同様の処理をして車両１１の特徴点およびその路面２０からの高さを求めた後に更に、それ以降の撮像画像に対して当該特徴点に基づく車両追跡処理を行う車両追跡手段（特徴点抽出手段、サイズ判定手段、追跡手段）である。これ以外の構成は実施の形態３と同様であり説明を省略する。
【００４６】
次に動作について説明する。
図１４はこの発明の実施の形態４による車両追跡手段３０の処理を示すフローチャートである。図において、ＳＴ１８はそれ以降の撮像画像に対しても列別累積加算ステップＳＴ７から切出ステップＳＴ９までの処理を行うと共にその結果得られた各小領域とテンプレートとを比較して例えば相似形状であると推定されるなどのマッチング判定により車両１１の移動先判定を行う移動先判定ステップ、ＳＴ１９は相前後する撮像画像において同一のテンプレートにマッチングすると判定された小領域の画像上の位置変化に基づいて当該画像間における車両１１の移動速度を判定する移動速度判定ステップである。そして、この移動速度情報は特徴点の路面２０からの高さ情報などと共に車両監視センタ３へ出力される。
【００４７】
また、移動速度は例えば以下の手順にて求めることができる。まず、各画像における小領域の撮像位置と車両１１の高さ情報とを用いて当該車両１１の後部のそれぞれの撮像タイミングにおける路面２０上の位置を特定する。次に当該２つの撮像画像における車両後部の位置同士の差を移動距離として求め、更に当該２つの画像の撮像時間間隔（これは監視用ＩＴＶカメラ１の撮像周期に基づいて予め特定できる）で除算することで移動速度を求めることができる。これ以外の動作は実施の形態３と同様であり説明を省略する。
【００４８】
そして、このように車両１１の移動を特徴点の移動として捕捉するとともに、その特徴点の路面２０からの高さを予め特定しておくことで、速度演算に用いる２つの画像における当該車両１１の路面２０上の位置を精度良く特定することができるので、車両１１の移動速度を精度良く求めることができる。
【００４９】
また、このように特徴点を抽出しているので、従来のように影の発生状態変化などの影響を受けてしまうことなく確実に車両１１の移動を捕捉することができ、しかも、車両１１が横方向に移動したとしてもその移動距離を確実に捕捉することができる。
【００５０】
更に、車両１１を後方から捕らえると共に輝度が高い部分を特徴点として抽出しているので、車両１１の後部に必ず２つ設けられているテールランプ１９，１９を特徴点として抽出することができる。このように少なくとも２つの特徴点を抽出することができるので、そのうちの一つの特徴点が例え支柱、電信柱、道路標識、他の移動体などによって隠蔽されてしまったとしても、他の特徴点に基づいてパターンマッチング判定を行い、車両１１を継続して追跡することができる効果がある。
【００５１】
従って、この特徴点の画像上の位置変化に基づく車両１１の追跡位置情報を用いることで、上記ヘッドライトの光による輝度変化、太陽の位置に応じた影の発生状態の変化、夜間照明の位置に応じた影の発生状態の変化などの影響を受けることなく、車両１１の移動距離や移動速度を精度良く得ることができる効果がある。
【００５２】
実施の形態５．
図１５はこの発明の実施の形態５による移動体検出システムの構成を示すシステム構成図である。図において、３１は実施の形態４の車両追跡手段３０と同様の処理を行った後更に、テンプレートマッチング判定にて一致する小領域を特定することができなかったテンプレートがある場合にはそのテンプレートに一致するであろう小領域の位置を推定する車両追跡手段（特徴点抽出手段、サイズ判定手段、追跡手段、推定手段）である。これ以外の構成は実施の形態４と同様であり説明を省略する。
【００５３】
次に動作について説明する。
図１６はこの発明の実施の形態５による車両追跡手段３１の処理を示すフローチャートである。図において、ＳＴ２０はテンプレートマッチング判定にて一致する小領域を特定することができなかったテンプレートがある場合にはそのテンプレートに一致するであろう小領域の位置を推定する推定ステップである。そして、この推定した小領域の推定位置情報は他のマッチングが得られた小領域の情報とともに車両監視センタ３へ出力される。
【００５４】
また、小領域の位置推定は例えば以下の手順にて求めることができる。マッチすると判定された他の特徴点がある場合には、例えば他の特徴点に基づいて得られた車両１１の後部位置情報に基づいて当該位置における撮像画像上の特徴点同士の位置関係（間隔）を演算し、次にその位置関係（間隔）、車両後部の位置情報、特徴点の高さ情報などを用いて当該特徴点の位置を推定すれば良い。また、マッチすると判定された特徴点が１つも無いような場合においては、それ以前の撮像画像における特徴点の位置変化、それに基づいて得られた車両１１の移動速度などの情報を用いて例えば車両１１はこれらの画像間においては直線的に移動しているなどの推定条件の下で今回の撮像画像における車両１１の路面上の位置を推定し、その位置における各特徴点の位置を更に推定すれば良い。これ以外の動作は実施の形態４と同様であり説明を省略する。
【００５５】
以上のように、この実施の形態５によれば、テンプレートマッチング判定においてマッチすると判定されなかった特徴点について、車両追跡手段３１がそのテンプレートに一致するであろう小領域の位置を推定するので、例え全ての特徴点が例えば支柱、電信柱、道路標識、他の移動体などによって隠蔽されてしまったとしてもその位置を推定し、その後の撮像画像に対しても継続して追跡することができる効果がある。
【００５６】
なお、以上の実施の形態では、背景画像を生成するに当たり各画素毎に当該画素の撮像画像における輝度安定性を判定し、所定の期間以上にわたって安定状態にある輝度を用いて更新しているが、他にも、図１７に示すようなやり方で背景画像を生成しても良い。同図において、３２は最新の撮像画像、３３は背景画像、３４はそれぞれ瞬時的な変化が生じている部分、３５は差分画像、３６は反転二値化画像、３７は新しい背景画像である。そして、同図においては、まず、最新の撮像画像３２と背景画像３３との差分画像３５を生成し、この差分画像３５を所定の閾値に基づいて二値化し更に反転して反転二値化画像３６を生成し、更に、最新の撮像画像３２や背景画像３３とともにこの反転二値化画像３６を用いて新しい背景画像３７を生成するものである。
【００５７】
但し、この背景画像の生成方法では同図に示すように、車両１１などの移動体や車両１１のヘッドライトの光などによって瞬時的な輝度変化が生じている部分が背景画像に残ってしまうので、以上の実施の形態に示すように輝度が安定していると判断された輝度のみを順次各画素に適用する更新方法の方が、この瞬時的な輝度変化を取り除いたより適した背景画像を生成することができる効果がある。
【００５８】
【発明の効果】
以上のように、この発明によれば、所定の空間を撮像し撮像画像を出力する撮像手段と、当該撮像手段が過去に出力した撮像画像あるいはそれを加工した画像を背景画像として記憶する背景画像記憶手段と、上記撮像画像と上記背景画像の移動体の侵入側に設定された移動体検出領域において、画素毎に周囲の画素との相対輝度差を演算し、演算した画素毎の相対輝度差を上記移動体検出領域全体に渡って加算し、上記撮像画像と上記背景画像における画素毎の相対輝度差の加算値の差を画像差信号として演算する画像差演算手段と、上記画像差信号と所定の閾値とを比較して移動体の検出判定を行う判定手段とを備えるので、撮像画像と背景画像とは各領域毎にそれぞれの画像内での相対輝度差でもって比較されることになる。従って、車両のヘッドライトの光などによる画像の輝度変化があったとしてもこの輝度変化を抑制した状態で撮像画像と背景画像とを比較することができ、これに影響されることなく移動体を好適に検出することができる効果がある。
【００５９】
この発明によれば、判定手段が移動体を検出と判定した後に非検出と判定したタイミングにおいて、撮像画像と背景画像の移動体検出領域の移動体の進行方向の下流側に設定された移動体判定領域において、上記撮像画像と上記背景画像の輝度変化値を各列毎に累積加算し、累積加算値が周囲の列よりも大きい列のまとまりを抽出し、抽出した列のまとまりにおいて、上記撮像画像における画素毎の相対輝度差が他の画素よりも大きい画素のまとまりを特徴点として切り出す特徴点抽出手段を設けたので、上記移動体判定領域に移動体が存在する状態で特徴点抽出処理を行うことができ、確実に移動体の特徴点を抽出することができる効果がある。
【００６０】
この発明によれば、移動体の移動方向に沿った方向に対して０度あるいは９０度以外の撮像角度となるように撮像手段を設置するとともに、特徴点抽出手段が抽出した特徴点と移動体検出領域の移動体移動方向下流側端辺との画像上の距離に基づいて移動体のサイズを判定するサイズ判定手段を設けたので、移動体のサイズに基づいて移動体の種類などを判別することができる効果がある。
【００６１】
この発明によれば、移動体の複数の特徴点を抽出する特徴点抽出手段と、上記特徴点抽出手段が複数の特徴点を抽出した後の撮像画像に対して、上記特徴点抽出手段と同様の処理を行って小領域を抽出し、この小領域と各特徴点とを比較してマッチング判定を行い、少なくとも１つの特徴点においてマッチすると判定される小領域が存在する場合に、この小領域の撮像画像上の位置に基づいて移動体の追跡位置情報を出力する追跡手段とを設けたので、１つの特徴点が例えば支柱、電信柱、道路標識、他の移動体などによって隠蔽されてしまったとしても、他の特徴点に基づいて移動体を継続して追跡することができる効果がある。
【００６２】
また、相対輝度差に基づいて複数の特徴点を抽出しているので、車両のヘッドライトの光などに影響されることなく、それらの相互の位置関係などに基づいて車両の大きさなどを判定することができる効果もある。
【００６３】
更に、この特徴点の画像上の位置変化に基づく移動体の追跡位置情報を用いることで、上記ヘッドライトの光による輝度変化、太陽の位置に応じた影の発生状態の変化、夜間照明の位置に応じた影の発生状態の変化などの影響を受けることなく、移動体の移動距離や移動速度を得ることができる効果がある。
【００６４】
この発明によれば、移動体の１乃至複数の特徴点を抽出する特徴点抽出手段と、
上記特徴点抽出手段が特徴点を抽出した後の撮像画像に対して、上記特徴点抽出手段と同様の処理を行って小領域を抽出し、この小領域と各特徴点とを比較してマッチング判定を行い、少なくとも１つの特徴点においてマッチすると判定される小領域が存在する場合に、この小領域の撮像画像上の位置に基づいて移動体の追跡位置情報を出力する追跡手段と、上記追跡手段がマッチすると判定できなかった特徴点について、以前の当該特徴点の軌跡あるいはマッチすると判定された他の特徴点がある場合にはそれを利用して推定位置情報を出力する推定手段とを設けたので、例え全ての特徴点が例えば支柱、電信柱、道路標識、他の移動体などによって隠蔽されてしまったとしてもその位置を推定し、継続して追跡することができる効果がある。
【００６５】
また、相対輝度差に基づいて複数の特徴点を抽出しているので、車両のヘッドライトの光などに影響されることなく、それらの相互の位置関係などに基づいて車両の大きさなどを判定することができる効果もある。
【００６６】
更に、この特徴点の画像上の位置変化に基づく移動体の追跡位置情報を用いることで、上記ヘッドライトの光による輝度変化、太陽の位置に応じた影の発生状態の変化、夜間照明の位置に応じた影の発生状態の変化などの影響を受けることなく、移動体の移動距離や移動速度を得ることができる効果がある。
【００６７】
そして、例えば、移動体は車両であり、特徴点抽出手段は当該車両のテールランプを特徴点として抽出するものであればよい。
【００６８】
この発明によれば、撮像手段から出力された撮像画像を２つ以上記憶する撮像画像記憶手段と、この撮像画像記憶手段に記憶された複数の撮像画像同士を比較し、画像の変化の少なさを判定する安定度判定手段と、安定度判定手段において所定の回数連続して安定と判断されたら上記撮像画像記憶手段に記憶されている撮像画像を用いて背景画像を生成する背景画像生成手段とを設け、背景画像記憶手段は当該背景画像を記憶するので、背景画像を逐次更新することができる。
【００６９】
しかも、所定の回数に相当する期間において殆ど変化がなかった撮像画像を用いて背景画像を生成するので、移動体などが含まれる可能性が低い画像を用いて適切に背景画像を生成することができ、しかも、例え含まれていたとしても所定の期間の後にはそれが更新されるので誤った移動体検出をし続けてしまうことはない。従って、環境の変化に追従した最適な背景画像を用いて２４時間３６５日の監視を行うことができる。
【００７０】
この発明によれば、背景画像記憶手段の記憶する画像が更新されたら当該画像を記憶するコピー記憶手段を設け、背景画像生成手段は、安定度判定手段において判定に用いられた撮像画像のうちの１つと当該コピー記憶手段に記憶されている画像とを合成して新たな背景画像を生成するので、撮像画像や現在の背景画像に移動体が含まれていたとしても、その影響を削減するように画像を合成し、それを背景画像とすることができる。従って、単に撮像画像を用いた場合に比べて背景画像に含まれる移動体を誤って検出してしまうことを抑制することができる効果がある。
【図面の簡単な説明】
【図１】 この発明の実施の形態１による移動体検出システムの構成を示すシステム構成図である。
【図２】 この発明の実施の形態１による監視用ＩＴＶカメラの撮像画像の一例を示す説明図である。
【図３】 この発明の実施の形態１による両検出フローを示すフローチャートである。
【図４】 この発明の実施の形態１による相対輝度差演算処理を説明するための説明図である。
【図５】 この発明の実施の形態２による移動体検出システムの構成を示すシステム構成図である。
【図６】 この発明の実施の形態２による監視用ＩＴＶカメラの撮像画像の一例を示す説明図である。
【図７】 この発明の実施の形態２による車両判定手段の処理を示すフローチャートである。
【図８】 この発明の実施の形態２による現画像と輝度変化値の列毎の累積加算値との関係を示す説明図である。
【図９】 小領域と車両検出領域との撮像画像上の距離に基づいて当該小領域の路面からの高さを特定することができる理由を説明するための説明図である。
【図１０】 この発明の実施の形態３による移動体検出システムの構成を示すシステム構成図である。
【図１１】 この発明の実施の形態３による背景画像生成部の構成を示すシステム構成図である。
【図１２】 この発明の実施の形態３による背景画像更新処理を示すフローチャートである。
【図１３】 この発明の実施の形態４による移動体検出システムの構成を示すシステム構成図である。
【図１４】 この発明の実施の形態４による車両追跡手段の処理を示すフローチャートである。
【図１５】 この発明の実施の形態５による移動体検出システムの構成を示すシステム構成図である。
【図１６】 この発明の実施の形態５による車両追跡手段の処理を示すフローチャートである。
【図１７】 他の背景画像生成処理を示す図である。
【図１８】 従来の移動体検出システムの構成を示すシステム構成図である。
【図１９】 従来の移動体検出システムにおいて撮像カメラで撮像した画像の一例である。
【符号の説明】
１ 監視用ＩＴＶカメラ（撮像手段）、２ 画像処理ユニット、３ 車両監視センタ、４ 撮像画像記憶手段、５ 背景画像記憶手段、６ 車両検出手段（画像差演算手段、判定手段）、７ 撮像画像、８ 道路左側端部、９ 道路右側端部、１０ センターライン、１１ 車両、１２ 移動体検出領域、１３ 検出領域、１４，１５ 画素群、１６ 車両判定手段（特徴点抽出手段、サイズ判定手段）、１７ 移動体判定領域、１８ 車両移動方向下流側端辺、１９ テールランプ、２０ 路面、２１ 視野方向、２２ 特徴点の視野方向、２３ 移動体検出領域に相当する路面位置、２４ 背景画像生成部、２５ 最新画像バッファ（撮像画像記憶手段）、２６ 直前画像バッファ（撮像画像記憶手段）、２７ 安定度判定手段、２８ コピー記憶手段、２９ 背景画像生成手段、３０ 車両追跡手段（特徴点抽出手段、サイズ判定手段、追跡手段）、３１ 車両追跡手段（特徴点抽出手段、サイズ判定手段、追跡手段、推定手段）、３２ 最新の撮像画像、３３ 背景画像、３４ 瞬時的な変化が生じている部分、３５ 差分画像、３６ 反転二値化画像、３７ 新しい背景画像。
Claims (8)
- 所定の空間を撮像し撮像画像を出力する撮像手段と、
当該撮像手段が過去に出力した撮像画像あるいはそれを加工した画像を背景画像として記憶する背景画像記憶手段と、
上記撮像画像と上記背景画像の移動体の侵入側に設定された移動体検出領域において、画素毎に周囲の画素との相対輝度差を演算し、演算した画素毎の相対輝度差を上記移動体検出領域全体に渡って加算し、上記撮像画像と上記背景画像における画素毎の相対輝度差の加算値の差を画像差信号として演算する画像差演算手段と、
上記画像差信号と所定の閾値とを比較して移動体の検出判定を行う判定手段とを備える移動体検出システム。 - 判定手段が移動体を検出と判定した後に非検出と判定したタイミングにおいて、撮像画像と背景画像の移動体検出領域の移動体の進行方向の下流側に設定された移動体判定領域において、上記撮像画像と上記背景画像の輝度変化値を各列毎に累積加算し、累積加算値が周囲の列よりも大きい列のまとまりを抽出し、抽出した列のまとまりにおいて、上記撮像画像における画素毎の相対輝度差が他の画素よりも大きい画素のまとまりを特徴点として切り出す特徴点抽出手段を設けたことを特徴とする請求項１記載の移動体検出システム。
- 移動体の移動方向に沿った方向に対して０度あるいは９０度以外の撮像角度となるように撮像手段を設置するとともに、
特徴点抽出手段が抽出した特徴点と移動体検出領域の移動体移動方向下流側端辺との画像上の距離に基づいて移動体のサイズを判定するサイズ判定手段を設けたことを特徴とする請求項２記載の移動体検出システム。 - 移動体の複数の特徴点を抽出する特徴点抽出手段と、
上記特徴点抽出手段が複数の特徴点を抽出した後の撮像画像に対して、上記特徴点抽出手段と同様の処理を行って小領域を抽出し、この小領域と各特徴点とを比較してマッチング判定を行い、少なくとも１つの特徴点においてマッチすると判定される小領域が存在する場合に、この小領域の撮像画像上の位置に基づいて移動体の追跡位置情報を出力する追跡手段とを設けたことを特徴とする請求項１記載の移動体検出システム。 - 移動体の１乃至複数の特徴点を抽出する特徴点抽出手段と、
上記特徴点抽出手段が特徴点を抽出した後の撮像画像に対して、上記特徴点抽出手段と同様の処理を行って小領域を抽出し、この小領域と各特徴点とを比較してマッチング判定を行い、少なくとも１つの特徴点においてマッチすると判定される小領域が存在する場合に、この小領域の撮像画像上の位置に基づいて移動体の追跡位置情報を出力する追跡手段と、
上記追跡手段がマッチすると判定できなかった特徴点について、以前の当該特徴点の軌跡あるいはマッチすると判定された他の特徴点がある場合にはそれを利用して推定位置情報を出力する推定手段とを設けたことを特徴とする請求項１記載の移動体検出システム。 - 移動体は車両であり、特徴点抽出手段は当該車両のテールランプを特徴点として抽出する請求項２から請求項５のうちのいずれか１項記載の移動体検出システム。
- 撮像手段から出力された撮像画像を２つ以上記憶する撮像画像記憶手段と、
この撮像画像記憶手段に記憶された複数の撮像画像同士を比較し、画像の変化の少なさを判定する安定度判定手段と、
安定度判定手段において所定の回数連続して安定と判断されたら上記撮像画像記憶手段に記憶されている撮像画像を用いて背景画像を生成する背景画像生成手段とを設け、
背景画像記憶手段は当該背景画像を記憶することを特徴とする請求項１記載の移動体検出システム。 - 背景画像記憶手段の記憶する画像が更新されたら当該画像を記憶するコピー記憶手段を設け、
背景画像生成手段は、安定度判定手段において判定に用いられた撮像画像のうちの１つと当該コピー記憶手段に記憶されている画像とを合成して新たな背景画像を生成することを特徴とする請求項７記載の移動体検出システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000182085A JP3853574B2 (ja) | 2000-06-16 | 2000-06-16 | 移動体検出システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000182085A JP3853574B2 (ja) | 2000-06-16 | 2000-06-16 | 移動体検出システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002008017A JP2002008017A (ja) | 2002-01-11 |
| JP3853574B2 true JP3853574B2 (ja) | 2006-12-06 |
Family
ID=18682921
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000182085A Expired - Lifetime JP3853574B2 (ja) | 2000-06-16 | 2000-06-16 | 移動体検出システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3853574B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150104409A (ko) * | 2014-03-05 | 2015-09-15 | 현대모비스 주식회사 | 센서를 이용한 차량 인식 시스템 및 그 방법 |
| KR20200140769A (ko) * | 2014-03-05 | 2020-12-16 | 현대모비스 주식회사 | 센서를 이용한 차량 인식 시스템 및 방법 |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006113645A (ja) * | 2004-10-12 | 2006-04-27 | Kajima Corp | 移動軌跡解析方法 |
| JP4668754B2 (ja) * | 2005-09-30 | 2011-04-13 | 三菱電機株式会社 | 交通流計測装置 |
| JP2007164566A (ja) * | 2005-12-15 | 2007-06-28 | Sumitomo Electric Ind Ltd | 感応制御用車両感知システムおよび装置 |
| JP4702426B2 (ja) | 2008-10-10 | 2011-06-15 | 株式会社デンソー | 車両検出装置、車両検出プログラム、およびライト制御装置 |
| JP5134608B2 (ja) * | 2009-09-30 | 2013-01-30 | 株式会社デンソーアイティーラボラトリ | 車両周辺表示装置、車両周辺表示方法およびプログラム |
| WO2013030912A1 (ja) * | 2011-08-29 | 2013-03-07 | 株式会社タカラトミー | 移動体判定装置、移動体判定方法、及びプログラム |
| KR101834838B1 (ko) * | 2016-02-16 | 2018-03-06 | 충북대학교 산학협력단 | 영상처리를 이용한 도로 교통 정보 제공 시스템 및 방법 |
| JP7334541B2 (ja) * | 2019-08-29 | 2023-08-29 | 沖電気工業株式会社 | 路面情報計測装置、路面情報計測方法およびプログラム |
| CN112634247B (zh) * | 2020-12-29 | 2022-04-12 | 浙江德源智能科技股份有限公司 | 基于图像分离的搬运对象识别方法及装置 |
-
2000
- 2000-06-16 JP JP2000182085A patent/JP3853574B2/ja not_active Expired - Lifetime
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150104409A (ko) * | 2014-03-05 | 2015-09-15 | 현대모비스 주식회사 | 센서를 이용한 차량 인식 시스템 및 그 방법 |
| KR20200140769A (ko) * | 2014-03-05 | 2020-12-16 | 현대모비스 주식회사 | 센서를 이용한 차량 인식 시스템 및 방법 |
| KR102192252B1 (ko) * | 2014-03-05 | 2020-12-17 | 현대모비스 주식회사 | 센서를 이용한 차량 인식 시스템 및 그 방법 |
| KR102203276B1 (ko) * | 2014-03-05 | 2021-01-14 | 현대모비스 주식회사 | 센서를 이용한 차량 인식 시스템 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002008017A (ja) | 2002-01-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4878644B2 (ja) | 移動物体ノイズ除去処理装置及び移動物体ノイズ除去処理プログラム | |
| JP3279479B2 (ja) | 映像監視方法及び装置 | |
| O'malley et al. | Vision-based detection and tracking of vehicles to the rear with perspective correction in low-light conditions | |
| WO2019026785A1 (ja) | 付着物検出装置、および、それを備えた車両システム | |
| JP4157620B2 (ja) | 移動物体検出装置及びその方法 | |
| US20080013789A1 (en) | Apparatus and System for Recognizing Environment Surrounding Vehicle | |
| US20070291987A1 (en) | Vehicle surroundings monitoring apparatus | |
| US20130215270A1 (en) | Object detection apparatus | |
| JPH10512694A (ja) | 連続画像内での物体の移動を検知する方法及び装置 | |
| US20120300074A1 (en) | Detection apparatus and detection method | |
| JP2002074368A (ja) | 移動物体認識追跡装置 | |
| JP2003346278A (ja) | 車両待機行列の長さ測定装置及びその方法 | |
| KR20010000107A (ko) | 다중 이동물체 추적/감시 시스템 | |
| JP3853574B2 (ja) | 移動体検出システム | |
| JP2010244194A (ja) | 物体識別装置 | |
| JP2000030197A (ja) | 温体検出装置 | |
| JPH11195127A (ja) | 白線認識方法および装置 | |
| JPH06247246A (ja) | 接近車監視装置 | |
| JP5353531B2 (ja) | 車両灯火認識装置及びプログラム | |
| JP2004312402A (ja) | 道路監視システム，道路監視装置 | |
| JP3995671B2 (ja) | 画像処理装置 | |
| JP2004110521A (ja) | 変位データ抽出方法及び物体検出装置 | |
| JP2003248895A (ja) | 画像式車両感知システム及び画像式車両感知方法 | |
| JP2001357396A (ja) | 画像処理装置および画像認識装置 | |
| JP4130601B2 (ja) | 対象物認識装置および対象物認識方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060428 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060509 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060704 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060808 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060906 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3853574 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090915 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100915 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110915 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110915 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120915 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130915 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |